Op weg naar de exascale-computer

De Wet van Moore blijft de zweep waarmee hardwarebouwers worden opgejaagd. Om ook het komende decennium trouw te blijven aan deze wetmatigheid, zijn er heel wat doorbraken nodig.

De Wet van Moore is een begrip in de IT-wereld, al wordt deze regelmatig fout geciteerd. Zo zegt Moores Law niet dat de snelheid van processors elke twee jaar verdubbelt. De stelling is eerder dat er elke paar jaar twee keer zo veel transistors op een chip kunnen worden geplaatst. En daar hoort eigenlijk nog ‘tegen een betaalbare prijs’ bij.

De Wet van Moore mag dan eerder een observatie zijn dan echt een wet, voorlopig lijkt hij nog altijd te kloppen. Het merkwaardige is dat deze wet al sinds 1965 geldt, toen hij voor het eerst werd geformuleerd door de medeoprichter van Intel, Gordon Moore. Dat is dus meer dan 45 jaar geleden.

Dat de wet nog altijd lijkt op te gaan, geeft goed aan hoe sterk er is ingezet op de verdere miniaturisatie van transistors, de basiselementen van elke processor. Toch dacht Moore oorspronkelijk dat zijn wet maar een tiental jaren stand zou houden. Het leek in de jaren zestig immers ondenkbaar dat transistors nog veel kleiner konden worden.

“Ook in de voorbije decennia zijn er verschillende momenten geweest waarop werd gedacht dat een verdere schaalverkleining onmogelijk was”, zegt Intel-medewerker Kristof Sehmke.

“En toch is het altijd gelukt. Om een idee te geven: de eerste microprocessor van Intel dateert uit 1971 (de 4 bit 4004) en had toen 2.300 transistors. De laatste lichting Intel-chips, zoals de Core i7, zit aan circa 1,2 miljard transistors. Als een huidige processor met de technologie van 1971 zou worden gebouwd, dan zou die chip zeven op drie meter groot zijn.”

Toekomst
"Het komt allemaal wel in orde", lijkt dus de voornaamste boodschap van de afgelopen vier decennia. Alleen betekent dezelfde groei aanhouden dat er over tien jaar gigantisch snelle supercomputers zijn. Rond 2020 moet een supercomputer 1.000 petaflops (of één hexaflop) leveren, tegen de 10 petaflops die nu gehaald kunnen worden. Binnen negen jaar zouden de computers dus honderd keer zo snel moeten zijn tijdens het rekenen.

“Die rekenkracht is broodnodig voor heel wat wetenschappelijk onderzoek”, benadrukt Intel-ingenieur Luc Provoost. “Zo is er bijvoorbeeld klimaat- en weeronderzoek (waarvoor volgens sommigen voor sluitende simulaties eigenlijk nog meer rekenkracht nodig is, namelijk een zetaflop-computer), ruimtewetenschap en medische wetenschap.”

Maar hoe maak je dit zogenaamde exascale computing mogelijk? Op deze vraag wordt een antwoord gezocht, en Vlaanderen zoekt mee naar de oplossingen. Op een recente Intel Research-conferentie in Ierland werd meermaals verwezen naar het samenwerkingsverband tussen Intel, IMEC en alle Vlaamse universiteiten.

“Nieuwe processortechnologie is een beetje zoals met de auto in de mist rijden. Je ziet een klein beetje van de weg, maar niet wat er aan de horizon ligt. Het streven naar steeds hogere frequenties heeft iedereen wel wat opgegeven. En zo komen we bij meerdere cores”, zegt Luc Provoost.

“Maar daar stuit je op nieuwe problemen, zoals betrouwbaarheid. We gaan heel klein: sommige technologieën zitten al op slechts vijf atoomlagen op elkaar en dan heeft betrouwbaarheid een grote impact. Nu klinkt het als vloeken in de kerk, maar we moeten gewoon rekening houden met meer onbetrouwbaarheid en daarop anticiperen.” Dat kan op verschillende manieren, maar één ding is duidelijk: de oplossing zal niet alleen in de hardwarehoek te vinden zijn.

Megawatts
Een ander groot probleem is energieverbruik. “Als we gewoon nemen wat we nu hebben en we verkleinen verder én we berekenen alles drie keer om de onbetrouwbaarheid te compenseren, dan komen we er niet”, geeft Provoost toe.

Een exascalecomputer met zo’n ontwerp zou 20 megawatt verbruiken. Dat betekent concreet dat je tien windmolens nodig hebt om zo’n computer aan te drijven. En dan hebben we het over processortechnologie die al veel zuiniger is dan vroeger.

Een laptopprocessor verbruikt nu ongeveer 25 euro aan stroom per jaar. Zou je die chip met de 4004-technologie uit 1971 bouwen, dan stijgt de kostprijs voor energie naar 100.000 euro.

De K Computer van Fujitsu is op dit moment de krachtigste computer op aarde, maar binnen tien jaar zouden computers nog honderd keer krachtiger moeten zijn.

Oplossingen
Het antwoord zit voor een deel in codesign: software die beter is afgestemd op multicore-architecturen. “We zitten nu met systemen met 140.000 kernen die niet optimaal bezig zijn. Er wordt gewerkt aan het verhogen van de bezettingsgraad, want die is op dit moment niet zo hoog. Dat gebeurt door de software beter af te stemmen op de hardware.

Het wordt een grote uitdaging om software te schrijven die miljoenen cores met elkaar kan laten samenwerken. Dat vereist een fundamentele ommekeer in de manier waarop software wordt geschreven. Het moet organischer worden. In eerste instantie zal dat gebeuren in de wereld van high performance computing, maar de rest zal ongetwijfeld volgen.

Voorlopig zijn we kinderstapjes aan het zetten, onder meer door bestaande algoritmes aan te passen.” Provoost maakt een vergelijking met een bouwwerf: vroeger werd er geconcentreerd op het sterker maken van de individuele werkmannen, nu moeten die samenwerken. Of anders gezegd: als één core met een zware berekening bezig is, moet een andere core die onderbenut wordt automatisch bijspringen.

“Een ander probleem is dat de huidige software alle cores simultaan laat rekenen. Pas in een volgende stap worden de gegevens uitgewisseld. Ze rekenen en communiceren dus allemaal. Het gevolg is dat kernen soms intensief bezig zijn en daarna stilliggen."

"Dat is wellicht niet de meest optimale manier van werken. Huidige algoritmes communiceren ook heel veel, wat momenteel geen probleem is maar in de toekomst minder voor de hand ligt. Er wordt dus ook gekeken naar oudere algoritmes, omdat de communicatie daar een stuk lager ligt.”

Een denkrichting die momenteel wordt onderzocht is die van photonics. Die techniek speelt in op de optische eigenschappen van heel dun silicium. Door gebruik van lasers kunnen zo heel hoge datasnelheden gehaald worden. Het is dan ook een interessante technologie om gegevens te verplaatsen.

Game over voor Moore?
Vaststaat dat er nog heel wat moet gebeuren voor we aan een exascaleniveau zitten. De betrokken spelers kijken vooral naar co-design en software, maar zal de hardware ook niet moeten krimpen? En hoe haalbaar is dat als sommige onderdelen nu nog maar vijf atoomlagen dik zijn? Lopen we met andere woorden tegen het einde van de Wet van Moore aan?

“Er is nog wel wat mogelijk”, zegt Sehmke. “Eigenlijk waren we twee chipgeneraties geleden al op een punt gekomen dat lekstromen een groot probleem waren. Toen zijn we een nieuwe isolatiemateriaal (hafnium) beginnen gebruiken met een veel hogere densiteit. Met andere woorden: meer atomen op dezelfde dikte.”

“Strained silicon was nog zo’n innovatie”, weet Provoost. “Er worden dus altijd wel trucs gevonden. Ik vermoed dat we nog wel even verder kunnen.”

De Wet van Moore blijft de zweep waarmee hardwarebouwers worden opgejaagd. Om ook het komende decennium trouw te blijven aan deze wetmatigheid, zijn er heel wat doorbraken nodig.

De Wet van Moore is een begrip in de IT-wereld, al wordt deze regelmatig fout geciteerd. Zo zegt Moores Law niet dat de snelheid van processors elke twee jaar verdubbelt. De stelling is eerder dat er elke paar jaar twee keer zo veel transistors op een chip kunnen worden geplaatst. En daar hoort eigenlijk nog ‘tegen een betaalbare prijs’ bij.

De Wet van Moore mag dan eerder een observatie zijn dan echt een wet, voorlopig lijkt hij nog altijd te kloppen. Het merkwaardige is dat deze wet al sinds 1965 geldt, toen hij voor het eerst werd geformuleerd door de medeoprichter van Intel, Gordon Moore. Dat is dus meer dan 45 jaar geleden.

Dat de wet nog altijd lijkt op te gaan, geeft goed aan hoe sterk er is ingezet op de verdere miniaturisatie van transistors, de basiselementen van elke processor. Toch dacht Moore oorspronkelijk dat zijn wet maar een tiental jaren stand zou houden. Het leek in de jaren zestig immers ondenkbaar dat transistors nog veel kleiner konden worden.

“Ook in de voorbije decennia zijn er verschillende momenten geweest waarop werd gedacht dat een verdere schaalverkleining onmogelijk was”, zegt Intel-medewerker Kristof Sehmke.

“En toch is het altijd gelukt. Om een idee te geven: de eerste microprocessor van Intel dateert uit 1971 (de 4 bit 4004) en had toen 2.300 transistors. De laatste lichting Intel-chips, zoals de Core i7, zit aan circa 1,2 miljard transistors. Als een huidige processor met de technologie van 1971 zou worden gebouwd, dan zou die chip zeven op drie meter groot zijn.”

Toekomst
"Het komt allemaal wel in orde", lijkt dus de voornaamste boodschap van de afgelopen vier decennia. Alleen betekent dezelfde groei aanhouden dat er over tien jaar gigantisch snelle supercomputers zijn. Rond 2020 moet een supercomputer 1.000 petaflops (of één hexaflop) leveren, tegen de 10 petaflops die nu gehaald kunnen worden. Binnen negen jaar zouden de computers dus honderd keer zo snel moeten zijn tijdens het rekenen.

“Die rekenkracht is broodnodig voor heel wat wetenschappelijk onderzoek”, benadrukt Intel-ingenieur Luc Provoost. “Zo is er bijvoorbeeld klimaat- en weeronderzoek (waarvoor volgens sommigen voor sluitende simulaties eigenlijk nog meer rekenkracht nodig is, namelijk een zetaflop-computer), ruimtewetenschap en medische wetenschap.”

Maar hoe maak je dit zogenaamde exascale computing mogelijk? Op deze vraag wordt een antwoord gezocht, en Vlaanderen zoekt mee naar de oplossingen. Op een recente Intel Research-conferentie in Ierland werd meermaals verwezen naar het samenwerkingsverband tussen Intel, IMEC en alle Vlaamse universiteiten.

“Nieuwe processortechnologie is een beetje zoals met de auto in de mist rijden. Je ziet een klein beetje van de weg, maar niet wat er aan de horizon ligt. Het streven naar steeds hogere frequenties heeft iedereen wel wat opgegeven. En zo komen we bij meerdere cores”, zegt Luc Provoost.

“Maar daar stuit je op nieuwe problemen, zoals betrouwbaarheid. We gaan heel klein: sommige technologieën zitten al op slechts vijf atoomlagen op elkaar en dan heeft betrouwbaarheid een grote impact. Nu klinkt het als vloeken in de kerk, maar we moeten gewoon rekening houden met meer onbetrouwbaarheid en daarop anticiperen.” Dat kan op verschillende manieren, maar één ding is duidelijk: de oplossing zal niet alleen in de hardwarehoek te vinden zijn.

Megawatts
Een ander groot probleem is energieverbruik. “Als we gewoon nemen wat we nu hebben en we verkleinen verder én we berekenen alles drie keer om de onbetrouwbaarheid te compenseren, dan komen we er niet”, geeft Provoost toe.

Een exascalecomputer met zo’n ontwerp zou 20 megawatt verbruiken. Dat betekent concreet dat je tien windmolens nodig hebt om zo’n computer aan te drijven. En dan hebben we het over processortechnologie die al veel zuiniger is dan vroeger.

Een laptopprocessor verbruikt nu ongeveer 25 euro aan stroom per jaar. Zou je die chip met de 4004-technologie uit 1971 bouwen, dan stijgt de kostprijs voor energie naar 100.000 euro.

De K Computer van Fujitsu is op dit moment de krachtigste computer op aarde, maar binnen tien jaar zouden computers nog honderd keer krachtiger moeten zijn.

Oplossingen
Het antwoord zit voor een deel in codesign: software die beter is afgestemd op multicore-architecturen. “We zitten nu met systemen met 140.000 kernen die niet optimaal bezig zijn. Er wordt gewerkt aan het verhogen van de bezettingsgraad, want die is op dit moment niet zo hoog. Dat gebeurt door de software beter af te stemmen op de hardware.

Het wordt een grote uitdaging om software te schrijven die miljoenen cores met elkaar kan laten samenwerken. Dat vereist een fundamentele ommekeer in de manier waarop software wordt geschreven. Het moet organischer worden. In eerste instantie zal dat gebeuren in de wereld van high performance computing, maar de rest zal ongetwijfeld volgen.

Voorlopig zijn we kinderstapjes aan het zetten, onder meer door bestaande algoritmes aan te passen.” Provoost maakt een vergelijking met een bouwwerf: vroeger werd er geconcentreerd op het sterker maken van de individuele werkmannen, nu moeten die samenwerken. Of anders gezegd: als één core met een zware berekening bezig is, moet een andere core die onderbenut wordt automatisch bijspringen.

“Een ander probleem is dat de huidige software alle cores simultaan laat rekenen. Pas in een volgende stap worden de gegevens uitgewisseld. Ze rekenen en communiceren dus allemaal. Het gevolg is dat kernen soms intensief bezig zijn en daarna stilliggen."

"Dat is wellicht niet de meest optimale manier van werken. Huidige algoritmes communiceren ook heel veel, wat momenteel geen probleem is maar in de toekomst minder voor de hand ligt. Er wordt dus ook gekeken naar oudere algoritmes, omdat de communicatie daar een stuk lager ligt.”

Een denkrichting die momenteel wordt onderzocht is die van photonics. Die techniek speelt in op de optische eigenschappen van heel dun silicium. Door gebruik van lasers kunnen zo heel hoge datasnelheden gehaald worden. Het is dan ook een interessante technologie om gegevens te verplaatsen.

Game over voor Moore?
Vaststaat dat er nog heel wat moet gebeuren voor we aan een exascaleniveau zitten. De betrokken spelers kijken vooral naar co-design en software, maar zal de hardware ook niet moeten krimpen? En hoe haalbaar is dat als sommige onderdelen nu nog maar vijf atoomlagen dik zijn? Lopen we met andere woorden tegen het einde van de Wet van Moore aan?

“Er is nog wel wat mogelijk”, zegt Sehmke. “Eigenlijk waren we twee chipgeneraties geleden al op een punt gekomen dat lekstromen een groot probleem waren. Toen zijn we een nieuwe isolatiemateriaal (hafnium) beginnen gebruiken met een veel hogere densiteit. Met andere woorden: meer atomen op dezelfde dikte.”

“Strained silicon was nog zo’n innovatie”, weet Provoost. “Er worden dus altijd wel trucs gevonden. Ik vermoed dat we nog wel even verder kunnen.”