Strijd om rekentijd: zo krijg je toegang tot een supercomputer
Een supercomputer is niets meer dan een high performance computing (HPC)-systeem dat op een gegeven moment als exceptioneel krachtig wordt beschouwd. ‘Supercomputer’ kan je dus zien als een soort label voor een stevig HPC-cluster. In Vlaanderen staat momenteel één Tier-1-supercomputer: de BrENIAC. Dat 600 Tflops tellende kanon wordt gehuisvest in het ICTS-datacenter van de KU Leuven, maar is verre van de enige computer met een flinke verzameling pk’s. BrENIAC wordt beheerd onder de koepel van het Vlaams Supercomputer Centrum; een virtueel centrum bestaande uit het Fonds Wetenschappelijk Onderzoek (FWO) en een samenwerking van de vijf Vlaamse universiteiten.
Tier-2
In het portfolio van het VSC zitten naast de Tier-1-computer ook een heleboel Tier-2-systemen. Zo is er het voormalige vlaggenschip van de organisatie: de oudere Muk-supercomputer. Antwerpen, Gent en Leuven hebben zelf echter een heleboel extra Tier-2-computers staan. In Leuven gaat het onder ander om het ThinKing-cluster (230 Tflops) en de Cerebro (12 Tflops), gekoppeld aan enkele Nvidia Cuda- en Xeon-accelerators.
Of een HPC-systeem nu officieel ‘super’ is of niet; het principe is hetzelfde. De systemen zijn opgebouwd uit een heleboel parallel werkende rekenkernen gebaseerd op x86-hardware. Ze halen hun kracht uit de mogelijkheid extreem veel werk simultaan te verzetten en dat vereist een inspanning van wie ze wil gebruiken. Een HPC-systeem is immers niets zonder software die er optimaal gebruik van maakt.
We keken eerder al in meer detail naar BrENIAC en de bijhorende hardware. Hier gaan we dieper in op het gebruik van de HPC-infrastructuur. Alles begint verrassend genoeg bij je thuis of op kantoor. “Je kan aan High Performance Computing doen op je laptop of workstation”, aldus Ingrid Barcena. Zij is projectleidster van Tier-1 voor het VSC. “Dergelijke computers vallen onder Tier-3.”
Onder het Tier-2-dak schuilen de supercomputers die niet (meer) super zijn. Zo heeft de Universiteit van Antwerpen Hopper en Turing, Gent heeft Stevin, Brussel kan uitpakken met Hydra en Leuven en Hasselt hebben samen de eerder genoemde ThinKing- en Cerebro-computers. “Er is genoeg Tier-2-rekenkracht in ons land om aan de vraag te voldoen”, weet Leen Van Rentergem. Als Hoofd van de Dienst Faciliteiten voor Onderwijs, Onderzoek, Communicatie en Samenwerking staat zij in voor de ondersteuning van de gebruikers van de HPC-infrastructuur.
Omkadering boven prestaties
Van Rentergem wil meteen duidelijk maken dat het onderscheid in Tiers niet gebaseerd is op rekenkracht, maar veeleer op omkadering. Tier-3-systemen heb je misschien wel thuis staan. Tier-2-systemen worden vooral regionaal beheerd en kunnen relatief flexibel worden ingezet. Tier-1-systemen vertegenwoordigen schaarse rekenkracht en worden op landelijk niveau beheerd. Tier-0-systemen tot slot vind je slechts op enkele plaatsen in de wereld. Wie rekentijd op die computers kan bemachtigen, kan rekenen op een erg gespecialiseerde ondersteuning.
[related_article id=”213070″]Het VCS stelt in samenwerking met de universiteiten een heleboel fulltime en parttime ondersteuningspersoneel te werk. Het gros is afkomstig van de universiteiten van Leuven en Gent. Ongeveer de helft van die mensen heeft niet alleen kaas gegeten van HPC, maar is ook thuis in velden als fysica, wiskunde en chemie. Ze kunnen zo onderzoekers bijstaan in hun reis door de wereld van de HPC.
Strijden voor rekentijd
In de praktijk kom je als onderzoeker niet aankloppen bij BrENIAC met een harde schijf vol simulaties die je wil uitvoeren. “Het gebruik van onze Tier-1-infrastructuur is gratis maar de vraag is groter dan het beschikbare aanbod”, aldus Barcena. “Een internationaal panel keurt aanvragen goed.” Van Rentergem verduidelijkt hoe dat in zijn werk gaat. “Het panel spreekt zich niet uit over de wetenschappelijke waarde van een voorgesteld onderzoek. Dat deden de universiteiten die zich achter de voorgestelde projecten schaarden al. Het panel kijkt wel naar de HPC-plannen van een kandidaat. Een voorstel wordt beoordeeld op basis van de motivatie voor de nood aan een Tier-1-computer, maar ook aan de hand van de technische kant van het voorstel. Wie de schaarse infrastructuur wil gebruiken, moet software klaar hebben die technisch in staat is de rekenkracht optimaal te benutten.”
Die software is niet geschreven in één of andere obscure taal. “Applicaties draaien op bekende code zoals C++ of zelfs Python”, weet Barcena. De software moet evenwel op een optimale manier gebruik maken van de parallelle rekencapaciteiten van een supercomputer. Dat wil zeggen dat de applicaties gebruik moeten maken van speciale systeembronnen en drivers om vlot te draaien op een specifiek systeem. Het team van Van Rentergem kan onderzoekers daarin bijstaan, maar om rekentijd te krijgen op de BrENIAC moet het eindresultaat al van hoog niveau zijn.
Ervaring opbouwen
“Daarom zijn de Tier-2-systemen zo belangrijk”, weet ze. “Hierop hebben onderzoekers de marge om zich vertrouwd te maken met de wereld van HPC.” Tier-2-clusters worden beheerd door hun respectievelijke eigenaars, maar toegang is meestal (vrijwel) gratis. Experimenteren mag en wordt aangemoedigd. Eigenlijk kan je als onderzoeker maar aanspraak maken op Tier-1-rekentijd als je voldoende ervaring hebt opgedaan op Tier-2-systemen. Daar kom je dan weer pas terecht als je tegen de beperkingen van je eigen Tier-3-computers bent aangelopen. Tier-0 is naar analogie enkel toegankelijk voor wie de mogelijkheden van de lokale Tier-1-infrastructuur heeft uitgeput.
Tier-1-rekenkracht is weggelegd voor wetenschappelijk onderzoek, voor Tier-2 zijn de universiteiten flexibeler. Van Rentergem: “De politiek wil Vlaamse bedrijven er toe aanzetten de voordelen van HPC te omarmen.” Iedereen kan wel iets optimaliseren of verbeteren met de hulp van HPC. Vlaanderen hoopt dat duidelijk te maken aan kmo’s om de regio zo een concurrentiële voorsprong te geven in een specifieke niche. Het resultaat is dat ook bedrijven mogen experimenteren op de Tier-2-systemen. De vuistregel is voor iedere Tier dezelfde: gebruik wat je hebt tot de limiet. Pas dan is het echt een goed idee om op zoek te gaan naar rekenkracht die een Tier hoger zit.
Een supercomputer is niets meer dan een high performance computing (HPC)-systeem dat op een gegeven moment als exceptioneel krachtig wordt beschouwd. ‘Supercomputer’ kan je dus zien als een soort label voor een stevig HPC-cluster. In Vlaanderen staat momenteel één Tier-1-supercomputer: de BrENIAC. Dat 600 Tflops tellende kanon wordt gehuisvest in het ICTS-datacenter van de KU Leuven, maar is verre van de enige computer met een flinke verzameling pk’s. BrENIAC wordt beheerd onder de koepel van het Vlaams Supercomputer Centrum; een virtueel centrum bestaande uit het Fonds Wetenschappelijk Onderzoek (FWO) en een samenwerking van de vijf Vlaamse universiteiten.
Tier-2
In het portfolio van het VSC zitten naast de Tier-1-computer ook een heleboel Tier-2-systemen. Zo is er het voormalige vlaggenschip van de organisatie: de oudere Muk-supercomputer. Antwerpen, Gent en Leuven hebben zelf echter een heleboel extra Tier-2-computers staan. In Leuven gaat het onder ander om het ThinKing-cluster (230 Tflops) en de Cerebro (12 Tflops), gekoppeld aan enkele Nvidia Cuda- en Xeon-accelerators.
Of een HPC-systeem nu officieel ‘super’ is of niet; het principe is hetzelfde. De systemen zijn opgebouwd uit een heleboel parallel werkende rekenkernen gebaseerd op x86-hardware. Ze halen hun kracht uit de mogelijkheid extreem veel werk simultaan te verzetten en dat vereist een inspanning van wie ze wil gebruiken. Een HPC-systeem is immers niets zonder software die er optimaal gebruik van maakt.
We keken eerder al in meer detail naar BrENIAC en de bijhorende hardware. Hier gaan we dieper in op het gebruik van de HPC-infrastructuur. Alles begint verrassend genoeg bij je thuis of op kantoor. “Je kan aan High Performance Computing doen op je laptop of workstation”, aldus Ingrid Barcena. Zij is projectleidster van Tier-1 voor het VSC. “Dergelijke computers vallen onder Tier-3.”
Onder het Tier-2-dak schuilen de supercomputers die niet (meer) super zijn. Zo heeft de Universiteit van Antwerpen Hopper en Turing, Gent heeft Stevin, Brussel kan uitpakken met Hydra en Leuven en Hasselt hebben samen de eerder genoemde ThinKing- en Cerebro-computers. “Er is genoeg Tier-2-rekenkracht in ons land om aan de vraag te voldoen”, weet Leen Van Rentergem. Als Hoofd van de Dienst Faciliteiten voor Onderwijs, Onderzoek, Communicatie en Samenwerking staat zij in voor de ondersteuning van de gebruikers van de HPC-infrastructuur.
Omkadering boven prestaties
Van Rentergem wil meteen duidelijk maken dat het onderscheid in Tiers niet gebaseerd is op rekenkracht, maar veeleer op omkadering. Tier-3-systemen heb je misschien wel thuis staan. Tier-2-systemen worden vooral regionaal beheerd en kunnen relatief flexibel worden ingezet. Tier-1-systemen vertegenwoordigen schaarse rekenkracht en worden op landelijk niveau beheerd. Tier-0-systemen tot slot vind je slechts op enkele plaatsen in de wereld. Wie rekentijd op die computers kan bemachtigen, kan rekenen op een erg gespecialiseerde ondersteuning.
[related_article id=”213070″]Het VCS stelt in samenwerking met de universiteiten een heleboel fulltime en parttime ondersteuningspersoneel te werk. Het gros is afkomstig van de universiteiten van Leuven en Gent. Ongeveer de helft van die mensen heeft niet alleen kaas gegeten van HPC, maar is ook thuis in velden als fysica, wiskunde en chemie. Ze kunnen zo onderzoekers bijstaan in hun reis door de wereld van de HPC.
Strijden voor rekentijd
In de praktijk kom je als onderzoeker niet aankloppen bij BrENIAC met een harde schijf vol simulaties die je wil uitvoeren. “Het gebruik van onze Tier-1-infrastructuur is gratis maar de vraag is groter dan het beschikbare aanbod”, aldus Barcena. “Een internationaal panel keurt aanvragen goed.” Van Rentergem verduidelijkt hoe dat in zijn werk gaat. “Het panel spreekt zich niet uit over de wetenschappelijke waarde van een voorgesteld onderzoek. Dat deden de universiteiten die zich achter de voorgestelde projecten schaarden al. Het panel kijkt wel naar de HPC-plannen van een kandidaat. Een voorstel wordt beoordeeld op basis van de motivatie voor de nood aan een Tier-1-computer, maar ook aan de hand van de technische kant van het voorstel. Wie de schaarse infrastructuur wil gebruiken, moet software klaar hebben die technisch in staat is de rekenkracht optimaal te benutten.”
Die software is niet geschreven in één of andere obscure taal. “Applicaties draaien op bekende code zoals C++ of zelfs Python”, weet Barcena. De software moet evenwel op een optimale manier gebruik maken van de parallelle rekencapaciteiten van een supercomputer. Dat wil zeggen dat de applicaties gebruik moeten maken van speciale systeembronnen en drivers om vlot te draaien op een specifiek systeem. Het team van Van Rentergem kan onderzoekers daarin bijstaan, maar om rekentijd te krijgen op de BrENIAC moet het eindresultaat al van hoog niveau zijn.
Ervaring opbouwen
“Daarom zijn de Tier-2-systemen zo belangrijk”, weet ze. “Hierop hebben onderzoekers de marge om zich vertrouwd te maken met de wereld van HPC.” Tier-2-clusters worden beheerd door hun respectievelijke eigenaars, maar toegang is meestal (vrijwel) gratis. Experimenteren mag en wordt aangemoedigd. Eigenlijk kan je als onderzoeker maar aanspraak maken op Tier-1-rekentijd als je voldoende ervaring hebt opgedaan op Tier-2-systemen. Daar kom je dan weer pas terecht als je tegen de beperkingen van je eigen Tier-3-computers bent aangelopen. Tier-0 is naar analogie enkel toegankelijk voor wie de mogelijkheden van de lokale Tier-1-infrastructuur heeft uitgeput.
Tier-1-rekenkracht is weggelegd voor wetenschappelijk onderzoek, voor Tier-2 zijn de universiteiten flexibeler. Van Rentergem: “De politiek wil Vlaamse bedrijven er toe aanzetten de voordelen van HPC te omarmen.” Iedereen kan wel iets optimaliseren of verbeteren met de hulp van HPC. Vlaanderen hoopt dat duidelijk te maken aan kmo’s om de regio zo een concurrentiële voorsprong te geven in een specifieke niche. Het resultaat is dat ook bedrijven mogen experimenteren op de Tier-2-systemen. De vuistregel is voor iedere Tier dezelfde: gebruik wat je hebt tot de limiet. Pas dan is het echt een goed idee om op zoek te gaan naar rekenkracht die een Tier hoger zit.
