Hoe breinchips onze wereld kunnen veranderen
Een digitale computer is vanaf nul ontworpen om mathematische operaties uit te voeren. De toestellen zijn tot in de puntjes geoptimaliseerd om dergelijke operaties op een snelle en efficiënte manier te volbrengen. Dezelfde digitale machines worden momenteel ingezet om machine learning te verwezenlijken, met wisselende resultaten. Wanneer je erover nadenkt is het een beetje raar dat ingenieurs traditionele computers inzetten om een nieuwe technologie – die allesbehalve traditioneel is – uit te werken. Ook voor artificiële intelligentie dienen er computers ontworpen te worden die volledig geoptimaliseerd zijn om de taken te volbrengen die bij machine learning horen. Met deze probleemstelling in hun achterhoofd hebben ingenieurs van IBM TrueNorth ontwikkeld: een chip die de werking van het menselijke brein zoveel mogelijk benadert.
Opbouw TrueNorth
Een TrueNorth-chip is opgebouwd uit verschillende cores (figuur D) die op zichzelf staande neurale netwerken met 256 inputlijnen (axonen) en 256 outputlijnen (neuronen) vormen. In een chip worden 64 bij 64 cores met elkaar verbonden op een zodanige manier dat elke neuron op elke core een willekeurige axon op eender welke core kan bereiken (figuur E). Een globale klok van 1 kHz zorgt voor synchronisatie tussen software en hardware, terwijl alle cores parallel kunnen blijven werken. Om de rekenkracht te vergroten, kunnen verschillende chips met elkaar verbonden worden (figuur F).
De axonen en neuronen worden in een core verbonden met horizontale en verticale lijnen die bij kruisingen al dan niet met elkaar verbonden zijn (figuur G). Indien kruisende lijnen een connectie vormen, spreekt men van een actieve synaps, naar analogie met onze hersenen. In tegenstelling tot het brein, dat een toegewijde lijn heeft voor iedere connectie, wordt er tussen de cores van TrueNorth gebruikgemaakt van lijnen met tijdmultiplexing. Deze lijnen vormen een tweedimensionaal rooster, waarbij de kruisingen routers worden genoemd (figuur H). Routers hebben telkens vijf poorten, namelijk noord, zuid, oost, west en lokaal, en vormen de ruggengraat van het rooster.
Werking breinchip
Wanneer een neuron van een bepaalde core een spikesignaal krijgt, zal het in het lokale coregeheugen opzoeken wat de gewenste bestemming van het signaal en de gewenste vertraging (van 1 tot 15 tijdstappen) is. Het neuron codeert de informatie in een pakket en injecteert het signaal in het rooster dat zich tussen de verschillende cores bevindt. Het pakket zal van router naar router bewegen tot het de juiste core heeft bereikt. Via de lokale poort van de router treedt het signaal de core binnen, waar het zal vertakken. Het signaal zal van de axonen (horizontale lijnen bij figuur G) door actieve synapsen naar inputs voor alle verbonden neuronen (verticale lijnen) bewegen.
[related_article id=”212675″]Eén TrueNorth-chip heeft maar liefst een miljoen neuronen en axonen, 256 miljoen synapsen en 5,4 miljard transistoren. Elk van de 4.096 cores heeft 104.448 bits lokaal geheugen. In dit geheugen worden de statussen van de synapsen, statussen van neuronen, bestemmingsadressen en gewenste vertragingen bewaard.
Voordelen
De unieke lay-out van de TrueNorth-chip biedt verschillende voordelen. Ten eerste heeft de digitale chip een erg efficiënte architectuur. Spike-events zijn zeldzaam, waardoor er geen energie wordt verspild.
Verder is de architectuur schaalbaar. Cores en chips kunnen namelijk in een tweedimensionaal rooster met elkaar verbonden worden. Bovendien spreekt ieder spikesignaal een groep neuronen aan op de bestemmingscore, waardoor er geen kritieke flessenhalzen worden gevormd en een defect op core- of chipniveau de werking van het systeem niet zal ontregelen.
Tot slot is de architectuur flexibel. Je kan elke neuron afzonderlijk configureren, elke synaps kan afzonderlijk worden in –en uitgeschakeld en je kan elke neuron-axonverbinding programmeren met een bepaalde vertraging.
Efficiëntie
Hoe vertaalt al deze rekenkracht zich in resultaten? Wanneer je IBM’s TrueNorth-chip beelden laat classificeren – een typische machine learning-taak – zal het tussen 1.200 en 2.600 frames per seconde verwerken. Ondanks deze hoge snelheid blijft het verbruik van de chip te allen tijde laag, namelijk tussen 25 en 275 mW. Omgerekend wil dit zeggen dat TrueNorth een energie-efficiëntie heeft van 6.000 frames per seconde, per Watt tijdens een classificatietaak. Jammer genoeg zijn er geen frames/seconde/Watt-cijfers bekend van grafische kaarten om mee te vergelijken. Wanneer je weet dat moderne GPU’s 200 tot 250 Watt verbruiken, wordt het echter al snel duidelijk dat huidige technologieën niet kunnen tippen aan de efficiëntie van TrueNorth.
Bedrijven als Apple, Facebook en Google kunnen enkel geavanceerde diensten aanbieden door het gebruiken van supercomputers die ontworpen zijn om machine learning-algoritmes zo efficiënt mogelijk uit te voeren. Deze specialisatie maakt de machines immens duur. De firma’s moeten bovendien torenhoge energiekosten betalen om de toestellen dag en nacht draaiende te houden. Breinchips zijn eveneens niet goedkoop, maar kunnen de hoge energiefacturen wel een halt toeroepen. Dit maakt ze uitermate interessant voor dienstverleners.
Hersenbalk
Alsof TrueNorth nog niet krachtig genoeg was, heeft IBM in september een nieuwe versie van zijn chip gelanceerd, NS16e genaamd. Zoals de naam al een beetje verklapt, bestaat dit stukje hardware uit een array van zestien TrueNorth-processoren. Dit geeft een totaal van ongeveer vier miljard synapsen, oftewel verbindingen waartussen de chips kunnen communiceren. Dit is nog steeds erg weinig in vergelijking met het menselijke brein, maar zou meer dan voldoende moeten zijn om huidige machine learning-problemen aan te pakken.
De zestien chips in NS16e communiceren met elkaar dankzij passieve connecties waar berichten langs kunnen passeren. Deze werking doet erg hard denken aan de hersenbalk, een deel van ons brein dat de linker- en rechterhersenhelft met elkaar verbindt.
Toepassingsgebieden
IBM heeft een groot deel van zijn vooruitgang te danken aan investeringen van DARPA, een instituut van het Amerikaanse ministerie van Defensie. Breinchips hebben militairen dan ook een hoop te bieden. Soldaten lopen continu rond in plaatsen waar een slechte internetverbinding is en taalbarrières – met name met mensen die een specifiek dialect praten- voor problemen zorgen. Momenteel maakt men gebruik van een techniek die ‘Natural Language Processing’ (NLP) wordt genoemd. NLP-analyse wordt voornamelijk gecentraliseerd gedaan, wat door een slechte internetverbinding traag verloopt. Dankzij breinchips kan dit lokaal gebeuren en zouden vertalers onmiddellijk aan de slag kunnen gaan.
[related_article id=”211186″]Ook voor wearebles bieden de chips een unieke kans. Denk bijvoorbeeld aan een slimme augmented reality-bril. Dergelijke functionaliteit is moeilijk aan te bieden voor miljoenen klanten via het internet. Breinchips als TrueNorth zijn echter in staat om machine learning-algoritmes lokaal en energie-efficiënt uit te voeren. Dit zou voor een grote boost in de gadgetmarkt kunnen zorgen.
Een digitale computer is vanaf nul ontworpen om mathematische operaties uit te voeren. De toestellen zijn tot in de puntjes geoptimaliseerd om dergelijke operaties op een snelle en efficiënte manier te volbrengen. Dezelfde digitale machines worden momenteel ingezet om machine learning te verwezenlijken, met wisselende resultaten. Wanneer je erover nadenkt is het een beetje raar dat ingenieurs traditionele computers inzetten om een nieuwe technologie – die allesbehalve traditioneel is – uit te werken. Ook voor artificiële intelligentie dienen er computers ontworpen te worden die volledig geoptimaliseerd zijn om de taken te volbrengen die bij machine learning horen. Met deze probleemstelling in hun achterhoofd hebben ingenieurs van IBM TrueNorth ontwikkeld: een chip die de werking van het menselijke brein zoveel mogelijk benadert.
Opbouw TrueNorth
Een TrueNorth-chip is opgebouwd uit verschillende cores (figuur D) die op zichzelf staande neurale netwerken met 256 inputlijnen (axonen) en 256 outputlijnen (neuronen) vormen. In een chip worden 64 bij 64 cores met elkaar verbonden op een zodanige manier dat elke neuron op elke core een willekeurige axon op eender welke core kan bereiken (figuur E). Een globale klok van 1 kHz zorgt voor synchronisatie tussen software en hardware, terwijl alle cores parallel kunnen blijven werken. Om de rekenkracht te vergroten, kunnen verschillende chips met elkaar verbonden worden (figuur F).
De axonen en neuronen worden in een core verbonden met horizontale en verticale lijnen die bij kruisingen al dan niet met elkaar verbonden zijn (figuur G). Indien kruisende lijnen een connectie vormen, spreekt men van een actieve synaps, naar analogie met onze hersenen. In tegenstelling tot het brein, dat een toegewijde lijn heeft voor iedere connectie, wordt er tussen de cores van TrueNorth gebruikgemaakt van lijnen met tijdmultiplexing. Deze lijnen vormen een tweedimensionaal rooster, waarbij de kruisingen routers worden genoemd (figuur H). Routers hebben telkens vijf poorten, namelijk noord, zuid, oost, west en lokaal, en vormen de ruggengraat van het rooster.
Werking breinchip
Wanneer een neuron van een bepaalde core een spikesignaal krijgt, zal het in het lokale coregeheugen opzoeken wat de gewenste bestemming van het signaal en de gewenste vertraging (van 1 tot 15 tijdstappen) is. Het neuron codeert de informatie in een pakket en injecteert het signaal in het rooster dat zich tussen de verschillende cores bevindt. Het pakket zal van router naar router bewegen tot het de juiste core heeft bereikt. Via de lokale poort van de router treedt het signaal de core binnen, waar het zal vertakken. Het signaal zal van de axonen (horizontale lijnen bij figuur G) door actieve synapsen naar inputs voor alle verbonden neuronen (verticale lijnen) bewegen.
[related_article id=”212675″]Eén TrueNorth-chip heeft maar liefst een miljoen neuronen en axonen, 256 miljoen synapsen en 5,4 miljard transistoren. Elk van de 4.096 cores heeft 104.448 bits lokaal geheugen. In dit geheugen worden de statussen van de synapsen, statussen van neuronen, bestemmingsadressen en gewenste vertragingen bewaard.
Voordelen
De unieke lay-out van de TrueNorth-chip biedt verschillende voordelen. Ten eerste heeft de digitale chip een erg efficiënte architectuur. Spike-events zijn zeldzaam, waardoor er geen energie wordt verspild.
Verder is de architectuur schaalbaar. Cores en chips kunnen namelijk in een tweedimensionaal rooster met elkaar verbonden worden. Bovendien spreekt ieder spikesignaal een groep neuronen aan op de bestemmingscore, waardoor er geen kritieke flessenhalzen worden gevormd en een defect op core- of chipniveau de werking van het systeem niet zal ontregelen.
Tot slot is de architectuur flexibel. Je kan elke neuron afzonderlijk configureren, elke synaps kan afzonderlijk worden in –en uitgeschakeld en je kan elke neuron-axonverbinding programmeren met een bepaalde vertraging.
Efficiëntie
Hoe vertaalt al deze rekenkracht zich in resultaten? Wanneer je IBM’s TrueNorth-chip beelden laat classificeren – een typische machine learning-taak – zal het tussen 1.200 en 2.600 frames per seconde verwerken. Ondanks deze hoge snelheid blijft het verbruik van de chip te allen tijde laag, namelijk tussen 25 en 275 mW. Omgerekend wil dit zeggen dat TrueNorth een energie-efficiëntie heeft van 6.000 frames per seconde, per Watt tijdens een classificatietaak. Jammer genoeg zijn er geen frames/seconde/Watt-cijfers bekend van grafische kaarten om mee te vergelijken. Wanneer je weet dat moderne GPU’s 200 tot 250 Watt verbruiken, wordt het echter al snel duidelijk dat huidige technologieën niet kunnen tippen aan de efficiëntie van TrueNorth.
Bedrijven als Apple, Facebook en Google kunnen enkel geavanceerde diensten aanbieden door het gebruiken van supercomputers die ontworpen zijn om machine learning-algoritmes zo efficiënt mogelijk uit te voeren. Deze specialisatie maakt de machines immens duur. De firma’s moeten bovendien torenhoge energiekosten betalen om de toestellen dag en nacht draaiende te houden. Breinchips zijn eveneens niet goedkoop, maar kunnen de hoge energiefacturen wel een halt toeroepen. Dit maakt ze uitermate interessant voor dienstverleners.
Hersenbalk
Alsof TrueNorth nog niet krachtig genoeg was, heeft IBM in september een nieuwe versie van zijn chip gelanceerd, NS16e genaamd. Zoals de naam al een beetje verklapt, bestaat dit stukje hardware uit een array van zestien TrueNorth-processoren. Dit geeft een totaal van ongeveer vier miljard synapsen, oftewel verbindingen waartussen de chips kunnen communiceren. Dit is nog steeds erg weinig in vergelijking met het menselijke brein, maar zou meer dan voldoende moeten zijn om huidige machine learning-problemen aan te pakken.
De zestien chips in NS16e communiceren met elkaar dankzij passieve connecties waar berichten langs kunnen passeren. Deze werking doet erg hard denken aan de hersenbalk, een deel van ons brein dat de linker- en rechterhersenhelft met elkaar verbindt.
Toepassingsgebieden
IBM heeft een groot deel van zijn vooruitgang te danken aan investeringen van DARPA, een instituut van het Amerikaanse ministerie van Defensie. Breinchips hebben militairen dan ook een hoop te bieden. Soldaten lopen continu rond in plaatsen waar een slechte internetverbinding is en taalbarrières – met name met mensen die een specifiek dialect praten- voor problemen zorgen. Momenteel maakt men gebruik van een techniek die ‘Natural Language Processing’ (NLP) wordt genoemd. NLP-analyse wordt voornamelijk gecentraliseerd gedaan, wat door een slechte internetverbinding traag verloopt. Dankzij breinchips kan dit lokaal gebeuren en zouden vertalers onmiddellijk aan de slag kunnen gaan.
[related_article id=”211186″]Ook voor wearebles bieden de chips een unieke kans. Denk bijvoorbeeld aan een slimme augmented reality-bril. Dergelijke functionaliteit is moeilijk aan te bieden voor miljoenen klanten via het internet. Breinchips als TrueNorth zijn echter in staat om machine learning-algoritmes lokaal en energie-efficiënt uit te voeren. Dit zou voor een grote boost in de gadgetmarkt kunnen zorgen.
