Hoe slim is een artificiële intelligentie: een IQ-test
Artificiële intelligentie is al van voor het ontstaan van de term beter in bepaalde taken dan wij mensen. Moet er gerekend worden? Dan is je rekenmachine bijvoorbeeld slimmer. Met het nodige onderzoek werden computer ook beter in andere taken. Denk maar aan schaken of patroonherkenning. Binnenkort kan een computer waarschijnlijk zelfs beter rijden dan jij. Menselijke intelligentie is in contrast allesomvattend.
Eén systeem
Als we de vooruitgang op het gebied van AI in één systeem proppen, hoe komt dat er dan uit in vergelijking met ons mensenbrein? Een standaardtest voor het vergelijken van iemands intellectuele capaciteiten bestaat al: de IQ-test. Tijd dus om ook een computer aan zo’n test te onderwerpen, dachten ze bij de universiteit van Illinois in de VS.
Testsubject van dienst was ConceptNet 4, ontwikkeld aan MIT. ConceptNet is een “database van gezond verstand”, gecombineerd software voor het verwerken van gesproken taal. Het systeem ondersteunt zonder specifieke configuratie enkele basis-redeneringstaken. Geef het ding een aantal onderwerpen, en het zal relevante suggesties toevoegen, geef het een mail van je baas, en het zal deduceren dat de tekst ‘teleurstelling’ en ‘woede’ uitstraalt, en meer.
Relatienetwerk
ConceptNet is opgebouwd uit een netwerk van woorden en korte zinnen met onderlinge relaties. De AI ‘begrijpt’ bijvoorbeeld de relatie tussen leren en kennis of een saxofoon en jazzmuziek. De onderzoekers in Illinois pasten Conceptnet een klein beetje aan, zodat het systeem het type vragen zoals gesteld in de IQ-tekst kon interpreteren.
IQ-test op maat
De test in kwestie was de Wechsler IQ test voor kleuters en peuters. Die test peilt naar het intelligentieniveau van kinderen aan de hand van vragen in vijf categorieën. Eerst komt woordenschat aan de beurt met vragen zoals “wat is een kat?” In de informatiecategorie wil de test een antwoord op vragen zoals “Waar kan je een aap vinden?” Voor het woordredeneringsdeel krijgt een testsubject drie tips waarna het moet raden welk object gezocht wordt: “Het is vierkant, je kan er door zien en je kan het openen.”
In de categorie begrip peilt de Wechslertest naar de kennis over de motivatie van acties. “Waarom zeggen mensen hallo?” of “Waarom schudden ze elkaar de hand?” zijn hier voorbeelden. Tot slot test de Wechslertest de kennis van verbanden: “Regen en sneeuw bestaan allebei uit wat?”
Sterktes en zwaktes
ConceptNet scoorde uitstekend in de categorieën woordenschat en verbanden. De informatiecategorie was iets moeilijker, maar ook hier haalde de artificiële intelligentie degelijke punten. Woordredenering en de test over de motivatiebegrip waren enigszins verrassend niet aan het systeem besteed.
Een gemiddelde vierjarige weet niet op alle vragen een antwoord, maar het kind zal de vragen wel correct interpreteren. Bij ConceptNet ligt dat moeilijker. Dat de computer mensentaal verstaat is op zich al wonderbaarlijk. De IQ-test toonde aan dat de antwoorden van de AI erg afhankelijk waren van de interpretatie van de vraag, en daar liep het soms toch mis.
Epilepsie
Vraag je aan conceptnet waarom mensen elkaar de hand zoeken, dan distilleert het systeem enkele concepten uit die vraag, in casu ‘schudden’, ‘handen’, en ‘handen schudden’. Waarom schudden de handen van mensen? Omdat ze een epileptische aanval krijgen bijvoorbeeld. Niet echt een antwoord op de vraag dus, maar het is duidelijk waar ConceptNet in de mist ging. Dat is niet altijd het geval. Wanneer het systeem de vraag ‘Waar kan je een leerkracht terugvinden’ reduceerde tot ‘leerkracht vinden’, flapte het er dwaze antwoorden zoals ‘band’ of ‘piano’ uit.
Dieren
De antwoorden die ConceptNet gaf bij de woordredeneringstest waren nog vreemder. “Het dier heeft manen als het mannelijk is, het leeft in Afrika, en het is een grote, geelbruine kat.” De top vijf van antwoorden op dit aartsmoeilijke raadsel: Hond, boerderij, wezen, thuis en kat.”
Die antwoorden noemen de onderzoekers in MIT’s technologyreview ‘bizar’ en wanneer een wetenschapper dat woord in de mond neemt, weet je dat een duidelijke verklaring veraf is. “Met een beetje gezond verstand met het antwoord op z’n minst beperkt blijven tot dieren”, vinden hoofdonderzoeker Stellan Ohlssen en z’n team. “En wanneer we kat als tip geven, zou je verwachten dat ConceptNet enkel katsoorten in overweging neemt.
[related_article id=”160903″]Kind van vier
Waarom de geavanceerde artificiële intelligentie de bal met momenten zo verrassend mis slaat, vereist nog verder onderzoek. Alles bij elkaar genomen geeft de IQ-test wel een antwoord op de vraag hoe slim een computer is in vergelijking met een mens. De Wechsler IQ-testscore van ConceptNet was gemiddeld voor een kind van vier, maar onder het gemiddelde voor vijf tot zeven jaar oude mensen. Dat de computer iets dommer is op bepaalde vlakken en iets slimmer in andere is in dat opzicht niet zo belangrijk.
De toekomst
De score kan zonder al te veel moeite verbeterd worden denken de onderzoekers. ConceptNet 4 bestaat sinds 2012, vandaag is er al een opvolger, ConceptNet 5 en op drie jaar tijd maakte het veld van AI enorme vooruitgang. Concreet zorgt machine learning dezer dagen voor veel slimmere computers. De hoeveelheid data waaruit een AI vandaag kan putten om verbanden te leggen, patronen te herkennen en inzichten te krijgen is groter dan ooit. Ook het verwerken van taal is er op vooruit gegaan. Denk maar aan de capaciteiten van Google Now en Now on Tap dezer dagen.
In MIT’s technology review sluiten de onderzoekers af met een interessante bedenking. Na 60 jaar onderzoek konden we een machine bouwen met de intelligentie van een vier jaar oud kind. Verbeteringen in computerland gaan exponentieel. De vraag rijst dus: wie zal er in 2018 het hoogste IQ hebben, jij of een computer?
Artificiële intelligentie is al van voor het ontstaan van de term beter in bepaalde taken dan wij mensen. Moet er gerekend worden? Dan is je rekenmachine bijvoorbeeld slimmer. Met het nodige onderzoek werden computer ook beter in andere taken. Denk maar aan schaken of patroonherkenning. Binnenkort kan een computer waarschijnlijk zelfs beter rijden dan jij. Menselijke intelligentie is in contrast allesomvattend.
Eén systeem
Als we de vooruitgang op het gebied van AI in één systeem proppen, hoe komt dat er dan uit in vergelijking met ons mensenbrein? Een standaardtest voor het vergelijken van iemands intellectuele capaciteiten bestaat al: de IQ-test. Tijd dus om ook een computer aan zo’n test te onderwerpen, dachten ze bij de universiteit van Illinois in de VS.
Testsubject van dienst was ConceptNet 4, ontwikkeld aan MIT. ConceptNet is een “database van gezond verstand”, gecombineerd software voor het verwerken van gesproken taal. Het systeem ondersteunt zonder specifieke configuratie enkele basis-redeneringstaken. Geef het ding een aantal onderwerpen, en het zal relevante suggesties toevoegen, geef het een mail van je baas, en het zal deduceren dat de tekst ‘teleurstelling’ en ‘woede’ uitstraalt, en meer.
Relatienetwerk
ConceptNet is opgebouwd uit een netwerk van woorden en korte zinnen met onderlinge relaties. De AI ‘begrijpt’ bijvoorbeeld de relatie tussen leren en kennis of een saxofoon en jazzmuziek. De onderzoekers in Illinois pasten Conceptnet een klein beetje aan, zodat het systeem het type vragen zoals gesteld in de IQ-tekst kon interpreteren.
IQ-test op maat
De test in kwestie was de Wechsler IQ test voor kleuters en peuters. Die test peilt naar het intelligentieniveau van kinderen aan de hand van vragen in vijf categorieën. Eerst komt woordenschat aan de beurt met vragen zoals “wat is een kat?” In de informatiecategorie wil de test een antwoord op vragen zoals “Waar kan je een aap vinden?” Voor het woordredeneringsdeel krijgt een testsubject drie tips waarna het moet raden welk object gezocht wordt: “Het is vierkant, je kan er door zien en je kan het openen.”
In de categorie begrip peilt de Wechslertest naar de kennis over de motivatie van acties. “Waarom zeggen mensen hallo?” of “Waarom schudden ze elkaar de hand?” zijn hier voorbeelden. Tot slot test de Wechslertest de kennis van verbanden: “Regen en sneeuw bestaan allebei uit wat?”
Sterktes en zwaktes
ConceptNet scoorde uitstekend in de categorieën woordenschat en verbanden. De informatiecategorie was iets moeilijker, maar ook hier haalde de artificiële intelligentie degelijke punten. Woordredenering en de test over de motivatiebegrip waren enigszins verrassend niet aan het systeem besteed.
Een gemiddelde vierjarige weet niet op alle vragen een antwoord, maar het kind zal de vragen wel correct interpreteren. Bij ConceptNet ligt dat moeilijker. Dat de computer mensentaal verstaat is op zich al wonderbaarlijk. De IQ-test toonde aan dat de antwoorden van de AI erg afhankelijk waren van de interpretatie van de vraag, en daar liep het soms toch mis.
Epilepsie
Vraag je aan conceptnet waarom mensen elkaar de hand zoeken, dan distilleert het systeem enkele concepten uit die vraag, in casu ‘schudden’, ‘handen’, en ‘handen schudden’. Waarom schudden de handen van mensen? Omdat ze een epileptische aanval krijgen bijvoorbeeld. Niet echt een antwoord op de vraag dus, maar het is duidelijk waar ConceptNet in de mist ging. Dat is niet altijd het geval. Wanneer het systeem de vraag ‘Waar kan je een leerkracht terugvinden’ reduceerde tot ‘leerkracht vinden’, flapte het er dwaze antwoorden zoals ‘band’ of ‘piano’ uit.
Dieren
De antwoorden die ConceptNet gaf bij de woordredeneringstest waren nog vreemder. “Het dier heeft manen als het mannelijk is, het leeft in Afrika, en het is een grote, geelbruine kat.” De top vijf van antwoorden op dit aartsmoeilijke raadsel: Hond, boerderij, wezen, thuis en kat.”
Die antwoorden noemen de onderzoekers in MIT’s technologyreview ‘bizar’ en wanneer een wetenschapper dat woord in de mond neemt, weet je dat een duidelijke verklaring veraf is. “Met een beetje gezond verstand met het antwoord op z’n minst beperkt blijven tot dieren”, vinden hoofdonderzoeker Stellan Ohlssen en z’n team. “En wanneer we kat als tip geven, zou je verwachten dat ConceptNet enkel katsoorten in overweging neemt.
[related_article id=”160903″]Kind van vier
Waarom de geavanceerde artificiële intelligentie de bal met momenten zo verrassend mis slaat, vereist nog verder onderzoek. Alles bij elkaar genomen geeft de IQ-test wel een antwoord op de vraag hoe slim een computer is in vergelijking met een mens. De Wechsler IQ-testscore van ConceptNet was gemiddeld voor een kind van vier, maar onder het gemiddelde voor vijf tot zeven jaar oude mensen. Dat de computer iets dommer is op bepaalde vlakken en iets slimmer in andere is in dat opzicht niet zo belangrijk.
De toekomst
De score kan zonder al te veel moeite verbeterd worden denken de onderzoekers. ConceptNet 4 bestaat sinds 2012, vandaag is er al een opvolger, ConceptNet 5 en op drie jaar tijd maakte het veld van AI enorme vooruitgang. Concreet zorgt machine learning dezer dagen voor veel slimmere computers. De hoeveelheid data waaruit een AI vandaag kan putten om verbanden te leggen, patronen te herkennen en inzichten te krijgen is groter dan ooit. Ook het verwerken van taal is er op vooruit gegaan. Denk maar aan de capaciteiten van Google Now en Now on Tap dezer dagen.
In MIT’s technology review sluiten de onderzoekers af met een interessante bedenking. Na 60 jaar onderzoek konden we een machine bouwen met de intelligentie van een vier jaar oud kind. Verbeteringen in computerland gaan exponentieel. De vraag rijst dus: wie zal er in 2018 het hoogste IQ hebben, jij of een computer?
