Chatrobot slaagt voor turingtest
Een computerprogramma dat zich voordeed als een dertienjarige jongen uit Oekraïne, genaamd Eugene Goostman, is afgelopen weekend geslaagd voorvoor een turingtest aan de Royal Society in Londen. Tijdens een getypte conversatie van vijf minuten overtuigde het programma 33 procent van de juryleden dat het een echt mens was.
De originele test werd uitgevonden door computerwetenschapper Alan Turing in 1950; deze wedstrijd werd dan ook gehouden zestig jaar na zijn sterfdag. In de jury zetelden onder andere Robert Llewellyn, misschien bekend van zijn rol als de android Kryten in Red Dwarf, en Lord Sharkley, die vorig jaar de campagne leidde om Turing postuum absolutie te verlenen.
[related_article id=”161920″]
Het succes van Eugene Goostman was geen complete verassing. In 2012 overtuigde de chatbot al 29 procent van de 25 menselijke juryleden tijdens een turingtestwedstrijd in Bletchley Park, het codebrekerscentrum uit Wereldoorlog II.
Geloofwaardig
Kevin Warwick, een professor aan de universiteit van Reading — de instelling die beide tests organiseerde — zegt dat dit de eerste keer is dat een chatbot slaagde voor een test waarbij de vragen of onderwerpen niet op voorhand vastgelegd zijn.
Vladimir Veselov, een van de ontwikkelaars van Goostman, benadrukt dat veel moeite gestoken werd in het ontwerpen van een geloofwaardige persoonlijkheid voor de chatbot. Die verklaart ook voor een deel het succes van Eugene Goostman: geen enkel Engelstalig jurylid verwacht van een jongen uit Odessa dat hij volstrekt foutloos Engels spreekt, waardoor een aantal grammaticale of taalkundige foutjes de robot niet verraden.
Veselov ontwierp Eugene met twee andere Russische ontwikkelaars, Eugene Demchenko en Sergey Ulasen, in Sint-Petersburg. Volgens Veselov begon de chatbot als een hobby, en was het belangrijkste onderdeel een “typocorrector”. Goostman probeert namelijk, net zoals echte mensen of Google Search, om spel- en tikfouten te begrijpen die mensen maken. Iets waar computers veel meer moeite mee hebben dan mensen.
Chatbots zouden gebruikt kunnen worden om geautomatiseerde hulp te verlenen aan websitebezoekers, of kunnen ingebouwd worden in robots om mensen gezelschap te houden. De onderliggende technologie kan ook worden gebruikt om automatisch documenten te parsen om er informatie uit te halen.
Belangrijke gevolgen
Volgens Kevin Warwick heeft de test belangrijke implicaties voor onze maatschappij. “Een computer die mensen kan overtuigen dat hij iets of iemand is die ze kunnen vertrouwen is een enorme waarschuwing voor onze cyberveiligheid. De turingtest is een levensbelangrijk tool om die dreiging te bestrijden. We moeten beter begrijpen hoe dit soort online, realtimecommunicatie een individu zodanig kan beïnvloeden dat hij iets als waar gaat aannemen, terwijl dat niet het geval is.”
Als je zelf eens wil chatten met Eugene, dan kan je terecht op de AI-website van Princeton.
Kritiek op de test (Update 11.45 uur:)
Hoewel Warwick zich sterk maakt dat de resultaten van zondag gecontroleerd werden door een onafhankelijk team van onderzoekers en voldoen aan de criteria die Alan Turing zelf opstelde voor zijn test, zijn er ondertussen ook kritische noten te horen. Zoals technologieblog TechDirt opmerkt heeft Warwick een eerder twijfelachtige relatie met de pers.
Daarnaast zijn tests die onder andere door Time.com uitgevoerd werden met de online beschikbare versie van Goostman allesbehalve overtuigend. Het is echter niet duidelijk of zij dezelfde versie gebruikten die in Londen getoond werd.
Voorlopig is er nog geen transcriptie beschikbaar van de tests van dit weekend. Hoewel Warwick stelt dat de academische papers die ongetwijfeld zullen volgens wel stukken van de conversaties tussen Goostman en de menselijke testers zullen bevatten.
Een computerprogramma dat zich voordeed als een dertienjarige jongen uit Oekraïne, genaamd Eugene Goostman, is afgelopen weekend geslaagd voorvoor een turingtest aan de Royal Society in Londen. Tijdens een getypte conversatie van vijf minuten overtuigde het programma 33 procent van de juryleden dat het een echt mens was.
De originele test werd uitgevonden door computerwetenschapper Alan Turing in 1950; deze wedstrijd werd dan ook gehouden zestig jaar na zijn sterfdag. In de jury zetelden onder andere Robert Llewellyn, misschien bekend van zijn rol als de android Kryten in Red Dwarf, en Lord Sharkley, die vorig jaar de campagne leidde om Turing postuum absolutie te verlenen.
[related_article id=”161920″]
Het succes van Eugene Goostman was geen complete verassing. In 2012 overtuigde de chatbot al 29 procent van de 25 menselijke juryleden tijdens een turingtestwedstrijd in Bletchley Park, het codebrekerscentrum uit Wereldoorlog II.
Geloofwaardig
Kevin Warwick, een professor aan de universiteit van Reading — de instelling die beide tests organiseerde — zegt dat dit de eerste keer is dat een chatbot slaagde voor een test waarbij de vragen of onderwerpen niet op voorhand vastgelegd zijn.
Vladimir Veselov, een van de ontwikkelaars van Goostman, benadrukt dat veel moeite gestoken werd in het ontwerpen van een geloofwaardige persoonlijkheid voor de chatbot. Die verklaart ook voor een deel het succes van Eugene Goostman: geen enkel Engelstalig jurylid verwacht van een jongen uit Odessa dat hij volstrekt foutloos Engels spreekt, waardoor een aantal grammaticale of taalkundige foutjes de robot niet verraden.
Veselov ontwierp Eugene met twee andere Russische ontwikkelaars, Eugene Demchenko en Sergey Ulasen, in Sint-Petersburg. Volgens Veselov begon de chatbot als een hobby, en was het belangrijkste onderdeel een “typocorrector”. Goostman probeert namelijk, net zoals echte mensen of Google Search, om spel- en tikfouten te begrijpen die mensen maken. Iets waar computers veel meer moeite mee hebben dan mensen.
Chatbots zouden gebruikt kunnen worden om geautomatiseerde hulp te verlenen aan websitebezoekers, of kunnen ingebouwd worden in robots om mensen gezelschap te houden. De onderliggende technologie kan ook worden gebruikt om automatisch documenten te parsen om er informatie uit te halen.
Belangrijke gevolgen
Volgens Kevin Warwick heeft de test belangrijke implicaties voor onze maatschappij. “Een computer die mensen kan overtuigen dat hij iets of iemand is die ze kunnen vertrouwen is een enorme waarschuwing voor onze cyberveiligheid. De turingtest is een levensbelangrijk tool om die dreiging te bestrijden. We moeten beter begrijpen hoe dit soort online, realtimecommunicatie een individu zodanig kan beïnvloeden dat hij iets als waar gaat aannemen, terwijl dat niet het geval is.”
Als je zelf eens wil chatten met Eugene, dan kan je terecht op de AI-website van Princeton.
Kritiek op de test (Update 11.45 uur:)
Hoewel Warwick zich sterk maakt dat de resultaten van zondag gecontroleerd werden door een onafhankelijk team van onderzoekers en voldoen aan de criteria die Alan Turing zelf opstelde voor zijn test, zijn er ondertussen ook kritische noten te horen. Zoals technologieblog TechDirt opmerkt heeft Warwick een eerder twijfelachtige relatie met de pers.
Daarnaast zijn tests die onder andere door Time.com uitgevoerd werden met de online beschikbare versie van Goostman allesbehalve overtuigend. Het is echter niet duidelijk of zij dezelfde versie gebruikten die in Londen getoond werd.
Voorlopig is er nog geen transcriptie beschikbaar van de tests van dit weekend. Hoewel Warwick stelt dat de academische papers die ongetwijfeld zullen volgens wel stukken van de conversaties tussen Goostman en de menselijke testers zullen bevatten.
