Autonome wagens
Het idee van autonome wagens bestaat al langer dan vandaag, maar het is pas sinds kort dat deze technologie verdergaat dan het witte doek in de bioscoop of de flatscreen in je woonkamer. In de jaren 60 kon je deze wagens al zien in films zoals Batman (1966) en The Love Bug (1969) met de iconische Volkswagen Beetle die niet alleen zelf kon rijden, maar ook nog eens een eigen persoonlijkheid had. Ook recentere films zoals I, Robot (2004) lieten ons kennismaken met zelfrijdende wagens, waarbij die een algemeen gegeven waren in futuristische steden en geen unicum zoals de Batmobile. De toekomst die we in dergelijke films kunnen zien, wordt intussen steeds meer de realiteit. En waar we in de films persoonlijke auto’s zien met een chauffeur die nog aan het stuur zit, wordt de technologie nu zodanig ontwikkeld dat er uiteindelijk niemand meer achter het stuur zal (moeten) zitten. Dit biedt zonder twijfel nieuwe transportmogelijkheden, maar brengt tegelijk gevaren en de nodige kritiek met zich mee.
De technologie biedt nieuwe mogelijkheden, maar ook nieuwe risico’s.
Van bediening op afstand tot AI
De eerste zelfrijdende wagen dateert uit 1925 en werd geproduceerd door het Houdina Radio Control Company. Het ging hier echter niet om een autonome wagen. De wagen kon dan wel rijden zonder iemand achter het stuur, maar werkte via radiobesturing. Er was dus nog een persoon die de wagen aanstuurde om hem te doen rijden. Het beeld van een auto die reed zonder chauffeur leverde verbazingwekkende reacties op bij het publiek, maar veel nut had de technologie niet. Je wagen vanop een afstand besturen zoals kinderen doen met speelgoedauto’s heeft nu eenmaal :p autonome wagens combineerden een elektronisch wegensysteem met technologie in de wagens zelf. Uiteindelijk waren de testen van deze combinatie succesvol en legden bedrijven veelbelovende toekomstplannen op tafel, maar deze werden hoogstens goedgekeurd, nooit gesubsidieerd en bijgevolg al zeker niet in de praktijk uitgevoerd. Aangezien België in het algemeen bekend staat om niet al te goed onderhouden wegen en autostrades, is het misschien niet al te slecht dat deze technologie nooit gelanceerd werd. Na dit afgeschreven idee kwam de eerste grote stap op het vlak van autonome wagens uit Japan. In 1977 hebben enkele Japanners het eerste prototype ontwikkeld van een wagen die volledig op zichzelf kon rijden. Dit prototype had geen besturing vanop afstand of wegtechnologie nodig om te kunnen rijden en wist door middel van een omgevingsanalyse door camera’s te rijden op basis van witte markeringen op de weg. De wereldwijd groeiende interesse in AI en enkele investeringen van bedrijven hebben de ontwikkeling van autonome wagens verder op gang geholpen. Ondertussen komen we steeds dichterbij het moment waarop deze wagens zich op de weg zullen begeven tussen de andere wagens en zullen deelnemen aan het verkeer.
Een blik onder en voorbij de motorkap: AI
Bij een traditionele wagen wordt vaak de vraag gesteld wat er onder de motorkap zit. Simpelweg zeggen wat er in letterlijke zin onder de motorkap zit, is natuurlijk niet voldoende om een beeld te geven van wat een auto allemaal kan. Zeker bij autonome wagens is een kijkje onder de motorkap niet voldoende om te weten waartoe hij in staat is en hoe slim hij precies is. Dit wordt namelijk bepaald door de AI waarmee de wagen is uitgerust, aangezien artificiële intelligentie hetzelfde denkproces moet uitvoeren dat een mens uitvoert wanneer hij een voertuig bestuurt. Wanneer wij autorijden maken we voornamelijk gebruik van ons zicht om de weg en het verkeer te observeren en soms ook ons gehoor om andere auto’s te horen aankomen. De technische handelingen om een wagen te doen rijden, stoppen en draaien zijn tegenwoordig geen zorg meer voor autoproducenten. De snelle beslissingen die een bestuurder maakt tijdens het rijden, zijn daarentegen lastiger om na te kunnen bootsen. Daarom is een goede AI essentieel voor autonome wagens. Deze moet beschikken over dezelfde gevoelsmatige capaciteiten, cognitieve functies (geheugen, logisch denken, beslissingen maken én bijleren) en uitvoermogelijkheden als een mens. Dit zijn dan ook de functies waaraan de laatste jaren het hardste gewerkt wordt. Om dit mogelijk te maken, zijn autonome wagens volgeladen met camera’s, sensors en communicatiesystemen zodat zij niet alleen enorme hoeveelheden data kunnen opnemen, maar deze ook zelf kunnen genereren. Dit perceptieproces van de AI is op te delen in drie onderdelen: dataverzameling en communicatiesystemen in het voertuig, het autonome rijplatform en AI-gebaseerde functies in autonome wagens.
- Dataverzameling & communicatiesystemen: De combinatie van sensors, radars en camera’s in een autonome wagen genereren enorme hoeveelheden data over de omgeving van de wagen. Dit vormt samen het Digitale Sensorium waardoor de wagen kan zien, horen en voelen zoals een mens die achter het stuur zit. Deze data worden verwerkt door supercomputers en vervolgens doorgestuurd naar het autonome rijplatform, oftewel de cloud.
- Autonoom rijplatform: Dit platform bevindt zich in de cloud en bevat een intelligentie die gebruik maakt van AI-algoritmes om beslissingen te kunnen nemen. Dit is min of meer het brein van de autonome wagen dat verbonden is met een database waarin rijervaringen opgeslagen worden. De combinatie van deze data met real-time invoer van informatie over de omgeving laat het systeem toe om specifieke beslissingen te maken tijdens het rijden, aangepast aan de verkeerssituatie.
- AI-gebaseerde functies: Op basis van de beslissingen van de AI kan een autonome wagen voorwerpen op de weg detecteren, door het verkeer bewegen zonder menselijke tussenkomst en veilig naar de bestemming rijden. Het systeem is daarnaast uitgerust met functies zoals spraakherkenning, eye-tracking, een virtuele assistent, kaartdatabases en veiligheidssystemen. Ook de werking van deze functies is gebaseerd op de AI in het autonome rijplatform.
Deze datacyclus wordt steeds herhaald tijdens het rijden zodat de AI altijd bijleert tijdens en na elke rit. Bijgevolg wordt de AI ook slimmer naarmate hij meer rijdt zodat hij nauwkeuriger en sneller beslissingen kan maken bij complexe verkeerssituaties. Een veelbesproken onderwerp hier zijn morele kwesties en hoe een AI hiermee omgaat. Als de AI bijvoorbeeld voor het morele dilemma geplaatst wordt waarbij hij ofwel een voetganger moet aanrijden ofwel de wagen tegen een lantaarnpaal moet laten crashen, wat doet hij dan? Rijdt hij tegen de voetganger waardoor deze verwond wordt of laat hij de wagen crashen zodat jij als “bestuurder” verwond wordt?
AI versus morele dilemma’s
Een perfect werkende AI voor autonome wagens zou in staat moeten zijn om de wagen te besturen en het verkeer in te schatten net zoals een mens. Er zijn intussen ook voldoende testen en onderzoeken uitgevoerd om vast te kunnen stellen dat autonome wagens minder ongelukken zullen veroorzaken dan wagens met een mens aan het stuur. Soms kunnen ongelukken echter niet vermeden worden en kunnen ethische dilemma’s voorkomen tijdens het rijden. Op basis van reeds verzamelde gegevens van vorige ritten en huidige omgevingsinformatie zou de AI ook hier een beslissing moeten kunnen nemen. Sommige dilemma’s zijn zelfs voor ons te moeilijk om (snel) over te oordelen. En als wij al geen keuze kunnen maken wanneer we voor een dilemma geplaatst worden, hoe zal een AI dat dan wel kunnen? Voorbeelden van dergelijke verkeersdilemma’s kan je makkelijk uitproberen op de website van Moral Machine (http://moralmachine.mit.edu/). Deze website laat je telkens beslissen welke van de twee scenario’s de autonome wagen zou moeten kiezen en laat je achteraf ook zien in welke mate jouw keuzes overeenstemmen met die van andere mensen. Zelfs als autonome wagens in de praktijk minder auto-ongevallen veroorzaken en uiteindelijk voor minder doden zorgen, is een enkele misstap genoeg om de technologie volledig onderuit te halen. Wanneer een bestuurder de oorzaak is van een ongeval met een dode, ligt de schuld bij die ene persoon. Als hetzelfde voorvalt bij een autonome wagen, is het niet de schuld van alleen die wagen, maar van de gehele AI-structuur waarmee alle wagens zijn uitgerust. Bij dergelijke no-winsituaties bestaat er bijna nooit een juiste keuze. Als een oudere man met zijn vrouw in de auto zit en niet meer op tijd kan remmen voor een kind dat de straat oversteekt, bestaat de kans dat de man de auto laat crashen om het leven van het kind te redden in de plaats van dat van hem en zijn vrouw. Een autonome wagen die zou opteren voor de keuze waarbij het kleinste aantal personen gewond raakt, zou in deze situatie tegen het kind gereden zijn. Een juiste keuze bestaat haast niet in dit soort situaties, maar je mag er wel zo goed als zeker van zijn dat de keuze van de AI hier altijd als fout zal worden gezien.
Een enkele fout kan het einde betekenen van de gehele technologie.
(Toekomst)mogelijkheden
Naast deze eindeloze discussie over morele kwesties geeft de technologie ook mogelijkheden aan bedrijven. Het is geen verrassing dat taxibedrijven zoals Uber enorm geïnteresseerd zijn in de ontwikkeling van autonome wagens en staan te popelen om deze technologie op de baan te hebben. Het aantal startups dat autonome wagens ontwikkelt, is intussen ook niet meer bij te houden. Zo wil de Britse startup FiveAI aan het einde van 2019 beginnen met testritten van hun zelfrijdende deelwagens op de openbare weg. In hun plan zullen de wagens eerst een tiental maanden rondrijden met een “bestuurder” die kan ingrijpen wanneer nodig. Op deze manier hoopt de startup dat hun wagens voldoende data over de wegen, de omgeving en het verkeer verzameld zullen hebben om daarna volledig bestuurderloos te kunnen functioneren. In de Verenigde Staten staat de startup Nuro al wat verder op dit vlak. In Arizona bestaat er namelijk sinds kort de mogelijkheid om boodschappen van supermarktketen Kroger te laten leveren met autonome wagens. Dit project is echter kleinschaliger dan dat van FiveAI, aangezien de service momenteel slechts beschikbaar is bij één specifieke winkel. In onze streken blijven autonome wagens voorlopig redelijk stille toekomstmuziek. De markt ontwikkelt zich nu voornamelijk in de VS, waar dit met vallen, of liever crashen, en opstaan gebeurt. Voorbeelden hiervan zijn de crash van een zelfrijdend busje van Waymo en de aanrijding van een voetganger door een Uber-wagen waarbij de voetganger dodelijk verwondingen heeft opgelopen. Een eerste persoon heeft dus alvast het leven moeten laten voor de ontwikkeling van zelfrijdende wagens en aangezien Uber nog steeds werkt aan hun zelfrijdende deelwagens, is het duidelijk dat zij zich hierdoor niet laten tegenhouden.
Alles of niets
Voor mij persoonlijk blijft het gegeven van autonome wagens een alles-of-nietsverhaal. Het lijkt veiliger om een stad, land of eender welk afgebakend gebied te hebben met uitsluitend zelfrijdende wagens dan een combinatie van allerlei wagens op de weg. Ik ga er hierbij van uit dat alle autonome wagens met elkaar kunnen communiceren zodat de AI’s op elkaar zijn afgestemd. Op deze manier zou er, in theorie alvast, een veilig autonetwerk ontstaan waarbij er geen ongevallen tussen auto’s onderling gebeuren. Ik blijf me er intussen van bewust dat dergelijke “slimme steden” niet plots uit de grond opgetrokken zullen worden en dat de veiligheid nooit voor de volle 100% gegarandeerd kan worden. De wagens en verkeersinfrastructuur mogen dan wel op elkaar afgestemd zijn en met elkaar communiceren, toch kan dat een voetganger niet fysiek tegenhouden om toch maar snel over te steken terwijl het stoplicht rood is. Een wereld waarin zelfrijdende wagens nooit ongelukken zullen veroorzaken is, naar mijn mening, alleen mogelijk in theorie, aangezien er in die wereld geen mensen zullen rondlopen. Verschillende AI’s kunnen met elkaar communiceren, maar met de menselijke willekeur zullen ze nooit rekening kunnen houden.
Het idee van autonome wagens bestaat al langer dan vandaag, maar het is pas sinds kort dat deze technologie verdergaat dan het witte doek in de bioscoop of de flatscreen in je woonkamer. In de jaren 60 kon je deze wagens al zien in films zoals Batman (1966) en The Love Bug (1969) met de iconische Volkswagen Beetle die niet alleen zelf kon rijden, maar ook nog eens een eigen persoonlijkheid had. Ook recentere films zoals I, Robot (2004) lieten ons kennismaken met zelfrijdende wagens, waarbij die een algemeen gegeven waren in futuristische steden en geen unicum zoals de Batmobile. De toekomst die we in dergelijke films kunnen zien, wordt intussen steeds meer de realiteit. En waar we in de films persoonlijke auto’s zien met een chauffeur die nog aan het stuur zit, wordt de technologie nu zodanig ontwikkeld dat er uiteindelijk niemand meer achter het stuur zal (moeten) zitten. Dit biedt zonder twijfel nieuwe transportmogelijkheden, maar brengt tegelijk gevaren en de nodige kritiek met zich mee.
De technologie biedt nieuwe mogelijkheden, maar ook nieuwe risico’s.
Van bediening op afstand tot AI
De eerste zelfrijdende wagen dateert uit 1925 en werd geproduceerd door het Houdina Radio Control Company. Het ging hier echter niet om een autonome wagen. De wagen kon dan wel rijden zonder iemand achter het stuur, maar werkte via radiobesturing. Er was dus nog een persoon die de wagen aanstuurde om hem te doen rijden. Het beeld van een auto die reed zonder chauffeur leverde verbazingwekkende reacties op bij het publiek, maar veel nut had de technologie niet. Je wagen vanop een afstand besturen zoals kinderen doen met speelgoedauto’s heeft nu eenmaal :p autonome wagens combineerden een elektronisch wegensysteem met technologie in de wagens zelf. Uiteindelijk waren de testen van deze combinatie succesvol en legden bedrijven veelbelovende toekomstplannen op tafel, maar deze werden hoogstens goedgekeurd, nooit gesubsidieerd en bijgevolg al zeker niet in de praktijk uitgevoerd. Aangezien België in het algemeen bekend staat om niet al te goed onderhouden wegen en autostrades, is het misschien niet al te slecht dat deze technologie nooit gelanceerd werd. Na dit afgeschreven idee kwam de eerste grote stap op het vlak van autonome wagens uit Japan. In 1977 hebben enkele Japanners het eerste prototype ontwikkeld van een wagen die volledig op zichzelf kon rijden. Dit prototype had geen besturing vanop afstand of wegtechnologie nodig om te kunnen rijden en wist door middel van een omgevingsanalyse door camera’s te rijden op basis van witte markeringen op de weg. De wereldwijd groeiende interesse in AI en enkele investeringen van bedrijven hebben de ontwikkeling van autonome wagens verder op gang geholpen. Ondertussen komen we steeds dichterbij het moment waarop deze wagens zich op de weg zullen begeven tussen de andere wagens en zullen deelnemen aan het verkeer.
Een blik onder en voorbij de motorkap: AI
Bij een traditionele wagen wordt vaak de vraag gesteld wat er onder de motorkap zit. Simpelweg zeggen wat er in letterlijke zin onder de motorkap zit, is natuurlijk niet voldoende om een beeld te geven van wat een auto allemaal kan. Zeker bij autonome wagens is een kijkje onder de motorkap niet voldoende om te weten waartoe hij in staat is en hoe slim hij precies is. Dit wordt namelijk bepaald door de AI waarmee de wagen is uitgerust, aangezien artificiële intelligentie hetzelfde denkproces moet uitvoeren dat een mens uitvoert wanneer hij een voertuig bestuurt. Wanneer wij autorijden maken we voornamelijk gebruik van ons zicht om de weg en het verkeer te observeren en soms ook ons gehoor om andere auto’s te horen aankomen. De technische handelingen om een wagen te doen rijden, stoppen en draaien zijn tegenwoordig geen zorg meer voor autoproducenten. De snelle beslissingen die een bestuurder maakt tijdens het rijden, zijn daarentegen lastiger om na te kunnen bootsen. Daarom is een goede AI essentieel voor autonome wagens. Deze moet beschikken over dezelfde gevoelsmatige capaciteiten, cognitieve functies (geheugen, logisch denken, beslissingen maken én bijleren) en uitvoermogelijkheden als een mens. Dit zijn dan ook de functies waaraan de laatste jaren het hardste gewerkt wordt. Om dit mogelijk te maken, zijn autonome wagens volgeladen met camera’s, sensors en communicatiesystemen zodat zij niet alleen enorme hoeveelheden data kunnen opnemen, maar deze ook zelf kunnen genereren. Dit perceptieproces van de AI is op te delen in drie onderdelen: dataverzameling en communicatiesystemen in het voertuig, het autonome rijplatform en AI-gebaseerde functies in autonome wagens.
- Dataverzameling & communicatiesystemen: De combinatie van sensors, radars en camera’s in een autonome wagen genereren enorme hoeveelheden data over de omgeving van de wagen. Dit vormt samen het Digitale Sensorium waardoor de wagen kan zien, horen en voelen zoals een mens die achter het stuur zit. Deze data worden verwerkt door supercomputers en vervolgens doorgestuurd naar het autonome rijplatform, oftewel de cloud.
- Autonoom rijplatform: Dit platform bevindt zich in de cloud en bevat een intelligentie die gebruik maakt van AI-algoritmes om beslissingen te kunnen nemen. Dit is min of meer het brein van de autonome wagen dat verbonden is met een database waarin rijervaringen opgeslagen worden. De combinatie van deze data met real-time invoer van informatie over de omgeving laat het systeem toe om specifieke beslissingen te maken tijdens het rijden, aangepast aan de verkeerssituatie.
- AI-gebaseerde functies: Op basis van de beslissingen van de AI kan een autonome wagen voorwerpen op de weg detecteren, door het verkeer bewegen zonder menselijke tussenkomst en veilig naar de bestemming rijden. Het systeem is daarnaast uitgerust met functies zoals spraakherkenning, eye-tracking, een virtuele assistent, kaartdatabases en veiligheidssystemen. Ook de werking van deze functies is gebaseerd op de AI in het autonome rijplatform.
Deze datacyclus wordt steeds herhaald tijdens het rijden zodat de AI altijd bijleert tijdens en na elke rit. Bijgevolg wordt de AI ook slimmer naarmate hij meer rijdt zodat hij nauwkeuriger en sneller beslissingen kan maken bij complexe verkeerssituaties. Een veelbesproken onderwerp hier zijn morele kwesties en hoe een AI hiermee omgaat. Als de AI bijvoorbeeld voor het morele dilemma geplaatst wordt waarbij hij ofwel een voetganger moet aanrijden ofwel de wagen tegen een lantaarnpaal moet laten crashen, wat doet hij dan? Rijdt hij tegen de voetganger waardoor deze verwond wordt of laat hij de wagen crashen zodat jij als “bestuurder” verwond wordt?
AI versus morele dilemma’s
Een perfect werkende AI voor autonome wagens zou in staat moeten zijn om de wagen te besturen en het verkeer in te schatten net zoals een mens. Er zijn intussen ook voldoende testen en onderzoeken uitgevoerd om vast te kunnen stellen dat autonome wagens minder ongelukken zullen veroorzaken dan wagens met een mens aan het stuur. Soms kunnen ongelukken echter niet vermeden worden en kunnen ethische dilemma’s voorkomen tijdens het rijden. Op basis van reeds verzamelde gegevens van vorige ritten en huidige omgevingsinformatie zou de AI ook hier een beslissing moeten kunnen nemen. Sommige dilemma’s zijn zelfs voor ons te moeilijk om (snel) over te oordelen. En als wij al geen keuze kunnen maken wanneer we voor een dilemma geplaatst worden, hoe zal een AI dat dan wel kunnen? Voorbeelden van dergelijke verkeersdilemma’s kan je makkelijk uitproberen op de website van Moral Machine (http://moralmachine.mit.edu/). Deze website laat je telkens beslissen welke van de twee scenario’s de autonome wagen zou moeten kiezen en laat je achteraf ook zien in welke mate jouw keuzes overeenstemmen met die van andere mensen. Zelfs als autonome wagens in de praktijk minder auto-ongevallen veroorzaken en uiteindelijk voor minder doden zorgen, is een enkele misstap genoeg om de technologie volledig onderuit te halen. Wanneer een bestuurder de oorzaak is van een ongeval met een dode, ligt de schuld bij die ene persoon. Als hetzelfde voorvalt bij een autonome wagen, is het niet de schuld van alleen die wagen, maar van de gehele AI-structuur waarmee alle wagens zijn uitgerust. Bij dergelijke no-winsituaties bestaat er bijna nooit een juiste keuze. Als een oudere man met zijn vrouw in de auto zit en niet meer op tijd kan remmen voor een kind dat de straat oversteekt, bestaat de kans dat de man de auto laat crashen om het leven van het kind te redden in de plaats van dat van hem en zijn vrouw. Een autonome wagen die zou opteren voor de keuze waarbij het kleinste aantal personen gewond raakt, zou in deze situatie tegen het kind gereden zijn. Een juiste keuze bestaat haast niet in dit soort situaties, maar je mag er wel zo goed als zeker van zijn dat de keuze van de AI hier altijd als fout zal worden gezien.
Een enkele fout kan het einde betekenen van de gehele technologie.
(Toekomst)mogelijkheden
Naast deze eindeloze discussie over morele kwesties geeft de technologie ook mogelijkheden aan bedrijven. Het is geen verrassing dat taxibedrijven zoals Uber enorm geïnteresseerd zijn in de ontwikkeling van autonome wagens en staan te popelen om deze technologie op de baan te hebben. Het aantal startups dat autonome wagens ontwikkelt, is intussen ook niet meer bij te houden. Zo wil de Britse startup FiveAI aan het einde van 2019 beginnen met testritten van hun zelfrijdende deelwagens op de openbare weg. In hun plan zullen de wagens eerst een tiental maanden rondrijden met een “bestuurder” die kan ingrijpen wanneer nodig. Op deze manier hoopt de startup dat hun wagens voldoende data over de wegen, de omgeving en het verkeer verzameld zullen hebben om daarna volledig bestuurderloos te kunnen functioneren. In de Verenigde Staten staat de startup Nuro al wat verder op dit vlak. In Arizona bestaat er namelijk sinds kort de mogelijkheid om boodschappen van supermarktketen Kroger te laten leveren met autonome wagens. Dit project is echter kleinschaliger dan dat van FiveAI, aangezien de service momenteel slechts beschikbaar is bij één specifieke winkel. In onze streken blijven autonome wagens voorlopig redelijk stille toekomstmuziek. De markt ontwikkelt zich nu voornamelijk in de VS, waar dit met vallen, of liever crashen, en opstaan gebeurt. Voorbeelden hiervan zijn de crash van een zelfrijdend busje van Waymo en de aanrijding van een voetganger door een Uber-wagen waarbij de voetganger dodelijk verwondingen heeft opgelopen. Een eerste persoon heeft dus alvast het leven moeten laten voor de ontwikkeling van zelfrijdende wagens en aangezien Uber nog steeds werkt aan hun zelfrijdende deelwagens, is het duidelijk dat zij zich hierdoor niet laten tegenhouden.
Alles of niets
Voor mij persoonlijk blijft het gegeven van autonome wagens een alles-of-nietsverhaal. Het lijkt veiliger om een stad, land of eender welk afgebakend gebied te hebben met uitsluitend zelfrijdende wagens dan een combinatie van allerlei wagens op de weg. Ik ga er hierbij van uit dat alle autonome wagens met elkaar kunnen communiceren zodat de AI’s op elkaar zijn afgestemd. Op deze manier zou er, in theorie alvast, een veilig autonetwerk ontstaan waarbij er geen ongevallen tussen auto’s onderling gebeuren. Ik blijf me er intussen van bewust dat dergelijke “slimme steden” niet plots uit de grond opgetrokken zullen worden en dat de veiligheid nooit voor de volle 100% gegarandeerd kan worden. De wagens en verkeersinfrastructuur mogen dan wel op elkaar afgestemd zijn en met elkaar communiceren, toch kan dat een voetganger niet fysiek tegenhouden om toch maar snel over te steken terwijl het stoplicht rood is. Een wereld waarin zelfrijdende wagens nooit ongelukken zullen veroorzaken is, naar mijn mening, alleen mogelijk in theorie, aangezien er in die wereld geen mensen zullen rondlopen. Verschillende AI’s kunnen met elkaar communiceren, maar met de menselijke willekeur zullen ze nooit rekening kunnen houden.
