Algoritme Twitter verkiest blanke boven zwarte gezichten
Op zaterdag wilde Colin Madland een probleem van zijn collega met Zoom blootleggen via Twitter. Wanneer zijn collega gebruik wilde maken van een andere achtergrond, werd hij virtueel onthoofd door videobeldienst Zoom. De oorzaak daarvan was hoogstwaarschijnlijk te zoeken bij de huidskleur van de man. Om dat aan te tonen plaatste Madland een foto van zijn collega aan de ene kant en zichzelf aan de andere kant op Twitter, elks met een virtuele achtergrond op Zoom. Daarna volgde een foto zonder de aangepaste achtergrond. Opvallend was dat, zelfs wanneer de foto gespiegeld werd, het algoritme er voor koos om steeds Colin te tonen in de tweet en niet zijn collega.
Preview van afbeelding
Foto’s met een te groot formaat krijgen op Twitter een ‘preview’ onder een tweet. Slechts een deel van de foto wordt daarin getoond. Pas wanneer er op de afbeelding wordt geklikt wordt de volledige foto weergegeven. Om te bepalen welk element op de foto wordt uitgelicht in de preview maakt Twitter gebruik van een neuraal netwerk dat gezichten kan herkennen.
Experimenten
Na de ontdekking van Colin Madland gingen andere twitteraars ook op onderzoek uit. Bij velen bleek dat het algoritme van Twitter veel vaker koos om het gezicht van een blanke persoon te tonen dan het gezicht van een zwarte persoon. Ook met andere variabelen in de afbeelding werd aan de slag gegaan, zoals de kleur van een das of de achtergrond en ook met cartoons werd de test gedaan.
Fout van Twitter
Chief design officer bij Twitter, Dantley Davis, liet daarop weten dat ze de werking van het neurale netwerk zouden onderzoeken. Hij zegt daarbij dat het 100% hun fout is en dat ze die dus zullen rechtzetten. Ook het communicatiekanaal van Twitter meldt dat verdere analyses van het algoritme nodig zijn. Dit zullen ze bovendien open source doen, zodat eender wie wil de resultaten kan bekijken, evalueren en repliceren.
Al vaker werd aangetoond hoe algoritmes een racistische uitkomst kunnen hebben. In het Verenigd Koninkrijk werd een scanningssysteem voor visumaanvragen al uit gebruik genomen en in de Verenigde Staten werd aangetoond dat het recidivealgoritme dat zou kunnen voorspellen of gevangenen al dan niet opnieuw een misdaad zouden begaan, vaker bij mannen van Afro-Amerikaanse afkomst bepaalde dat ze zouden hervallen.
Op zaterdag wilde Colin Madland een probleem van zijn collega met Zoom blootleggen via Twitter. Wanneer zijn collega gebruik wilde maken van een andere achtergrond, werd hij virtueel onthoofd door videobeldienst Zoom. De oorzaak daarvan was hoogstwaarschijnlijk te zoeken bij de huidskleur van de man. Om dat aan te tonen plaatste Madland een foto van zijn collega aan de ene kant en zichzelf aan de andere kant op Twitter, elks met een virtuele achtergrond op Zoom. Daarna volgde een foto zonder de aangepaste achtergrond. Opvallend was dat, zelfs wanneer de foto gespiegeld werd, het algoritme er voor koos om steeds Colin te tonen in de tweet en niet zijn collega.
Preview van afbeelding
Foto’s met een te groot formaat krijgen op Twitter een ‘preview’ onder een tweet. Slechts een deel van de foto wordt daarin getoond. Pas wanneer er op de afbeelding wordt geklikt wordt de volledige foto weergegeven. Om te bepalen welk element op de foto wordt uitgelicht in de preview maakt Twitter gebruik van een neuraal netwerk dat gezichten kan herkennen.
Experimenten
Na de ontdekking van Colin Madland gingen andere twitteraars ook op onderzoek uit. Bij velen bleek dat het algoritme van Twitter veel vaker koos om het gezicht van een blanke persoon te tonen dan het gezicht van een zwarte persoon. Ook met andere variabelen in de afbeelding werd aan de slag gegaan, zoals de kleur van een das of de achtergrond en ook met cartoons werd de test gedaan.
Fout van Twitter
Chief design officer bij Twitter, Dantley Davis, liet daarop weten dat ze de werking van het neurale netwerk zouden onderzoeken. Hij zegt daarbij dat het 100% hun fout is en dat ze die dus zullen rechtzetten. Ook het communicatiekanaal van Twitter meldt dat verdere analyses van het algoritme nodig zijn. Dit zullen ze bovendien open source doen, zodat eender wie wil de resultaten kan bekijken, evalueren en repliceren.
Al vaker werd aangetoond hoe algoritmes een racistische uitkomst kunnen hebben. In het Verenigd Koninkrijk werd een scanningssysteem voor visumaanvragen al uit gebruik genomen en in de Verenigde Staten werd aangetoond dat het recidivealgoritme dat zou kunnen voorspellen of gevangenen al dan niet opnieuw een misdaad zouden begaan, vaker bij mannen van Afro-Amerikaanse afkomst bepaalde dat ze zouden hervallen.
