The good, the bad and the ugly side of algorithms: the bad

Wanneer je namelijk een algoritme enkel data voedt waarbij elke kat in je dataset zwart is, kan dat algoritme verkeerdelijk beginnen redeneren dat een kat per definitie zwart is.

Misschien belangrijker dan het algoritme zelf, zijn daarom de data waarop het zich baseert om tot conclusies te komen. Je dataset moet dus zeer zorgvuldig geselecteerd zijn, en voor elk voorbeeld genoeg tegenvoorbeelden bevatten om zo het algoritme juist te instrueren.

He’s a doctor, she’s a nurse 

Hoewel machine learning dus in se een automatiseringsproces is, ligt er nog steeds een grote verantwoordelijkheid bij de menselijke krachten, en niet bij de algoritmen zelf. Het is daarom misschien zelfs juister om te spreken van machine teaching in plaats van machine learning.

De voorbeelden van bevooroordeelde algoritmen zijn trouwens legio. Zo stelde Christof Jacques van Checkpoint op de recente Checkpoint Experience nog dat vertaalalgoritmen er de laatste jaren misschien wel op verbeterd zijn, maar nog steeds erg bevooroordeeld zijn. Ter illustratie toonde hij ons vertalingen van Google Translate van het Turks naar het Engels.

Jacques had specifiek voor het Turks gekozen omdat die taal geen verschillende woorden heeft voor de derde persoon enkelvoud. Hij, zij, het; in het Turks is het allemaal ‘O’. Hij toonde ons de vertalingen van een aantal korte zinnetjes, en de resultaten waren frappant. Zo is ‘hij’ een dokter, maar ‘zij’ een verpleegster, en is ‘hij’ gelukkig, terwijl ‘zij’ ongelukkig is.

Recidivealgoritmen 

Dat is spijtig genoeg niet het enige markante voorbeeld van bevooroordeelde algoritmen. Ook algoritmen die in politie- en gerechtsdiensten gebruikt worden, vertonen een vooroordeel. Zo werd in de VS aangetoond dat volgens recidivealgoritmen mannen van Afro-Amerikaanse origine sneller zouden hervallen wanneer ze uit de gevangenis komen.

Zulke algoritmen hebben verregaande implicaties aangezien ze ervoor kunnen zorgen dat die personen ook minder snel vrijkomen, terwijl ze misschien wel degelijk van hun fouten geleerd hebben.

Hoewel het er alle schijn van heeft dat die algoritmen bevooroordeeld zijn, zijn ze dat niet. Algoritmen vellen geen waardeoordelen en koesteren ook geen vooringenomenheid tegenover een bepaald onderwerp. Het zijn net de menselijke krachten die bevooroordeeld zijn, en die vooroordelen zetten we over naar onze algoritmen.

Weapons of Math Destruction 

Algoritmen zijn dus in feite onze spiegels, en onze spiegelbeelden hebben zoals vermeld soms verregaande implicaties. Cathy O’Neil toont in haar boek ‘Weapons of Math Destruction‘ overtuigend aan dat algoritmen discriminatie bevestigen.

Zo hebben jonge studenten uit minder vermogende milieus het moeilijk om een lening voor hun studies te krijgen, puur en alleen omdat het algoritme hun postcode ‘te riskant’ vindt. Het is nochtans door een gedegen opleiding dat die student in spe zich uit de armoede kan werken. Op die manier komt de jongere in een negatieve spiraal terecht.

Voor een bedrijf zijn bevooroordeelde algoritmen een groot risico, aangezien het regelrecht ingaat tegen het oorspronkelijke doel van machine learning; namelijk processen automatiseren om zo bias eruit te filteren. Die cruciale onvolkomenheid kan bedrijven letterlijk duur komen te staan en indien het niet verder gecontroleerd wordt, kan het zelfs projecten en organisaties in compleet verkeerde richtingen trekken.

Controlemechanisme 

Volgens O’Neill moeten bedrijven en belanghebbers daarom transparanter zijn en beter toezicht houden op hun algoritmen. Vandaar de dag is er echter nog niet zo veel interesse naar een toezicht voor algoritmen. Financiële en technologiebedrijven gebruiken allerlei soorten mathematische modellen en zijn helemaal niet transparant over hoe die modellen precies werken. O’Neill vond dat daar verandering in moest komen.

Daarom richtte ze haar eigen onderneming ‘Online Risk Consulting & Algorithmic Auditing’ op, om bedrijven de bias in hun algoritmen te laten ontdekken en te corrigeren. Bedrijven moeten daarvoor eerst al hun technologie openstellen zodat O’Neill hen kan evalueren. Door te kiezen voor zo’n controleproces, zijn bedrijven ervan overtuigd dat ze een inzicht krijgen in de tools die in een later stadium door wetgevers. Een beetje zoals met GDPR.

Algoritmen en altruïsme 

In 2016 riep Obama bedrijven nog op om hun algoritmen te laten controleren. Daarnaast heeft ook Deloitte een systeem ontwikkeld waarbij de bedrijven onder hun hoede het algoritmisch risico kunnen beheren, en stelt Accenture ook rapporten op die haar klanten adviseren over dat onderwerp.

Voor die bedrijven zitten daar echter amper altruïstische motieven achter. Door nu al de wetgever voor te zijn, kunnen ze in een later stadium namelijk procesvoeringen omtrent discriminatie vermijden. Voor anderen is het keurmerk dan weer een goede marketingstrategie, zoals de “organische” sticker op een fles melk.

Hoewel een algemeen doorgevoerd toezicht op algoritmen er nog niet meteen zit aan te komen, zijn steeds meer bedrijven zich bewust van de risico’s wanneer hun algoritmen sterke vooroordelen vertoont. Ethisch gezien is het uiteraard ondenkbaar dat een algoritme voorspelt dat iemand van Afro-Amerikaanse origine sneller zal hervallen nadat hij uit de gevangenis komt, maar ethiek is meestal niet de voornaamste bekommernis van grote bedrijven.

De schrik voor dure en lang aanslepende processen op basis van discriminatie zit er dan weer wel in, en als bedrijf kunnen aantonen dat je algoritmen ‘zuiver’ zijn, levert je ook nog eens een marketable voordeel op.

Wanneer je namelijk een algoritme enkel data voedt waarbij elke kat in je dataset zwart is, kan dat algoritme verkeerdelijk beginnen redeneren dat een kat per definitie zwart is.

Misschien belangrijker dan het algoritme zelf, zijn daarom de data waarop het zich baseert om tot conclusies te komen. Je dataset moet dus zeer zorgvuldig geselecteerd zijn, en voor elk voorbeeld genoeg tegenvoorbeelden bevatten om zo het algoritme juist te instrueren.

He’s a doctor, she’s a nurse 

Hoewel machine learning dus in se een automatiseringsproces is, ligt er nog steeds een grote verantwoordelijkheid bij de menselijke krachten, en niet bij de algoritmen zelf. Het is daarom misschien zelfs juister om te spreken van machine teaching in plaats van machine learning.

De voorbeelden van bevooroordeelde algoritmen zijn trouwens legio. Zo stelde Christof Jacques van Checkpoint op de recente Checkpoint Experience nog dat vertaalalgoritmen er de laatste jaren misschien wel op verbeterd zijn, maar nog steeds erg bevooroordeeld zijn. Ter illustratie toonde hij ons vertalingen van Google Translate van het Turks naar het Engels.

Jacques had specifiek voor het Turks gekozen omdat die taal geen verschillende woorden heeft voor de derde persoon enkelvoud. Hij, zij, het; in het Turks is het allemaal ‘O’. Hij toonde ons de vertalingen van een aantal korte zinnetjes, en de resultaten waren frappant. Zo is ‘hij’ een dokter, maar ‘zij’ een verpleegster, en is ‘hij’ gelukkig, terwijl ‘zij’ ongelukkig is.

Recidivealgoritmen 

Dat is spijtig genoeg niet het enige markante voorbeeld van bevooroordeelde algoritmen. Ook algoritmen die in politie- en gerechtsdiensten gebruikt worden, vertonen een vooroordeel. Zo werd in de VS aangetoond dat volgens recidivealgoritmen mannen van Afro-Amerikaanse origine sneller zouden hervallen wanneer ze uit de gevangenis komen.

Zulke algoritmen hebben verregaande implicaties aangezien ze ervoor kunnen zorgen dat die personen ook minder snel vrijkomen, terwijl ze misschien wel degelijk van hun fouten geleerd hebben.

Hoewel het er alle schijn van heeft dat die algoritmen bevooroordeeld zijn, zijn ze dat niet. Algoritmen vellen geen waardeoordelen en koesteren ook geen vooringenomenheid tegenover een bepaald onderwerp. Het zijn net de menselijke krachten die bevooroordeeld zijn, en die vooroordelen zetten we over naar onze algoritmen.

Weapons of Math Destruction 

Algoritmen zijn dus in feite onze spiegels, en onze spiegelbeelden hebben zoals vermeld soms verregaande implicaties. Cathy O’Neil toont in haar boek ‘Weapons of Math Destruction‘ overtuigend aan dat algoritmen discriminatie bevestigen.

Zo hebben jonge studenten uit minder vermogende milieus het moeilijk om een lening voor hun studies te krijgen, puur en alleen omdat het algoritme hun postcode ‘te riskant’ vindt. Het is nochtans door een gedegen opleiding dat die student in spe zich uit de armoede kan werken. Op die manier komt de jongere in een negatieve spiraal terecht.

Voor een bedrijf zijn bevooroordeelde algoritmen een groot risico, aangezien het regelrecht ingaat tegen het oorspronkelijke doel van machine learning; namelijk processen automatiseren om zo bias eruit te filteren. Die cruciale onvolkomenheid kan bedrijven letterlijk duur komen te staan en indien het niet verder gecontroleerd wordt, kan het zelfs projecten en organisaties in compleet verkeerde richtingen trekken.

Controlemechanisme 

Volgens O’Neill moeten bedrijven en belanghebbers daarom transparanter zijn en beter toezicht houden op hun algoritmen. Vandaar de dag is er echter nog niet zo veel interesse naar een toezicht voor algoritmen. Financiële en technologiebedrijven gebruiken allerlei soorten mathematische modellen en zijn helemaal niet transparant over hoe die modellen precies werken. O’Neill vond dat daar verandering in moest komen.

Daarom richtte ze haar eigen onderneming ‘Online Risk Consulting & Algorithmic Auditing’ op, om bedrijven de bias in hun algoritmen te laten ontdekken en te corrigeren. Bedrijven moeten daarvoor eerst al hun technologie openstellen zodat O’Neill hen kan evalueren. Door te kiezen voor zo’n controleproces, zijn bedrijven ervan overtuigd dat ze een inzicht krijgen in de tools die in een later stadium door wetgevers. Een beetje zoals met GDPR.

Algoritmen en altruïsme 

In 2016 riep Obama bedrijven nog op om hun algoritmen te laten controleren. Daarnaast heeft ook Deloitte een systeem ontwikkeld waarbij de bedrijven onder hun hoede het algoritmisch risico kunnen beheren, en stelt Accenture ook rapporten op die haar klanten adviseren over dat onderwerp.

Voor die bedrijven zitten daar echter amper altruïstische motieven achter. Door nu al de wetgever voor te zijn, kunnen ze in een later stadium namelijk procesvoeringen omtrent discriminatie vermijden. Voor anderen is het keurmerk dan weer een goede marketingstrategie, zoals de “organische” sticker op een fles melk.

Hoewel een algemeen doorgevoerd toezicht op algoritmen er nog niet meteen zit aan te komen, zijn steeds meer bedrijven zich bewust van de risico’s wanneer hun algoritmen sterke vooroordelen vertoont. Ethisch gezien is het uiteraard ondenkbaar dat een algoritme voorspelt dat iemand van Afro-Amerikaanse origine sneller zal hervallen nadat hij uit de gevangenis komt, maar ethiek is meestal niet de voornaamste bekommernis van grote bedrijven.

De schrik voor dure en lang aanslepende processen op basis van discriminatie zit er dan weer wel in, en als bedrijf kunnen aantonen dat je algoritmen ‘zuiver’ zijn, levert je ook nog eens een marketable voordeel op.