Verenigd Koninkrijk neemt ‘racistische’ visa-algoritme uit gebruik
De visa-algortime werd al enkele jaren gebruikt door de Home Office, het Britse ministerie van Binnenlandse Zaken dat het migratiebeleid van het Verenigd Koninkrijk moet uitvoeren. Het systeem moest de vele aanvragen van immigranten die een visum voor het land willen verkrijgen efficiënter en gestroomlijnder verwerken. De algoritmen analyseerden de informatie die de immigranten invulden in een digitaal formulier en gaven op basis daarvan een kleurcode om het visum wel of niet toe te kennen.
Vicieuze cirkel
Maar de visa-algoritme stond al langere tijd onder druk, nadat enkele mensenrechtenorganisaties een juridisch proces starten tegen de algoritmen.Volgens hen zat er een ingebouwde racistische bias in het systeem die aanvragen beoordeelde op basis van de nationaliteit. Foxglove, één van de organisaties die het systeem aanvocht, was van mening dat de Home Office een ‘zwarte lijst’ heeft waar bepaalde landen opstaan. Immigranten uit die landen die een visum aanvroegen, zouden automatisch rood licht krijgen. Omgekeerd kon het systeem er ook voor zorgen dat landen op de zwarte lijst belandden als veel personen uit een bepaald land een rode code kregen. Zo ontstond een vicieuze cirkel van discriminatie. Foxglove noemde de visa-algoritme een ‘speedy boarding-dienst voor blanken’.
Het ministerie heeft nu oor naar die klachten en kondigde aan het systeem tijdelijk uit gebruik te halen. Dat schreef minister van Binnenlandse Zaken Priti Patel, die zelf een migratie-achtergrond heeft, in een brief aan Foxglove. Hoewel het ministerie niet de mening deelt dat het systeem bewust mensen uit bepaalde landen zou gediscrimineerd hebben, zullen de algoritmen wel grondig onderzocht worden en de nodige verbeteringen worden aangebracht. Vanaf september zou een nieuw en verbeterde visa-scanner in werking moeten treden.
Zijn algoritmen racistisch?
Het is niet de eerste keer dat algoritmen onder vuur komen te staan omwille van racistische bias. Verschillende studies hebben aangetoond dat gezichtsherkenningstechnologieën discriminerend zijn ten aanzien van mensen met een donkere huidskleur. Omwille van die reden besliste Amazon onlangs in de nasleep van de dood van George Floyd om haar gezichtsherkenningsalgoritme Rekognition niet meer in bruikleen te geven aan Amerikaanse politiediensten.
De visa-algortime werd al enkele jaren gebruikt door de Home Office, het Britse ministerie van Binnenlandse Zaken dat het migratiebeleid van het Verenigd Koninkrijk moet uitvoeren. Het systeem moest de vele aanvragen van immigranten die een visum voor het land willen verkrijgen efficiënter en gestroomlijnder verwerken. De algoritmen analyseerden de informatie die de immigranten invulden in een digitaal formulier en gaven op basis daarvan een kleurcode om het visum wel of niet toe te kennen.
Vicieuze cirkel
Maar de visa-algoritme stond al langere tijd onder druk, nadat enkele mensenrechtenorganisaties een juridisch proces starten tegen de algoritmen.Volgens hen zat er een ingebouwde racistische bias in het systeem die aanvragen beoordeelde op basis van de nationaliteit. Foxglove, één van de organisaties die het systeem aanvocht, was van mening dat de Home Office een ‘zwarte lijst’ heeft waar bepaalde landen opstaan. Immigranten uit die landen die een visum aanvroegen, zouden automatisch rood licht krijgen. Omgekeerd kon het systeem er ook voor zorgen dat landen op de zwarte lijst belandden als veel personen uit een bepaald land een rode code kregen. Zo ontstond een vicieuze cirkel van discriminatie. Foxglove noemde de visa-algoritme een ‘speedy boarding-dienst voor blanken’.
Het ministerie heeft nu oor naar die klachten en kondigde aan het systeem tijdelijk uit gebruik te halen. Dat schreef minister van Binnenlandse Zaken Priti Patel, die zelf een migratie-achtergrond heeft, in een brief aan Foxglove. Hoewel het ministerie niet de mening deelt dat het systeem bewust mensen uit bepaalde landen zou gediscrimineerd hebben, zullen de algoritmen wel grondig onderzocht worden en de nodige verbeteringen worden aangebracht. Vanaf september zou een nieuw en verbeterde visa-scanner in werking moeten treden.
Zijn algoritmen racistisch?
Het is niet de eerste keer dat algoritmen onder vuur komen te staan omwille van racistische bias. Verschillende studies hebben aangetoond dat gezichtsherkenningstechnologieën discriminerend zijn ten aanzien van mensen met een donkere huidskleur. Omwille van die reden besliste Amazon onlangs in de nasleep van de dood van George Floyd om haar gezichtsherkenningsalgoritme Rekognition niet meer in bruikleen te geven aan Amerikaanse politiediensten.
