De computer is racistisch

Profilering Als in zwarte wijken meer criminaliteit voorkomt, zal de politie er vaker patrouilleren. Dat leidt tot meer arrestaties, die computers niet neutraal registreren. „Als je ze vooroordelen voedt, krijg je vooroordelen terug.”

Illustratie Tomas Schats

‘Ik heb nog geen goed argument gehoord waarom wij de robot meer moeten vrezen dan de mens”, schreef Arnon Grunberg vorige week in zijn Voetnoot-column in de Volkskrant. Hij vraagt zich af: „Zullen er ooit robots bestaan die aan psychopathologische stoornissen lijden of hebben we het altijd over de stoornissen van de makers van die robots?”

Die vraag is hoogst actueel nu robots steeds dieper doordringen in het dagelijks leven. En hoewel we robots en kunstmatige intelligentie nu nog niet snel zouden diagnosticeren als psychopathologisch, zijn er wél toenemende zorgen over andere typisch menselijke onvolkomenheden die robots massaal aan het overnemen zijn: racisme, seksisme en andere vooroordelen.

Onlangs bracht Google, één van de belangrijkste ontwikkelaars van kunstmatige intelligentie, een waarschuwingsvideo over machine learning (ML), een variant van kunstmatige intelligentie. „Bij machine learning leren computers zelfstandig patronen in data te ontdekken. Daarom is het verleidelijk om te denken dat daarbij geen vooroordelen komen kijken”, vertelt de voice-over. „Maar als iets op data gebaseerd is, maakt het dat nog niet neutraal.” Volgens Google moeten gebruikers en ontwikkelaars van machine learning zich daar beter van bewust zijn.

„ML leert als een kind of een hond,” zegt Maya Gupta aan de telefoon vanuit het Californische Mountain View. Zij is onderzoeksdirecteur van Glassbox, een belangrijk ML-lab van Google. „Als je ze vooroordelen voedt, krijg je vooroordelen terug.”

Dat blijkt bijvoorbeeld ook bij Googles eigen zoekmachine, die met behulp van ML werkt. Tik daar de zoekopdracht ‘CEO’ in en je krijgt vooral plaatjes van witte oude mannen. Eerder moest Google excuses aanbieden omdat ML foto’s van zwarte mensen per ongeluk classificeerde als ‘gorilla’s’. Deze variant van kunstmatige intelligentie wordt niet door mensen geprogrammeerd maar leert zelfstandig welke beslissingen het neemt op basis van patronen in grote hoeveelheden data. Dat kan ervoor zorgen dat patronen uit het verleden worden voortgezet, of zelfs versterkt. „We doen er alles aan om dat soort dingen te voorkomen”, zegt Gupta. Maar dat lukt niet altijd, en Google is niet het enige bedrijf dat hiermee worstelt.

Lees ook het interview met de Duitse techcriticus Yvonne Hofstetter: ‘Silicon Valley ziet de mens als een algoritme’

Misdaad voorspellen

Bevooroordeelde computers hebben zelfs al effect op arrestaties en gevangenisstraffen. Uit een onderzoek van de Amerikaanse mensenrechtenorganisatie Human Rights Data Analysis Group bleek eerder dit jaar dat veelgebruikte politiesoftware van techbedrijf Predpol de politie bovenmatig vaak naar zwarte wijken stuurde. De politie gebruikt dat soort software om bijvoorbeeld misdaad te voorspellen met behulp van patronen uit het verleden. Omdat er vaker criminaliteit was in zwarte wijken, gingen agenten daar vaker patrouilleren dan in andere wijken, wat daar leidde tot meer arrestaties. Volgens de onderzoekers ontstond zo een feedback-loop, een vicieuze cirkel die zichzelf versterkt. Misschien was vaker patrouilleren in die wijken in zekere mate gerechtvaardigd vanwege hogere criminaliteitscijfers, maar door het versterkende effect raakte de software steeds erger bevooroordeeld over zwarte wijken.

Vorig jaar publiceerde platform voor onderzoeksjournalistiek ProPublica een ander zorgwekkend onderzoek. In de VS gebruiken honderden rechtbanken software om een inschatting te maken van het risico dat gevangenen recidiveren. Dat systeem heet Correctional Offender Management Profiling for Alternative Sanctions (Compas). ProPublica kwam erachter dat Compas zwarte verdachten benadeelde: het wees zwarte mensen vaker onterecht aan als recidivisten. ProPublica onderzocht de ‘risico-scores’ die het programma aan 7.000 verdachten gaf en onderzocht vervolgens hoeveel van die mensen daadwerkelijk binnen twee jaar werden opgepakt voor een ander misdrijf (hetzelfde criterium als het programma gebruikte). Bij zwarte verdachten zat de software er volgens ProPublica in 45 procent van de gevallen naast, bij witte mensen 24 procent.

Nederland voerde eerder dit jaar als eerste land zogeheten predictive policing landelijk in: met behulp van kunstmatige intelligentie neemt de politie beslissingen over onder meer patrouilles en extra inzet. „Aan de hand van de prognoses van ‘Hot Times’ en ‘Hot Spots’ kan de politie haar capaciteit effectief inzetten,” meldde zij destijds in een ronkend persbericht over het Nederlandse Criminaliteits Anticipatie Systeem. Ook daarbij kunnen allerlei vooroordelen, feedback-loops en vicieuze cirkels voorkomen, , maar de politie wil geen vragen van NRC beantwoorden over hoe ze die voorkomen. De Orwelliaanse namen van deze technologieën helpen het publieke vertrouwen waarschijnlijk niet per se vooruit.

Grote implicaties

Volgens Google kunnen problemen in dergelijke software komen door drie biases (ingebakken afwijkingen), die optreden bij machine learning. De interactie-bias bijvoorbeeld, waarbij de gebruiker zelf een systeem bevooroordeeld maakt. Google vroeg gebruikers bijvoorbeeld bij een experiment om een schoen te tekenen, waarbij de meeste mensen een mannenschoen tekenden. Daardoor herkende het ML-systeem vervolgens vrouwenschoenen niet als schoenen. De tweede, zogeheten latente bias treedt op als ML op een verkeerde manier plaatjes verbindt aan geslacht, leeftijd of huidskleur. Zo komt het dat de zoekopdracht ‘CEO’ vooral oude mannen oplevert: omdat op foto’s van CEO’s nou eenmaal vaker witte mannen staan dan zwarte vrouwen.

Dan is er ook nog de selectie-bias: die treedt op als de data die worden gebruikt om ML te ‘trainen’ onevenredig veel mensen uit een bepaalde groep bevat. Daardoor wordt het systeem beter in het herkennen van juist die specifieke groep. Dat heeft grote implicaties voor predictive policing, en bijvoorbeeld voor werving en selectie van personeel; ook dat gebeurt bij steeds meer bedrijven met behulp van kunstmatige intelligentie.

Lees ook de column van techredacteur Marc Hijink over software die gezichten van homoseksuelen herkent: Computer says ‘ho’

„We doen veel onderzoek naar hoe we dit soort fouten kunnen voorkomen”, zegt Maya Gupta. „Hoe zorgvuldiger we weten wélke data we voeden aan deze systemen, en hoe beter de systemen leren van fouten, hoe minder onterechte vooroordelen er zullen optreden.” Maar ze wijst er ook op dat ML tal van voordelen meebrengt: „Want wat is het alternatief? Als je deze beslissingen aan mensen overlaat, zijn ze ook verre van perfect.” Bij computers zijn de vooroordelen in elk geval makkelijker te spotten en te corrigeren, zegt ze.

Gupta is bezig met onderzoek naar hoe je ‘eerlijkheid’ in zelflerende computers kunt inbouwen. Dat roept direct ook de constatering op dat bedrijven als Google dus in grote mate bepalen wat ‘eerlijk’ is wat vooroordelen betreft – en wat ‘oneerlijk’. „Daarom publiceren we ook veel over dit onderwerp,” zegt Gupta. „Om zoveel mogelijk mensen te betrekken bij deze belangrijke discussies.” De grote bedrijven in ML, waaronder Google, Facebook en Apple hebben zich het afgelopen jaar verenigd in de zogeheten Partnership on Artificial Intelligence to benefit people and society, precies om dit soort problemen met kunstmatige intelligentie te ondervangen. Maar veel systemen worden ontwikkeld in grote techbedrijven die niet allemaal even transparant zijn. Bovendien: onderzoeksteams zoals bij Google zeggen ethiek serieus te nemen, maar bestaan vaak louter uit techneuten; er zitten geen ethici in Maya Gupta’s groep.

Bescherming nodig

Het Europees Economisch en Sociaal Comité (EESC), een belangrijk Europees adviesorgaan, waarschuwde in mei voor deze problemen. Het riep overheden op snel in actie te komen en bijvoorbeeld een Europees normerings- en certificeringssysteem te ontwikkelen om te controleren of kunstmatige intelligentie voldoet aan standaarden voor „veiligheid, transparantie, begrijpelijkheid, verklaarbaarheid en ethische waarden”. Veel politieke actie kwam er daarna niet, ondanks dat steeds duidelijker wordt dat computers leren van mensen en dat ze ook veel menselijke feilbaarheden overnemen. Mensen moeten soms tegen computers worden beschermd, maar het is ook nodig om computers tegen mensen te beschermen. Vrij naar Arnon Grunberg: soms hebben robots net zoveel te vrezen van mensen als andersom.