‘Algoritmes vergroten ongelijkheid’

Technologie Kamerleden vroegen donderdag advies aan een Amerikaanse hoogleraar over richtlijnen voor discriminerende algoritmes.

De Tweede Kamer praat over de risico’s van het gebruik van algoritmes voor handhaving en opsporing.
De Tweede Kamer praat over de risico’s van het gebruik van algoritmes voor handhaving en opsporing. Foto Niels Wenstedt / ANP

In Kerkrade wordt met hulp van big data voorspeld in welke wijken mensen grotere kans hebben op depressie. In Zwijndrecht berekenen computers welke straten zullen verpauperen. In Roermond probeert de gemeente met een puntensysteem te voorspellen in welke auto’s Oost-Europese zakkenrollers rijden.

Algoritmes worden, ook in Nederland, gebruikt om op grote schaal gedrag van burgers te voorspellen. Maar met de mogelijkheden nemen ook de zorgen toe. Voor de burger stijgt bijvoorbeeld de kans om te worden afgerekend op voorspeld gedrag in plaats van op daadwerkelijke acties. Donderdag was er in de Tweede Kamer een hoorzitting over de risico’s van het gebruik van algoritmes voor handhaving en opsporing.

„Als ze verkeerd worden gebruikt, versterken systemen op basis van algoritmes menselijke vooroordelen en vergroten ze ongelijkheid tussen groepen in de samenleving,” zegt Virginia Eubanks. De hoogleraar politicologie van de Amerikaanse universiteit van Albany publiceerde afgelopen jaar het boek Automating Inequality, en werd bij de hoorzitting door zes Kamerleden bevraagd over haar onderzoek.

Eubanks wijst op systemen die misdaad voorspellen in wijken. „In wijken met veel zwarte inwoners patrouilleert de politie vaker, waardoor er meer data beschikbaar zijn over de inwoners. Die data leiden tot meer voorspellingen over misdaad, en dus tot meer patrouilles.” Zo ontstaan er vicieuze cirkels die mensen in achterstandsposities discrimineren. „Zulke feedback loops kunnen ook oneerlijke en bevooroordeelde resultaten geven bij andere overheidsdiensten. Uiteindelijk zijn algoritmes niet neutraler dan mensen zelf, want ze worden door mensen gemaakt.”

Ook in Nederland was recent controverse over systemen die met hulp van algoritmes voorspellingen doen. Zo loopt er een rechtszaak tegen de staat van diverse privacy- en burgerrechtenorganisaties. Die zaak draait om het opsporingssysteem SyRI. Daarin kunnen algoritmes bijvoorbeeld berekenen of er een verhoogde kans is op belasting- of uitkeringsfraude. Het systeem gebruikt inburgerings-, zorgverzekerings-, onderwijs- en schuldenlastgegevens, en heeft volgens de aanklacht geleid tot zeker tientallen valse beschuldigingen tegen onschuldige burgers.

Ondanks een grote hoeveelheid klachten over het systeem wil staatssecretaris Tamara van Ark (Sociale Zaken, VVD) geen openheid geven over hoe het werkt omdat dat potentiële fraudeurs zou helpen.

„Een groot probleem is dat burgers vaak niet kunnen achterhalen op basis van welke criteria ze als verdacht worden aangemerkt”, zegt Siri Beerends van medialab Setup, dat onderzoek deed naar het onderwerp en Virginia Eubanks naar Nederland haalde.

Lees meer over hoe algoritmes ons dagelijks leven sturen in de NRC-serie De Formule

Politieke verschillen

Tijdens de hoorzitting valt op dat er binnen de regeringscoalitie wel wat politieke verschillen bestaan over dit onderwerp. VVD-Kamerlid Tobias van Gent waarschuwt voor „een te donkere blik op deze technologie”. Algoritmische systemen zorgen volgens hem potentieel voor een efficiëntere overheid en betere opsporing. Politiediensten en overheden die algoritmes inzetten zijn zelf doorgaans ook behoorlijk enthousiast.

Kamerlid Kees Verhoeven van coalitiepartij D66 stelt de laatste maanden juist veel kritische Kamervragen over de uitwassen van algoritmische voorspellingssystemen. Hij stelt bij de hoorzitting vooral vragen over transparantie van algoritmes en het achteraf corrigeren van fouten. CDA-Kamerlid Harry van der Molen waarschuwt voor het gevaar dat „mensen worden behandeld als getalletjes”.

De Raad van State schaarde zich vorig jaar al bij het kritische kamp. „Wetten worden verdreven door algoritmes”, waarschuwde het hoogste adviesorgaan van de regering in oktober.

Virginia Eubanks betoogt dat algoritmes in sommige gevoelige situaties misschien beter helemaal niet gebruikt kunnen worden, „bijvoorbeeld bij uithuisplaatsingen van kinderen”. Dat gebeurt in de VS soms wel, in Nederland voor zover bekend nog niet.

Waarschijnlijk buigt de Tweede Kamer zich dit jaar over richtlijnen, bijvoorbeeld voor wanneer algoritmische voorspellingen mogen worden gebruikt en onder welke voorwaarden. Zulke richtlijnen zijn er nog niet.

Sinds haar slechte ervaring op Wall Street waarschuwt wiskundige Cathy O’Neil voor de gevaren van computersystemen. Lees het interview met haar: De valse magie van algoritmes
    • Wouter van Noort