Recht & Onrecht

Pas op, ook institutioneel racisme wordt geautomatiseerd

De overheid maakt steeds meer gebruik van risicosystemen om vroegtijdig te kunnen ingrijpen. Vergeten wordt dat die vol zitten met vooroordelen. Discriminatie ligt op de loer, schrijft Marc Schuilenburg in de Politiecolumn.

In Nederland worden steeds meer risicosystemen gebruikt om verdachte personen vooraf te signaleren of misbruik van voorzieningen voortijdig op te sporen. Van de Verwijsindex Risicojongeren (VIR) waarin risicosignalen van hulpverleners worden verzameld over jongeren tot het Systeem Risico Indicatie (SyRI) om uitkerings- en belastingfraude te voorkomen.

Veel risicosystemen werken met gedragsprofielen die zijn opgesteld op basis van enorme hoeveelheden gegevens. Via deze profielen wordt gezocht naar verdachte patronen in het gedrag van personen. Neem SyRI van het Ministerie van Sociale Zaken en Werkgelegenheid. Een laag waterverbruik kan in dit systeem wijzen op uitkeringsfraude omdat iemand bijna nooit thuis is.

Kan de computer recidive berekenen?

Voordeel van risicosystemen als VIR en SyRI is dat misstanden sneller kunnen worden opgespoord. Tegelijk is een waarschuwing op haar plaats. Aan het gebruik van deze data-gedreven systemen kleven ook risico’s. Te vaak wordt vergeten dat de techniek die deze verregaande surveillance mogelijk maakt geen waardevrij middel is. Zo worden data altijd ontsloten vanuit een specifieke context en geschiedenis. Denk aan de geautomatiseerde stappen om correlaties te vinden in de data, zoals de algoritmen die worden gebruikt om personen te categoriseren. Deze algoritmen zullen nooit neutraal zijn. Ze werken via variabelen die geselecteerd zijn door ontwikkelaars, analisten en beleidsmakers. Hierdoor zitten er onvermijdelijk vooroordelen (bias) in de software van risicosystemen.

Het meest duidelijk kwam zo’n vooroordeel naar voren in het onderzoek van journalistenplatform ProPublica naar risico-evaluaties van de Amerikaanse justitie. Steeds meer rechters in de Verenigde Staten gebruiken computerprogramma’s om de kans te berekenen of een verdachte zal recidiveren. Is de kans groter op recidive, dan wordt er een zwaardere gevangenisstraf opgelegd. Uit het onderzoek van ProPublica blijkt dat burgers met een donkere huidskleur structureel hogere risico-scores krijgen toebedeeld dan blanke personen, ongeacht of ze al eerder zijn veroordeeld voor het plegen van criminaliteit. Zo hebben burgers met een donkere huidskleur 77% meer kans om te worden gelabeld als iemand met een ‘hoger risico’ op het plegen van een toekomstig geweldsmisdrijf dan blanke verdachten. Ook hebben ze 45% meer kans dan blanke verdachten om te worden gelabeld als iemand die überhaupt strafbare feiten van welke aard dan ook gaan plegen.

Wie controleert de risicosystemen?

Welke voordelen risicosystemen ook mogen hebben, het valt niet te ontkennen dat de bias die in elke dataset zit vervelende consequenties kan hebben voor bepaalde personen of bevolkingsgroepen. In het geval van de bevindingen van ProPublica is er zelfs sprake van institutioneel racisme. Het systeem waarmee rechters in de Verenigde Staten werken om de kans te berekenen dat een verdachte weer in de fout gaat, leidt tot structurele discriminatie en een ongelijke rechtsbehandeling van gekleurde bevolkingsgroepen. Dit maakt de vraag relevant welke bias zit opgesloten in Nederlandse risicosystemen. Welke vooroordelen zijn verborgen in het instrument Recidive Inschattingsschalen (RISc) waarmee de reclassering het recidiverisico van delinquenten inschat? Leidt het Criminaliteit Anticipatie Systeem (CAS) van de Amsterdamse politie dat woninginbraken en overvallen voorspelt tot een selectief optreden tegen bepaalde bevolkingsgroepen?

Heel lang hebben we gedacht dat voor een prettige en veilige samenleving het nodig was om elkaar te controleren. De staat controleerde de burgers, en burgers elkaar. Met de komst van data-gedreven risicosystemen draait alles een slag. De vraag wordt nu: Wie controleert de algoritmen?

 

Marc Schuilenburg doceert aan de afdeling Strafrecht en Criminologie van de Vrije Universiteit te Amsterdam. De Politiecolumn wordt afwisselend geschreven door deskundigen uit het politieveld.

 

Blogger

Marc Schuilenburg

Marc Schuilenburg doceert aan de afdeling Strafrecht en Criminologie van de Vrije Universiteit te Amsterdam. Hij studeerde filosofie en rechten aan de Erasmus Universiteit Rotterdam. Zijn nieuwste boek heet The Securitization of Society. Crime, Risk, and Social Order (2015). Hij ontving de driejaarlijkse Willem Nagelprijs van de Nederlandse Vereniging voor Criminologie voor zijn boek Orde in veiligheid. Een dynamisch perspectief (2012). Samen met Bob Hoogenboom geeft hij het mastervak ‘Politie en Veiligheid’ aan de Vrije Universiteit Amsterdam. Zijn website is www.marcschuilenburg.nl.