De computer voorspelt of de verdachte zal vluchten

Algoritme In bijna alle Amerikaanse staten worden verdachten beoordeeld met behulp van algoritmes. Op die manier zouden menselijke vooroordelen uitgesloten worden. Toch is er kritiek.

Illustratie Sebe Emmelot

Op het eerste gezicht lijkt de rechtbank in Jersey City op die in veel andere Amerikaanse steden. Politieagenten begeleiden verdachten aan de lopende band naar een beklaagdenbankje, waarna ze in hoog tempo worden voorgeleid. Per verdachte zijn vijf à tien minuten nodig om te bepalen of zij op vrije voeten hun proces mogen afwachten.

De meeste verdachten zijn zwart of latino, en de meeste advocaten wit. Rechter Paul Depascale baant zich stoïcijns een weg door de vele drugs- en geweldzaken die er vandaag op zijn programma staan.

Toch loopt dit proces in New Jersey anders dan in veel andere Amerikaanse staten. Sinds vorig jaar wordt hier de Public Safety Assessment (PSA) gebruikt, een algoritme dat aan elke verdachte een risicoscore geeft. Die score moet helpen bepalen of verdachten voorlopig kunnen worden vrijgelaten, in afwachting van de verdere behandeling van hun zaak.

De PSA houdt rekening met negen verschillende factoren. Die worden gewogen, en dat levert twee scores op die moeten aanduiden hoe groot de kans is dat een verdachte opnieuw een misdaad zal plegen, en of de verdachte zal wegblijven op de hoorzitting. Iemand die wordt verdacht van een geweldsdelict en al eerder is veroordeeld voor (gewelddadige) misdaden, wordt bijvoorbeeld gezien als een groter recidive-risico. Ook leeftijd is een factor: verdachten van 20 jaar en jonger gaan vaker opnieuw in de fout, en krijgen dus een hogere score. Mensen die eerder niet kwamen opdagen in de rechtbank, of die tijdens hun arrestatie ook al verdachte waren in een andere zaak, worden ingeschat als een groter vluchtrisico.

Door het beperkte aantal factoren is de PSA-score gemakkelijk samen te stellen: behalve basisdetails over de huidige verdenking en een eventueel eerder strafblad is er niets nodig. De score is slechts een advies en moet rechters houvast bieden. Als nieuwe verdachten worden voorgeleid, moeten rechters in korte tijd een moeilijke inschatting maken: vormt deze persoon een te groot gevaar voor anderen om vrijgelaten te worden?

Lees ook het interview met wiskundige Cathy O’Neil over de gevaren van computersystemen: De valse magie van algoritmes

Het gebruik van algoritmes moet menselijke vooroordelen uit het strafrecht halen. Uit onderzoek is onder meer gebleken dat rechters over het algemeen milder zijn voor witte dan voor zwarte verdachten. Het algoritme moet dat soort menselijke vooroordelen uit het strafrecht halen, of in ieder geval tegenwicht bieden.

Strafblad = hogere score

De 54-jarige verdachte die vandaag in Jersey City wordt voorgeleid krijgt een score van 4-5: die getallen gaan respectievelijk over het risico dat hij opnieuw in de fout gaat en dat hij niet komt opdagen voor zijn hoorzitting. Het maximum in beide categorieën is zes. De verdachte heeft al sinds 1989 een strafblad, voornamelijk voor drugsgerelateerde misdaden, en miste eerder maar liefst dertien afspraken in de rechtbank. Daarom is er uit het algoritme een relatief hoge score gerold.

De officier van justitie roept op om de verdachte vast te zetten, verwijzend naar zijn risicoscore, terwijl zijn advocaat pleit voor vrijlating onder voorwaarden. Ondanks de hoge score gaat rechter Depascale daar uiteindelijk in mee, maar wel met de hoogst mogelijke beperkingen: huisarrest en een elektronische enkelband. In het nieuwe systeem van New Jersey is dat toezichtsniveau drie. „U moet weten, meneer”, zegt de rechter, „dat er geen niveau vier is. Dat is de gevangenis.”

Uit onderzoek van burgerrechtenbeweging EPIC blijkt dat bijna alle Amerikaanse staten wel op een of andere manier algoritmes als de PSA in het rechtssysteem gebruiken. De werkwijze verschilt echter flink: sommige staten gebruiken de algoritmes bijvoorbeeld alleen voor zedendelicten. In tientallen andere staten worden de algoritmes ingezet om te bepalen of veroordeelden vroegtijdig mogen worden vrijgelaten uit de gevangenis. Het gebruik van een algoritme direct na de arrestatie van een verdachte, zoals in New Jersey, komt slechts in een handvol staten voor.

Ondanks het wijdverspreide gebruik van algoritmes in het strafrecht, zijn experts kritisch op de inzet ervan. Volgens Chelsea Barabas, onderzoeker aan de technische universiteit MIT, vrezen experts vooral dat de vooroordelen die mensen al hebben juist versterkt worden door het algoritme.

Een bekend voorbeeld komt uit de politiewereld, waar algoritmes worden gebruikt voor predictive policing. Met zulke systemen wordt geprobeerd te voorspellen waar nieuwe misdaden zullen worden gepleegd, zodat politieagenten op de juiste plek kunnen worden ingezet. Maar die algoritmes gebruiken vaak historische gegevens waar de vooroordelen al zijn ingebakken: in het verleden hebben politieagenten misschien wel vaker gepatrouilleerd in zwarte wijken, en daar veel mensen gearresteerd voor drugsbezit, terwijl drugsgebruikers in witte wijken onbestraft bleven. Het algoritme voorspelt vervolgens meer misdaad in de zwarte wijk, puur omdat de focus van de politie eerder al op die buurt lag.

Met het algoritme COMPAS, ontwikkeld door het bedrijf Equivant, is het eerder misgegaan in de rechtsspraak. Onder meer in de staat Wisconsin wordt dit systeem sinds 2012 door rechtbanken ingezet om te adviseren hoe zwaar mensen gestraft moeten worden.

Lees ook de politiecolumn over ‘predictive policing’: De burger moet kunnen weten hoe de misdaadvoorspeller werkt

Uit onderzoek van non-profitorganisatie ProPublica bleek in 2016 dat COMPAS veel vaker onterecht een hoge risicoscore toewees aan zwarte mensen, terwijl witte mensen vaker onterecht een lage score kregen. Hoe het algoritme precies werkt is bedrijfsgeheim, maar wel bekend is dat meeweegt of verdachten lid zijn van een bende, of ze vaak zijn verhuisd, of hun ouders zijn gescheiden, en of ze uit een buurt komen waar veel misdaden worden gepleegd. Die methode leidt tot hogere risicoscores voor zwarte verdachten die bijvoorbeeld vaker in armere wijken wonen.

Ondanks kritiek op algoritmes als COMPAS, hebben Amerikaanse rechtbanken het gebruik van zulke systemen goedgekeurd. De hoogste rechtbank van Wisconsin waarschuwde vorig jaar dat rechters sceptisch moeten omgaan met risicoscores, omdat ze het resultaat zijn van een ondoorzichtig algoritme dat bovendien niet wordt ondersteund door objectieve studies.

Oproep voor onafhankelijk toezicht

Vergeleken met COMPAS is het algoritme dat in New Jersey wordt gebruikt vrij simpel, en bovendien transparant. Op de website van de PSA, die wordt ontwikkeld door een non-profit, is de werking precies in te zien. Cathy O’Neil, auteur van het boek Weapons of Math Destruction, vindt die transparantie echter nog altijd onvoldoende. Een algoritme kan er onschuldig uitzien, maar toch onbedoelde neveneffecten hebben. „We weten welke data er worden gebruikt. Maar de echte vraag is: is het ook eerlijk?”

Om dat vast te stellen pleit O’Neil voor uitgebreide audits van algoritmes die in de rechtspraak worden gebruikt, en voor een onafhankelijke toezichthouder die zulke technologische ingrepen goedkeurt voordat ze worden ingezet. De algoritmes die nu in verschillende Amerikaanse staten worden gebruikt, zijn nooit aan zo’n test onderworpen.

De Laura and John Arnold Foundation, de stichting die achter de PSA zit, lijkt naar onderzoekers als O’Neil te hebben geluisterd. Niet alleen zit O’Neil zelf inmiddels in een adviesraad die suggesties moet doen om het algoritme te verbeteren, maar de stichting roept onderzoekers ook op om de werking ervan te bestuderen.

Brede vooroordelen identificeren

Algoritmes als de PSA worden al grootschalig ingezet om het lot van individuele verdachten te bepalen, maar volgens O’Neil zijn statistische hulpmiddelen veel geschikter om brede vooroordelen in het justitiële systeem te identificeren. „Als we zien dat er een verschil bestaat tussen hoe vaak witte mensen en zwarte mensen komen opdagen [voor hun hoorzitting], of tussen rijke en arme mensen, dan moeten we onszelf afvragen hoe we die ongelijkheid verminderen”, zegt O’Neil. „Het antwoord is waarschijnlijk iets heel simpels, zoals: we sturen een Uber naar je toe.”

In New Jersey zijn staatsadvocaten die gratis juridische bijstand leveren aan arme verdachten, over het algemeen positief over de hervormingen. Belangrijker dan de introductie van de PSA vinden zij een andere verandering: de afschaffing van borgsommen. Waar verdachten zichzelf eerder konden vrijkopen uit de gevangenis, is dat nu niet meer mogelijk. In plaats daarvan worden meer mensen vrijgelaten, ondersteund door de risicoscores die uit het algoritme komen rollen. Met name armere mensen zitten minder vaak vast zonder veroordeling.

De veranderingen leidden in het begin tot zorgen in New Jersey: zouden er meer gevaarlijke criminelen op straat rondlopen? Zouden verdachten nog wel komen opdagen voor hun hoorzitting? En als het fout ging, wie had dan de schuld? Een mens of een algoritme?

Vooralsnog lijken die zorgen onterecht te zijn geweest: het aantal mensen dat in New Jersey vastzit in afwachting van een proces daalde in een jaar tijd al met 20 procent, en de criminaliteitscijfers zijn niet gestegen.

Op een grootschalige beoordeling van het nieuwe systeem is het nog even wachten. New Jersey belooft in de herfst een rapport uit te brengen waarin de effecten van de hervormingen in beeld worden gebracht. Dan moet bijvoorbeeld blijken of witte en zwarte verdachten nu een gelijkere behandeling krijgen.

Wat advocaat Johnny Cardona betreft zijn de veranderingen een blijvertje. Volgens hem waren de zorgen over vluchtende verdachten überhaupt onrealistisch: „Onze cliënten kunnen het hoofd maar net boven water houden, die gaan nergens naartoe. Ze wonen hier in de gemeenschap. Ze vluchten niet, de meeste cliënten komen gewoon naar de rechtbank.”

Hoe algoritmes ons dagelijks leven bepalen

Ons leven wordt bestuurd door algoritmes, regeltjes achter de schermen. Deze wiskundige formules, gevoed door grote hoeveelheden data, sturen onze selectie van nieuws, entertainment en aankopen, vissen automatisch dieven en verdachten uit de massa. Lees de inleiding: Hoe algoritmes ons dagelijks leven sturen ›

Vervoer

Techbedrijven zijn dol op locatiedata en bewegings­gegevens, hoe gedetailleerder hoe beter. Zo ‘ziet’ Google hoe lang mensen op zoek zijn naar een parkeerplaats en leert Apple van je iPhone waar je werkt. Je kunt bewijzen dat je veilig rijdt en erop vertrouwen dat je om de file geleid wordt, of de snelste liftcabine voorgeschoteld krijgt. Maar welke algoritmes bepalen wat veilig is of wie er voorrang krijgt in de de file of in lift?

Lees ook:

  1. Hoe omzeilt TomTom de files?

  2. Hoe bepaalt de verzekeraar hoe veilig jij rijdt?

  3. Hoe bepaalt de lift wie voorrang krijgt?

  4. Hoe weet Google hoe lang je moet wachten?

Media

Kun je smaak in statistiek vatten? De grote streaming-diensten doen niet anders. Ze proberen een breed publiek inhoud op maat aan te bieden met behulp van algoritmes. Spotify en Netflix doen het door mensen met dezelfde voorkeuren te clusteren. Nieuwsdienst Blendle probeert er juist voor te zorgen dat je andere dingen ziet dan je zou verwachten. Apple laat personificatie grotendeels achterwege: Apple News is gebaseerd op locatie, niet of nauwelijks op je klikgedrag.

Lees ook:

  1. Hoe weet Netflix welke serie je wilt zien?

  2. Hoe weet Blendle wat jij wilt lezen?

  3. Hoe stelt Apple jouw nieuws samen?

  4. Waarom is dit het volgende liedje dat Spotify je laat horen?

Shoppen

Amazon is de webwinkel die groot werd met het doen van aanbevelingen op basis van wat anderen kochten. Wat zijn de trucs waarmee online winkels en reisbureaus je tot een aankoop verlokken? Achter de schermen wordt consumentengedrag in datapatronen gegoten, om beter in te schatten wat je wilt of hoe je te beïnvloeden bent. Ieder mens is uniek, maar bij elkaar zijn we toch redelijk voorspelbaar.

Lees ook:

  1. Hoe verleidt Booking.com je snel een hotelkamer te boeken?

  2. Hoe weet Bol.com wat je wilt kopen?

  3. Retargeting: hoe lang blijven mijn schoenen me achtervolgen?

  4. Hoe Facebook advertenties héél precies op maat maakt

Fraude

Algoritmes zijn bij uitstek geschikt om conclusies te trekken uit grote hoeveelheden data. Daardoor kunnen ze sneller ‘verdachte’ elementen opsporen, of het nou gaat om betalingsverkeer, uitkeringsgerechtigden of winkeldiefstal. De regels voor wat nou eigenlijk verdacht gedrag is, worden echter wel door mensen bepaald.

Lees ook:

  1. Hoe beschermt de bank je tegen oplichters?

  2. Hoe controleert de gemeente of jij fraudeert?

  3. Hoe bepaalt de zelfscankassa welke klanten gecontroleerd worden?

Naar aanleiding van deze productie organiseerde NRC op donderdag 12 april een avond in Pakhuis de Zwijger in Amsterdam. Terugkijken kan hier

Redactie Marc Hijink en Eva de Valk, animatie Midas van Son, Harrison van der Vliet en Elze van Driel, illustraties Midas van Son, vorm Koen Smeets.

    • Jeroen Kraan