En wat als Facebook u zomaar aangeeft?

Politiewerk door middel van voorspellende statistiek heeft groot succes maar is gebrekkig. Facebook speurt nu met algoritmes naar criminelen onder de eigen deelnemers. Daar is te weinig controle op, vindt Evgeny Morozov.

Illustratie Siegfried Woldhek

Dankzij de techniek heeft de politie een rooskleurige toekomst voor zich – en niet alleen omdat ze verdachten op Google kan opzoeken. Haar werk zal nog gemakkelijker en doeltreffender worden door twee andere, minder zichtbare trends, die netelige vragen opwerpen over privacy en burgerlijke vrijheden.

Ten eerste krijgt het politiewerk – net als veel andere activiteiten – in het tijdperk van big data een nieuw gezicht, in de verwachting dat een bredere, diepere analyse van de informatie over misdaden uit het verleden, in combinatie met verfijnde algoritmen, toekomstige misdaden kan voorspellen. Deze praktijk staat bekend als ‘voorspellend politiewerk’ (predictive policing). Ook al is dit nog maar een paar jaar oud, veel deskundigen zien het als een revolutie in de werkwijze van de politie. Vooral in de Verenigde Staten is de politie enthousiast; de Europeanen halen langzaam hun achterstand in, met de Britten voorop.

Neem de politie van Los Angeles – het beruchte LAPD, bekend uit Hollywoodfilms. Die bedient zich van software genaamd PredPol. Deze software begint met de analyse van de misdaadcijfers die in een reeks van jaren zijn gepubliceerd. Dan splitst hij de surveillancekaart op in zones – van zo’n 45 vierkante meter elk – en berekent daarbinnen de verdeling en frequentie van misdrijven uit het verleden. Ten slotte vertelt hij de agenten welke misdrijven waarschijnlijk waar en wanneer zullen plaatsvinden, zodat zij die zones scherper in de gaten kunnen houden.

Het aanlokkelijke idee achter voorspellend politiewerk is dat het veel beter is een misdrijf te voorkomen, dan om het achteraf te onderzoeken. De patrouillerende agenten zullen misschien de misdadiger niet op heterdaad betrappen, maar hun aanwezigheid op het juiste moment op de juiste plaats helpt zeker om hem af te schrikken.

De logica lijkt te werken. Zo hebben in Los Angeles vijf LAPD-districten die met behulp van deze software een gebied bewaken met een bevolking van circa 1,3 miljoen mensen, de misdaad met 13 procent zien dalen. De stad Santa Cruz, die ook gebruikmaakt van PredPol, zag haar inbraken met bijna 30 procent dalen. Op politiebureaus over heel Amerika zijn vergelijkbare bemoedigende cijfers te vinden en de agenten die bij het onderzoek aan de universiteit voorop liepen, reizen de hele wereld af om ook andere politiediensten voor de praktijk warm te maken.

Als dit soort ‘voorspelling’ bekend klinkt, komt dit doordat de methoden zijn geënt op die van internetbedrijven. In 2009 roemde een hoge functionaris bij de LAPD in het blad The Police Chief het vermogen van Amazon om „de unieke groepen in zijn klantenbestand te begrijpen en hun aankooppatronen te karakteriseren”, waardoor het bedrijf „niet alleen op toekomstig gedrag kon anticiperen, maar dit ook kon bevorderen of anderszins vormgeven”. Zoals de algoritmen van Amazon een voorspelling mogelijk maken over de volgende boeken die we vermoedelijk gaan kopen, kunnen vergelijkbare algoritmen de politie vertellen hoe vaak – en waar en wanneer – bepaalde misdrijven misschien weer zullen plaatsvinden.

Bedenk hierbij wel dat we Amazons algoritmen niet kunnen onderzoeken; ze zijn volledig ondoorzichtig en niet aan toezicht van derden onderhevig. Volgens Amazon kan het door deze geheimhouding concurrerend blijven, en daar heeft het misschien gelijk in. Maar diezelfde logica geldt niet voor politiewerk: als niemand de algoritmen kan onderzoeken – iets wat vermoedelijk het geval zal zijn omdat de software voor preventief politiewerk door particuliere ondernemingen zal worden gebouwd – zullen we niet weten welke vooroordelen en discriminerende praktijken erin worden opgenomen.

Misdaad komt bijvoorbeeld vooral voor in gebieden die arm en etnisch gemengd zijn. Kunnen algoritmen – met hun vermeende objectiviteit – een nog verdere etnische profilering rechtvaardigen? In de meeste democratische regimes moet de politie tegenwoordig een redelijk vermoeden hebben – een bepaalde aanwijzing en niet zomaar een ingeving – om iemand op straat staande te houden en te fouilleren. Maar kan de politie, gewapend met zulke software, eenvoudig zeggen dat ze op grond van de algoritmen handelde? En zo ja, welke verklaring zouden de algoritmen in de rechtbank afleggen?

Ook is er nog het vraagstuk van de misdrijven waar weinig aangifte van wordt gedaan. De meeste moorden worden wel gemeld, maar veel verkrachtingen en inbraken in woonhuizen niet. Ook bij gebrek aan aangiften ontwikkelt de politie toch manieren om te weten wanneer er in hun wijk iets vreemds gebeurt. Maar voorspellend politiewerk vervangt zulke stilzwijgende kennis door een naïef geloof in de alomvattende macht van statistieken. Als alleen gegevens over aangegeven misdrijven worden gebruikt om toekomstige misdrijven te voorspellen en het politiewerk te sturen, zullen bepaalde soorten misdrijven misschien geheel onbestudeerd – en dus onbestraft – blijven.

Maar er is een tweede trend die het politiewerk nog gemakkelijker maakt en die in combinatie met preventief politiewerk misschien nog wel veel meer omstreden gevolgen zal hebben. Bedrijven als Facebook gebruiken steeds vaker algoritmen en big data om te voorspellen wie van hun gebruikers misdrijven zouden kunnen plegen. Dat werkt zo: door bepaalde gedragssignalen te bestuderen – schrijft de gebruiker alleen berichten aan minderjarigen? Zijn de meeste contacten van de gebruiker vrouw? Noemen ze trefwoorden als ‘seks’ of ‘date’? – kunnen de eigen preventieve systemen van Facebook bepaalde gebruikers als verdacht bestempelen. Medewerkers zouden elk geval dan onderzoeken en het zonodig naar de politie doorsluizen.

Reuters berichtte onlangs over Facebook, dat gewapend met zijn preventieve algoritmen een man van middelbare leeftijd had betrapt die met een dertienjarig meisje over seks chatte en bezig was voor de volgende dag een afspraakje met haar te maken. De politie zocht contact met de tiener, nam haar computer over en pakte de man. Maar het gaat niet alleen om algoritmen; Facebook erkent dat het, zoals de politie uit eerdere misdaadcijfers put, ook put uit archieven van echte chats die voorafgingen aan echte verkrachtingen.

Het is moeilijk om te twisten over de inzet van zulke methoden voor de opsporing van seksuele roofdieren die op kinderen jagen. Maar bedenk wel dat Facebook ook allerlei ander, vergelijkbaar politiewerk kan doen: de opsporing van mogelijke drugsdealers, de identificatie van mogelijke auteursrechtschenders (Facebook belet zijn gebruikers nu al om links naar veel file-sharing sites te delen), en vooral na de rellen van vorig jaar in Groot-Brittannië, de voorspelling van de volgende generatie onruststokers.

Natuurlijk bekijkt de politie sociale netwerksites nu ook al op tekenen van onrust. Maar anders dan Facebook ziet zij niet het hele beeld: privéberichten en ‘stille’ acties – welke links worden aangeklikt en welke pagina’s worden geopend – zijn voor haar onzichtbaar. Maar net als Amazon bij boeken, weet Facebook dit natuurlijk allemaal – zodat de voorspellende kracht veel groter is dan die van de politie.

Bovendien heeft de politie een gerechtelijk bevel nodig om iemands privégegevens in te zien, terwijl Facebook de gegevens van zijn gebruikers kan opzoeken wanneer het wil. Uit het gezichtspunt van de politie kan het zelfs voordelig zijn om Facebook al dit vuile werk te laten doen, omdat het eigen onderzoek van Facebook niet via de rechtbank hoeft te gaan.

Met voldoende gegevens en de juiste algoritmen lijken we onherroepelijk allemaal verdacht. Wat gebeurt er dan zodra Facebook ons – voordat we ook maar een misdaad hebben begaan! – bij de politie aangeeft? Zullen we dan als personages in een roman van Kafka worstelen met de vraag wat we nu eigenlijk hebben misdaan en de rest van ons leven bezig zijn onze naam te zuiveren? Als de algoritmen het nu eens mis hebben?

De belofte van preventief politiewerk mag reëel zijn, maar de gevaren zijn dat evenzeer. De politie moet haar algoritmen aan toezicht door derden onderwerpen en iets doen aan hun ingebouwde vooroordelen. Sociale netwerksites moeten duidelijk vaststellen hoeveel preventief politiewerk ze zelf echt willen doen en hoe ver ze zullen gaan in de profilering van hun gebruikers.

Facebook zou misschien doeltreffender dan de politie criminaliteit kunnen voorspellen, maar we mogen niet toestaan dat het deze politietaken op zich neemt zonder zich aan dezelfde spelregels te houden die bepalen wat de politie in een democratie wel en niet mag doen. We mogen niet in naam van de doelmatigheid de rechtsgang omzeilen en de democratische normen ondermijnen.

Evgeny Morozov (geboren in Wit-Rusland) is auteur van The Net Delusion: The Dark Side of Internet Freedom. Hij is nu gastdocent aan Stanford University.