Juist automatiseren zet de deur open voor willekeur

Het gaat niet om privacy. We betreden een tijdperk waarin machines onze politieke en maatschappelijke beslissingen nemen. Dan kun je zeggen dat zo’n ontwikkeling inbreuk pleegt op je privacy, maar dat is net zoiets als zeggen dat een dijkdoorbraak slecht is voor het telefoonverkeer. Het is waar, en het is zeker niet onbelangrijk, maar het is niet het hele verhaal.

Het gaat niet om privacy, want het gaat ook om rechtszekerheid, identiteit, eigendom, het vermoeden van onschuld, rechtsgelijkheid en anti-discriminatie, vrijheid van meningsuiting, autonomie, contractvrijheid, kortom, het rechtsstelsel in zijn geheel. Dat moet fundamenteel opnieuw worden doordacht nu de samenleving wordt gestuurd door data en algoritmes. Kom je dat ergens vertellen, dan knikt het gehoor instemmend. Ja, dat moet vanwege de privacy. Nee, niet vanwege de privacy.

Twee weken geleden stuitte ik op algoritmes die oorlogsmisdaden vervolgen. Dat leek me een radicale omwenteling in het recht, maar vreemd genoeg bleek er nauwelijks iets over te vinden. De Italiaanse Beatrice Martini schreef vorig jaar bij uitzondering een blogpost, The Ethics of Algorithms, waarin ze deze ontwikkeling kort noemt. Algoritmes en statistieken, schrijft ze, worden gebruikt om bewijs te leveren voor oorlogsmisdaden en genocide – „prove responsibilities behind war crimes and highlight violence patterns able to constitute proof in genocide trials”. Tjonge, dat is nogal wat.

Het verontrustende aan dit soort revoluties in het rechtsdenken is niet het gebruik van data en algoritmes op zich. Het is de naïviteit van de gebruikers. De kinderlijke gedachte van politici en juristen dat inzet van machines vanzelf leidt tot objectiviteit. Terwijl juist automatiseren de deur open zet voor willekeur.

Gebruikt de politie data en algoritmes om misdaad te voorspellen, dan versterkt ze daarmee al gauw haar eigen vooringenomenheid. Houdt ze jonge zwarte mannen vaker aan dan anderen, dan zal ze dat op basis van data-analyse nóg vaker gaan doen. Het voorspellen van misdaad, zeggen de critici in koor, maakt niet alleen inbreuk op de privacy, het gaat vooral ook in tegen de rechtsgelijkheid en het vermoeden van onschuld.

Data en algoritmes zijn het probleem niet, het is de gebruiker

Zo komen gaandeweg alle rechtsbeginselen in het geding als machines onze politieke beslissingen nemen. De vrijheid van meningsuiting, bijvoorbeeld, wordt allang niet meer begrensd door discussie over de komiek Böhmermann, maar door algoritmes. Die houden uitspraken via de sociale media in de gaten; aan de hand van hun eigen definities speuren ze naar tekens van extremisme en fundamentalisme. Zij bepalen wat toelaatbaar is en wat niet.

Erg objectief wordt het natuurlijk niet, als je een wezenlijk publieke taak laat overnemen door mediabedrijven. Private algoritmes houden politietoezicht, begrenzen de vrijheid van meningsuiting en bepalen wie een actieve bedreiging van terrorisme vormt. Zo oefenen bedrijven politieke invloed uit en daarmee verwerven ze een macht die ze voorlopig niet opgeven.

Wanneer het gaat om oorlog, nemen algoritmes de touwtjes in handen. Je hangt een paar satellieten boven een etnisch conflict en de software maakt een analyse van de data. Met een beetje profilering en categorisering kan een algoritme vervolgens zelfstandig tot doden overgaan. Het publiek lijkt nog te denken dat drones worden bediend door een schuldbewust mannetje of vrouwtje op afstand. Maar zo’n mannetje of vrouwtje hoeft niet meer. De software kan het allemaal zelf.

Als vervolgingsinstanties voorts claimen dat algoritmes ook het bewijs van genocide kunnen leveren, verwijzen ze graag naar Patrick Ball van de Human Rights Data Analysis Group in Mannheim. Maar expert Patrick Ball zegt juist het tegenovergestelde. „Technology tends to amplify bias, it does not ameliorate it”, zegt hij op YouTube in de 48ste minuut van het filmpje Digital Echoes: Understanding Patterns of Mass Violence with Data and Statistics.

Technologie versterkt fouten en vooroordelen. Voor bewijs in individuele gevallen kun je oorlogsbeelden van omstanders prima gebruiken, maar naar patronen speuren met crowd sourcing maakt de ‘selection bias’ sterker. Je krijgt alleen maar meer data uit de bekende gebieden, niet uit de zwarte gaten.

Volgens Ball kan vooringenomenheid in de data beleid flink de verkeerde kant opsturen. Big data, zegt hij, kun je gebruiken in de private sector, waar je over alle data beschikt, maar niet in de onoverzichtelijkheid van de sociale wereld. Beleidsmakers halen Patrick Ball vervolgens graag aan als ze zeggen hoe bruikbaar data en algoritmes zijn bij rechtsvervolging. Zoals ik al zei: data en algoritmes zijn niet het probleem. De gebruikers zijn het probleem.