Opinie

Bescherm Rotterdammers tegen algoritmen

De gemeente Rotterdam moet het gebruik van algoritmen om bijstandsfraude op te sporen beëindigen, omdat het zowel rechtsstatelijk, wetenschappelijk als ethisch onverantwoord is, stellen en .

Illustratie Stella Smienk

De gemeente Rotterdam besloot vorige week, ondanks forse kritiek van de Rekenkamer, niet te stoppen met de inzet van zogeheten ‘hoog risico algoritmen’ om bijstandsfraude op te sporen. Rotterdam gaat de algoritmen ‘monitoren’ door het instellen van een waakhond die meekijkt. Moties om hiermee te stoppen vanwege het risico op mogelijke discriminatie werden verworpen.

In 2020 oordeelde de rechter dat de Nederlandse Staat onmiddellijk moest ophouden met het inzetten van computersysteem SyRI waarbij hele wijken werden doorgelicht voor mogelijke fraudeurs. Wijken waar vooral mensen met een laag inkomen en migratieachtergrond woonden. De rechter achtte het risico op discriminatie te groot. Dat besef is nog niet doorgedrongen bij overheden die nog volop gebruikmaken van voorspellende algoritmen. Ze lijken zich van geen kwaad bewust.

Rotterdam is helaas niet de enige gemeente die, zelfs na het SyRI-vonnis én de Toeslagenaffaire, stug doorgaat met het geautomatiseerd plaatsen van burgers op risicolijsten. De inzet van voorspellende algoritmen wordt verkocht als efficiënt en onschuldig, maar is rechtsstatelijk, wetenschappelijk en ethisch onverantwoord.

Voorstanders wijzen erop dat het besluit om bijvoorbeeld iemands uitkering stop te zetten, niet door het algoritme maar uiteindelijk door een persoon van vlees en bloed wordt genomen. Demissionair minister Wouter Koolmees (Sociale Zaken, D66) gaf dat onlangs, vóór zijn benoeming tot informateur, nog aan in reactie op Kamervragen van de SP. Maar daar gaat een besluit aan vooraf, namelijk het besluit om vanwege bepaalde ‘kenmerken’ iemand op een risicolijst te zetten. De rechter in het SyRI-vonnis erkende dit wel en oordeelde dat een risicomelding over een burger een aanmerkelijke impact heeft op diens leven en daarom inhoudelijk aanvechtbaar moet zijn.

Desastreuze gevolgen

Waar het SyRI-vonnis voor waarschuwde, werd werkelijkheid in de Toeslagenaffaire. De risico’s die voorspellende algoritmen toedichten aan burgers, kunnen desastreuze gevolgen hebben. Sindsdien is ook binnen de afdeling Toeslagen van de Belastingdienst duidelijk geworden dat het hebben van een niet-Nederlandse nationaliteit of dubbel paspoort geen acceptabel criterium is om iemand op een fraude-risicolijst te zetten. Maar wat dan wel? Die handschoen wordt ten onrechte niet opgepakt door overheden en publieke instanties die meer en meer ‘datagestuurd’ hun handhavingstaken uitvoeren.

Hoewel algoritmes nuttig zijn voor vele analyses – van weersvoorspellingen tot het in kaart brengen van ons sterrenstelsel – zijn ze zowel praktisch als ethisch ongeschikt om er menselijk gedrag mee te voorspellen. Toch wordt de inzet ervan breed omarmd door publieke instanties, vaak met grote beloften van kostenbesparingen en efficiëntie.

De gemeente Nissewaard, op het eiland Voorne-Putten, gaf jarenlang hoog op over de geweldige resultaten die het ingehuurde bedrijf Totta Data Lab zou boeken met fraude-algoritmen om uitkeringsfraude op te sporen. Na een extern onderzoek van TNO bleek dat de algoritmen bij iedere ‘run’ een andere lijst met hoog-risico-burgers leverden. De handvol gevallen van fraude die in vier jaar tijd werden ontdekt, hadden, volgens de toelichting die TNO gaf aan de gemeenteraad, evengoed toeval kunnen zijn.

Het college in Nissewaard heeft inmiddels besloten terug te gaan naar de ‘menselijke maat’ in zijn controle op de bijstand. Mooi, maar onschuldige inwoners van Nissewaard zijn jarenlang blootgesteld aan een werkwijze waarvoor de gemeente nooit heeft kunnen instaan.

Bij algoritmen die gevolgen kunnen hebben voor de persoonlijke levens van burgers, is er veel meer behoedzaamheid geboden.

Fundamentele vragen

Ook in Brussel is de lobby voor toepassingen van kunstmatige intelligentie sterk. Niet alleen vanuit het bedrijfsleven, ook overheden geven niet zomaar de speeltjes op die ze soms al jarenlang gebruiken – maar waarover nooit fundamentele vragen zijn gesteld. De voorgestelde artificial intelligence-verordening van de Europese Commissie moet hier regels in aanbrengen, maar verzuimt ook een harde grens te trekken bij de inzet van risicovolle algoritmen. Overheden zoals de gemeente Rotterdam gebruiken deze als een vrijbrief om risicovoorspellingen te doen over burgers. Vanuit belangenorganisaties is hier veel verzet tegen, zij adviseerden alle algoritmen die burgers persoonlijk kunnen raken tot nader order in de ban te doen.

Want op basis van welke kennis meen je dat je iemand op een risicolijst mag plaatsen? Omdat diegene statistisch lijkt op iemand die in het verleden iets fout deed? In het geval van afkomst of etniciteit zouden we dat onacceptabel vinden, maar waarom is het wel gerechtvaardigd wanneer iemand volgens de logica van een algoritme op andere gronden ‘bedenkelijk’ is? Het reduceren van burgers tot risicoprofielen past niet bij een overheid op zoek naar de menselijke maat. In plaats van regels te bedenken om risicovolle algoritmen te legitimeren, zou op zoek moet worden gegaan naar methoden die wél in onze rechtsstaat passen.

Maureen van der Pligt is bestuurder FNV Uitkeringsgerechtigden en Ronald Huissen is secretaris Platform Burgerrechten