Gebruik algoritmes ethisch, of gebruik ze niet

Tot voor kort kenden we algoritmes vooral van het zoeken via Google en het scrollen op Facebook. De laatste jaren duiken ze ook steeds vaker bij de overheid op. En dat kan leiden tot discriminatie en willekeur, zeker op lokaal niveau. Meer politieke aandacht voor algoritmes is hard nodig.

Waar het gebruik van algoritmes bij de overheid toe kan leiden, laat de Toeslagenaffaire zien. Het door de Belastingdienst registreren van dubbele nationaliteit leidde zelfs tot structurele discriminatie van groepen burgers. En ook op lokaal niveau is er het nodige aan de hand. Zo haalde SyRi het nieuws, een overheidsalgoritme dat potentiele fraude opspoort door persoonlijke gegevens over burgers te koppelen vanuit de Belastingdienst, het UWV en gemeenten. Nadat het in verschillende gemeenten is gebruikt, oordeelde de rechter vorig jaar dat het systeem in strijd is met het Europees Verdrag voor de Rechten van de Mens. De werking van het algoritme was niet openbaar, waardoor voor burgers niet te achterhalen was hoe ze op een lijst terecht kwamen. Bovendien bleek het algoritme met name mensen te selecteren in sociaal-economisch zwakkere wijken.

Lees ook dit opinie-artikel: Bescherm Rotterdammers tegen algoritmen

SyRi is lang niet het enige algoritme dat gemeenten gebruiken. Uit een vertrouwelijke inventarisatie bleek dat 54 overheidsinstanties algoritmes inzetten, waaronder 25 gemeenten. Een van die gemeenten is Rotterdam, dat eerder ook SyRi gebruikte. Rotterdam heeft onder andere een algoritme dat bepaalt welke burgers die een uitkering ontvangen, gecontroleerd moeten worden. Het systeem bevat ruim 300 variabelen, waaronder zaken als geslacht en leeftijd, maar ook taalvaardigheid, het aantal kinderen, het „totaal aantal dagen dat iemand een partner heeft gehad”, uiterlijke verzorging, flexibiliteit en doorzettingsvermogen. Hoewel een ambtenaar het uiteindelijke besluit neemt, liggen discriminatie (op onder andere geslacht, leeftijd en culturele achtergrond) en willekeur (hoe weeg je de uiterlijke verzorging van iemand?) op de loer.

Mogelijk onethische werking

De Rekenkamer Rotterdam constateert in recent onderzoek dat de gemeente geen zicht heeft op het aantal algoritmes dat het gebruikt en de mogelijk onethische werking daarvan. Rotterdam is hierin niet uniek. Amsterdam is de enige Nederlandse gemeente met een openbaar register (in opbouw), dat beschrijvingen bevat van algoritmes voor parkeren, afval en illegale vakantieverhuur.

Het ontbreken van inzicht in lokale algoritmes is zorgelijk. Gemeenten krijgen op het gebied van zorg, werk en inkomen steeds meer invloed op het leven van mensen. Om discriminatie en willekeur te voorkomen, is het belangrijk grip te krijgen op het lokale gebruik van algoritmes.

Rotterdam heeft onder andere een algoritme dat bepaalt welke burgers die een uitkering ontvangen, gecontroleerd moeten worden

Daarvoor zijn drie principes, die de gemeenteraad mede op initiatief van GroenLinks recent heeft vastgelegd, cruciaal. Het eerste is, in lijn met de artseneed: ‘breng geen schade toe’. Net zoals een arts bij iedere behandeling de veiligheid van de patiënt vooropstelt, moet de overheid bij de inzet van algoritmes kiezen voor de veiligheid van burgers. Waar algoritmes nu vaak worden ingezet met als argument meer effectiviteit en efficiëntie (bijvoorbeeld bij fraudebestrijding in de bijstand), zullen waarden als bescherming, keuzevrijheid, vertrouwen en privacy leiden tot minder (vergaande) algoritmes.

Tweede principe is dat altijd een mens verantwoordelijk moet zijn voor een overheidsbesluit. Een algoritme kan erbij helpen, onder voorwaarde dat de ambtenaar begrijpt hoe het algoritme tot een advies is gekomen. We moeten voorkomen dat een algoritme vanwege een veelheid aan variabelen en berekeningen onbegrijpelijk wordt voor degene die ermee werkt. Dan ontstaat het risico van een onpersoonlijke overheid waarin politici en ambtenaren afhankelijk worden van en zich verschuilen achter anonieme technologie.

Begrijpelijke taal

Derde principe is dat wanneer een burger wordt geraakt door een overheidsbesluit waarbij een algoritme een rol heeft gespeeld, de overheid dat actief aan die burger duidelijk maakt. In begrijpelijke taal, inclusief uitleg van de manier waarop het algoritme werkt en de data die daarbij zijn gebruikt. Dat raakt de kern van de vertrouwensrelatie tussen overheid en burger. Juist wanneer een besluit iemand persoonlijk raakt, moet de overheid transparant en aanspreekbaar zijn.

Concreet betekent dit meer politieke aandacht en reflectie bij het gebruik van algoritmes, meer bewustwording en training van ambtenaren en beter communiceren met burgers. Belangrijkste boodschap: gebruik algoritmes ethisch, of gebruik ze niet.

Jeroen Postma en Harm de Oude zijn gemeenteraadslid namens GroenLinks Rotterdam