Schimmige algoritmes bij UWV en SyRI zijn topje van de ijsberg

Bij het UWV krijgen aanvragers van een uitkering een ‘risicoscore’ toegekend door een computersysteem. Met die risicoscore in de hand nemen medewerkers vervolgens beslissingen over het al dan niet toekennen van een uitkering. Maar op basis van welke criteria en data neemt het systeem eigenlijk de beslissingen die tot de code leiden? Is dat überhaupt wel na te gaan?

Het klinkt als vragen die de uitkeringsinstantie uitvoerig beantwoord zou moeten hebben vóór de invoering van zo’n systeem. Maar daarover twijfelt het UWV blijkbaar. De organisatie maakte donderdag bekend dat het de algoritmes tegen het licht gaat houden om te onderzoeken of die niet discrimineren.

Het onderzoek van het UWV is op zich toe te juichen, maar het toont tegelijk aan dat de invoering van algoritmische beoordelingssystemen door overheden vaak te lichtzinnig gebeurt. De uitkeringsinstantie is namelijk verre van de eerste instelling waarbij grote twijfels ontstaan over de legitimiteit van computerbeslissingen. Dat voedt de vrees dat op veel meer plekken schimmige algoritmes ingrijpende beslissingen over burgers nemen.

Vorige week maakte de Belastingdienst vanwege vergelijkbare bezwaren een einde aan een eigen risicodatabase die het karakter van een zwarte lijst had gekregen. Dat deed het pas nadat de Autoriteit Persoonsgegevens had aangekondigd dat ze een breed onderzoek start naar algoritmische systemen bij de fiscus.

Deze gevallen zijn mede aan het licht gekomen dankzij de recente rechtszaak tegen een ander datasysteem voor fraudebestrijding: SyRI. Dat werd gebruikt door gemeenten om fraudeurs op te sporen. De manier waarop SyRI werd ingezet kon volgens de rechter niet door de beugel omdat het risico op discriminatie en willekeur te groot was.

Alle overheden en bedrijven die algoritmische systemen gebruiken om mensen automatisch in categorieën in te delen, zouden goed naar de SyRI-uitspraak moeten kijken. Het systeem diende volgens de rechtbank weliswaar een legitiem doel: de bestrijding van fraude is „cruciaal” voor het draagvlak voor het stelsel van sociale zekerheid in Nederland. Maar de rechters vonden dat oncontroleerbaar is hoe de algoritmes van SyRI onder de motorkap werken.

De kern van de uitspraak is dat er in dat geval te weinig waarborgen zijn voor burgers: zij kunnen niet uitzoeken of hun gegevens wel juist zijn verwerkt en weten niet waartegen ze precies bezwaar moeten maken.

Deze problemen spelen zeker niet alleen bij fraudedetectie. Een domein waar extra voorzichtigheid moet gelden is predictive policing. Dat zijn digitale systemen die voorspellingen doen over criminaliteit en die ook in Nederland al worden gebruikt. In het bedrijfsleven worden algoritmische systemen gebruikt voor uiteenlopende zaken: van het beoordelen van hypotheekaanvragen tot sollicitatiekandidaten.

Voor al die gevallen geldt dat burgers zich moeten kunnen verdedigen tegen beslissingen die in hun nadeel uitvallen. Of het nou gaat om een toeslag, een uitkering, een hypotheek of straks misschien zelfs een baan: als de computer ‘nee’ zegt, moeten mensen tot de conclusie kunnen komen dat het eigenlijk ‘ja’ moet zijn.

Als dat niet mogelijk is, omdat de werking van het algoritme onbekend is bijvoorbeeld, dan is dat niets minder dan een aantasting van grondrechten. Op die manier maken algoritmes mensen rechteloos en machteloos.