Opinie

Menselijke maat moet bepalend blijven bij beleid en bestuur

In Almere, Dordrecht en Zwijndrecht wijst de gemeentelijke computer op basis van data over inkomen en gedrag straten aan, waar een hogere kans is op ‘leefbaarheidsproblemen’. Vorig weekend schetste NRC hoe het algoritme in de bestuurspraktijk oprukt: het zodanig combineren van data dat er adviezen, voorspellingen of beslissingen uit rollen. Het is dé trend van dit moment, omdat het de mogelijkheid biedt om te anticiperen op gedrag en dus waarschijnlijk onheil voor te zijn. Vooral voor het gezag is dit een wenkend perspectief. Predictive policing, voorspellend handhaven – welke agent of controleur zou niet alvast daar willen zijn waar de kans op bijstandsfraude, hennepaanplant of schoolverzuim het grootst is?

Er is alleen één probleem. Computergestuurde beslissingen zijn net zo betrouwbaar als de informatie die eraan ten grondslag ligt. Met als extra complicatie dat de wegingsfactor van informatie door een algoritme achteraf veelal niet te verklaren is voor de uitvoerders ervan. Althans voor de niet-mathematici onder hen, zoals bekend de meerderheid. Daardoor staan algoritmen inmiddels te boek als ‘Weapons of Math Destruction’. Data kunnen fout zijn, vooroordelen weerspiegelen of tot verkeerde conclusies leiden. Achter iedere score in zo’n beslisformule zitten morele of culturele normen. Als blijkt dat vrouwen als bestuursvoorzitter ondervertegenwoordigd zijn kan een algoritme daaruit afleiden dat vrouwen ‘dus’ minder geschikt zijn. En dat vervolgens incalculeren. Idem voor ras, geloof of seksuele voorkeur. Dergelijke data komen bovendien steeds makkelijker beschikbaar.

Er doemt hier een nieuwe wereld op waarin autonomie en vrijheid van de burger onder druk komen te staan. Toen Jacob Kohnstamm in 2016 afscheid nam bij het College Bescherming Persoonsgegevens voorspelde hij het ‘algoritmisch burgerschap’ en waarschuwde hij tegen ‘digitale predestinatie’. Een pluriforme en solidaire samenleving staat hier op het spel, vond hij.

Inmiddels screenen grote bedrijven sollicitatievideo’s en brieven met een algoritme ook op stemklank, woordkeus en gezichtsuitdrukking. Wie wordt er door het algoritme dan uitgefilterd? Er is een algoritme beschikbaar dat interne digitale communicatie beoordeelt op zelfvertrouwen, snelheid en doortastendheid. Waarmee het permanente beoordelingsgesprek is gerealiseerd. Computer says ‘go’?

Ieder systeem kan bovendien worden bespeeld. Franse sollicitanten slaagden er in om het algoritme te bedotten door valse kwalificaties toe te voegen met alleen voor machines leesbare (witte) letters. Waarmee hun brieven hogere scores kregen en eerder de personeelsfunctionaris bereikten. Waarmee een bedrijf dus het omgekeerde bereikt van wat het beoogde.

Dat algoritmen transparant moeten zijn, toetsbaar en narekenbaar, is evident. En niet alleen omdat ze ook verslagen kunnen (en zullen) worden. Maar vooral omdat de menselijke maat voor moet blijven gaan. Bij databanken blijft essentieel wie er precies bij mag, voor welk doel, hoe lang er bewaard mag worden en wie erop toeziet. Maar nu dus ook: wat er verzameld mag worden en hoe en voor wie dat beschikbaar mag komen. Voor zoekmachines is het recht om vergeten te worden erkend. Het recht om gevrijwaard te blijven van de continue analyse van alles wat we doen of ooit hebben gedaan, dient een volgende stap te zijn. Bij algoritmisch bepaald beleid liggen willekeur, discriminatie en machtsmisbruik op de loer; om van ronduit foute beslissingen maar te zwijgen.

In het Commentaar geeft NRC zijn mening over belangrijke nieuwsfeiten. De commentatoren schrijven deze artikelen in samenspraak met de hoofdredactie.