Burger beter beschermen tegen ‘computer says no’

De Europese Unie gaat de digitale teugels strakker aantrekken voor de toepassing van artificial intelligence (AI) in voorspellende systemen. Dat blijkt uit het 81 pagina’s dikke voorstel Regulation on a European Approach for Artificial Intelligence dat deze week uitlekte en online is te lezen via Politico.
Hierin stelt de EU dat voorspellen met algoritmen en AI veel voordelen biedt op gebieden als gezondheidszorg, onderwijs en veiligheid. Die systemen brengen ook de nodige risico’s met zich mee en kunnen slecht uitpakken voor burgers. De impact ervan moet daarom aan banden worden gelegd. Zo gaat de EU strenge voorwaarden stellen aan het gebruik van algoritmen en AI. Diverse toepassingen van voorspellende systemen worden zelfs verboden.

Volop gebruik

De EU heeft een classificatie gemaakt van, wat ze noemt, ‘hoog risico’-AI-systemen (Annex II). Het gaat onder meer om systemen die worden gebruikt door de politie (‘systems for predicting the occurrence of crimes’) en de rechterlijke macht (‘systems to assist judges at court’). Ook in Nederland wordt de laatste jaren volop gebruikgemaakt van deze systemen. Zo loopt de Nationale Politie voorop met het landelijke Criminaliteits Anticipatie Systeem om te voorspellen in welke wijken de grootste kans op criminaliteit is. De Reclassering past het risicotaxatie-instrument OxRec toe dat een waarschijnlijkheidsscore uitdrukt in percentages van het risico op recidive van een delinquent. Tegelijk experimenteert het ministerie van Justitie in woonwijken met slimme lantaarnpalen, die helpen om inbraken te voorspellen en te voorkomen, maar ook om verdachte personen op te pakken en het veiligheidsgevoel in de buurt te vergroten. En in smart cities, zoals in Eindhoven, verzamelen techbedrijven grote hoeveelheden persoonlijke gegevens van burgers om de sfeer in de publieke ruimte aan te passen. Doel is de agressie te verminderen en het veiligheidsgevoel te verbeteren.

Weinig bewijs

Er is veel kritiek op deze systemen. Zo bestaat weinig bewijs dat ze tot betere uitkomsten leiden. Uit onderzoek naar predictive policing komt geen hard bewijs naar voren om te staven dat het voorspellen van criminaliteit door de politie óók daadwerkelijk werkt. Waar de ene evaluatie claimt dat hierdoor criminaliteit afneemt, laat een andere evaluatie geen enkel aantoonbaar effect zien. Bovendien kan het gebruik van statische factoren als ‘nationaliteit’ of ‘buurt’ in voorspellende systemen leiden tot etnisch profileren en discriminatie. Ook kunnen vuile data – onrechtmatig verkregen of onjuiste data – niet of nauwelijks uit voorspellende data-analyses worden verwijderd, wat betekent dat wanneer vuile data in de analyses zitten, de uitkomsten ook vervuild raken. Tot slot dreigt de menselijke maat uit het systeem te verdwijnen. Hoewel zelflerende algoritmen in voorspellingssystemen de suggestie wekken dat het besluitvormingsproces constant in beweging is, zal in de praktijk het tegenovergestelde gebeuren. De vrije beslissingsruimte van rechters en politieagenten wordt kleiner of dreigt zelfs helemaal te verdwijnen.

Verbieden of begrenzen

Om burgers beter te beschermen tegen de risico’s van hoog-risico-AI-systemen wil de EU de volgende toepassingen volledig verbieden of waar nodig begrenzen:
- AI-systemen (‘indiscriminate surveillance’) voor het monitoren en tracken van willekeurige personen in de publieke ruimte;
- AI-systemen voor het maken van sociale kredietscores, waarbij iemands betrouwbaarheid wordt beoordeeld op basis van gedrag of voorspelde persoonlijkheidskenmerken;
- het gebruik van biometrische identificatiesystemen in de publieke ruimte, waaronder gezichtsherkenning.

Ook stelt de EU dat burgers een melding moeten krijgen wanneer ze in contact komen met een hoog-risico-AI-systeem, tenzij dit duidelijk is uit de omstandigheden of gebruikscontext. Bovendien moet beter toezicht komen op algoritmen en AI, inclusief systemen die een directe bedreiging vormen voor onze veiligheid, zoals zelfrijdende auto’s, en systemen die worden gebruikt voor rechterlijke beslissingen. Dat toezicht ontbreekt nu, concludeert de EU.

Nog te vaag

Deze ambities van de EU zijn prijzenswaardig. Op verschillende punten is het voorstel uit Brussel alleen wel nog te vaag. Zo wordt een uitzondering gemaakt voor biometrische systemen in de publieke ruimte die ‘serious crime’ bestrijden. Wat onder deze vorm van criminaliteit wordt verstaan, is onduidelijk. Wel is evident dat de Europese plannen grote gevolgen hebben voor de Nederlandse praktijk. Niet alleen worden in Nederland talloze hoog-risico-AI-systemen gebruikt - van de rechterlijke macht tot de Nationale Politie -, maar ook bezit men op nationaal niveau onvoldoende kennis en capaciteit om alles in goede banen te leiden.
Er is te weinig expertise over voorspellende systemen, over hoe die met elkaar zijn verbonden, over aan welke ethische waarden ze moeten voldoen. Zo concludeerde de Rekenkamer Rotterdam deze week dat ambtenaren nauwelijks beseffen dat ethische risico’s kleven aan het gebruik van algoritmes, zoals wanneer die worden aangewend om uitkeringsfraude op te sporen.
De Nederlandse overheid moet dit nu gaan organiseren. De impact van technologie is niet alleen een maatschappelijk probleem, maar volgens de EU ook een politiek probleem.

De Veiligheidscolumn wordt geschreven door deskundigen uit de wereld van handhaving, politie en wetenschap. Marc Schuilenburg doceert aan de afdeling strafrecht en criminologie van de Vrije Universiteit Amsterdam. Zijn nieuwste boek is Hysterie. Een cultuurdiagnose (2019).