Column

Pas op voor de digitale robotbestuurder

Deze maand diepte NRC de rol van big data in het moderne digitale leven uit. Van de autoverzekeraar die de snelheid waarmee u de bocht neemt als criterium voor uw premie gebruikt, tot de inhoud van uw winkelmandje en hoe lang het duurde om het te vullen als indicatie voor de kans dat u een winkeldief bent.

Alles wat kan worden gemeten wordt gemeten, bewaard en vervolgens door algoritmen herleid tot gedragspatronen, keuzes, kansen en dus ook risico’s en bedreigingen. We leven inmiddels in een wereld van talloze digitale ‘assistenten’ die u naar voordelige hotelkamers leiden en naar muziekkeuzen en boeken die u ‘vast ook’ interessant vindt. Burgers geven deze data meestal onwetend af. Ooit gingen ze ‘akkoord’ met gebruiksvoorwaarden, maar wat dat betekent ontdekken we pas nu. Er zijn ook al vier gemeenten die data-analyse gebruiken om te beslissen welke burgers het best gecontroleerd kunnen worden op uitkeringsfraude.

Zolang er nog een mens beslist, zowel over de data als het gebruikte algoritme, is deze ontwikkeling nog wel te billijken. Natuurlijk levert dit vragen op over privacy, over controleerbaarheid, het recht om te worden ‘vergeten’, om niet altijd en overal te worden gemeten en geprofileerd. Maar de snelheid waarmee deze techniek de verhoudingen verandert, is vooral adembenemend. Zo had ik nog niet van de parkeerdruktemeter van Google gehoord: of je ergens makkelijk of moeilijk een plek kunt vinden. In één moeite door meet Google ook de gemiddelde wachttijd in restaurants. Wat de een waardeert als service, is voor de ander inbreuk op eigen bedrijfsinformatie. Ik veronderstel dat Google me binnenkort ook kan vertellen wanneer ik naar bed moet, gezien het gemeten tijdstip waarop de telefoons in mijn buurt (toets 1) dan wel van mijn generatie (toets 2) op ‘stil’ worden gezet.

Inmiddels rukt de dataficatie van het menselijk verkeer ook op in het contact tussen burger en overheid. Daar beginnen de algoritmen al zelf beslissingen te nemen, als een gedelegeerde digitale bestuurder. Dat varieert van de fiscus waar de computer de aangifte al ‘vooringevuld’ ter beschikking stelt. En ook al zelf de aanslagen voor de wet Waardering Onroerende Zaken vaststelt. De gemeente kijkt die pas na als u bezwaar maakte.

Dat roept rechtsstatelijke vragen op. Zijn al die regels en criteria wel kenbaar, toegankelijk en transparant voor de burger? Hoe en tegen wie ga je in bezwaar en/of beroep? Welke criteria hanteren die machines en welke data gebruiken ze? Voor de snelheidscamera die zelf beboet, is dat nog wel te vinden. Maar vorig jaar trokken de bestuursrechters van de Raad van State een streep in het zand in de PAS-uitspraak. Dat ging over een plicht voor bedrijven, varkenshouders in casu, om via een expertsysteem van de overheid vergunningen aan te vragen om in natuurgebieden te mogen produceren of te bouwen. Om dat te kunnen krijgen moest er verplicht een op kunstmatige intelligentie gebaseerd rekenprogramma worden gebruikt, via internet beschikbaar. Daar rolde dan volautomatisch wel (of geen) vergunning uit. Doel: het beperken van de stikstofdepositie – milieubescherming dus. De Raad noemde het systeem echter een ‘black box’ waar niemand geïnformeerd bezwaar tegen zou kunnen maken. Ook al omdat ook de lokale overheid zelf geen idee heeft hoe het nu precies werkt. Daarmee staan de bezwaarmakende boze buurman, de eventuele ‘Stichting Stop het Varkensleed’, maar ook de rechter buitenspel. Van ‘reële rechtsbescherming’ is dan geen sprake meer. Computer says no. Of yes. Maar waarom?

De minister moet van de Raad van State voortaan alle keuzes, gegevens en aannames uit die systemen ‘volledig, tijdig en uit eigen beweging openbaar maken’, zodat iedereen ze kan beoordelen en eventueel kan betwisten. Geen digitale zwarte dozen aub, waar besluiten uitrollen die de verantwoordelijke bestuurder vervolgens niet kan uitleggen omdat er een zelflerend algoritme aan de slag is. Vandaag is het de ‘stikstofdepositie’ in De Peel, morgen de hoogte van uw AOW of … nou ja, vul maar in. Wie is verantwoordelijk voor dit soort slimme zelfstandig handelende overheidsprogramma’s? Pas op voor de digitale robotbestuurder.

Folkert Jensma is juridisch commentator. Facebook: nrcrecht