Miljoenen gezichten zijn weggegeven aan het Wilde Westen

Heb je tussen 2004 en 2020 foto’s van je vakantie of je feest geüpload naar de populaire website Flickr? Dan is de kans groot dat die zonder jouw medeweten zijn gebruikt voor het verbeteren van kunstmatige intelligentie die gezichten herkent. Die technologie kan door universiteiten, bedrijven en zelfs voor defensie- of surveillance-toepassingen zijn gebruikt. Het is een van de vele problemen met dataverzamelingen die worden gebruikt voor het trainen van zulke software.

Afgelopen januari lanceerden de onderzoekers en kunstenaars Adam Harvey en Jules LaPlace het project Exposing.ai om het probleem met de Flickr-foto’s aan de kaak te stellen. Exposing.ai is een zoekmachine waarmee je kunt kijken of jouw Flickr-foto’s zijn gebruikt in enkele van de wereldwijd meest gebruikte gezichtsdataverzamelingen. Zo ontdekte de Amerikaanse documentairemaker Brett Gaylor dat honderden trouwfoto’s die hij in 2006 op Flickr had geplaatst anno 2021 ongevraagd in talloze dataverzamelingen rondspoken. Zijn foto’s zijn zelfs gebruikt voor het trainen van gezichtsherkenningssystemen die de Chinese overheid inzet voor het in de gaten houden van de Oeigoerse minderheid. De Amerikaan maakt nu een documentaire over het onverwachte lot van zijn trouwfoto’s.

Vorig jaar ontstond opschudding over het Amerikaanse bedrijf Clearview.AI dat zonder toestemming miljarden foto’s van gezichten van sociale media haalde en beweert bijna iedereen die ooit foto’s heeft geüpload te kunnen herkennen, ongeacht afkomst. Inmiddels lopen in de VS diverse rechtszaken tegen het bedrijf. Harvey en LaPlace hopen dat hun project bijdraagt aan het stoppen van het zonder toestemming verzamelen van gezichtsfoto’s van internet.

En dit blijkt nog maar het puntje van de ijsberg aan problemen bij het verzamelen van data voor het trainen van automatische gezichtsherkenning. Hoe omvangrijk is die berg? Hoe zijn de problemen ontstaan? En vooral: hoe zijn ze op te lossen?

Gezochte criminelen

De Amerikaanse onderzoekers Deborah Raji en Genevieve Fried analyseerden 133 datasets van gezichten die tussen 1976 en 2019 werden verzameld. Ze publiceerden hun bevindingen begin dit jaar in hun wetenschappelijke artikel About Face: A Survey of Facial Recognition Evaluation. In totaal komen in de geanalyseerde datasets 17,7 miljoen unieke gezichten voor, en dat is alleen nog maar in de publiek beschikbare datasets. Raji en Fried concluderen dat de verzamelde trainingsfoto’s in de loop van de decennia zijn veranderd van gecontroleerde datasets, waarbij mensen expliciet toestemming gaven voor het gebruiken van hun digitale gezichten en waarbij de foto’s aan strikte eisen voldeden, naar een soort wildwest-datasets waarbij foto’s in alle soorten en maten en zonder enige toestemming van platforms als Instagram, Facebook, YouTube, Twitter en LinkedIn worden gehaald. Zulke datasets worden vaak over de hele wereld gedeeld, zodat de problemen met deze datasets terecht kunnen komen in talloze commerciële toepassingen.

Dit kan leiden tot discriminatie op basis van ras, gender of leeftijd, tot cruciale fouten doordat gezichtsherkenning in de echte wereld veel slechter presteert dan in gecontroleerde tests, privacyschendingen en het al genoemde zonder toestemming gebruiken van gezichtsfoto’s. Een kleine greep uit wat er in de afgelopen jaren in de praktijk allemaal is misgegaan: in 2015 labelde Google Photos een foto van een zwarte jongen en een zwart meisje als ‘gorilla’s’. In 2020 bleek de AI-toepassing Pulse, die korrelige foto’s omzet in scherpe foto’s, van zwarte mensen witte mensen te maken. En in de afgelopen jaren hebben automatische gezichtsherkenningssystemen van Amerikaanse politiekorpsen diverse zwarte mensen onterecht aangemerkt als gezochte criminelen. Trouwens, bij een test van Amazon Rekognition werden in 2018 ook 28 Amerikaanse congresleden onterecht voor gearresteerde criminelen aangezien.

Om de problemen op te lossen pleiten Raji en Fried er onder andere voor om de manieren waarop data worden verzameld te standaardiseren en goed te documenteren. Bedrijven zouden meer bekend moeten maken over de manier waarop zij hun gezichtsherkenningssystemen testen en trainen. Om discriminatie tegen te gaan zouden zij overleg moeten plegen met de doelgroepen waarvoor de technologie gebruikt gaat worden.

Hoewel de problemen met automatische gezichtsherkenning vooral in de afgelopen jaren het nieuws haalden, zijn ze verre van nieuw. „Ze spelen al bijna twee decennia”, vertelt Sennay Ghebreab, universitair hoofddocent socially intelligent AI aan de Universiteit van Amsterdam en tevens wetenschappelijk directeur van het Civic AI Lab. Als neuro-informaticus hield hij zich in het verleden jarenlang ook zelf bezig met gezichtsherkenning.

Ghebreab vertelt over de recente historie: „Na de terroristische aanslagen van 11 september 2001 heeft automatische gezichtsherkenning vooral in de VS een enorme boost gekregen. Men wilde terroristen opsporen. In de jaren daarna werd de technologie breder toegepast. Toen ontdekte men dat gezichtsherkenning oneerlijk was omdat het specifiek tegen bepaalde groepen werd gebruikt, lang niet allemaal terroristen. Dat raakte bijvoorbeeld de zwarte gemeenschap en de moslimgemeenschap. Inmiddels komt bijna iedereen wel in een database van gezichten voor en nu is iedereen dus een potentieel slachtoffer. Het is alsof mensen zeggen: nu het mij raakt, is het een probleem, maar wanneer het een andere doelgroep raakt, dan moet dat kunnen. Dat is toch ook een beetje hypocriet.”

Over het standaardiseren van datasets, zoals Raji en Fried bepleiten, is Ghebreab sceptisch: „Telkens als er een nieuwe tekortkoming wordt ontdekt, bijvoorbeeld dat een database niet inclusief is, veranderen de standaarden. Het probleem wordt gefikst en een tijdje later duikt er weer een nieuw probleem op. En zelfs als je standaarden hebt, is het de vraag of mensen en organisaties zich daaraan houden.”

Esther Keymolen, universitair hoofddocent techniekfilosofie aan de Tilburg University en eerste auteur van het in 2020 verschenen rapport Op het eerste gezicht (over de toepassing van gezichtsherkenning in Nederland ) ziet daarom een oplossing in het combineren van een bottom-up met een top-downaanpak: „Met bottom-up bedoel ik dat bedrijven en onderzoekers moeten werken aan een betere data-hygiëne. Documenteer hoe data zijn verzameld, waarvoor ze eerder zijn gebruikt en maak dataverzamelingen diverser. Daarnaast is ook een top-downaanpak nodig waarbij de overheid toezicht houdt op toepassingen van gezichtsherkenning. Het juridische instrument bestaat al, namelijk de Algemene Verordening Gegevensbescherming (AVG). Alleen gebeurt het uitoefenen van dat toezicht en het optreden tegen overtredingen nog te weinig.”

Burgers moeten ook kritisch zijn op zichzelf

Sennay Ghebreab universitair hoofddocent

Voor Ghebreab ligt de langetermijnoplossing in de eerste plaats in het betrekken van burgers bij het probleem: „We kunnen wel alleen kritisch zijn op bedrijven en organisaties, maar burgers moeten ook kritisch zijn op zichzelf. Wij geven wel heel makkelijk data weg en geven overal makkelijk toestemming aan. Wij moeten niet alleen zeggen: zij maken het en zij doen het fout, maar laten we ons allemaal eigenaar van het probleem maken. Als burger, klant, patiënt of wie dan ook zou je beter geïnformeerd moeten zijn. Waar zitten de gevaren, maar ook: waar liggen de kansen? Data hebben waarde. Ontwikkel manieren waarop data ook waarde hebben voor de mensen die ze weggeven.”

In de tweede plaats pleit Ghebreab voor multidisciplinaire en diverse teams van technologie-ontwikkelaars: „Iedereen heeft blinde vlekken en via diverse teams kun je die wegwerken. Dat moet in de gehele pijplijn gebeuren, van de dataverzameling en het technische ontwerp tot aan de de toetsing. Alleen zo kun je databases aanvullen, verbeteren en inclusiever maken.”

Een goed voorbeeld van het belang van diversiteit bij onderzoekers en ontwikkelaars is het verhaal van de Ghanees-Amerikaanse onderzoeker Joy Buolamwini, tegenwoordig verbonden aan het Amerikaanse MIT. Als studente stuitte ze binnen enkele jaren driemaal op het probleem dat gezichtsherkenningssoftware haar zwarte gezicht niet herkende maar dat van haar witte medestudenten wel. Buolamwini ontdekte in 2018 dat een veel gebruikte dataverzameling met gezichten voor 75 procent mannelijke gezichten bevatte en voor 80 procent gezichten van witte mensen. De trainingsdata bleken onvoldoende divers te zijn. Dat leidt ertoe dat de belangrijkste commerciële gezichtsherkenningssoftware bij witte mannen slechts in 1 procent van de gevallen een gezicht verkeerd herkende, maar dat dat bij gezichten van zwarte vrouwen kon oplopen tot 35 procent.

Met de hand gelabeld

Een voorbeeld van een betere datahygiëne zoals Keymolen die bepleit, is het vervagen van gezichten in een van de meest gebruikte academische dataverzamelingen voor beeldherkenning ter wereld: Imagenet. Imagenet bevat miljoenen beelden met daarop duizenden alledaagse voorwerpen en scènes, maar ook ruim 240.000 herkenbare gezichten. De foto’s zijn van het web gehaald en met de hand gelabeld. De Imagenet-dataset wordt door duizenden AI-projecten wereldwijd gebruikt om beeldherkenningssystemen te trainen.

Daartoe aangezet door de afgelopen jaren steeds luider geworden discussie over privacyschending bij het trainen van automatische gezichtsherkenning, besloten de onderzoekers die verantwoordelijk zijn voor Imagenet afgelopen maart om alle herkenbare gezichten op hun fotocollectie onherkenbaar te maken. Deze ingreep bleek de privacy van de mensen die op de foto’s voorkomen te beschermen zonder dat dit ten koste ging van het herkennen van duizenden alledaagse voorwerpen op die foto’s.

Toch moeten we ons niet blindstaren op technische oplossingen, vindt Keymolen: „Ook al kun je technisch gezien bijna honderd procent accurate gezichtsherkenning bouwen, dan wil dat nog niet zeggen dat het ethisch is om het te gebruiken. De kernvraag is of we wel zo’n invasieve technologie in onze democratische rechtsstaat willen.”

Veel van de problemen met automatische gezichtsherkenning doken in de VS op, omdat daar veel meer ruimte is voor innovatie zonder al vooraf na te denken over de ethische gevolgen en over regulering. Hoe zit het dan in Nederland? Voor het rapport Op het eerste gezicht onderzochten Keymolen en haar collega’s hoe in Nederland bedrijven en burgers gezichtsherkenning inzetten (toepassingen door de politie vallen hier niet onder). Het rapport identificeert de risico’s en concludeert dat gezichtsherkenning in Nederland in de experimentele fase zit: het is niet wijdverbreid en er wordt op kleine schaal mee geëxperimenteerd voor het vergroten van gebruiksgemak, voor het verbeteren van de efficiëntie van bedrijfsprocessen, voor beveiliging en controle en voor gepersonaliseerde dienstverlening.

Dure toegangskaartjes

Keymolen geeft als voorbeeld een experiment van de horecabeurs Horecava met gezichtsherkenning bij de toelating van bezoekers tot hun beurs. „De toegangskaartjes zijn duur en in het verleden gaven sommige bezoekers hun kaartje, nadat ze zelf al waren geweest, door aan anderen. Om dat te voorkomen gebruikten ze gezichtsherkenning bij de ingang.”

Een tweede voorbeeld is dat van een Jumbo-supermarkt die gezichtsherkenning inzette om plegers van eerdere winkeldiefstallen te identificeren. Keymolen: „Dit filiaal werd echter op de vingers getikt door de Autoriteit Persoonsgegevens. Het mocht niet omdat winkelend publiek geen toestemming heeft verleend om gefilmd te worden.”

Afgelopen februari reageerde minister Sander Dekker (Rechtsbescherming, VVD) op het rapport van Keymolen en haar collega’s. Keymolen: „De minister concludeert dat in de relatie tussen burgers onderling gezichtsherkenning in beginsel niet is toegestaan. Er is namelijk geen zwaarwegend algemeen belang en je kunt niet verwachten dat iedereen die een ruimte betreedt waar gezichtsherkenning wordt toegepast, daarvoor expliciet toestemming verleent. De AVG is eigenlijk heel duidelijk, die zegt: gezichtsherkenning? Nee, tenzij.”

Een voorbeeld van het toestaan van gezichtsherkenning vanwege een zwaarwegend algemeen belang is om kritische infrastructuur te beveiligen, zoals de controle op wie er een kerncentrale binnen mag komen. Keymolen: „Het beveiligen van een kerncentrale dient een dusdanig zwaarwegend algemeen belang dat gezichtsherkenning is toegestaan, als dat de meest veilige manier van authenticatie is. Maar als je met gezichtsherkenning een garage wilt beveiligen dan mag dat niet, want dan is het algemeen belang niet zwaarwegend genoeg en kan je prima toe met andere vormen van toegangsbeperking, zoals een slot.”

Naar aanleiding van het rapport heeft de minister aangekondigd de uitvoeringswet van de AVG verder te zullen aanscherpen zodat voor iedereen duidelijk wordt dat gezichtsherkenning uitsluitend mogelijk is onder zeer strikte voorwaarden.

Bestormers van het Capitool

Raji en Fried besluiten hun onderzoeksartikel met de conclusie dat wetenschappers en technologie-ontwikkelaars zich bewust moeten zijn van het surveillance-karakter dat automatische gezichtsherkenning vanaf het allereerste begin in 1964 heeft gehad: „Het is duidelijk dat deze technologie historisch gezien is ontwikkeld voor het identificeren van verdachten met het oog op vervolging en aanhouding, of dat nu in het kader van de rechtshandhaving, oorlog of immigratie is.” Die historie is maar al te actueel. Op 18 maart onthulde The New York Times dat het zeer waarschijnlijk is dat de Amerikaanse FBI het controversiële Clearview.AI heeft gebruikt om bestormers van het Capitool op videobeelden te identificeren.

Het wetenschappelijke tijdschrift Nature hield in 2020 een enquête onder 480 onderzoekers van over de hele wereld naar het verzamelen van trainingsdata voor gezichtsherkenning. Een kleine 20 procent van de onderzoekers gaf aan dat ze vinden dat ze online foto’s van gezichten zonder uitdrukkelijke toestemming mogen gebruiken. Ruim 35 procent gaf aan dat ze vinden dat ze online foto’s mogen gebruiken wanneer de gebruikersvoorwaarden van een platform dat toestaat (zoals de Creative Commons-licentie bij Flickr), ook al hebben mensen geen uitdrukkelijke toestemming gegeven voor de specifieke toepassing van het trainen van automatische gezichtsherkenning.

Nature concludeerde dat academici, maar ook wetenschappelijke tijdschriften en conferenties, zich nog onvoldoende bewust zijn van de ethische implicaties van hun bijdragen aan gezichtsherkenningstechnologie. Sennay Ghebreab sluit zich daarbij aan, maar wil het wel breder trekken dan gezichtsherkenning alleen: „Gezichtsherkenning is lang niet de enige technologie waarin privacygevoelige data worden verzameld. Dat geldt bijvoorbeeld ook voor neurotechnologische toepassingen en voor andere AI-toepassingen. We moeten als maatschappij investeren in een cultuur van inclusieve technologieontwikkeling. Daarvoor hebben we multidisciplinaire en diverse teams nodig. Dat is veel belangrijker dan dat we de technologie bijvoorbeeld helemaal zouden verbieden.”