Analyse

Amazon, IBM en Microsoft zetten rem op omstreden software voor gezichtsherkenning

Discriminatie Amazon, IBM en inmiddels ook Microsoft stoppen deels met gezichtsherkenning. De software maakt te vaak fouten bij mensen met donkere huidskleur.

Nicole Hardy-Smith van het Palm Beach Sheriff's kantoor gebruikt gezichtsherkenningssoftware om identiteit te achterhalen van verdachten in cold cases.
Nicole Hardy-Smith van het Palm Beach Sheriff's kantoor gebruikt gezichtsherkenningssoftware om identiteit te achterhalen van verdachten in cold cases. Foto Carline Jean / TNS

Drie grote Amerikaanse techbedrijven, Amazon, IBM en Microsoft, zetten uit eigen beweging de rem op de ontwikkeling van gezichtsherkenningssoftware. IBM stopt er helemaal mee, Amazon wil zijn zogeheten Rekognition-technologie een jaar lang wereldwijd niet beschikbaar stellen aan politiediensten. Deze software kan een gezicht op een foto onmiddellijk vergelijken met tientallen miljoenen gezichten en is in staat een complete menigte in één oogopslag te analyseren.

Na IBM en Amazon schaarde ook Microsoft zich in het rijtje techbedrijven dat beperkingen oplegt aan deze techniek.

Lees ook: Herkend door de camera en niemand die het ziet.

Amazon noemt in zijn summiere toelichting geen directe aanleiding voor het besluit. Maar de recente dood van George Floyd en de Black Lives Matter-beweging werpt een nieuw perspectief op software die onbedoeld discriminerende eigenschappen kan hebben.

Gezichtsherkenning rukt op in het dagelijks leven, mede aangejaagd door cloudaanbieders als Amazon, Google en Microsoft. Zij stellen opslagruimte, rekenkracht en algoritmes beschikbaar om afbeeldingen en masse te analyseren en daaruit patronen voor gezichtsherkenning te destilleren.

Zulke technologie zit in allerlei toepassingen – van biometrische identificatie om de telefoon te ontgrendelen tot deurbellen die familieleden herkennen, tot massasurveillance via bewakingscamera’s. Opsporingsinstanties gebruiken automatische gezichtsherkenning om verdachten te herkennen en putten uit een groeiende verzameling foto’s en camerabeelden.

Er zijn zorgen over de privacyrisico’s en de ingebakken vooroordelen in de software. Onderzoekers van MIT en Microsoft analyseerden datasets die gebruikt worden om algoritmes te trainen. Die bestaan voor het grootste deel uit foto’s van mensen met een lichte huidskleur. Het gevolg is dat gezichtsherkenningssoftware veel minder accuraat is als je er mensen met een donkere huidskleur mee probeert te herkennen. Met name met foto’s van zwarte vrouwen worden veel fouten gemaakt.

Software kan discrimineren

Amazon weigerde zijn algoritmes te laten testen door NIST, het Amerikaanse instituut dat technologische standaarden controleert. Uit een recente NIST-test blijkt dat andere algoritmes ook veel fouten maken bij het herkennen van zwarte vrouwen. De software werkt wel goed bij foto’s van witte mannen – zij maken minder kans om verkeerd geïdentificeerd te worden.

Wetenschappers wezen Amazon er begin 2019 op dat de Rekognition-software kan discrimineren. Amazon sloeg de waarschuwingen aanvankelijk in de wind. „We hebben nooit een klacht gehad over misbruik door overheidsdiensten”, schreef Amazons beleidswoordvoerder Michael Punke. Ook een aandeelhoudersvergadering kon daarin geen verandering brengen, maar het racismedebat na de dood van George Floyd leidt tot voortschrijdend inzicht bij de webgigant.

IBM maakte eerder deze week bekend volledig te zullen stoppen met de ontwikkeling van gezichtsherkenningstechniek. „Omdat het gevaar bestaat dat de technologie misbruikt wordt voor grootscheepse surveillance en raciaal profileren. Een bedreiging van de mensenrechten”, schrijft Arvind Krishna, de topman van IBM. Hij refereert in zijn uitleg wel rechtstreeks aan de dood van George Floyd.

Het is geen grote financiële aderlating voor IBM, maar de symboliek is duidelijk. IBM roept de Amerikaanse overheid op om het gebruik van gezichtsherkenning door opsporingsdiensten aan banden te leggen. Ook Amazon vraagt om strengere regels voor „ethisch gebruik” van gezichtsherkenning.

Het is niet de eerste keer dat de techsector om richtlijnen vraagt. Kort nadat duidelijk werd dat Amazon de gezichtsherkenningstechnologie verkocht had aan politiediensten in Oregon en Florida, riep concurrent Microsoft het Amerikaanse Congres op om regels op te stellen over het gebruik van zulke software door opsporingsdiensten.

Clearview

Terwijl grote techbedrijven de geest weer in de fles proberen te krijgen, bouwen start-ups nieuwe toepassingen voor gezichtsherkenning. Een berucht voorbeeld is Clearview AI, een bedrijfje dat miljarden gezichten verzamelde van onder meer YouTube, Twitter en Facebook. Honderden Amerikaanse politiebureaus gebruiken deze database om daders op te sporen, hoewel het beeldmateriaal oneigenlijk is verkregen. Het is onduidelijk of Clearview überhaupt goed werkt.

Tot nu toe legden techbedrijven graag de nadruk op de positieve toepassingen van gezichtsherkenningstechnologie – zoals opsporing van criminelen of kinderen die dankzij slimme algoritmes hun familie weer terugvinden. Er was weinig aandacht voor mogelijke fouten, vooroordelen en de gevolgen die valse meldingen kunnen hebben. Dat besef begint nu door te dringen en zorgt voor meer veranderingen.

Zo verbieden steden als San Francisco en Oakland het gebruik van gezichtsherkenningssoftware door opsporingsdiensten. Een nieuw voorstel van de Democraten in het Amerikaanse Congres moet het gebruik van gezichtsherkenning, onder meer door bodycams, bij federale opsporingsdiensten beperken.

Ook de EU overweegt een tijdelijke ban van vijf jaar op gezichtsherkenningssoftware, blijkt uit documenten die website Politico eerder dit jaar inzag. Google, een van de voorlopers in de ontwikkeling van kunstmatige intelligentie, is niet voor een volledige ban op gezichtsherkenning, laat het bedrijf weten. Wel pleit Google voor strengere richtlijnen voor ‘publieke toepassingen’ van gezichtsherkenning. Googles clouddienst detecteert weliswaar gezichten maar kan geen mensen herkennen in foto’s, benadrukt het bedrijf.


Update (12 juni): artikel aangevuld met nieuws over Microsoft en Google.

Correctie (12 juni): In een eerdere versie van dit artikel stond Oregon (Canada); bedoeld was de staat Oregon in de Verenigde Staten.