VU moet ‘discriminerende’ software uitleggen

Het algoritme heeft het gedaan. Niet opzettelijk misschien, maar toch. Het zou heel goed kunnen dat een Amsterdamse studente is benadeeld door universitaire software die haar niet herkende als ze zich wilde aanmelden of haar weer uit de les-omgeving verwijderde.

Het College voor de Rechten van de Mens, dat oordeelt over discriminatie, bepaalde dat vorige week in een eerste, voorlopige uitspraak over een klacht van een student aan de Vrije Universiteit in Amsterdam. Student Robin Pocornie meent dat zij op haar huidskleur is gediscrimineerd bij het afleggen van online tentamens. Tijdens de pandemie werden die op afstand afgenomen.

Studenten moesten zich door antispieksoftware met gezichtsherkenning identificeren om te kunnen inloggen. Bij Pocornie lukte dat keer op keer niet, omdat het systeem haar gezicht niet herkende. Zij kreeg meldingen als ‘face not found’ of ‘room too dark’. Eenmaal toch ingelogd werd ze soms weer uit de tentamenomgeving gegooid.

Haperend systeem

Volgens Pocornie, die inmiddels bijna klaar is met een masterstudie bio-informatica, ligt de oorzaak in het gezichtsdetectiealgoritme, dat donkere gezichten niet zou herkennen. Bij elk van de ten minste zes tentamens die ze in het studiejaar 2020-2021 deed haperde het systeem. „Het lukte soms alleen als ik een lamp in mijn gezicht liet schijnen”, zegt zij. Het leidde tot stress en „een gevoel van onveiligheid”, stelt het College vast. Ze kaartte de zaak aan bij het college van bestuur, het college voor de examens, de ombudsman en het faculteitsbestuur, maar wendde zich uiteindelijk tot het College voor de Rechten van de Mens.

Voor stereotiepe afwijkingen in zulke software bestaat bewijs. Een vergelijkend onderzoek van het Amerikaanse National Institute of Standards and Technology wees in december 2019 uit dat in tientallen systemen voor gezichtsherkenning false postives (het verwarren van gezichten) en false negatives (niet-herkenning) vaker voorkomen bij Aziatische en zwarte Amerikanen, het verwarren met een ander zelfs tien tot honderd keer vaker. Het instituut merkt in latere rapportages op dat de gebruikte software beter kan worden met training: een computer leert nu eenmaal op basis van de data die erin worden gestopt.

Tien weken de tijd

De VU heeft de beschuldiging van discriminatie van de hand gewezen. Volgens de universiteit, die de leverancier raadpleegde, zijn daar geen aanwijzingen voor. Inlogdata wijzen volgens de instelling uit dat Pocornie niet vaker moeite heeft gehad met inloggen dan anderen. Het College vindt dat verweer niet overtuigend, omdat die gegevens „niet compleet” zijn. De universiteit krijgt tien weken de tijd om te bewijzen dat er geen sprake is geweest van een nadelig onderscheid voor Pocornie. In de tussentijd onthoudt de instelling zich van commentaar, aldus een woordvoerder.

De studente, die wordt bijgestaan door het Amsterdamse Racism and Technology Center, heeft in een verklaring laten weten „heel blij” te zijn dat het College „aan mijn kant staat”. Zij hoopt dat universiteiten zich beraden op het gebruik van herkenningssoftware met mogelijk discriminerende effecten.