Pas op: vooringenomen computer

Kunstmatige intelligentie Voed je lerende computeralgoritmen met gebrekkige data, dat kunnen ze gevaarlijke conclusies trekken. Een recente Europese wet werkt dit juist in de hand.

Foto iStock

Stel, je hebt astma en krijgt een longontsteking. Loop je dan meer of minder risico om te overlijden vergeleken met iemand die ook longontsteking heeft, maar geen astma? Meer risico, zeggen doktoren. Meer risico, zegt ook het gezonde verstand. Je longen zijn immers al kwetsbaarder. Maar het lerende computeralgoritme dat Microsoft-onderzoeker Rich Caruana had ontwikkeld, en dat getraind was met gegevens van een miljoen patiënten, trok een andere conclusie: patiënten met astma hebben een lagere kans om aan een longontsteking te overlijden.

Caruana had het lerende computeralgoritme ontwikkeld om automatisch te bepalen of een patiënt met longontsteking wel of niet meteen moest worden doorgestuurd naar het ziekenhuis. Stel, hij had het model toegepast. Dan waren patiënten die zowel astma hebben als een longontsteking minder snel naar het ziekenhuis gestuurd dan patiënten mét een longontsteking maar zónder astma.

Algoritmes opereren als zwarte dozen

Gelukkig werd het model niet toegepast. Caruana: „Wat het algoritme had geleerd, was het gevolg van het feit dat doktoren juist voorzichtiger zijn met astmapatiënten die ook een longontsteking hebben. Daardoor worden ze sneller en krachtiger behandeld en dat verlaagt hun kans om aan een longontsteking te overlijden vergeleken met de gewone populatie.”

Het probleem waarop Caruana stuitte, staat symbool voor een toenemend probleem met lerende algoritmen: ze opereren als zwarte dozen.

Zelfs hun makers kunnen vaak niet achterhalen waarom ze een bepaalde beslissing hebben genomen. Laat staan dat de eindgebruikers van die algoritmen het begrijpen. Dat is allemaal niet zo erg zolang de algoritmen beslissingen nemen over zoiets als welke advertenties je online krijgt te zien. Maar lerende algoritmen worden steeds vaker toegepast in sectoren waar de gevolgen er wel toe doen: in de gezondheidszorg, de zelfrijdende auto, de financiële sector of in de robotica.

Drie vragen over de eisen aan algoritmen.

  1. Hoe belangrijk is het dat lerende algoritmen transparant zijn?

    Heel belangrijk, vindt Hanna Wallach, van Microsoft Research in New York en de Universiteit van Massachusetts in Amherst. Probleem is volgens haar dat er geen duidelijk beeld is van wat transparantie betekent. „Dat baart me de meeste zorgen”, zegt Wallach. „Transparant voor wie? En op welke manier? Een dokter die een beslissing neemt die hij niet goed kan onderbouwen, vertrouw ik ook niet. Dan wil ik een tweede of derde arts spreken die wel meer kan uitleggen.”

    Wallach vindt het niet genoeg dat een model in 95 procent van de gevallen correct is. „We moeten ook begrijpen wie de klos is wanneer het model een fout maakt, en op welke manier. Er is een groot verschil tussen een model dat 95 procent correct is als gevolg van ruis in de data en een model dat 95 procent correct is omdat het perfect presteert voor blanke mannen, maar slechts 50 procent correct is voor vrouwen en minderheden. Statistische patronen die gelden voor de meerderheid kunnen ongeldig zijn voor minderheidsgroepen.”Anders Sandberg van het Future of Humanity Institute van de Universiteit van Oxford (GB) benadrukt dat lerende algoritmen geen one-size-fits-all transparantie hebben. „Voor gebruikers van een gadget betekent transparantie dat ze moeten weten hoe ze het gadget in hun alledaagse leven moeten gebruiken. Voor programmeurs van de software van het gadget betekent transparantie dat ze willen begrijpen hoe een bepaalde invoer tot een bepaalde uitvoer leidt. Voor advocaten betekent transparantie dat ze willen begrijpen hoe het zit met aansprakelijkheid, verantwoordelijkheid en wat wel of niet onder crimineel gedrag valt.”

  2. Zijn er vuistregels op te stellen om uit te maken of we een lerend algoritme kunnen vertrouwen?

    Caruana, Wallach en Sandberg zeggen alle drie dat het de moeite waard is om te proberen vuistregels op te stellen, maar dat zulke vuistregels sterk afhankelijk van de context zullen zijn. Bovendien staan we volgens hen pas aan het begin van het transparanter maken van lerende algoritmen.

    Sandberg noemt als een mogelijke vuistregel dat data divers moeten zijn en de populatie als geheel moeten representeren. Volgens Caruana zegt een andere belangrijke vuistregel dat het goed is om zoveel mogelijk variabelen in het model te laten zodat je kunt bestuderen wat het model met die variabelen doet. „Als je variabelen niet meeneemt of te vroeg verwijdert, kan het model toevallige relaties leren zoals dat astmapatiënten een lager risico hebben om aan een longontsteking te overlijden.”

    Juist om deze reden maakt Caruana zich grote zorgen over een nieuwe wet die in 2016 door de Europese Commissie is aangenomen en die in mei 2018 wordt geïmplementeerd in alle EU-landen: de zogeheten Algemene Verordening Gegevensbescherming (AVG). Hij heeft vooral kritiek op artikel 9 uit deze AVG. Volgens dit artikel mogen data niet op basis van raciale of etnische herkomst, of op basis van andere ‘speciale categorieën’ worden verwerkt.

    Het klinkt alsof deze wet discriminatie tegengaat, maar in de praktijk van lerende algoritmen pakt de wet volgens Caruana juist averechts uit: „Het slechtste wat je kunt doen, is het niet verzamelen of wegstoppen van variabelen zoals ras, geslacht of sociaal-economische status. Wanneer je dat doet, is er een grote kans dat het model net zo vooringenomen wordt, maar nu kun je niet meer zien hoe dat precies komt, hoe groot het probleem is en welke andere gevolgen het in je model heeft. Je moet zulke variabelen juist wel gebruiken. Juist dan kun je het probleem van vooringenomenheid in je model verhelpen. Met de nieuwe EU-wet steekt Europa op dit punt de kop in het zand. Het probleem dat de wet wil vermijden, wordt juist veel moeilijker om op te lossen.”

  3. Is de kritiek op de recente Europese wet over gegevensbescherming terecht?

    „Ik denk dat de EU-wet de goede intentie heeft, maar inderdaad de verkeerde uitwerking”, zegt Max Welling, hoogleraar machine learning aan de Universiteit van Amsterdam. „Vooral omdat het volkomen onduidelijk is wanneer een voorspelling afdoende is uitgelegd. Het gaat erom dat je de oorzakelijke relaties moet vinden en niet alleen naar correlaties moet kijken.”

    Ondanks het black box-karakter van lerende algoritmen zijn Caruana, Wallach en Sandberg alle drie optimistisch over de groeiende rol die ze spelen in de samenleving. Sandberg: „Neem het Google-algoritme dat een foto van een donker stel categoriseerde met het etiket ‘gorilla’s’. Google heeft dat probleem snel opgelost. Iedereen die zich bezighoudt met lerende algoritmen moet hier lessen uit trekken.”

    Caruana denkt dat we een hogere standaard zullen aanleggen voor lerende algoritmen dan voor mensen: „Denk aan hoe automatisering de luchtvaart heeft veranderd. Vliegen is zo ongelofelijk veilig geworden vergeleken met alle andere dingen die mensen doen.”