Big data bedreigt de democratie

Big data wordt gebruikt om sollicitanten te selecteren, verzekerden te beoordelen, aanslagen te voorkomen en politieke campagnes op af te stemmen. Als een algoritme een oordeel velt, zal het wel gebaseerd zijn op een kloppende berekening en neutrale feiten, wordt vaak gedacht. Maar die aanname is ronduit gevaarlijk, volgens Harvard-wiskundige Cathy O’Neil in haar overtuigende boek Weapons of Math Destruction.

Neem haar voorbeeld van een Amerikaanse autoverzekeraar die op basis van kredietscores (inschattingen van iemands kredietwaardigheid) probeert te voorspellen hoeveel kans iemand heeft op een ongeluk, en daarop de hoogte van de premie baseert. In die kredietscores wordt de postcode verwerkt. En in postcodes zit, zeker in steden met ‘zwarte’ en ‘witte’ wijken, mogelijk ook informatie over huidskleur verwerkt. Huidskleur mag wettelijk niet worden meegewogen in het bepalen van premies, maar door het te verstoppen in algoritmes gebeurt dat via een omweg toch.

Lees over het politieke gebruik van big data ook: Vertrouwde Hillary Clinton te veel op big data?

O’Neil waarschuwt dat door dit soort ondoorzichtige algoritmes discriminatie zal toenemen, economische ongelijkheid zal groeien en zelfs dat de democratie gevaar loopt. Want ook overheden gebruiken in toenemende mate algoritmes en datamodellen om beslissingen te nemen. „Het is zeer de vraag of we met big data de menselijke vooroordelen elimineren, of juist camoufleren met nieuwe technologie”, aldus O’Neil.

Nog een voorbeeld: in de VS, net als in Nederland, maakt de politie gebruik van big data om te bepalen waar ze moeten patrouilleren. Ook daarin zitten mogelijk vooroordelen verstopt, die zichzelf bovendien versterken: als bepaalde wijken vaker worden gecontroleerd, stijgt daar het aantal staandehoudingen, al was het maar vanwege identificatieplicht. Omdat die staandehoudingen in veel modellen meewegen, gaan de agenten nog vaker patrouilleren, waardoor er een vicieuze cirkel ontstaat.

Feilbare modellen

Het grote probleem: bijna niemand kan toezicht houden op algoritmes, omdat maar weinig mensen ze kunnen beoordelen – als ze al openbaar zijn.

O’Neil is een geloofwaardige data-criticus: na haar Harvard-studie werkte ze bij een hedgefonds om complexe data-analysemodellen in elkaar te zetten. Toen ze door kreeg hoe feilbaar de modellen waren, werd ze onderzoeker. Met dit boek sluit ze aan bij een groeiende groep wetenschappers die de laatste maanden waarschuwt voor een te groot geloof in algoritmes en data.

Dat O’Neil gedurende het hele boek consequent de term weapons of math destruction (WMD) gebruikt, waarmee ze slechte big data-toepassingen aanduidt, draagt niet bij aan de nuchterheid van haar betoog. Dat is jammer, want de vele concrete en recente voorbeelden zijn al voldoende stof voor een zorgwekkende analyse van een van de invloedrijkste technologietrends van de laatste tijd.