De psychische tol van online puinruimen

Screenen Moderatoren zijn verantwoordelijk voor het verwijderen van schokkende beelden van internet. Zwaar werk, dat diepe sporen kan achterlaten. Twee oud-Microsoftwerknemers stappen naar de rechter.

Illustratie: Anne van Wieren

Het internet is een beerput van menselijk gedrag, en niet alleen op de donkerste hoekjes van het web. Zo kun je op Facebook per ongeluk stuiten op een live- stream van een 15-jarig meisje dat wordt verkracht, of een Thaise vader die zijn baby vermoordt. Of op YouTube een onthoofding van een IS-gevangene tegenkomen.

Internetbedrijven hebben hun handen vol aan het ‘schoonmaken’ van hun kanalen. Hoe dat gebeurt, door wie en hoe vaak, houden techbedrijven angstvallig geheim. Maar één ding is duidelijk: menselijke moderatoren spelen in dit proces nog altijd een belangrijke rol.

De psychische impact van dit werk is groot, blijkt uit een rechtszaak van twee oud-Microsoftmedewerkers tegen hun voormalige werkgever. Freelancers aan wie techbedrijven dit soort werk in toenemende mate uitbesteden, zijn nog kwetsbaarder voor uitbuiting: zij weten vaak helemaal niet voor welk bedrijf zij werken en kunnen op weinig psychologische hulp rekenen.

‘Verderfelijk beeldmateriaal’

Henry Soto en Greg Blauert van Microsofts ‘Online Safety Team’ zeggen dat ze door hun werk lijden aan een posttraumatische stressstoornis (PTSS). Jarenlang keken zij acht uur per dag, vijf dagen per week naar „video’s en foto’s voor het vermaak van de meest zieke en verdraaide geesten”, zo staat in hun aanklacht. Zij kregen onder meer te maken met kinderporno, moordvideo’s, video’s van stervende mensen en ander „verderfelijk” beeldmateriaal.

Microsoft is volgens hen nalatig geweest in het bieden van psychologische steun, terwijl het bij de start van het programma al de gevaren zou hebben gekend. Er was weliswaar een ‘gezondheidsprogramma’, maar dat hield volgens de eisers niet meer in dan het advies af en toe een rookpauze te nemen of een wandeling te maken. Ze eisen een schadevergoeding.

Microsoft is het oneens met de aantijgingen. „De gezondheid en veiligheid van onze werknemers die dit moeilijke werk doen heeft voor ons de hoogste prioriteit”, schrijft een woordvoerder in een e-mail. Volgens Microsoft kunnen werknemers per direct overgeplaatst worden uit dit team als ze daar om vragen en hebben alle moderatoren verplicht maandelijks een gesprek met een psycholoog.

Een mens van vlees en bloed

Soto en Blauert praten niet met de pers. Dat is nog te traumatisch, vertelt hun advocaat Ben Wells. Toch wordt de rechtszaak tegen Microsoft met grote interesse gevolgd door de techwereld. Het is de eerste zaak in zijn soort die voor de rechter komt.

Internetbedrijven hebben een vergelijkbare aanpak voor het verwijderen van ongewenst materiaal. Beelden die door gebruikers of een algoritme als ongepast zijn aangemerkt, worden bekeken door een moderator. Die krijgt doorgaans een aangepaste versie te zien. Microsoft gebruikt bijvoorbeeld technologie om de beelden minder scherp te maken, maar het is ook mogelijk dat foto’s en video’s tot pasfotoformaat worden verkleind. Hoe dan ook moeten de beelden voor de moderatoren duidelijk genoeg blijven om hun werk te kunnen doen.

Een deel van het werk wordt gedaan door technologie; algoritmes bepalen welk materiaal aan menselijke ogen moeten worden voorgelegd. Maar het eindoordeel is vrijwel altijd aan een mens van vlees en bloed, zegt Sarah Roberts, docent aan de Universiteit van Californië (UCLA), die in 2014 promoveerde op het modereren bij internetbedrijven. „Het werk van moderatoren kan digitaal vastgelegd worden, zodat het later als input kan dienen voor een automatische, zelflerende computermoderator. Maar daar zijn we nog niet.”

De instructies van Facebook geven een indruk van hoe moderatoren beeldmateriaal moeten beoordelen. Die instructies werden eerder dit jaar gelekt naar de Britse krant The Guardian, die ze publiceerde in ‘The Facebook Files’. Droog wordt beschreven hoe er gehandeld dient te worden bij de meest gruwelijke scenario’s. Zo dienen video’s van „onthoofdingen of het afhakken van andere lichaamsdelen” altijd verwijderd te worden. Beelden van gewelddadige handelingen waarbij een mens of dier gewond raakt, worden alleen verwijderd als het in „een sadistische context” wordt geplaatst.

Traumatisch

Dat dit werk traumatisch kan zijn, blijkt wel uit de voorzorgsmaatregelen bij andere bedrijven waar dit soort werk wordt gedaan, zoals organisaties die kinderpornonetwerken traceren. Die bieden onder andere maandenlange training en verplichte, regelmatige bezoeken aan een psycholoog. Techbedrijven lijken niet over uitgebreide protocollen te beschikken om de eigen werknemers te beschermen.

Hoeveel mensen werken als commerciële moderator is niet bekend. Recent kondigde Facebook wel aan het aantal moderatoren uit te breiden naar 7.500. „Modereren gebeurde in de beginperiode van het internet natuurlijk ook al, maar werd meer beschouwd als bijzaak”, zegt Roberts. De beroepsgroep groeit snel, zeker nu techbedrijven vaker verantwoordelijk worden gehouden voor het materiaal dat op hun platform verschijnt. Roberts spreekt van „een nieuwe industriële praktijk”.

Techbedrijven besteden hun modereerwerk in toenemende mate uit aan freelancers op afstand of in grote centrales in landen als de Filippijnen, zegt Roberts. Zij krijgen helemaal geen psychologische begeleiding of andere vorm van werknemersvoordelen, blijkt uit haar onderzoek.

Rochelle LaPlante (35) uit Seattle is zo’n freelance-moderator. Ze is voltijds ‘digitaal werker’, en vindt de meeste opdrachten op het platform Amazon Mechanical Turk (AMT). Klussen die voorbij komen zijn bijvoorbeeld vertaalwerkzaamheden, maar ook het beoordelen van mogelijk aanstootgevend materiaal. Als het goed betaalt, doet LaPlante zulk modereerwerk. „Maar ik zou het nooit acht uur per dag kunnen doen. Daarvoor is het echt veel te traumatisch”, zegt ze. Sinds ze expliciete foto’s van oorlogsgebieden onder ogen kreeg, probeert ze dit soort werk zo veel mogelijk af te houden.

Vaak weet LaPlante niet eens wie haar opdrachtgevers zijn. „Ieder bedrijf kan een klus op AMT plaatsen, als freelancer weet je doorgaans niet wie erachter zit. Je kunt wel een e-mail sturen met vragen, maar ze hebben geen enkele verplichting daarop te reageren. Niemand neemt op dit moment de verantwoordelijkheid.”

„Door weinig psychologische steun te bieden, tonen de techbedrijven dat ze modereerwerk als tweederangs arbeid zien.”

Geheimhoudingsverklaring

Roberts hekelt de afstandelijke houding van de techbedrijven. „Door weinig psychologische steun te bieden, tonen de techbedrijven dat ze modereerwerk als tweederangs arbeid zien.” Terwijl het om essentieel werk gaat, zegt Roberts. „Het gaat om hun core business, zorgen dat mensen op hun platform blijven zodat ze zoveel mogelijk advertenties verkopen. Daar moeten ze toch ook verantwoordelijkheid voor dragen?”

Advocaat Ben Wells is het daarmee eens, maar ziet dat nog niet zo gauw gebeuren. Volgens Wells laten internetbedrijven hun werknemers naast geheimhoudingsovereenkomsten ook aansprakelijksheidsontheffingen tekenen. Inclusief Microsoft. „Dat zegt mij dat ze wel degelijk weten hoe schadelijk het werk is.”

Microsoft wil niet reageren op de vraag of moderatoren inderdaad geheimhoudingsovereenkomsten en aansprakelijkheidsontheffingen moeten tekenen. De zaak komt naar verwachting in juli 2018 voor de rechter.