Jonge kinderen zitten graag op TikTok. Maar hoe veilig is het daar?

Op de achtste verdieping van het WeWork-kantoor in West-Berlijn brandt nog licht. Voor de moderatoren van het populaire sociale netwerk TikTok zit de avondshift er bijna op. Het is Oudjaarsavond 2018, vlak voor middernacht.

Een van hun collega’s heeft rond tienen zijn monitor naar de lounge van het gebouw verhuisd. Op de bruine leren banken tussen de schapenvellen en vetplanten, hangt hij met vrienden en bier om het computerscherm. De TikTok-werknemer beoordeelt de video’s vanavond niet alleen. Ook zijn vrienden kunnen meedoen: Is deze vrouw te bloot? Mag dit kind paaldansen? Een jongen die van een balustrade naar beneden klettert, kan dat?

Bij TikTok – het voormalige Musical.ly – kijkt niemand die nacht op van de bezoekers. Ze zijn de losse werksfeer op het kantoor gewend. Er wordt bier gedronken tijdens avonddiensten. In het trapportaal wordt wel eens wiet gerookt. Zo nu en dan komen vrienden en familieleden langs die op computerschermen kunnen meekijken. Een oud-medewerker realiseert zich nu, maanden later, dat iemand had moeten ingrijpen. Moderatoren hebben toegang tot veel privacygevoelige informatie – zelfs door gebruikers verwijderde video’s zijn zichtbaar. En die gegevens mogen ze niet zomaar delen. „Je stompt af. Op den duur is niks meer gek.”

De gebeurtenissen op Oudjaarsnacht staan niet op zichzelf. NRC sprak de afgelopen maanden met drie oud-TikTok-werknemers, die op het Berlijnse kantoor Nederlandse en Duitse TikTok-video’s beoordeelden. Een vierde oud-moderator heeft de belangrijkste bevindingen op feitelijkheid getoetst. Zij waren tot ver in 2019 werkzaam voor het bedrijf, zo kon NRC het beleid tot de zomer van 2019 reconstrueren. Zij blijven anoniem, omdat ze in hun contract beloofden niets over hun werkzaamheden naar buiten te brengen. Naast deze gesprekken beschikt NRC over honderden pagina’s aan geheime bedrijfsdocumenten en vele uren aan gespreksopnames tussen managers en werknemers.

De reconstructie laat zien dat in het eerste jaar van TikTok het personeel én de gebruikers in de verdrukking kwamen door torenhoge groeiambities en onnavolgbare censuurregels. Een voormalig medewerker: „Ik zou mijn kind never, nooit op TikTok toelaten.”

Creatieve, gekke, schokkende video’s

De zomer loopt in augustus 2018 al bijna ten einde als aan de Berlijnse Oberwallstrasse de eerste dozen uit China worden afgeleverd. Bytedance, een Chinees techbedrijf met wereldwijde ambities, heeft een half jaar eerder de populaire karaoke-app Musical.ly voor circa 700 miljoen overgenomen. Om maximaal te groeien is de app met het eigen netwerk TikTok samengevoegd.

TikTok is een platform voor ultrakorte video’s. Gebruikers proberen in een split second de aandacht van een zo groot mogelijk publiek te trekken. De app loopt over van de creatieve, gekke en soms ook schokkende video’s. Er zitten volgens de laatste cijfers 700.000 Nederlanders op TikTok. Dat zijn vooral kinderen: volgens onderzoeksbureau Multiscope is de app het populairst onder 10-, 11- en 12-jarigen.

Net als ieder ander sociaal medium heeft TikTok moderatoren nodig. Medewerkers die de eindeloze stroom video’s reguleren. Voor video’s uit Nederland, Duitsland en Polen opent Bytedance deze zomer een kantoor in de Duitse hoofdstad. Er moet met spoed personeel worden aangenomen.

Bytedance zoekt hoogopgeleide ‘community content management specialists’, meldt de vacature, die „de veiligheid van onze online community” gaan waarborgen. Wie zich aanmeldt, wordt vaak nog dezelfde dag teruggebeld.

Kort daarop meldt zich de eerste ploeg nieuwe medewerkers uit Nederland, Polen en Duitsland voor de introductiecursus. Er worden T-shirts, tassen en stickers uitgedeeld met de ‘bytestyles’, de slogans van het bedrijf. ‘Go bigger, be better’ staat bij medewerkers op de borst. De sollicitanten is via Skype een glansrijke toekomst voorgespiegeld. Ze beginnen met een klein team, straks zullen hier tweehonderd mensen werken, een werkplek met volop „doorgroeimogelijkheden”.

Het team in Berlijn, zo is de nadrukkelijke belofte, gaat de richtlijnen voor Europese TikTok-gebruikers opstellen. Het handboek voor nieuwe medewerkers schetst alvast de idealistische contouren: TikTok „gelooft” dat „ieder individu toegang wil tot informatie, zich wil uiten, en daarbij gezien en gewaardeerd wil worden door de rest van de wereld”. De medewerkers, zo jubelt de introductietekst, staan aan het begin van een „betekenisvolle reis”.

De eerste periode heerst er „een gelukszoekersmentaliteit”, herinneren oud-moderatoren zich. Hoewel er over de werkzaamheden veel onduidelijk is, en collega’s in China lang niet allemaal vloeiend Engels spreken, vertrouwen de kersverse werknemers erop dat dit reguliere opstartproblemen zijn. Het jaarsalaris – van ruim 34.000 euro plus bonussen – is voor Berlijnse begrippen aantrekkelijk, de sfeer feestelijk.

In het kantoor staat een pooltafel, een popcornautomaat en een koelkast vol met bier. De twintig medewerkers mogen drinken wat ze willen – dat doen ze ook. Hun leidinggevende, een jonge vrouw, „feestte zelf mee”, vertelt een oud-medewerker. „Ze liep met een glas bier door kantoor. We waren op een schoolkamp terechtgekomen.”

Lees ook: Populaire app TikTok liep lang aan leiband Chinese censuur

Urenlang swipen

TikTok groeit hard die eerste maanden. Investeerders waaronder Softbank, steken 3 miljard dollar (2,7 miljard euro) in moederbedrijf Bytedance dat onder meer wordt gebruikt voor een grootschalige TikTok-marketingcampagne. Al in het eerste kwartaal wordt de app tweehonderd miljoen keer gedownload. Inmiddels heeft TikTok wereldwijd ruim een miljard gebruikers.

Het succes ligt besloten in de eenvoud: voor je het weet swipe je urenlang van video naar video. Gebruikers kunnen elkaar volgen en berichten sturen. Maar het hart van de app is het ‘Voor-jou-scherm’: een etalage met aanbevolen video’s.

De selectie van die video’s is voor iedere TikTokker uniek. Het doel: gebruikers zo lang mogelijk geboeid houden. En precies hier blijken de moderatoren in Berlijn een cruciale rol te spelen.

Achter de tafeltjes in het Berlijnse kantoor groeit die weken de saamhorigheid – onderling trekken de Duitsers en Nederlanders naar elkaar toe. De werktijden zijn overzichtelijk, iedereen werkt tussen tien uur ’s ochtends en middernacht. Ze mogen overleggen en gezamenlijk pauzeren. En als hun leidinggevende rond etenstijd naar huis vertrekt, gaat de koelkast met drank nog vaker open.

Maar terwijl bij sommigen de persoonlijke ambities ver reiken, blijkt het werk al gauw teleurstellend eenzijdig. Medewerkers moeten duizend video’s beoordelen – iedere dag.

Het gaat om video’s die gerapporteerd zijn en om materiaal dat door gebruikers veelbekeken is. Een video met meer dan 4.000 views belandt automatisch in hun wachtrij. En is een video meer dan 10.000 keer bekeken, dan wordt die opnieuw beoordeeld.

Moderatoren hebben grofweg drie opties: zij kunnen een video goedkeuren óf ervoor zorgen dat die niet in de etalage – het Voor-jou-scherm – komt. Deze video’s zijn eigenlijk ‘verstopt’, alleen zichtbaar voor wie ernaar zoekt of de afzender volgt.

Daarnaast, en dat is de derde optie, kan het team video’s per regio censureren. Zo krijgen gebruikers uit bijvoorbeeld overwegend islamitische landen specifieke (aanstootgevende) video’s helemaal nooit te zien. Het wissen van video’s of het afsluiten van gebruikersaccounts, dat is aan collega’s in China.

Blote buiken, zoenen en decolletés

Moderatoren van sociale media werken met richtlijnen, een ‘wetboek’ waaraan elke video op het platform moet voldoen. Ook TikTok heeft zo’n handboek. Het probleem: vanaf dag één roept dit reglement onuitputtelijk veel vragen op.

Het circa vijftig pagina’s tellende dossier is niet alleen krukkig uit het Chinees vertaald, de richtlijnen zelf (en de aanvullingen daarop) zijn bij vlagen onnavolgbaar of ronduit tegenstrijdig. Zo is er veel ruimte voor eigen interpretatie. ‘Sexy dance’ – een ongedefinieerd begrip – mag alleen in de gym. Gothics en punks mogen zich verkleden tenzij het „very creepy” is. „Difficult users”, een term voor gebruikers die de richtlijnen bijna overtreden, moeten uit het Voor-jou-scherm worden geweerd.

Andere regels zijn daarentegen weer wonderlijk precies: een buik mag niet meer dan tweederde bloot zijn, een decolleté is toegestaan tot 50 procent (tenzij een gebruiker jonger is dan 17 jaar, dan mag een decolleté bloot tot „1/3”) en een zoen mag niet langer duren dan 3 seconden.

En niet alleen de richtlijnen zelf zijn moeilijk te volgen, het is ook de frequentie waarmee het dossier wordt aangepast. Bijna dagelijks komen er updates uit Beijing. „Het was een soort improvisatietheater: je holt van de ene maatregel naar de andere”, vertelt een oud-moderator.

Medewerkers installeerden op hun eerste werkdag de berichtenapp Lark op hun telefoon, en sindsdien komen er dag en nacht berichten binnen. Wie aan een nieuwe shift begint, moet zich eerst door de berichtenstroom worstelen. Na een paar vrije dagen kan dat uren in beslag nemen.

Medewerkers klagen bij leidinggevenden dat het bijhouden van updates „een fulltime job” is – dat er niet één centrale plek is waar ze overzicht krijgen: op sheets, in Lark, overal zwerven regels rond.

Een kleine greep: moderatoren moeten letten op dokters en verpleegkundigen in beeld, die worden beperkt omdat ze niet bijdragen aan het vrolijke karakter van het platform. Hetzelfde geldt voor video’s met tienermoeders, voor gevangenissen, buikdansen, twerken, tongzoenen, intieme begroetingen, alcohol, drugs, wietplanten, ruim ontblote rugpartijen en te zware nadruk op borsten.

Meer dan eens nemen de voorschriften absurde vormen aan. Op een dag wordt de richtlijn ingevoerd dat video’s waarin „grote honden zonder baasje” te zien zijn, niet aan gebruikers in islamitische landen mogen worden getoond. „Even if it’s cute…!”. Honden zouden in die landen als onrein worden gezien. Later wordt de regel weer losgelaten.

Politieke censuur

Langzaam krijgen medewerkers oog voor de gevolgen van hun werk. Zij plegen, zoveel is inmiddels duidelijk, ingrijpende censuur. Ze zorgen dat ‘ongewenste’ video’s een klein publiek krijgen, dat sommige gebruikers die nooit zullen zien.

Dat geldt in de eerste plaats voor politieke bijdragen. TikTok wil zich op geen enkele manier met politieke content associëren, luidt een richtlijn, zelfs niet als een video „antiracistisch” is.

Zo kan het dat op TikTok video’s over Sinterklaas en Zwarte Piet (of het verzet daartegen) alleen in Nederland te zien zijn. Dat HongKong-protesten in die eerste periode op TikTok in feite niet bestaan. Moderatoren moeten elke „funny video” waarin de spot wordt gedreven met politici censureren. Politieke symbolen als Koerdische vlaggen, het Grijze Wolven-gebaar moeten worden beperkt.

Dat geldt ook voor alle content die naar homoseksualiteit of transgenders verwijst. Mannen die hand in hand lopen, een jongen die zich opmaakt, van al die video’s wordt het bereik verkleind van een potentiële miljard views naar hooguit 700.000 Nederlandse gebruikers. Moderatoren moeten letten op „regenboogoorbellen of -polsbandjes” en op gebruikers met een regenboogvlag achter hun gebruikersnaam. Een oud-moderator: „TikTok ‘restrict’ liever te veel dan te weinig.”

En behalve met die richtlijnen, zitten een aantal medewerkers met nog een ander dossier in hun maag: de lijst ‘special users’, gebruikers voor wie speciaal beleid bestaat.

Afgelopen voorjaar stonden in dit exceldocument enkele tientallen gebruikers met hun profielfoto: de meesten zijn geestelijk of lichamelijk gehandicapt, al staan er ook obese gebruikers op. Zonder dat deze mensen het weten worden hun video’s door TikTok-medewerkers gecensureerd.

Moederbedrijf Bytedance sust de gemoederen intern: het bedrijf wil op deze manier mensen beschermen tegen pesters. Minder views, is minder commentaar. Maar de moderatoren vermoeden dat TikTok andere beweegredenen heeft: „Gehandicapten zijn geen prettig gezicht in de tijdlijn.” Want, als TikTok deze groep wil beschermen, waarom worden dan niet de pesters maar de slachtoffers gestraft? TikTok bevestigt in het verleden een „botte aanpak” te hebben gehanteerd, het beleid zou inmiddels zijn aangepast.

Lees ook: TikTok verovert het internet

Als hamsters in een rad

December 2018. Op de Oberwallstrasse worden de dozen ingepakt. Bytedance verhuist zijn Berlijnse kantoor naar de flexplekken van het WeWork-kantoor twee kilometer verderop. Medewerkers sjouwen zelf de dozen naar binnen. Aan de muur hangen bemoedigende teksten, ‘Always day one’.

Met de verhuizing verandert ook de sfeer. Het contract, in handen van NRC, is kort daarvoor aangepast. Moderatoren moeten ook op zondag en tot na middernacht werken. Dagdiensten worden schaarser, medewerkers worden vaker in de B-schicht, de avonddienst, ingezet. Zij werken officieel tot één uur ’s nachts, maar verlaten vaak pas tegen vieren het pand. Het lukt hen niet om de targets op tijd te halen. Weekenden zijn zo goed als nooit aaneengesloten maar twee losse dagen, verspreid over de week.

Vrijwel iedere klik van moderatoren in het systeem wordt bijgehouden. En vanaf de verhuizing tellen die clicks ook. Dat gaat zo: iedere video wordt door twee moderatoren beoordeeld. Bij afwijkende oordelen bepaalt een hoger geplaatste collega wat het juiste oordeel is – op basis dus van die wiebelige richtlijnen. Wie zijn proeftijd wil overleven, moet gemiddeld 95 procent van de video’s correct beoordelen. Medewerkers noemen het systeem „corrupt”: de combinatie van strikte targets en verwarrende moderatierichtlijnen is een recept om overspannen te raken.

En met de druk op targets, vervaagt meer en meer de moraal. Jezelf (in dertig seconden) diepgrondig afvragen of een video wel of niet kan, of dat wat je ziet misschien mensonterend is, die reflex raakt op de achtergrond. „Je was vooral bezig met het eindoordeel van de supervisor. Alles om je targets op orde te houden.” En trouwens, voegt de oud-medewerker eraan toe: „Probeer maar eens duizend video’s achter elkaar te bekijken. Je gevoel voor goed en kwaad verdwijnt.”

Nu komen de moderatoren in Berlijn weinig grof geweld en porno tegen – materiaal dat collega’s bij andere sociale netwerken vaak opbreekt. Deze video’s zijn er bij TikTok door algoritmes en moderatoren op de Filippijnen vaak al uitgevist.

Maar tegen verhulder of verfijnder onheil dat door die eerste schil glipt, kunnen de Berlijnse moderatoren weinig doen. Jonge vrouwen met obscene voorwerpen in hun mond, kinderen bloot in bad, pedofielen die kinderen benaderen, en ook: gebruikers die zichzelf iets dreigen aan te doen.

Neem video’s van kinderen die zichzelf verminken of daarover praten. Daarvoor waren „nauwelijks richtlijnen”, vertelt een oud-medewerker. Moderatoren konden zelfverminkingsvideo’s melden in een chatkanaal, zodat iemand in Beijing ernaar keek. „Omdat Chinese collega’s de taal niet beheersen en een andere culturele achtergrond hebben, kunnen ze de ernst van de situatie niet goed inschatten”, vinden oud-moderatoren. „Zij zagen meestal geen reden voor actie.”

Het grote probleem, zeggen de oud-moderatoren: TikTok staat onverschillig tegenover het welzijn van de vaak piepjonge gebruikers. „TikTok wil hard groeien, het maakt niet uit hoe.” Kinderwelzijn „kwam er een beetje bij”. „In een werkelijk geval van zelfmoord had niemand geweten wat te doen. Er bestaat geen vast proces voor het inlichten van de instanties. Niemand weet van de hoed of de rand. Niemand is verantwoordelijk. Het beleid is uiterst onprofessioneel.”

Moderatoren melden zich ziek, ze worden prikkelbaar of krijgen last van slapeloosheid. Onderling delen ze vaker hun gevoel van onmacht. „Je krijgt zo’n zwarte humor. We zeiden tegen elkaar als we een shift begonnen: ‘Wéér een dag om de wereld te redden’.”

Kinderlokkers

Met het aflopen van de proefperiode vallen in het voorjaar de eerste ontslagen – in exitgesprekken lezen managers uitgedraaide excelsheets met accuraatheidsscores voor. Eén collega hoort tijdens haar vakantie dat ze niet hoeft terug te keren. Achterblijvers worden aangemoedigd de scores van collega’s in de gaten te houden. Het werk stapelt zich op.

Zo blijkt grooming, digitaal kinderlokken, een groeiend probleem op TikTok. Moderatoren krijgen zo nu en dan opdracht op hun privé-telefoon op zoek te gaan naar ongepaste reacties. Ze komen steeds meer voorbeelden tegen. Mannen die kinderen verleiden zich te ontkleden, of vragen hun adres of schoolgegevens openbaar te maken. Er zitten veel kinderen op TikTok, en omdat hun gebruikersprofielen standaard op ‘openbaar’ staan, kan iedereen die kinderen aanspreken.

Het Berlijnse team ontdekt dat pedofielen allerlei manieren hebben om moderatoren te slim af te zijn. Ze tikken teksten als ‘jong’ of ‘geil’ met spaties ertussen – zodat je niet op die begrippen kunt zoeken. Zo wijzen pedofielen elkaar de weg naar video’s. Moderatoren stuiten op accounts waarop volwassen gebruikers soms wel duizend video’s van jonge turnende meisjes verzamelen. Is dat tegen de richtlijnen, vragen ze zich af.

De Berlijnse moderatoren kunnen pedofielen tijdelijk een chatverbod opleggen. Problematische accounts verwijderen, dat is aan collega’s in China. Als blijkt dat dat lang niet altijd gebeurt, gaan medewerkers nog meer vragen stellen. Wat zijn de regels nu eigenlijk?

In het voorjaar van 2019 dringen de problemen ook in de buitenwereld door. De BBC publiceert bevindingen van grootschalig onderzoek. Het wemelt op het platform van de ongepaste commentaren concluderen journalisten, accounts van pedofielen worden niet aangepakt. Organisaties als Watch Nederland en de federale politie in België trekken aan de bel.

Intern is de verwarring daarom groot als moderatoren tijdens een vergadering in diezelfde periode expliciet te horen krijgen dat het opsporen van pedofielen niet tot hun hoofdtaak behoort. Sterker: die werkzaamheden worden niet meegewogen in hun beoordeling. Een oud-medewerker: „Wie steekt daar nog tijd in als zijn accuraatheidsscores eronder lijden?”

Medewerkers krijgen last van wroeging. Zeker één van hen loopt nog altijd met mentale klachten rond. „Het gebrek aan zorg om kinderen is echt schrijnend.”

Onder voormalig-werknemers gaat inmiddels een foto rond, genomen kort na de opening van het Berlijnse kantoor. Op een trap staan alle nieuwe medewerkers, breed lachend in een gloednieuw TikTok-shirt. ‘The succes-story of Bytedance’ heet het bestand. Door twee derde van de medewerkers is een kruis gezet. Ze werken er niet meer.