Journalisten zijn er te weinig op bedacht dat cijfers - net als foto's - kunnen liegen

Getallen hebben een functie in het debat: ze worden aangeroepen op momenten dat gezag alleen niet meer volstaat. Extra jammer dat juist journalisten er vaak geen raad mee weten.

Wetenschapsjournalist. Van zijn hand verscheen deze week het boek ‘Goochelen met getallen: cijfers en statistiek in krant en wetenschap’ (Uitgeverij Boom).

In augustus 1992 publiceerde het Britse televisiestation ITN een foto van een vluchtelingenkamp in Trnopolje in Bosnië. Op de foto stond een uitgemergelde man met ontbloot bovenlijf achter prikkeldraad, en de indruk werd gewekt dat de televisieploeg op een nazi-achtig concentratiekamp van de Serviërs was gestuit. Het beeld ging de hele wereld rond, de journalisten werden alom gelauwerd en geprezen en de berichtgeving en politieke besluitvorming rond de oorlog werd er grondig door veranderd.

De Duitse journalist Thomas Deichmann, die via advocaat Mischa Wladimiroff betrokken was geraakt bij de verdediging voor het Joegoslaviëtribunaal, stelde enkele jaren later echter dat de zaken toch wat anders lagen. Niet de man stond achter prikkeldraad, maar de televisieploeg: die was gaan staan bij een elektriciteitshuisje met een hek eromheen. De hoek was zorgvuldig gekozen, de man niet minder. Op andere, niet gepubliceerde beelden is te zien dat iedereen in het kamp min of meer vrij kan rondlopen. Het was geen vakantieoord, maar een vernietigingskamp was het zeker niet. Het beeld was zorgvuldig gekozen, bijgeknipt en gepresenteerd.

Cijfers in het nieuws zijn als foto’s in het nieuws. Ze kunnen schokkend en overtuigend ogen, maar pas als het complete beeld geschetst wordt, de cijfers in een context geplaatst worden en hun ontstaansgeschiedenis wordt geschetst, weten we of ze een eerlijk beeld van de werkelijkheid geven. Langzamerhand raken we vertrouwd met het feit dat nieuwsfoto’s kunnen liegen en bedriegen en ingezet worden door belanghebbende partijen die de opinie naar hun hand willen zetten. Maar we zijn er nog amper op bedacht dat, bijna nog meer dan foto’s, ook cijfers kunnen liegen. Of, om wat minder hard van stapel te lopen, zó kunnen worden gekozen dat ze de bevindingen en de argumenten het snelst en het bondigst duidelijk maken. Getallen worden nu eenmaal niet ontdekt, maar uitgevonden. Elk getal in de krant en in de wetenschap is het resultaat van een zorgvuldig selectieproces, van definities, van soms lastige beslissingen. Zelfs wie ’s nachts schaapjes telt, zal moeten besluiten of dode schapen meetellen, zwangere voor anderhalf, en lammetjes voor een half of driekwart.

Getallen hebben nu eenmaal een functie in het debat. Met getallen moeten wij overtuigd worden. Ze spelen een rol in de communicatie zoals argumenten, treffende voorbeelden, metaforen en bluf dat doen. Getallen worden aangeroepen op momenten dat gezag alleen niet meer volstaat. Waar de overheid, de dokter, de notaris en de ingenieur vroeger een eenvoudig beroep op hun autoriteit konden doen, moeten zij nu met getallen en statistieken hun gelijk aantonen. De hoogleraar wordt niet op zijn woord geloofd, maar zal wetenschappelijk bewijs moeten leveren, het ziekenhuis doet niet meer vanzelfsprekend zijn best, maar moet met prestatie-indicatoren voorrekenen dat het zijn best doet. Vandaar, zou je kunnen zeggen, dat er steeds meer vraag naar ‘objectieve cijfers’ ontstaat.

En andersom kan het gebruik van cijfers wijzen op een behoefte zich tegen inmenging en kritiek van buiten te weren. Een rapport vol cijfers oogt gewichtig en als de cijfers erbij geleverd worden, zal het vast wel kloppen.

Journalisten zijn zich over het algemeen veel te weinig bewust van de wereld achter de getallen – achter hun ontstaansgeschiedenis, hun context en hun bedoeling. Zo ad rem als ze kunnen zijn in de politieke arena, zo weerloos staan ze veelal tegenover cijfers en statistieken.

Terwijl ze er tegelijkertijd zo dol op zijn. Cijfers lijken een bijna magische kracht uit te oefenen op journalisten – waarschijnlijk omdat ze zo koel en onaantastbaar ogen, zo anders dan modderige politieke opinies en emoties. Cijfers zijn wel ‘het zelfrijzend bakmeel’ van de journalistiek genoemd: elk rapport met meer dan twee statistieken en een grafiek haalt bijna gegarandeerd de krant. Pr-bureaus weten dat natuurlijk ook, en zorgen in elk rapport voor drie statistieken en een grafiek.

Maar het ontbreekt journalisten ten enenmale aan het gereedschap om cijfers te verifiëren en te analyseren. Vrijwel elke dag staan in de krant artikelen met evidente rekenfouten en statistische uitglijers (dat komt natuurlijk ook omdat er elke dag zoveel artikelen in de krant staan, maar toch). Zelfs journalisten met een bèta-achtergrond hebben nog wel gehoord van percentages en gemiddelden, maar slechts weinigen van significantie en relatieve risico’s en de valkuilen die daarbij horen. Ze zijn er niet op bedacht. Als gemeld wordt dat het aantal winkeldiefstallen het afgelopen jaar ‘fors’ (altijd: ‘fors’) is gestegen, komen ze zelden op het idee om te vragen hoe de trend de afgelopen vijf jaar was. Als vrouwen gemiddeld steeds later hun eerste kind krijgen, zijn er dan steeds meer oude moeders, of daalt het aantal tienerzwangerschappen? Als het ‘gen voor nachtblindheid’ is ontdekt, zijn alle mensen met dat gen dan nachtblind, of is het slechts een kwestie van licht verhoogde risico’s? Vrijwel elke internetenquête – zeker die met ‘leuke resultaten’, wordt klakkeloos op het web gezet.

Overigens, als journalisten er al zo’n moeite mee hebben, hoe zit het dan met gewone mensen? Redacteuren en lezers van deze krant vergeten het nog wel eens, maar een groot deel van de bevolking heeft niet paraat wat ‘40 procent’ precies inhoudt: was dat nou een veertigste, vier op tien, of een kwart? Al evenmin zien ze direct of een kans van 1 op 384 groter of kleiner is dan een kans van 1 op 112 (met 2,6 en 8,9 op 1.000 gaat het al iets beter). Maar ook meer geletterde mensen worden geconfronteerd met lastige vergelijkingen en risicoafwegingen zoals het testen op het syndroom van Down of het slikken van cholesterolverlagers of het halen van een vaccin tegen baarmoederhalskanker – en daarbij worden zij vrijwel altijd door de krant in de steek gelaten. Als journalisten de cijfers niet kunnen uitleggen en doorprikken, verzaken zij een belangrijk deel van hun verslaggevende en controlerende taak. Zij denken te schuiven, en worden geschoven.

Dan moet de lezer het voorlopig maar zelf doen. Kunnen gewone krantenlezers zich niet een beetje wapenen tegen de ongare en halfgare cijferbrij die dagelijks over hen wordt uitgestort? Daar zou een boek over te schrijven zijn (dat heb ik dan ook gedaan), maar er zijn, in het bestek van een krantenartikel alvast wat vuistregels te formuleren. Van gemopper alleen wordt niemand wijzer, maar argwaan is de weg naar de waarheid.

Een van de eerste vragen die bij krantenberichten over wetenschap en internetenquêtes gesteld kan worden, is uiteraard: wat zijn de cijfers? Het is verbazend hoe vaak er nog berichten in de krant komen over bijvoorbeeld het nadelig effect van koffie op de levensverwachting of seks op sportprestaties, zonder dat daar enig concreet getal bij staat. Hoe hebben ze dat trouwens gemeten?

Als er wel cijfers staan, kunnen de echte vragen komen. Belangrijk is altijd: waarom krijg ik deze cijfers, en geen andere? Zijn dit alle cijfers, of alleen de cijfers die de bewering ondersteunen? Zijn het de cijfers die zorgvuldig zijn geselecteerd uit een berg aan ongepubliceerde resultaten?

Waarom horen we alleen percentages, en geen absolute aantallen? Of: waarom horen we alleen absolute aantallen, en niet hoeveel het relatief scheelt?

Hoeveel scheelt het verschil? Fameus zijn de berichten dat vrouwen meer praten dan mannen, of dat homo’s naar verhouding langere ringvingers hebben dan hetero’s – waarna iedereen toch gauw even naar de eigen hand kijkt. De gemiddelden moeten heel veel schelen, en de verschillen binnen de groepen heel klein zijn, willen we zo een geslachtsvoorkeur kunnen voorspellen.

Tussendoor moet men zich natuurlijk altijd afvragen of de cijfers wel kunnen kloppen. Wie cijfers paraat heeft, wekt snel de indruk er verstand van te hebben, maar waar komen de cijfers vandaan? Niets voedt maatschappelijke verontwaardiging immers zo goed als indrukwekkende getallen. Worden meer dan tweeduizend meisjes per jaar slachtoffer van loverboys? Pleegt 1 op 3 jongeren een strafbaar feit? Is 10 procent van de Nederlanders racistisch?

De vraag is steeds, net als met nieuwsfoto’s: wat is de context en de achtergrond en het perspectief van de cijfers? Een cijfer is geen cijfer, twee cijfers is een half cijfer. Na de griepprik vallen drie doden in een week, hoeveel vallen er in andere weken? Als omega-3-vetzuren delinquenten 34 procent minder agressief maken, hoeveel scheelde het dan in de controlegroep? Moet dat niet meteen erbij gezegd worden? Was er wel een controlegroep? Misschien was daar de agressie nog veel meer afgenomen. En 34 procent waarvan? Van 3 naar 2 incidenten per jaar of van 100 naar 66? Op welke schaal werd ‘agressie’ gemeten, en hoe zorg je dat de controlegroep geen makreel in de kantine gaat halen?

Natuurlijk, het is niet altijd en overal kommer en kwel. Nog vaak genoeg leggen onderzoekers en instellingen alle statistiek open op tafel zodat die becommentarieerd, gecontroleerd en vooral verbeterd kan worden. Dat is goed, maar het maakt het tegelijk juist zo lastig voor de buitenstaander. Als al het onderzoek niet zou deugen, kon je er zonder nadenken je schouders over ophalen en het niet veel serieuzer nemen dan de televisiereclame. Daar weet je dat waarheid niet het hoogste goed van de reclamemakers is, en is cynisme waarschijnlijk de meest efficiënte attitude – er zijn leugens, menistenleugens en advertenties.

Bij wetenschap en statistiek is dat wat ingewikkelder. Ook al is de vervuiling een groeiend probleem, er zit nog steeds mooi, betrouwbaar en belangwekkend onderzoek tussen. De kunst is dat ertussenuit te halen.

Bovendien, en daarover zijn we het hopelijk allemaal eens, cijfers zijn vrijwel altijd onontbeerlijk voor het maken van verstandige keuzes, en al is het soms simpel de boel op te lichten met getallen, het is meestal nog simpeler de boel op te lichten zonder getallen. Wie weigert de cijfers te beoordelen omdat je met statistiek nu eenmaal alles kunt bewijzen, doet zichzelf en het cijfermateriaal tekort.

En om nog even terug te komen op de nieuwsfoto van Trnopolje: dat beeld vormde voor mijn stuk een mooie metafoor, maar de zaak lag nog een slag ingewikkelder. Deichmann had wel gelijk, maar hij beet veel te hard door. Het beeld was inderdaad zorgvuldig gekozen, het kamp was inderdaad open en het had geen hek met prikkeldraad, maar anderzijds waren er in Omarska en Tuzla wel degelijk gevangeniskampen waar Bosniërs werden gemarteld en vermoord. Daar mocht de ploeg van ITN echter niet filmen. Had ITN de opzet de wereld te misleiden met de foto, zoals Deichmann beweerde, of om de wereld ermee wakker te schudden, zoals het televisiestation beweerde?

Achter elke foto, en achter elk cijfer, gaat een wereld schuil, en journalisten moeten noodgedwongen keuzes maken. Selecteren is misschien wel het belangrijkste deel van het vak. Maar dat betekent niet dat kranten stelselmatig het verkeerde beeld, of het meest voor de hand liggende cijfer moeten brengen – of dat nu gebeurt uit onwetendheid, argeloosheid of opportunisme. Ze zouden zich niet zo makkelijk in de luren moeten laten leggen.