Nederlanders, ook journalisten, gokken te weinig bij paardenraces. Anders zouden ze wel vertrouwder zijn met het verschil tussen „kansen”, „odds” en „odds ratios”.
Van de buitenlanders zou anders 220 procent de gevangenis ingaan
Kansen geven de waarschijnlijkheid aan dat iets al dan niet gebeurt. De odds geven de verhouding aan tussen die kansen. De odds ratio is de factor waarmee kansverhoudingen (de odds, dus) verschillen.
Een fictief voorbeeld. Stel dat Nederlandse mannen een kans van 20 procent hebben op haaruitval, en dus van 80 procent dat dit niet gebeurt. De kansverhouding op haaruitval is dan 20/80 = 0,25. Stel dat Belgische mannen onder gelijke omstandigheden 50 procent kans hebben op haaruitval. Hun kansverhouding is dan 50/50 = 1,00. De kans voor de Belgen op haaruitval is dan 2,5 keer zo hoog als voor de Nederlanders (50 gedeeld door 20), maar hun odds zijn maar liefst 4 keer zo hoog (1 gedeeld door 0,25). En die 4 heet dan de oddsratio.
Verwarring ligt hier op de loer – en journalisten zijn meestal al beter met woorden dan met cijfers.
NRC Handelsblad maakte volgens briefschrijvers een,,klassieke fout” in de berichtgeving over een opzienbarend onderzoek in het Nederlands Juristenblad (Verdachte met buitenlands uiterlijk krijgt eerder celstraf, 14 maart). De krant meldde dat verdachten met een ‘buitenlands’ uiterlijk „een vijf keer hogere kans [hebben] op onvoorwaardelijke celstraf dan Nederlanders, in plaats van een werkstraf of boete”. Spreken zij de taal niet, dan neemt die kans toe tot twintig keer hoger.
Hier werden kansen, odds en odds ratios door elkaar gehaald, menen diverse kenners. Was dat zo?
Aanvankelijk schreven de verslaggevers inderdaad gewoon over grotere „kansen’’ om in de cel te belanden. Op de valreep lieten ze zich overtuigen door onderzoeker Hilde Wermink dat dit niet correct was en pasten ze hun tekst aan. Het onderzoek stelt immers niet vast dat groep A een grotere kans heeft op y1 dan groep B, maar dat bij groep A de kans op y1 ten opzichte van de kans op y2 groter is dan bij groep B.
Alleen, hoe vermijd je zulke formules en lastige Engelse termen?
Wermink stelde de journalisten deze formulering voor: „De kans om wel veroordeeld te worden tot een onvoorwaardelijke gevangenisstraf versus de kans op geen onvoorwaardelijke gevangenisstraf is ruim 20 keer groter voor mensen met een buitenlands uiterlijk die niet de Nederlandse taal spreken in vergelijking met verdachten met een Nederlands uiterlijk die de Nederlandse taal spreken.”
Maar de onderzoekster waarschuwde al dat ook die formulering tot misverstanden kan leiden.
Dat bleek, want na publicatie klommen de statistici in de pen. Manfred te Grotenhuis van de Radboud Universiteit Nijmegen, schreef een uitvoerige reactie. Zijn uitleg begrijp ik als volgt: de kans dat een ‘buitenlander’ onvoorwaardelijke celstraf krijgt versus de kans op een boete of taakstraf is 5 keer hoger dan die voor Nederlanders; als hij de taal niet spreekt, 20 keer. Maar dat zijn odds ratios. Buitenlanders hebben dan niet meteen ook een 5 (en 20) maal hogere kans de gevangenis in te gaan dan Nederlanders.
Twintig keer zou ook absurd zijn, want van de Nederlanders kreeg 11 procent celstraf en dan zou dus van de buitenlanders 220 procent (20 x 11 procent) achter de tralies verdwijnen. Odds en odds ratios kunnen groter zijn dan 100, kansen niet. Als de kans dat u bijvoorbeeld dit jaar niet aangereden wordt door een krantenbezorger 99,8 procent is, bedragen uw odds 99,8/0,2 = 499.
De kans om in de cel te belanden is volgens Te Grotenhuis voor buitenlanders gemiddeld eerder 2,5 en 5 keer zo hoog; maar dat is dan weer gebaseerd op een tabel in het onderzoek die geen rekening houdt met andere relevante variabelen, zoals zwaarte van het delict.
En de onderzoekers drukten zich uit in odds ratios, omdat de statistische methode die ze gebruikten in het artikel een kansverhouding berekent en niet direct kansen.
Zat de krant er nu naast? Niet wat de strekking betreft. Het bericht begon: „Politierechters straffen verdachten met een buitenlands uiterlijk strenger dan Nederlanders, in het bijzonder als de verdachten geen Nederlands spreken.” Geen speld tussen te krijgen, volgens dit onderzoek.
Maar de formulering die op de valreep werd gekozen bij de cijfers („kans op celstraf in plaats van een boete of taakstraf..”) werd niet uitgelegd, en ook niet overal gebruikt.
Zo stond op de voorpagina: „Zijn ze ook het Nederlands niet machtig, dan lopen ze een twintig keer hogere kans op een vrijheidsstraf”. En het achtergrondstuk signaleerde een andere „opvallende” conclusie uit het onderzoek: „De kans om wel veroordeeld te worden tot een onvoorwaardelijke celstraf is voor mannen 6,5 keer zo groot als voor vrouwen.” Maar ook hier ging het om odds ratios.
Als leek onthoud je dan toch simpelweg dat de kans van buitenlanders om de cel in te gaan 5 en 20 keer hoger is dan die van Nederlanders. Een dag later stond het ook gewoon zo in het commentaar van de krant. En zo verspreidde het nieuws zich ook op internet.
Moet de krant dan lastige wetenschappelijke termen gebruiken?
Nee, als het maar helder en consequent wordt uitgelegd. Bij twijfel: raadpleeg de wetenschapsredactie. Of statistici, natuurlijk.
Dan neemt de kans dat het goed gaat toe.