Hoe erg rammelt het ‘schokkende’ onderzoek naar Holocaust-bewustzijn nu echt?

Het Amerikaanse onderzoek naar Holocaustbewustzijn in Nederland leidde woensdagochtend tot geschokte nieuwsberichten over het groeiende gebrek aan kennis over de donkerste periode uit de twintigste eeuw. Bijna een kwart van de mensen onder de veertig ontkent of bagatelliseert de moord op zes miljoen Joden in de Tweede Wereldoorlog. Volgens 6 procent zou de Holocaust een „mythe” zijn en 17 procent zou vinden dat het aantal slachtoffers „enorm overdreven” wordt. In vijf andere onderzochte landen was deze antisemitische verdwazing niet zo hoog.

De zorg over groeiend antisemitisme, dat zich geregeld manifesteert door het bagatelliseren van de Holocaust, kreeg zo een nieuwe dimensie. Maar de aanvankelijke schok maakte in de loop van woensdag plaats voor serieuze kanttekeningen bij het onderzoek. Met name op aansporing van adjunct-hoogleraar statistiek Casper Albers (Rijksuniversiteit Groningen) hielden veel media al snel een slag om de arm. Hij deelde op Twitter enkele „rode vlaggen” die tot scepsis rond dit onderzoek zouden moeten leiden. Het rapport werd vervolgens een „rammelrapport” genoemd (Nieuwsuur-journalist Eelco Bosch van Rosenthal op Twitter) en ook de Volkskrant kopte dat het Holocaustonderzoek „aan alle kanten” rammelde.

Oppassen

De opdrachtgever voor het onderzoek is de Joodse belangenorganisatie Claims Conference, die zich sinds 1951 inzet voor (de nazaten van) onteigende Holocaust-slachtoffers en inmiddels ook tot doel heeft het kennispeil over de genocide voor toekomstige generaties te bewaken. Volgens Albers „weten we niet wat ze precies hebben gedaan” en in zijn vakgebied betekent dit: oppassen. Albers: „Ze maken onvoldoende duidelijk hoe het onderzoek is uitgevoerd, waardoor je niet goed kunt duiden of de bereikte doelgroep wel representatief is. Wat als gevolg kan hebben dat de conclusies uit het rapport misschien wel en misschien ook niet geldig zijn.” Het zóú dus best kunnen dat de situatie in Nederland zo ernstig is als wordt voorgesteld, zegt hij. „Maar het zou ook kunnen dat dat niet zo is. En het probleem is dat we nu niet weten hoe het zit.”

Steekproef

Het betrokken onderzoeksbureau is Schoen Cooperman Research in New York, dat onder meer de Democratische partij strategisch adviseert en research doet voor campagnes. De peiling is uitgevoerd onder tweeduizend mensen die na rekrutering via „duizenden websites” uiteindelijk tot het panel zijn doorgedrongen, stelt Schoen Cooperman. Daarna is in december een steekproef uitgevoerd door het willekeurig bellen en online benaderen van mensen in het panel, op basis van regionale spreiding en leeftijd. De interviews en polls zijn volgens directeur Carly Cooperman in het Nederlands uitgevoerd, wat eventuele problemen in taalbarrière en begripsverwarring zou moeten wegnemen. Ze stelt dat de steekproef „voldoende is in omvang en representativiteit” en ook „overeenkomend op het gebied van geslacht, leeftijd en opleidingsniveau” met een Deloitte-enquête uit 2019 naar driehonderd Nederlandse millennials (grofweg 25-40 jaar oud).

Toch blijft er veel onduidelijk, zegt Sjoerd van Heck van onderzoeksbureau Ipsos. „Als wij een dergelijk onderzoek doen, vermelden we er altijd bij: we hebben een aantal variabelen in acht genomen en we hebben ervoor gezorgd dat de steekproef precies dezelfde verdeling heeft op die variabelen, als de onderzoekspopulatie.” Ook nadat hij via NRC een methodologische uitleg van Schoen Cooperman heeft ontvangen, is hem nog niet duidelijk hoe sommige standaardproblemen bij een steekproef, bijvoorbeeld hoe je compenseert voor moeilijk te bereiken doelgroepen, in dit geval zijn opgelost.

Niet representatief

Zou het in Nederland dan helemaal mis zijn gegaan? Professor Casper Albers maakte onder meer een punt van het disproportioneel hoge aantal respondenten van onder de veertig jaar dat zegt ingeschreven te staan aan een universiteit: 34 procent. In werkelijkheid zijn er rond de 350.000 wo-studenten in Nederland, wat minder dan 7 procent is van het aantal 18-39 jarigen in Nederland (5 miljoen). Dat is dus al niet representatief.

Er blijkt inderdaad iets vreemds aan de hand. Cooperman, die per mail reageert, stelt dat de 34 procent alle vormen van vervolgonderwijs betreft: mbo, hbo en wo. Dat telt op tot ongeveer 1,3 miljoen jonge Nederlanders en ongeveer een kwart van de leeftijdsgroep 18-39. Nog steeds geen 34 procent, maar het komt in de buurt. Maar op de Nederlandstalige vragenlijst voor respondenten, ingezien door NRC, staat de vraag ‘Ben je momenteel ingeschreven aan de universiteit?’. Daar kan toch geen enkel misverstand over bestaan? Toch houdt Cooperman vol dat hier ook niet wo-studenten ‘ja’ antwoordden. „De ervaring leert dat ‘universiteit’ vrij wordt geïnterpreteerd en respondenten antwoorden ook zo.”

Mocht het aantal (wo-)studenten buitenproportioneel zijn maakt dat volgens Cooperman de resultaten bovendien niet minder opvallend.

Toch stelt Albers dat het disproportioneel hoge aantal studenten in de poll maar één punt is. „Bottom line is dat je eigenlijk nog steeds te veel onzekerheid hebt om er iets zinnigs over te kunnen zeggen.”

Onzekerheid

Een onderzoek over de Holocaust-kennis bij jonge mensen in vijftig Amerikaanse staten gaf in 2020 aan dat 3 procent de Holocaust een mythe noemde en 12 procent sprak van overdrijving. De onzekerheidsmarge in de VS was 3 procent. Cooperman laat weten dat voor het Nederlandse onderzoek bij mensen tussen 18-39 (804 respondenten) óók een onzekerheidsmarge van 3 procent moet worden aangehouden. De gehele studie hanteert een marge van 2 procent.

Gegeven de onzekerheidsmarges is het betwistbaar om, zoals Claims Conference deed in het persbericht, vast te stellen dat die 3 procent ontkenning en 9 procent bagatellisering in de hele Nederlandse bevolking het „hoogste” is in de zes onderzochte landen. In de VS was dat in 2018 bijvoorbeeld respectievelijk 1 procent en 9 procent, mogelijk is dat met de jaren toegenomen.

De onderzoeksmethode is door het online magazine Slate in 2020 beschreven en bekritiseerd, al betrof dit vooral de vraagstelling en begripsverwarring rond thema’s als de Holocaust. Niet vergeten moet worden dat Claims Conference, schreef Slate, „zijn werk doet” en dat is het „genereren van data en krantenkoppen, waarvan het hoopt dat deze haar gerechtvaardigde doel ondersteunen.”

Update (27 januari 2023): dit artikel is bijgewerkt met een vraag (en antwoord van Carly Cooperman) na inzage in het Nederlandstalige enquêteformulier.

Correctie (27 januari 2023): in een eerder versie van dit artikel stond dat zeven landen zijn onderzocht. Dat moet zijn: zes.

Correctie (27 januari 2023): in een eerder versie van dit artikel stond dat er ongeveer 320.000 wo-studenten in Nederland zijn. Dat moet zijn: 350.000.