Waardeloze enquêtes

Ik heb me afgelopen week geregistreerd voor het Hart van Nederland-panel. Ik was nieuwsgierig geworden nadat ik had gelezen dat „uit representatief onderzoek onder het Hart van Nederland-panel bleek dat 55 procent van de Nederlanders verruiming van de [corona]maatregelen wil.” Aan het online onderzoek werd deelgenomen door ‘zo’n 3.500’ van de 35.000 panelleden. Hoe representatief is dit onderzoek, wilde ik weten. Mijn aanmelding gaf meteen het antwoord: niet.

Een representatief onderzoek is een steekproef waarbij de deelnemers een afspiegeling zijn van de populatie waaruit de steekproef is getrokken, bijvoorbeeld van alle Nederlanders. Het percentage mannen, 65-plussers, en arbeidsongeschikten is in een representatieve steekproef vergelijkbaar met het percentage onder alle Nederlanders. Zo ook het percentage hardrockliefhebbers, flatbewoners en snelwandelaars.

Die afspiegeling bereik je door mensen uit de doelgroep willekeurig uit te nodigen. Je geeft iedereen een nummer en laat de computer een selectie maken. Een steekproef onder alle studenten van een universiteit, alle ANWB-leden, en alle medewerkers van Schiphol is op die manier makkelijk te realiseren, maar hoe maak je zo’n selectie uit alle Nederlanders als je de Burgerservicenummers daarvoor niet mag gebruiken?

En dan, met willekeurig uitnodigen ben je er nog niet. De deelnemers moet een afspiegeling zijn. De mensen moeten reageren en meedoen. Liefst massaal, want als veel mensen het laten afweten omdat ze te druk zijn, genieten van het warme weer, of geen belangstelling hebben, dan is zelfs wat begon als een representatieve steekproef uiteindelijk niet representatief meer. Als onderzoeker moet je zorgen dat zoveel mogelijk mensen meedoen, door ze de tijd te geven om te reageren, regelmatig herinneringen te sturen en een kleine vergoeding beschikbaar te stellen. Goed steekproefonderzoek is tijdrovend en duur.

Snel reageren

Hart van Nederland pakt dat, in samenwerking met opiniepeiler Maurice de Hond, anders aan. Het Hart van Nederland-panel bestaat uit mensen die zichzelf via de website hebben aangemeld. Uit dit panel wordt voor elk onderzoek een representatieve selectie gemaakt op basis van kenmerken zoals politieke voorkeur, geslacht, woonplaats en leeftijd. Of de uiteindelijke deelnemers nog steeds een representatieve selectie zijn, is echter de vraag. Wie aan een onderzoek wil meedoen moet snel reageren, want Hart van Nederland maakt de resultaten vaak dezelfde dag nog bekend. En dat komt niet iedereen gelegen.

Ook het EenVandaag Opiniepanel presenteert representatieve resultaten van panel met zelf-aangemelde deelnemers. EenVandaag stuurt de onderzoeksuitnodiging naar alle 70.000 leden en weegt de resultaten achteraf zodanig dat de kenmerken van de uiteindelijke deelnemers overeenkomen met die van de Nederlandse bevolking. Deze correctie leidt hier vooral tot andere resultaten, niet tot representatieve resultaten. De correctie werkt alleen als een willekeurige steekproef toevallig geen afspiegeling van de doelgroep is, anders niet.

‘Representatief’ selecteren of corrigeren maken de resultaten van zelf-aangemelde panels nooit écht representatief. De meningen van mensen die geen tijd of geen belangstelling hadden om zich voor het panel aan te melden, blijven ontbreken. Door de selectie of correctie worden de deelnemers op een aantal kenmerken vergelijkbaar met de Nederlandse bevolking, maar de steekproef wordt daarmee geen afspiegeling. De vertekening in de resultaten door de zelf-aanmelding van deelnemers laat zich niet wegwerken.

Gegarandeerde vertekening

Ook in wetenschappelijk onderzoek zijn de online enquêtes in opmars. Op sociale media delen collega’s geregeld uitnodigingen voor deelname aan hun surveyonderzoek, vaak met het verzoek om de uitnodiging verder te verspreiden. In de wetenschappelijke publicaties kunnen we dan lezen dat de resultaten mogelijk vertekend zijn door de onderzoeksopzet, maar dat is een eufemisme. Alleen bij een willekeurige steekproef en voldoende maar tegenvallende deelname past ‘mogelijk vertekend’ als kanttekening. Bij zelf-aanmelding is vertekening van de resultaten gegarandeerd, slechts de mate waarin is de vraag.

Als deelnemers zichzelf uitnodigen weet je nooit in hoeverre de resultaten overeenkomen met wat je gevonden zou hebben in een werkelijk representatieve steekproef. De resultaten van die steekproef, de resultaten die we eigenlijk willen weten, blijven immers onbekend.

Het kan zijn dat één op de drie Nederlanders belangstelling heeft voor de coronazelftest, zoals Hart van Nederland deze week schrijft, en dat bijna de helft van de ouders hun kinderen op de basisschool niet laat testen, zoals EenVandaag vorige week kopte. Maar het is waarschijnlijker dat de resultaten er flink naast zitten. Wat kun je als lezer met cijfers die nog alle kanten op kunnen? Ik niks. Ook niet een beetje. Voor mij is het nepnieuws.

Ik heb me zojuist weer uitgeschreven bij het Hart van Nederland-panel; ik woon immers niet in Nederland. Bij het afmelden zag ik dat ik in een paar dagen al twee uitnodigingen had gemist, waaronder die van de coronazelftest. Dat maakte mij opnieuw nieuwsgierig: zat ik toevallig meteen twee keer in de steekproef of stuurt ook Hart van Nederland elke uitnodiging gewoon naar alle 35.000 panelleden?