Waarom zaten bijna alle peilingen ernaast?

Als enige grote peiler voorspelde de L.A. Times een zege voor Donald Trump. Waarom zat de rest ernaast?

De peiling van FiveThirtyEight, welke als een van de meest betrouwbare werd gezien, op 8 november. Screenshot FiveThirtyEight

De nederlaag van Hillary Clinton betekent ook een nederlaag voor bijna alle opiniepeilers in de Verenigde Staten. Verreweg de meesten voorspelden de afgelopen dagen dat Clinton makkelijk zou winnen, ze discussieerden alleen nog over hoe zeker dat was. Nog maar een paar dagen geleden beschuldigde The Huffington Post peilingsite FiveThrityEight van “gepruts” omdat de site Trump 35 procent kans op een overwinning gaf.

Het is verbluffend om te zien hoe zeker zij van hun zaak waren. The Huffington Post zelf gaf Clinton op verkiezingsdag 98,3 procent kans op een overwinning. The New York Times achtte Clintons kans op winst 85 procent. Persbureau Reuters wist het voor 90 procent zeker. Het Princeton Election Consortium durfde 99 procent kans op verkiezingswinst voor Clinton aan.

Ook de Amerikaanse nieuwsmedia - die de analyses van de bureaus volop overnamen - hebben boter op hun hoofd, schrijft mediacolumnist Jim Rutenberg deze woensdag in The New York Times.

“Journalisten zijn opgehouden de peildata kritisch te bekijken, toen die hun onderbuikgevoel bevestigden dat Trump het nooit in een miljoen jaar zou redden.”

Dat is inderdaad vreemd, want er zijn genoeg redenen om peilingen te wantrouwen. Te beginnen bij resultaten uit het verleden: de grote peilers zagen de Brexit niet aankomen en gaven de Republikeinse nominatie van Trump een kleine kans.

Bovendien wordt het in VS steeds moeilijker om een representatieve steekproef te doen. Opinieonderzoekers mogen alleen vaste telefoonnummers bellen, in een land waar menig inwoner alleen een mobieltje heeft. Vervolgens staan peilers voor de uitdaging om op basis van een steekproef van pakweg 1.000 volwassenen een uitspraak te doen over het gedrag van 225 miljoen kiesgerechtigde Amerikanen.

Dat doen zij door de resultaten te wegen. Ze analyseren, interpreteren en corrigeren. Soms zijn er te veel mannen ondervraagd, of te weinig Afro-Amerikanen. Maar ook de verwachte opkomstpercentages per bevolkingsgroep wordt meegenomen in het uiteindelijke resultaat. Daar kan een hoop mis gaan.

Twee verklaringen voor de mislukte peilingen:

1. Peilers peilen op basis van resultaten uit het verleden.

Niets was normaal aan deze presidentsrace, en toch hebben de grote peilbureaus hun resultaten gewogen zoals ze gewend waren. Dat betekent dat opkomstpercentages van bijvoorbeeld laagopgeleide witte Amerikanen te laag kunnen zijn ingeschat. Een aanwijzing daarvoor is dat Trump in de noordelijke swing states, waar veel laagopgeleide Amerikanen wonen, veel beter heeft gepresteerd dan de peilingen voorspelden. Peilers en media hebben “de kolkende woede van een groot deel van het Amerikaanse electoraat” enorm onderschat, concludeert Rutenberg in The New York Times.

2. Kiezers schaamden zich voor hun stem op Trump

David Lauter van de L.A. Times, de enige grote peiler die consequent Trump meer kans gaf dan andere peilers, onderzocht of kiezers zich op hun gemak voelden bij het delen van hun stem met een telefoonenquêteur. Daaruit bleek dat Trumpstemmers daar helemaal niet comfortabel mee waren, en Clintonstemmers juist wel. De schaamte om toe te geven voor Trump te zijn, kan de resultaten bij andere peilers enorm hebben beïnvloed. Het was voor Lauter een reden om bij de weging van zijn resultaten Trump nog meer voordeel te geven.

Waarom had de L.A Times het bij het goede eind?

Lauters ‘L.A. Times Daybreak’ was de enige peiling die de grote steun voor Trump, die hem in een aantal cruciale swing states aan de overwinning hielp, zag aankomen. De peiling, waarvoor de krant samenwerkte met de University of Southern California, was eigenlijk te positief over Trump: de Daybreak gaf Trump aan de vooravond van de verkiezing een voorsprong van ruim drie procentpunt, wat het absolute aantal stemmen betreft. Uiteindelijk lijkt het erop dat Clinton meer absolute stemmen trekt dan Trump, maar toch in cruciale staten heeft verloren.

Screenshot L.A. Times Daybreak

Screenshot L.A. Times Daybreak

De Daybreak wijkt op twee belangrijke punten af van andere peilbureaus:

1. Lauter vraagt mensen de kans in te schatten dat ze op een van de twee kandidaten zouden kiezen. Iemand die 100 procent zeker is van zijn stem op Trump wordt zwaarder meegewogen dan iemand die 60 procent zeker op Trump stemt. Zo meet de peiling enthousiasme en ambivalentie, factoren die andere peilers niet meenemen.

2. Daarnaast geeft de Daybreak kiezers een week om over hun antwoord na te denken. Dat maakt hun antwoorden volgens Lauter betrouwbaarder. Veel kiezers weten simpelweg nog niet op wie ze stemmen op het moment dat ze worden opgebeld door een peilbureau. Ook de waan van de dag - een nieuwe onthulling over Clintons emails - beïnvloedt de antwoorden minder als kiezers de tijd wordt gegund om in alle rust te wikken en te wegen.

Het blijkt - dit keer - de beste methode. Peilbureau’s over de hele wereld zullen er lessen uit trekken. Het is alleen wel de vraag wie ze straks nog gelooft.