Peilen oké, maar dan goed

Meer dan ooit werd de campagne gedomineerd door de peilingen. Dan moeten ze wél goed zijn. En dat was niet zo, betogen Gerty Lensvelt-Mulders en Edith de Leeuw.

In en voor de verkiezingen zijn we meer dan ooit doodgegooid met opiniepeilingen. Elke dag had zijn eigen peiling. De uitslagen liepen sterk uiteen, afhankelijk van tv-programma, krant en onderzoeksbureau.

Die verschillen tussen peilingen kunnen aan veel dingen liggen. Hoe worden de respondenten ondervraagd? Wat wordt hun gevraagd? Zijn alle kiezers goed vertegenwoordigd? Hoe is de steekproef getrokken? Wie doet mee met het onderzoek en wie niet? Wordt er gewogen en hoe?

Bij de Kamerverkiezingen in 2003 was de beste peiler Interview/NSS die een aselecte steekproef telefonisch ondervroeg. De beide andere peilers gebruikten een internetpanel.

Maar in 2006 werkten alle drie bureaus met internet, soms aangevuld met telefonische interviews. En de uitkomsten werden gewogen naar ‘de Nederlandse kiezer’.

Peilingen die werken met internetpanels hebben een probleem. Deze panels dekken namelijk niet alle groepen in Nederland. In panels zijn bijvoorbeeld hoogopgeleide mensen oververtegenwoordigd; ouderen en allochtonen zijn ondervertegenwoordigd.

Daarom worden de gegevens gecorrigeerd door weging. Dat wil zeggen dat respondenten uit ondervertegenwoordigde groepen zwaarder wegen. En oververtegenwoordigde groepen krijgen een kleiner gewicht. De precieze manier van wegen wordt door onderzoeksbureaus gezien als bedrijfsgeheim.

Aan wegen kleven echter bezwaren. Als men de goede variabelen gebruikt, en ook goede informatie heeft over de ondervertegenwoordigde groepen, dan kan slim wegen de schatting verbeteren. Maar wat er niet is, kan ook niet bijgewogen worden. Zo kan die ene oude dame op internet, die Opzij leest, best zwaar gewogen worden, maar ze vervangt daarmee niet al die oudere dames die Vorsten lezen.

Niet alleen liepen de peilingen dit jaar onderling fors uiteen, ook tussen de eerste peilingen begin november en de laatste peilingen op 21 november waren de fluctuaties groot. Dat ligt in de lijn der verwachting, want een peiling is een momentopname. Potentiële stemmers kunnen van mening veranderen en zwevende kiezers kunnen besluiten met de voeten op de grond te komen. Maar met het naderen van de verkiezingen zou de mening toch moeten uitkristalliseren. Natuurlijk, het grote verkiezingsdebat moest nog plaatsvinden, Freek de Jonge moest nog optreden en het weer op 22 november zou wel eens slecht kunnen uitvallen voor de opkomst. Maar een goede indicatie zou de allerlaatste peiling toch moeten zijn.

Op de verkiezingsavond zelf zouden ook twee exit polls zijn gehouden. In een exit poll wordt gevraagd naar wat er gestemd is, naar het ware stemgedrag. Daarbij wordt een steekproef van kiezers ondervraagd bij het verlaten (exit) van zorgvuldig geselecteerde stembureaus.

Maar de gepresenteerde exit polls waren geen exit polls. Het waren opnieuw peilingen. De meeste gegevens waren opnieuw verkregen via internetpanels, aangevuld met telefonische interviews, en enkele ‘exit’-gesprekken bij het stemhokje. De resultaten van beide polls lagen nogal uit elkaar. Opvallend was dat aan het begin van de avond deze eindpeilingen besproken werden alsof het de werkelijke uitslag was. Maar deze einduitslag liet op zich wachten – en week toen behoorlijk af.

We hebben de werkelijke uitslag, de peilingen van de laatste dag, en de beide ‘exit polls’ op een rijtje gezet. Ook hebben we de gemiddelde afwijking berekend tussen peiling en uitslag. We zien dan dat de politieke barometer van Interview/NSS er het beste afkomt. Deze peiler, die een steekproef uit zijn internetpanel aanvult met telefonisch onderzoek, zit er gemiddeld 1,33 zetels naast.

Maar ook de beide andere bureaus deden het niet slecht. In hun exit polls doen beide bureaus het zelfs iets beter dan hun eerdere voorspelling. Dat is ook te verwachten, want nu werd er naar het stemgedrag gevraagd. Toch zijn beide exit polls met een gemiddelde afwijking van 1,33 zetel niet beter dan de beste peiling. Dit is voer voor methodologen!

De peilingen zelf zijn deze verkiezingen meer dan ooit een instrument in de verkiezingsstrijd geworden. De peilingen hadden invloed op de partijen, op de media, op de campagnestrategen en op de potentiële kiezers. Het leek soms de ‘Dans der Derwisjen’ – alle deelnemers draaiden steeds sneller rond op de maat van opiniepeilingen.

Kiezers kunnen op verschillende manieren reageren. Je hebt de bandwagon-strategie: kiezers springen op de zegewagen van de gedoodverfde winnaar. Er zijn ook kiezers die gaan voor de ‘underdog’, ze kiezen de verliezende partij. Of men vindt dat een bepaald geluid gehoord moet blijven worden, en besluit strategisch te stemmen. Campagneadviseurs reageren ook op de peilingen; ze passen hun campagne aan, mikken op bepaalde doelgroepen, pikken goed scorende discussiepunten op en laten andere weer vallen.

De voorspellende waarde van peilingen en exit polls staat nu ter discussie. Velen vragen zich af of er bij de volgende verkiezingen nog wel gepeild moet worden.

Wat ons betreft is het antwoord een professioneel ja. We leven in een informatiemaatschappij. We leven ook in een democratie, een staatsvorm die uitgaat van mondige mensen die weten wat ze van hun regeerders willen. (Er zijn landen waar niet gepeild mag worden Dat zijn meestal niet de leukste landen.) Die mondige mensen hebben daarvoor informatie nodig. Die informatie moet dan wel kwaliteit hebben en de informatieleveranciers moeten aangeven hoe de informatie tot stand is gekomen en hoe groot de onzekerheden in de uitkomsten zijn.

Peilingen zijn gebaseerd op schattingen, het woord zegt het al. Als je schat is er onzekerheid. Het geheim van de smid hoeft men niet te verklappen, maar wel moet men over die onzekerheid rapporteren. Zodat een journalist minimaal enkele goede richtlijnen kan volgen, bijvoorbeeld die van het persbureau Associated Press. En zodat de kiezer de volgende keer weet waar het om gaat.

Dr. Gerty Lensvelt-Mulders endr. Edith de Leeuw zijn methodologen en verbonden aan Universiteit Utrecht.

Richtlijnen van Associated Press over peilingen zijn te vinden op www.aapor.-org/apstylebook.pdfCode voor publicatie: www.esomar.org. Klik op >standards >opinon pollingKritische vragen over polls: www.ncpp.org/?q=node/4