't Is maar net hoe je die vraag stelt

Het aantal opiniepeilingen stijgt sterk. Internet maakt het goedkoop en makkelijk.

Onderzoekers sturen de publieke opinie aan, in plaats van alleen te rapporteren.

Maurice de Hond Foto NRC H'Blad Maurice Boyer 3-6-2009

De selectiemethode van ondervraagden deugde niet en een paar humeurige verplegers konden zorgen voor een buiteling in de ranglijst. En de onderzoeker wierp zich tegelijk op als betaald adviseur van ziekenhuizen die een lage waardering in de ranglijst wilden voorkomen.

Dit zijn voorbeelden van wat allemaal misging bij het onderzoek dat weekblad Elsevier sinds 1996 jaarlijks laat doen naar de kwaliteit van ziekenhuizen. Ondanks dat het onderzoek aan alle kanten rammelde, verbinden media én patiënten verregaande conclusies aan dergelijke ziekenhuisranglijsten. De opgelopen imagoschade kan bijvoorbeeld betekenen dat patiënten bepaalde ziekenhuizen voortaan mijden.

De brancheorganisatie voor markt- en opinieonderzoek, de MOA, gaat nu optreden tegen gebrekkig onderzoek, zoals dat van Elsevier. Daarvoor heeft de organisatie vorige week een ombudsman aangesteld, die zowel op klachten van klanten als op eigen initiatief ondermaats onderzoek wil gaan aantonen.

Ombudsman Lex Olivier, die de functie samen met twee collega’s vervult, deed ervaring op met de doorlichting van de ziekenhuizenranglijst van Elsevier. Het weekblad nam onlangs alle aanbevelingen over en komt dit jaar met een gewijzigd onderzoek.

Het hoofddoel van de nieuwe ombudsman is om de goede naam van de branche hoog te houden. „Het is puur eigenbelang”, zegt Olivier. Onbetrouwbaar en misleidend onderzoek heeft namelijk vervelende gevolgen voor alle onderzoeksbureaus, zegt de ombudsman. „Ten eerste gaat het publiek door de toename van onzinonderzoeken steeds minder waarde hechten aan de resultaten van serieuze peilingen. Ten tweede zullen respondenten minder vaak geneigd zijn om mee te werken aan een onderzoek, als zij vaak misleidend of onprofessioneel zijn benaderd.”

In zijn strijd tegen gebrekkige peilingen heeft Olivier geen juridische sancties tot zijn beschikking – slecht of misleidend onderzoek is niet strafbaar. Blijft over: naming and shaming. „We gaan op zoek naar veelvoorkomende fouten, en pikken er vervolgens één serieuze speler uit. Die pakken we aan in de vakpers en eventueel ook in de landelijke pers.” Maar het hoeft niet altijd zo ver te komen, zegt Olivier. „Elsevier paste de onderzoeksmethode voor hun ziekenhuisranglijst aan, nadat wij het weekblad op zijn fouten hadden gewezen.”

Een gevaar van gebrekkige opiniepeilingen is ook dat onderzoekers niet meer rapporteren over de publieke opinie, maar die opinie zelf aansturen. Bijvoorbeeld in het geval van oud-minister Camiel Eurlings, zegt Olivier. „Eurlings beschouwde de resultaten van de ANWB-ledenenquête over kilometerheffing als de mening van dé automobilist.”

Steeds meer media publiceren peilingen, en steeds meer commerciële organisaties gebruiken opiniepeilingen om de pers te halen, ziet Olivier. „De voornaamste oorzaak voor die stijging is dat de mening van de Nederlander peilen nog nooit zo goedkoop is geweest. Iedereen kan op een website een onderzoekje opzetten.” De keerzijde is dat die onderzoeken vaak onprofessioneel worden uitgevoerd. Zo doen media vaak zelfstandig peilingen, terwijl ze daarvoor geen gespecialiseerde mensen in dienst hebben.

Ook commerciële onderzoeksbureaus voldoen volgens Olivier lang niet altijd aan de eisen. „Het is heel gemakkelijk om de uitkomst van een onderzoek te sturen met suggestieve vragen”, zegt Olivier „Noem het feit dat er doden zijn gevallen in Uruzgan en mensen zijn sneller geneigd te antwoorden dat het beter is geen troepen naar Afghanistan te sturen. Helaas gebeurt dit nog veel te vaak.”

WRR-onderzoeker Will Tiemeijer promoveerde op opiniepeilingen en is auteur van het boek Wat 93,7 procent van de Nederlanders moet weten over opiniepeilingen. Hij deelt de waarneming dat er grote kwaliteitsverschillen bestaan tussen markt- en opiniepeilingen. „Veel bureaus gooien er met de pet naar. Een even groot probleem is dat journalisten vaak peilingen overnemen, terwijl ze die niet kritisch hebben doorgelicht.”

Het gaat vooral mis bij de manier waarop onderzoekers hun vragen stellen, zegt Tiemeijer. „Maurice de Hond heeft bijvoorbeeld een website waarop bezoekers kunnen stemmen op Kamermoties, schaduwkamer.nl. Het probleem is dat die bezoekers geen toelichting bij de moties krijgen. Dan krijg je allerlei meningen over zaken waar mensen geen verstand van hebben en waarvan ze de context niet kennen.”

De ombudsman werkt mogelijk zelf ook niet geheel onafhankelijk. Olivier en zijn team beoordelen de bij MOA aangesloten bureaus niet. Daar vallen bijvoorbeeld TNS NIPO, Synovate en Motivaction onder. De ombudsman wekt zo de schijn behalve kwaliteitsbeoordelaar ook schaakstuk te zijn in de concurrentiestrijd tussen de MOA en onafhankelijke bureaus, zoals peil.nl van Maurice de Hond.

Niets van waar, zegt Lex Olivier. „Bij de MOA aangesloten bureaus hebben een kwaliteitscode onderschreven. Wijken ze daarvan af, dan kan dat leiden tot juridische sancties, zoals uitsluiting van de vereniging.” Volgens hem worden MOA-leden dus juist harder aangepakt als zij de regels overtreden dan bij niet-leden het geval zou zijn.

Maurice de Hond heeft echter weinig vertrouwen in het ‘zelfreinigende vermogen’ van de MOA. „In 2003 en 2004 heb ik mijn beklag gedaan bij de organisatie, over beweringen die twee van hun leden over mijn onderzoek deden in de media. Hoewel ik mijn gelijk empirisch kon bewijzen, heeft de MOA die klachten nooit behandeld. Ze wilden natuurlijk niet aan twee vooraanstaande leden komen.”

Bovendien vindt De Hond het gek dat de MOA-bureaus nu net als hij ook (dagelijkse) internetpeilingen doen. „Bijna alles waar deze bureaus vroeger kritiek op hadden, brengen ze nu zelf in praktijk.” En wat als de ombudsman binnenkort bij De Hond aanklopt? „Dan zal ik me daar weinig van aantrekken. Laat ze maar beginnen bij de eigen organisatie.”