De stelling van Bregje Holleman: er wordt te veel betekenis gegeven aan opiniepeilingen

Alles en iedereen peilt de mening van de burger. De overheid wil weten wat we van Europa vinden, op stand.nl staat iedere dag een andere stelling, kranten en tv-programma's doen snelle onderzoekjes. De resultaten daarvan worden te weinig gerelativeerd, zegt Bregje Holleman tegen Marc Leijendekker.

Bregje Holleman is als docent/onderzoeker verbonden aan het Utrechts instituut voor linguïstiek van de Universiteit Utrecht en doet onderzoek naar de invloed van de formulering van vragen in opinieonderzoeken. (Foto Evelyne Jacq) Europa, Nederland, Utrecht 16-05-2006 Universiteit Utrecht. Inst. Nederlands; Bregje Holleman, dr. B.C. Holleman docent onderzoeker Nederlands/Taalbeheersing Foto: Evelyne Jacq Jacq, Evelyne

Paul Witteman verwees maandag in Nova naar enquêtes waaruit bleek dat een overgrote meerderheid vindt dat Ayaan Hirsi Ali geen Kamerlid meer moest zijn en dat haar paspoort afgenomen moest worden. Kan je dat zo zeggen?

'Nee. Die maandag vond 75 procent in een NOS/RTL/Nipo-enquête dat Hirsi Ali haar Kamerlidmaatschap moest opgeven, en 67 procent dat haar het Nederlanderschap moest worden ontnomen. Als ik de kranten goed begrijp, bleek uit een andere opiniepeiling op die dag, van Maurice de Hond, dat 50 procent dat vond. Dit soort antwoorden weerspiegelen vluchtige opinies, die in het heetst van het politieke debat gebaseerd zijn op een beperkte set van feiten en die steeds veranderen naarmate nieuwe feiten en overwegingen beschikbaar komen. Je weet bij zo'n kwestie als dit dus niet of wat men maandag vond ook dinsdag nog de 'wil van het volk' is. Als je daar überhaupt al van kunt spreken.'

Mevrouw Kroes kon die cijfers niet geloven en zei: 'Dan ben ik heel benieuwd hoe de vragen zijn geformuleerd'.

'Aan de ene kant vind ik dat flauw. Als een antwoord mensen goed uitkomt, hoor je niets. Is dat niet zo, dan komt er commentaar. Dat is een beetje kinderachtig. Aan de andere kant moet je bij twijfel natuurlijk wel alles kunnen nazoeken.'

Kinderachtig? Er is toch niets tegen een heldere gedragscode?

'Zeker niet. Ik vind dat essentiële elementen uit een opiniepeiling, zoals de precieze vraagstelling en de grootte van de steekproef, altijd opvraagbaar en achterhaalbaar moeten zijn, voor iedereen. Wie opiniepeilingen publiceert, moet dat soort informatie op de website zetten. En dat gebeurt lang niet altijd consequent. De GPD-bladen hebben in 2004 een onderzoek gedaan naar het imago van Balkenende. Ik wilde weten wat ze precies gevraagd hadden, maar ik werd van het kastje naar de muur gestuurd. Dat vind ik niet deugen.'

Trouw had een stuk met de kop 'Markante politica stak haar kop iets te vaak boven het maaiveld' en op de website stond de vraag 'Vindt u dat Ayaan Hirsi Ali iets te vaak haar hoofd boven het maaiveld uitstak?' Het verschil tussen kop en hoofd daargelaten, wat vindt u daarvan?

'Dat is een sturende vraag. De uitslag van die stemming zegt niet zo veel.'

Moet je dan als wetenschapper niet een ingezonden brief sturen?

'Bij mij kriebelt het wel eens, ja. Met onderzoekers van de Vrije Universiteit heb ik een paar jaar geleden onderzoek gedaan dat uitmondde in het boek 'Opinie-maken of opinie-meten'. Toen hebben we onder andere aan bureaus voorbeelden gevraagd van vragenlijsten. Daar zaten stellingen bij als 'De PvdA is helemaal van het drammerige van vroeger af' - dan kon je kiezen van 'helemaal mee eens' tot 'helemaal mee oneens'.Zo leg je de mensen in de mond dat de PvdA vroeger drammerig was.'

Zijn er A- en B-merken bij bureaus voor opinieonderzoek?

'Bij mijn weten niet. Er is een goede beroepscode, en de bekende bureaus doen heel veel gedegen onderzoek. Maar veel onderzoek gebeurt natuurlijk in opdracht, en dan weet je nooit zo goed of de vraagstelling bij de opdrachtgever ligt en of bij het onderzoeksbureau. Neem die journalistieke peilingen, in opdracht van kranten. Zijn die vragen alleen door kranten bedacht, of heeft een onderzoeksbureau ook meegedacht over hoe je die vragen precies moet stellen?'

Wat zou het beste zijn?

'Ik denk dat de onderzoeksbureaus veel expertise hebben en dat het goed zou zijn samen te werken. Ik denk dat een journalist geneigd is te denken in de quote waarmee hij wil openen.'

Driekwart van de mensen staat niet meer achter Hirsi Ali.

'Dat is dus fout. Als je vraagt, staat u achter Hirsi Ali, ja of nee, heb je als journalist inderdaad meteen de kop van je artikel. Maar dat resultaat zegt zo weinig. Je moet alles wat je wilt weten met meerdere vragen bevragen. Moeten we dan alle Somalische asielzoekers die misschien hebben gelogen over hun naam en hun leeftijd opnieuw gaan screenen? En hoe verhoudt zich dit met de mening over Verdonk? Dit is een complex probleem met veel kanten: asielzoekers in het algemeen, met de moord op Van Gogh op de achtergrond. Ik weet niet of het zo zinvol is om te constateren, 75 procent vindt x. Je krijgt met méér vragen altijd een genuanceerder, beter beeld dan wanneer je met een one shot question gaat bevragen. Maar nuance bekt helaas minder lekker.'

Zijn opiniepeilingen in de media nietaltijd een simplificatie?

'Ja. Als je het goed zou willen doen, moet je vooronderzoek doen: in wat voor termen benoemen mensen hun eigen leefwereld, wat voor relaties zien mensen tussen dit onderwerp en andere onderwerpen? Dan moet je uitproberen hoe mensen vragen interpreteren, en hoe die vragen op elkaar inspelen.

Is het betere hier niet de vijand van het goede? Een perfect onderzoek is mooi, maar daar hebben bijvoorbeeld kranten vaak het geld niet voor. Zo krijg je toch een idee van wat de mensen vinden.

'Ja, maar behandel het dan ook zo. Wees je bewust van de onvolkomenheden en laat zo'n onderzoek een beginpunt zijn. Zoveel mensen zeggen dit? Laten we daar eens over doordenken, dat proberen te duiden. Wat ik jammer vind is dat zo'n enquête vaak leidt tot harde koppen en flinke quotes. Lekker quick and dirty. Neem dat onderzoek van de GPD uit 2004 waaruit bleek: 'Niemand wil Balkenende op de koffie.' Dan is het meteen: 'Nou Balkenende, wat zijn de consequenties?' En er komen Kamervragen. Zo creëert een krant in een week z'n eigen stofwolkje en dan is het weer klaar. Een typisch voorbeeld van eenhype'je. Maar dat is niet interessant. Je moet verder gaan zoeken en niet meteen Kamervragen stellen of Balkenende moet aftreden.'

Hoe voorkom je dan dat opiniepeilingen zo'n hijgerig klimaat scheppen?

'Door er anders over te berichten, iets minder in soundbytes, iets meer in de vorm van slow journalism. Probeer zo'n mening te duiden en te plaatsen in plaats van te roepen: nu weten we wat de mensen vinden. Een opinieonderzoek is geen natuurwetenschappelijke meting, maar een vorm van communicatie: een zo goed mogelijke weergave in woorden van genuanceerde gevoelens en gedachten in een bepaalde context.'

Moeten we dan op dieet? Minder peilingen? Kranten doen op hun websites onderzoekjes waar je snel je mening kan geven. Op de radio hebben we stand.nl. Heeft dat allemaal zin?

'De stellingen op stand.nl zijn niet zo genuanceerd, maar ze worden wel ingeleid, en je kan ook zien hoeveel mensen gereageerd hebben. Dat is netjes. Maar verder zegt het niet zo veel. Ik heb niet de illusie dat ik daar dé Nederlandse mening zie. Maar het is best een leuke manier om een discussie te starten.'

Op stand.nl stond dinsdag dat 52 procent het niet eens was met de stelling dat het vertrek van Hirsi Ali een verlies is voor Nederland. Bijna 6.500 mensen hadden gestemd. Hoe moet je zo'n uitspraak nu interpreteren?

'Je kunt concluderen dat ongeveer 6.500 mensen de kwestie belangrijk genoeg vonden om naar de website van stand.nl te gaan om hun mening te geven. Daarnaast blijken deze gemotiveerde mensen nogal verdeeld. Er is op geen enkele manier uit te concluderen wat 'het volk' vindt, omdat minder gemotiveerden, zonder internet of met te veel te doen om midden op de dag naar de radio te luisteren of op stellingen te reageren, niet in deze 6.500 zijn inbegrepen. Overigens zag ik op de website van stand.nl dat meer dan 16.000 mensen reageerden op een stelling over de Nederlandse selectie voor het WK - dat thema leeft blijkbaar wel iets meer. Maar ook aan die uitkomst is geen enkele conclusie te verbinden.'

En de politieke barometer die Nova iedere week presenteert? Het CDA gaat van 44 naar 31 zetels...

'De kloof tussen wat mensen zeggen dat ze doen en wat ze feitelijk doen, is erg groot. Zo'n barometer zegt iets over het gevoel op dat moment, maar heeft een slechte voorspellende waarde over het feitelijke stemgedrag.'

Dwing je met zo'n barometer politici niet om zich bezig te houden met zo'n beperkte peiling, terwijl er wel belangrijker dingen te doen zijn? Werkt dit niet de vluchtigheid in de hand?

'Dat is een moeilijke vraag. Volgens mij luisteren politici in de praktijk niet zo naar dit soort peilingen. Bovendien vind ik dit soort stem-intenties heel wat anders dan opiniepeilingen: hier wordt niet direct een mening bevraagd, maar wordt gevraagd wat men denkt dat men zou stemmen in het hypothetische geval dat'

Sommige politici worden daar erg...

'Zenuwachtig van. Maar dat is niet terecht. Tussen denken en doen zit een groot gat.'

En bovendien worden verkiezingen pas in de laatste drie weken beslist, of zelfs in de laatste tien dagen.

'Ook daar zie je de grote tijdskloof weer, plus het gegeven dat er steeds meer zwevende kiezers zijn die op het laatste moment beslissen. In die zin heb je niet zo veel aan zo'n barometer. Het zou wel heel goed zijn voor politici om te weten wat de burgers inhoudelijk vinden van het beleid.'

Maar media blijven zoeken naar dat nieuws van de korte termijn.

'Zeker. En ik vind het erg wat je dan soms ziet. Neem een onderzoek van een paar jaar geleden in de Volkskrant. De teneur van het artikel was dat autochtonen steeds banger worden van de islam, ook al kennen ze eigenlijk vrijwel geen moslims. Daarbij zaten stellingen als 'Ik vind het goed dat Nederlandse kinderen in aanraking komen met veel verschillende culturen.' Zo'n vraag heeft helemaal niets te maken met de islam, maar de antwoorden worden wel in dat licht geïnterpreteerd.'

Goed, u heeft het onderzoeksrapport opgevraagd. Maar niemand luistert dan nog, de bal rolt al en de trein van de medialogica dendert door.

'Je moet er daarom met zijn allen over blijven doordenken. Wat is nu precies het probleem? Dat klinkt misschien te wetenschappelijk, daar heb je weer iemand die nog een jaar onderzoek wil doen. Maar bij goed beleid maken en bij goede journalistiek hoort dat je het eerst verder uitspit.'

Dan vindt u het opinieonderzoek vanreferenda ook te simplistisch.

'Ja. De meeste vraagstukken lenen zich niet voor een simpel ja of nee.'

De burger krijgt zo wel zeggenschap. Weegt dat niet op tegen het nadeel van simplificatie?

'De burger gaat uiteindelijk voor zijn eigenbelang, daar is hij ook voor. De politicus niet, die moet beleid maken. Neem het referendum over parkeren in de binnenstad in Amsterdam. Wat de binnenstadbewoners daarvan vinden is intrinsiek anders dan wat degenen vinden die erbuiten wonen. Maar er zijn wel meer mensen die buiten de binnenstad wonen. Je krijgt dan een raar soort van meeste stemmen gelden in plaats van een meer inhoudelijke afweging van belangen. Het alternatief is om te kiezen voor een raadgevend referendum, maar dan heb je weer het probleem dat je met maar één vraag niet goed een genuanceerde mening in kaart kunt brengen. Bij het raadgevend referendum over Europa was daardoor volstrekt niet duidelijk wat het nee betekende.'

Dat is het kabinet nu aan het uitzoeken. Met het opinieonderzoek op de website Nederland in Europa.

'Het is op zich sympathiek dat de regering probeert te begrijpen wat er achter dat nee zit. Maar tegelijkertijd is het middel van die web-enquête erg beperkt. Je meet alleen de mening van Nederlanders die zich betrokken voelen bij het onderwerp en die de moeite willen nemen om spontaan naar de website te komen. 'Bovendien zijn er veel mogelijke redenen waarom je nee gestemd zou kunnen hebben die niet aan bod komen. Voor mijn gevoel hebben ze hier geen goed vooronderzoek naar gedaan. De enquête stipt een aantal mogelijke redenen aan: angst voor goedkope arbeidsmigratie, angst voor Turkije en daarmee de komst van een islamitisch land in het verder christelijke Europa. Maar er zijn ook veel zaken die niet aan de orde gesteld worden. De enorme bureaucratie in Europa. Het feit dat Europa zich met alles bemoeit. Het gigantische ambtenarenapparaat. Het verlies van regionale identiteit. Het verlies van landelijke overheden op allerlei thema's waar ze steeds minder over te zeggen hebben. Volgens mij zijn dit voor veel mensen belangrijke thema's, maar daar wordt niets over gevraagd.'

Het scala van mogelijke argumenten had dus beter onderzocht moeten worden?

'Ja. Nu is de respondent in een te beperkt keurslijf gedwongen. Misschien sturen de vragen niet, maar de selectie van thema's wel. Veel vragen zijn ook vaag. 'Vindt u dat Europa een rol moet spelen in Nederland bij het onderwerp milieu?' Mij is niet duidelijk wat dat betekent. Bovendien: als iemand kiest voor de optie 'een grote rol', betekent dat dan dat hij vindt dat het moet blijven zoals het nu is of dat hij vindt dat die rol groter moet worden dan nu? Als de politiek opiniepeilingen doet, moet ze echt willen luisteren. Het is belangrijk om te achterhalen waarom dat nee er was. Als je dan zo'n beperkte vragenlijst hebt en een heleboel thema's uitsluit, ben je een slechte communicatiepartner.'

    • Marc Leijendekker