De krant maakt nieuws uit een peiling: maar hoe zit het?

Even peilen: hoe betrouwbaar vindt u de peilers?NRC Handelsblad organiseert geregeld enquêtes, vaak samen met een onderzoeksbureau – natuurlijk in de hoop dat daar nieuws uit komt. Zo hield de krant een peiling onder burgemeesters over coffeeshops (2008), onder PvdA- en SP-politici (2012) en onlangs nog een onder gemeenteraadsleden.

Daar komen ook geregeld vragen over, want hoe deugdelijk zijn die peilingen?

Verschillende lezers, onder wie één burgemeester, vroegen zich dat af over de enquête onder burgemeesters die de krant zaterdag publiceerde: tachtig burgemeesters kregen een vragenlijst, zestig reageerden (anoniem). Daaruit bleek dat bijna de helft (46 procent) voorstander is van grotere gemeenten, dus van fusies. De peiling behandelde meer onderwerpen (de gekozen burgemeester, de kwaliteit van raadsleden), maar dit bracht de krant als nieuws (Bijna helft burgemeesters wil grotere gemeenten, 1 maart).

Maar, vraagt een lezer verbaasd, als bijna de helft vóór fusies is, en zoals het artikel meldt „bijna niemand neutraal”, dan is toch meer dan de helft tégen? Waarom is dat dan niet het nieuws?

Nou ja, het klopt dat de meesten tegen waren, zegt een van de auteurs, redacteur lokaal bestuur Ingmar Vriesema. Maar het hoge percentage voorstanders was onverwacht en opmerkelijker. Omdat fuseren voor deze groep geen neutrale kwestie is, maar een waarbij zijzelf in het geding zijn: meer fusies betekent minder burgemeesters. Nieuwswaardig dus, dat een aanzienlijk percentage toch vóór is. Die uitleg stond ook, kort, in het bericht dat de krant ervan maakte.

Akkoord, maar iets meer context was behulpzaam geweest. Want bijna een jaar geleden bracht de krant een andere enquête, met een tegenovergestelde conclusie: 80 procent van de burgemeesters was toen nog tégen fusies (Burgemeesters tegen fusies, 9 maart 2013). Alle ruim vierhonderd burgemeesters waren toen benaderd; 196 reageerden.

Dat zijn twee krantenknipsels die elkaar de fruitmand uitvechten, zou je denken. Hoe zit het? Vriesema legt uit: destijds ging het om een omstreden kabinetsplan om 100.000 inwoners als minimumnorm te stellen voor gemeenten, dáár waren de meeste burgemeesters tegen. Maar dat plan is sindsdien bijgesteld – dus die druk is van de ketel.

Die eerdere enquête was wel veel breder opgezet. Eén burgemeester vindt dat een bezwaar van de jongste peiling: kun je in het algemeen iets over „de burgemeesters” concluderen op basis van een peiling onder maar zestig van hen?

Goeie vraag. Het gaat er dan om: was de steekproef aselect, zijn de ondervraagden representatief, hoe hoog is de non-respons, wat is de foutmarge.

De verantwoording die de krant bij de enquête plaatste, geeft niet op al die punten uitsluitsel. Daarin staat alleen dat de respondenten naar politieke partij stroken met het landelijke beeld, dus dat is in orde. Vriesema licht toe dat hetzelfde geldt voor de spreiding naar grootte van gemeenten. Over de non-respondenten (zit daar een patroon in?) weet de krant verder niets; een zwakke schakel.

Over de respondenten lezen we verder dat het gaat om deelnemers aan de „jaarlijkse burgemeestersbijeenkomst in Lochem”. Maar wat is dat? Komt daar een bepaald soort burgemeesters? Dan zou de steekproef niet aselect zijn.

Het blijkt te gaan om een jaarlijkse conferentie die achtereenvolgens wordt bezocht door zes groepen van zo’n veertig burgemeesters. Voor de krant was dat een mooie kans om de ambtsdragers, die via het beeldscherm voortdurend worden bestookt met enquêtes, persoonlijk een vragenlijst te overhandigen.

De zes groepen, aldus Vriesema, waren puur samengesteld op basis van agendavoorkeur, dat maakt aannemelijk dat de steekproef aselect is. Maar hoe select zijn de zes groepen bij elkaar, vergeleken met de burgemeesters die wegbleven? Niet, zegt Vriesema, de conferentie is er tenslotte elk jaar, en alle burgemeesters hebben wel eens meegedaan.

De krant peilde nu dus in twee van de zes groepen. Dat is wel weinig – voor een steekproef onder een populatie van 403 man moet je bijna de helft ondervragen, wil je de gewenste betrouwbaarheid van 95 procent halen. Bij 60 van de 403 ligt de foutmarge al boven de 10 procent. Dat is hoog, maar: zelfs in het ongunstigste geval zou dan nog steeds ongeveer een derde van de ondervraagden vóór fusies zijn. Dat is ook nog opmerkelijk.

Kortom, de enquête was onderbouwd, maar de verantwoording had uitgebreider en preciezer moeten zijn. Of zet alles op de site, inclusief de vragenlijst.

En: je kunt erover twisten of de krant dit nu als nieuws over „de burgemeesters” had moeten brengen, of – wat mij beter lijkt – met een slag om de arm als een interessante, voorlopige indicatie.

Er kwam ook lezerskritiek op een ander onderzoek waar de krant haar naam aan heeft verbonden, het ‘Beste Werkgevers Onderzoek’. Dat stond in december in de bijlage Carrière van nrc.next en, in een aangepaste vorm, in het katern Economie van NRC Handelsblad.

Conclusie: Shell is de beste werkgever van Nederland (nrc.next, 11 december 2013). De middagkrant kopte, wat cryptischer: Goede baas zorgt voor beweging. Maar ook bij dat stuk stond een top-10 van de bedrijven, met Shell op één.

Dit onderzoek wordt gedaan door bureau SatisAction en de Tilburgse universiteit, met de krant als ‘mediapartner’. Bedrijven kunnen zich zelf aanmelden en krijgen dan vragen over arbeidsvoorwaarden en werktevredenheid.

Probleem: er deden maar 31 bedrijven en organisaties mee. Hoe kun je daar iets stelligs uit destilleren over ‘de beste bedrijven van Nederland’? Bovendien, wie zijn arbeidsvoorwaarden niet op orde heeft, kijkt wel uit om mee te doen.

Het kwalitatieve onderzoek zal wetenschappelijk verantwoord zijn, maar het lijkt mij niet geschikt om er een journalistieke top-10 of ranglijst van te maken, met het keurmerk van de krant.

Nu weet de lezer ook wel dat je zo’n ranglijst met een korreltje zout moet nemen. Maar te veel korreltjes zout zijn niet goed voor een krant.

Reacties: ombudsman@nrc.nl

    • Sjoerd de Jong