Maar zijn die te vertrouwen?

Een slecht onderzoek is voor iedereen die het vak methoden&technieken heeft gevolgd, snel te herkennen.

Kijk eerst of de onderzoeker een belang heeft. Een studie van Douwe Egberts waaruit blijkt dat de productiviteit op kantoor met 20 procent toeneemt door een koffieautomaat, is waarschijnlijk slecht uitgevoerd. Commerciële onderzoeksbureaus staan bovendien vaak onder hoge tijdsdruk: ze moeten snel met een eenduidig cijfer komen.

Cijfers die in de miljarden lopen, zijn erg moeilijk te berekenen. Zeker bij brede onderzoeksvragen die van alle kanten worden beïnvloed zoals ‘de kosten van slecht onderwijs’. Een grote marge in de onderzoeksresultaten (‘dat kost de samenleving tussen de 12 en 18 miljard per jaar’) lijkt onzorgvuldig, maar is juist betrouwbaarder.

Lang niet alle onderwerpen laten zich gemakkelijk kwantificeren, en dat vormt een gevaar voor de betrouwbaarheid van onderzoek. In het geval van het CPB over onderwijs: hoe hard kunnen ze maken dat het onderwijsniveau ‘slecht’ is? Als je probeert te kwantificeren moet je werken met vooronderstellingen die onzeker zijn. Dus kan ook de uitkomst van zulk onderzoek nooit eenduidig zijn.

Neem het onderzoek van Interview-NSS uit 2007 dat vergaderen ons jaarlijks 60 miljard euro per jaar zou kosten. Bij dergelijke grote bedragen is iets precies uitrekenen per definitie onmogelijk. Bij grote getallen is het verstandig een marge aan te houden. Een statistische schatting is tenslotte een best guess. De onderzoeker kan nooit alle factoren die het resultaat beïnvloeden precies kennen, zeker niet als het gaat over voorspellingen in de toekomst.

Een andere valkuil van statistisch onderzoek: buitenlandse onderzoeken rechtstreeks naar Nederland vertalen: ‘dat blijkt uit Amerikaans onderzoek. Voor Nederland betekent dit dat...’. Negen van de tien keer werkt dit niet: omstandigheden die de cijfers beïnvloeden verschillen vaak per land.

Nederland produceert vergeleken met het buitenland veel betrouwbaar onderzoek. Vooral studies uitgevoerd door het Centraal Bureau voor de Statistiek (CBS) hebben een goede reputatie. Dat zegt overigens niks over wat andere bedrijven en bureaus in hun onderzoeken weer met die data doen.