Verdacht piekje in de psychostatistiek

Een opvallend aantal psychologische onderzoeken doorstaat de toets van statistische significantie maar nét. Mogelijk komt dat omdat veel onderzoekers hun data masseren, door bijvoorbeeld afwijkende proefpersonen te negeren, om op die manier publiceerbare resultaten te verkrijgen.

Dat schreven de psychologen E.J. Masicampo en Daniel Lalande begin deze maand in het wetenschappelijke tijdschrift Quarterly Journal of Experimental Psychology.

De Amerikaan en Canadees hebben een complete jaargang van drie verschillende psychologische tijdschriften doorgespit, op zoek naar de p-waarden die onderzoekers in hun artikelen vermelden. Wetenschappers gebruiken p-waarden om in te schatten of hun resultaten op een reëel verband wijzen, of dat het om een toevalsbevinding gaat.

Binnen de psychologie wordt de arbitraire grens van 0,05 gehanteerd. Ligt ‘de p’ onder de 0,05? Dan heet een gevonden verband significant. Erboven? Dan kan toeval niet worden uitgesloten.

Precies vóór die significantiegrens van 0,05 troffen Masicampo en Lalande afwijkend veel onderzoeken aan. Dat kan erop wijzen dat onderzoekers, hun peers en uitgevers onderzoek vooral beoordelen op grond van p-waarden, waarbij ze niet-significante resultaten negeren. Of erger: dat sommige onderzoekers hun resultaten bijschaven, om maar onder een p-waarde van 0,05 uit te komen.

Masicampo, die normaal gesproken zelfbeheersing onderzoekt, weet dat ook andere vakgebieden door de significantiejacht worden geplaagd. „In ecologische, sociologische en klinische publicaties zie je diezelfde hobbel, vlak voor de 0,05”, schrijft hij in een e-mail.

Is Masicampo niet bezorgd dat het imago van de psychologie weer een deukje oploopt door zijn onderzoek? „Volgens mij heeft de psychologie niet meer problemen op dit vlak dan andere vakgebieden. Hopelijk beseffen mensen dat dit aan het licht komt, juist omdat we begaan zijn met het bedrijven van goede wetenschap.”