Van veel onderzoek blijft weinig over als je het herhaalt

Als psychologen eerder gepubliceerd onderzoek van hun vakgenoten zo precies mogelijk overdoen, zijn de oorspronkelijke resultaten in de helft tot tweederde van de gevallen niet geldig meer. Of de onderzoekers van de oorspronkelijke artikelen goed aangeschreven staan, maakte niet uit. Wel houdt een resultaat vaker stand als het effect in het oorspronkelijke onderzoek groter was, en minder verrassend.

Dat blijkt uit een groot replicatieproject waarbij 270 psychologen honderd psychologiestudies hebben herhaald. De resultaten staan vandaag in Science. Met wetenschapsfraude heeft dit niets te maken. Wel met een ander probleem: dat tijdschriften graag onderzoek mét en niet graag onderzoek zónder significante effecten publiceren. Er worden heel vaak onderzoeken gedaan waarin geen effect wordt gevonden, maar dat haalt de tijdschriften amper.

De te herhalen studies werden niet geheel willekeurig gekozen. De initiatiefnemers kozen drie wetenschappelijke psychologietijdschriften en lieten vakgenoten kiezen uit tientallen artikelen uit 2008. Niet alle artikelen die in aanmerking kwamen, werden uitgekozen: dure studies met speciale apparatuur of ingewikkelde steekproeven (makaken, autisten) bijvoorbeeld relatief vaak niet. De psychologen deden steeds het laatste experiment uit het artikel. Ze hadden ook contact met de oorspronkelijke auteurs.

De auteurs benadrukken dat ze de repliceerbaarheid van onderzoeksresultaten uit de psychologie niet uitplozen omdat er iets bijzonders aan de hand is met de psychologie, maar omdat dat hun eigen vakgebied is. Ook in andere vakgebieden bestaan zorgen over de repliceerbaarheid van resultaten.