Kijken naar beeld ‘De Denker’ maakt je toch niet minder religieus

Replicatie-onderzoek

Van 21 sociaal-wetenschappelijke experimenten konden er 8 niet worden gerepliceerd – 13 wel. Daarmee scoren deze experimenten beter dan die in de psychologie en het kankeronderzoek.

Bronzen afgietsels van het beeld De Denker van de Franse beeldhouwer Auguste Rodin in het Museum Singer Laren. Foto Evelyne Jacq

Van een steekproef van 21 sociaal-wetenschappelijke experimenten die tussen 2010 en 2015 in de wetenschappelijke toptijdschriften Nature of Science zijn gepubliceerd, blijkt in een nieuw replicatieproject slechts uit 13 hetzelfde resultaat te komen. En die gerepliceerde resultaten zijn gemiddeld half zo sterk als in de originele experimenten. Dat schrijven 24 auteurs die aan het replicatieproject meewerkten in een artikel in Nature Human Behaviour (27 augustus).

Om zeker te weten dat onderzoeksresultaten echt kloppen, is het van groot belang dat experimenten regelmatig worden overgedaan en dat er dan hetzelfde uitkomt. Daar was van oudsher weinig animo voor onder wetenschappers – replicaties van onderzoek leveren niet de toppublicaties op waar een wetenschappelijke carrière op te bouwen valt. Maar de laatste jaren is de roep om replicatie gegroeid, vooral doordat onderzoekers nogal eens (spectaculaire) bevindingen rapporteerden die andere onderzoekers later niet of nauwelijks terugvonden in hun onderzoeken. Vooral in de sociale wetenschappen is de afgelopen jaren een aantal grote replicatieprojecten uitgevoerd.

Of literatuur je begrip voor anderen echt vergroot, is nu onderwerp van debat

De nieuwe resultaten zijn vergelijkbaar met die van een eerder replicatieproject in de economie, waarbij uit 11 van 18 experimenten (61 procent) hetzelfde resultaat kwam. En ze zijn beter dan die van eerdere replicatieprojecten in de psychologie en de kankerbiologie, waarbij uit respectievelijk 35 en 40 procent van de studies hetzelfde kwam als uit het originele onderzoek.

De Denker van Rodin

De onderzoekers kunnen strikt genomen niet concluderen dat de resultaten van de acht experimenten waar nu niet hetzelfde uitkwam, niet klopten. Misschien hebben de repliceerders toch iets cruciaals anders gedaan dan de oorspronkelijke onderzoekers. Die mochten van Nature Human Behaviour allemaal een reactie schrijven. Eén team gaf ruiterlijk toe geen vertrouwen meer te hebben in hun bevinding dat mensen minder religieus zeggen te zijn na het zien van afbeeldingen van De Denker, een vermaard beeld van Rodin. Een ander team droeg aan dat andere experimenten hun hypothese, dat literatuur lezen bijdraagt aan een beter begrip van hoe anderen denken, wél steunden. Dat soort discussies moet uiteraard in de betreffende deelgebieden verdergaan, met meer onderzoek.

Eerste auteur Brian Nosek is optimistisch over de repliceerbaarheid van sociaal-wetenschappelijk onderzoek. Steeds meer psychologietijdschriften eisen dat hypotheses en onderzoeksmethoden vooraf online worden vastgelegd en dat data achteraf openbaar zijn. Dat zal de repliceerbaarheid vergroten, schrijft hij in een e-mail.

Vernieuwend onderzoek

De experimenten die de repliceerders onder de loep namen, vormen overigens geen willekeurige steekproef uit de sociaal-wetenschappelijke literatuur. De onderzoekers zochten alle artikelen uit Science en Nature uit de genoemde periode op die minstens één sociaal-wetenschappelijk experiment rapporteerden dat een hypothese toetste en daar statistisch significant bewijs voor vond. Het experiment moest studenten of anderszins makkelijk toegankelijke mensen als proefpersonen hebben – het moest dus niet te ingewikkeld zijn om over te doen. Als er meer dan één experiment in een artikel werd beschreven dat in aanmerking kwam, kozen de repliceerders daarvan het eerste, en uit dat experiment wat zij het belangrijkste resultaat vonden. Dat was niet altijd wat de oorspronkelijke onderzoekers het belangrijkst vonden.

En omdat het gaat om studies uit Science en Nature, de meest prestigieuze algemene wetenschappelijke tijdschriften, gaat het waarschijnlijk om relatief vernieuwende onderzoeksresultaten. Het is onduidelijk, schrijven de auteurs, of die resultaten strenger of juist minder streng zijn beoordeeld dan de gemiddelde sociaal-wetenschappelijke studie.

Interessant is verder nog dat een panel van enkele honderden (voornamelijk) collega’s boven kansniveau kon voorspellen uit welke replicatie-experimenten wel en niet hetzelfde zou komen als uit het origineel.

    • Ellen de Bruin