‘Je bent direct bang dat ze zeggen: psychologen zijn maar knoeiers’

Uit psychologieonderzoek komt heel vaak niet hetzelfde als je het overdoet. Wat betekent dat eigenlijk?

Psychologie is populair omdat het mensen intrigeert. Zoals bovenstaande optische illusie die vaak op internet wordt gedeeld.

Zo, dat vakgebied kunnen we nu wel weggooien. Die reactie hadden sommige mensen op het nieuws, gisteren in het wetenschappelijke tijdschrift Science, dat van de helft tot twee derde van honderd gepubliceerde onderzoeken uit de psychologie de resultaten niet reproduceerbaar waren. 270 onafhankelijke onderzoekers kregen andere resultaten. Alwéér de psychologie in opspraak, het vakgebied dat de laatste jaren al door een aantal fraudezaken werd opgeschrikt, te beginnen met Diederik Stapel in in 2011.

Prominente psychologen reageren geschokt, niet op het onderzoek maar op de commotie. „Je hebt meteen de angst dat het in de publiciteit komt als: ‘dat is een stelletje knoeiers’”, zegt sociaal psycholoog Naomi Ellemers, lid van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) en per 1 september universiteitshoogleraar in Utrecht. Dat beaamt de Amsterdamse hoogleraar organisatiepsychologie Carsten de Dreu, ook KNAW-lid. En waar die critici overheen kijken, zegt hij: „De psychologie is een van de weinige vakgebieden die dit zo serieus en grootschalig doet. Misschien is elders wel hetzelfde aan de hand terwijl we dat niet weten.”

Veertig procent wel in orde

Daarover straks meer. Intussen klinkt de jonge Eindhovense psycholoog Daniël Lakens, één van de 270 psychologen die zich samen de Open Science Collaboration noemen, opgewekt. „De gemiddelde repliceerbaarheid van sociaal en cognitief psychologisch onderzoek ligt op zo’n 40 procent”, zegt hij. „Best knap: je bestudeert wezens met een vrije wil, die maar van alles doen. Daar patronen in herkennen is ook echt heel moeilijk.” En je wilt ook geen 100 procent repliceerbaarheid, zegt hij. „Je kunt ook zorgen dat in Nederland niemand meer overlijdt in een auto-ongeluk: als iedereen 20 kmilometer per uur rijdt. De repliceerbaarheid moet hoger, maar waar precies, daarover kun je discussiëren.” Financiers moeten onderzoekers ook stimuleren om langzamer, betrouwbaarder te werken, vindt hij.

De Dreu en Ellemers hebben wel kanttekeningen bij het Scienceonderzoek. Er zijn alleen studies herhaald die relatief makkelijk te doen zijn, zegt De Dreu. Dáárvan is de helft tot twee derde niet repliceerbaar. „Niet van de héle sociale en cognitieve psychologie.” Het is inderdaad geen random steekproef, zegt Lakens. „Maar dit is nog een vrij redelijke afspiegeling. En eerder werd onderzoek alleen gerepliceerd als mensen toevallig sceptisch waren. Dat geeft ook een vertekend beeld: als je al denkt ‘dit gaat niet werken’, dan werkt het vaak ook niet.”

Maar wat betekent het eigenlijk als een onderzoek niet gerepliceerd wordt, vraagt Ellemers zich af. „Het blijft een moeilijk verhaal als iets de ene keer wel werkt en de andere keer niet. Wij hadden laatst in een onderzoek naar discriminatie één blanke en één zwarte proefleider, en de resultaten draaiden precies om. Achteraf zeg je: natuurlijk is dat relevant, maar voordat je erachter bent dat dát het is... Zo kom je ook nieuwe dingen op het spoor.”

En de huidige wetenschap is sowieso altijd een tussenstand, benadrukt ze. „Als een medisch onderzoeker een nieuw enzym heeft ontdekt, hoef je ook niet meteen naar de dokter te gaan: ‘mag ik die pil?’ – daar zit jaren tussen. Dat is bij ons niet anders.”

Oh, de medische wetenschap, zegt Lakens. „Ja, daar is de situatie veel dramatischer, daar is de repliceerbaarheid nóg lager. Als je de psychologie wilt bekritiseren, kijk dan eerst eens naar medisch onderzoek.”

Er is inderdaad veel commotie rond de repliceerbaarheid van onderzoek in de biomedische wetenschappen, zegt geneticus Hans Clevers, oud- president van de KNAW. „Dat komt met name door een artikel over kankeronderzoek in Nature. Daarvan zou 80 procent niet repliceerbaar zijn, maar wat het eigenlijk betekende, was dat 80 procent niet robuust genoeg was om er al industriële processen op te baseren. Als je mij vraagt hoeveel van het gepubliceerde biomedische onderzoek niet klopt, zou ik zeggen: 30 procent.” Wetenschap is ook een proces, van sommige dingen weet je niet meteen precies hoe ze in elkaar zitten. „Dat is het gebied waarover we nog in dubio zijn, waarvan achteraf persoon A gelijk krijgt en niet persoon B.”

Die 30 procent is weliswaar fors minder dan de circa 60 procent niet gerepliceerde onderzoeksresultaten in het Scienceartikel over psychologie van gisteren, maar het is ook nog niet in onderzoek vastgesteld.

Maar zulk onderzoek is nu wel onderweg: onder leiding van dezelfde Brian Nosek die ook het Science-onderzoek leidde, wordt nu van honderd veel geciteerde artikelen over kankerbiologie uit 2010-2012 het onderzoek deels overgedaan. Er zit ook een artikel van Clevers bij. „Toch spannend”, zegt hij. „Op congressen wordt ook eindeloos aan dit nieuwe onderzoek gerefereerd. Als vakgebied wil je wel zo betrouwbaar zijn dat de geldstroom niet in gevaar komt. Maar dit is absoluut geen fraude. In het hart zijn we zeker, maar aan de randen zijn we zoekende.”

Dat zeggen ook Ellemers en De Dreu. „We doen ook interviews en observaties”, zegt Ellemers, „niet alleen directe, maar ook conceptuele replicaties. Als dat allemaal dezelfde kant op wijst, vind ik dat interessanter dan een directe replicatie. Alleen directe replicaties doen is niet de koninklijke methode.” Lakens blijft blij. „Deze grootschalige samenwerking in de wetenschap, terwijl die zó competitief is ingericht... Heel mooi om te zien.”