Fraude bij Stapel? Er ging nog meer verkeerd

Slordig, vaag en geschoond van onwelgevallige resultaten. Het onderzoekswerk van Diederik Stapel kende nogal wat mankementen.

De commissies die de fraude van Diederik Stapel onderzochten – Levelt in Tilburg, Noort in Groningen, Drenth in Amsterdam – zijn gestuit op zogenoemde sloppy science in de sociale psychologie. Deze term staat voor een manier van wetenschap bedrijven die niet frauduleus is, maar die evenmin voldoet aan de fundamentele regels van wetenschappelijk onderzoek.

Onwelgevallige resultaten weg

Zo bleek in het grootste deel van de 137 onderzochte artikelen van Stapel, waaraan zeventig co-auteurs meeschreven, sprake van de zogeheten verificatiebias. Daarmee wordt bedoeld dat resultaten en proefpersonen die de hypothese van de onderzoeker niet bevestigen, weggelaten of ‘onderdrukt’ worden.

In het eindrapport staan voorbeelden, waarvan hier een selectie:

Een experiment levert niet de verwachte statistisch significante resultaten. Het experiment wordt herhaald, vaak met kleine wijzigingen, en men rapporteert dan de uitkomst van alleen het experiment dat wel de verwachte resultaten oplevert. In het artikel wordt hiervan geen melding gemaakt.

In een experiment gedragen twee van de drie omstandighedens zich volgens de onderzoekshypothesen, een derde niet. Zonder vermelding wordt die derde omstandigheid uit het artikel gelaten.

Onderzoeksbevindingen worden zonder vermelding op slechts een deel van de onderzoekspersonen gebaseerd. Soms zijn hele groepen proefpersonen weggelaten, met name indien de uitkomsten de hypothesen in eerste instantie niet bevestigden, opnieuw zonder dat te vermelden.

Slordigheden en vaagheden

De commissies vonden daarnaast nog ‘talloze slordigheden en vaagheden’. Een selectie:

De onderzoeksgroep werd slechts zeer globaal aangeduid, bijvoorbeeld ‘scholieren in Nederland’.

Er werd verwezen naar een bestaand meetinstrument, maar onvermeld bleef dat hiervan een eigen variant gebruikt was.

In het artikel staat dat iemands aantrekkelijkheid was vastgesteld door een andere proefpersoon. In werkelijkheid had een proefpersoon zijn eigen aantrekkelijkheid een cijfer gegeven.

De vermelde aantallen proefpersonen weken soms naar beneden af van het feitelijk onderzochte aantal; had men alleen een deelgroep onderzocht?

Namen (John, Mary) die vaak een belangrijke rol spelen in de experimentele condities werden in het artikel verzonnen of verdraaid ten opzichte van de werkelijke gebruikte namen, of onvermeld gelaten.

Commissies vinden al met al dat er voor de sociale psychologie in binnen- en buitenland voldoende redenen zijn om een eigen grondig onderzoek in te stellen naar het vakgebied.