Sloppy science , het is groter dan Stapel alleen

Het onderzoek naar de fraude van Stapel is afgerond. De hoofdconclusie: er is veel mis in de sociale psychologie. Zijn collega’s hadden de fraude moeten zien, zegt Pim Levelt.

TILBURG - Diederik Stapel in zijn werkkamer in de Universiteit van Tilburg. Tegen de frauderende hoogleraar wordt aangifte gedaan van valsheid in geschrifte en oplichting door de Universiteit van Tilburg en de Rijksuniversiteit Groningen. ANP COPYRIGHT JACK TUMMERS

Redacteur Wetenschap

Amsterdam. De psycholoog Diederik Stapel liet leerlingen van een school voor voortgezet onderwijs de handen in emmers met koud en warm water steken, waardoor ze in een bepaalde gemoedstoestand zouden komen. Daarna moesten zij een vragenlijst invullen. Het experiment werd later beschreven in een wetenschappelijk artikel van de Tilburgse hoogleraar.

„Tientallen proefpersonen die naar voren lopen om hun handen in een emmer water van een constante temperatuur te houden – warm en koud – dat kan in een laboratorium, maar niet in een klaslokaal”, zegt Pim Levelt, voorzitter van de commissie die fraude door Stapel heeft onderzocht. „Dat had iedereen die het artikel las, kunnen zien.” Maar geen vakgenoot van Stapel heeft het opgemerkt.

De commissie-Levelt presenteerde gisteren haar eindrapport. Daarin staat nog eens nadrukkelijk dat Stapel voor meer dan vijftig artikelen de onderzoeksgegevens heeft verzonnen; daarmee is dit ook internationaal een van de grootste gevallen van wetenschapsfraude tot nu toe. „Belangrijker dan de fraude van Stapel is echter dat in de wetenschappelijke wereld niemand aan de bel heeft getrokken over rare dingen in Stapels publicaties”, zegt Levelt, zelf ook psycholoog. Levelt is mede-oprichter voor het Max Planck Instituut voor Psycholinguïstiek en oud-president van de Koninklijke Nederlandse Akademie van Wetenschappen en daarmee een van meest gezaghebbende personen in de Nederlandse wetenschap. „Het hele systeem, van laag naar hoog, heeft gefaald. Dat is onze schokkende conclusie.”

De blindheid van Stapels collega’s wordt volgens Levelt grotendeels veroorzaakt door de sloppy science, die in de sociale psychologie vaak niet wordt opgemerkt. „Ik noem dat slodderwetenschap, zoals onderzoeksmethoden waarbij je proefpersonen of condities die je hypothese niet ondersteunen, weglaat. In deze onderzoekscultuur vallen rare dingen niet meer op. Het is daarom tijd voor zelfonderzoek bij de sociale psychologie. Hier moet echt iets gebeuren.”

Hoe bent u de slodderwetenschap op het spoor gekomen?

„We zijn alle artikelen gaan analyseren. En als je dat met vakmensen doet, dan ga je dingen opmerken. Langzaam maar zeker werd ons duidelijk dat allerlei vormen van sloppy science een systematisch patroon vormden in een groot deel van de Stapel-publicaties.”

Dan kun je toch ook zeggen dat het allemaal de schuld van Stapel is?

„Dat gaat me te ver. In bijna alle artikelen van Stapel was sprake van slodderwetenschap. Dat is onopgemerkt gebleven door 70 co-auteurs, van wie er 32 co-auteur zijn van frauduleuze artikelen, door collega’s van Stapel aan drie universiteiten, door tien leescommissies die frauduleuze dissertaties doorlieten, door tien promotiecommissies, door twee visitatiecommissies en door een leger van editors bij toptijdschriften en de reviewers. Dan kun je niet zeggen ‘dat is alleen Stapel’. Dat is het systeem.”

Hoe makkelijk was dit te zien?

„Je moet twee vragen goed uit elkaar houden. Eén: hadden ze fraude moeten zien? Ja, dat had wel gemoeten, in elk geval had dit in een aantal gevallen gekund; dat hebben de klokkenluiders bewezen [Stapel werd uiteindelijk betrapt door drie jonge promovendi, KB]. Maar belangrijker is de tweede vraag: had de omgeving die slodderwetenschap moeten zien? Daarop zeg ik volmondig ja. Want als wij het onderzoeken, dan vinden wij de slodderwetenschap. Zo kon de leeftijd van een populatie proefpersonen niet kloppen. Stapel deed in Amsterdam onderzoek met studenten, die gemiddeld 18 jaar oud zouden zijn. Zelfs als je alleen de jongste studenten meeneemt in je steekproef, kom je al hoger uit. Dat hadden de co-auteurs moeten zien.”

Waardoor zagen co-auteurs het niet?

„De eerste factor is Stapel zelf. Hij was een coryfee, een machtig man, een charismatisch wetenschapper, die met veel studenten een warm contact had. Dan ga je als jonge co-auteur niet zeer kritische vragen stellen. Als een co-auteur bleef aandringen, dan kon hij heel intimiderend zijn. De tweede factor is de grote schaal van de slodderwetenschap waarin de jonge wetenschappers zijn opgegroeid. Voor hen was het heel gewoon om proefpersonen eruit te gooien die niet deden wat de hypothese voorspelde en heel gewoon om niet de condities te vermelden waaronder de hypothese niet werkte. Zo doen we dat, vertelden ze, zo gaat dat bij ons, wij vonden dat gewoon. In zo’n enigszins corrupte onderzoekswereld merk je niet op dat zo systematisch slodderwetenschap werd bedreven in die artikelen.”

Hoe breed is die cultuur verspreid?

„De Stapel-publicaties vormen geen aselecte steekproef en er zijn in Nederland veel voortreffelijke sociaal psychologen voor wie ik mijn hand in het vuur steek. Maar uit het feit dat de slodderwetenschap van Stapel door het hele systeem is gewandeld, kun je afleiden: in de sociale psychologie functioneren de kritische review-procedures niet goed. Nadat de eerste berichten van onze commissie naar buiten kwamen, is er in de sociale psychologie een bewustwording op gang gekomen en zijn er veel voorstellen voor verbetering gedaan. Als de fraude van Stapel zulke gevolgen heeft, dan is die nog ergens goed voor geweest.”

Uw commissie heeft de namen van enkele co-auteurs gemeld, omdat die de wetenschappelijke normen ernstig geschonden hadden. Om hoeveel personen ging het hierbij?

„We hebben afgesproken niet te praten over individuele personen.”

Waarom bepleit u geen maatregelen tegen co-auteurs die wetenschappelijk onzorgvuldig zijn geweest?

„Er zijn zeventig co-auteurs. In geen enkel artikel hebben we alle varianten van slodderwetenschap tegelijk aangetroffen, maar ook in bijna geen enkel artikel nul varianten. Dan kunnen we niet verder gaan dan alleen de ernstige gevallen te melden. Het is echt onmogelijk om ons uit te spreken over alle andere individuele gevallen. Sociaal psychologen doen er verstandig aan om zelf de stal schoon te vegen.”

Levelt verheft zijn stem even: „Stapel heeft reputatieschade veroorzaakt bij al zijn co-auteurs. Het is Stapel zijn schuld, en dat is niet de schuld van de boodschapper, van de commissie. Nee, het is Stapel zijn schuld.”

Dan wil Levelt graag iets kwijt. „Wanneer je fraude constateert in twee of drie artikelen van een wetenschapper, wat doe je met de rest van het oeuvre? Wij vinden dat je in zo’n geval alles moet onderzoeken en de frauduleuze artikelen uit de literatuur moet verwijderen. Die moeten niet blijven rondzingen. Juist resultaten die te mooi zijn om waar te zijn, hebben de grootste kans om te blijven rondzingen. Onze commissie is de eerste geweest die, met de morele en financiële steun van de drie universiteiten, alle publicaties heeft onderzocht. We hebben een nieuwe methodiek ontwikkeld, waarbij álle publicaties zijn onderzocht. Die moet voor de hele wetenschap de standaard worden. We hopen dat dit internationaal navolging krijgt.”

Erasmus MC heeft onlangs opnieuw fraude vastgesteld in enkele artikelen van de medicus Don Poldermans, maar gaat niet de rest van zijn oeuvre onderzoeken. Wat vindt u daarvan?

„Dat is een verkeerde beslissing. Een wetenschappelijke instelling die iemand jarenlang de kans geeft om slodderwetenschap te bedrijven of zelfs fraude te plegen, moet haar verantwoordelijkheid nemen en het hele oeuvre onderzoeken.

„Daarvoor zijn praktische procedures te verzinnen. Erasmus MC doet er verstandig aan eerst een aselecte steekproef te nemen uit die artikelen en die grondig te analyseren. Komt daar geen enkel frauduleus artikel uit, dan ben je in een betere situatie dan wanneer de helft van de artikelen frauduleus is. In het laatste geval zul je alles moeten onderzoeken. Dat is een dure klus, maar dat staat in geen verhouding tot de kosten die ooit zijn gemaakt om het onderliggende wetenschappelijk onderzoek te doen en de schade die wordt geleden door de fraude.”