'Commissie-Levelt slaat spijker op kop'

De commissie-Levelt kraakte gisteren harde noten over de sociale psychologie. Vier sociaal psychologen reageren op de bevindingen.

De commissie-Levelt „slaat de spijker op zijn kop”, vindt Eric-Jan Wagenmakers, methodoloog en psycholoog aan de Universiteit van Amsterdam. De commissie die de omvangrijke fraude door de sociaal psycholoog Diederik Stapel in kaart bracht, kraakt in het gisteren verschenen eindrapport harde noten over de ‘slodderwetenschap’ in het hele vakgebied. Sociaal psychologen laten geregeld proefpersonen en data die de hypothese niet bevestigen, weg uit hun artikel.

Klopt, zegt Wagenmakers: „Onderzoekers werken soms naar de door hen gewenste resultaten toe. Dat is niet uit kwaadaardigheid: die mensen bedriegen ook zichzelf. Ze willen erg graag dat hun hypotheses kloppen.” Jelte Wicherts, Tilburgs methodoloog en psycholoog, bevestigt dit: „De wetenschappelijke cultuur bij de sociale psychologie was niet om aan te zien.”

Het gaat wel al een stuk beter, vindt de Nijmeegse sociaal psycholoog Daniël Wigboldus, voorzitter van de ASPO, vereniging van sociaal psychologen: „Het rapport van Levelt nemen we heel serieus, maar met de verbetering van de onderzoeksmethoden zijn we al vóór de affaire-Stapel begonnen.” Volgens de Amsterdamse sociaal psycholoog Carsten de Dreu zijn die verbeteringen „nu in een stroomversnelling gekomen.”

De Dreu is met de term ‘slodderwetenschap’ niet erg gelukkig: „Het bekijken van je data op opvallende uitschieters is op zich niet kwalijk. Bijvoorbeeld: je doet een test waarbij reactiesnelheid een rol speelt en een van de proefpersonen moet niesen. Daardoor ligt zijn reactiesnelheid vele malen lager dan normaal. Zo’n datapunt moet je uit je gegevens verwijderen voordat je met de analyse ervan begint. Het is belangrijk dat we hierover in de psychologie afspraken maken.” Inderdaad, vindt Wagenmakers: „Maar zorg ervoor dat daarvoor duidelijke grenzen worden gesteld voordat het onderzoek begint. Bijvoorbeeld: alles dat meer dan 2 ½ standaarddeviatie van het gemiddelde afzit, moet je weggooien.”

Volgens Wigboldus kunnen er ook goede redenen zijn om mislukte experimenten uit de analyse te laten. „Misschien is je opzet niet goed en zijn je eerste experimenten niet bruikbaar. Dan pas je de experimenten aan.” Die mislukte experimenten zou je wel moeten melden en liefst ook beschrijven, vindt Wigboldus: „Maar tijdschriften willen die doorgaans helemaal niet hebben.”

De tijdschriften leggen door hun exclusieve voorkeur voor geslaagde experimenten een grote druk op de onderzoekers, zegt Wigboldus. „Bovendien ligt er grote tijdsdruk op de wetenschappers die bij een peer review het werk van collega’s moeten beoordelen. Ik heb net nog een verzoek gekregen om in twee weken tijd een review te schrijven. Dat mag trouwens maximaal een alinea lang zijn.”

Volgens Wicherts moeten peer reviewers ook „minder letten op de leuke uitkomsten van het onderzoek en meer controleren of het allemaal klopt.” Wagenmakers: „Dat er in de psychologie, mede aangedreven door de aandacht van de media, de laatste jaren artikelen zijn gepubliceerd die eigenlijk niet konden, is wel duidelijk.” Als voorbeeld noemt hij het artikel Feeling the Future, over mensen die in de toekomst kunnen kijken (Daryl Bem, 2011).

Wicherts zegt over dit artikel: „Op zo’n publicatie kan je op twee manieren reageren: of je zet de natuurwetenschap bij het oud vuil, of je gaat als psychologen eens kijken naar de methoden en technieken van je vak.”

Wicherts deed het laatste, in ‘het grijze gebied’ van de sociale psychologie, waarover Levelt de staf breekt. „Hoe gaan we in het vak om met het verzamelen, analyseren en delen van data? Vaak niet goed, zo bleek. Eén op de zeven artikelen in de sociale psychologie geeft bijvoorbeeld een verkeerde weergave van de significantie. En driekwart van de sociaal psychologen deelt zijn data niet.”

Wicherts maakte zich hiermee niet altijd populair bij vakgenoten: „Maar nu merk je dat men zich van de ernst van de zaak bewust is.” Dus zegt hij: „Het was slecht, het gaat beter en hopelijk komt het goed.”

Wagenmakers zegt: „De affaire-Stapel is een goede wake up call geweest. Dat is eigenlijk Stapels grootste verdienste voor de wetenschap.