Net gewone mensen, die psychologen

Wie in een wetenschappelijk tijdschrift wil publiceren, moet zijn artikel laten beoordelen door collega-wetenschappers. Is die peer review wel een goed systeem?

Net gewone mensen, die psychologen. Beeld Mariet Numan Numan, Mariët

Het gehoorzaamheidsonderzoek van Stanley Milgram, uit de jaren zestig van de vorige eeuw, is een van de klassiekers uit de sociale psychologie. Wie kent het niet? Een kamer verderop zit iemand zogenaamd een test te doen, die persoon maakt af en toe een fout, en Milgrams proefpersonen geven hem als straf steeds zwaardere elektrische schokken – louter en alleen omdat de experimentator dat van hen vraagt. De schokken zijn nep, maar dat weten de proefpersonen niet. Veel van hen gaan ermee door als er gekreun en geschreeuw klinkt. En zelfs als dat plotseling ophoudt.

Milgrams onderzoek toonde voor het eerst aan dat de meeste mensen een ‘autoriteit’ blind gehoorzamen als die zegt dat ze een ander iets ergs moeten aandoen. Er zijn niet veel wetenschappers die twijfelen aan het belang van dit onderzoek. En het is sindsdien verschillende keren gerepliceerd, ook dit jaar nog, met dezelfde resultaten.

Maar vóórdat Milgrams artikel in 1963 werd gepubliceerd in het Journal of Abnormal and Social Psychology, was het al door twee andere tijdschriften geweigerd. Eén kritiekpunt was dat mensen wel zouden weten dat de schokken nep waren – onjuist. Een ander kritiekpunt was dat mensen in het echte leven nooit zo radicaal gehoorzaam zouden zijn – maar dat wordt in elke oorlog opnieuw weerlegd. Hoe dan ook, Milgram had gemakkelijk kunnen besluiten om zijn onderzoek ergens in een la te leggen en zijn onderzoekscarrière in een andere richting voort te zetten.

Dat schrijft de Canadese psycholoog Murray Goddard dit kwartaal in Review of General Psychology, in een themanummer over de tekortkomingen van het wetenschappelijk publicatiesysteem in de psychologie. Het is op ongebruikelijke wijze tot stand gekomen: normaal gesproken bedenkt de redactie van een tijdschrift een thema en vraagt om bijdragen. Maar de acht artikelen in dit nummer waren allemaal spontaan binnengekomen, in de loop van één jaar.

Milgrams moeite om zijn onderzoek gepubliceerd te krijgen is een voorbeeld, zegt Goddard, van het algemene verschijnsel dat onderzoeksresultaten die tegen de common sense ingaan, minder serieus worden genomen. Als het om psychologie gaat, om hoe mensen in elkaar zitten, voelt iedereen zich nu eenmaal deskundig. Ook reviewers, die onderzoek van anderen beoordelen om te kijken of het geschikt is voor publicatie, doen dat niet alleen op basis van hun wetenschappelijke kennis – ze nemen ook hun common sense ideeën over mensen mee.

En ook in andere opzichten zijn reviewers net gewone mensen. Ze zijn, zo blijkt uit onderzoek, vaker geneigd om een artikel te accepteren als de auteur veel naar andere artikelen van zichzelf verwijst: dat zal dan wel een goede wetenschapper zijn, want productief. Ze laten zich soms overtuigen door een aansprekend geschreven inleiding en dito slot van een artikel, terwijl de methode en resultaten van het onderzoek eigenlijk tegenvallen. Ze zien soms heel basale methodologische fouten over het hoofd: dat een onderzoek geen controlegroep heeft, bijvoorbeeld, of dat de analyses niet correct zijn uitgevoerd.

Soms worden de resultaten van zo’n onderzoek dan toch nog jarenlang door collega’s aangehaald, die de fouten kennelijk ook niet gezien hebben – of ze hebben het artikel waarnaar ze verwijzen, niet gelezen. “Altijd leuk om daar een voorbeeld van te ontdekken”, zegt Willem van der Does, hoogleraar experimentele psychopathologie in Leiden. “Dan kun je een letter to the editor schrijven, een ingezonden brief. Heb je meteen weer een publicatie.”

Somber beeld

Het themanummer van Review of General Psychology schetst al met al een somber beeld van de wetenschappelijk-psychologische literatuur. Onderzoek zou niet vaak genoeg gerepliceerd worden, waardoor niet duidelijk wordt wat toevalsbevindingen zijn en wat niet. Weliswaar worden er steeds vaker meta-analyses gedaan – onderzoek waarbij alle studies naar één verschijnsel worden gecombineerd, zodat onderzocht kan worden hoe sterk een verband is en wanneer het wel en niet optreedt. Maar een meta-analyse van meta-analyses in het themanummer laat zien dat daarbij lang niet altijd goed gecorrigeerd wordt voor onderzoek dat niet gepubliceerd is ‘omdat er niets uitkwam’, en dat door de onderzoekers in een laatje is gestopt.

In hoeverre is het geheel aan psychologische literatuur dat op deze manier ontstaan is, dan eigenlijk correct te noemen; in hoeverre vertelt het de waarheid over menselijk gedrag? En ontbreekt er niet heel veel: hebben niet talloze getalenteerde ‘Milgrams’ hun onderzoeksresultaten gefrustreerd in laatjes laten verdwijnen, omdat ze tegen de common sense van de reviewers ingingen?

Ap Dijksterhuis, hoogleraar ‘psychologie van het onbewuste’ te Nijmegen, denkt dat dat wel meevalt. “Het zal best weleens gebeurd zijn, maar het komt ook vaak voor dat zulk onderzoek juist wel gepubliceerd wordt en dan heel veel aandacht krijgt.” Hij spreekt uit ervaring. Eind jaren negentig publiceerde hij onderzoek waaruit bleek dat mensen meer Triviantvragen goed beantwoorden als ze net aan professoren hebben zitten denken, dan wanneer ze aan voetbalsupporters hebben gedacht. En een paar jaar geleden toonde hij aan dat je beter niet al te veel over grote, belangrijke beslissingen kunt nadenken; die kun je beter aan je onbewuste, je intuïtie overlaten. “Daar zijn daarna veel kritische stukken over verschenen”, aldus Dijksterhuis. “Omdat mensen hechten aan hun common sense ideeën, en omdat veel besliskundigen ervan uitgaan dat mensen wél altijd goed moeten nadenken. Dus een groot deel van mijn tijd moet ik besteden aan het reageren op zulke stukken, mezelf verdedigen. Maar goed, dat hoort er ook bij.”

En over het algemeen denkt hij dat onderzoek dat erg met de common sense meegaat, juist minder snel gepubliceerd wordt. “Daarbij denk ik als editor [redacteur van een wetenschappelijk tijdschrift] al snel: dat is zó voor de hand liggend! Je kunt je onderzoek wel heel goed hebben opgezet, en alle analyses correct uitgevoerd, maar als je ermee aantoont dat mensen vaker naar de bakker gaan als ze brood nodig hebben, wil ik het toch niet publiceren.” Hij denkt wel dat het ook van het tijdschrift afhangt. “Een tijdschrift als Science staat meer open voor verrassend onderzoek, dat publiceert ook weleens single study papers, artikelen op basis van slechts één onderzoek. Maar veel mainstream psychologietijdschriften zijn inderdaad heel conservatief, die willen liever dat je voortbouwt op bestaande theorieën.”

Conserverende werking

Dat is oo k de ervaring van Bram Buunk, Akademiehoogleraar namens de KNAW en hoogleraar evolutionaire psychologie aan de Rijksuniversiteit Groningen. “Echt vernieuwend onderzoek roept weerstand op bij reviewers”, zegt hij. “Als je in een bepaald onderzoeksgebied ineens een nieuwe methode gebruikt, krijg je altijd gezeur. Ik vind dat het peer review-systeem heel veel problemen heeft, en deze conserverende werking is er één van.” Een ander probleem: “Men roept vaak maar wat. Dan krijgt zo’n reviewer allemaal associaties bij je artikel van literatuur waar je ook naar zou moeten verwijzen. Dat is vaak onzin, maar dat doe je dan toch maar omdat je wilt dat je artikel geaccepteerd wordt. Of ze roepen allerlei dingen omdat ze de een bepaalde methodologische klok hebben horen luiden, maar niet weten waar de klepel hangt. Ik vind: als een artikel geen grote methodologische fouten heeft, zou je het misschien beter kunnen publiceren met het commentaar apart erbij.”

Kijk, zegt Buunk, reviewers willen heel graag hun best doen. “Dat betekent ook dat ze hard op zoek gaan naar iets wat niet zou kunnen kloppen. Want als je een fout in een artikel mist die door andere reviewers wél wordt opgemerkt, is dat niet goed voor je reputatie bij de editor.”

Dat realiseren onderzoekers zich ook bij het schrijven van een artikel. Goddard vertelt in het Review-themanummer over een anonieme collega die weleens doelbewust wat kleine, duidelijke foutjes in zijn manuscript stopt, omdat hij gemerkt heeft dat dat de acceptatiekans vergroot – dan zouden de reviewers sneller het idee hebben dat ze hun werk goed doen. “Gewaagd”, vindt Dijksterhuis. “Dat kan ook tegen je werken. Sommige mensen hebben een hekel aan slordigheid.” Maar er zijn wel meer van dat soort trucs, vertelt hij. “Als je bijvoorbeeld weet wie de editor is die je artikel behandelt, dan kun je naar diens onderzoek verwijzen. En ik heb ook wel eens een heel verrassende gehoord: als je iemand per se niet als reviewer wilt, dan zet je die aan het begin van je artikel, bij de bedankjes.” Want dan denkt de editor dat diegene heeft meegewerkt en zal hij die niet als reviewer kiezen.

Dijksterhuis vindt dat soort trucs geen groot probleem. “Iedereen heeft ze tot zijn beschikking. Weet je, science is the art of persuasion, je gaat uit van een idee en je wilt dat mensen dat geloven. Daar zijn vooral je data belangrijk bij; die trucs zijn meer zoiets als een extra plaatje in een powerpointpresentatie.” Als reviewer gaat hij ook vooral van de data uit, vertelt hij. “Ik lees inleiding, methode, resultaten, en dan leg ik zo’n artikel even weg...” – dan kan het onbewuste zijn werk doen, helemaal in lijn met zijn onderzoek – “...en dan heb ik meestal wel een mening. De discussiesectie vind ik vaak mosterd na de maaltijd.” Daarin worden de resultaten nog eens samengevat en worden het belang en de tekortkomingen van het onderzoek besproken. “Gelukkig zie je dat inleiding en discussie over het algemeen steeds korter worden en methode en resultaten langer. Het gaat om de data, niet om dat geleuter eromheen. Daar kun je mensen maar mee op het verkeerde been zetten.”

Al met al vindt Dijksterhuis de meeste problemen waar we het nu over gehad hebben, niet echt grote problemen. “Als je iets ontdekt dat echt boeiend is, gaan andere onderzoekers het ook wel oppikken. Er vindt altijd een soort evolutie plaats in de wetenschap, waardoor veel fouten op natuurlijke wijze worden gecorrigeerd.”

Nulresultaten

Meta-analyses, het achteraf statistisch samenvoegen van studies over één onderwerp, helpen in principe ook bij die ‘natuurlijke correctie’. Alleen, hoe zit het dan met onderzoeken die ongepubliceerd zijn gebleven? In principe moeten die ook in een meta-analyse worden verwerkt, maar dat gebeurt niet altijd.

Hier moet je een onderscheid maken, zegt Willem van der Does, tussen psychologisch onderzoek naar klinische behandelingen en de rest. Want als het gaat om de vraag of een behandeling wel of niet werkt, zijn studies waar ‘nee’ uitkwam zeer relevant. Maar in de gedragspsychologie, zeggen Buunk en Dijksterhuis, heb je zelden iets aan zulke ‘nulresultaten’. Bijvoorbeeld bij de vraag of contact met een andere groep nu leidt tot minder stereotiep denken over die groep. “Als je rommelig experimenteert krijg je geen resultaten”, zegt Buunk. “Dan moet je een alternatieve theorie opstellen die verklaart wat er wél aan de hand is, of wanneer iets aan de hand is.”

In de klinische hoek is ‘rommelig experimenteren’ gelukkig een stuk moeilijker gemaakt, zegt Van der Does. “Als je je publicatie in een goed medisch tijdschrift wilt hebben, moet je je onderzoek van te voren aanmelden, bij een site als www.clinicaltrials.gov. Ook de details worden geregistreerd. Het aantal proefpersonen, zodat je er niet ineens meer mensen bij kunt nemen om sneller significante resultaten te krijgen. De ‘primaire uitkomstmaat’, dus wat je verwacht te veranderen door een bepaalde interventie – als je daar niks op vindt, maar toevallig wel op iets anders, dan kun je het niet publiceren alsof je daar altijd al naar op zoek was. Dat geeft helderheid.” Zo kan iedereen precies nagaan wie hoeveel onderzoek waarnaar heeft gedaan, wanneer er wat uitkwam, en ook of het onderzoek gepubliceerd wordt.

Het is ironisch, zegt Van der Does, dat er laatst weer zo’n heisa ontstond over onderzoek naar antidepressiva. “Onderzoek naar geneesmiddelen, daar zou iedereen een voorbeeld aan moeten nemen. Het is jammer dat veel psychologische tijdschriften nog niet zo werken. Mindfullness-therapie bijvoorbeeld, die momenteel populair is, zou dan nog niet geregistreerd zijn. Die hele wildgroei aan steeds nieuwe psychotherapeutische behandelingen komt vaak doordat therapeuten zich gaan vervelen, dan willen ze weer iets anders proberen.”

Zou eigenlijk niet al het wetenschappelijk onderzoek van tevoren aangemeld moeten worden? Dat zou wel goed zijn, zegt Van der Does, al levert dat wel een hoop extra bureaucratie op. “Het zou al vooruitgang zijn als onderzoekers hun dataset moeten aanleveren bij het tijdschrift, zodat collega’s die kunnen opvragen – bij een tijdschrift als Nature is dat al een vereiste.” Internet maakt veel meer openheid in de wetenschap mogelijk dan op dit moment wordt gebruikt. “Het publicatiesysteem zoals het nu is”, zegt ook Bram Buunk, “heeft wellicht zijn langste tijd gehad.”

Volgende week: waarom heeft niet iedereen toegang tot wetenschappelijke artikelen?