Psychologen kijken in de spiegel

Ze lezen snel en makkelijk, de kleine onderzoekjes die psychologen bij voorkeur publiceren. Maar het zijn vaak eendagsvliegen. Tijd voor verandering dus.

De wetenschappelijke psychologie heeft een probleem: er worden onderzoeksresultaten gepubliceerd die niet kloppen. Dat schrijft Barbara Spellman, de Amerikaanse hoofdredacteur van Perspectives on Psychological Science in het januarinummer van dat blad. Ze heeft het niet over gegevens die met opzet gemanipuleerd of verzonnen zijn. Ook niet over het feit dat er statistisch gezien altijd wel enkele resultaten worden gepubliceerd die toch niet kloppen. Nee, er zijn mechanismen aan het werk die maken dat goedbedoelende wetenschappers goedbedoelde beslissingen nemen die tot niet-kloppende onderzoeksresultaten leiden.

Het wetenschappelijke tijdschrift wijdt er deze maand een speciale sectie aan, die niet alleen voor de psychologie relevant is. Twee van de vijf artikelen in die sectie gaan over de trend om sneller en vaker kortere artikelen te publiceren. Even snel methode en resultaten van een onderzoekje optikken en hup, weer een publicatie erbij. Twee psychologen van de universiteit van Californië in Davis noemen dit de benadering ‘van de haas’: met ‘korte, snelle energie-uitbarstingen’. Ze contrasteren die met de benadering ‘van de schildpad’, waarbij het juist gaat om ‘langzaam, gestaag aangroeiende voortgang’, met lange, goed in de wetenschappelijke literatuur ingebedde artikelen.

Die tweede benadering mag dan intuïtief wetenschappelijker lijken, toch waarderen wetenschappers kortere artikelen steeds meer. Tijdschriften maken er extra plaats voor; er worden zelfs speciaal nieuwe tijdschriften voor opgericht. Kortere artikelen zouden het wetenschappelijk debat intensiveren, want wetenschappers kunnen ze sneller lezen en er sneller op reageren. Ook zijn ze gemakkelijker leesbaar voor geïnteresseerden buiten de wetenschap dan langere artikelen. Maar bovenal zijn ze natuurlijk sneller te schrijven, te reviewen en te plaatsen en daardoor verhogen ze schijnbaar de wetenschappelijke output.

Schijnbaar. Want de kans dat een kort artikel dat één onderzoek beschrijft, ten onrechte het verwachte resultaat vindt, is 1 op 20. Maar misschien hádden de onderzoekers al eerder geprobeerd om het te vinden, zonder resultaat, wat de kans dat het toeval was sterk vergroot. Vervolgens storten wel allerlei collega’s zich op het mooie resultaat en sommigen van hen zullen het, bij toeval, wéér vinden – en publiceren. Dan liggen er meer publicaties, maar de wetenschap is geen stap verder gekomen.

Hoe dit tij te keren? Eén oplossing zou zijn om ook in korte artikelen replicatie van het onderzoek te eisen, desnoods in een voetnoot. Psychologen hebben nu net een website gebouwd waar collega’s kunnen melden of replicatie van een onderzoek gelukt is (www.psychfiledrawer.org). Er moeten meer meta-analyses komen. Wellicht moet alle onderzoek wel vooraf geregistreerd worden op een site waar vervolgens ook de data worden geplaatst (zoals openscienceframework.org). Het is vaker gezegd – maar de roep klinkt steeds luider.