Meer openheid moet de crisis in peer review bezweren

wetenschapsspecial

‘Peer review’ vormt een microcosmos van het wetenschappelijk debat. Het vertrouwen erin daalt.

Publicatie in tijdschriften met duidelijke kwaliteitsnormen vormt de basis van de wetenschap. Dat is al zo sinds de oprichting van Philosophical Transactions in 1665, door Henry Oldenburg. Een helder, openbaar én gecontroleerd communicatiekanaal is noodzakelijk voor een ordelijk debat.

Maar door de enorme groei van de wetenschap begint die kwaliteitscontrole van de tijdschriften nu wel enigszins op een gekkenhuis te lijken. En dat probleem is deze aparte wetenschapsspecial zeker waard.

Want zelfs bij de toptijdschriften gaat veel mis, zoals Hester van Santen in deze bijlage beschrijft in een uitvoerige case study van een Nature-publicatie. Openlijk bespreken ‘peer reviewers’ waarom ze in dit toptijdschrift een onderzoek toelieten dat veel vakgenoten vér onder de maat vinden. De ene kijkt gewoon niet zo graag kritisch naar grafieken, en een andere reviewer vond het onderzoek niet zo geweldig, maar de conclusies wel: precies de zijne!

Er komt steeds meer kritiek op peer review: de anonieme toetsing door vakgenoten voorafgaand aan publicatie. Marcel aan de Brugh beschrijft in deze bijlage de sluimerende crisis: overbelaste peer reviewers laten door tijdgebrek en carrièrebelang te veel fouten staan. De status van peer review is gigantisch, maar het vertrouwen erin is belachelijk, zegt een ervaren tijdschriftredacteur.

Terwijl het toch zo’n goed idee is! Die kritiek van peer reviewers, keurig verzameld door een tijdschriftredacteur (die vervolgens de knoop doorhakt), vormt de microcosmos van de grote wetenschappelijke discussie die (hopelijk) volgt ná de publicatie. In die zin is het falen van peer review slechts een eerste proeve van de fouten die ook later nog volop gemaakt kunnen worden. De foutendetectie in de wetenschap is nu eenmaal verre van perfect – voor én na publicatie. En zeker op de korte termijn: wetenschappelijke vooruitgang komt hoofdzakelijk tot stand omdat alleen echt interessante vondsten langdurig beproefd worden (en uiteindelijk meestal weerlegd). Hoeveel miljoenen gepubliceerde onderzoeken – ook uit toptijdschriften – liggen niet na jaren nog steeds te wachten op echt kritische ogen?

Voor de huidige explosie in wetenschappelijke ijver en publicatiedrift konden tijdschriftredacteuren het wel alleen af. Einstein had nauwelijks met peer review te maken. Nature begon ermee in 1964, The Lancet pas in 1976. Hoe nuttig ook, peer review is dus wel belangrijk, maar niet cruciaal voor goede wetenschap. Het is de eerste zeef, een handige ordemaatregel om de wetenschappelijke gemeenschap te kunnen wijzen op écht interessante onderzoeken. Want juist door zijn reputatie van scherpe selectie wordt Nature beter gelezen dan de meeste andere bladen. En precies wegens het dreigende reputatieverlies zijn uitgevers nu druk bezig de smeulende vertrouwenscrisis te bezweren – vooral door meer openheid in de peer review.

De Franse antropoloog Bruno Latour zei het al: het is nu eenmaal onvermijdelijk dat de wetenschap alledaagser wordt.