Opinie

Gooi open die peer review

Ik dank mijn carrière aan een ingezonden brief.

In 2003 schreef de Amerikaanse epidemioloog Muin Khoury samen met een aantal collega’s één van de eerste artikelen over hoe je ziekten kunt voorspellen als deze niet door één dna-mutatie worden veroorzaakt, maar door tientallen of honderden dna-variaties worden beïnvloed. Zoals bijvoorbeeld bij veel voorkomende ziekten als type 2-diabetes, astma en hart- en vaatziekten.

De formules van Khoury klopten, maar de manier waarop ze hadden bepaald hoe goed de polygenetische risicoscores ziekten konden voorspellen vond ik misleidend. Ik evalueerde de risicoscores op de gebruikelijke manier en vond minder rooskleurige resultaten. Samen met enkele collega’s stuurde ik het tijdschrift een lange ingezonden brief waarin we puntsgewijs opsomden wat er volgens ons niet klopte aan het artikel.

De reactie van de auteurs liet lang op zich wachten en ik begon te vrezen dat ze ons genadeloos gingen afbranden. Ik kwam net kijken in de wetenschap. Ik was een paar maanden eerder gepromoveerd, had drie publicaties en net mijn eerste baan als postdoc. Muin Khoury was een pionier op het nieuwe vakgebied van genetica en volksgezondheid en de concurrentie ver vooruit.

Verrassend en indrukwekkend

Maar de reactie van Khoury en zijn groep was even verrassend als indrukwekkend. Ze gaven ons gelijk. En ze schetsten meteen ook de stappen voor verder onderzoek. Zoals een pionier betaamt.

Kort nadat de brief en de reactie waren gepubliceerd had ik een congres in Atlanta, Khoury’s woonplaats. Ik schreef hem een e-mail en hij nodigde mij uit in zijn instituut. Khoury bleek tijdens onze ontmoeting even vriendelijk als in zijn reactie. Hij vertelde glimlachend hoe ze met de handen in het haar gezeten hadden over onze brief, maar dat ze er niet onderuit konden: „Apparently you know something that we want to know. Let’s collaborate.

De reactie van Khoury maakte destijds op mij diepe indruk. Dit toonde hoe je met kritiek om moet gaan. Al ben je de paus van je vakgebied, heeft iemand gelijk dan heeft iemand gelijk. Erken het openlijk en doe er je voordeel mee. Hoe moeilijk kan het zijn.

Moeilijk blijkbaar. Veel onderzoekers zien een systeem van voor iedereen zichtbare kritiek bij de beoordeling van wetenschappelijke artikelen niet zitten. Hoe rigoreus de kwaliteit van een artikel is getoetst weet je als lezer dus niet.

Kritische vragen

En dat raakt de kern van het wetenschappelijke publicatiesysteem. Want als een nieuwsartikel vermeldt dat een studie is gepubliceerd in The Lancet, Science of een ander wetenschappelijk tijdschrift dan gaan we ervan uit dat het onderzoek oké is. Omdat de kwaliteit is getoetst met ‘peer reviews’ door collega-wetenschappers die kritische vragen hebben gesteld over opzet, uitvoering en interpretatie van het onderzoek.

Helaas. Dat ‘peer-reviewed’ betekent lang niet altijd dat een artikel een serieuze kwaliteitscontrole heeft doorstaan. De kwaliteit van peer review varieert en de gezamenlijke expertise van de reviewers dekt vaak niet alle relevante aspecten van een onderzoek. Sommige reviewers reflecteren oppervlakkig op de globale inhoud, anderen controleren alleen de statistiek of de leesbaarheid van het artikel. Sommigen leggen de lat veel te laag en anderen op elke slak zout.

Peer review is meestal anoniem. Wie beoordeeld wordt krijgt de namen van de reviewers niet te zien. Sommige tijdschriften gaan nog een stap verder, dan weten ook de reviewers niet wiens werk ze beoordelen.

Peer review is anoniem omdat reviewers dan eerlijker en kritischer kunnen zijn zonder te hoeven vrezen voor consequenties bij negatieve beoordelingen. Zoals revanche, een negatieve beoordeling wanneer de rollen ooit omgedraaid zijn. Vooral voor jonge onderzoekers zou dit grote gevolgen kunnen hebben voor hun carrièrekansen.

Gebrek aan transparantie

Maar ik ben geen voorstander van anonieme peer review. Ik vind de mogelijke risico’s niet opwegen tegen de gevolgen van een gebrek aan transparantie. Niet meer. Er is veel te doen om de kwaliteit van onderzoek, over de validiteit en reproduceerbaarheid. Het vertrouwen in de wetenschap valt of staat met de kwaliteit van onderzoek en verslaglegging daarvan. En transparantie is essentieel om de betrouwbaarheid en controleerbaarheid van die kwaliteitstoetsing te waarborgen.

Ik zie het liefst open peer review waarbij de reviews en de reacties van de auteurs als bijlage met het artikel worden gepubliceerd. Zodat iedereen kan nalezen hoe rigoureus en compleet de peer review was, hoe constructief de reviewers meedachten om het artikel te verbeteren en wat de auteurs gedaan hebben met hun suggesties.

Open peer review is als het schrijven van een ingezonden brief vooraf met het voordeel dat de onderzoekers eventuele fouten kunnen corrigeren. Je doet als reviewer publiekelijk verslag van de kwaliteitscontrole en moet laten zien dat je weet waarover je het hebt en dat goed willen onderbouwen. Ik vind het lastig voor te stellen hoe een respectvolle kritische reflectie negatieve gevolgen kan hebben. Het tegenovergestelde kan ook.

Ik heb goede hoop dat met de belangstelling voor open science ook open peer review omarmd zal worden. Simpelweg omdat open discussie hoort bij wetenschap. De gedachtewisseling tussen reviewers en auteurs hoort niet achter een gesloten deur.

Dit is de eerste column van Cecile Janssens, hoogleraar translationele epidemiologie aan Emory University in Atlanta.