‘Bladen als Nature nemen doelbewust risico’s’

Nature-artikel

Twee experts in peer review reageren op het artikel over de manier waarop een artikel vol zwakheden toch in toptijdschrift Nature belandde. Nature wilde geen vragen beantwoorden, maar stuurde wel een verklaring.

Jelte Wicherts, onderzoeksmethodologie- en peer-reviewspecialist bij de Universiteit van Tilburg

Jelte Wicherts. Ben Bergmans. Tilburg University

‘Dit geval geeft zeker inzicht in hoe het er in de praktijk aan toe gaat. Het peer review-proces verliep hier wat rommelig, maar zeker niet atypisch. Wat vooral opvalt is dat de auteurs hier geen experts waren, en dat de reviewers een zeer actieve rol speelden in het verbeteren van het artikel. Uiteindelijk ‘plugde’ één van hen ook zijn eigen data. Inhoudelijk kan dat best verdedigbaar zijn, maar het laat zien dat volledig onafhankelijke oordelen moeilijk te realiseren zijn.

„De reviewers hebben zich er niet met een jantje-van-leiden vanaf gemaakt. Er is echter duidelijk niet gelet op de statistiek, en dat komt vaker voor. Reviewers hebben lang niet altijd expertise op alle aspecten van een onderzoek. Bij sommige tijdschriften vraagt men daarom expliciet aan reviewers of ze voldoende van de analyse begrijpen – dat zullen zij anders niet snel toegeven. Ik vind het tamelijk raar dat er in dit geval geen statisticus naar het manuscript gekeken heeft. De redacteur moet daarvoor zorgen.

„Deze casus zet terecht vraagtekens bij de term ‘het vooraanstaande tijdschrift Nature’.”

„Maar wat me vooral opvalt, is de draai die de redactie van Nature maakte [nadat het manuscript eerst afgewezen was]. Normaal krijg je daar geen tweede kans. Blijkbaar heeft iets hen doen beseffen dat dit stuk nieuwswaardig en invloedrijk zou worden. En dat is feitelijk hun business model.

„In 2013 bezocht ik een congres over peer review waar Philip Campbell, de hoofdredacteur van Nature, een lezing gaf. Hij zei dat Nature soms de standaarden voor ‘scientific rigor’ wat verlaagt, en artikelen met spannende resultaten toch publiceert. Nature en Science nemen volgens mij doelbewust risico’s, en ik vermoed dat dat de kern van het probleem is. Deze casus zet terecht vraagtekens bij de term ‘het vooraanstaande tijdschrift Nature’.”

Richard Smith, oud-hoofdredacteur van de British Medical Journal en een bekend criticus van peer review

Richard Smith. Olli Häkämies

‘Ik heb met belangstelling gelezen dat bij Nature de belangrijkste vragen voor een ‘ideale review’ gaan over nieuwswaarde, en niet over methoden. Maar het verrast me niet. We weten dat, van alle wetenschappelijke artikelen, die in ‘toptijdschriften’ de grootste kans hebben om onwaar te zijn. Want daar zijn ze geïnteresseerd in nieuwe, sexy dingen.

„We weten weinig over wat zich hier heeft afgespeeld bij de Nature-redactie, behalve dat ze terugkwamen op hun beslissing om het manuscript af te wijzen. Dat komt ongewoon op me over. Het suggereert dat de redacteuren waren aangetrokken door de sexiness van het artikel.

„Ik vind het verontrustend dat [reviewer] Jay Olshansky zegt dat de focus minder moet liggen bij de statistiek. Daar ben ik het volledig mee oneens. Ik ben het ook niet eens met [reviewer] Jean-Marie Robine, als hij zegt dat je ‘niet [kunt] adviseren om een manuscript af te wijzen, louter omdat je het oneens bent met de interpretatie van de resultaten’.

„Ik zie hier allerlei tekortkomingen in het proces, maar ik denk niet dat ze ongewoon zijn.

„Volgens mij is de belangrijkste taak van een reviewer om te beoordelen of de conclusies worden ondersteund door de data, en om duidelijk te maken waarom je het oneens bent met de interpretatie van de resultaten. Daarvoor is het onvermijdelijk dat je de gegevens en de statistiek in detail onder de loep neemt. Ik vind het verontrustend dat de reviewers dat niet deden, maar ik begrijp wel waarom. Peer-reviewing is een zware, tijdrovende klus waar je niets voor terugkrijgt.

„Dus ja, ik zie hier allerlei tekortkomingen in het proces, maar ik denk niet dat ze ongewoon zijn. Peer review is een zeer gebrekkig proces, en we hebben maar weinig bewijs dat het voordelen oplevert. We zouden daarnaar meer onderzoek moeten doen. Misschien dat gedetailleerde inspectie van individuele gevallen, zoals deze, daaraan bij kunnen dragen.”

De woordvoerder van Nature

‘We zijn ongerust over uw weergave van het peer-reviewproces van de paper en kunnen hier niet mee instemmen. We betreuren het dat we vanwege vertrouwelijkheidsbeperkingen de specifieke aspecten van de zaak niet verder kunnen verduidelijken. We kunnen echter wel duidelijkheid scheppen met betrekking tot de volgende punten.

„We kunnen geen individuele redacteuren in verband brengen met gepubliceerde artikelen in Nature, aangezien meerdere redacteuren, onder anderen een senior-teamleider en de hoofdredacteur biologische wetenschap, betrokken zijn bij elk besluit, ook al is er maar één persoon die deze besluiten kenbaar maakt aan auteurs en/of reviewers.

„De tijdschriften van Nature zetten statistici in als deskundige bij de beoordeling van bepaalde artikelen. De redacteuren doen dat in vertrouwelijkheid, en op aanraden van de reviewers.

„Manuscripten die worden ingezonden naar Nature, worden beoordeeld met als leidraad of zij voldoen aan onze publicatie-criteria: origineel wetenschappelijk onderzoek, van uitzonderlijk wetenschappelijk belang, dat een conclusie trekt die interessant is voor een multidisciplinair publiek.

„Ieder gepubliceerd manuscript ondergaat zorgvuldige peer review, gewoonlijk door twee of drie reviewers (maar soms meer als er bijzonder advies nodig is). De deskundigheid van een reviewer is natuurlijk subjectief, maar onze professionele redacteuren selecteren een aantal reviewers die verschillende aspecten van het manuscript kunnen beoordelen, waaronder de gebruikte technieken en de wetenschappelijke bevindingen.”

De voor dit artikel geraadpleegde auteurs en reviewers van Evidence for a limit to human lifespan hebben voorafgaand aan publicatie feiten en citaten op juistheid gecontroleerd. Aan Nature is een uitgebreide vragenlijst voorgelegd.