Beoordelaars Nature-artikel lieten gebreken passeren

Wetenschap

Een studie over menselijke levensduur haalde Nature, ondanks gekende tekortkomingen.

Een zwak artikel in het wetenschappelijke toptijdschrift Nature verscheen nadat beoordelaars de tekortkomingen willens en wetens door de vingers zagen. Dat blijkt uit een reconstructie van NRC, op basis van gesprekken met direct betrokkenen.

De studie, met de titel Evidence for a limit to human lifespan, concludeerde dat de mensheid zijn maximale levensduur al bereikt heeft, bij ongeveer 115 jaar. Het stuk kreeg bij publicatie, op 5 oktober van dit jaar, veel internationale media-aandacht. Maar er klonk ook opvallend felle kritiek, van statistici en demografen die de conclusies slecht onderbouwd vonden.

Volgens kenners is het de eerste keer dat een strikt vertrouwelijk beoordelingsproces van een artikel in een toptijdschrift in kaart is gebracht. Artikelen worden beoordeeld door de redactie, en door vakgenoten die anoniem blijven: de peer reviewers. Het is de essentiële kwaliteitscontrole van wetenschappelijke studies, en het zou volgens Nature onafhankelijk en zorgvuldig verlopen.

Zo ging het hier niet. Eén reviewer vertelde eerlijk dat hij niet de moeite had genomen om een appendix met vijf pagina’s vol minuscule grafieken door te ploegen: „saai, rommelig en verwarrend”. Een andere reviewer vond dat de „focus minder moet liggen bij de statistiek, maar meer bij de algemene waarneming”. Die bevindingen lagen nauw in lijn met zijn eigen wetenschappelijke theorieën. „Ik kende de conclusies al.”

De uitgebreide kritiek die zij en een derde, onbekende reviewer wél uitten, werd door de Nature-redactie niet aangegrepen om het artikel af te wijzen.

Volgens twee kenners van academische redactieprocessen is het normaal dat peer review zo verloopt. „Ik zie allerlei tekortkomingen, maar ik denk niet dat ze ongewoon zijn”, aldus Richard Smith, ex-hoofdredacteur van de British Medical Journal.

Hij en Jelte Wicherts (Universiteit van Tilburg) denken dat Nature zich bovendien heeft laten leiden door de ‘sexiness’ en de nieuwswaarde van het artikel. Volgens beiden is dat een algemeen probleem. Wicherts: „Deze casus zet terecht vraagtekens bij de term ‘het vooraanstaande tijdschrift Nature’.” Nature zegt vanwege vertrouwelijkheid niet op de zaak te kunnen ingaan.