Wat is een wetenschappelijke publicatie nog waard?

Het wetenschappelijke tijdschrift Nature moest de afgelopen twee jaar al dertien artikelen terugtrekken wegens fraude en fouten. Ook Science blundert geregeld. Zijn de grote tijdschriften nog wel zo invloedrijk?

Wat is er aan de hand bij het wetenschappelijk toptijdschrift Nature? Voor een onderzoeker gold het als het summum om in dit Britse blad te publiceren. Maar de afgelopen twee jaar heeft het tijdschrift dertien artikelen teruggetrokken – vorig jaar zes, en dit jaar, tot nog toe, zeven. Dat zijn er meer dan ooit. Bij zeven bleek er sprake van fraude, bij de zes andere waren er per ongeluk fouten gemaakt, die in het redactionele proces niet waren opgemerkt.

Tast dit de status van Nature (50.000 abonnees, waaronder universiteiten en bedrijven) aan? En hoe zit het met zijn Amerikaanse concurrent Science (129.000 abonnees), dat de afgelopen jaren ook een paar keer een zeperd had?

Volgens Christine Mummery, hoogleraar ontwikkelingsbiologie aan de Universiteit Leiden, proberen de bladen de aandacht te trekken met spannende primeurs die een breed publiek aanspreken. „Dan neem je risico’s.” Science meldde vier jaar geleden met veel tamtam de ontdekking van een bacterie die het giftige arseen in haar DNA had ingebouwd. Achteraf bleek het een miskleun.

„Toch zijn Nature en Science nog steeds dé topbladen waarin je je belangrijkste vindingen publiceert”, zegt nanofysicus Cees Dekker van de Technische Universiteit Delft. Hij heeft sinds 1985 zeven keer in Science gestaan (de laatste keer was anderhalve week geleden) en 22 keer in Nature of één van de zustertijdschriften, zoals Nature Nanotechnology.

Er zijn ook andere tijdschriften

Ook Christine Mummery zegt dat iemands onderzoekscarrière nog steeds staat of valt met publicaties in Nature of Science. „Helaas”, voegt ze eraan toe. Er zijn zoveel andere degelijke tijdschriften. Maar het lijkt alsof er bij het beoordelen van subsidievoorstellen en sollicitatiebrieven alleen wordt gekeken naar publicaties in deze twee.

Het heeft volgens haar te maken met de impactfactor, een veelgebruikte parameter die het aanzien van tijdschriften probeert weer te geven. Die factor wordt berekend door het aantal verwijzingen naar artikelen in een wetenschappelijk tijdschrift in een jaar (zeg 2013) te delen door het totaal aantal artikelen dat in de twee voorafgaande jaren (2011 en 2012) in dat tijdschrift is verschenen.

De tijdschriften hechten veel waarde aan de ‘impactfactor’. Uitgever Thomson Reuters houdt deze factor van inmiddels 11.000 wetenschappelijke bladen jaarlijks bij. Nature kwam vorige keer uit op 43, Science op 31. De meeste bladen scoren ergens tussen de 1 en 10.

Maar wat zegt de impactfactor? Thed van Leeuwen weet hoe hij te manipuleren is. Hij doet er onderzoek naar, bij het Centre for Science and Technology Studies in Leiden. Sommige vakbladen plaatsen bijvoorbeeld meer overzichtsartikelen, omdat die in de regel vaker worden aangehaald. Zo krikt een tijdschrift zijn impactfactor op. Of Science en Nature dat hebben gedaan, weet Van Leeuwen niet.

Aangehaald vanwege reputatie

Verder zijn er reputatie-effecten. Iemands werk kan vaak worden aangehaald, alleen omdat diegene een goede reputatie heeft. Of omdat hij bij een vooraanstaand instituut werkt. Er is geen een-op-eenrelatie met de kwaliteit van het onderzoek. De grootste tekortkoming, in de ogen van Van Leeuwen, is dat de impactfactor van Nature en Science afstraalt op iedereen die in de bladen heeft gepubliceerd. Maar lang niet alle artikelen worden ook veel aangehaald. „Eenderde van de papers heeft erg veel verwijzingen en bepaalt de hoge impactscore”, zegt Van Leeuwen.

Volgens hem nemen subsidieverstrekkers dit allemaal niet mee bij het beoordelen van onderzoeksvoorstellen. „Het gebeurde me zelf vorig jaar nog”, zegt hij. In verband met een projectvoorstel was hem gevraagd zijn publicatielijst op te sturen en door te geven wat in zijn ogen de belangrijkste artikelen waren.

Een buitenlandse wetenschapper die het voorstel beoordeelde, vroeg waarom hij daar zijn publicaties in Nature niet bij had gezet. „Dat waren geen onderzoeksartikelen”, zegt Van Leeuwen. „Het ging om twee ingezonden brieven. Die ga ik echt niet als mijn belangrijkste werk aanmerken. Blijkbaar maakt niet iedereen dat onderscheid.”

Van Leeuwen heeft nog meer kritiek. Er wordt niet gecorrigeerd voor teruggetrokken artikelen, zegt hij. Kijk naar Nature. De zeven teruggetrokken artikelen dit jaar zijn, na publicatie, in totaal al zo’n vijfhonderd keer geciteerd. Dat heeft invloed op de impactfactor. Maar Thomson Reuters past die factor niet met terugwerkende kracht aan. Nanofysicus Dekker erkent de bezwaren. Toch zegt hij: „Bij het beoordelen van sollicitaties kijk ik altijd eerst naar twee dingen. Van welk lab komt iemand? En waar heeft hij of zij gepubliceerd. Nature en Science zijn dan een sterke aanbeveling.”