Hoe machtig zijn Nature en Science?

Het wetenschappelijke tijdschrift Nature moest de afgelopen twee jaar al dertien artikelen terugtrekken wegens fraude en fouten. Ook Science blundert geregeld. Zijn de grote tijdschriften nog wel zo invloedrijk?

Wat is er aan de hand bij het wetenschappelijk toptijdschrift Nature? Voor een onderzoeker gold het als het summum om in dit Britse blad te publiceren. Maar de afgelopen twee jaar heeft het tijdschrift 13 artikelen teruggetrokken – vorig jaar zes, en dit jaar, tot nog toe, zeven. Dat zijn er meer dan ooit. Van die 13 artikelen bleek er bij zeven sprake van fraude, bij de zes andere waren er per ongeluk fouten gemaakt, die in het redactionele proces niet waren opgemerkt.

Tast dit de status van Nature (50.000 abonnees, waaronder universiteiten en bedrijven) aan? En hoe zit het met zijn Amerikaanse concurrent Science (129.000 abonnees), dat de afgelopen jaren ook een paar keer een zeperd had?

Ook krijgen beide bladen kritiek omdat ze nog steeds alleen voor een beperkt publiek, en tegen betaling, toegankelijk zijn. Hoewel Nature voorzichtig experimenteert met open access.

Volgens Christine Mummery, hoogleraar ontwikkelingsbiologie aan de Universiteit Leiden, proberen de bladen de aandacht te trekken met spannende primeurs die een breed publiek aanspreken. „Dan neem je risico’s.” Science meldde vier jaar geleden met veel tamtam de ontdekking van een bacterie die het giftige arseen in zijn DNA had ingebouwd. Achteraf bleek het een miskleun. „Toch zijn Nature en Science nog steeds dé topbladen waarin je je belangrijkste vindingen publiceert”, zegt nanofysicus Cees Dekker van de Technische Universiteit Delft. Hij heeft sinds 1985 zeven keer in Science gestaan (de laatste keer was anderhalve week geleden) en 22 keer in Nature of één van diens zustertijdschriften, zoals Nature Nanotechnology. Waarom Nature de afgelopen twee jaar zoveel stukken heeft moeten terugtrekken, weet hij niet.

Ook Mummery erkent dat iemands onderzoekscarrière nog steeds staat of valt met publicaties in Nature of Science. „Helaas”, voegt ze eraan toe. Er zijn zoveel andere degelijke tijdschriften. Maar het lijkt alsof er bij het beoordelen van subsidievoorstellen en sollicitatiebrieven alleen wordt gekeken naar publicaties in deze twee. Het heeft volgens haar te maken met de impact factor, een veel gebruikte, en ook misbruikte, parameter die het aanzien van tijdschriften probeert weer te geven.

Uitgever Thomson Reuters brengt jaarlijks, begin juni, de impact factor van inmiddels 11.000 wetenschappelijke bladen uit. De factor wordt berekend door het aantal citaties naar artikelen in een wetenschappelijk tijdschrift in een bepaald jaar (zeg 2013) te delen door het totaal aantal artikelen dat in de twee voorafgaande jaren (2011 en 2012) in dat tijdschrift is verschenen. Er is een soort cultus rond die factor ontstaan. De tijdschriften hechten er veel waarde aan. Nature kwam vorig jaar uit op 43, Science op 31. De meeste bladen scoren ergens tussen de 1 en 10.

Maar wat zegt die factor? Thed van Leeuwen weet hoe hij te manipuleren is. Hij doet er onderzoek naar, bij het Centre for Science and Technology Studies in Leiden. Sommige vakbladen zijn bijvoorbeeld meer overzichtsartikelen gaan plaatsen, omdat die in de regel veel vaker worden aangehaald. Zo krikt een tijdschrift zijn impact factor op. Of Science en Nature dat hebben gedaan, weet hij niet. Verder zijn er reputatie-effecten. Iemands werk kan vaak aangehaald worden, alleen omdat diegene een goede reputatie heeft. Er is geen één-op-één-relatie met de kwaliteit van het onderzoek.

De grootste tekortkoming in de ogen van Van Leeuwen, is dat de impact factor van Nature en Science afstraalt op iedereen die in de bladen heeft gepubliceerd. Maar lang niet alle artikelen worden na publicatie ook veel aangehaald. „Eenderde van de papers haalt erg veel citaties en bepaalt de hoge impactscore”, zegt Van Leeuwen. De hoog geciteerde stukken komen vooral uit de moleculaire biologie en de biomedische wetenschappen.

Volgens hem nemen subsidieverstrekkers dit allemaal niet mee bij het beoordelen van onderzoeksvoorstellen. „Het gebeurde me zelf vorig jaar nog”, zegt hij. In verband met een projectvoorstel was hem gevraagd zijn publicatielijst op te sturen en daarop aan te geven wat in zijn ogen de belangrijkste artikelen waren. Een buitenlandse wetenschapper die het voorstel beoordeelde, vroeg waarom hij daar zijn publicaties in Nature niet bij had gezet. „Maar dat waren geen onderzoeksartikelen”, zegt Van Leeuwen. „Het ging om twee ingezonden brieven. Die ga ik echt niet als mijn belangrijkste werk aanmerken.”

Nanofysicus Dekker erkent de bezwaren tegen de impact factor. Toch geeft hij toe dat hij bij het beoordelen van sollicitaties altijd eerst naar twee dingen kijkt. „Van welk lab komt iemand. En waar heeft hij of zij gepubliceerd. Nature en Science zijn dan een sterke aanbeveling.” Van Leeuwen heeft nog meer kritiek op de impact factor. Er wordt niet gecorrigeerd voor teruggetrokken artikelen. Kijk naar Nature. De zeven teruggetrokken artikelen dit jaar zijn, na publicatie, in totaal al zo’n vijfhonderd keer geciteerd. Dat heeft invloed op de impact factor. Maar Thomson Reuters past die factor niet met terugwerkende kracht aan.

Ondanks dit alles staan Nature en Science nog steeds voor hoge kwaliteit, vindt Chigo Okonkwo, elektrisch ingenieur aan de Technische Universiteit Eindhoven. Hij publiceerde vorige week over een nieuwe supersnelle glasvezelkabel, in Nature Photonics. „Via externe experts hebben we allerlei tips gekregen om het artikel te verbeteren. Die feedback verklaart onder andere de hoge impact factor.”

Het was voor het eerst dat Okonkwo in zo’n toptijdschrift publiceerde. Hij heeft het geweten. De afgelopen week is hij overladen met mailtjes en telefoontjes van collega’s en allerlei media.