Weg met de ‘journal impact factor’, zeggen wetenschappers en tijdschriften.

Vooraanstaande wetenschappelijke tijdschriften, waaronder Nature en Science, hebben felle kritiek op de meest gebruikte maat voor kwaliteit, de journal impact factor. De factor is de laatste decennia steeds bepalender geworden voor de carrière van wetenschappers, ondanks dat hij algemeen wordt gezien als een beperkte, en makkelijk te manipuleren indicator. Er wordt aan de factor een „overdreven waarde” toegekend en hij wordt veel „te simplistisch” gebruikt door subsidiegevers en universiteitsbestuurders.

Lees ook: Hoe machtig zijn Nature en Science?

Dat schrijft een groep hoogleraren, hoofdredacteuren en directeuren in een artikel dat is gepubliceerd op de website van bioRxiv, die preprints plaatst van nog te publiceren artikelen in de levenswetenschappen. Tegelijk plaatste afgelopen maandag de American Society for Microbiology op haar website een soortgelijke aanklacht tegen de „verdoemde” journal impact factor. De vereniging publiceert het redactionele stuk in veertien van haar tijdschriften. Op de nieuwssite van Nature verklaart de directeur van de vereniging Stefano Bertuzzi, dat het doel is „om de impactfactor zo onbeschaafd (‘tacky’) te maken dat mensen zich zullen gaan schamen om het ooit nog te noemen.”

Individuele artikelen

Het belangrijkste bezwaar tegen de in 1972 bedachte journal impact factor is dat hij weinig zegt over de kwaliteit van individuele artikelen in de tijdschriften. Maar hij wordt wel zo gebruikt in de beoordeling van wetenschappers. De factor wordt berekend door het aantal citaties naar artikelen in een wetenschappelijk tijdschrift in een bepaald jaar (zeg 2015) te delen door het totaal aantal artikelen dat in de twee voorafgaande jaren (2013 en 2014) in dat tijdschrift is verschenen. De meeste tijdschriften komen ergens tussen de 1 en 10 uit. Toptijdschriften Nature en Science zaten in 2015 op respectievelijk 38 en 35. Een publicatie in een van deze twee tijdschriften geldt voor veel wetenschappers als het summum. Het opent carrièredeuren.

Maar als de journal impact factor een gemiddelde waarde is, wat zegt het dan over de kwaliteit en impact van individuele in het tijdschrift gepubliceerde artikelen? Dat zochten de auteurs van het artikel in bioRxiv uit, voor elf tijdschriften. Er kwam steeds hetzelfde beeld eruit: 65 tot 75 procent van de artikelen haalt die gemiddelde waarde niet. En 15 tot 25 procent van de artikelen is goed voor 50 procent van het totaal aantal citaties. De impact factor van een tijdschrift wordt dus sterk bepaald door een beperkt aantal heel veel geciteerde artikelen.

Lees ook: Rebellen tegen de dolgedraaide wetenschap

Bibliotheekmedewerkers

Volgens de negen auteurs is de factor wel geschikt om de tijdschriften zelf te beoordelen, zoals oorspronkelijk de bedoeling ervan was. Bibliotheekmedewerkers konden hem gebruiken om te bepalen welke tijdschriften aan te schaffen in een snel uitbreidend aanbod. Maar de factor is niet geschikt om individuele wetenschappers te ranken. Ze noemen het gebruik ervan een „sterk verankerd probleem” in de wetenschap. Een oplossing is niet makkelijk voor handen. Toch vinden ze dat er meer aandacht moet komen voor de verdienste van individuele artikelen, en voor andere bijdragen van onderzoekers. Zoals het delen van data en materialen (chemicaliën, cellijnen), het begeleiden van studenten en het beoordelen van andermans artikelen.

De auteurs roepen wetenschappelijke tijdschriften op om bij hun impact factor standaard ook de citatieverdeling te vermelden. En om citatiegegevens openbaar te maken, zodat er makkelijker onderzoek naar te doen is.