Forse kritiek op kwaliteitsnorm ‘journal impact factor’

Publicatiedruk

Factor zegt iets over de kwaliteit van een tijdschrift, maar niet over die van de gemiddelde onderzoeker die erin publiceert.

Vooraanstaande wetenschappelijke tijdschriften, waaronder Nature en Science, hebben felle kritiek op de meest gebruikte maat voor wetenschappelijke kwaliteit, de journal impact factor. Die factor is de laatste decennia steeds bepalender geworden voor de carrière van wetenschappers, ondanks dat hij bekendstaat als een beperkte, en makkelijk te manipuleren indicator. Er wordt aan de factor een „overdreven waarde” toegekend en hij wordt veel „te simplistisch” gebruikt door subsidiegevers en universiteitsbestuurders.

Dat schrijft een groep hoogleraren, hoofdredacteuren en directeuren in een artikel dat is gepubliceerd op de website van bioRxiv, die preprints plaatst van nog te publiceren artikelen in de levenswetenschappen. Tegelijk plaatste afgelopen maandag de American Society for Microbiology op haar website een soortgelijke aanklacht tegen de „verdoemde” journal impact factor. De vereniging publiceert het redactionele stuk in veertien van haar tijdschriften. Op de nieuwssite van Nature verklaart de directeur van de vereniging, Stefano Bertuzzi, dat het doel is „om de impactfactor zo onbeschaafd (‘tacky’) te maken dat mensen zich zullen gaan schamen om het ooit nog te noemen”.

Het belangrijkste bezwaar tegen de in 1972 bedachte journal impact factor is dat hij weinig zegt over de kwaliteit van individuele artikelen in de tijdschriften. Maar hij wordt zo wel gebruikt in de beoordeling van wetenschappers. De factor wordt berekend door het aantal citaties naar artikelen in een wetenschappelijk tijdschrift in een bepaald jaar (zeg 2015) te delen door het totaal aantal artikelen dat in de twee voorafgaande jaren (2013 en 2014) in dat tijdschrift is verschenen. De meeste tijdschriften komen ergens tussen de 1 en 10 uit. Toptijdschriften Nature en Science zaten in 2015 op respectievelijk 38 en 35. Een publicatie in een van deze twee tijdschriften geldt voor veel wetenschappers als het summum. Het opent carrièredeuren.

Maar als de journal impact factor een gemiddelde waarde is, wat zegt het dan over de kwaliteit en impact van individuele in het tijdschrift gepubliceerde artikelen? Dat zochten de auteurs van het artikel in bioRxiv uit, voor elf tijdschriften. Er kwam steeds hetzelfde beeld uit: 65 tot 75 procent van de artikelen haalt die gemiddelde waarde niet. En 15 tot 25 procent van de artikelen is goed voor 50 procent van het totaal aantal citaties. De impact factor van een tijdschrift wordt sterk bepaald door een beperkt aantal heel veel geciteerde artikelen.

Volgens de negen auteurs is de factor wel geschikt om tijdschriften zelf te beoordelen, zoals ook de bedoeling ervan was, voor bibliotheken om te beslissen op welke tijdschriften een abonnement te nemen. Maar de factor is niet geschikt om individuele wetenschappers te ranken. Ze noemen het gebruik ervan een „sterk verankerd probleem” in de wetenschap.

Een oplossing is niet makkelijk voorhanden. Toch vinden ze dat er meer aandacht moet komen voor de verdienste van individuele artikelen, en voor andere bijdragen van onderzoekers. Zoals het delen van data en materialen (chemicaliën, cellijnen), begeleiden van studenten en het beoordelen van andermans artikelen.