Noem jij mij, dan noem ik jou

uit het lab Wie heeft de grootste H? Daar gaat het om op de apenrots van de wetenschap. Publiceer veel en zorg dat je geciteerd wordt, want dat doet de H-index klimmen.

Karel Berkhout &

Margriet van der Heijden

Het viel hem ineens op toen hij als commissielid een subsidieaanvraag moest beoordelen. “Met het werk zelf was niks mis”, zegt Gijs Wuite, natuurkundehoogleraar aan de Vrije Universiteit Amsterdam en lid van De Jonge Akademie. Wat hem bevreemdde was iets anders: het relatief grote aantal onderzoeksleiders (principal investigators) boven de artikelen in de bijgevoegde publicatielijst. Van de zestien auteurs waren er tien onderzoeksleider, vertelt Wuite. “Ik vroeg me af: wat deden al die leiders?”

Navraag leerde dat op de betreffende onderzoeksafdeling – van een medische faculteit – simpelweg was afgesproken om steeds het hele team auteur te maken. Wuite: “De subsidieaanvrager zei erbij dat ze elkaars stukken meestal wel lazen.” Maar of dat nalezen ten doel had elkaars werk kritisch na te lopen? Als de onderzoekers al aan lezen toekwamen? Wuite: “De afspraak was gemaakt om elkaar meer publicaties te bezorgen.”

Wie zijn oor te luisteren legt in academisch Nederland, hoort de ene na de andere anekdote over tips en trucs waarmee wetenschappers hun naam in een wetenschappelijk tijdschrift krijgen (zie kader). Dat doen ze om hun ‘H-index’ omhoog te krijgen.

Die H(irsch)-index is in 2005 bedacht door de natuurkundige Jorge Hirsch om te bepalen hoeveel invloed een wetenschapper heeft. Werden publicaties en citaties tot dan toe meestal eenvoudigweg geteld, met de H-index werd een weging aangebracht. Iemand met bijvoorbeeld een H-index van 50 heeft 50 artikelen geschreven die elk 50 keer of vaker zijn geciteerd. De H-index geldt daarmee als een behoorlijk betrouwbare indicatie van de staat van dienst van een wetenschapper. Bovendien is de H-index snel en gemakkelijk vast te stellen en uit te leggen.

Mede daardoor is het succes van deze index overweldigend. Bestuurders van onderzoeksinstellingen en subsidiegevers hanteren de H-index bij het benoemen van hoogleraren en het financieren van onderzoek. “Wie ondanks zijn veronderstelde brille toch een lage H-factor heeft, moet iets uitleggen”, zegt de wiskundige Henk van der Vorst, emeritus-hoogleraar van de Universiteit Utrecht en lid van de Koninklijke Nederlandse Akademie van Wetenschappen. “Als er twee goede kandidaten zijn, kijk je toch even naar de H-waarden.”

Van der Vorst is auteur van het wereldwijd meest geciteerde wiskundeartikel in de jaren negentig. Over zijn ervaring met dit artikel schreef hij in 2003 een geestig essay met de veelzeggende titel Hoe schrijf ik een veel geciteerd artikel? Daarin stonden gepaste trucs voor zelfpromotie (schrijf lecture notes over je artikelen) en ongepaste (vraag je promovendi om jou, ‘de Grote Roerganger’, vaak te citeren).

Dergelijke trucs worden sindsdien alleen maar vaker toegepast, vertelt Van der Vorst. “De meeste wetenschappers weten intussen hoe je je H-index kunt opvoeren.” Als redacteur van tijdschriften maakte hij bij peer reviews wel mee dat een anonieme beoordelaar heel vaak aangaf dat aan artikelen van een bepaalde wetenschapper gerefereerd moest worden: “Vermoedelijk die van de beoordelaar zelf. In zulke gevallen schrapte ik wel wat referenties.”

De drang tot publiceren en de jacht op citaties hebben in verschillende vakgebieden de H-factor van onderzoekers tot ongekende hoogten opgejaagd. Zoals in de cardiologie, zegt hoogleraar en cardioloog Arthur Wilde (Universiteit van Amsterdam, AMC, lid KNAW). Samen met elektrofysioloog Tobias Op ’t Hof (Universiteit Utrecht) beschreef hij in Netherlands Heart Journal (april 2011) hoe cardiologen de afgelopen jaren een verbluffende productie draaiden.

Wonderbaarlijk

De kroon spande de Leidse hoogleraar Jeroen Bax (LUMC), over wie werd genoteerd: ‘Dr. Bax bleef aan de top met een wonderbaarlijke 110,8 artikelen per jaar. In zijn topjaar 2009 schreef hij 138 artikelen, ofwel één artikel per 1,9 werkdagen. Je vraagt je af waar dit zal eindigen.’ Het LUMC doet inmiddels onderzoek naar Bax, die volgens database Medline 375 artikelen schreef in samenwerking met de Rotterdamse hoogleraar Don Poldermans. Poldermans werd vorig jaar ontslagen wegens wetenschapsfraude.

De opmerking over Bax sloeg op het productievolume en was niet bedoeld om fraude te suggereren, bezweren Wilde en Op ’t Hof: “Het was een algemene verzuchting, een uiting van onze zorg over de kwaliteit.” Want, zo zegt Wilde: “Medische wetenschappers die zoveel publiceren kunnen onmogelijk elk artikel tot in detail kennen.”

De hang naar een hoge H-index schept ook sociale dilemma’s bij leiders van onderzoeksafdelingen, zoals Wilde in AMC: “Als ik geld binnenhaal voor een specifiek onderzoek en wetenschappelijk bijdraag, zet ik mijn naam bij een artikel. Maar ik ben zeker geen co-auteur van een artikel van mijn afdeling waar ik geen aandeel in heb gehad. Ik weet dat er afdelingshoofden zijn, die hun naam zetten bij elk artikel dat op hun afdeling wordt geschreven.” En die daardoor zichtbaarder zijn dan hun bescheidener collega’s.

De vraag wie zijn naam bij een artikel mag zetten, zorgt voor spanningen tussen onderzoekers. Zo moet de ombudsman van het AMC, ongeveer de enige die integriteitsonderzoeken openbaar maakt, opvallend vaak bemiddelen bij auteurkwesties. ‘Het conflict spitst zich toe op een nog niet gepubliceerd conceptartikel, waarbij betrokkene A eigenlijk geen rol ziet voor betrokkene B als mede-auteur. Betrokkene B daarentegen vindt dat hij co-auteur zou moeten zijn’, schrijft de ombudsman bijvoorbeeld in het jaarverslag van 2009. Uit een eerdere inventarisatie in deze krant bleek dat van alle onderzoeken naar wetenschapsfraude een kwart betrekking had op (onterechte) auteurschappen.

Zo staat de H steeds meer voor hype, hysterie en hijgerigheid. Terwijl de beperkingen van de meetmethode toch steeds duidelijker worden. Doordat het aantal malen dat een artikel geciteerd wordt stijgt met de jaren, en doordat de index een optelsom is, hebben oudere wetenschappers een hogere score dan jongeren. “Sinds mijn pensioen zie ik tevreden hoe mijn H-waarde blijft toenemen”, zegt Van der Vorst ironisch.

Daarnaast wordt in sommige vakgebieden nu eenmaal meer gepubliceerd dan in andere, terwijl ook binnen vakgebieden de verschillen vaak enorm zijn – fundamenteel onderzoek wordt meestal minder geciteerd dan toegepast onderzoek.

Dat laatste speelde ook een rol bij het veel geciteerde wiskunde-artikel van Van der Vorst, die daarover in zijn essay schreef: ‘Wiles’ publicatie waarin hij het vermoeden van Fermat definitief bevestigde, heeft tot (veel) minder citaties geleid dan mijn artikel, waarin ik een wat snellere methode voorstelde voor het oplossen van lineaire stelsels. [...] Ik verwacht niet van valse bescheidenheid beticht te worden als ik stel dat zijn [Wiles’] werk van een hogere orde is.’

Ook Einstein heeft een lage H-index. Hij schreef baanbrekende artikelen, maar wel weinig. Ongunstig voor zijn H-index, want daarin tellen drie artikelen die elk duizenden malen geciteerd worden, even zwaar als drie artikelen die elk slechts drie keer worden aangehaald.

Ondanks die zichtbare gebreken breidt de invloed van de H-index zich als een olievlek uit. Wetenschappelijke uitgevers en redacteuren etaleren hun tijdschriften gretig als ‘high impact’, dus met artikelen waarnaar veelvuldig wordt verwezen. “Interessante artikelen worden zo nogal eens afgewezen, omdat de redactie verwacht dat er niet veel uit geciteerd zal worden”, zegt Van der Vorst.

Sommige tijdschriften verhogen hun impactscore door auteurs een lijst te geven met verplichte referenties aan artikelen die eerder in het tijdschrift stonden. Dat gebeurt onder meer bij tijdschriften in de bedrijfseconomie, meldde Science (februari, 2012). Verder drukken tijdschriften geregeld overzichtsartikelen af, waarin wordt verwezen naar eerdere publicaties in hetzelfde tijdschrift, de zogeheten ‘zelfcitaties’.

“In de top-10 van de toonaangevende tijdschriften in de cardiologie staan twee tijdschriften, waarvan de ‘impact factor’ met liefst 33 en 57 procent is opgeblazen door zelfcitaties”, zegt Op ’t Hof. Hij bereidt samen met onder anderen cardioloog Wilde een publicatie voor over het oppompen van impactscores door tijdschriften.

Kwaliteit in gevaar

Dat artikel-in-wording is een waarschuwing dat – zoals Wilde het formuleert – “het systeem van publiceren en citeren aan het doldraaien is”. Want inmiddels jagen ook universiteiten op wetenschappers met een hoge H-index om zelf op te kunnen klimmen in de internationale ranglijsten. Wilde vertelt hoe de universiteiten in Saoedi-Arabië (emeriti) hoogleraren inhuren uit het buitenland, waaronder Nederland: “Hun namen bij een artikel geven de universiteit en het onderzoek daar weer status.” In Nederland staan bijvoorbeeld de universiteiten van Utrecht en Wageningen bekend als instituten die sterk hechten aan een hoge H-index.

“En zo werken bestuurders in de hand dat wetenschappers gaan sturen op een hoge H-index”, zegt natuurkundige Wuite. “Zelfs al zijn de tekortkomingen van die index aan elke wetenschapper wel duidelijk.” Het komt intussen niet zelden voor, zo blijkt uit een kleine rondgang, dat onderzoekers ‘s morgens voor het werk eerst hun H-index controleren – zoals tv-producenten dat met kijkcijfers doen.

Het brengt de kwaliteit van het onderzoek in gevaar, schreven de Franse topfysici Franck Laloë en Rémy Mosseri twee jaar geleden in een krachtige waarschuwing in een Frans vakblad (Reflets de la Physique, maart 2009): als onderzoekers jagen op ‘high impact’ op de korte termijn, ondermijnt dat op de langere duur de wetenschappelijke vooruitgang.

Herziening

De H staat wat veel wetenschappers betreft dan ook voor herziening. “Ik ben inmiddels zover dat ik geen artikel meer geloof”, zegt cardioloog Op ’t Hof strijdlustig, “omdat deze attitude natuurlijk ook effecten heeft op de inhoud van de artikelen.” Dat gaat zijn collega Wilde te ver: “De H-index is een nuttig instrument, alleen al om te kijken of al het kostbare onderzoek ook wat oplevert. Maar hij moet goed gebruikt worden. Bijvoorbeeld door alleen onderzoekers te vergelijken die ongeveer even oud zijn en in dezelfde niche van een vakgebied werken. Of door alleen te kijken naar de publicaties van de laatste vijf jaar.”

In hun paper tonen Op ’t Hof en Wilde nog een manier om de H-index te relativeren. Namelijk door alleen die publicaties mee te tellen waarvan een wetenschapper eerste auteur is – waarin hij of zij dus de voortrekkersrol speelde. Als de H-index zo wordt bepaald, vallen vijf cardiologen uit de H-waarde-toptien, tonen Wilde en Op ’t Hof. Niet zo vreemd, want 60 procent van de wetenschappers is gedurende zijn carrière slechts eenmaal eerste auteur. Vergaren zulke wetenschappers daarna alleen een hoge H-index door samenwerking, invloed en geld, dan vallen ze in deze alternatieve telling buiten de boot.

Van der Vorst is blij dat hij het strijdperk van de H-index heeft verlaten: “Ik maak linosnede portretten van ex-collega’s en zet die op mijn webpagina [zie nrch.nl/7qd]. Ook hier helpt de ijdelheid van wetenschappers, want inmiddels willen meerdere collega’s in de serie worden opgenomen.”

Kent u ook voorbeelden van ontspoorde publicatiedrift? Stuur een mail naar wetenschap@nrc.nl