BRIEVEN publicatiedrift

Consternatie

Ik kan me de consternatie in mijn instituut (in Frankrijk) nog goed herinneren toen het CNRS (Centre national de la recherche scientifique) een aantal jaren geleden plotseling onze H-factor wilde weten. De haren rijzen me te berge als ik zie dat Nederlandse universiteiten beleid bepalen op grond van de Shanghai-lijst en de H-factor. De H-factor wordt wel plotseling een stuk informatiever als je simpelweg de citatiescore van een artikel deelt door het aantal auteurs. Sjoemelen kan altijd, maar dan wordt het wel een stuk moeilijker.

Ronald Noë

Evolutie-ethologieUniversité de Strasbourg

Limiet van tien auteurs

Het verbaast me dat een voor de hand liggende maatregel om paal en perk te stellen aan de publicitaire verloedering ongenoemd blijft. De belangrijkste perverse prikkel in het huidige systeem staat namelijk bij de 10 strategieën voor het verkrijgen van een hogere H-index: “Bedenk: een artikel helemaal alleen produceren levert evenveel punten op als datzelfde artikel met tien auteurs in elkaar draaien” (tip 4). Die regel vormt een openlijke uitnodiging om het titulaire auteurschap over een zo groot mogelijk aantal personen uit te spreiden. Laten we daarom afspreken dat een artikel waarboven 10 auteurs vermeld staan voor elk van hen voortaan slechts als een tiende publicatie meetelt. Een logische correctiefactor die elke publicatie deelt door het aantal ‘auteurs’ zal heel wat opgeblazen winderigheid uit het systeem verdrijven.

Henk van den Belt

Toegepaste FilosofieWageningen Universiteit

Inconsistent

Naast de in het artikel genoemde problemen, wil ik erop wijzen dat de H-index wetenschappelijke prestaties op een inconsistente wijze meet. Stel dat onderzoekers A en B in een bepaalde periode precies dezelfde prestatie leveren. Dit zou dan geen effect moeten hebben op de manier waarop de onderzoekers ten opzichte van elkaar worden beoordeeld. Anders gezegd: Als A aan het begin van de periode beter werd beoordeeld dan B, dan moet dat aan het eind van de periode nog steeds zo zijn.

De H-index houdt zich niet aan dit principe. Stel dat A oorspronkelijk 4 publicaties had, met ieder 4 citaties, terwijl B oorspronkelijk 3 publicaties had, met ieder 5 citaties. Vervolgens publiceren A en B samen 2 publicaties, die ieder 5 citaties ontvangen. De H-index van A blijft dan onveranderd op 4, terwijl die van B van 3 naar 5 stijgt. Oorspronkelijk werd A dus beter beoordeeld dan B, maar nadat ze 2 keer samen hebben geproduceerd draait dit opeens om.

Vergelijkbare problemen spelen wanneer de H-index wordt toegepast op het niveau van zowel individuele wetenschappers als onderzoeksgroepen. De onderzoeksgroep met de hoogste H-index kan bestaan uit de wetenschappers met de laagste H-index. Nog afgezien van de in het artikel genoemde problemen, bieden dit soort inconsistenties voldoende reden om de H-index niet te gebruiken.

Dr. Ludo Waltman

Centrum voor Wetenschaps- en Technologiestudies, Universiteit Leiden

Burn-out

Vorig jaar verrichtte ik samen met Joeri Tijdink, een psychiater in opleiding, een onderzoek naar de publicatiecultuur/-drift. Het onderzoek bestond uit een anonieme webbased enquête onder medische hoogleraren in Nederland. Via de decanen van de 8 medische faculteiten in Nederland konden wij 1.100 hoogleraren bereiken. Wij stelden hen vragen omtrent de druk om te publiceren, de cultuur waarin dit plaatsvindt, alsmede vragen over hun persoonlijk welbevinden.

Een greep uit de resultaten: ongeveer de helft van de 450 respondenten vond dat de druk om te publiceren te groot was geworden, en de aandacht voor andere kernvaardigheden van medische hoogleraren, zoals een voorbeeldig arts zijn, een goed opleider etcetera, te veel naar de achtergrond deed verdwijnen. Een kwart tot eenderde vond dat de publicatiedruk leidt tot gebrekkige geloofwaardigheid van medische literatuur, de verhoudingen binnen academische centra onder druk zet, enzovoorts. Tenslotte voldoet ongeveer 25 procent aan de criteria voor burn-out, vooral in het domein van emotionele uitputting. Alhoewel causaliteit daarmee niet bewezen is, hangt het voorkomen van burn-out samen met de ervaren publicatiedruk. De resultaten van dit onderzoek worden nu bewerkt tot een publicatie.

Yvo SmuldersVU Medisch Centrum, Amsterdam

Scrupules

Met veel voldoening heb ik het artikel gelezen over de negatieve effecten van de H-index op de kwaliteit van de wetenschap. Iedereen die de laatste jaren heeft opgelet had kunnen voorspellen dat slimme mensen (zoals wetenschappers) ingenieuze methoden zouden vinden om door deze hoepel te springen. Sommigen met minder scrupules dan anderen. Midden jaren tachtig was ik student-assistent bij het LISBON, het tegenwoordige CWTS. Als student met enkele wetenschappelijke publicaties op mijn naam, sprak ik er al mijn verbazing uit over ‘topauteurs’ met gemiddeld 100 of meer publicaties per jaar. De verklaring was toen al dat professoren hun naam achter alle artikelen van hun medewerkers en promovendi zetten. Overigens heb ik ook meegemaakt dat er pogingen waren de naam van de werkelijke onderzoeker (en auteur) bij uitgifte te vervangen door die van zijn/haar baas.

Dr. Rebecca HamerDen Haag

Naming and shaming

In het stuk over de H-index wordt ‘naming and shaming’ gepleegd op een wetenschappelijk auteur die, voorzover ik kan zien in het artikel, niet om een weerwoord is gevraagd. Daarnaast is alleen een eenzijdige kwantitatieve observatie gedaan - de journalisten hebben geen kwalitatieve analyse gemaakt van de genoemde auteur. Men suggereert: iemand die zoveel publiceert moet kwalitatief mindere artikelen publiceren dan iemand die minder artikelen publiceert. Maar, is hier wel bewijs voor? In het stuk wordt verwezen naar de bibliometrische analyse van Op’ t Hof, en daar komt dat bewijs niet in voor. Deze analyse moet overigens met een korrel zout worden genomen, want de gepresenteerde gegevens zijn niet gevalideerd door de onderzochte en gerangschikte auteurs. Bovendien is er geen bibliometrisch wetenschapper bij betrokken geweest - en bibliometrie is een vakgebied met talloze valkuilen.

Jan W. SchoonesLeiden

Naschrift Tobias Op ’t Hof en Arthur Wilde:

Het valt niet uit te sluiten dat bibliometrie een valkuil is met dan wel zonder vakgebied. Wij hebben weinig anders willen beweren dan dat extreme productiviteit van wetenschappers, bijvoorbeeld door een paar keer per week iets te publiceren, op gespannen voet kan komen te staan met de perceptie van accuratesse en niveau door hen die buiten de medische wereld staan. Een wetenschappelijk artikel is vooralsnog geen tweet. Wij hebben uit en te na betoogd dat wij de extreme productiviteit van één onzer collega’s niet associëren met fraude. Het feit dat sommige (lokale) collega’s dat juist wel doen, is curieus. Van je vrienden moet je het maar hebben.

Naschrift redactie:

De wetenschappelijk auteur, de Leidse cardioloog Jeroen Bax, heeft niet gereageerd op het verzoek van de krant om commentaar te geven.