Scoren voor professoren

Henk Moed bestudeert citaties: verwijzingen van wetenschappers naar elkaars werk. Hij ziet de productiviteit van de wetenschap achteruit gaan, ondanks internationale samenwerking en hogere prestatiedruk.

WIE WIL ONTDEKKEN hoe de wetenschap in elkaar steekt hoeft niet per se wetenschappelijke artikelen te lezen. Bibliometricus Henk Moed bladert al decennialang direct door naar het notenapparaat, de lijst achterin een artikel waarin auteurs verwijzen naar werk van andere wetenschappers. Die aanpak heeft vele verrassende inzichten opgeleverd.

Zo heeft Moed vastgesteld dat wetenschappers in de afgelopen decennia niet productiever zijn geworden, ondanks de `rat race' om snel te publiceren die de wetenschap volgens sommigen in zijn greep heeft. Ook de veelgehoorde stelling dat Amerikaanse wetenschappers weinig over de landsgrenzen kijken en bij voorkeur andere Amerikanen citeren verwijst Moed naar de prullenbak. Nog een verrassing: Nederlandse universiteiten mogen zich druk maken over hun plaats op ranglijstjes, in werkelijkheid zijn er nauwelijks kwaliteitsverschillen. ``In Nederland zijn alle universiteiten grosso modo even goed'', zegt Moed. ``Daarom is het grotesk dat er universiteiten zijn die zich het label `Harvard aan de Rijn' of `Cambridge aan de Maas' willen opplakken als de ene een tiende hoger scoort dan de andere.''Moed heeft enig recht van spreken. Sinds hij in 1981 in dienst trad bij het Centrum voor Wetenschaps- en Technologie Studies van de Universiteit Leiden heeft hij meegewerkt aan de opbouw van een enorme database, speciaal bedoeld voor de statistische analyse van wetenschappelijke citaties. Moed: ``Wij beschikken over een database die 25 jaar wetenschappelijke wereldliteratuur bevat. Dertig miljoen publicaties in zes à zevenduizend tijdschriften met tweehonderdmiljoen geciteerde artikelen uit alle gebieden van de wetenschap. Het is een voorrecht om daaruit de betekenisvolle dingen naar boven te mogen halen.''

Moed heeft zijn levenswerk samengevat in het boek Citation Analysis in Research Evaluation dat afgelopen maand werd gepubliceerd. ``Ik ben 25 jaar betaald om me in de citatieanalyse te verdiepen'', zegt hij. ``Ik vond dat het tijd werd om dat geld te verantwoorden door een boek te schrijven dat hopelijk geschikt is voor een breder publiek.''

De citatietellingen zijn in de wetenschap misschien nog wel belangrijker dan lijstjes met topscorers in het voetbal. Wetenschappers die als `goed' worden beschouwd, worden bijna altijd óók veel geciteerd, of ze hebben tenminste artikelen geschreven die veel geciteerd werden.

De Tilburgse econoom Lans Bovenberg dankt zijn reputatie aan het feit dat hij al jarenlang de best-geciteerde econoom van Nederland is en de Delftse fysicus Cees Dekker staat steevast aan de top van lijstjes met best geciteerde Nederlandse fysici.

Uit de citaties wordt ook afgeleid welke tijdschriften tot de top behoren. Toptijdschriften verdienen die naam omdat ze artikelen bevatten die door wetenschappers veelvuldig worden geciteerd. Zo werden artikelen uit 2001 en 2002 in het breed georiënteerde toptijdschrift Nature in 2003 gemiddeld 31 keer geciteerd, concurrent Science blijft met een zogeheten impact factor van 29 iets achter. Duizenden concurrenten moeten het doen met een score van 1 of zelfs minder.

winstmakers

Citatietellingen kunnen niet alleen wetenschappelijke reputaties maken en breken, ze zijn ook financieel van enorm belang. Toonaangevende wetenschappelijke bladen zijn winstmakers voor grote uitgevers als Thomson en Elsevier. Dat geeft soms aanleiding tot vreemde praktijken. Moed toont een recent hoofdartikel in het Journals of Gerontology. In het artikel legt de hoofdredacteur zijn lezers uit hoe goed het gaat met het tijdschrift. Hij wijst op de sterk toegenomen impact factor. ``Een akelig verhaal'', is het commentaar van Moed. ``Deze man slaat zich op de borst, maar een substantieel deel van de citaties komt uit hoofdartikelen die hij zelf geschreven heeft en waarin hij verwijst naar artikelen in zijn eigen tijdschrift.'' Moed toont een staatje waarin te zien is dat in de editorials van het het Journals of Gerontology in het jaar 2002 nog niet of nauwelijks verwezen werd naar eigen artikelen. Maar in 2003 waren de hoofdartikelen goed voor bijna eenderde van de score.

De Leidse bibliometricus spreekt van `Impact Factor-enigineering', een praktijk die veel voorkomt, vooral in de biomedische en klinische tijdschriften. Hij wil zich niet uitspreken over de motieven. ``Het kan best zijn dat deze mensen te goeder trouw zijn.''

Impact Engineering, zegt Moed, ligt mogelijk ook ten grondslag aan het feit dat wetenschappelijke tijdschriften hun sterkste (en meest geciteerde) artikelen graag publiceren aan het begin van het jaar. Voor de berekening van de impact factor van een artikel dat in 2002 is gepubliceerd worden verwijzingen geteld in 2002 en 2003. Een artikel dat vroeg in het jaar is gepubliceerd heeft dus meer tijd om citaties te vergaren. Overigens ontkent wetenschappelijk uitgever Elsevier deze praktijk. Moed: ``Ze verklaren verschillen uit het feit dat het eerste nummer ook het nummer is waarmee reclame wordt gemaakt.''

fouten

Uitgangspunt voor de database die Moed en zijn collega's in de afgelopen jaren hebben opgebouwd zijn de citatietellingen van uitgever ISI Thomson. Dat Canadese bedrijf had tot voor kort een monopolie met zijn Science Citation Index. Sinds vorig jaar is er concurrentie van de Scopes-databank van Elsevier. De Thomson database bulkt van de fouten. Tijdschriften staan er vermeld onder verschillende titels, wetenschappers soms onder meerdere namen (nadat ze getrouwd zijn bijvoorbeeld). Moed: ``Als argeloze buitenstaander zou je zeggen: voor dit soort dingen kun je in je database toch correcties aanbrengen, maar dat doet Thomson niet.'' Moed en zijn collega's zouden best verbeterde gegevens naar buiten willen brengen, bijvoorbeeld een gecorrigeerde lijst met de meest geciteerde tijdschriften. Citaties uit eigen hoofdartikelen zouden daaruit geweerd kunnen worden. De bestaande licentieovereenkomst van CWTS met de Canadezen staat echter publicatie van dergelijke gegevens niet toe, laat staan de commercialisering daarvan.

Als er zoveel fouten in de Science Citation Index staan, is die dan nog wel geschikt om wetenschappers te beoordelen?

Moed: ``Het is erg belangrijk dat wetenschappers de kans krijgen om citatietellingen te verifiëren en te corrigeren. Onder die voorwaarde is de Science Citation Index best bruikbaar voor exacte vakgebieden als natuurkunde, chemie en moleculaire biologie. Daar ligt de dekking van de index tussen 80 en 90 procent. Dat betekent dat de verwijzingen achterin een willekeurig artikel uit de index voor gemiddeld 80 à 90 procent bestaan uit artikelen in tijdschriften die ook in de index zijn opgenomen.''

Zijn de citatietellingen ook geschikt voor de beoordeling van sociale wetenschappers?

``Dat ligt heel anders. De dekkingsgraad in vakgebieden als sociologie, politicologie, rechten, pedagogie en antropologie kan soms dalen tot 20 procent. Binnen de exacte wetenschappen komen trouwens ook de ingenieurs en computerwetenschappen er qua dekkingsgraad niet al te best vanaf. Thomson had dit soort gegevens zelf ook wel eens kunnen publiceren. Ze hebben altijd alleen reclame gemaakt met de dekkingsgraad in de exacte wetenschappen.

``Thomson publiceert wel een Social Science Citation index, maar die geeft geen goed beeld van wat in Nederland wordt verstaan onder sociale wetenschappen. In die index zijn vakbladen opgenomen met publicaties over maatschappelijk relevante deelterreinen als gezondheidszorg en het milieu. Er zitten ook veel nationale tijdschriften tussen en tijdschriften die zijn verbonden aan bepaalde universiteiten zoals de `Harvard Educational Review' en de `Yale Law Journal'. Er wordt wel beweerd dat je het aantal publicaties in het Engels zou moeten meten om te bepalen of sociale wetenschappers onderzoek doen dat internationaal relevant is. Maar in de filosofie is Duits heel belangrijk en in de geschiedenis misschien het Frans. Maar de Social Science Citation Index bevat vooral Engelstalige publicaties. Het is ten slotte een Engelstalig product, in de eerste plaats bedoeld voor de Amerikaanse markt.''

Internationale wetenschappelijke samenwerking wordt alom gezien als belangrijk. Ziet u effecten voor de kwaliteit van onderzoek?

``Als je naar individuele onderzoekers kijkt, dan zie je dat de publicatielijsten steeds langer worden. In 1980 publiceerde een wetenschapper gemiddeld 2,17 artikelen per jaar. In 2002 is dat aantal toegenomen tot 2,81. Dat is raar, want het totale aantal wetenschappelijke artikelen gedeeld door het totale aantal auteurs is in die 22 jaar gedaald van 0,88 tot 0,74 nu. De verklaring ligt in het feit dat het gemiddelde aantal auteurs per artikel in die periode sterk is gegroeid. Artikelen zijn steeds vaker een product van internationale samenwerking tussen universiteiten. Misschien zou je verwachten dat de productiviteit van wetenschappers is toegenomen door de opkomst van de prestatiebeoordelingen en de steeds verdere rationalisatie van het wetenschapsbedrijf. Dat is dus niet zo. De internationale samenwerking lijkt energie en geld op te slurpen.

Vaak wordt gezegd dat Amerikaanse auteurs elkaar in wetenschappelijke publicaties de bal toespelen door elkaar onevenredig veel te citeren. Ten onrechte?

``Als je op het niveau van individuele landen gaat kijken dan zie je inderdaad dat Amerikaanse auteurs elkaar relatief vaak citeren, maar zo'n getal zegt helemaal niets. In de Verenigde Staten wordt nu eenmaal veel meer gepubliceerd dan elders. Als je corrigeert voor het aandeel dat een land qua wetenschappelijke publicaties mondiaal voor zijn rekening neemt dan zie je dat de vermeende overcitatie binnen de VS verdwijnt. Zweden en Australiërs citeren elkaar relatief gezien veel vaker.

``Je ziet wel een interessant effect als je wetenschappelijke citaties binnen West-Europa vergelijkt met citaties binnen de Verenigde Staten. Het is inderdaad zo dat West-Europeanen minder geneigd zijn om te verwijzen naar het werk van andere West-Europeanen. Maar moet je daaruit concluderen dat Amerikanen elkaar te vaak citeren? Of citeren Europeanen elkaar te weinig?

``De Europese Unie probeert internationale samenwerking te stimuleren door het aantal internationale co-publicaties mee te wegen als een factor bij de beoordeling van subsidieaanvragen. De statistieken laten nu zien dat het beleid succesvol is, in die zin tenminste dat Europese wetenschappers ongeveer even vaak samenwerken als Amerikaanse. De Europese integratie is dus geslaagd voor zover zij expliciet is opgenomen in de beoordelingscriteria van wetenschappers [wetenschappers dienen samen projectvoorstellen in]. Maar in de onderlinge citaties kun je zien of wetenschappers van elkaars werk op de hoogte zijn. Samenwerken op dat niveau blijkt dus voor Europeanen nog een heel ander verhaal.''

Het kabinet wil wetenschappers in de toekomst meer gaan beoordelen op hun prestaties. Kan de citatie-analyse daarbij een belangrijke rol vervullen?

``De grote angst van Nederlandse wetenschappers is dat ambtenaren gaan beoordelen wat goed onderzoek is en wat niet. Ik bepleit niet dat beleidsmakers op basis van citatiescores de kwaliteit van individuele onderzoekers gaan beoordelen, maar een afgewogen analyse van citatiescores kan wel helpen bij de beoordeling van wetenschappers.

``In Nederland worden wetenschappers nu beoordeeld door visitatiecommissies. Die commissies bestaan uit peers: wetenschappers beoordelen elkaar. Anders dan vroeger worden visitaties tegenwoordig vooral gebruikt voor de verdeling van financiële middelen binnen universiteiten en niet zo zeer voor vergelijkingen tussen universiteiten.

``Visitatiecommissies delen cijfers uit van één tot en met vijf, maar waarop zij hun oordeel baseren blijft in de praktijk erg vaag. Er bestaat wel een duidelijk verband tussen citatiescores en het oordeel dat wetenschappers in dergelijke commissies over elkaar vellen, maar het lijkt erop dat peers het vooral eens zijn over wie onder de maat blijf.

``Over de topppers zijn ze het minder eens. De best geciteerde onderzoekers in de fysica, chemie en de biologie hadden in hun beoordeling bijna evenveel kans op een viertje als op een vijfje. De toppers worden er dus niet uit gepikt. De emotionele onderzoeker zal zich afvragen waar die oordelen dan wél op gebaseerd zijn.

``Hoe belangrijk het is om peer reviewers ter verantwoording te kunnen roepen heb ik gezien bij een onderzoek in Vlaanderen. Net als in Nederland hebben veel geciteerde wetenschappers daar meer kans om een onderzoekssubsidie binnen te halen. Veruit de belangrijkste verklarende factor was echter of een subsidie-aanvrager (of mede-aanvrager) zitting had in een van de beoordelingscommissies die in Vlaanderen onderzoekssubsidies toewijzen. Dat is vreselijk.''

H.F. Moed, Citation Analysis in Research Evaluation, Springer, 2005, 350 pp. ISBN 1-4020-3713-9.