Wetenschapsmeter wil niet meer botweg wetenschap meten

‘We zijn doorgeschoten’. Dat zegt de directeur van het instituut CWTS, dat mondiaal naam maakte met methoden om academici cijfers te geven.

Iedereen kan roepen dat wetenschappers veel te veel worden beoordeeld met twijfelachtige indicatoren, zoals de h-index. Maar het is wat anders als dat geluid komt uit het ‘Centre for Science and Technology Studies’ (CWTS) in Leiden. Want dat universiteitsinstituut heeft twintig jaar lang zulke indicatoren mee helpen ontwikkelen. Het is er nota bene wereldvermaard om. „Maar we zijn erin doorgeschoten. We moeten een nieuwe weg inslaan”, zegt Paul Wouters, sinds september 2010 directeur van het CWTS.

Hoezo?

„Indicatoren zoals de journal impact factor en de h-index zijn te veel de maat der dingen geworden. Tijdschriften en wetenschappers zijn ze als doel op zich gaan zien. Ze hebben hun gedrag erop aangepast. Sommige indicatoren kun je manipuleren, zodat je hoog scoort en eerder in aanmerking komt voor promotie of subsidie. Of je zo goeie wetenschap krijgt?”

Heeft u kritiek op de vorige directeur van het CWTS, Ton van Raan, die veel onderzoek deed naar indicatoren?

„Ton is wereldwijd een van de topfiguren op het gebied van de bibliometrie. Het ontwikkelen van wiskundige en statistische methoden om van alles te meten aan gepubliceerde wetenschappelijke kennis, is zijn kindje. Maar dat kindje is door anderen veranderd in een kleine pitbull. Ton heeft altijd gewaarschuwd voor verkeerd gebruik van indicatoren. Toch is het gebeurd. We moeten dit onder ogen zien. Ze zijn niet zaligmakend. De romantische fase van de bibliometrie is voorbij.”

Wouters, van huis uit biochemicus, is deze week teruggekeerd van een drie maanden durend sabbatical. Hij zat in Berlijn. Veel lezen, nadenken, schrijven. Hij was dus niet in Nederland bij de lancering van het initiatief Science in transition een maand geleden. De vier initiatiefnemers ervan stellen allerlei perverse prikkels en fouten in het wetenschappelijk bedrijf aan de kaak, onder andere het misbruik van indicatoren.

Wouters kent het initiatief echter goed. Hij was bij de voorbereidingen ervan betrokken. „Het wetenschappelijk systeem is inderdaad op zijn grenzen gestuit. Steeds meer onderzoekers werken op tijdelijke contracten. Het carrièreperspectief voor promovendi is slecht. De publicatiedruk is te hoog. Op internet neemt het aantal neptijdschriften snel toe.”

En er wordt dus te veel gevaren op indicatoren. Neem de citatiescore, het aantal keer dat een artikel van een wetenschapper wordt aangehaald. Het algemene idee is dat het iets zegt over de wetenschappelijke kwaliteit (impact) van een onderzoeker. Hoe hoger de score, hoe meer impact.

Maar zo rechtlijnig is dat verband niet, schreef Wouters met twee collega’s afgelopen juli in het Journal of Informetrics. Iemands werk kan vaak aangehaald worden, alleen omdat diegene een goede reputatie heeft. Of omdat hij bij een vooraanstaand instituut werkt.

Het kan ook zo zijn dat iemand de artikelen in zijn referentielijst strategisch kiest. Niet omdat ze wetenschappelijk zo belangrijk zijn, maar omdat ze de hypotheses en stellingen van de auteur onderbouwen. Wouters: „De Franse antropoloog Bruno Latour stelt dat wetenschappers hun referentielijst vooral gebruiken om hun argumenten te onderbouwen en de lezer van hun gelijk proberen te overtuigen.”

Overzichtsartikelen worden ook meer aangehaald, hoewel er geen nieuwe vindingen in worden gemeld. Wouters: „Daarom zijn veel vakbladen meer reviews gaan plaatsen. Zo worden ze vaker geciteerd en verhogen ze hun impact factor.”

Wetenschappers zouden ook met anderen afspreken elkaar te citeren, zodat ze elkaars score opkrikken.

„Dat gebeurt. Vooral in de medische sector, denken we.”

Is dat aangetoond?

„We weten het anekdotisch. We doen hiernaar sinds kort etnografisch onderzoek. We spreken met artsen, onderzoekers, en vragen hen hoe ze tegen die indicatoren aankijken. Hoe het hun gedrag beïnvloedt.”

Waarom zou dit gedrag juist in de medische sector opduiken?

„Misschien omdat het onderzoek binnen ziekenhuizen zo gegroeid is, en decanen het niet meer kunnen overzien. Ze hebben sterke behoefte aan strategische informatie. Maar het kan ook dat status in deze sector een grotere rol speelt. En op veel plaatsen kom je met een langere lijst aan publicaties eerder in aanmerking om specialist of hoogleraar te worden. Dus als je je publicatielijst op de een of andere manier langer kunt maken...”

Kunnen we maar beter helemaal geen indicatoren meer gebruiken?

„Je hebt wel instrumenten nodig om iets van kwaliteit te meten. Maar perfect wordt het nooit. Misschien moet je elke vijf, zes jaar je indicatoren aanpassen, want mensen zetten zich toch naar het systeem.

„Je kunt er ook voor kiezen alles via peer review te laten beoordelen, vakgenoten die elkaar staven. Maar ook dat systeem kent zijn beperkingen. Deze week heeft Nature er nog een artikel over. Onderzoekers hebben de neiging zich aan te passen aan de voorkeuren van de peers, want die beslissen over subsidies. Het old boys network kan onderling afspraken maken wie geld of een promotie krijgt. Wetenschap is te belangrijk om alleen aan wetenschappers over te laten.”

Er mag dus best controle zijn?

„Het is logisch dat bestuurders ergens op willen afrekenen. Maar wetenschap moet je niet runnen alsof het een bank is. De balans is doorgeschoten. Het is te zeer een afrekencultuur geworden. Ik heb het idee dat het te maken heeft met het new public management dat in de jaren tachtig is komen opzetten. Publieke sectoren moesten gerund worden als een bedrijf. Met harde targets. In de wetenschap zijn toen die indicatoren aangegrepen. Ondanks waarschuwingen voor hun beperkte waarde. Wat gebeurt er als je targets introduceert? Het moedigt competitie aan. Maar ook wantrouwen.”

Is er eigenlijk wel een manier om wetenschappelijke kwaliteit te meten?

„Er is geen directe maat voor wetenschappelijke kwaliteit, noch voor wetenschappelijke impact. Je kunt wel aspecten ervan vaststellen, en soms ook meten. Als je impact ziet als invloed op de inhoud van de kennis over X, dan zie je dat alleen achteraf. En daarvoor heb je kennis van het vakgebied nodig. Een mogelijke maat is dan het gebruik van kennis in standaardboeken, lesmateriaal.

„Ik ben voorstander van een gelaagd systeem. Bestuurders op hoog niveau varen niet op indicatoren, maar beperken zich tot strategische visies die het mogelijk maken voor de onderzoekers om baanbrekend werk te verrichten. ”

Stopt het CWTS nu met het ontwikkelen van indicatoren?

„Nee. We blijven bibliometrisch onderzoek doen. Niet alleen kwantitatief, maar ook meer inhoudelijk. We hebben net software ontwikkeld om netwerken in beeld te brengen. Van individuele wetenschappers, van instituten. Je kunt bijvoorbeeld in kaart brengen met welke andere wetenschappers iemand veel publiceert, welke mensen iemand veel citeert, wat belangrijke trefwoorden zijn in iemands werk. Zo krijg je toch snel iets meer achtergrond over iemand. Je zou het kunnen zien als een verlengde van het cv.”