Publicaties worden nu quick, dirty & cheap gemeten, het kan veel beter

Illustratie Rhonald Blommestijn

De initiatiefnemers van Science in transition (Wetenschapsbijlage 2 & 3 november) schetsen een beeld van een dolgedraaide wetenschap. Maar de bewering dat er te weinig wordt nagedacht over de waarde van onderzoek is ongeloofwaardig. Al in 1982 verscheen op basis van Harvard en MIT seminars de essaybundel Quality in Science dat diepgaand de wetenschappelijke, maatschappelijke, industriële, en ethische aspecten van onderzoek behandelt. Talloze studies zijn op deze weg voortgegaan en spelen een rol in de analyse van het belang van onderzoek in de kaderprogramma’s van de EU waar miljarden euro’s omgaan.

Dat wetenschappelijk onderzoek moet leiden tot maatschappelijk bruikbare resultaten, is voor het allergrootste deel een verzoek vanuit de maatschappij zelf: accountability, value for money. Natuurlijk komt daarmee wetenschapsbeoefening onder spanning als men bedenkt dat de middelen voor onderzoek allesbehalve zijn toegenomen; zelfs zeer goede onderzoeksvoorstellen sneuvelen pecuniae causa. Men moet niet doen alsof het de wetenschap is die zichzelf doldraait. Breng de externe factoren explicieter in beeld.

Ook wordt de bibliometrische methode voorgesteld als grote boosdoener. Beweringen dat rankings gebaseerd zijn op eenzijdig turven, suggesties dat onderzoek in zo klein mogelijke eenheden wordt gepubliceerd, het idee dat bibliometrie alleen maar bestaat uit impactfactoren en h-indexen, en de verklaring dat citatieclubjes bibliometrische analyse onbruikbaar maken, missen elke grond.

Dat de impactfactor te manipuleren is, en behept met grote rekenfouten, is al twintig jaar bekend. De h-index is veel minder te manipuleren dan wordt gesuggereerd. Het grootste probleem van impactfactor en h-index is dat ze niet vakgebied-specifiek genormeerd zijn. Dat geeft de meeste ellende. Vanuit de bibliometrische wereld is daar voortdurend op gewezen.

Geavanceerde bibliometrische methoden zijn prima bruikbaar om de waarde van wetenschappelijk onderzoek aan te tonen. Netwerkanalyse en mapping kan nuttige informatie over samenhang van onderzoek, interdisciplinariteit en maatschappelijke waarde leveren.

Het voorstel om bibliometrische maatstaven te vervangen door bepaling van maatschappelijke waarde is buitengewoon ‘gevaarlijk’ zoals een EU-commissie al in 1999 aantoonde. Cruciale problemen zijn het identificeren van het onderzoek dat doorslaggevend heeft bijgedragen aan een maatschappelijke vooruitgang, en de tijdshorizon (het kan decennia duren voor onderzoek sociaal-economische impact heeft).

Het schadelijk geknoei met amateuristische bibliometrie is voor een fors deel te wijten aan de houding van vele bestuurders van universiteiten en onderzoeksorganisaties. Het gaat gewoon om geld. De impactfactor en de h-index zijn goedkope middelen en staan ruimschoots ter beschikking. Men heeft geen zin in zorgvuldige (en dus meer kostende) analyses. Daarom wordt ook niet geluisterd naar waarschuwingen vanuit de bibliometrische wereld. Quick, dirty and cheap is aantrekkelijk.

Prof.dr. Ton van Raan