Cultuur

Interview

Interview

Foto Lars van den Brink

Wetenschap is verslingerd aan publicaties tellen

Dymph van den Boom oud-rector UvA

Bij de periodieke beoordeling van onderzoeksgroepen woog productiviteit jarenlang heel zwaar. Nu moeten ze zelf een nieuwe maatstaf voor kwaliteit zoeken.

Zoveel mogelijk wetenschappelijke artikelen publiceren, hoe meer hoe beter! Jarenlang hebben wetenschappers daarnaar gestreefd, ze werden er ook op afgerekend, en nog steeds wel trouwens, maar nu begint het uit de tijd te raken. Steeds meer wetenschappers voelen zich een slaaf van dat systeem, het zou bovendien maar tot corruptie leiden, en ook de overheid keert zich tegen die publish or perish-cultuur. Maar hoe krijg je die enorme oceaanstomer van het wetenschappelijk bedrijf, stevig op koers naar de maximaal mogelijke publicatieproductiviteit, van richting veranderd?

Achter de schermen is de wetenschap daar al een paar jaar mee bezig. Elke zes jaar worden alle onderzoeksgroepen aan Nederlandse universiteiten en wetenschappelijke instituten geëvalueerd (zie inzet). En voor het eerst in de 24 jaar dat dit systeem bestaat, is in de huidige ronde (2015-2021) productiviteit als criterium geschrapt. De onderzoeksgroepen krijgen daar geen cijfer meer voor, alleen nog voor kwaliteit, maatschappelijke relevantie, levensvatbaarheid/strategie en een totaalcijfer.

En wat kwaliteit is, mogen de onderzoeksgroepen helemaal zelf bepalen. Ze formuleren een strategie – waar willen we heen? – en daaruit volgt dan wat ze goede wetenschap vinden. Ook moeten ze voor het eerst beschrijven hoe ze een goede spreiding van onderzoekers wat betreft sekse, afkomst en leeftijd nastreven, hoe ze de wetenschappelijke integriteit bewaken en data bewaren, en hoe ze promovendi precies selecteren en begeleiden.

Niemand weet nog of dat allemaal helpt om de wetenschappelijke praktijk sterk te veranderen. „Maar je moet in elk geval iets doen, iets proberen”, zegt Dymph van den Boom (65), „En dan kijken of het werkt.” Zij zat de commissie die voor het Standard Evaluation Protocol (SEP) herzag, drie jaar geleden (zie inzet). Ontwikkelingspsycholoog Van den Boom was van 2007 tot en met 2016 rector magnificus van de Universiteit van Amsterdam; bij haar aantreden was ze de eerste vrouwelijke rector in Nederland.

Van den Boom houdt wel van verandering. „Ik denk dat je in de wetenschap sowieso regelmatig moet kijken: is het pad dat we nu bewandelen goed, of is het tijd voor iets anders?” Begin vorige maand, tijdens haar afscheidsrede als rector van de Universiteit van Amsterdam, pleitte Van den Boom nog voor een scheiding tussen onderwijs en onderzoek aan universiteiten, of anders voor selectie aan de poort om de massaliteit van het universitair onderwijs tegen te gaan, als daar niet veel meer geld naartoe gaat. „Want hoe kun je aan academische vorming doen met honderden studenten in een collegezaal? Dat kan niet. Terwijl dat juist in deze tijd zo belangrijk is.”

„Ik denk dat je in de wetenschap sowieso regelmatig moet kijken: is het pad dat we nu bewandelen goed, of is het tijd voor iets anders?”

Ook een interessante discussie, maar vandaag hebben we het over het nieuwe protocol en de manier waarop je onderzoekskwaliteit moet beoordelen. Van den Booms commssie heeft bepaald dat het protocol volgend jaar geëvalueerd moet worden. Ook zo’n tussentijdse evaluatie, dus in 2018 en niet pas in 2021, is nieuw.

Had OCW een opdracht gegeven over welke kant het met het Standard Evaluation Protocol op moest?

„Nee. Er was voor de herziening van het SEP helemaal geen expliciete opdracht. Destijds speelde die discussie net, dat we in Nederland te veel met kwantiteit bezig waren, met aantallen publicaties. Er waren ook een paar fraudegevallen geweest waarvan men zei dat dat met de nadruk op kwantiteit te maken had. Wij hebben toen behoorlijk het roer omgegooid. Wetenschappelijke productiviteit was altijd het eerste criterium. Dat werkt natuurlijk die kwantitatieve benadering in de hand. Daarom hebben wij productiviteit helemaal laten vallen.

„Daarnaast zagen we dat onderzoeksgroepen die een bepaald cijfer voor wetenschappelijke productie hadden, meestal precies datzelfde cijfer voor kwaliteit hadden – een hoge score op het een ging samen met een hoge score op het ander. Dat betekent dat mensen bij de vaststelling van kwaliteit toch erg gingen tellen. De variatie in scores zat bij maatschappelijke relevantie en bij levensvatbaarheid, oftewel strategie – maar we zagen dat bij de bepaling van het eindcijfer vooral naar productie en kwaliteit werd gekeken. Tellen is altijd het makkelijkst, natuurlijk. Nu moeten onderzoeksgroepen zelf bepalen hoe ze kwaliteit meten.”

Bij ‘kwaliteit’ moeten onderzoeksgroepen nog steeds opgeven hoeveel artikelen, boeken en dissertaties zijn geproduceerd. Is dat niet gewoon productiviteit?

„Er zijn inderdaad nog steeds vakgebieden die gewoon aantallen publicaties als kwaliteitscriterium kiezen. In de life sciences zie je dat heel sterk. Wat ik wel grappig vind, is dat sommige mensen heel erg in verwarring raken als ze zelf mogen zeggen wat ze kwaliteit vinden.”

Welke andere indicatoren zijn er mogelijk?

Er zijn vakgebieden waar nog vooral boeken geschreven worden. Daar kunnen mensen nu zeggen: voor ons is het goed als er weer een boek ligt. En juristen, bijvoorbeeld, hebben annotaties, noten onder een rechterlijke uitspraak die in jurisprudentie gebruikt kunnen worden. Dat is daar het hoogste wat je kunt doen, maar dat telde eigenlijk nooit mee. Nu kunnen ze het in hun strategie zetten en zeggen: we mikken op zoveel annotaties.”

Toch nog steeds tellen dus?

„Maar toch heel anders dan het pad waarop we zaten. Het was altijd: hoe meer, hoe beter. Nu kun je ook zeggen: drie boeken is al heel wat. Of: wij gaan voor Engelstalige artikelen maar alleen als ze ook impact hebben. Kwaliteit en kwantiteit staan niet diametraal tegenover elkaar. Het begrip kwaliteit moet je invullen. Negen van de tien keer zul je er dan ook op uit komen dat je iets gaat tellen, alleen tel je dan misschien iets anders dan artikelen in internationale tijdschriften.

„Kijk, we zijn op een gegeven moment met het SEP begonnen omdat er veel geld wordt gestoken in wetenschap en dat moet verantwoord worden. Toen zei men: ons product is de wetenschappelijke publicatie, die moet je tellen. Die praktijk is doorgeschoten en we moeten nu terug naar een nieuw evenwicht.”

Is het nieuwe SEP een succes als het aantal publicaties daalt?

„Ja, en dat zou ik ook verwachten. Maar als iedereen kwaliteit toch weer gaat operationaliseren in termen van kwantiteit, als je dat ziet bij de midterm review, dan gaan we opnieuw de discussie aan. Het gaat niet snel, hoor. Mensen vinden het o zo moeilijk om zelf te kiezen wat kwaliteit is. Terwijl daar binnen de discipline wel consensus over moet zijn.”

De SEP-evaluaties spelen zich af op het niveau van onderzoeksgroepen en instituten. Gaan individuele onderzoekers daardoor hun gedrag en ambities veranderen?

„Toen ik rector was op de UvA, werkte het zo: als de visitatie geweest was, werd aan het instituut een beleidsmatige reactie gevraagd. Wat ga je veranderen? De instituutsdirecteur gaf een advies, dat werd besproken in de Universitaire Onderzoekscommissie en in het College van Bestuur, en daar stuur je als rector mee. Samen met geld. Je kunt kijken: wat vindt een sector de definitie van kwaliteit? En als een groep het daar dan goed op doet in vergelijking met een referentiegroep krijgt die groep meer geld.”

“We doen het in Nederland ook gewoon heel goed”

Maar een ander probleem is dat de gemiddelde SEP-scores allemaal zo hoog lagen dat je bijna geen onderscheid tussen groepen kunt maken.

„Ja. dat was de andere belangrijke discussie die we hadden bij het herzien van het protocol. Bij het oude SEP kreeg iedere groep een vier of een vijf op een vijfpuntsschaal. Hoe je dat verandert, was een moeilijk punt. We hebben allerlei opties de revue laten passeren. In het Verenigd Koninkrijk werken ze met sterren, als bij restaurants. Er zijn ook landen met een ABC-systeem. En er waren mensen die zeiden: doe maar gewoon cijfers van 1 tot 10.

„Wij wilden echt proberen anders kijken af te dwingen. Dus 1 is nu het hoogste en 4 het laagste. En wij zien het niet meer als schaal maar als categorieën: 1 is wereldniveau, dat moet echt een uitzondering worden. De bulk komt dan in 2. Een 4 is echt onvoldoende, dan zou je helemaal moeten stoppen met die groep.”

Krijg je met dit nieuwe systeem niet gewoon heel veel groepen die een 1 scoren?

„Dat zou kunnen, daar moet je in de midterm review naar kijken. En ook: is dat terecht? Want we doen het in Nederland ook gewoon heel goed. In elk geval als je kwantitatief kijkt, zoals we deden.”

Kun je niet altijd heel veel hoge cijfers verwachten als de wetenschap zichzelf beoordeelt?

„Maar de beoordelaars zijn onafhankelijk hè, daar tekenen ze voor. Je mag nooit iemand beoordelen met wie je hebt samengewerkt.” Evenmin als familie, vrienden of mensen met wie je een persoonlijk of zakelijk conflict hebt. „En nee, ik denk dat mensen niet zomaar wat tekenen.”

Geeft het SEP niet te veel bureaucratische rompslomp voor wetenschappers die onlangs toch al klaagden dat de werkdruk te hoog is?

„Tja, maar die bureaucratie doen we ook onszelf voor een deel aan. De onderzoeksgroepen moeten ter voorbereiding een zelfevaluatierapport schrijven. Daarvan zeiden wij: dat mag niet langer dan tien pagina’s zijn. Eén keer in de zes jaar een stuk van tien pagina’s schrijven over de eigen strategie, dat moet toch niet veel tijd kosten. Nou, als we ergens discussie over hebben gehad is het dat. Vroeger kreeg ik als rector soms hele boekwerken onder ogen. Maar strategie, maatschappelijke relevantie en kwaliteit – dat moet toch wel in tien pagina’s kunnen?”

Levert het SEP wel iets op, hebben we er wel iets aan?

„Wij vinden dat de besturen iets op hun site moeten zetten als de visitatie is geweest over wat ze ermee doen. Of ze dat in de praktijk ook allemaal gaan doen, moeten we zien. Ik vind in elk geval wel dat de wetenschap de regie zelf in handen moet houden. Want als je stopt met het SEP gaat OCW toch zelf iets doen om te kijken waar hun geld blijft? Dat kun je zo voorspellen. In het Verenigd Koninkrijk is de regie bijvoorbeeld in handen van de overheid en daar is de onderzoeksfinanciering direct gekoppeld aan de uitkomsten. Daar zie je hele onderzoeksgroepen tussen universiteiten verschuiven. Dat hebben wij gelukkig niet.”