Onderzoeksubsidies veronderstellen steeds meer publicaties, en dus steeds meer reviewers

foto arjen born

Het grootste probleem van het huidige publicatiesysteem vind ik dat er veel tijd verloren gaat door het leuren met je artikel van tijdschrift naar tijdschrift. Vaak probeer je zo hoog mogelijk in te zetten (qua journal impact factor/scope), want dat is goed voor het prestige van jezelf, je onderzoeksgroep, je universiteit, en zelfs je vakgebied als geheel. Bovendien heb je als promovendus of postdoc vaak niet veel invloed op de tijdschriftkeuze; het is de hoogleraar/principle investigator (PI) die zowel tijdschrift als moment van indienen bepaalt.

Voor het artikel van mijn hand dat nu het meest geciteerd wordt (https://www.ncbi.nlm.nih.gov/pubmed/22399760) zijn we begonnen bij Nature (ingediend, december 2010), vervolgens via Science, Nature Neuroscience, Neuron, Current Biology, PLoS Biology, PNAS en tenslotte Journal of Neuroscience (ingediend, november 2011 en geaccepteerd januari 2012).

Naast de vertraging vind ik zelf het vervelendste hiervan dat elk tijdschrift andere richtlijnen voor formattering hanteert. Bij elke hersubmissie kost het zo zeker een paar dagen om je artikel aan te passen. Methoden in de hoofdtekst, of juist alleen kort en de rest in de bijlagen. De een stelt een maximum aan het aantal figuren, de ander een maximum aan het aantal woorden. Zoiets voelt echt als tijdsverspilling, want het artikel verandert er inhoudelijk feitelijk niets door.

Het systeem van peer review is het beste dat we hebben, maar aanpassingen zouden nuttig zijn. Zoals een rem op het aantal publicaties. De kwantiteit ervan is nu veel te bepalend voor iemands wetenschappelijke carrière (lees: voor het binnenhalen van financiering), en wordt een op zichzelf staand doel (meer dan de inhoud). Het komt de kwaliteit niet ten goede, en stimuleert fraude. Grote, langdurige studies of studies met veel grondige controle-experimenten zijn hierdoor lastig uitvoerbaar, want een soort wetenschappelijke zelfmoord.

Ik denk dat de verantwoordingscultuur in de maatschappij en bij de overheid de achilleshiel van de wetenschappelijke vooruitgang aan het worden is. Daardoor wordt onderzoeksfinanciering niet gewoon verdeeld, maar voorwaardelijk, via subsidies.

Het verkrijgen van subsidies wordt het doel (meer dan goede wetenschap doen), daarvoor zijn veel publicaties nodig (liefst, maar niet noodzakelijk, goede), en daarvoor zijn weer veel reviewers nodig, etc. De uitgeverijen zijn uiteindelijk de lachende derden.

Donders Institute for Brain, Cognition and Behaviour

Radboud Universiteit Nijmegen

Gemakzucht

Ik review zo’n acht artikelen per jaar. Niet voor Nature of Science, maar wel in de hoogst gewaardeerde journals in mijn vakgebied, zoals Water Research en Journal of Water Resources Planninng. Het reviewen kost me ongeveer een dag per artikel, afhankelijk van de kwaliteit. Ik doe dit vrijwel volledig in eigen tijd.

Wat ik heel regelmatig meemaak is dat ik een van drie reviewers ben en ik een uitgebreid verslag doe van mijn bevindingen (alle spelfouten en fouten in formules en grafieken op papier ingescand + een pagina met algemene indrukken) en meestal zeer kritisch. De andere twee maken zich er veel gemakkelijker vanaf, soms met twee zinnen in de trant van ‘kan zo worden gepubliceerd’.

Ik vind het dan onbegrijpelijk dat de twee zeer korte en duidelijk niet zorgvuldig gelezen positieve reacties dan even zwaar of zwaarder wegen dan mijn kritische en goed onderbouwde reactie. Dat maakt voor mij de lol van het reviewen duidelijk minder. Waarom kritisch zijn als er toch wel gepubliceerd wordt?

Ik ben ook wel eens gevraagd om mijn eigen artikel te reviewen, maar dat doe ik niet.

Ik zie niet direct een oplossing voor een beter proces. Openbaarheid van reviews vind ik wel een goed idee.

KWR Watercycle Research Institute Nieuwegein

Grote namen komen door

Het is al langer duidelijk dat er iets niet helemaal goed zit in het systeem van peer review. Tegelijkertijd is peer review het beste dat we hebben. Een onderliggend probleem is dat ik en mijn collega’s teveel schrijven en dat weten we, net zoals we weten dat (vrijwel) niemand het zich kan veroorloven om daar niet aan mee te doen. En we zijn er goed in. De collateral damage is dat tijdschriften als paddestoelen uit de grond schieten.

Het merendeel van de reviewers waar ik mee te maken krijg doet zijn of haar best en geeft naar eer en geweten een onderbouwde mening. Hetzelfde geldt, mutatis mutandis, voor editors.

Maar toch gebeuren er opmerkelijke dingen. Zo kreeg een collega van mij een artikel van een grote naam in ons veld te reviewen voor Advanced Materials, een toptijdschrift (in termen van impact factor), net onder het niveau Nature. Het bleek dat hij de vierde reviewer was. De drie oorspronkelijke reviewers hadden twee keer ‘reject’ en een keer ‘major revision geadviseerd. Als hij of ik zulke rapporten krijg(t), zijn we klaar en mogen we het elders proberen.

Mijn collega was niet onder de indruk van het manuscript en adviseerde afwijzing. Een tijd later zag hij het artikel afgedrukt staan in genoemd tijdschrift. Dit is een concreet en gelukkig extreem voorbeeld van een gevoel dat ikzelf en veel collega’s met mij kennen: hoe groter de naam, hoe makkelijker het is om ‘voorbij de editor’ van toptijdschriften te komen.

Complex Materials and Devices,

Dept. of Physics, Chemistry and Biology (IFM), Linköping

Lijstjescultuur

Naar mijn mening worden problemen met het wetenschappelijk publiceren en het beoordelen van artikelen mede in de hand gewerkt door de verwerpelijke beoordelingscriteria en lijstjescultuur aan universiteiten. Ooit was wetenschap bedoeld als manier van, zeg maar, waarheidsvinding: hoe zitten dingen in elkaar.

Het is echter verworden tot een soort cultus waarin persoonlijk gewin en het werken aan de carrière veel belangrijker zijn geworden en de waarheid niet altijd even zwaarwegend is. Ik wil niet beweren dat onderzoekers per definitie niet deugen maar het lijkt er wel op dat het aantal publicaties en vooral de tijdschriften waarin gepubliceerd wordt, belangrijker zijn dan de mate waarin onze kennis verrijkt wordt. Dat geldt overigens ook voor het hoge aantal promoties, waar je veel vraagtekens bij kunt zetten.

Emeritus hoogleraar Interne Geneeskunde

Maastricht UMC

Correctie

In het artikel Wankelmoedige waakhonden (NRC Weekend 10 december, W4-W5) staat dat de Gerontology Research Group een „fanatieke groep liefhebbers in de VS” is. De GRG is echter wereldwijd actief.