De beoordeling houdt nooit op

Er is veel discussie over het systeem van peer review, waarbij wetenschappers over elkaars werk oordelen. Gisteren hield de KNAW er een symposium over.

Lijkt het wetenschappelijk bedrijf op Idols? „Het heeft er wel iets van weg”, zegt Marjolein van Asselt. Zij is hoogleraar Complexe Risicovraagstukken aan de universiteit van Maastricht en lid van de WRR. „Er is daar ook een professionele jury die zegt of je door mag gaan of niet. Maar er is wel een verschil: als je Idols hebt gewonnen, mag je de volgende keer niet meer meedoen. Bij ons houdt de beoordeling nooit op.” Er is nóg een verschil, zegt Mark Peletier, hoogleraar Wiskunde en Computerwetenschappen aan de TU Eindhoven. „In de wetenschap is er geen publiek dat met sms-jes mag meestemmen.” Toch mag het ook in de wetenschap wel wat professioneler, vindt Van Asselt. „Het zou goed zijn als er een gedragscode voor reviewers zou komen. Waarin staat waaraan ze zich moeten houden en hoe ze te werk moeten gaan.”

Van Asselt en Peletier zijn allebei 40 jaar en lid van de Jonge Akademie, een groep van aanstormende onderzoekers die minder dan tien jaar geleden zijn gepromoveerd. Ze namen ook allebei deel aan een druk bezocht symposium dat de KNAW gisteren over peer review hield. Dat is het systeem waarin wetenschappers over elkaar oordelen. Bij de evaluatie van studierichtingen en instituten, bij het beoordelen van tijdschriftartikelen en bij het toekennen van onderzoekssubsidies. Net als in de kunst is ook in de wetenschap het oordeel over elkaars prestaties in handen van de beroepsgroep zelf. Peer review staat sterk in de belangstelling, want de wetenschappelijk productiviteit neemt toe (het aantal tijdschriftartikelen stijgt met 5 procent per jaar) en dat legt steeds meer beslag op de onderzoekers. Niet alleen word je steeds vaker beoordeeld, je moet ook zelf als reviewer aan de slag. Van Asselt en Peletier krijgen regelmatig een artikel of een onderzoeksaanvraag te beoordelen. Ze doen dat zo’n drie tot vijf keer per jaar.

Beoordeeld worden komt vaker voor, zeker als je jong en veelbelovend bent. „Je hebt altijd wel een aanvraag of een artikel dat ergens in het beoordelingscircuit zweeft”, zegt Van Asselt. „Het is een soort lopende band.” Domineert dat je leven? „Nou, ons leven wordt gedomineerd door de combinatie van wetenschap en gezin”, zegt Mark Peletier. Marjolein van Asselt knikt. „Maar het is altijd spannend. Als je een afwijzing krijgt, hakt het er wel in. En als je artikel wordt geaccepteerd, ben je de rest van de dag blij.”

Hebben ze altijd baat bij de oordelen van hun peers? „Het scherpt je geest”, zegt Peletier. ,,Je denkt toch vaak: dat had ik zelf moeten bedenken. Mijn beste ervaring was die keer dat ik een artikel terugkreeg met de mededeling dat de reviewer zijn fiat gaf, maar vervolgens met drie pagina’s suggesties voor verbetering kwam.”

Toch kunnen in het systeem wel een paar dingen verbeterd worden. Van Asselt deed op het KNAW-symposium verslag van een enquête die ze hield onder leden van de Jonge Akademie. Onderwerp: ervaringen met peer review. De respons viel een beetje tegen, maar zegt ze, je krijgt toch een aardige indruk van de voor- en nadelen. Iedereen geloofde in het stelsel, maar er was ook kritiek. Sommigen spraken van intellectuele slachtpartijen, klaagden over oppervlakkige oordelen, over modes en hypes waaraan bij de beoordeling meer gewicht werd toegekend dan aan de kwaliteit van het onderzoek. Ook werd er geklaagd over fanmail. Is fanmail niet juist prettig? „Nee”, zegt Peletier. „Want dan kun je verwachten dat zo iemand later tegen je zegt: ‘Ik heb je indertijd zo’n fraaie beoordeling gegeven, ik hoop dat je nu ook aan mij denkt’.”

„Wat zou helpen”, zegt Van Asselt, „dat is als er een soort gedragscode zou komen voor reviewers. Vreemd genoeg is die er niet. Een document waarin staat wat er van een reviewer wordt verwacht, waaraan hij zich moet houden, wat hij wel en niet moet meewegen. Dus niet of de onderzoeker een man of een vrouw is, en aan welke universiteit hij of zij werkt. Ik ben er ook voorstander van dat de auteur anoniem blijft, maar dat de identiteit van de reviewer wel wordt onthuld.” Is dat dan geen gewoonte? „Nee, er komen allerlei varianten voor. Je hebt systemen waarin de reviewer én de auteur anoniem blijven, en je hebt ook open review, waarin de identiteit van beiden wordt onthuld.” Een code of conduct waarin dat allemaal beschreven wordt, zou vooral jonge onderzoekers helpen, zegt Van Asselt. ,,Maar het belangrijkste blijft toch: goede supervisie. Een beginnende onderzoeker die zijn eerste artikel meteen naar een toptijdschrift stuurt – dat komt voor, maar een goeie begeleider ontraadt dat zijn promovendus of postdoc.”