Winner takes all

Gouden plakken, daar gaat het nu om in sport en wetenschap. Zilveren en bronzen medailles zijn nog mooi meegenomen, maar wie 4e wordt baalt. Het dorp loopt niet uit voor een 4e plaats. Wie 25e wordt heeft een probleem met sponsorcontract of universitaire aanstelling en komt zeker niet in de Elsevier lijst van de twintig knapste koppen van Nederland.

Winnen was altijd al belangrijk in de sport, al waren de financiële gevolgen niet zo ingrijpend voor Fanny Blankers-Koen, de hollende huisvrouw, als voor de Nederlandse schaatsters die nu in Playboy verschijnen en verzekeringen uitventen. Voor de wetenschap was `winner takes all' minder gebruikelijk. Er waren uiteraard ambitieuze mensen, die professor wilden worden. Die moesten een benoemingscommissie van hun kwaliteiten overtuigen. Wie echter in de luwte wetenschap en onderwijs wilde combineren, kon zijn gang gaan en werd niet opgejaagd. Die luwte is weg. Onderzoeksgeld moet competitief geworven worden, de druk om te presteren neemt toe en er ontstaan daardoor jureringsproblemen.

De basis van jurering in de wetenschap is peer review, de beoordeling door vakgenoten. Dat werkt vrij aardig, zolang niemand er zich mee bemoeit. Onderzoekers zijn het onderling meestal wel eens over wie goed is en wie niet, maar dat is niet makkelijk in een score vast te leggen, die bruikbaar is voor buitenstaanders, researchmanagers en dat soort volk. Kwaliteit in de wetenschap is niet te meten als een tijd bij de 5.000 meter schaatsen en dat is de precisie die researchmanagers eigenlijk zouden willen.

Ik herinner mij de problemen, die wij indertijd hadden met het Europees Moleculair Biologie Lab (EMBL) in Heidelberg. Dat wordt door Europese landen betaald en de ministeries van de betalende landen willen gedetailleerde rapporten over de kwaliteit van het onderzoek in het EMBL, liefst in standaardformaat met checklisten. Die rapporten moeten echter worden opgesteld door onderzoekers en goede onderzoekers zijn niet bereid om checklisten af te kruisen. Het kostte moeite om de bureaucraten ervan te overtuigen dat je meer hebt aan een kort rapport van een topper dan een lang rapport van een matige onderzoeker.

De bureaucratische behoefte aan pseudo-precisie in de beoordeling van onderzoekers leidt tot wonderlijke uitwassen. Het prestigieuze tijdschrift speelt daarin nu een prominente rol. Of een tijdschrift prestigieus is valt af te lezen aan de citatie-index, de mate waarin artikelen uit een tijdschrift geciteerd worden in andere artikelen. Die citatie index wordt braaf bijgehouden door een Amerikaans citatietelinstituut, zodat we nu weten welk tijdschrift vaak geciteerd wordt (Nature, Science, Cell in mijn vak) en welk niet (heel veel andere). Dit getel heeft neveneffecten: Tijdschriften gaan pronken met hun rapportcijfer, auteurs proberen in tijdschriften te komen met hoge rapportcijfers, en managers hebben eindelijk een simpele maat voor kwaliteit van wetenschap: Onderzoeker A heeft in het jaar 2001 drie artikelen gepubliceerd in tijdschriften met rapportcijfers, 25, 30 en 5. Haar gemiddelde rapportcijfer is dus 20 per artikel en zij is dus beter dan onderzoeker B, die maar 10 per artikel scoort.

Deze simplistische citatietellerij zegt wel iets over de kwaliteit, maar niet alles. Er zijn Nederlandse onderzoekers, die ik niet zo geweldig vind, maar die artikelen in toptijdschriften weten te krijgen als onderdeel van een consortium van 100 onderzoekers uit verschillende delen van de wereld. De eerste en de laatste auteur van zo'n stuk hebben de belangrijkste bijdrage geleverd. De inbreng van de andere auteurs is soms bescheiden. Onderzoekers die nooit zo'n begeerlijke 1e of laatste plaats in de auteurslijst bemachtigen, kunnen wel een hoge citatiescore halen, maar zijn geen baanbrekers.

Voor een tijdschrift dat eenmaal top is wordt het leven ook niet gemakkelijker. Iedere onderzoeker wil zijn solide, maar niet spectaculaire, resultaten in een toptijdschrift hebben en de redactie van zo'n tijdschrift komt onder grote druk van onderzoekers die hun schitterende artikelen afgewezen zien en die verhaal komen halen. Die druk neemt verder toe, omdat tijdschriftredacties snel moeten beslissen. De concurrentie is groot en verschillende onderzoeksgroepen zitten vaak op hetzelfde interessante spoor. Wie niet snel beslist loopt het risico dat de vlieg wordt afgevangen door een concurrerend tijdschrift. Dit leidt tot irritante uitwassen, met name bij tijdschriften zoals Science en Nature, die erg inspelen op de actualiteit en die daarvoor een eigen staf van redacteuren hebben, die zich vooral met wetenschapsjournalistiek bezig houden.

Ik geef een voorbeeld. Recent vond een collega van mij iets aardigs, dat hij haastig opschreef en naar Nature stuurde. De staf van Nature zag er niets in en was niet eens bereid om het stuk naar deskundige beoordelaars te sturen. Toen Science maar geprobeerd. Science vond het stuk wel interessant, liet het beoordelen door deskundigen en kreeg een enthousiaste respons. De redacteur vond het stuk echter te lang en vroeg een halvering van lengte. Sputterend halveerde mijn collega zijn stuk binnen 24 uur, maar inmiddels was de Science redacteur met vakantie. Zijn collega vond het wel een mooi stuk, alleen wat erg compact. Of het niet wat uitgebreider kon. Zo hou je de jeugd wel van de straat.

Het irritante van dit gehannes is dat er veel op het spel staat carrières, prioriteit van een ontdekking maar dat de scheidsrechters amateurs zijn. De redacteuren van Nature en Science, die beslissen of een stuk in hun blad komt, zijn geselecteerd op hun vermogen om een aardig stuk te schrijven, niet op wetenschappelijke kwaliteit. Zij laten zich wel door experts adviseren, maar bepalen zelf of ze een stuk überhaupt naar experts sturen en of het interessant genoeg is voor een breed publiek. Als de scheidsrechters niet deskundig zijn en er veel te winnen valt, wordt vals spelen aantrekkelijker. Onderzoekers kloppen hun resultaten op, of vergeten te melden wat concurrenten eerder hebben gevonden.

De oplossing is simpel: als onderzoekers hun artikelen alleen naar serieuze tijdschriften zouden sturen met een capabele redactie en zonder winstoogmerk, waren Nature en Science brodeloos. Iedereen in mijn omgeving vindt dit een goed plan, maar iedereen zegt ook: `gaat u voor'. Jonge onderzoekers willen hun naam toch wel graag in Science of Nature zien. `Elke promovendus heeft het recht om een keer een artikel door Nature geweigerd te zien', is een oud adagium in mijn lab en dat zal nog wel een tijdje zo blijven.

Eenvoudiger is het relativeren van de citatietellerij. Gebruik geen citatiescores zonder uit te zoeken wat een onderzoeker werkelijk heeft bijgedragen. Het maakt uit of iemand proeven bedenkt en interpreteert, of alleen proeven uitvoert. Het maakt uit of iemand iets ontdekt met één of twee medewerkers, of als meeloper in een consortium. Bij teamwerk kun je niet meer afgaan op meedoen, maar is het nodig om te weten wat iemand bijdraagt. Neem het Concertgebouworkest. Zou je aantallen concerten tellen, dan komt de tutti-violist die alles speelt, als topper uit de bus. Niet Chailly, die vaak elders dirigeert, niet de concertmeester, die nogal eens wisselt, niet de uitzonderlijke trompettist, die niet altijd meeblaast. Die tutti-violist aan de 10e lessenaar levert een belangrijke bijdrage. Het betekent uiteraard iets om in het Concertgebouworkest te spelen, maar zelfs Elsevier zou zo iemand niet bij de twintig belangrijkste musici van Nederland tellen.

Er was een tijd dat Olympische officials vroom verkondigden dat `meedoen belangrijker was dan winnen'. In de wetenschap krijgt deze hypocriete uitspraak een reëlere invulling dan in de sport: matige onderzoekers kunnen kleine ontdekkingen aandragen, waar hun geniale collega's op voortbouwen. Sterker, matige onderzoekers kunnen in een goede omgeving soms zelf bijdragen aan een belangrijke ontdekking. Bij de 20 knapste koppen van Nederland, die Elsevier heeft geselecteerd, zitten zulke matige onderzoekers. Wie? Kom nou. Die namen houd ik uiteraard voor me.