Opinie

Verloot die onderzoekssubsidies

Harald Merckelbach

Goede voornemens voor 2020? Ja, ik ga geen onderzoeksvoorstellen van vakgenoten meer jureren. Dat is wat ik op verzoek van allerlei subsidieverstrekkers jarenlang regelmatig heb gedaan. De standaardprocedure die zulke organisaties volgen is dat ze meerdere wetenschappers een rapportcijfer laten geven aan de onderzoeksvoorstellen van hun collega’s. De rapportcijfers worden dan gemiddeld en voorstellen met de hoogste punten krijgen de gevraagde subsidie. Klinkt allemaal redelijk en ik heb daar dus vrolijk aan meegedaan.

Maar inmiddels bekruipen me de twijfels. De afgelopen maanden heb ik bijgehouden hoe zeer mijn rapportcijfers en die van mijn collega-beoordelaars met elkaar in de pas lopen. De ontnuchterende conclusie: nakko, nada, nul. We zijn het zelden met elkaar eens over wat een excellent onderzoeksvoorstel is. De waardering die verschillende beoordelaars aan dezelfde onderzoeksvoorstellen geven varieert zodoende enorm. Maar het aantal onderzoeksvoorstellen is in de afgelopen jaren wel spectaculair gestegen terwijl de pot met subsidiegelden grofweg gelijk bleef.

Niet competent genoeg

Onder die omstandigheden is het irrationeel om, pakweg, de drie hoogst gewaardeerde onderzoeksvoorstellen voor subsidie in aanmerking te laten komen en de rest niet. Want in statistische zin verschillen hun gemiddelde rapportcijfers bijna nooit van de volgende drie onderzoeksvoorstellen op de lijst. Je kunt het ook anders zeggen: beoordelaars zoals ik zijn niet competent genoeg om excellente van minder excellente onderzoeksplannen te onderscheiden.

Dat had ik trouwens kunnen weten. De Amerikaanse wetenschappers Joshua Nicholson en John Ioannidis keken in 2012 naar de meest geciteerde vakpublicaties. Wanneer subsidiebeoordelaars werkelijk op hun taak berekend zijn, verwacht je dat deze invloedrijke publicaties voortvloeien uit onderzoek dat ooit door die beoordelaars voor subsidie werd voorgedragen. Maar daar was bij de overgrote meerderheid van de artikelen geen sprake van. Het ging meestal om onderzoek dat nooit financiële ruggesteun had gekregen van een grote onderzoeksfinancier. Net zo deprimerend was de ontdekking dat subsidiebeoordelaars vooral plannen prioriteren die lijken op hun eigen onderzoek. Maar dat soort plannen leidt weer zelden tot vaak geciteerde artikelen. Het systeem van vakgenoten die beoordelen hoe subsidiabel de ideeën van hun collega’s zijn, werkt averechts. Het bevordert intellectuele gettovorming, maar niet wetenschappelijke voortreffelijkheid.

Snel en goedkoop

Hoe dan wel? De oplossing is simpel. Stop alle onderzoeksplannen in de hoge hoed en laat een notaris op willekeurige wijze de winnaars eruit trekken. Er zitten veel voordelen aan zo’n aanpak. Het is snel en goedkoop, want je hebt geen panel nodig dat zich door reusachtige stapels van onderzoeksplannen moet worstelen. En dan: degenen die niet in de prijzen vallen zullen dat beter te verteren vinden. Horen dat je domme pech had is stukken fijner dan horen dat je onderzoeksplan er onvoldoende boven uitstak vanwege een of ander triviaal gelegenheidsargument. Nog een voordeel: degenen die wél geluk hebben, kunnen aan dat willekeurige feit geen grond voor kapsones („en nu wil ik subiet professor worden”) ontlenen.

Waarom doen we dit niet al lang zo? De reden is dat wij, mensen, een diepe weerzin hebben tegen willekeur. We willen dat beslissingen op basis van rationele afwegingen worden genomen. En als dat niet kan, doen we graag alsof. In plaats van dat we dan de grenzen van de ratio erkennen, geven we de voorkeur aan de rituelen van de ratio.

Salomonsoordelen

Dat is iets wat telkens naar voren komt in onderzoek naar de psychologie van salomonsoordelen. Daarbij krijgen proefpersonen een gedachtenexperiment voorgelegd. Zoals: stel, de 32-jarige Jan vergeet per ongeluk om voorrang te geven en knalt met zijn auto boven op die van de 69-jarige Anne. Beide bestuurders raken zwaargewond en moeten verpleegd worden op de intensive care. Maar daar is nog maar een enkel bed vrij. Aan wie gaan we dat bed geven? Aan de jongere Jan, die het ongeluk veroorzaakte? Of aan Anne, die een korte levensverwachting heeft, maar niets aan het ongeval kon doen? De meeste proefpersonen erkennen dat dit een duivels dilemma is en dat voor beide opties sterke argumenten bestaan. Maar een meerderheid is er ook faliekant op tegen om dan maar kop-of-munt te doen en het lot te laten beschikken. Zo’n duivels dilemma creëert wat in jargon beslissingsaversie heet: we schuiven de beslissing af en leggen haar in handen van een zogenaamde deskundige die op basis van een mentale kop-of-munt een keuze maakt en achteraf de uitkomst rechtvaardigt met een lulsmoes. Lijkt rationeel, maar is het niet.

Hetzelfde geldt voor jurypanels die bepalen welke even goede onderzoeksplannen van welke even getalenteerde onderzoekers voor subsidie in aanmerking moeten komen. Dat gaat op basis van een mentale kop-of-munt, verborgen willekeur derhalve. Dan kun je maar beter lootjes trekken. Het is een systeem dat inmiddels door onderzoeksfinanciers in Nieuw-Zeeland en Zwitserland tot volle tevredenheid wordt gebruikt. Nu wij nog, liefst in 2020 al.

Harald Merckelbach is hoogleraar rechtspsychologie aan de Universiteit Maastricht.