Stom lijstje, maar iedereen kijkt erop

’s Lands beste universiteit? Leiden. Althans, op het lijstje dat vandaag naar buiten kwam. Nuttig voor pr, maar het zegt niet alles.

Irrelevant en zelfs perverterend. De wereldwijde ranglijsten van universiteiten zijn niet besteed aan Bert van der Zwaan, rector magnificus van de Universiteit Utrecht. Toch ontkomt hij niet aan de effecten van de jaarlijkse rankings. „Als we stijgen, merken we dat de belangstelling groeit. Dalen we flink, dan hebben we hier gelijk een debat over kwaliteit.”

Blijdschap vandaag op de Universiteit Leiden, de beste Nederlandse universiteit op de gisteravond gepubliceerde lijst van het Britse tijdschrift Times Higher Education – en op de ‘eigen’ CWTS Ranking. Maar is de Universiteit Utrecht eigenlijk niet beter? Die staat als hoogste op de in augustus gepresenteerde Shanghai Ranking. En de Universiteit van Amsterdam was op de lijst van onderzoeksbureau QS ’s lands beste.

Welke lijst is het meest betrouwbaar? Zeker is dat de ranking van de universiteit van Shanghai de meeste invloed heeft, zegt Ton van Raan, hoogleraar bibliometrie van de Universiteit Leiden en bedenker van de CWTS Leiden Ranking. „Voor Shanghai geldt: big is beautiful. Vooral de mammoeten staan in de top.”

Van Raan vindt het belangrijkste nadeel van Shanghai dat de meting zwaar leunt op oude reputatie: Nobelprijzen en Fieldsmedailles – de belangrijkste wiskundeonderscheiding. „De toekenning daarvan vindt vaak jaren na de wetenschappelijke prestatie plaats en zegt niets over de huidige sterkte van een universiteit.”

Hij is ook kritisch op analyse van aantallen publicaties in wetenschappelijke tijdschriften als Nature en Science. „Een indicator die sterk afhankelijk is van de omvang van een universiteit.”

Times Higher Education meet de kwaliteit van zowel onderzoek als onderwijs. „Maar dat zijn geheel verschillende taken”, zegt Van Raan. „Die komen pas in de masterfase direct bij elkaar in de buurt – niet tijdens de propedeuse en bachelor.” Ook heeft hij vraagtekens bij Times’ analyse van citaties. „Je kunt niet zomaar aantallen meten. Het citatiegebruik in wiskunde is heel anders dan in moleculaire biologie. Je moet de aantallen normeren per vakgebied. Times doet dat, maar niet goed.”

Hij noemt het voorbeeld van de universiteit van Göttingen. „Eén wiskundepublicatie wordt bijna 20.000 keer geciteerd, net zoveel als ruim een derde van alle publicaties van deze universiteit. Dat beïnvloedt het gemiddelde enorm. Zonder normering voor de toppublicaties scheelt dat zo’n honderd plaatsen in de ranking.”

De lijst van QS – ontstaan na een schisma tussen de opstellers van Times’ lijst – meet ook onderzoek en onderwijs, maar daarnaast ook de reputatie van een universiteit bij andere universiteiten en bij werkgevers. Van Raan: „Dat kan flink vertekenen, want universiteiten moeten zelf gegevens aanleveren.”

Voldoende kanttekeningen, maar toch merken universiteiten dat de buitenwereld veel waarde hecht aan de lijstjes. Niet alleen in Azië, maar ook in Groot-Brittannië, waar rector Van der Zwaan een handvol collega’s zag aftreden na daling op gezaghebbende rankings. „Het debat erover is daar heel scherp. Met de hoge salarissen en bonussen voor bestuurders leidt het ook ronduit tot ongewenste prikkels.”

Simpele samenvatting

Voor eenvijfde van de buitenlandse studenten in Nederland is een ranking doorslaggevend bij de keuze voor een universiteit, staat in cijfers van de International Student Barometer. Maar ook ouders van Nederlandse studenten hebben de lijstjes paraat, merkt Dymph van den Boom, rector magnificus van de Universiteit van Amsterdam. „Maar een ranking is niet meer dan een simpele samenvatting van wat universiteiten als geheel doen. Ik vraag studenten altijd: bedenk eerst wat je motiveert en wat je wilt studeren. En kijk dan nog eens naar welke universiteit excelleert op dat gebied.”

Toch gebruiken de universiteiten goede scores ook als pr-instrument in persberichten en bij voorlichting. „Ik zeg eerlijk: onze publieke uitlatingen over rankings hebben niet altijd mijn instemming”, zegt Van der Zwaan. Collega Van den Boom: „Als wij het niet doen, doen anderen het wel. In die zin zijn de rankings best belangrijk. Maar ik vertel ook graag de nuances erbij.”

Beiden zeggen bij hun beleid geen rekening te houden met de lijstjes. Hun universiteiten leveren in navolging van enkele Duitse universiteiten niet meer actief gegevens voor de rankings. Van der Zwaan: „We sturen op kwaliteit en als een goede plek inhoudt dat we een goede universiteit zijn: graag. Maar het blijven lamme instrumenten, die tot op zekere hoogte te beïnvloeden zijn, met hoeveelheden publicaties en reputatiemetingen.”

Dat vindt ook Wijnand Mijnhardt, hoogleraar wetenschapsgeschiedenis en een van de initiatiefnemers van Science in Transition, een platform dat pleit voor minder bureaucratie in de wetenschap en minder nadruk op wetenschappelijke productie. „Amerikaanse universiteiten met Europese vergelijken is appels met peren vergelijken. Dat geldt ook voor internationale vergelijking van opleidingen. Wat heeft het dan voor zin?”

Door de differentiatie van de wereldwijde rankings zou hij eerder de nationale lijst van Elsevier aanraden, waarop Nederlandse opleidingen met elkaar worden vergeleken. „Ik ben niet bang voor kwaliteitsvergelijking, maar dat goed doen kost meer tijd en geld. Het abstractieniveau van de huidige internationale lijstjes is te hoog. Kwaliteit is niet te vangen in snelle statistieken en subjectieve factoren. Daar moeten we tegen blijven ageren.”

Toch trekken vandaag overal ter wereld universiteitsbestuurders harde conclusies naar aanleiding van de publicatie van de Times-ranking. Bevreemdend, vindt hoogleraar Van Raan. „Mensen die gestudeerd hebben en zich toch druk maken over waar ze staan, moeten beter weten. Als je goed naar de verdeling kijkt, zijn de verschillen vaak klein en kan iedereen wel een beetje gelukkig worden van de scores. Dat is ook logisch, want een ranking wordt pas serieus genomen als de meerderheid tevreden is.”