Iedereen lijsttrekker

Een van de jaarlijkse rituelen in de academische wereld is het verschijnen van ranglijsten van universiteiten. De gevoelens waarmee deze ordening wordt bezien, zijn het best beschreven door Jorge Luis Borges in zijn essay De analytische taal van John Wilkins (1952): ‘Dergelijke dubbelzinnigheden, overbodigheden en onvolkomenheden doen denken aan die welke Dr. Franz Kuhn toeschrijft aan een bepaalde Chinese encyclopedie, getiteld Hemels emporium van welwillende kennis. Op die pagina’s uit een grijs verleden staat geschreven dat de dieren zijn te onderscheiden in a) toebehorend aan de Keizer, b) gebalsemd, c) getemd, d) speenvarkens, e) zeemeerminnen, f) fabeldieren, g) zwerfhonden, h) die welke in deze classificatie zijn opgenomen, i) die welke tekeergaan als dwazen, j) ontelbare, k) die welke zijn getekend met een heel fijn kameelharen penseel, l) enz., m) die welke net een vaas hebben gebroken, n) die welke in de verte op vliegen lijken.’

Het vergt de surrealistische pen van een even briljante schrijver om de bonte verschijningsvormen in het oerwoud van het mondiale hoger onderwijs te catalogiseren. De bekendste ranglijst in die wereld is een ander ‘hemels emporium van welwillende kennis’ uit China, de Academic Ranking of World Universities van de Sjanghai Jiao Tong Universiteit. Deze leunt zwaar op gevestigde wetenschappelijke reputatie. Nobelprijswinnaars die aan een instelling zijn verbonden bepalen tot 30 procent van het gewicht. Verwacht dus geen al te abrupte veranderingen in deze rangorde. De top-10 wordt voorspelbaar gedomineerd door de zwaargewichten uit de Verenigde Staten.

De alternatieve lijst van de Britse Times Higher Education maakte tot dit jaar vooral gebruik van enquêtes, vooral in landen waar dit tijdschrift gelezen werd, zodat er opvallend veel universiteiten uit het voormalige Britse Rijk in de top te vinden waren.

De Fransen hebben sinds kort hun eigen force de frappe in de vorm van een lijst opgesteld door de prestigieuze École des Mines, een ingenieursschool waar niet zozeer de mijnbouw als wel het lonkend topambtenaarschap centraal staat. Het zal u wellicht niet verbazen dat in de eerste uitgave maar liefst vijf Franse instellingen in de top-10 te vinden waren, waaronder – inderdaad, u raadt het goed – de École des Mines zelf. Maar als u iets van het Franse hoger onderwijssysteem kent, begrijpt u deze uitkomst onmiddellijk. Als leidend criterium kozen de Fransen namelijk het aantal alumni dat in topposities in het bedrijfsleven of openbaar bestuur terechtkomt.

Dit opent perspectief voor een nieuw gezelschapsspel: Kies je favoriete hitparade. Is er een lijstje te bedenken waar Nederland hoog scoort? Het antwoord is ‘ja’. Nederland is namelijk kampioen in gemiddelde kwaliteit. Echte uitschieters naar boven of naar beneden zijn in ons land zeldzaam. In ieder lijstje vinden we bijna alle Nederlandse universiteiten in de subtop. De virtuele Universiteit van Nederland komt daarmee op de vijfde plaats van de wereld.

Nu zegt een rangorde niet alles. Het is vooral een nuttig instrument om de koplopers te onderscheiden. Als we alle Nederlanders op lengte rangschikken, dan zullen de nummers één tot en met tien vast op straat opvallen. Maar op de lijst van langste Nederlanders betekent het verschil tussen, zeg, de 5 miljoenste en 6 miljoenste plaats maar weinig, ook al liggen er een miljoen traptreden tussen. Naarmate we het drukbezette midden naderen, worden de verschillen verwaarloosbaar. De kleinste verandering kan daar dramatische bewegingen veroorzaken. Je groeit een millimeter en stijgt direct tienduizend plaatsen.

Goochelen met gemiddelden is een favoriet instrument van de academische lijstenmakers, of het nu het aantal citaties per publicatie in een tijdschrift betreft (de zogeheten impactfactor) of het aantal publicaties per medewerker van een universiteit. Zo’n gemiddelde neemt altijd de wiskundige vorm aan van een breuk. Zo wordt het gemiddeld aantal treffers per voetbalwedstrijd berekend door het totaal aantal doelpunten (de teller) te delen door het aantal gespeelde wedstrijden (de noemer).

Nu zijn er twee methoden om een breuk omhoog te krikken. De moeilijke manier is de teller groot maken: veel scoren. Dat wil zeggen, veel citaties of veel publicaties. De gemakkelijke manier is de noemer klein maken: weinig spelen, liefst alleen tegen zwakke tegenstanders. Alleen toponderzoekers aannemen of onproductieve medewerkers buiten de telling houden. Als natuurkundige Gerard ’t Hooft zijn eigen mini-universiteit zou beginnen, met slechts één medewerker, zou deze instelling die ‘in de verte op een vlieg lijkt’ met haar astronomisch hoog ‘gemiddeld’ aantal Nobelprijswinnaars en citaties toch bovenaan alle ranglijstjes staan. Dit is niet helemaal een flauwe grap, want de Nederlandse wetenschap scoort onder andere gemiddeld zo goed omdat we maar relatief weinig onderzoekers hebben – de kleine noemer in plaats van de grote teller.

De lijst van de Times Higher Education, die dit jaar op ingenieus cijferwerk is gebaseerd, geeft een goed voorbeeld van de kwetsbaarheid van het rekenen met gemiddeldes: het verschijnsel van de grote lijsttrekker. Zo staat plotsklaps de Universiteit van Alexandrië uit Egypte op nummer 147. Natuurlijk een geweldige opsteker voor een regio die niet direct met toponderzoek wordt geassocieerd, althans niet in deze moderne tijd. Er wordt daar zeker uitstekend werk gedaan. Zo mag deze universiteit Ahmeid Zewail, winnaar van de Nobelprijs voor de scheikunde in 1999, onder haar alumni rekenen. Maar het is opvallend dat in de categorie ‘onderzoeksinvloed’ deze relatief onbekende instelling op de vierde plaats van de wereld staat, na de Amerikaanse topuniversiteiten Caltech, MIT en Princeton en boven coryfeeën als Harvard, Cambridge en Oxford.

De rangorde in deze belangrijke categorie is gebaseerd op telling van citaties. Verdere analyse laat zien dat de geweldige prestatie van Alexandrië met een ‘fijn kameelharen penseel’ bijna volledig op het conto kan worden geschreven van één onderzoeker, de mathematisch fysicus Mohamed El Naschie. Veel van zijn publicaties zijn verschenen in het tijdschrift Chaos, Solitons and Fractals, waarvan hij lange tijd hoofdredacteur was. De impactfactor van dit tijdschrift steeg in die jaren tot in de stratosfeer. De aantallen citaties zijn vergeleken met andere vakgebieden niet opzienbarend, maar binnen een vakgebied als de wiskunde, waar verhoudingsgewijs spaarzaam wordt gepubliceerd en geciteerd (kenmerkend een factor tien minder dan in de biologie), zijn ze beslist uitzonderlijk: tot veertig keer de norm. Doordat in de nieuwe systematiek van de Times Higher Education kleinere instellingen of vakgebieden niet langer benadeeld worden, kan dit ene gegeven datapunt – de grote lijsttrekker – de rangorde behoorlijk scheeftrekken.

El Naschie is onderwerp van veel controverse. De blogosfeer zoemt van stevige meningen over hem, vóór en tegen. Zo wordt aangevoerd dat driekwart van zijn ruim 400 publicaties in zijn eigen tijdschrift zijn verschenen. Hetzelfde geldt voor bijna de helft van de artikelen waar El Naschie naar refereert, de meeste weer van eigen hand.

El Naschie heeft zichzelf dapper tegen de kritiek verdedigd. Zelfcitaties binnen een instelling of een vakgebied zijn namelijk niet per definitie fout, sterker nog, een veel voorkomend verschijnsel bij de traditionele toppers. Maar deze affaire laat toch zien hoe kwetsbaar zulke ‘harde cijfers’ zijn. Het vergelijken van appels en peren heeft weinig betekenis, omdat er zovele interpretaties en wegingen zijn.

De Times Higher Education lijkt dit alles goed begrepen te hebben. Er is zelfs een applicatie voor de iPhone verkrijgbaar waarmee je de lijst kan ‘manipuleren en personaliseren’ en aanpassen aan je eigen ‘voorkeuren en prioriteiten’ door de gewichten van de verschillende criteria te variëren. Daarmee wordt de rangorde de individueelste expressie van de individueelste uiting van kwaliteit en komt de ultieme droom van de lijstjesfetisjist binnen handbereik: de eerste plaats op je eigen lijst. Iedereen lijsttrekker.

Deze column over wetenschap wordt afwisselend geschreven door de natuurkundige Robbert Dijkgraaf, de socioloog Paul Schnabel (over proefschriften), de voedingsdeskundige Martijn Katan, de neerlandicus Marita Mathijsen en de medicus Piet Borst.