Boeken tellen niet meer mee

NWO doet vele goede dingen. Een paar weken geleden hebben ze nog weer de Spinoza-premies uitgedeeld en u zult mij niet horen zeggen dat die niet bij de juiste personen zijn terechtgekomen. Natuurlijk zijn er nog veel meer onderzoekers die zo'n vorm van ondersteuning verdienen, maar dat komt dan wel volgend jaar.

In ieder geval is het Algemeen Bestuur van NWO nu afgestapt van de wonderlijke differentiatie in prijzengeld nog voor de winnaars hun onderzoeksvoorstellen ter besteding van de premie hadden ingediend: iedere gelauwerde krijgt nu hetzelfde bedrag. Als het om twee of vier miljoen gaat kunnen alfa's zo'n bedrag met hetzelfde gemak wegzetten aan zinvol onderzoek als beta's en gamma's, dus dan is het wel net zo eerlijk om iedereen maar drie miljoen te geven.

NWO geeft ook een kwartaalblad uit onder de titel Hypothese dat 'beoogt de meningsvorming over onderzoek en wetenschap in ons land te bevorderen'. Het colofon gaat dan als volgt verder: 'Het blad wordt in beperkte oplage gratis verspreid onder relaties van NWO in kringen van onderzoekers, politici en beleidsmakers.' Misschien schuilt in het onderscheid dat NWO hier in het colofon van Hypothese aanbrengt tussen 'politici' en 'beleidsmakers' wel een van de problemen waar NWO mee worstelt bij de verhoging van het budget. Natuurlijk moet er meer geld beschikbaar komen in Nederland voor fundamenteel en toegepast onderzoek maar blijkbaar gaat NWO ervan uit dat de politici in dezen niet het beleid bepalen. Maar aangezien ambtenaren hooguit het beleid voorbereiden kunnen zij niet bedoeld zijn met de 'beleidsmakers'. Of houdt in de ogen van NWO een politicus op politicus te zijn zodra hij of zij een bestuurder wordt? Misschien kan het verschil in een van de volgende nummers van Hypothese door een deskundig onderzoeker worden verklaard. Het kan naar mijn bescheiden mening geen kwaad om reeds nu ter voorbereiding op de komende kabinetsformatie 'politici en beleidsmakers' te vervangen door 'beleidsbepalende politici', ook al is dat dan een tautologie.

In het laatste nummer van Hypothese staat op bladzijde 8 en 9 een bijdrage van Paul Wouters onder de triomfantelijke titel 'Boeken tellen niet meer mee'. In dit artikel wordt de lof gezongen van de citatie-analyse als middel om wetenschappelijke kwaliteit te meten. Waar de wetenschap slechts kwantiteit meet, meten mijn collega's van de afdeling Wetenschapstudies blijkbaar kwaliteit door te tellen hoe vaak een artikel in andere publicaties wordt aangehaald.

Dat is in de beta-wereld waarin vrijwel iedereen zijn onderzoeksresultaten in het Engels en in kleine artikelen publiceert wellicht inderdaad een redelijk bruikbaar instrument. Kwaliteit valt er natuurlijk niet echt mee te meten, maar impact tot op zekere hoogte wel en daar kan men dan zijn eigen conclusies aan verbinden.

Citatie-analyse is natuurlijk alleen maar bruikbaar wanneer er sprake is van een zeer eenvormig publicatiegedrag binnen een wetenschapsgebied - en wanneer de basisgegevens aangeleverd kunnen worden door het Institute for Scientific Information. Want we moeten nu weer niet denken dat de medewerkers van Wetenschapsstudies zelf al die publicaties zitten uit te vlooien op verwijzingen. Dat laatste zou namelijk nog wel eens afbreuk kunnen doen aan de objectiviteit van de methode. Wie weet zouden ze dan zelf de publicaties gaan lezen en zich een oordeel vormen over de inhoud. Dat kan natuurlijk nooit de bedoeling zijn van Wetenschapstudies.

'Na de natuurwetenschappen moeten nu ook de sociale en geesteswetenschappen eraan geloven', staat in het vetgedrukte kopje ter inleiding bij het artikel in Hypothese. Dat moet niet omdat de onderzoekers in die vakgebieden daar om zitten te springen maar omdat collega Ton van Raan, omschreven als 'de huidige aanvoerder van de Nederlandse bibliometristen', 'een offensief geopend heeft voor het gebruik van zijn methoden en technieken in de sociale en geesteswetenschappen'. Gesteld al dat men daar het heil van zou verwachten, zou men toch eerst over een betrouwbaar bestand van gegevens moeten beschikken. Maar zo'n bestand heeft men niet en dat geeft men ook ruiterlijk toe. Men maakt ook voor deze wetenschapsgebieden gebruik van dezelfde gegevens van het Institute for Scientific Information.

Daarin is het onderzoek van Nederlandse onderzoekers in de sociale en geesteswetenschappen maar zeer ten dele en zeer ongelijkmatig opgenomen. Maar geen nood. Dr. Ton Nederhoff, 'de belangrijkste meter van de gamma- en alfawetenschappen', ziet tot zijn intense genoegen dat ook in deze wetenschapsgebieden het natuurlijkwetenschappelijke publicatiemodel dominant wordt. Gelukkig maar, hoor je hem denken, want dan kan er tenminste gemeten worden. Net zoals in het verleden intelligentie gereduceerd is tot datgene wat door een intelligentietest gemeten wordt, moet de echte wetenschap zich maar beperken tot dat wat door de citatie-analyse gemeten kan worden. En dan nog een luie citatie-analyse ook, die klakkeloos uitgaat van het hegemonisme van het Engels.

Nu gebiedt de eerlijkheid mij om toe te voegen dat er ook in het artikeltje in Hypothese wel een paar relativerende opmerkingen worden gemaakt door verstandige onderzoekers die erop wijzen dat ieder wetenschapsgebied zijn eigen publicatietraditie heeft, waarin overzichtsstudies en monografieen soms een zeer grote rol kunnen spelen. Daarnaast moet, zeker voor de geesteswetenschappen, worden opgemerkt dat in vele gebieden het Engels niet noodzakelijkerwijs de belangrijkste vaktaal is. Zo'n banale opmerking geldt niet alleen voor de Nederlandse rechtswetenschap maar ook voor de sinologie.

Daar komt nog iets anders bij. Ook in de technische wetenschappen werkt de citatie-analyse maar zeer gebrekkig. Een functionerend product of een goed patent telt daar meer dan weer een pagina in een van die peperdure tijdschriften. Ook bij de geesteswetenschappen is een groot deel van het onderzoek toepassingsgericht, ondanks de daarover in vele kringen blijkbaar nog steeds heersende misvatting.

Tijdens het symposium 'Autonomie en Engagement in de Geesteswetenschappen', dat plaatsvond op 19 juni jl. ter gelegenheid van het afscheid van Hans Smits als secretaris van het Gebiedsbestuur Geesteswetenschappen en waarvan de voordrachten onlangs in druk zijn verschenen, werd het toepassingsgerichte karakter van verschillende gebieden van de geesteswetenschappen door een aantal sprekers nog eens weer benadrukt. Frits van Oostrom, die een paar jaar geleden al een Spinoza-premie won en dus niet verdacht kan worden van een gebrek aan belangstelling voor de zuivere wetenschap, riep in zijn voordracht zelfs op om het toepassingsgerichte karakter van de geesteswetenschappen nog meer te versterken.

Zeker, het is zelden het grote bedrijfsleven dat de laatste jaren zo graag bespaart op zijn eigen laboratoria, dat staat te springen om de resultaten van geesteswetenschappelijk onderzoek (ofschoon ook daar verandering in komt door de voortschrijdende informatietechnologie), maar de maatschappij is gelukkig meer dan Philips en Shell. De onderzoeksresultaten van de geesteswetenschappen die binnen en buiten de academie het meeste gebruikt worden zoals databases, woordenboeken, grammatica's, overzichtsstudies catalogi, edities, vertalingen en wat dies meer zij, worden in het algemeen echter het minste geciteerd.

Natuurlijk zouden de geesteswetenschappers zich voortaan en masse kunnen beperken tot het publiceren van kleine artikelen in steenkolen-Engels die ze over en weer als een gek gaan citeren om hun citatiescore maar op te drijven. Ik vraag me echter af of zowel de wetenschap als de maatschappij daarmee is gediend - hooguit de uitgevers van de betrokken tijdschriften (ergens komen die gigantische winsten van sommige uitgevers toch vandaan).

Daar komt nog bij dat het internet het traditionele patroon van publiceren in hoog tempo verandert, zowel wat de kleine en zeer gespecialiseerde artikelen als de grote naslagwerken betreft. Je hoeft geen helderziende te zijn om te vermoeden dat de huidige praktijk van de citatie-analyse op haar laatste benen loopt, maar misschien voedt dat wel de behoefte van Wetenschapstudies om nieuwe werelden te veroveren.

Moet de kwaliteit van het geesteswetenschappelijk onderzoek dan niet gemeten worden? Inderdaad, die moet helemaal niet gemeten worden, want kwaliteit kan niet gemeten worden en al helemaal niet met een instrument dat vereist dat de wetenschap zich, ongeacht het vakgebied, aanbiedt in uniforme hapklare brokjes. Kwaliteit moet beoordeeld worden. Dat is veel moeilijker, vooral ook omdat het oordeel over het (vermeende) belang maar al te dikwijls het oordeel over de kwaliteit blijkt te beinvloeden. Ook peer-review is dus niet zaligmakend. Bij ieder oordeel dat een willekeurig panel uitspreekt staan de critici klaar met een beter inzicht. Maar peer-review komt wel sympathieker over, want het heeft niet de arrogantie te willen voorschrijven hoe de wetenschapper moet publiceren.

Op de achterpagina van hetzelfde nummer van Hypothese valt te lezen dat alle harde computerschijven in ons land bij elkaar nog veel te klein zijn om het brein van een mens te downloaden. Als dat zo is, is het misschien ook niet zo verwonderlijk dat vakgenoten zo snel een oordeel kunnen vellen over de kwaliteit van het werk van hun collega's, vooral na een paar borrels in de bar. Alles in het strikste vertrouwen natuurlijk en nooit zwart op wit, want je komt je collega's nu eenmaal dagelijks tegen. Vandaar dat de bestuurderen dan toch maar in arren moede een beroep doen op het gebrekkige hulpmiddel van het mechanieke telraam van Wetenschapstudies. Zelfs voor de exacte wetenschappen waar alles toch glashelder zou moeten zijn.