Publicatie in Nature of Science is nog geen bewijs

De volgende generatie rekent ons niet af op publicaties, meent Jaap Goudsmit.

Illustratie Angel Boligan

Op de ranglijst van beste wetenschappelijke prestaties in de medische wetenschap (2013 Academic Ranking of World Universities) staat Utrecht ergens tussen de honderdste en honderdvijftigste plaats, een stuk lager dan bijvoorbeeld de Universiteit van Leiden (35) of de Universiteit van Amsterdam (43).

Frank Miedema, bestuurder van het Utrechtse academisch ziekenhuis, luidde onlangs de noodklok als één van de initiatiefnemers van Science in Transition, een nieuwe Nederlandse beweging van wetenschappers. Doe die ranglijsten weg en wees eerlijker, klonk het. ,,Laten we onszelf niet voor de gek houden. Net zo goed als in de politiek en het bedrijfsleven is er in de wetenschap eerzucht en achterbaksheid’’, lichtte Miedema toe in NRC van 2 november. Zijn zorg is dat onderzoekers steeds meer beoordeeld worden op de hoeveelheid artikelen in goede of minder goede vakbladen.

Wetenschappelijke publicaties zijn in zekere zin voorboden van kennis, die zijn waarde in de praktijk nog niet bewezen heeft, en zijn een middel geworden om tussentijds een wetenschapper op waarde te schatten. Het duurt immers vaak een generatie om vast te stellen of bepaalde kennis iets waard is en zo lang willen bestuurders niet wachten om talentvolle onderzoekers een hoogleraarschap aan te bieden.

Het accepteren van onderzoekers die het vakgebied onvoldoende beheersen of het toekennen van de doctorsgraad aan ondermaatse studenten is echter de verantwoordelijkheid van de kenniscentra en daarmee van Miedema zelf. Niets houdt hem ervan af studenten strenger te selecteren, de eisen voor promotie-onderzoek te verhogen of de professorstitel te reserveren voor slechts de allerbesten. Klagen over perverse prikkels in de wetenschap, als ware het het bankwezen, kan dan ook niet anders worden opgevat als een publieke uiting van zelfkritiek.

Maar dit alles gaat voorbij aan de gerechtvaardigde vraag wat wetenschappelijke kennis nu precies oplevert. De maatschappelijke of economische waarde van kennis is moeilijk te meten. Voor mij leidt wetenschap tot kennis, die het mogelijk maakt, het tot dan toe onmogelijke, voor elkaar te krijgen. De ultieme wetenschappelijke waarde ligt in de kennis die er voor zorgt dat een straalvliegtuig opstijgt en landt, ik op straat een telefoongesprek kan voeren, op internet een weetje kan opzoeken en mijn maagzweer kan genezen met een antibioticakuurtje. Wetenschap is niet de verzameling van artikelen die wekelijks in prestigieuze bladen als Nature en Science verschijnt. Dat zijn slechts verhalen van de wetenschappers zelf over hun waarnemingen en wetenswaardigheden.

Het is vandaag de dag even moeilijk, in tegenstelling tot wat Frank Miedema beweert, voor de wetenschappelijke non-fictie schrijver om zijn of haar verhaal geaccepteerd te krijgen door de redacteuren van de topbladen, als het was voor J.D. Salinger om zijn verhalen gepubliceerd te krijgen in de The New Yorker. Er is echter een fundamenteel onderscheid: voor de schrijver van fictie of journalistieke non-fictie is de publicatie het eindproduct en dat is wat we beoordelen als goed of slecht, als mooi of lelijk. Voor de wetenschapper is de publicatie de verantwoording van bevindingen, die zonder publicatie net zo goed waar of onwaar kunnen zijn als met publicatie. Het is meer een gedetailleerd persbericht. De vraag over de waarde van de wetenschap is het onderwerp geweest van twee veelzeggende studies, één van het biotech-bedrijf Amgen (Nature, 2012) en één van de Boston Consulting Group (Nature Reviews, 2013). De Amgen-groep probeerde, op zoek naar mogelijkheden om kanker te bestrijden, 53 gepubliceerde onderzoeken te herhalen en de resultaten te bevestigen en slaagde daar maar in zes gevallen in. Je mag (of zelfs moet) aannemen dat 47 studies blijkbaar geen praktische waarde vertegenwoordigen. Verrassend is dat 21 studies in topbladen zoals Nature en Science verschenen en niet vaker herhaalbaar bleken dan studies gepubliceerd in bladen met minder aanzien.

Van nog groter belang is een studie waarin de Boston Consulting Group 842 potentiele geneesmiddelen onder de loep nam, ontdekt en ontwikkeld door 419 bedrijven. 205 geneesmiddelen haalden de eindstreep, waarbij werd aangetoond dat ze werkzaam waren tegen bepaalde ziekten en dat ze geen onrustbarende bijwerkingen hadden. Het uiteindelijke falen van 637 potentiele geneesmiddelen was in tweederde van de gevallen uit eerder onderzoek te voorspellen geweest, hetgeen iets zegt over de neiging van bedrijven de ontwikkeling van een geneesmiddel door te zetten tegen beter weten in. Uit deze studie bleek tevens dat het belangrijkste criterium of een geneesmiddel iets is de kritische houding van de onderzoekers is en hun vermogen met een project op te houden. Geruststellend was dat de wetenschappelijke kwaliteit van de onderzoekers, gemeten naar het aantal toppublicaties, het aantal citaties en het aantal patenten de kans aanzienlijk verhoogden om een geneesmiddel van waarde te ontdekken. Er is dus nog hoop voor de wetenschap, als het maar geen religie wordt waarbij het aantal publicaties in topbladen het gospel is. De waarde van een wetenschappelijke bevinding zal zich uiteindelijk altijd in de praktijk moeten bewijzen.

    • Jaap Goudsmit