Beste "peer reviewers' hebben lage rang en zijn onder de 40

De belangrijkste waarborg voor wetenschappelijke kwaliteit is van oudsher collegiale toetsing. Bij elk zichzelf respecterend wetenschappelijk tijdschrift worden aangeboden artikelen pas voor publicatie geaccepteerd nadat ze door onafhankelijke experts zijn beoordeeld en goed bevonden. Deze "beoordeling door gelijken' of peer review is dé manier waarop de redacties de inhoudelijke kwaliteit van hun tijdschriften bewaken.

Maar zo belangrijk als dit proces is, zo ongrijpbaar ook en ondoorzichtig. Peer review speelt zich grotendeels in de anonimiteit af; auteurs hebben doorgaans geen mogelijkheden tot beroep en redacties geven aan buitenstaanders niet graag inzicht in de wijze waarop ze te werk gaan. In de discussies van de laatste jaren over over wetenschappelijke blunders en fraude komt dan ook vaak de vraag naar voren, hoe betrouwbaar het systeem van collegiale toetsing eigenlijk is.

De vraag stond vorige maand centraal in Chicago, op het tweede internationale congres gewijd aan "peer review' in de biomedische wetenschappen. De ongeveer 270 deelnemers, voornamelijk redacteuren van wetenschappelijke tijdschriften, wisselden niet alleen van gedachten over het functioneren van de collegiale toesting in de praktijk, maar name ook kennis van de uitkomsten van enkele onderzoekjes (die overigens zelf niet aan peer review waren onderworpen).

De resultaten van deze onderzoekjes bevestigen wat iedereen eigenlijk al wist, namelijk dat het systeem verre van volmaakt is. Zo kan peer review niet verhinderen dat er in de wetenschappelijke literatuur veel publicaties doordringen waarvan de methodologische onderbouwing de toest der kritiek niet kan doorstaan. Een voorbeeld is een onderzoek naar dubbel-blinde studies in de kliniek (studies waarbij patiënten een nieuw geneesmiddel dan wel een placebo krijgen toegediend zonder dat zijzelf of hun artsen weten wie wat krijgt - deze praktijk sluit mogelijke bevooroordeling uit). Een inventarisatie van 206 geneesmiddelenstudies, gepubliceerd in vier vooraanstaande tijdschriften op het gebeid van de verloskunde en de gynaecologie in 1990 en 1991 gaf een ontnuchterend beeld te zien. Slechts een derde van de studies maakte gebruik van de methodologisch voorgeschreven toevalsgetallen en bij maar een kwart werden de behandelingen voor alle partijen zorgvuldig verborgen gehouden. Veel artikelen zondigen tegen elementaire regels van de statistiek, en uit een peiling onder biomedische tijdschriften bleek slechts de helft een competente biostatisticus in de redactie te hebben.

In een ander onderzoek werd gekeken naar de bekwaamheid van individuele "reviewers', in de hoop uit te vinden welke eigenschappen iemand tot een goede "toester' maken. Een groep van 200 reviewers van de Journal of General Internal Medicine moest de kwaliteit van een aantal manuscripten beoordelen, waarna hun rapporten door de redactie van het tijdschrift werden beoordeeld op hun diepgang en degelijkheid.

Er bleek sprake van een duidelijke tendens. Goede academische kwalificaties waren een vereiste voor het kunnen maken van een goed beoordelingsrapport, maar een hoge rang in de academische hiërachie niet. In tegendeel zelfs: onderzoekers die aan het hoofd van een instituut staan of die zelf zeer veel publiceren, kwamen over het algemeen met haastiger en oppervlakkiger rapporten op de proppen dan bijvoorbeeld assistant professors die hun sporen nog moeten verdienen, minder belast zijn met bestuurlijke taken en zelf nog dichter bij het echte onderzoek staan. Leeftijd bleek, onafhankelijk van rang, ook een belangrijke factor. Hoe jonger de reviewer, des te degelijker het rapport. De beste reviewers, zo blijkt uit de analyse, zijn de veertig nog niet gepasseerd. (Science, 1 oktober).