MEDISCH NIEUWS IN DE PERS

Wetenschappelijke prestaties laten zich niet gemakkelijk meten en nog minder vergelijken, maar ook gebrekkige pogingen helpen. Al jaren opereert vanuit Philadelphia een zakelijke onderneming geleid door een briljante en controversiële informaticaspecialist, Eugene Garfield, die als Big Brother ons allen in de gaten houdt.

Uit de belangrijkste biomedische engelstalige tijdschriften worden de oorspronkelijke stukken en hun auteurs niet alleen als snel nieuws aangeboden maar ook vervolgd naar hun lotgevallen. Hoe vaak wordt een stuk door anderen aangehaald en wat is de invloed van het tijdschrift waarin het verscheen? Zodoende ontstaat er een academische pikorde, want iedere auteur kan zijn actuele stand opvragen bij de computer in Philadelphia. De plaats op de academische hitparade is niet alleen een maat voor eigen glorie, maar telt ook bij subsidies, promoties en benoemingen.

Die Science Citation Index heeft zijn gebreken - het zijn er vele - maar ook grote voordelen. Iedereen in academisch Nederland weet wie van zijn vakgenoten veel en goed internationaal werk publiceert en wie zelden iets presteert. Net als bij alle toetsing gaat het niet om de enen en de tienen, maar de grijze wereld tussen vijf en zes waar de meesten toe behoren.

Enige schatting over kwaliteit, kwantiteit en waardering, gemeten aan de aanhaling van wetenschappelijk werk, geeft dan toch beter inzicht dan subjectieve oordelen van betrokkene, vakgroep of visitatiecommissie.

De problemen met de Science Citation Index zijn van velerlei aard maar dat geldt vele bibliometrische methoden. De selectie van tijdschriften is eenzijdig Engels en Amerikaans, kleine tikfouten of vreemde eigennamen doen auteurs voor eeuwig verloren gaan in de onderste krochten van de harde schijf en het elkaar citeren is behalve noodzaak ook ritueel, vriendendienst of het overschrijven van wat de gegevensbank bij een trefwoord of begrip levert. De vroegere Raad voor Advies voor het Wetenschapsbeleid heeft dan ook in de jaren tachtig, toen ze het klinisch-wetenschappelijk onderzoek in Nederland doorlichtte, naast de citatie index ook anderee maatstaven gebruikt, zoals het oordeel van buitenlandse referenten en de waardering van Nederlandse vakgenoten.

Een Amerikaanse socioloog heeft zich nu afgevraagd of aanhaling van wetenschappelijke publikaties in de publiekspers ook invloed zouden kunnen hebben op iemands plaats op de wetenschappelijke ladder van de citatie index. Iemands status in citatieland zou kunnen stijgen omdat de publiekspers aandacht aan zijn werk besteedt en via die omweg vakgenoten attent maakt op het belang ervan, met als gevolg meer aanhaling. De publieke aaibaarheidsfactor draagt dan bij tot de wetenschappelijke status.

Het onderzoek van genoemde socioloog betrof twee publikaties, de New Engeland Journal of Medicine and de New York Times. Het eerste is 's werelds belangrijkste klinisch-wetenschappelijk weekblad met een kwart miljoen lezers, de andere de Amerikaanse topkrant, ook waar het ruimte en kwaliteit van wetenschappelijk werk betreft. Van alle gerefereerde klinisch-wetenschappelijke publikaties in de New York Times is de New England Journal of Medicine aan kop, met 63% meer referenties dan het volgende tijdschrift. De vraag was nu of vermelding in de Times in de jaren daarna iemands plaats op de Science Citation Index deed stijgen of er geen invloed op had. Als controle dienden oorspronkelijke stukken uit dezelfde jaargang die niet door de Times waren vermeld.

Het niet vermeld worden kon ook betekenen dat de Times een feilloze neus had voor de echt belangrijke artikelen, wat later alleen maar werd bevestigd door de citatie index. Die hindernis kon door een toeval worden omzeild omdat in de onderzoeksperiode 1978-1979 een drie maanden durende krantenstaking de New York Times plat legde. Voor het archief werd iedere dag een krant gemaakt en ging de redactievoering op dezelfde wijze voort, maar het publiek kreeg de archiefeditie uiteraard niet onder ogen. Het lot van de publikaties en hun citatiewaarde werd 10 jaar lang gevolgd in de Science Citation Index.

Daarbij bleek dat door de Times vermelde publikaties 20 tot 30% vaker worden aangehaald dan de niet vermelde, uit hetzelfde blad en dezelfde periode en gedurende lange jaren. In het eerste jaar was het verschil 70%, om gedurende tien jaar langzaam of te nemen. Tijdens de krantenstaking was het effect volledig afwezig. Als citaties in de wetenschappelijke litteratuur werden beperkt tot 5 toptijdschriften, bleef het verschil aanwezig, zodat het overschot aan citatie niet veroorzaakt werd door minder belangrijke tijdschriften die hun nieuws uit New York Times haalden.

De conclusie was dat de Times, door de New England Journal of Medicine aan te halen, de informatiewaarde daarvan versterkte en de klinisch wetenschappelijke onderzoeker niet alleen tot meer lezen maar ook tot schrijven en aanhalen zet. Verschillende effecten treden daarbij op. Wie beide bladen leest, wordt tweemaal aan dezelfde informatie blootgesteld. Anderzijds heeft iedere onderzoeker maar beperkte tijd om nieuwe informatie op te nemen en gebruikt daarvoor filters. De New York Times is voor veel onderzoekers kennelijk zo'n filter, maar er zijn ook andere mogelijk. Primaire wetenschappelijke informatie wordt zo versterkt door secundaire overdracht in de publiekspers en veroorzaakt meetbare verandering in de daarop volgende periode waarin deze informatie wordt aangehaald. Versterking zou ook met vervorming plaats kunnen vinden en ook dat zou gevolg kunnen hebben voor citaten en hun interpretaties. Dat viel echter buiten het onderzoek, maar het zou een boeiend onderzoek zijn om na te gaan wat er bij doorvertellen misgaat.

Het stuk maakt me tegelijkertijd droef en blij. De droefheid ontstond toen ik besefte dat mijn enige citatie index gegroeid is door het feit dat mijn eigen publikatie in de New England Journal of Medicine indertijd door Time en New York Times werd aangehaald, een vluchtige maar krachtige aai, die me nog wat jaren op de ladder zal houden. Het heeft echter meer met de versterker dan met de muziek te maken.

Blijdschap was er omdat een van mijn vooroordelen werd bevestigd namelijk dat dokters slecht lezen. Na veel van mijn stukjes wordt me gevraagd waar mijn wijsheid vandaag komt. Uit de New England Journal of de Lancet, schrijf ik dan terug en beide zijn royaal in Nederland voor handen. Omdat ik besef een filter te zijn, geef ik daarom tegenwoordig de bron erbij. Het smaakt tenslotte het beste puur.

Philips, D.P. et al: Importance of the lay press in the transmission of medical knowledge to the scientific community. New England Journal of Medicine 1991: 7 oktober 1991, pagina 1180.

    • A.J. Dunning