Zet er ‘corona’ op en je onderzoek krijgt aandacht

Medisch onderzoek De coronapandemie leidt tot een stortvloed aan medische publicaties. Maar de kwaliteit laat nogal eens te wensen over. „Er wordt ook overbodig werk gepubliceerd.”

Illustratie Roland Blokhuizen

De wetenschap heeft het er maar druk mee. De uitbraak van het nieuwe coronavirus leidt tot een ware vloedgolf van geleerde publicaties. Alles wordt bestudeerd en beschreven: hoe muteert het genoom van het virus, wie heeft er afweercellen en wie niet, hoe verspreidt de ziekte zich, hoeveel doden gaan er vallen, wat zijn kansrijke behandelmethodes? Er zijn inmiddels meer artikelen verschenen dan een mens kan lezen.

Gelukkig zijn er algoritmen: op de website covid19primer.com houden zij de stand bij. De computer telt alle wetenschappelijke publicaties die in tijdschriften of op preprintservers verschijnen en de termen ‘Covid-19’ (naam van de ziekte), ‘SARS-CoV-2’ (naam van het nieuwe coronavirus) of ‘2019-nCoV’ (de eerdere naam van het virus) bevatten. Op donderdag 21mei was de totaalscore 17.585 artikelen, waarvan er de afgelopen week 2.629 verschenen en die donderdag zelf 344.

Enorme aantallen dus. Iedereen wil meehelpen bij de bestrijding van het virus dat de wereld in zijn greep houdt. Deze publicatiedrift brengt echter ook problemen met zich mee: hoe houd je het overzicht, hoe bewaak je de kwaliteit van al dit werk en hoe onderscheid je zinvolle van zinloze publicaties?

Niet alles is bruikbaar

Want niet alles wat over het nieuwe coronavirus wordt gepubliceerd, is even bruikbaar. Laure Wynants, universitair docent epidemiologie aan de Universiteit Maastricht, onderzocht met een aantal collega’s bijvoorbeeld de kwaliteit van artikelen waarin modellen worden beschreven die artsen moeten bijstaan in het stellen van de diagnose en in hun keuze voor de beste behandeling van patiënten met Covid-19. Wynants c.s. publiceerde haar bevindingen in The British Medical Journal. De conclusie: álle onderzochte artikelen schoten methodologisch tekort.

„Het grootste probleem is dat er veel te kleine datasets werden gebruikt”, zegt Wynants in een telefonische toelichting. „Soms ging het om de gegevens van maar 26 patiënten. Nog een veelvoorkomend manco: de onderzochte groep was niet representatief voor de gehele populatie. Je kan daardoor aan het succes of falen van de modellen die zijn geanalyseerd in deze papers geen conclusies verbinden waaraan artsen iets hebben in het ziekenhuis.”

Wynants is gespecialiseerd in de bestudering van diagnostische en prognostische modellen voor de gezondheidszorg en ze ziet bijna dagelijks nieuwe studies verschijnen. „Ons artikel, dat op 31 maart uitkwam, was gebaseerd op de analyse van 27 studies. Inmiddels zijn er meer dan honderd gepubliceerd. Nog steeds zien we problemen. Veel wiskundige modellen zijn bijvoorbeeld nooit getest in groepen patiënten zoals die nu in de kliniek gezien worden. De vraag is dus of ze überhaupt bruikbaar zijn.”

Opheffen van de lockdown

De coronacrisis heeft ervoor gezorgd dat steeds meer onderzoek alvast gepubliceerd wordt buiten de traditionele wetenschappelijke tijdschriften om. Dit gebeurt online, op zogenoemde preprintservers. Terwijl de artikelen bij de redactie van Cell, Science of Nature liggen te wachten op peerreview door kenners, kunnen geïnteresseerden op deze manier vast kennisnemen van de inhoud van het onderzoek. Dit prepubliceren is vrij gangbaar binnen exacte vakgebieden als wis- en sterrenkunde, maar neemt nu ook een hoge vlucht binnen de (bio-)medische wetenschappen.

En dat leidt tot controverses: een preprint die concludeerde dat er in Californië 85 keer meer mensen besmet waren dat uit de officiële cijfers bleek, werd aangegrepen door bepaalde commentatoren om te pleiten voor het opheffen van de lockdown. Via sociale media kreeg dit onderzoek een enorm bereik, terwijl er van vakgenoten bijzonder veel kritiek was op de methodologie.

Wynants zag dat de peerreview bij de door haar beoordeelde studies geen verschil maakte: bij artikelen op preprintservers én bij artikelen die wél officieel gepubliceerd waren, deden zich dezelfde problemen voor. „Tijdschriften wordt bedolven onder de artikelen en er is een acute behoefte aan informatie, dus het zal niet meevallen om voldoende zorg te besteden aan de peerreview. Probeer bijvoorbeeld maar eens genoeg mensen te vinden om al die studies te beoordelen. Ikzelf krijg zoveel verzoeken om peerreviews te doen dat ik er mijn hele werkweek mee kan vullen. Dat gaat natuurlijk niet.”

Nadeel van foutieve studies

Yolanda van der Graaf, hoogleraar klinische epidemiologie aan het UMC Utrecht en hoofdredacteur van het Nederlands Tijdschrift voor Geneeskunde, is niet te spreken over de wildgroei van artikelen op preprintservers. „Ja, er wordt ook veel rommel gepubliceerd in tijdschriften, maar ik denk toch dat het mechanisme van de peerreview ook in de huidige situatie belangrijk blijft. Het nadeel van artsen die gaan handelen op basis van foutieve studies, weegt volgens mij niet op tegen de mogelijke tijdwinst die je behaalt door delen van het reguliere publicatieproces te omzeilen.”

Sarah de Rijcke, directeur van het Centrum voor Wetenschap- en Technologiestudies in Leiden, staat minder afwijzend tegen de opkomst van de preprintserver als publicatiemiddel, zegt ze. „Voordeel is dat er nu meer mensen dan alleen de reviewers kunnen meekijken of een publicatie deugt, ook van buiten de groep directe collega’s in een vakgebied. Dat laatste kan nuttig zijn.”

De coronacrisis leert de buitenwereld ook wat frontier science is, zegt De Rijcke. „Veel is niet zeker en aannames van een maand geleden staan misschien nu al weer op losse schroeven. Zo werkt de wetenschap, via voortschrijdend inzicht. Een wetenschapper moet zeggen: tot zover reikt op dit moment onze kennis. Dan moeten beleidsmakers daarmee doen wat ze verstandig lijkt.”

In een talkshow zitten

Die beleidsmakers en vooral het grote publiek zijn waarschijnlijk minder op hun gemak met die onzekerheid dan wetenschappers, realiseert De Rijcke zich. „Het is daarom belangrijk dat die goed uitleggen waar ze mee bezig zijn. Ga maar in een talkshow zitten en laat zien wat je weet en vooral wat je niet weet. Maak duidelijk dat een model niet meer kan zijn dan een benadering van de werkelijkheid.”

Wetenschappers moeten geen plek opeisen in de schijnwerpers met halfbakken ideeën, benadrukt De Rijcke. „Niet al het onderzoek van de afgelopen maanden was even nuttig. Er wordt ook overbodig werk gepubliceerd: herhalen wat al bekend is om maar te publiceren. Dat kunnen we nu echt niet gebruiken.”

Onderzoekers moeten ook opletten dat de farmaceutische industrie geen medicijnen gaat pushen die toch al op de plank lagen, zegt Melanie Peters, directeur van het Rathenau Instituut, een instelling die onderzoek doet naar het Nederlandse wetenschapsbedrijf. „Deze praktijk heet seeding, en we zien dat momenteel gebeuren. Hoeveel haast we ook hebben met het vinden van een oplossing voor onze problemen, het is het belangrijk dat dezelfde wetenschappelijke en ethische regels blijven gelden als voor de coronacrisis.”

Behoefte aan overzicht

De crisis versterkt bepaalde elementen van de wetenschappelijke publicatiecultuur die sowieso al „ziek” is, vindt Van der Graaf van het NTvG. „Onderzoekers hebben te maken met een enorme publicatiedruk. Wie nu ‘Covid-19’ in zijn samenvatting zet, weet dat hij eerder de aandacht trekt van de redactie van een tijdschrift. En dus kijkt iedereen: kan ik nog wat met mijn reeds bestaande onderzoek doen door het richting corona te draaien? Het resultaat: talloze kleinere studies, terwijl er juist behoefte is aan overzicht en samenwerking.”

Dat vindt ook Melanie Peters van het Rathenau Instituut. „Iedereen wil zijn steentje bijdragen én een graantje meepikken, maar we hebben er nu niets aan dat vanuit allerlei disciplines iets over de heg wordt gegooid. Probeer niet zelf het wiel uit te vinden, maar bouw voort op bestaande kennis.”

Iedereen wil zijn steentje bijdragen én een graantje meepikken

Melanie Peters directeur Rathenau Instituut

Fundamenteel onderzoek is iets anders dan onderzoek dat zich richt op praktische, klinische toepassingen, weet Peters. „De eerste groep werkt vooral voor vakgenoten, maar de tweede groep doet er goed aan te kijken waaraan nu behoefte is. Essentieel daarbij is dat overheid en RIVM duidelijk laten weten welke vragen zij graag beantwoord zien. Daarmee kunnen wetenschappers dan aan de slag.”

Op alle niveaus moeten mensen over oude grenzen heen stappen en goed overleggen en coördineren, vindt Peters. „Maar: het is niet nodig op dit moment het CERN van de virologie op te zetten. Laat de wetenschap gaan voor wat nú praktisch haalbaar is. Na afloop kunnen we er dan voor zorgen dat er structuren overblijven die bij een volgende pandemie van pas kunnen komen.”