Gesel van de wetenschap ziet licht aan de horizon

Onderzoeken die elkaar tegenspreken maken burgers cynisch. De wetenschappelijke methode is aan verbetering toe, vindt John Ioannidis.

Foto Andreas Terlaak

In een modern Rotterdams hotel, dat een indrukwekkend uitzicht biedt over het ‘Manhattan aan de Maas’, is John Ioannidis (50) net klaar met zijn ontbijt. „Ik had waarschijnlijk wel gebakken spek genomen als dat niet toevallig op was bij het buffet.” Zo zet Ioannidis meteen neer hoe hij denkt over de discussie die ontstond over het risico om kanker te krijgen van het eten van rood vlees. Hij lacht uitbundig, terwijl zijn blik geconcentreerd blijft.

De Amerikaanse epidemioloog (hoogleraar aan Stanford University) geniet internationaal hoog aanzien vanwege zijn kritische beschouwingen van de wetenschap. In 2005 vestigde hij zijn reputatie met een baanbrekend artikel in PLOS Medicine. In dat stuk met de veelzeggende titel Why Most Published Research Findings Are False betoogt hij dat veel (biomedische) wetenschappers hun onderzoeksgegevens zo slordig en sturend verzamelen en weergeven, dat de gepresenteerde uitkomsten zo zacht als boter zijn en in de loop van de tijd wegsmelten. Hij bleef publiceren over dit onderwerp. Deze week ontving hij voor zijn werk een eredoctoraat van de Erasmus Universiteit Rotterdam.

Ioannidis – de gesel en het geweten van de wetenschap –blijkt een gentleman. Hij praat zacht en vriendelijk, maar ondertussen zitten zijn antwoorden vol met rake observaties en vlijmscherpe kritiek. De rood vlees-kwestie beent hij op de voor hem kenmerkende manier systematisch uit. „De eerste vraag is: geloof je dat het eten van rood vlees een verhoogd risico op kanker geeft?”, begint hij. „Met het mes op de keel zou ik zeggen: ja. Vervolgens komt vraag: hoe groot is dat risico? Dat blijkt maar heel, heel klein voor een individu. Bij een dagelijkse portie bewerkt vlees stijgt het levenslange risico op kanker met iets meer dan 0,1 procent. Dat heeft helemaal niets te maken met roken dat het risico op kanker met 20 procent verhoogt. De volgende vraag is dan: ga je het eten van rood vlees stoppen om levens te redden? Bij roken uitbannen is er geen twijfel dat je een miljard levens redt, bij rood vlees praat je mondiaal over hooguit 30.000 levens per jaar. Stel je doet het toch, dan moet je het vlees vervangen door iets waaraan misschien ook weer risico’s kleven.”

Mensen moeten zich niet gek laten maken door kleine gezondheidrisico’s, zegt Ioannidis. „Het is triviaal. Bij vlees eten spelen veel belangrijker issues, zoals milieuproblemen door de vleesproductie. Dit soort grote thema’s trekt echter veel minder aandacht. Mensen martelen zichzelf liever met zorgen over suiker, glutenvrij dieet, superfoods en wat al niet.”

Er worden vaker uitkomsten gemeld die later tegenovergesteld blijken te zijn. Verliest de wetenschap daardoor niet zijn onfeilbare imago?

„Ja. Al die onderzoeken waarvan het ene zegt dat iets goed voor je is en het andere dat zegt dat dit weer niet goed is, die maken de gemiddelde burger sceptisch, cynisch zelfs. Veel wetenschappers presenteren hun resultaten met persberichten vol beweringen die veel verder gaan dan het onderzoek ondersteunt. En vervolgens moeten zij vasthouden aan een mate van zekerheid die niet realistisch is. En dan komt uit dat het toch anders zit. Dat schaadt het vertrouwen in de wetenschap.”

Dit voorjaar nog schreef medisch tijdschrift The Lancet in een alarmerend commentaar dat de helft van het onderzoek naar geneesmiddelen niet deugt. „Heel aannemelijk, een visie die onder wetenschappers breed wordt gedeeld”, zegt Ioannidis, die zelf ook vaak de geloofwaardigheid van wetenschappelijk onderzoek aan de kaak stelde. Maar het is meestal geen kwade opzet of bewuste misleiding. Het is de wetenschappelijke methode die aan verbetering toe is. Met herhaling (replicatie) van onderzoeken worden resultaten betrouwbaarder. Het vereist een nieuwe manier van werken waarbij onderzoekers hun gegevens toegankelijk maken voor anderen. Het is de missie geworden van Ioannidis: de wetenschap weer geloofwaardig maken.

Hij is er opmerkelijk optimistisch over: „Tot mijn vreugde zie ik overal in de wereld al initiatieven in de goede richting ontstaan. Niet alleen in het biomedische vakgebied, maar ook in de economische wetenschap, de sociale wetenschappen, gedragswetenschappen. Sommige vakgebieden zijn daarbij al heel doelmatig. Andere niet. Neem het repliceren. Bij genetisch onderzoek is dat al jaren de norm, in de sociale psychologie was het tot voor kort volledig afwezig. Maar sociaal psychologen zijn de laatste jaren echt bezig met een inhaalslag. In biomedische wetenschappen is tot voor kort ook weinig gedaan aan repliceren, terwijl er tal van mogelijkheden zijn bij dierproeven of klinische studies.”

Waardoor zijn er zulke verschillen tussen disciplines? Wat is de weerstand?

„Elk vakgebied heeft zijn eigen ontstaansgeschiedenis en ervaart een andere druk om te veranderen. Het is een beetje zoals beschavingen die zich op afzonderlijke eilanden verschillend ontwikkelen en waarbij de ene beschaving ook meer vooruitgang boekt dan de andere. De wetenschap is een rijk van eilanden en ik probeer tussen die eilanden een verbinding te maken. Ik niet alleen hoor. In Stanford proberen we ‘connector’ te zijn om via kruisbestuiving onderzoeksmethoden te verbeteren. Die initiatieven hebben gemeenschappelijke thema’s: delen van data, vastleggen van onderzoeksprotocollen, verbeteren van de analyse, krachtiger ‘peer review’ en het zo inrichten van je onderzoek dat je echt de beste resultaten krijgt. We ontwikkelen een best practice die in alle vakgebieden kan worden gebruikt. Zo is er een gewoonte om overal heel veel kleine studies te doen, door het paradigma dat wetenschappers erg individueel werken en zelf zorgen voor de financiering van hun onderzoek. Maar met grote studies krijg je betere kwaliteit, met steviger resultaten.”

U hamert ook op het belang van toegang tot ruwe data, waarom?

„Dat is een groot thema. De biomedische publicaties zijn nu feitelijk reclameboodschappen. Een artikel dat zegt: dit geneesmiddel geeft die en die resultaten en vertrouw het maar. Maar wat we in biomedische wetenschap bestuderen is zeer complex, en multidimensionaal. Een kleine aanpassing van je onderzoeksmodel kan al een heel andere uitkomst geven. In een artikel over wat ik de Janus-kop noem heb ik onlangs geschreven dat alleen al de manier waarop je data corrigeert je de mogelijkheid biedt om de uitkomsten te sturen in welke richting dan ook. Door het model een klein beetje aan te passen kun je bijvoorbeeld in een risicomodel van ‘protective’ naar ‘high risk’ gaan. Zo kan je al 40 procent van je resultaten ombuigen. Als je met nog meer aspecten gaat spelen, subgroepen bijvoorbeeld, kun je 80 procent ombuigen. Als je meer toegang hebt tot data, kun je dit soort dingen makkelijker zien.”

Grote farmaceutische bedrijven – Big Pharma – hebben er toch geen belang bij anderen toegang te geven tot ruwe data?

„Jawel. Bij preklinisch onderzoek is Big Pharma gebaat bij betrouwbaarheid en openheid; met beter onderzoek kunnen ze verspilling van vele miljoenen dollars vermijden. Bij klinisch onderzoek doet Big Pharma geheimzinnig en verzet zich tegen openheid. Maar er zit beweging in. Steeds meer investeerders die geld steken in Big Pharma willen betrouwbare resultaten en duwen richting meer transparantie. Je krijgt een herschikking van bondgenootschappen. Toegang tot ruwe data is niet langer een academische utopie.”

Er zijn geruchtmakende fraudezaken geweest, speelt dat nog een rol in de geloofwaardigheid van de wetenschap?

„Die fraudegevallen hebben inderdaad brede media-aandacht gekregen, maar wetenschap is de minst waarschijnlijke plek waar je fraude zult aantreffen. Politiek, bedrijfsleven, voetbal, atletiek, overal is fraude. Veel minder in wetenschap. Want wetenschappers zijn goed getraind in het doen van onderzoek, hebben bewust gekozen voor een baan die niet veel geld oplevert. Bovendien komt wetenschapsfraude uiteindelijk altijd uit. Verzinnen van onderzoeksresultaten komt maar weinig voor. Veel gebruikelijker zijn twijfelachtige onderzoekspraktijken en belangenverstrengeling, die onbedoeld het waarheidsgehalte beïnvloeden.”

Wat bedoelt u met twijfelachtige onderzoekspraktijk? Doelt u op datamassage?

„Datamassage is totally ok. Vergelijk het met het rijden in een Ferrari. Alleen als je voortdurend op topsnelheid rijdt maak je kans de wedstrijd te winnen, maar je loopt ook de kans te crashen. Daarom moet je dus transparant zijn. Als je een heel fancy analyse van je data maakt met indrukwekkende resultaten, laat dan weten wat die fancy analyse is geweest. Zo van: hier heb ik een bochtje afgesneden en dit en dat heb ik geheranalyseerd. Dan kunnen anderen proberen om dat te repliceren en proberen hetzelfde fancy resultaat te vinden. Meestal gebeurt dat dan niet, maar af en toen misschien wel. Daarom moet je niet alles vangen in heel strikte regels, waarvan je nooit mag afwijken.”

Moet de statistieke norm van 95 procent zekerheid die nu gebruikelijk is in de wetenschap niet veel strenger worden?

„Niet per se, want het hangt af van de toepassing. In de medische genetica hanteren we al waarschijnlijkheden van 99,9999 procent of meer. Daarmee wordt veel ruis weggefilterd. Maar ik ben er niet voor om die norm op te leggen aan alle vormen van biomedische wetenschap. Als je meer filtert, vermindert het aantal valspositieve resultaten, maar tegelijkertijd vergroot je het aantal valsnegatieve resultaten. Dan ga je dus dingen missen. Je moet steeds afwegen wat het kost – wetenschappelijk gezien – wanneer een uitkomst niet correct is.”

En hoe voorkom je belangenverstrengeling in het wetenschappelijk onderzoek?

„Door het onderzoek niet te laten doen door degenen die er belang bij hebben. Ik pleit er al jaren voor om patiëntenonderzoek naar nieuwe geneesmiddelen niet te laten doen door de fabrikanten maar door publieke organisaties. Dat dit veel te kostbaar zou worden, zie ik niet. Fabrikanten zetten het onderzoek nu ook in als marketinginstrument. Zogeheten seeding trials, soms honderden onderzoeken voor één nieuw middel, zijn bedoeld als truc om artsen alvast bekend te maken met de nieuwe medicijnen. Dat is een ongelooflijke verspilling van geld. ”

Hoe kun je dat veranderen?

„Dat is een lange weg te gaan, want het vereist een radicale omslag in het wetenschapsbeleid. Nu gaat het meeste geld van overheidsfinanciers naar toegepast onderzoek, maar dat is net verkeerd. Publieke fondsen zouden juist blue sky science, – het fundamentele onderzoek waarvan onzeker is dat het ooit iets zal opleveren – moeten financieren. Ook moet zij de patiëntenstudies financieren, voor de registratie en toelating van een nieuw medicijn, want die raken de burgers.

„Tussen deze twee extremen zit een groot gebied van toegepast onderzoek, bijvoorbeeld het ontwikkelen van een nieuwe bloedtest. Dat wordt nu betaald door de publieke fondsen. Dat slaat nergens op. Daarvoor heb je nu juist ondernemers nodig, die geld willen steken in iets dat gaat werken.”

Wanneer komt die omslag?

„Ik ben slecht in voorspellen. Let wel: de wetenschap is nu niet slecht, maar het zou nog zoveel beter kunnen. Een voorwaarde is dat het initiatief van onderaf moet komen. Wetenschappers zijn eigenwijs en laten zich niet de wet voorschrijven.”