Grote verspilling in biomedisch onderzoek

Stand van zaken Alleen al in de VS is jaarlijks 28 miljard dollar aan preklinisch onderzoek niet te herhalen.

‘Why most research findings are false’ heette het invloedrijke wetenschappelijke artikel van de Amerikaanse medisch epidemioloog John Ioannidis (PLOS Medicine, 2005). In ruim tien jaar tijd is het al meer dan 3.500 keer geciteerd door anderen. Ioannidis stelde dat conclusies van veel wetenschappelijke publicaties uiteindelijk geen stand houden. Dat is geen opzettelijke misleiding, maar het zit diep verweven in systeem van de moderne wetenschap.

Kort gezegd komt het hierop neer: de kans op het vinden van een niet bestaand verband tussen twee dingen (bijvoorbeeld het heilzaam effect van een stof op een ziekte) is groter in een kleine steekproef. En daar komt nog bij dat wetenschappers geneigd zijn vooral positieve resultaten te publiceren in tijdschriften. Dat leidt tot een vertekening, die pas uitkomt als anderen de proeven proberen te herhalen. In grotere aantallen blijft het effect niet overeind.

Dat speelt ook het biomedische onderzoek parten, vooral omdat het meestal begint met experimentele behandelingen uitgevoerd in kleine groepen proefdieren of patiënten. Wat veelbelovend leek in muis of rat, sneuvelt in meer dan de helft van de gevallen uiteindelijk in patiëntenonderzoek. De sprong van het lab naar de kliniek heet the valley of death, de vallei des doods, zo weinig onderzoek haalt de overkant.

Ontluisterend

Niemand weet echter wat precies de omvang is van dit probleem. Er zijn wel schattingen en die zijn tamelijk ontluisterend. De farmaceutische bedrijven Bayer en Amgen rapporteerden in 2011 dat zij in hun laboratoria respectievelijk slechts 11 en 25 procent van eerder gepubliceerde onderzoeksresultaten konden repliceren. Een onderzoeker van Amgen vertelde in 2012 in een interview met persbureau Reuters dat hij een bepaalde proef wel vijftig keer had herhaald, en dat het maar niet lukte een eerder resultaat te repliceren. Toen hij daarover later de leider van het oorspronkelijke onderzoek sprak, bekende deze dat hij de proef zelfs zes keer had uitgevoerd, maar dat hij in de publicatie alleen die ene keer dat het gelukt was had beschreven.

Amerikaanse economen berekenden vorig jaar dat jaarlijks 28 miljard dollar aan preklinisch onderzoek niet herhaalbaar is (PLOS Biology, 9 juni 2015). Alleen al in de Verenigde Staten. Een enorme verspilling, concludeerden ze.

Er is ook een keerzijde. Studies van anderen herhalen, om te kijken of hun resultaten kloppen, is niet eenvoudig. Dat beschrijft de Amerikaanse onderzoeker Tim Errington van The Centre for Open Science in Charlottesville, Virginia. Met een budget van 1,6 miljoen dollar wilden zij replicaties uitvoeren van vijftig recente toppublicaties in de kankerbiologie. Maar eind vorig jaar moest het project wegens geldgebrek zijn ambities terugschroeven; nu zullen er nog maar 37 proeven herhaald worden, verspreid over tientallen laboratoria die vrijwillig hun medewerking toezegden.

De eerste paar herhalingsexperimenten zijn inmiddels voltooid, maar wachten nog op publicatie in het tijdschrift eLife. Uiteindelijk zullen alle resultaten daar gepubliceerd worden. „We hopen dat alle replicaties tegen de herfst van 2017 zijn afgerond”, zegt Errington per e-mail. „We proberen op schema te blijven door dierproeven, die meer tijd in beslag nemen dan celkweekproeven, voorrang te geven. Daarna kunnen we een meta-analyse doen. Die zal naar verwachting ergens in 2018 gepubliceerd worden.”

Een voorlopige conclusie over de replicaties is nu lastig te trekken, zegt Errington. „Maar”, vult hij aan, „we hebben al wel een hoop geleerd over logistieke problemen waar je tegen aanloopt als je proeven wilt herhalen. De manier waarop onderzoeken nu in bladen als Nature en Science worden gepubliceerd maakt het vaak lastig de precieze onderzoekmethoden en resultaten te achterhalen.”

Onderzoekscultuur

De huidige onderzoekscultuur met zo'n sterke nadruk op positieve resultaten is ook niet echt ondersteunend, vindt Errington. „Er zou meer nadruk moet liggen op hoe het onderzoek wordt uitgevoerd en niet op wat eruit komt. Ik denk dat er een algemene behoefte is om de reproduceerbaarheid van biomedisch onderzoek te vergroten – dan volgt de repliceerbaarheid vanzelf.”

In het biomedische onderzoek is het tot nu toe gebruikelijker om conceptuele replicaties uit te voeren, herhalingen met wijzigingen in het model of het protocol. Directe replicaties, één-op-één herhaalde experimenten, zijn zeldzaam. Dat is jammer, vindt Errington, want alleen directe replicatie geeft meer zekerheid of een bepaald gemeten effect ook daadwerkelijk optreedt. „Timmerlieden en bouwlui kennen de waarde van iets twee keer meten voordat je het afzaagt”, zegt Errington, „Dat zouden wij ook moeten doen!”

Een Europees consortium probeert valspositieve resultaten te ondervangen door de replicatie van proeven al op voorhand in te bouwen (Science Translational Medicine, 5 augustus 2015). Zes samenwerkende laboratoria voerden daartoe dezelfde proef uit naar de effectiviteit van een nieuw ontstekingsremmend middel (een antistof) op een beroerte bij twee verschillende muismodellen. De proeven waren dubbelblind en gerandomiseerd. Op deze manier kon in één keer een meta-analyse van de experimentele uitkomsten gemaakt worden. De hoop is dat dit de betrouwbaarheid van het proefdieronderzoek verbeterd. Maar of deze onderzoeksopzet daadwerkelijk een veilige brug slaat over de beruchte valley of death zal nog moeten blijken in klinisch onderzoek met de ontstekingremmer.