Tussen fraude en fatsoen

Als kalende onderzoeker geef ik nogal eens college over fatsoen in de wetenschap. Nauwelijks over echte fraude. Dat mag niet, dat weet iedereen. Om toch belangstelling te trekken voor mijn praatjes, spreek ik over grijs, het gebied tussen frauduleus en fatsoenlijk. Goede voorbeelden zijn schaars, want alle gesjoemel reken ik tot de fraude en dan blijft er weinig mooi grijs over. Vandaar dat ik ingenomen ben met de Souvenaid affaire. Eindelijk een mooie casus, waar binnen de wetenschap verschillend over gedacht wordt.

Het gaat mij hier niet om de firma Nutricia die het voedingssupplement Souvenaid slinks aanprijst als geneesmiddel tegen Alzheimer, waarvoor het niet is goedgekeurd. Het gaat mij om de wetenschap achter Souvenaid en de mogelijke vermenging van wetenschap en commercie. Daarover woedt binnenskamers een pittig debat, voer voor een college bio-ethiek.

Het wetenschappelijke boegbeeld van Souvenaid is professor Philip Scheltens, directeur van het VUmc Alzheimercentrum en lid van de KNAW. Ondanks die status krijgt hij verwijten over zijn rol in de promotie van Souvenaid. De pijlen richten zich zowel op zijn wetenschappelijke werk als op zijn vertaling van dat werk naar het publiek.

De wetenschappelijke feiten zijn voor mijn studenten netjes geordend door Martijn Katan in het Nederlands Tijdschrift voor Geneeskunde van vorige maand. De werkzaamheid van Souvenaid is onderzocht in prospectieve klinische trials. In zo’n trial weten dokter noch patiënt wie Souvenaid krijgt en wie het controle drankje. Dat is een ijzersterke aanpak, waar spijkerharde conclusies uitkomen, mag je hopen.

Toch kan ook hier nog mee gesjoemeld worden, zoals Ben Goldacre laat zien in zijn vermakelijke en goed gedocumenteerde boek Bad Pharma (2012). Als je maar genoeg verschillende uitkomsten van je trial analyseert, komt er altijd wel iets positiefs uit , puur door toeval. Data torturing wordt dat genoemd. De farma-industrie heeft deze martelpraktijken tot een kunst geperfectioneerd, zoals Goldacre laat zien.

Vandaar dat wetenschappelijke tijdschriften tegenmaatregelen hebben genomen. De belangrijkste is het Trial register, waarin onderzoekers van te voren vast moeten leggen wat ze precies gaan meten en hoe een positieve uitkomst wordt gedefinieerd.

Souvenaid is in drie trials getest. In de trial met veruit de meeste patiënten, in de VS uitgevoerd, deed Souvenaid niks. In de twee trials van Scheltens in Europa werd daarentegen wel een positief effect gevonden en daar gaat nu de discussie over. In Trial I zouden de onderzoekers cognitieve prestaties na 12 weken Souvenaid meten als uitkomstmaat. Het resultaat was dat maar één van de uitgevoerde testen positief uitviel en dan nog met een andere statistische toets dan in het protocol was vastgelegd. In Trial II deden de Souvenaid slikkers het na 12 weken zelfs iets slechter dan de controlegroep, i.t.t. het resultaat van Trial I. Na 24 weken was er wel een licht positief effect van Souvenaid, maar dat was niet statistisch significant. Door een elegante toets op het verloop van de respons op Souvenaid in de tijd, konden de onderzoekers echter toch een positieve conclusie presenteren.

Hier mogen de studenten even op kauwen. Hebben de Souvenaid-onderzoekers hun data optimaal geanalyseerd en gepresenteerd? Heeft deze statistische keizer nog wel kleren aan? Volgens Katan niet. Die vindt dat van te voren niet goed is vastgelegd hoe het positieve resultaat zou worden gedefinieerd (mag niet); dat de positieve uitkomst van Trial I in Trial II niet is bevestigd (waarmee het resultaat van Trial I op losse schroeven staat); en dat de positieve uitkomst van Trial II een effect betreft dat ‘irrelevant is voor patiënten en behandelaars’. Wat Scheltens daarvan vindt kan ik mijn studenten niet vertellen, want deze kritiek heeft hij niet beantwoord.

Dan mogen de studenten nadenken over de mogelijke invloed van de industrie op de uitkomsten van de twee Europese Souvenaid onderzoeken. De studies werden betaald door Nutricia; de gegevens van Trial I werden verwerkt onder toezicht van Nutricia en opgeschreven door een ghostwriter van Nutricia. Is dat een onacceptabele verstrengeling van academia en bedrijfsleven, of juist een legitieme, productieve samenwerking, zoals onze regering graag ziet en zelfs poogt af te dwingen?

En dan de publiciteit. In deze krant schreef Scheltens bescheiden: ‘Maar ik bespeur een klein sprankje hoop in de strijd tegen een veel voorkomende ziekte.’ Elders was hij minder terughoudend. Het blad Spits meldde op 17/3/12 dat Scheltens een belangrijke ontdekking heeft gedaan in de behandeling van dementie. Na beschrijving van de ‘flinke verbetering’ door Souvenaid, laat Spits Scheltens zeggen: ‘Interventie bij dementie heeft dus zin. (...) Dat is een belangrijke stap in de behandeling van vroege Alzheimer.’ Spits voegt daar aan toe: ‘De opmerkelijke resultaten staan op de nominatie voor publicatie in de medische vakbladen, (...) vertelt Scheltens’.

Mag dat, ongepubliceerde resultaten zo in de pers brengen met het risico dat de 245.000 Nederlandse Alzheimerpatiënten naar de drogist hollen om Souvenaid in te slaan? Dit lijkt mij een mooie grijze casus en daar gaan de studenten hun conclusie bij formuleren voordat ze de mijne krijgen: Ik zou zoiets niet accepteren. Niet zulk onderzoek, niet zulke belangenverstrengeling, niet zulke persmededelingen.