Biologische psychiatrie bol van publicaties die ons niets leren

NRC berichtte uitgebreid over de crisis in de psychologie en het biomedisch onderzoek (Wetenschapsbijlage 9 en 10 april). Om de oorzaak van deze crisis beter te begrijpen een kleine illustratie uit de biologische psychiatrie. Hoewel hier de afgelopen 50 jaar zeer veel onderzoek is gedaan, heeft dit niet geleid tot doorbraken in diagnostiek en behandeling van psychische aandoeningen. Heeft dit te maken met de manier waarop onderzoek wordt gedaan? Als een nieuwe mogelijke verklaring komt boven drijven verschijnen initieel veel wetenschappelijke artikelen die de verklaring lijken te ondersteunen. Tot een harde conclusie – of een nieuwe behandeling – komt het niet, waarop het veld geleidelijk weer interesse verliest. Na verloop van tijd komt een nieuwe verklaring in zwang en begint het spel opnieuw.

Het meest recente paradigma betreft het mogelijke verband tussen veranderingen in het immuunsysteem en de diagnose schizofrenie. Wij verzamelden alle wetenschappelijke artikelen, gepubliceerd in de Pubmed database van 1-1-2013 tot 13-9-2015, die dit verband trachtten te onderzoeken. In totaal werden 224 artikelen geïdentificeerd. Bij meer dan 90% van de artikelen was er sprake van significante bevindingen: een totaal van 906 significante associaties tussen een aspect van het immuunsysteem en een aspect van schizofrenie werd gerapporteerd. Bij slechts een kwart van de onderzoeken (26%) was er sprake van een vooraf geformuleerde hypothese. Hoewel de 224 studies dus een groot aantal significante en niet-significante bevindingen publiceerden – meer dan 1000 – bleek dat geen enkel resultaat in een bepaalde studie exact vergelijkbaar was met dat in een andere. De reden hiervoor was dat de 224 studies gebruik maakten van een scala aan verschillende technieken (bloedonderzoek, beeldvormend onderzoek, genetisch onderzoek, post-mortem onderzoek, behandelonderzoek), verschillende onderzoeksgroepen (patiënten in eerste episode, patiënten met chronische aandoening, breinmateriaal, tweelingen, familieleden, specifieke symptomen, aspecten van cognitie, aspecten van ernst) en vooral een veelvoud aan verschillende immuun-gerelateerde parameters: maar liefst 223 verschillende componenten van het immuunsysteem werden in de 224 studies in verband gebracht met meer dan 25 verschillende schizofrenie-gerelateerde variabelen (zoals diagnostische categorieën, genetica, bloedwaarden, symptomen). Minder dan 10% van de studies kon het (belangrijke) verstorende effect van medicatie op immuun-gerelateerde variabelen uitsluiten, en eveneens minder dan 10% had materiaal waarin immuun-gerelateerde variabelen in of rond het brein zelf kon worden onderzocht.

Wat kan uit deze analyse worden afgeleid? Het patroon van onderzoek op het gebied van het nieuwste biologische verklaringsmodel is hetzelfde als voorheen: weliswaar is er een constante stroom van positieve en ‘opwindende’ bevindingen, maar als alleen de significante en niet vergelijkbare bevindingen worden geselecteerd voor publicatie kan een hypothese – welke dan ook – nooit worden verworpen. Kennisvermeerdering is zo onmogelijk. Aangezien het aantal permutaties van immuun-gerelateerde variabelen en schizofrenie-gerelateerde variabelen eindeloos is – en daarmee ook het aantal vals-positieve significante bevindingen dat kan worden aangeboden voor publicatie, is er voor de komende tien jaar nog ‘werk’ genoeg op dit gebied. De crisis in de wetenschap op het raakvlak van de psychologie en het biomedische onderzoek gaat over de disbalans tussen het individuele trucje dat leidt tot publicatie en de collectieve inspanning die leidt tot kennisvermeerdering.

Robin Groen,

Phebe Kraanen,

Falsifiëring beloond

Terneergeslagen kwam de studente mijn werkkamer binnen: het werd niets met haar doctoraalscriptie. En het idee had zo goed geleken: nagaan of er in Pompeii architecten aan het werk waren geweest die een reeks huizen hadden ontworpen. Op het eerste gezicht waren de overeenkomsten tussen verschillende woningen te groot om toeval te kunnen zijn. Na maanden methodisch vergelijken was de conclusie echter onontkoombaar: er was geen vaste hand te ontdekken.

Mijn reactie: „Prima. Je hypothese was plausibel, relevant en onderzoekbaar. Je hebt die methodisch getoetst en uiteindelijk gefalsifieerd. Volgens Karl Popper bestaat wetenschap nu eenmaal niet alleen uit verifiëring van een theorie, maar net zo goed uit weerlegging. Schrijf je onderzoek dus maar uit en je scriptie is klaar.” Dat deed ze en het resultaat waardeerde ik met een 8½ .

Anton van Hooff,