Overheersende toevalstreffers 2

Met grote instemming heb ik de column van Martijn Katan gelezen. Eindelijk iemand die Ioannidis` artikel serieus neemt. Ik probeer mijn collega statistici, epidemiologen en bio-informatici ervan te overtuigen dat `p-waarden` alléén in zeer specifieke studies interpreteerbaar zijn. Bijvoorbeeld in klinische studies in de pharmaceutische industrie worden voor de belangrijkste vraag `Is mijn medicijn gemiddeld beter dan een placebo of dat van de concurrent` de aantallen patiënten zo gekozen dat de kans om deze vraag ten onrechte positief te beantwoorden kleiner is dan 5 procent. Tegelijk wordt ervoor gezorgd dat binnen relevante klinische grenzen de kans groter is dan 90 procent dat deze vraag terecht positief wordt beantwoord. Tevens moet de studie aan allerlei strenge eisen voldoen om bewuste en onbewuste beïnvloeding van onderzoeker of opdrachtgever uit te sluiten. Men kan rustig stellen dat veel studies niet aan deze eisen voldoen, met name als het gaat om het beantwoorden van vragen waarvoor de studie in eerste instantie niet is opgezet. In bijna alle studies die geen `significant` antwoord geven op de primaire vraag wordt gevist naar andere significante antwoorden. De sommetjes kloppen precies - de statistische software rekent deze foutloos uit. Het enige wat ontbreekt is het uitrekenen van de kans dat het antwoord terecht positief is. Dat kan niet met de gangbare statistische middelen. Dat is een van de redenen dat er elke week weer een nieuw gen - of variant van een gen - wordt gevonden dat het risico op een of andere ziekte met een factor x verhoogt.Zoals gezegd, dat is maar een van de redenen. Een andere reden is dat in zogenaamde `high throughput` studies het aantal subjecten relatief klein is, maar het aantal varianten van genen in de 10- tot 100-duizend loopt. Vette kans om 500 tot 5.000 nieuwe revolutionaire ontdekkingen te doen, waarvan het merendeel vals positief is. De vraag is welke? Er kan nog veel meer misgaan bij de opzet van het onderzoek. Keith Baggerly van het MC Anderson Cancer Institute in Houston heeft na uitvoerig speurwerk alle mogelijke experimentele fouten van een belangrijk medisch onderzoek blootgelegd en gepresenteerd in Groningen, november jongstleden. De fouten waren desastreus voor de significantie van de antwoorden.Ik meen dat onderzoekers en statistici opnieuw moeten nadenken over hoe wetenschappelijk onderzoek voortgang boekt. Dat is niet met een automatisch geweer in het rond knallen en hopen dat er wat geraakt wordt. Van tevoren dient men zorgvuldig hypothesen te formuleren - en dat mogen er best veel zijn - vergezeld van een waarschijnlijkheid daarop. Vervolgens doet men de studie en beziet hoe deze waarschijnlijkheid verandert - ten goede of ten kwade. Uiteraard levert dat nieuw studiemateriaal en denkwerk op, en de sommetjes worden vaak ingewikkelder. Maar de oplossing van het gestelde probleem heeft wel toegevoegde waarde.