Het nieuws van 22 mei 2010

Overheersende toevalstreffers 2

Met grote instemming heb ik de column van Martijn Katan gelezen. Eindelijk iemand die Ioannidis` artikel serieus neemt. Ik probeer mijn collega statistici, epidemiologen en bio-informatici ervan te overtuigen dat `p-waarden` alléén in zeer specifieke studies interpreteerbaar zijn. Bijvoorbeeld in klinische studies in de pharmaceutische industrie worden voor de belangrijkste vraag `Is mijn medicijn gemiddeld beter dan een placebo of dat van de concurrent` de aantallen patiënten zo gekozen dat de kans om deze vraag ten onrechte positief te beantwoorden kleiner is dan 5 procent. Tegelijk wordt ervoor gezorgd dat binnen relevante klinische grenzen de kans groter is dan 90 procent dat deze vraag terecht positief wordt beantwoord. Tevens moet de studie aan allerlei strenge eisen voldoen om bewuste en onbewuste beïnvloeding van onderzoeker of opdrachtgever uit te sluiten. Men kan rustig stellen dat veel studies niet aan deze eisen voldoen, met name als het gaat om het beantwoorden van vragen waarvoor de studie in eerste instantie niet is opgezet. In bijna alle studies die geen `significant` antwoord geven op de primaire vraag wordt gevist naar andere significante antwoorden. De sommetjes kloppen precies - de statistische software rekent deze foutloos uit. Het enige wat ontbreekt is het uitrekenen van de kans dat het antwoord terecht positief is. Dat kan niet met de gangbare statistische middelen. Dat is een van de redenen dat er elke week weer een nieuw gen - of variant van een gen - wordt gevonden dat het risico op een of andere ziekte met een factor x verhoogt.Zoals gezegd, dat is maar een van de redenen. Een andere reden is dat in zogenaamde `high throughput` studies het aantal subjecten relatief klein is, maar het aantal varianten van genen in de 10- tot 100-duizend loopt. Vette kans om 500 tot 5.000 nieuwe revolutionaire ontdekkingen te doen, waarvan het merendeel vals positief is. De vraag is welke? Er kan nog veel meer misgaan bij de opzet van het onderzoek. Keith Baggerly van het MC Anderson Cancer Institute in Houston heeft na uitvoerig speurwerk alle mogelijke experimentele fouten van een belangrijk medisch onderzoek blootgelegd en gepresenteerd in Groningen, november jongstleden. De fouten waren desastreus voor de significantie van de antwoorden.Ik meen dat onderzoekers en statistici opnieuw moeten nadenken over hoe wetenschappelijk onderzoek voortgang boekt. Dat is niet met een automatisch geweer in het rond knallen en hopen dat er wat geraakt wordt. Van tevoren dient men zorgvuldig hypothesen te formuleren - en dat mogen er best veel zijn - vergezeld van een waarschijnlijkheid daarop. Vervolgens doet men de studie en beziet hoe deze waarschijnlijkheid verandert - ten goede of ten kwade. Uiteraard levert dat nieuw studiemateriaal en denkwerk op, en de sommetjes worden vaak ingewikkelder. Maar de oplossing van het gestelde probleem heeft wel toegevoegde waarde.

Zoals wij maar dan anders

In de NRC Wetenschapsbijlage wordt een optimistisch beeld geschetst van het uitzonderlijk kostbare onderzoek dat moet leiden tot een reconstructie van het DNA van de Neanderthaler. Straks zullen we het weten, `hoe werden wij wie we zijn`. Dat stelt Hester van Santen en ik vraag me af wat daar precies mee bedoeld wordt. Het zou wel eens lastig kunnen zijn om de bijzondere talenten van de `moderne mens` in verband te brengen met bepaalde genen. De talenten van de Neanderthaler zijn slecht bekend en veel van de menselijke kundigheden blijken geen directe relatie met het DNA te hebben. Nakomelingen van mensen die nog in het stenen tijdperk leefden, blijken in (ik citeer) `taalvermogen, symboliek, handigheid, technologie` niet onder te doen voor wat waarschijnlijk met de moderne mens wordt bedoeld. Bij dergelijke eigenschappen gaat het bovendien ongetwijfeld om complex samenhangende groepen van genen.Een nog groter vraagteken zet ik bij de opmerking dat moderne mensen `1 tot 4 procent Neanderthaler-DNA in hun genenpaket` hebben. Wat is dat eigenlijk, Neanderthaler-DNA? Daar hoort enige nadere uitleg bij. Homo sapiens en Homo neanderthalensis hadden een gezamenlijke voorouder. In beide soorten zal dus DNA voorkomen dat onveranderd van die voorouder stamt. Daarnaast zullen er soortspecifieke verschillen zijn (die hoeven niet groot te zijn: denk aan de grote overeenkomst in DNA tussen mens en chimpansee). Hoe kan men vaststellen welk overeenkomstig DNA rechtstreeks van de gezamenlijke voorouder stamt, en welk overeenkomstig DNA pas ná de opsplitsing in twee soorten alsnog van de ene in de andere soort terechtgekomen is? Het feit dat tussen biologische soorten volgens een gebruikelijke definitie geen genenuitwisseling (`seks`) met vruchtbare nakomelingen meer mogelijk is, komt hier nog bij. Als de bedoelde romances plaats hebben gehad in een fase voorafgaand aan het eigenlijke ontstaan van twee soorten, kun je nog niet echt van mensen en Neanderthalers spreken, en bestond er dus ook nog geen Neanderthaler-DNA.