Literatuur over hersenwerking zit vol foute statistiek

Sputnik Animation / MIT McGovern Institute

Bij meer dan de helft van het detailonderzoek naar hersenwerking dreigt het gevaar dat de onderzoekers mooiere resultaten rapporteren dan er in het echt zijn. Dat komt doordat die neuro-onderzoekers bijvoorbeeld meerdere metingen doen aan één cel en vervolgens de gegevens verwerken alsof die metingen niets met elkaar te maken hebben.

In werkelijkheid zijn het geclusterde, ofwel geneste data die een aangepaste statistische verwerking nodig hebben. Neurowetenschappers weten dat vaak niet en gebruiken dan ongeschikte conventionele statistische technieken, schrijven vijf onderzoekers van de twee Amsterdamse universiteiten en het VUmc in een dinsdag uitgekomen artikel van Nature Neuroscience.

Laatste auteur Sophie van der Sluis, universitair docent in de gedragsgenetica, is specialist in het analyseren van gegevens. Ze kent het probleem uit de sociale wetenschappen: „Als je taalverwerving van kinderen onderzoekt, dan lijken kinderen uit één klas vaak meer op elkaar dan kinderen uit verschillende klassen. Dat komt bijvoorbeeld doordat ze dezelfde leerkracht hebben. Dat is het probleem van de geneste gegevens. De kinderen zijn genest in een klas.”

In de neurowetenschappen wordt daar te weinig rekening mee gehouden. Dat is vooral belangrijk nu er vaker individuele zenuwcellen worden gemeten.

De vijf auteurs bekeken de onderzoeken naar hersenmoleculen en hersencellen die in 2012 en begin 2013 verschenen in de beste wetenschapsbladen (Science, Nature, Cell, Nature Neuroscience en Neuron). In ruim de helft van de 314 bekeken artikelen waren geneste gegevens gebruikt. Vrijwel steeds was het resultaat getest met ongeschikte statistische methoden.

„Men concludeert dan te vaak dat een effect aanwezig is, terwijl dat er in werkelijkheid niet is”, zegt Van der Sluis. De kans op zulke zogeheten vals-positieven kan er enorm door toenemen.

„In het ergste geval liep die kans op naar 80 procent wanneer de incorrecte statistische methode werd toegepast”, zegt Van der Sluis. „Er hoeft maar een vrij geringe overeenkomst te zijn tussen de metingen om de kans op een vals positieve uitslag fors op te laten lopen. Neurowetenschappelijke gegevensbestanden zouden daarom opnieuw moeten worden geanalyseerd. Maar eigenlijk moet je er met je onderzoeksopzet al rekening mee houden. Dat proberen wij hier nu te doen, maar dat is niet altijd makkelijk, het heeft nadelen en ook ethische consequenties: hogere kosten en meer proefdiergebruik, wat we niet willen. Dat moet je tegen elkaar afwegen.”

    • Wim Köhler