Zorgen om overtrokken claims in de wetenschap

De zorgen over de gebrekkige herhaalbaarheid van elkaars experimenten leven breed in de wetenschappelijke gemeenschap.

Psychologen over de hele wereld vliegen elkaar momenteel in de haren over een van de pijlers van wetenschappelijk onderzoek: het herhalen van elkaars experimenten. Ontzettend veel proeven die worden overgedaan, leveren niet het oorspronkelijke resultaat op. Veertig procent van alle studies zou niet te herhalen zijn.

Het gevolg is dat nu de ene na de andere theorie onder vuur komt te liggen. Zoals die over ego-depletion, het gevestigde idee dat wilskracht uitgeput kan raken zoals een spier. Maar een groot project van 23 universiteiten kon de twintig jaar oude theorie dit jaar niet bevestigd krijgen. „Heb ik al die jaren rookwolkjes nagejaagd?” vroeg de psycholoog Michael Inzlicht van de Universiteit van Toronto, zich onlangs vertwijfeld af op zijn blogpost.

Uit een rondgang van deze krant blijken de zorgen over de slechte herhaalbaarheid van onderzoek breed te leven in de wetenschap. In de biologie, de sociologie, de medische wetenschappen. Trekvogelecoloog Raymond Klaassen van de Rijksuniversiteit Groningen wijt het aan het „hijgerige, op scoren gerichte wetenschapsklimaat” in zijn vakgebied. „Vind je een afwijkend patroon in één bepaald jaar, dan zijn de mores om dat met veel kabaal zo hoog mogelijk te publiceren.” Het zorgt voor overtrokken claims. Stamcelbioloog Hans Clevers, oud-president van de Koninklijke Nederlandse Akademie van Wetenschappen, zegt: „Je weet 10 procent, en 90 procent schrijf je erbij.” Hij schat dat bij de helft van de artikelen in zijn vakgebied „niet klopt wat er in de titel staat”.

De slechte herhaalbaarheid van experimenten komt doordat veel tijdschriften maar beperkte ruimte geven om de proefopzet, en de gebruikte materialen, gedetailleerd uit te leggen. Volgens hoogleraar Sociologie Frank van Tubergen speelt ook mee dat tijdschriftredacteuren en reviewers (wetenschappers die ingezonden artikelen van vakgenoten beoordelen) de voorkeur geven aan nieuwe hypotheses boven herhaalde experimenten. Dat trekt meer aandacht. Verder is de wetenschap enorm gegroeid. Jaarlijks verschijnen er inmiddels enkele miljoenen artikelen; er zijn wereldwijd naar schatting 15 miljoen wetenschappers. Het heeft geleid tot een verveelvoudiging aan observaties, hypothesen, tests.

Maar ook de wetenschappers zelf zijn schuldig aan de ontstane problemen. Ze slaan hun data lang niet altijd even nauwkeurig op. En als ze het doen, dan in allerlei digitale formats.

Het leidt tot grote inefficiëntie in de wetenschap. In de medische wetenschap is jaarlijks 28 miljard dollar aan onderzoek niet herhaalbaar, zo berekenden Amerikaanse economen vorig jaar. En dat alleen al in de Verenigde Staten.

In allerlei disciplines denkt men nu na over oplossingen. Meer ruimte in tijdschriften voor herhaalstudies, beter opslag van data, gebruik van nieuwe statistische methoden.

Wetenschap 4-11