Onzin bewijzen is heel erg makkelijk

De song ‘When I’m Sixty-Four’ van The Beatles maakt mensen jonger. Drie Amerikaanse psychologen hebben het aangetoond. Ze lieten studenten luisteren naar The Beatles of naar ‘Kalimba’, een deuntje dat standaard bij Windows 7 zit. En ja hoor, na The Beatles waren de studenten bijna anderhalf jaar jonger dan na ‘Kalimba’.

Volslagen onzin, natuurlijk. De psychologen hebben het onderzoek (sinds gisteren online bij Psychological Science) wel uitgevoerd, maar alleen om aan te tonen hoe gemakkelijk wetenschappers – uit verschillende disciplines – onjuiste onderzoeksresultaten ten onrechte voor waar kunnen aanzien.

Onderzoekers, schrijven de drie, stellen graag véél vragen en doen véél metingen. Dat vergroot de kans dat er ‘iets’ uit het onderzoek komt – en daarmee de kans op toevalsresultaten. Ook kijken onderzoekers vaak tussentijds al naar de resultaten. Lijken die veelbelovend, dan blijven ze proefpersonen ‘bijdraaien’, tot het gezochte effect significant is. Dan stoppen ze. Dit doen ze zonder kwade bedoelingen. Ze denken dat hun statistische toetsen hen voldoende tegen toevalstreffers beschermen.

In hun artikel laten de drie psychologen met computersimulaties zien dat de praktijk van véél metingen en proefpersonen draaien tot significantie bereikt is, de kans op ‘ten onrechte significante resultaten’ drastisch verhoogt. Die kan zelfs met volstrekt willekeurige data oplopen tot boven de 60 procent. Dit was niet eerder aangetoond. Een toevalskans van 5 procent wordt algemeen als net acceptabel gezien.

De oplossing? Onderzoekers moeten vooraf bepalen hoeveel proefpersonen ze testen en op welke punten. En dat alles rapporteren in hun artikel, ook de metingen waar niets uitkwam, zodat reviewers alles kunnen checken. Dat gebeurt nu niet.