Wetenschap moet betrouwbaarder worden

Een lange lijst aan maatregelen moet de wetenschap betrouwbaarder, geloofwaardiger en effectiever maken. De lijst is opgesteld door een internationale groep onderzoekers onder leiding van John Ioannidis. Hij is dinsdag gepubliceerd in het tijdschrift Nature Human Behaviour. Het manifest, zoals de onderzoekers hun artikel noemen, raakt alle facetten van het doen van wetenschappelijk onderzoek: van de opzet ervan tot de verslaglegging en de controle door vakgenoten. Het spreekt niet alleen onderzoekers aan, maar ook universiteitsbestuurders, tijdschriften en subsidiegevers.

„Het doel is de wetenschap gezonder te maken”, zegt Eric-Jan Wagenmakers, hoogleraar Psychologische methodenleer aan de Universiteit van Amsterdam en een van de auteurs van het manifest. „We leven nu teveel in een cultuur van publish or perish.”

Lees onze reconstructie hoe zwak onderzoek over de maximale leeftijd van de mens: in Nature terecht kon komen

Onderzoekers, universiteiten en tijdschriften zitten in een internationale race om aandacht, geld en status. Probleem is dat hun beoordeling zich de laatste 10, 15 jaar steeds meer baseert op twijfelachtige, manipuleerbare indicatoren, zoals de journal impact factor voor tijdschriften (een score die het aanzien van een tijdschrift weergeeft) of de H-index voor onderzoekers. Daarbij scoor je alleen met publicaties. De zo ontstane onevenredig grote aandacht voor onderzoek gaat ten koste van onderwijs en het leveren van maatschappelijke bijdragen – ook twee officiële taken van een universiteit. En het heeft voor allerlei perverse prikkels gezorgd. „Voor de individuele wetenschapper is het belangrijker geworden resultaat na te streven dan de waarheid”, zegt Wagenmakers.

Tijdschriften leggen meer nadruk op positieve resultaten (die leveren meer citaties op, zo is het idee, en een hogere impactfactor). Onderzoekers hakken hun onderzoek in kleine stukjes op (levert meer publicaties op). Ze zoeken in grote databestanden naar weinigzeggende verbanden, die statistisch zwak zijn. De verslaglegging van onderzoeksgegevens is vaak slordig. Dit heeft ertoe geleid dat veel onderzoek niet reproduceerbaar is. Verder laat de controle door vakgenoten van die groeiende stroom artikelen – inmiddels 2,5 miljoen publicaties per jaar – te wensen over. Ze nemen niet de tijd meer artikelen kritisch te lezen.

Onderzoeksproces verbeteren

Het is niet de eerste keer dat deze problemen worden aangekaart. Zo werd in 2012 de ‘San Francisco Declaration on research assessment’ opgesteld, die zich verzet tegen het gebruik van de journal impact factor als maat voor de kwaliteit van wetenschappers en hun onderzoek. En twee jaar geleden verscheen het Leiden Manifesto dat zich in bredere zin verzet tegen het al te gemakkelijke gebruik van allerlei bibliometrische indicatoren bij de beoordeling van onderzoek.

Het nu gepubliceerde manifest onderscheidt zich doordat het ook al maatregelen inventariseert die de afgelopen jaren her en der zijn genomen om het onderzoeksproces te verbeteren. Wagenmakers noemt als voorbeeld het tijdschrift waarin hun artikel is gepubliceerd, Nature Human Behaviour. Daarbij kun je als wetenschapper je onderzoeksopzet van te voren aanmelden, eventueel al met de methoden om gegevens te analyseren en verwachte uitkomsten. „Als die opzet wordt goedgekeurd, betekent het automatisch dat het tijdschrift de uitkomsten zal publiceren, of die nu positief of negatief zijn”, zegt Wagenmakers.