Zelfs Newton masseerde zijn data
Farbeskreis, van Goethe. Goethe beschuldigde Newton van fraude.
De ene na de andere psycholoog gaat onderuit door geknoei met data. De marketingexpert Dirk Smeesters vertrok twee weken geleden als hoogleraar aan de Erasmus Universiteit Rotterdam (EUR), nadat een integriteitscommissie bij drie van zijn wetenschappelijke publicaties ‘datamassage’ had vastgesteld. Naar nu is gebleken heeft ook Lawrence Sanna van de universiteit van Michigan eind mei ontslag genomen na indringende vragen over de data bij zijn artikelen.
Die vragen zijn gekomen van gedragseconoom Uri Simonsohn van de universiteit van Pennsylvania. Simonsohn heeft een statistische methode ontwikkeld om verdachte patronen op te sporen in data van wetenschappelijke artikelen. Met deze methode, waarover hij nog moet publiceren, vond Simonsohn ook ‘vreemde patronen’ in de data van Smeesters. Zijn melding bij EUR leidde tot het onderzoek dat Smeesters de kop kostte.
Na de val van de Tilburgse psycholoog Diederik Stapel heeft Simonsohn ook diens data getoetst en beoordeeld als ‘fake’. Uit de jongste rapportages van de commissies die onderzoek doen naar Stapel blijkt dat de psycholoog bij 47 artikelen heeft gefraudeerd. Simonsohn nam nog een psycholoog op de korrel, maar onbekend is nog wie dat is.
Klokkenluider Simonsohn lijkt dus een veelbelovende methode te hebben ontwikkeld, die het ook voor een buitenstaander mogelijk maakt om datafraude te ontdekken. Maar maakt dat de bestrijding van fraude met onderzoeksdata ook makkelijker? Nee, denkt Jan P. Vandenbroucke, hoogleraar klinische epidemiologie (LUMC) en lid van de Koninklijke Nederlandse Akademie van Wetenschappen. Want een begrip als het ‘masseren van data’, zo schrijft hij, is helemaal niet zo eenduidig als het lijkt.
Het probleem van ‘datamassage’ is complex. Als je als wetenschapper een idee hebt dat in staat lijkt om veel te verklaren, dan verzamel je bijkomende data. Die data vat je dan samen. Elke samenvatting van data, en zeker statistische samenvattingen, houden altijd keuzes in. Deze keuzes zijn altijd gekleurd door het idee dat je in je hoofd hebt. Dat kan niet anders, om met onze nationale goeroe te spreken: “Je gaat het pas zien als je het door hebt”; dat geldt niet alleen voor voetbal, maar ook voor wetenschap.
Meer dan eens heeft een wetenschapper dan ook toegegeven aan de neiging om onwelgevallige data weg te laten, betoogt Vandenbroucke. Vandenbroucke verwijst daarbij naar de publicatie Cooking and trimming by scientific giants (Irving Klotz, 1992), met voorbeelden van datamassage door Newton, Einstein, Darwin, Millikan “en vele andere reuzen in de wetenschap”. Achteraf bleek dat deze wetenschappers het bij het rechte eind hadden.
Goethe beschuldigde Newton van fraude; vermoedelijk terecht, want Newton ‘zag’ geen tussenkleuren na scheiding van licht met een zuivere kleur dat hij door prisma’s liet gaan. Goethe hield vol dat er ook tussenkleuren waren die hij zelf duidelijk kon zien. Goethe zat uiteindelijk fout; hij zag wel tussenkleuren maar de hele zuivere scheiding van kleuren, overeenkomstig met de ‘waarnemingen’, maar vooral van de theorie van Newton, was pas veel later mogelijk met nieuwe technieken – wat Newton zelf vermoedelijk nooit heeft meegemaakt.
De Amerikaanse epidemioloog John Ioannidis heeft veel ophef veroorzaakt met zijn artikel Why most research findings are false (PLoS Medicine, 2005). Vandenbroucke wijst erop dat dit stuk met de grond gelijk is gemaakt door twee vooraanstaande statistici/epidemiologen, die concluderen dat Ioannidis’ berekeningen fout zijn. Zelf zegt Vandenbroucke op een mildere wijze afstand te hebben genomen van Ioannidis.
Mijn stelling was, als hierboven, dat een hele belangrijke taak van wetenschap is nieuwe verklaringen te bedenken en dat je het dus noodzakelijkerwijze vaak fout hebt, maar dat de ernst van het ‘fout hebben’ zeer sterk afhangt van de consequenties: of het gaat om wetenschappelijk verklaren (denk aan het Higgs deeltje) dan wel om acties die gevolgen hebben voor mensen (denk aan één RCT in de geneeskunde die gevolgen kan hebben voor miljoenen patiënten) – en dat de regels voor omgang met data en hypothese in deze twee situaties dus heel erg verschillen.
