fraude Brieven

Significantiejacht

VSNU-voorzitter Noorda noemt het weglaten van statistische informatie om de conclusies van wetenschappelijke artikelen te verfraaien een ‘dagelijkse zonde’. Verbazingwekkend, omdat Noorda hiermee de hoofdoorzaak voor de onbetrouwbaarheid van sociaal-wetenschappelijke onderzoeksresultaten miskent.

Wat is het geval? Sociaal-wetenschappelijk en ander statistisch geaard onderzoek is op steekproeven gebaseerd. Iedere steekproef heeft zijn eigen toevallige afwijkingen. Tamelijk willekeurig is afgesproken om alleen de 5 procent sterkste afwijkingen in de steekproefverdeling serieus te nemen: significantie-toetsing op het 5%-niveau. Andere percentages treffen we veel minder aan. Het betekent dat, ook als er niets aan de hand is en dus geen enkel effect in de populatie, in 5 procent van de gevallen wordt besloten tot een (‘significant’) effect of resultaat. Dat foutenpercentage van 5 is al heel wat maar hoe gaat het in de praktijk? Het uitblijven van het beoogde resultaat is voor veel sociale wetenschappers waaronder promovendi het startsein voor de significantiejacht.

Dit kan worden geïllustreerd aan de hand van een enquêteonderzoek, bijvoorbeeld naar houdingen en meningen met betrekking tot voeding. Dat zal al gauw 100 of meer vragen omvatten (een vraag gaat bijvoorbeeld over vlees eten en het antwoord op een andere vraag wordt indicatief geacht voor de ‘hufterigheid’ van de respondent). 100 vragen geven 4.950 samenhangen tussen vragen en deze gemiddeld weer 5 procent of 248 significante samenhangen, ook als er geen enkele samenhang in de populatie is. Een respectabel aantal, waaruit verschillende proefschriften kunnen worden samengesteld, zogenaamd uitsluitend uit ‘significante’ resultaten bestaand. Er wordt helaas niet vermeld dat tegenover de significante resultaten 4.702 niet-significante stonden die zijn weggelaten in de rapportage.

Significantie-jacht is funest voor de wetenschapsbeoefening en maakt dat grote delen van de sociale wetenschap op drijfzand worden opgetrokken. Er bestaan methoden om voor de kanskapitalisatie in de significantie-jacht te corrigeren maar deze worden in de praktijk zelden toegepast. Significantie-jacht wordt niet alleen in de hand gewerkt door de enorme druk op hoogleraren en promovendi om te produceren, maar ook door de tendens bij wetenschappelijke tijdschriften om alleen significante resultaten te publiceren en dus de niet-significante weg te laten.

Bij pogingen om wetenschapsfraude te meten wordt veel te weinig onderscheid gemaakt tussen statistisch, op steekproeven gebaseerd onderzoek waar bijna de hele sociale wetenschap op berust, en exact georiënteerd onderzoek. Door het gebrek aan strikte herhaalbaarheid (ieder steekproef heeft zijn eigen afwijkingen) is de kans op fraude vele malen hoger in statistisch onderzoek, omdat het veel moeilijker is vast te stellen. Fisher, grondlegger van de moderne statistiek, had een half boekwerk nodig om de fraude in de data van Mendels befaamde erwtenexperimenten aan te tonen. Dat Fisher het statistisch bewijs kon leveren was te danken aan het enorme datamateriaal dat Mendel zelf in zijn artikel opnam.

Een tweede reden, waarom statistisch onderzoek zo fraudegevoelig is, wordt dan ook veroorzaakt door het feit dat er nog steeds geen wettelijke verplichting is om databestanden waarover in de publiciteitsmedia en tijdschriften wordt gepubliceerd in het publieke domein ter beschikking te houden. Fraudeurs kunnen dus bijna onopvallend en ongecontroleerd hun werk doen. Zie Stapel. Bij tijdschriften bestaat weliswaar de mogelijkheid dat een reviewer de data opvraagt, maar dat gebeurt in de praktijk uiterst zelden. Reviewers hebben het al druk genoeg met hun eigen analyses en nauwelijks tijd en zin in het schrijven van reviews. Ook in het geval van promoties zou een lid van de manuscriptcommissie kunnen vragen om de data in te zien. Zo’n blijk van wantrouwen wordt zelden afgegeven, vooral omdat het commissielid dan bij de volgende gelegenheid zelf de kans loopt met de billen bloot te moeten.

In plaats van de ernst van de situatie te bagatelliseren zouden hooggeplaatsten zoals Noorda nu eindelijk maatregelen moeten nemen. Voor de sociale wetenschappen zou het een enorme stap in de goed richting zijn, als de gezamenlijke faculteiten besloten een of meerdere ervaren onderzoekers vrij te stellen met als taak om steekproefsgewijs na te gaan of de resultaten van promotie-onderzoek op de in het proefschrift aangegeven wijze voortkomen uit aanwezige databestanden en er geen statistische informatie bewust is weggelaten.

Dr. J.H.L. Oud

Statisticus, UHD Radboud Universiteit Nijmegen

Positieve resultaten

Onderzoek van mij en mijn collega’s richt zich op mechanismen van verslaving, op de grens van psychologie en medische wetenschappen. Naar mijn ervaring hebben tijdschriften een sterke neiging om vooral positieve resultaten te publiceren. Zo kreeg ik onlangs bij een psychologisch tijdschrift het verzoek om een positieve replicatiestudie toe te voegen. Waarop ik antwoordde dat ik best een replicatiestudie wilde uitvoeren, maar dat ik uiteraard geen positief resultaat kon garanderen. Toen de replicatie een gedeeltelijke bevestiging van de eerste bevinding gaf, was het tijdschrift niet meer geïnteresseerd. Gelukkig konden we het stuk bij een ander tijdschrift kwijt. Deze praktijk contrasteert sterk met ervaringen op het gebied van bijvoorbeeld genetische associaties, waar we negatieve bevindingen makkelijker konden publiceren dan positieve. Binnen de psychologie lijkt de neiging om alleen positieve nieuwe resultaten te publiceren het sterkst in de sociale psychologie. Het lijkt me goed wanneer (sub-) disciplines hierop onderzocht worden: als het niet mogelijk is om negatieve resultaten te publiceren, is de kans natuurlijk groter dat er gefraudeerd gaat worden.

Daarbij hebben subsidieverstrekkers veel invloed. We kregen onlangs een subsidie van ZonMW (Zorg Onderzoek Nederland, Medische Wetenschappen) voor een preventieonderzoek. Er zat echter een addertje onder het gras: we werden gefinancierd voor 30 maanden, waarna de ontbrekende 18 maanden voor de promovendus alleen uitgekeerd zouden worden, indien er positieve resultaten gevonden worden in de eerste fase van het onderzoek. Wij zouden dus een aio of andere medewerker een tijdelijk contract moeten geven dat alleen verlengd wordt in geval er positieve resultaten gemeld worden.

Toen we bezwaar maakten, ging ZonMw zelfs zo ver om te stellen dat de mogelijkheid van wetenschappelijke fraude niet hun probleem was maar dat van de universiteit. Het achterliggende idee lijkt te zijn dat de wetenschappelijke gewoonte om hypotheses te trachten te verwerpen vooral als onhandig obstakel gezien wordt voor nuttige toepassingen van kennis. Ik denk dat het belangrijk is dat subsidieverstrekkers inzien dat de wetenschappelijke methode op den duur leidt tot meer opbrengst dan een houding waarbij alleen de kersen geoogst worden, maar het onderliggende onderhoud aan de boomgaard voor eigen rekening is.

Reinout Wiers

Hoogleraar Ontwikkelingspsychopathologie, Universiteit van Amsterdam

Visitatiecommissie

Het middel om de integriteit van het wetenschappelijk onderzoek systematisch te borgen is de onderzoekvisitatie. Iedere onderzoeksgroep in een Nederlandse universiteit wordt eens in de 6 jaar beoordeeld door externe onafhankelijke onderzoekers, veelal uit het buitenland. Wetenschappelijke integriteit moet daarbij als kwaliteitscriterium worden opgenomen. Bij dat onderzoek moet in kaart worden gebracht in hoeverre de onderzoeksgegevens transparant worden verzameld, opslagen en beheerd. Doet een collega wel eens een experiment over? Worden de gegevens ook door collega’s nagerekend en gecontroleerd?

Centraal staat het beoordelen wat een onderzoeksgroep heeft gedaan om de zwakke plekken in kaart te brengen en de kans op misstanden zo klein mogelijk te maken. Het zelfreinigend vermogen binnen de wetenschap behoeft nadrukkelijk systematische aandacht. Intrigerende vraag is natuurlijk of we dat als wetenschappers zelf kunnen of is dat input van externe opsporing- of fraudedeskundigen voor een tijdje noodzakelijk is.

Prof.dr. G.R. de Snoodirecteur Institute of Environmental Sciences, Universiteit Leiden

Mes in de rug

Het is teleurstellend dat de krant meent de wetenschap een mes in de rug te moeten steken, met de voorpaginakop ‘Fraude bij universitair onderzoek: Vaker dan u dacht’. Deze kop is tendentieus en wordt niet door de feiten gestaafd. In het bijbehorende achtergrondartikel wordt geschat dat 96 tot 99 procent van de wetenschappers géén fraude pleegt, maar op de voorpagina noemt u enkel ruwe getallen (‘27 keer fraude sinds 2005’) die in geen verhouding staan tot de duizenden studies die in die tijd gepubliceerd zijn. Dat ook de wetenschap kritisch wordt gevolgd is natuurlijk goed, maar de krant lijkt doelbewust het vertrouwen in de wetenschap te willen beschadigen. Als de maatschappij niet meer vertrouwt op degelijke wetenschappelijke kennis, dan wordt het oplossen van maatschappelijke problemen in deze tijd van klimaatverandering en economische crisis tasten in het duister. De overgrote meerderheid van eerlijke wetenschappers, die met relatief weinig salaris, weinig baanzekerheid en onder toenemende competitiedruk zich een slag in de rondte werken, wordt hier het slachtoffer van.

Rense Corten

Universitair docent Sociologie, Universiteit Utrecht

Magere oogst

Het is een buitengewoon magere oogst, waarmee de krant zich tevreden heeft gesteld: 102 gevallen over 6 jaar, waarvan de helft afkomstig van twee (!) van de twintig ondervraagde instituten.

Een simpel sommetje: stel dat elk instituut 100 wetenschappelijke publicaties per jaar afscheidt. Over 6 jaar zijn dat voor die 20 wetenschappelijke instituten 12.000 publicaties. En daarvan zijn er dan in niet meer dan 16 sancties geweest!

Om zonder behoorlijke cijfermatige onderbouwing te berichten over zoiets belangrijks als wetenschappelijke fraude is een lachertje! Conclusie: de zondigen kunnen rustig doorgaan, want de pakkans is kennelijk verwaarloosbaar klein.

G.H.M. Ragas

Breugel