Brieven over fraude

Dilemma

In de discussie over wetenschapsfraude, wordt het grijze gebied tussen integer en niet integer werken zorgvuldig vermeden. Dit is jammer, omdat alle wetenschappers wel eens worden geconfronteerd met de lastige dilemma’s die zich juist daar voordoen. Dit laat zich het best illustreren aan de hand van een voorbeeld. Stel men wil weten of een nieuwe training tegen faalangst beter is dan een standaard training. Faalangst wordt voor en na de training gemeten, en de afname in faalangst wordt vergeleken tussen de twee trainingen. Deze vergelijking wordt gedaan door middel van een statistische toets, een toets met een kans van 5 procent op een toevallig verschil.

Het dilemma is als volgt: de wetenschap is gebaat bij waarheid en wil dus deze 5 procent kans op een toevallig verschil niet verhogen. De wetenschapper daarentegen is gebaat bij een verschil, want in vaktijdschriften zijn verschillen makkelijker publiceerbaar dan overeenkomsten. Daarom gaat men de data herhaald bekijken, op zoek naar een verschil.

Men kan bijvoorbeeld telkens nadat een paar extra mensen de training afgerond hebben opnieuw kijken of de trainingen verschillen. Men kan ook mensen met een uitzonderlijk hoge of lage afname in faalangst wel of niet opnemen. Men kan faalangst op veel verschillende manieren meten. Men kan verschillende nieuwe trainingen geven, bijvoorbeeld een die 4 weken duurt en een die 6 weken duurt. Men kan wel of niet controleren voor achtergrond variabelen zoals sexe of leeftijd (Simmons et al., Psychological Science, 2011).

In ieder van deze gevallen wordt het tot nu toe gedoogd dat alleen de uitkomsten van analyses die een verschil laten zien worden gerapporteerd. Dit heeft tot gevolg dat de kans op een toevallig verschil een veelvoud is van de 5 procent kans die wordt aangenomen. Deze praktijk is goed voor de carrière van de wetenschapper, want verschillen zijn makkelijker publiceerbaar dan overeenkomsten. Het is echter slecht voor de wetenschap, het zorgt voor een enorme vertraging in de zoektocht naar de waarheid.

De oplossing voor dit dilemma is eigenlijk heel simpel, hij wordt al gehanteerd in een deel van de medische wetenschappen. Hiervoor is het nodig om een onderscheid te maken tussen exploratief en confirmatief onderzoek. In een exploratieve studie dient duidelijk vermeld te worden dat de data herhaald bekeken zijn, dat daardoor de kans op toevallige verschillen groter is dan wordt aangenomen, en dat de gevonden verschillen verder onderzocht moeten worden in een confirmatieve studie. In een confirmatieve studie dient vooraf precies gedocumenteerd te worden welke keuzes gemaakt zijn; dit onderzoeksvoorstel wordt online geregistreerd en is toegankelijk voor mede wetenschappers. In de publicatie kan vervolgens bewezen worden dat het gaat om een confirmatieve studie door een verwijzing naar het geregistreerde onderzoeksvoorstel. De lezer weet dat er veel waarde gehecht kan worden aan de bevindingen: de kans op een toevallig verschil is echt 5 procent. Ten slotte: stel dat de confirmatieve onderzoeker in ons voorbeeld geen verschil vindt tussen de trainingen. De onderzoeker kan dan kiezen uit twee opties. Ten eerste in een confirmatieve publicatie rapporteren dat er geen verschil is, dit vereist natuurlijk wel dat vaktijdschriften veel meer gaan openstaan voor de afwezigheid van verschillen. Een tweede optie is afstand doen van het recht op een confirmatieve publicatie, en de data exploreren. Deze aanpak levert een oplossing voor de lastige dilemma’s waarvoor alle wetenschappers zich wel eens geplaatst zien.

Hilde Huizenga, Eric-Jan Wagenmakers, Jelte Wicherts, Ruud Wetzels, Don van Ravenzwaaij, Marjan Bakker, Denny Borsboom, Rogier Kievit, Han van der Maas.

Afdeling Psychologie, Universiteit van Amsterdam

Farmacie

Bij de bestrijding van fraude kan de academische wereld leren van de farmaceutische industrie, waar ik nu al zo’n 20 jaar werk, onder meer in het klinisch onderzoek. Nieuwe geneesmiddelen die daar ontwikkeld worden moeten aan de hoogste eisen voldoen. Dat heeft geleid tot internationale standaarden samengevat onder de noemers Good Laboratory Practice, Good Clinical Practice en Good Manufacturing Practice. Zeer strenge regels met betrekking tot de uitvoering van laboratoriumonderzoek, klinische studies en productie van geneesmiddelen zodat gezondheidsautoriteiten weten wat de kwaliteit is van nieuwe medicijnen en de betrouwbaarheid van het wetenschappelijke bewijs daarvoor. Basisgedachte is dat bedrijven consistente en goed gedefinieerde processen hanteren en documenteren zodat ze controleerbaar zijn. Geneesmiddelenautoriteiten als de Food and Drug Administration (FDA) in de Verenigde Staten en de European Medicines Agency (EMA) voeren inspecties uit om te controleren of die regels gehandhaafd worden. Zij checken ook de interne systemen die de bijwerkingenrapportage van bestaande middelen regelen. Ernstige bevindingen kunnen leiden tot hoge boetes, strafrechtelijke vervolging en mogelijk zelfs intrekking van de handelsvergunning.

Voor alle cruciale stappen in het klinische studieproces bestaan vaststaande procedures vastgelegd in zogenaamde Standard Operating Procedures (SOPs). Zoals bijvoorbeeld processen over studieprotocolontwikkeling, omgaan met aanpassingen van dat protocol, bijwerkingenrapportage, inrichting van databases, data management, codering van bijwerkingen, bereiding en afgifte van studiemedicatie, klinisch rapport, publicatiebeleid, patiënteninformatie, de monitoring van studiesites, training van onderzoekspersoneel, documentmanagement, enzovoorts.

Dergelijke regels worden in de universitaire wereld niet erg gewaardeerd. Ze worden meestal ervaren als administratieve rompslomp die geen recht doet aan verheven academische idealen. Veel klinische hoogleraren, zeker de toponderzoekers, definiëren liever zelf de regels. De bestuurders van de universitaire medische centra lijken ook niet bezig te zijn met deze materie.

Wordt in de farmaceutische industrie niet gefraudeerd? Jazeker wel. Maar mij bekende gevallen kwamen aan het licht door kritische werknemers die studies conform de protocollen van de sponsor volgden – en niet vertrouwden.

Net zoals in het bedrijfsleven is een kwaliteitssysteem noodzakelijk op universiteiten, met name bij het mensgebonden onderzoek omdat dit de patiëntenzorg bepaalt.

Prof. dr. Henk Jan Out

VP Clinical Research, MSD, OssBijzonder hoogleraar farmaceutische geneeskunde, UMC St Radboud, Nijmegen

Leiderschap

In het artikel ‘Ethiek als sluitpost’ (Wetenschapsbijlage 24 & 25 februari) zeggen onderzoekers dat fraude naar zij vermoeden niet veel voorkomt. Mijn intuïtie zegt dat wetenschappelijke fraude veelvuldig voorkomt. In mij bekende gevallen, hebben universiteiten zwak opgetreden tegen frauderende medewerkers. Er is voor universiteiten ook een stevige prikkel aanwezig om fraudegevallen te laten lopen of onder het tapijt te vegen. Als een vermoeden van frauduleus gedrag aan het licht komt, heeft dat namelijk grote gevolgen voor de reputatie voor die wetenschapper, co-auteurs en de universiteit op zowel het onderzoeks- als onderwijsvlak. Het interne karakter van de academische omgeving versterkt het niet willen aankaarten van frauduleus gedrag. Het is een kleine wereld, omdat iedereen van een bepaalde discipline elkaar kent. In de wetenschap ben je ook zeer afhankelijk van je netwerk. De editors en reviewers die bepalen of jouw onderzoek in een tijdschrift geplaatst wordt, zijn allen collega-wetenschappers. Ik heb ook moeite om dit stuk te schrijven, omdat ik mij realiseer dat ik me met het aanzwengelen van deze discussie impopulair maak bij mijn onderzoekscollega’s.

Als integriteitsonderzoeker voel ik de morele plicht dit thema toch uit te diepen. De Vereniging van Nederlandse Universiteiten (VSNU) heeft als branchevereniging in 2005 een gedragscode voor wetenschappers opgesteld om de integriteit te borgen. Als wetenschapper wist ik niet van het bestaan van deze gedragscode. Wetenschappelijk onderzoek laat echter zien dat het hebben van een gedragscode niet voldoende is om fraude tegen te gaan. Het gaat juist om de implementatie van een dergelijke code.

In mijn visie begint deze implementatie met voorbeeldgedrag van leidinggevenden, in dit geval de hoogleraren. Volgens de onderzoekers in het artikel zijn de hoogleraren steeds minder beschikbaar op de werkvloer, omdat zij bezig zijn met het binnen halen van financiering. Er is dus een andere prioritering nodig, waarbij het trainen van hoogleraren in integer leiderschap voorop staat. Dergelijk leiderschap zorgt ervoor dat wetenschappelijk integriteit in de academische setting gaat leven, bijvoorbeeld als onderdeel van vergaderingen, begeleidingsmomenten, trainingen en jaargesprekken. Bewust inzetten van integer leiderschap moet de start zijn voor de implementatie van wetenschappelijke integriteit.

Karianne Kalshoven

Amsterdam Center for Integrity and Leadership