Op het matje, door de mand

Studenten inschakelen bij wetenschappelijk onderzoek blijkt riskant. Vorige week kwam uit dat een studente met data had gesjoemeld.

Martine Zuidweg

Boven: studenten scheikunde in het laboratorium van de universiteit Utrecht. Foto Eveline Jacq Europa, Nederland, Utrecht, 19-09-2005 Universiteit Utrecht, UU. Faculteit Scheikunde. Junior college voor geselecteerde leerlingen uit Gymnasium/ Atheneum die twee jaar lang , twee dagen per week, extra colleges en praktikum krijgen op de universiteit in allerlei vakken. Praktikum Scheikunde. beta vakken, exacte vakken, meisjes, veiligheid, laboratorium, onderwijs, voortgezet onderwijs, hoge onderwijs, selectie. Foto: Evelyne Jacq Jacq, Evelyne

Wij hadden nooit gedacht dat juist deze studente zou frauderen. In de trainingsbijeenkomsten toonde ze zich heel gemotiveerd. Leergierig ook. Ik weet dat ze twee studies tegelijk deed, dat ze goede cijfers haalde. Misschien is het een perfectionist en werd de druk haar teveel.'

Louis Tavecchio, bijzonder hoogleraar kinderopvang van de Universiteit van Amsterdam (UvA), is projectleider van een onderzoek onder vijftig kinderdagverblijven, uitgevoerd door het Nederlands Consortium Kinderopvang Onderzoek (NCKO), een samenwerkingsverband van de UvA, de Universiteit Leiden en de Radboud Universiteit Nijmegen. Van tevoren geselecteerde masterstudenten pedagogiek hielpen mee. Ze observeerden in de kinderdagverblijven. Het onderzoek is betaald door het ministerie van sociale zaken en de resultaten kregen afgelopen september veel aandacht in de media. Kranten kopten 'kwaliteit van de kinderopvang neemt sterk af' en een verontruste minister de Geus eiste scherpere controle op de kinderdagverblijven.

En toen belde het Groningse kinderdagverblijf. Dat ze wel brieven hadden gehad van het onderzoeksteam, maar dat er niemand was komen kijken. Tavecchio: We hebben alle spullen erbij gepakt: ingevulde scoreformulieren, declaraties van geïnvesteerde uren en reiskosten, allemaal voorzien van een handtekening.' De Amsterdamse studente die de observatie had moeten verrichten, werd op het matje geroepen. Tijdens dat gesprek gaf ze toe de scoreformulieren van vier kinderdagverblijven te hebben vervalst. Ze had de resultaten uit eerder onderzoek gekopieerd.

Het NCKO schrapte daarop alle data van de studente uit het onderzoek. Ook van de vier andere kindercentra die de studente onder haar hoede had. Maar volgens Tavecchio staan de conclusies van het onderzoek nog overeind. Dat blijkt ook uit een contra-expertise van het ministerie. De resultaten zijn alleen wat minder precies geworden.' Minister De Geus kreeg een excuusbrief met een herziene versie van het rapport.

Wetenschappers schakelen regelmatig studenten in om onderzoek te doen. Ze zijn goedkoop en kunnen een deel van de werklast op zich nemen. Studenten doen onderzoekservaring op en vaak krijgen ze er ook nog voor betaald.

Voorzitter van studentenvakbond LSVb Jonathan Mijs heeft in het eerste jaar van zijn sociologiestudie ook data verzameld. Hij en tientallen andere studenten interviewden buurtbewoners uit een Haagse en Rotterdamse wijk over leefbaarheid en de aanwezigheid van illegale vreemdelingen. We hebben van tevoren een proefinterview gehad, maar er is achteraf niet met de mensen gesproken die wij hebben geïnterviewd. We hebben ook geen persoonlijke gegevens genoteerd van die buurtbewoners. Of we echt met die buurtbewoners hebben gepraat, valt dus niet te controleren. De data werden gewoon gebruikt in het boek dat later is gepubliceerd.'

Een kort verslag van dat onderzoek is terechtgekomen in het boek', beaamt Godfried Engbersen, hoogleraar algemene sociologie aan de Erasmus Universiteit. Maar hij voegt eraan toe dat het 'echte' onderzoek naar het onderwerp is gedaan door ervaren onderzoekers. De gangen van grote aantallen studenten zijn moeilijk te controleren.

Er bovenop zitten

De studie waaraan Mijs meewerkte, is een uitzondering. Normaliter werkt Engbersen hooguit met een handvol student-assistenten. Hij selecteert ze op basis van tentamencijfers, kwaliteit van werkstukken en een onderzoekende houding. Na afloop van het onderzoek bespreken zijn medewerkers de bevindingen met elke student. Zeker als wij werken met onervaren onderzoekers spreken we achteraf de resultaten door. Ook omdat bij ons soort onderzoek de context waarin is geïnterviewd belangrijk is, zoals de leefomgeving van mensen. Als een student data heeft verzonnen, valt-ie tijdens zo'n gesprek wel door de mand.'

Maar in het onderzoek naar de kinderdagverblijven zijn de resultaten achteraf niet besproken met de studentonderzoekers. Althans niet systematisch. Engbersen: Ik ken het onderzoek niet, maar als het gaat om opdrachtonderzoek voor Sociale Zaken dan is het geen studieopdracht geweest, maar heeft men studenten ingehuurd als junioronderzoekers. Dan moet je er bovenop zitten. Goed begeleiden en achteraf met elke student de resultaten doorspreken.'

Daar heeft de student ook baat bij, zegt Mijs van de LSVb. Het liefst wil je natuurlijk dat elke student zijn ervaringen kan uitwisselen met de docent. Voor de student is dat een leermoment en de docent krijgt zo goed inzicht in wat er fout kan gaan in een onderzoek.'

Tavecchio en zijn collega's gaan dat in het vervolg ook doen. We zullen meteen bellen naar het kinderdagverblijf met de vraag of student A daar is geweest. En we zeggen tegen A: kom morgen even langs, ik wil je ervaringen horen.'

Het NCKO wil studenten ook verklaringen laten ondertekenen dat ze naar eer en geweten zullen meewerken. En studenten nog zorgvuldiger selecteren. De observatoren moesten in het NCKO-onderzoek gedetailleerde informatie geven over het dagverblijf, de groep en de leidsters. Met een statistische toets is gekeken in hoeverre observatoren afwijkende scorepatronen lieten zien. Maar dat bracht de vervalsing niet aan het licht.

Video-opnames

De kans op fraude kun je tot een minimum beperken, zegt de Groningse hoogleraar ontwikkelingspsychologie Paul van Geert. Hij schakelt regelmatig studenten in. Zoals nu bij een onderzoek naar het leerproces van kinderen. Studenten verrichten hierbij ook observaties, maar dan aan de hand van video-opnames van schoolklassen. Ten eerste kun je zo rustiger scores toekennen, ten tweede kun je de scores van een student laten controleren door een andere student, of beter nog: door een senioronderzoeker.'

De methode is bedoeld om observatiefouten te achterhalen, maar ontmaskert ook eventuele fraudeurs. Het verbaast Van Geert dat de observaties van de studenten in de studie naar kindercentra niet zijn gecontroleerd door senioronderzoekers. Als data verzameld door een student niet controleerbaar zijn, dan stel je je natuurlijk wel erg kwetsbaar op.'

Han Entzinger, hoogleraar migratie- en integratiestudies van de Erasmus Universiteit, werkt momenteel met studenten in een studie naar Turkse en Marokkaanse jongeren. De studenten nemen tegen een kleine vergoeding een vragenlijst af bij respondenten uit een steekproef.

Plagiaat

Hoe weet Entzinger dat ze geen fraude plegen? In een slimme vragenlijst bouw je altijd controlevragen in om te kijken of respondenten consequent antwoorden. Zo kun je er ook achter komen of de interviewer data uit zijn duim zuigt.' Maar een garantie is het niet. Toch maakt Entzinger zich geen zorgen. Een student ziet toch wel het belang in van een goed onderzoek? Laten we de zaken niet omdraaien: in principe is er geen fraude. Het is hoogst uitzonderlijk als het gebeurt.'

Of elke student dat belang van goed onderzoek doorgrondt, vraagt Mijs van de LSVb zich af. Hoewel iedereen wel voelt dat het niet helemaal correct is om te knoeien met data, denk ik dat zeker beginnende studenten de reikwijdte van hun zonden niet altijd beseffen. Op het moment dat jij bijdraagt aan wetenschappelijke kennis wordt daar weer op voortgebouwd door andere wetenschappers. Dat zou je studenten in een vak als methoden van onderzoek nog eens onder de aandacht moeten brengen.'

Op de Universiteit Utrecht gaat een werkcommissie studenten duidelijk maken wat wel en niet kan in de wetenschap. Aanleiding is het veelvuldig voorkomen van plagiaat onder studenten. Plagiaat is met internet een peulenschil geworden en studenten plakken en knippen naar hartelust in onderzoek van anderen.

De commissie gaat behalve plagiaat ook fraude aan de kaak stellen. Commissielid en vice-decaan van de faculteit sociale wetenschappen Theo Wubbels: Wij gaan kijken hoe we studenten bewust kunnen maken van de normen en waarden die een wetenschapper in acht hoort te nemen. Er is een gedragscode voor wetenschappers en daar moeten ook studenten zich vanaf dag één aan houden.'

    • Martine Zuidweg