Psycholoog wil geen pottenkijkers

Psychologen schermen hun data vooral af als hun werk statistisch gezien rammelt.

Dat zag psycholoog Jelte Wicherts die gegevens van collega’s heranalyseerde.

Een piloot wordt in de cockpit op de handen gekeken door een co-piloot en een accountant laat de omzetcijfers in het jaarverslag narekenen door een collega. „Maar de meeste psychologen laten hun werk niet controleren”, zegt psycholoog Jelte Wicherts. „Ze stellen hun onderzoeksgegevens niet ter beschikking aan collega’s.” Die onwillige psychologen zijn bang dat heranalyse van de data de conclusies van hun onderzoek onderuit haalt.

„Hoe zwakker de statistische onderbouwing, hoe kleiner de bereidwilligheid om data te delen”, zegt Wicherts, universitair docent psychologische methodenleer aan de Universiteit van Amsterdam. Dat concluderen Wicherts en twee Amsterdamse collega’s in een publicatie die op 2 november in het wetenschappelijke tijdschrift PLoS ONE verscheen.

Het academisch debat over het delen van onderzoeksdata in de psychologie kreeg een impuls door de affaire-Stapel. De Tilburgse hoogleraar Diederik Stapel heeft, volgens een vorige week verschenen rapport, de data voor ten minste 30 wetenschappelijke artikelen gefingeerd. „Een jonge onderzoeker die Stapel vroeg om de gegevens zelf te mogen analyseren, kreeg wel slaande ruzie”, zegt Wicherts, „maar niet de data.”

Veel psychologen bewaren en bewerken volgens Wicherts „hun data in een donker hoekje, op hun eigen computer”. Uit een veel geciteerd onderzoek van Wicherts (American Psychologist, 2006) bleek dat bijna driekwart van de 141 benaderde psychologen hun data niet wilden geven. Sommigen waren hun data kwijt, anderen hadden geen tijd om de data voor anderen te decoderen. Wicherts: „Sommigen weigerden botweg.”

Waarom zijn zo veel onderzoekers zo onwelwillend? Misschien omdat ze bang zijn dat heranalyse fouten in hun artikelen zichtbaar maakt of tot tegengestelde conclusies leidt. Om dit vermoeden te toetsen heeft Wicherts de (1.148) onderzoeksresultaten in 49 wetenschappelijke artikelen van onwillige auteurs in twee toonaangevende psychologietijdschriften aan een heranalyse onderworpen. Het zijn tijdschriften die worden uitgegeven door de invloedrijke American Psychological Association (APA), die strenge regels hanteert voor de omgang met data.

Centraal in die heranalyse staat de zogeheten p-waarde, een gangbaar verhoudingsgetal in de statistiek om te bepalen of een onderzoeksuitkomst statistisch gezien betrouwbaar is. De p-waarde moet doorgaans onder de 0,05 liggen. Bij 0,05 is er nog een kans van 1 op de 20 dat een onderzoek toch een ander resultaat heeft dan de meting oplevert. De resultaten in de artikelen zaten veelal vlak onder de grens van 0,05.

Dat verklaart mogelijk de huiver van de auteurs om de data vrij te geven: een heranalyse zou significante resultaten alsnog niet-significant kunnen maken.

In de heranalyse gebeurde precies dat in 7 van de 49 artikelen. ‘De gevonden fouten zijn de top van de ijsberg van mogelijke fouten en vooringenomenheid in de statistische analyses en de rapportage van statistische resultaten’, schrijven de onderzoekers.

Dat roept de vraag hoe zorgvuldig psychologen hun onderzoek doen. Een Amerikaanse studie die binnenkort verschijnt in het toonaangevende Psychological Science is wat dat betreft alarmerend. Drie wetenschappers, onder wie Leslie K. John van Harvard Business School, hebben ongeveer 2.000 universitaire psychologen ondervraagd. Een groot aantal gaf toe zich weleens schuldig te maken aan ‘betwistbare onderzoekspraktijken’. Dat varieert van relatief lichte vergrijpen zoals het weglaten van onwelkome meetresultaten (66 procent van de ondervraagden) tot het vervalsen van onderzoeksgegevens à la Stapel (1,7 procent).

Het onderzoek toont volgens Wicherts eens te meer de noodzaak aan om data goed te bewaren en te delen. „Daar zijn ook gewoon regels voor, onder meer van de APA. Maar de regels moeten wel worden gehandhaafd, door de verstrekkers van onderzoekssubsidies en door de wetenschappelijke tijdschriften.” De Nederlandse organisatie voor wetenschappelijk onderzoek (NWO) heeft het delen van data al opgenomen in de subsidievoorwaarden en dat is volgens Wicherts een stap vooruit. „Want tot nu toe stond er op het niet delen van data geen sanctie.”