Ons zicht op de werkelijkheid wordt verstoord

De psychologie en de geneeskunde moeten afscheid nemen van de klassieke statistiek. Die staat de objectiviteit in de weg, zegt wiskundige en filosoof Jan Sprenger.

Illustratie Arjen Born

Is er crisis in de psychologie?

„Absoluut. Maar ook in andere disciplines, in de economie, de biomedische wetenschappen.”

Maar in de psychologie lijkt die het meest zichtbaar.

„Dat klopt.”

Waarom is dat?

„Daar wil ik even over nadenken.”

Aan het woord is hoogleraar Jan Sprenger, een Duitse wiskundige en wetenschapsfilosoof. Hij werkt aan de Universiteit van Tilburg. Twee jaar geleden – hij was toen pas 31 jaar – werd hij daar wetenschappelijk directeur van het Tilburg Center for Logic, Ethics and Philosophy of Science. Hij stelt zich vragen over kennis. Wat is het? Hoe vergaar je het? Hoe objectief zijn theorieën en redeneringen? Waardoor wordt die objectiviteit beïnvloed?

Over dat laatste schreef hij drie jaar geleden: „Door allerlei kwaadaardige vormen van vooroordelen.” Groepsdruk is zo’n vooroordeel – wetenschap is immers een sociaal proces. Nog andere verstorende factoren: de zucht onder wetenschappers naar prestige, vasthouden aan de verkeerde onderzoeksmethode, strategieën van tijdschriften, voorkeuren van subsidieverstrekkers.

Terug naar de vraag die hem zojuist, op zijn werkkamer, is voorgelegd. Wat is er aan de hand in de psychologie?

Sprenger: „Stel, je hypothese is: gamen maakt agressief. Het is onzin, maar goed. Weet je hoe lastig het is om dat goed te bestuderen? Je hebt zo ontzaglijk veel variabelen die van invloed zijn. De sociale achtergrond van je proefpersonen, hun stemming wellicht, de setting van het experiment. In de natuurkunde kun je in het laboratorium allerlei invloeden eruit filteren. Dat is in de psychologie ondoenlijk, net als in de economie, de geneeskunde. Je houdt heel veel ruis.”

Maar dat is altijd zo geweest. Waarom is die crisis er nú?

„Dat zou mijn volgende punt worden. In de psychologie is de rol van statistische significantie, die wordt aangetoond via de p-waarde, heel belangrijk geworden. In de biomedische wetenschappen ook. Maar het is al tientallen jaren bekend dat dit een lastig begrip is. Je toont weliswaar aan dat je een echt effect meet, dat bijvoorbeeld het eten van rood vlees een verhoogde kans geeft op kanker. Maar het zegt niks over hoe belangrijk dat effect is in de realiteit. Voor rood vlees eten blijkt dat heel klein. Dus wat zegt significantie nou echt over de realiteit? En dat is toch wat je wil als wetenschap. Met nieuwe theorieën, methoden, de realiteit dichter benaderen.

„De nadruk op statistische significantie is een verkeerde incentive. Tijdschriften eisen zelfs significantie van de onderzoeken die ze publiceren. Wat doen onderzoekers dan in hun lab? Als er uitschieters in de gemeten waarden zitten, gooien ze die eruit. Ze zoeken de fout niet in hun hypothese, maar in de resultaten. Het is inmiddels zover dat sommige onderzoekers, en dit vind ik echt verbazingwekkend, spreken van een failed study als de resultaten niet significant blijken. Dat is belachelijk natuurlijk. Het gevolg is een wildgroei aan nieuwe hypothesen.”

Is er een alternatief?

„Bayesiaanse statistiek. Die beschrijft hoe mensen hun overtuigingen op een rationele manier, in de licht van data, veranderen. Ik ben er een voorstander van. Het sluit heel mooi aan bij de theorie over hoe mensen rationele keuzes maken. In de geneeskunde moet je vaak beslissingen nemen: met welk medicijn ga je door?”

Gebruikt de psychologie die statistiek al?

„Vaker niet dan wel. Er is veel discussie over. Iemand als Eric-Jan Wagenmakers van de UvA vindt het hoog tijd dat de klassieke statistiek plaats maakt. Zelf heb ik net een EU-subsidie van 1,5 miljoen euro gekregen om de relatie tussen statistische methoden en objectiviteit te bestuderen.”

En waarom is er betrekkelijk weinig interesse om studies te herhalen?

„Ik denk vooral omdat je zulk onderzoek bij tijdschriften lastig gepubliceerd krijgt. Die willen liever geen herhalingsonderzoek. Ze willen nieuw.”

Als wetenschapsfilosoof vraagt Sprenger zich af: hoe kom je tot een beter inzicht in de wereld om je heen? Het klassieke beeld, dat je via een opstapeling van kennis uiteindelijk bij de waarheid met een grote W uitkomt, is door Karl Popper halverwege vorige eeuw weerlegd. Er is geen sprake van stapeling. De ene theorie wordt, nadat haar ongeldigheid is aangetoond, vervangen door een andere.

En de nieuwe theorie is waarder dan de vorige.

„Nee. Dat kun je niet zeggen. Waarheid is een 0-1 begrip. Iets is waar of niet. Er bestaat geen theorie waarmee we alles kunnen verklaren. Je mag wel hopen dat een nieuwe theorie de realiteit meer benadert dan de oude. In de natuurkunde is het standaardmodel beter dan Newtons mechanica.”

Is er in dit opzicht verschil tussen disciplines?

„Ik denk dat de natuurkunde de koningsdiscipline is. Omdat die het soort fundamentele problemen bestudeert waar je überhaupt claims op waarheid kunt maken. Bij macro-economie gaat het niet om waarheid. Je hoopt met je modellen controle te krijgen over de economische kringloop. Dat is al lastig zat. Je weet dat er honderden causale factoren zijn die je niet kunt meenemen, anders wordt het model onhanteerbaar. Je idealiseert de realiteit, en hoopt dat je de relevante factoren hebt. Bij ingenieurs net zo. Die willen geen waarheid, maar een theorie die voldoende houvast geeft bij het bouwen van een brug.

„Elke discipline heeft zijn eigen problemen. Klimaatwetenschappers kunnen onmogelijk een Aarde 2 pakken en daar wat parameters variëren. Experimenteren is gelimiteerd. Je moet het doen met observaties. En de theorieën in de hoge energiefysica, antropologie en paleontologie moeten het stellen met een zeer schaarse hoeveelheid praktisch bewijs.”

Maar moet het nu anders in de psychologie? En hoe? Sprenger wijst op de wetenschapsfilosoof Helen Longino, die begin jaren 90 benadrukte dat wetenschap open moet staan voor kritiek, wil ze verder komen. „Toen had niemand het over een dialectisch proces”, zegt Sprenger. Maar in de psychologie is dat volgens hem geen probleem meer. Misschien wel in de economie, zegt hij. „Daar willen ze alles zelf doen. Ze staan weinig open voor inbreng van buiten.” Maar in de psychologie is het nu eerder het omgekeerde, zegt de hoogleraar. „Iedereen bemoeit zich ermee. Internet vergemakkelijkt dat.”

Wat bij de burger weer het idee kan oproepen: die psychologen schreeuwen maar wat. En dat wordt dan doorgetrokken naar: wetenschap is ook maar een mening.

„Dat vind ik zo’n schijtargument. Ja, elke wetenschappelijke theorie is een mening. Maar wel de best onderbouwde mening die je kunt hebben.

„Echt iets voor Nederlanders om zoiets te zeggen. In Duitsland hoor je dit niet. Duitsers luisteren sneller naar de professor doctor. Ze zijn in het algemeen veel autoriteitsgevoeliger.”

Maar wat moet er dan gebeuren?

„Langzaam zie je al verandering. Er komt meer ruimte voor negatieve onderzoeksresultaten. Er worden databanken opgezet om opzet en uitkomsten van onderzoeken te verzamelen.”

En wat vindt Sprenger van het nieuwe instituut, Metrics, dat twee jaar geleden is opgericht aan de Stanford University. De vermaarde statisticus John Ioannidis is er een van de directeuren. Het plan is om de wetenschap grondig door te lichten en waar nodig te verbeteren. Het kijkt breed. Naar gebruikte onderzoeksmethoden, de manier waarop resultaten worden gerapporteerd en geëvalueerd, herhaalbaarheid van onderzoek, beloningsstructuren. Het doel, zo vertelt de website, is de hele wetenschap bestendig te maken voor de 21ste eeuw.

Ioannidis beschrijft in een recent artikel hoe veel van de huidige problemen zijn terug te voeren op de waanzinnige groei die de wetenschap de laatste decennia heeft doorgemaakt. Jaarlijks worden nu enkele miljoenen artikelen gepubliceerd. Wereldwijd zijn er naar schatting 15 miljoen wetenschappers. Het heeft geleid tot een verveelvoudiging aan observaties, hypothesen, tests.

Sprenger kent Ioannidis wel, maar het instituut niet. Het plan klinkt hem spannend in de oren. Er zijn gigantisch veel scientometrische data (publicatie- en citatiescores, geldstromen, tijdschriftrankings) die te gebruiken zijn om de ontwikkeling en structuur van wetenschap te bestuderen.

„Dat doet nauwelijks iemand op een systematische manier”, zegt Sprenger. „Misschien is dat zelfs de wetenschapsfilosofie van de toekomst.”