De kleren van de keizer

De affaire rond rivm-medewerker De Kwaadsteniet heeft de discussie over het gebruik van modellen en hun werkelijkheidswaarde flink aangewakkerd. Mathematisch statisticus Willem R. van Zwet over redelijk ogende getallen, mooie plaatjes en wankele procedures.

`EEN OVERHEIDSCOMMISSIE die het lawaai rond Schiphol gaat onderzoeken, daar hoort een statisticus in te zitten. Het is van de gekke als dat niet het geval is.'

In zijn hoekkamer op de eerste verdieping van het Mathematisch Instituut in Leiden mag Willem R. van Zwet, hoogleraar in de mathematische statistiek, graag een lans breken voor zijn vakgebied. ``Op de universiteiten is het niveau flink opgekrikt. Toen ik in de jaren zestig begon kwam Nederland op de internationale kaart nauwelijks voor, nu zitten we permanent in de redacties van toptijdschriften. Maar in het bedrijfsleven is de statistiek veel minder doorgedrongen. In landen als Amerika en Engeland zijn ongelofelijke aantallen statistici werkzaam in de industrie, de financiële wereld, noem maar op. Bij ons is dat veel minder. Ook bij de overheid, bij de beleidsmakers, zie je ze weinig. De politiek houdt niet van onzekerheden. Het zit zó, dan moet je dát doen en dan komt het allemaal goed — dat is de houding. Slagen om de arm, marges van zoveel procent: ze zijn gewoon niet populair. Dat leidt wel eens tot brokken.''

Zoals bij het RIVM, het Rijksinstituut voor Volksgezondheid en Milieuhygiëne in Bilthoven. Op 20 januari uitte RIVM-statisticus dr. Hans de Kwaadsteniet in Trouw forse kritiek op de onderzoeksmethoden die zijn instituut hanteert om de jaarlijkse Milieubalans samen te stellen. Er zou, aldus De Kwaadsteniet, met computermodellen zijn gewerkt die statistisch niet of onvoldoende op hun deugdelijkheid waren getoetst. Ook zouden uitkomsten veel te exact worden voorgesteld, terwijl ze in werkelijkheid aan wetenschappelijke onzekerheden onderhevig zijn. Het RIVM reageerde met een spreekverbod en een schorsing. De Kwaadsteniet werd afgeschilderd als een statisticus die zijn vak niet kon loslaten en met wie niet meer te werken viel. Uit rancune om zijn geïsoleerde positie zou hij naar buiten zijn getreden. De Kwaadsteniet vocht zijn schorsing met succes bij de rechter aan. Inmiddels heeft het RIVM hem een andere functie aangeboden.

De opstelling van het RIVM ergert Van Zwet. ``Men probeert de man in de querulantenhoek te plaatsen. Ik vind dat nogal misselijk. De persoon van De Kwaadsteniet heeft er niks mee te maken. Laten we ons tot de feiten beperken. Voor mij zijn die dat de man zaken naar voren brengt die ik niet weerlegd zie, en dat ik mij kan voorstellen dat hij met zijn kritiek best eens gelijk zou kunnen hebben. Het RIVM heet een wetenschappelijk instituut te zijn. Dan is schelden, dreigen met ontslag en overplaatsen toch een erg ongelukkige reactie. Die arrogantie heeft alles te maken met de monopoliepositie van het RIVM. Het idee dat het bij de volgende Milieubalans, komend najaar, allemaal veel beter zal zijn, waag ik te betwijfelen. Het zou goed zijn als de overheid opdrachten over een breder front verspreidde. In Amerika gaat veel onderzoek op het gebied van milieukwesties naar mensen op de universiteiten. Ook al krijgt de overheid dan af en toe tegengestelde verhalen te horen, toch is het verstandiger.''

De affaire De Kwaadsteniet draait om de positie van de statistiek, meent Van Zwet. ``Naar ik begrepen heb had het RIVM een statistische afdeling, maar is die verspreid. Dat is elders ook gebeurd, bijna altijd een desastreuze maatregel. Het idee is: haal die mensen uit elkaar, breng ze onder bij de verschillende groepen, laat ze zich specialiseren en zo op een bepaald terrein aanspreekbaar zijn. Maar de rol van de statisticus is vaak die van de advocaat van de duivel. Die mensen moet je niet ondermijnen door ze uit elkaar te halen. Als groep kunnen ze wel eens wat, als eenling is je invloed gering. Een hopeloze situatie. Wiskundigen moeten met elkaar kunnen praten, dat werkt. Nu heeft het RIVM geen groep meer die behoorlijk op de hoogte is van statistiek, met alle gevolgen vandien.''

Als reactie op de affaire publiceerde het RIVM in februari het rapport Meten, Rekenen en Onzekerheden. Het verweer dat de gehanteerde modellen wel degelijk zijn getest, komt Van Zwet niet sterk voor. ``Ze gebruiken het woord `testen' op een heel andere manier dan de statisticus doet. Toetsen komt voor hen neer op `er met iedereen over praten', `experts raadplegen', `erover publiceren'. De marges die ze hanteren berusten soms op statistiek, maar meestal op overleg. Daar kun je alle kanten mee op. De nauwkeurigheid van de schattingen, zo zeggen ze, wordt alleen in de rapporten bediscussieerd als dat — naar hun oordeel — belangrijke politieke implicaties kan hebben. Waar het op neerkomt is dat het RIVM zegt: `vertrouw ons, wij zijn erg goed, wij staan internationaal in hoog aanzien, we werken met god en iedereen samen, kijk eens naar de lijst van instituten die in de Milieubalans participeren, waar klaag je eigenlijk over. Maar de statisticus is altijd de man die zegt: `klopt dit wel?' Als de tijd dringt en het water staat je aan de lippen, dan kan ik me voorstellen dat de RIVM-leiding daar niet op zit te wachten. Begrijpelijk, maar wel gevaarlijk.''

Ook de Commissie van Toezicht wuifde de klachten van De Kwaadsteniet weg. Van Zwet: ``Ze hadden niet overal indringend naar gekeken — dat kan ook moeilijk in twee weken — maar ze hebben zo'n beetje de indruk dat het allemaal wel goed zit. Daarmee zet die commissie zichzelf toch een beetje buitenspel. Ze hebben geen mathematisch statisticus in hun gelederen, alleen een econometrist die bij CBS werkt, het Centraal Bureau voor de Statistiek. Geen voor de hand liggende club om het door de Tweede Kamer gevraagde accountantsrapport over het RIVM te schrijven. Dat kun je beter aan buitenstaanders met kennis van zaken overlaten.''

There are lies, damned lies and statistics, luidt het gevleugelde gezegde van Disraeli. Door de opkomst van de statistische softwarepakketten is het risico op uitglijders er niet minder op geworden. Van Zwet: ``Vroeger kon je niet veel als je er niks van afwist, tegenwoordig koop je een programma en laat dat op je gegevens los. De omslag was begin jaren tachtig. Waarom zou je nog aan mathematische statistiek doen? Data-analyses op snelle computers leveren je redelijk ogende uitkomsten, vervat in fraaie plaatjes die de gewenste conclusies een wetenschappelijk aureool moeten verschaffen. Met een berg gegevens en ongelimiteerde rekencapaciteit kun je in de praktijk straffeloos van alles uitproberen — de who cares attitude. Op die manier zijn er altijd ad hoc oplossingen te verzinnen die best redelijk klinken. Er heeft zich een mer à boire van ongeteste procedures gevormd. Iemand zal op een goed moment in die chaos orde moeten aanbrengen. Statistici zijn ervoor om de werkelijkheid te scheiden van onzin. Zij kunnen uitzoeken wat in zekere zin optimaal werkt, en wat niet deugt.''

Alleen: bij messy onderwerpen als het milieu liggen de zaken zo complex, zijn echte metingen zo moeilijk, dat je het niet altijd wiskundig kunt nagaan, er simulaties aan te pas moeten komen en je al tevreden bent met iets dat het in de praktijk behoorlijk doet. Van Zwet: ``Je streeft dan naar een synthese tussen krachtdadig rekenen en wiskundig denken. Daarbij heb je rekkelijken en preciezen, en het is de kunst niet in een extreem te vervallen. Het is eenvoudiger te zeggen waar het mis gaat dan hoe je het goed moet doen. Een aantal dingen kan beter, maar het kan ook zijn dat de statisticus moet toegeven dat hij het ook niet weet. Zeg er dan in je rapport bij: `dit is een slag in de lucht'. Het is de verdienste van De Kwaadsteniet dat hij de kleren van de keizer heeft geïnspecteerd.''