CBS overschrijdt de grens van het betamelijke Een hoge non-respons is wèl een probleem

Het CBS is al jaren Oost-Indisch doof voor kritiek op zijn steekproefonderzoek, schreef ik anderhalve week geleden op deze pagina. Binnen enkele dagen reageerde CBS-directeur Van Bochove, die een grote verantwoordelijkheid draagt bij het CBS voor het steekproefonderzoek. De in de afgelopen 25 jaar sterk toegenomen non-respons in het onderzoek is inderdaad selectief maar het CBS controleert en corrigeert alle onderzoeksresultaten voordat deze gepubliceerd worden.

Afgezien van het feit dat Van Bochove duidelijk te lage non-responscijfers noemde, ging hij niet in op de kern van mijn kritiek. Die kritiek hield in dat de afwijking groter wordt met de toeneming van het percentage weigeraars, doordat ongewild geselecteerd wordt op interesse voor het object van het onderzoek. Als in Amsterdam gemiddeld 50 procent weigert, zijn de respondenten niet representatief voor alle Amsterdammers. Van de allochtone jongeren van 15 tot 20 jaar in de hoofdstad doet waarschijnlijk ongeveer één op de tien mee. Die ene respondent is volstrekt niet representatief voor de groep waarvan hij deel uitmaakt. Hij gaat netjes iedere dag naar school, heeft zijn VWO-diploma of bijna zijn MBO-diploma en woont in een mooi huis in een buitenwijk. Het CBS lost het non-responsprobleem op door deze ene respondent tien maal mee te tellen. Hoe minder representatief, des te zwaarder telt de persoon in kwestie dus mee.

Wat het CBS correctie van onderzoeksmateriaal noemt, noemt vrijwel iedere andere inwoner van dit land verminking. Dat inwoners van Amsterdam in zulk onderzoek veel hoger zijn opgeleid dan bijvoorbeeld de inwoners van de provincie Friesland of Noord-Brabant, waar veel lagere percentages weigeren, laat zich raden. Als je deze kritiek aan medewerkers van het CBS voorlegt, is het net of ze water zien branden. Ze hebben uit hun hoofd geleerd dat een hoge non-respons geen probleem hoeft te zijn. Op deze kritiek gaan ze daarom maar niet in, afgezien van een andere CBS-directeur, die in 1991 over statistische trucs sprak waarvan niet bekend was of wel gecorrigeerd werd voor de selectiviteit. Ze antwoorden dat ze heel hard werken. Honderden mensjaren zijn geïnvesteerd in het corrigeren voor de non-responsvertekening. Er zijn duizenden pagina's over gepubliceerd. Dan is het wel ernstig als het bureau nog niet een begin van een antwoord heeft op de kern van de kritiek. Dat het CBS een internationale reputatie op dit punt heeft en — net als het RIVM — met andere gerenommeerde instituten in binnen- en buitenland samenwerkt, is ook een standaardantwoord dat niet per se overtuigt.

In zijn reactie erkent Van Bochove, dat de resultaten van het CBS-onderzoek selectief zijn, onder andere wat het opleidingsniveau betreft. Het leek er even op dat het CBS eindelijk erkent dat van mensen die slechts lager onderwijs hebben genoten een tweemaal zo hoog percentage weigert mee te werken aan CBS-onderzoek als van hoog opgeleide medeburgers. Hoe hoger opgeleid, des te meer geïnteresseerd in onderwerpen waar het CBS onderzoek naar doet. Hoe vaak je deze boodschap ook publiceert, het CBS weigerde haar tot op heden te horen. Zo ook Van Bochove. Enkele zinnen verderop in zijn reactie blijkt het aantal laag opgeleiden slechts één procent onderschat op een totaal van 40 procent. Dat betekent dat er juist geen samenhang is van het opleidingsniveau met het meewerken aan CBS-onderzoek. In enkele alinea's spreekt de CBS-directeur zich tegen op het punt waar het nu net om draait.

Het CBS publiceert volgens Van Bochove slechts resultaten van steekproefonderzoek die van alle kanten gecontroleerd zijn. Daarbij moet dan wel gemeld worden dat alle resultaten van dit type onderzoek ernstig afwijken van feitelijke gegevens uit registraties van uitkeringsinstanties, belastingdienst, arbeidsbureaus, politieke partijen of welke andere instanties dan ook. De afwijking is haast op voorhand een kwart tot een derde. Vergelijking met gegevens uit ander steekproefmateriaal, zoals Van Bochove doet ten aanzien van werkgelegenheidscijfers en opleidingsniveau, heeft in dit verband natuurlijk geen zin. Vergelijk je de officiële cijfers van het CBS over het opleidingsniveau van de potentiële beroepsbevolking met cijfers over afgestudeerden aan onderwijsinstellingen, dan val je werkelijk achterover. Er zijn globaal gesproken een miljoen mensen minder middelbaar of hoog opgeleid dan het CBS al jaren rapporteert. Als je de basisgegevens bij het CBS opvraagt, krijg je de data aan de hand waarvan je dat zo vast kunt stellen. Daarbij speelt ook mee dat een paar procent van de burgers er nog wel eens een diploma bij verzint. Het is, tussen haakjes, wel apart dat de volksvertegenwoordiging onlangs met de minister van Onderwijs discussieerde over het `feit' dat er een miljoen autochtone functioneel analfabeten in ons land zijn, terwijl de minister zich baseert op CBS-materiaal waarin nauwelijks analfabeten voorkomen. Die doen begrijpelijkerwijs niet mee aan gesprekken van een half uur in de desbetreffende enquête. In zo'n gesprek kan de interviewer je immers zomaar een tekst met een vraag voorleggen, waarbij je een keuze moet maken uit de verschillende antwoorden. Voor het CBS bestaan bijna geen analfabeten.

Het CBS publiceert resultaten van steekproefonderzoek met betrouwbaarheidsmarges alsof het aantal respondenten met het aantal in de steekproef getrokken personen overeenkomt. Dat is net zoiets als een handelaar in tweedehands auto's die een zojuist overgespoten en mooi opgepoetste auto aanprijst als nieuw. Wat in het maatschappelijk verkeer onbetamelijk is, doet het CBS al 25 jaar met steekproefonderzoek. Niemand die er wat van zegt. Het CBS vervult immers een ongelooflijk belangrijke functie binnen de overheid. Het zorgt er al een eeuw voor dat bestuurders op alle niveaus in heel korte tijd de kwantitatieve gegevens krijgen, waar ze hun beleid op kunnen baseren. Als die onderzoeksresultaten een extra fraai beeld van de werkelijkheid schetsen, komt dat meestal niet ongelegen.

Dr. G. Visscher is werkzaam in de faculteit der rechtsgeleerdheid van de Universiteit Leiden.

CBS

In het artikel CBS overschrijdt de grens van het betamelijke (maandag 1 februari, pagina 7) is de verwijzing van de auteur naar het boek van Herman Vuijsje, getiteld Mens erger je niet: privacybescherming en wetenschappelijk onderzoek, weggevallen.