Werkt ontwikkelingshulp? Test het als medicijnen

Armoedebestrijding De drie winnaars van de Nobelprijs voor Economie baseren zich op experimenten in het veld. Is de hulpindustrie daardoor veranderd?

Foto Yanick Folly/AFP

Wat als je de effectiviteit van een ontwikkelingsproject, bijvoorbeeld geld geven aan werkloze tieners in Honduras om naar school te gaan, meet zoals een nieuw medicijn wordt getest? Dus met een groep die de interventie ondergaat, en een controlegroep die het niet krijgt? Dit simpele idee, waarvoor drie ontwikkelingseconomen deze week zijn beloond met de Nobelprijs voor Economie, heeft het vakgebied en het werk van hulporganisaties wereldwijd ingrijpend veranderd.

Het Frans-Indiase echtpaar Esther Duflo (46) en Abhijit Banerjee (58) en hun Amerikaanse collega Michael Kremer (54), vormen de kern van een groeiende groep ontwikkelingseconomen die zich niet baseren op theorie, maar op experimenten in het veld, inclusief controlegroep. Oftewel: random control trials (rct’s). Hun bijnaam: de ‘randomistas’.

Telkens is de vraag: wat werkt? En wat werkt niet – en is dus zonde van de tijd en het geld? Kun je je kleine budget het beste besteden aan leraren beter trainen, of schoolboeken uitdelen?

De vraag ‘wat werkt en wat niet?’ is totaal standaard geworden

Het zijn vragen waarmee de drie economen sinds het begin van het millennium proberen het grote ontwikkelingsvraagstuk op te breken in behapbare onderdelen, aldus het Nobelprijscomité. „Tot en met de jaren negentig bestond het vakgebied vooral uit ingewikkelde en soms vergezochte theorieën en complexe econometrische modellen”, zegt ontwikkelingseconoom van de Universiteit Wageningen Erwin Bulte. Denk aan pogingen om antwoorden te krijgen op vragen als: wat is het verband tussen handel en armoede?

De praktische toepasbaarheid van conclusies uit dit soort onderzoeken was beperkt, vond het trio. Bulte: „Ze wilden op basis van kosteneffectiviteit prioriteiten kunnen stellen in ontwikkelingshulp.” Met experimenttechnieken uit de medische wetenschap ging Kremer als eerst aan de slag in West-Keniaanse scholen. Daar bleek al snel dat schoolboeken uitdelen maar een beperkt effect had op de slagingspercentages: leraren goed opleiden werkte veel beter.

Tien jaar later doet het hele vakgebied nauwelijks iets anders dan deze methodes toepassen. Ging het rond 2000 nog om zo’n 30 van dit soort onderzoeken per jaar, in 2012 waren het er al meer dan 280. „Het is totaal standaard geworden”, zegt Bulte, die zegt de drie onderzoekers maar zelden te citeren. „Je verwijst in je publicaties ook niet meer naar Adam Smith of Keynes.”

Lees ook: ‘Randomista’s’ Duflo, Banerjee en Kremer bestrijden armoede met wetenschappelijk bewijs

De wereld veranderen

Transformatie van een vakgebied is één – maar daarmee is nog niemand uit een armoedige situatie opgetild. Uiteindelijk is het doel van haar werk, zei Duflo in 2011 tegen NRC, om „de wereld te veranderen”. Hoe is de praktijk van ontwikkelingshulp veranderd dankzij haar werkzaamheden en die van haar collega’s?

Vraag je het aan ontwikkelingseconomen, dan kennen ze direct een aantal voorbeelden. De microkrediet-hype is de afgelopen jaren grotendeels uitgedoofd dankzij rct-onderzoek. Er bestaan nu bovendien veel subsidiëringsprogramma’s voor medicijnen, omdat is gebleken dat zelfs de kleinste prijs vragen voor medicijnen al grote groepen afschrikt om ze te gebruiken. En een project om arme Mexicanen ‘gratis’ geld te geven onder de voorwaarde dat ze goed voor hun kinderen zorgen, bleek zeer succesvol.

„Dat heeft de volgende regering ervan overtuigd het plan voort te zetten”, zegt Menno Pradhan, ontwikkelingseconoom aan de Vrije Universiteit Amsterdam. „Ook veel andere landen hebben dat toen toegepast.”

Het kost vaak veel tijd, geld en nogal wat herhalingsexperimenten, maar langzamerhand leert de wereld zo meer over welke methodes werken en welke niet. ‘Gewoon’ maar wat doen en slecht of niet evalueren gebeurt heus nog wel, waarschuwt econoom Bulte, maar veel grotere hulporganisaties hebben inmiddels zelf evaluatie-afdelingen die vaak samenwerken met wetenschappers aan rct-onderzoek.

Daarbij draait het niet alleen om leren wat werkt, maar ook om verantwoording afleggen. „Bij Aflatoun claimen we dat onze programma’s goedkoper en effectiever zijn dan traditionele armoedebestrijding”, zegt Roeland Monasch, directeur van de ontwikkelingsorganisatie. „Maar dan moet je wel gaan bewijzen dat een project daadwerkelijk een positief effect heeft.” Rct’s bieden dan uitkomst.

Vooruitgang op een belangrijk onderwerp zet meer zoden aan de dijk dan een goed antwoord op een kleine vraag

Voor kleinere organisaties zijn dit soort experimenten wel lastiger, zegt Meike van Ginneken, directeur van de Nederlandse hulporganisatie SNV. „Toen ik bij de Wereldbank met projecten van tientallen miljoenen euro’s werkte, gebruikten we regelmatig dit soort onderzoek. Bij SNV doen we minder grote programma’s, en dan is het best moeilijk de techniek te gebruiken. Het vereist een strak geregisseerd experiment, waar bijvoorbeeld honderden dorpen aan meedoen.” Wat niet wil zeggen dat ze nu niks aan de methode heeft. „Ook als wij geen rct uitvoeren, kunnen we als kleine organisatie de resultaten van andere experimenten lezen. Die onderzoeken zijn een publiek goed.”

Vergeet ook niet hoe belangrijk dat kan zijn voor beleidsmakers in ontwikkelingslanden zelf, zegt Van Ginneken. „In de Centraal-Afrikaanse Republiek werkte ik ooit samen met een minister van Financiën die 350 miljoen euro te besteden had. Dat was ongeveer het budget van de stad Alkmaar, terwijl het land vier miljoen inwoners heeft. In zo’n geval wil je gewoon weten welk ontwikkelingsproject waarschijnlijk de meeste impact gaat hebben.”

Gaan we het wereldwijde armoedeprobleem met deze aanpak oplossen? Het is moeilijk om mensen te vinden die kritisch zijn over de uitreiking van de Nobelprijs aan het trio, maar hier en daar hoor je toch: de rct gaat misschien wel uit van héle kleine stapjes.

Belang van de ‘grote vragen’

„Als je kijkt naar de toegang tot zorg en onderwijs, dan is het goed om te kijken hoe dat het meest effectief kan”, zegt Esmé Berkhout, beleidsadviseur bij Oxfam Novib (dat zelf ook een evaluatie-afdeling heeft). „Maar wij pleiten er ook voor om niet te veel op het microniveau te blijven hangen.”

Op welke manier hebben rijkere landen bijvoorbeeld economische macht over armere landen? Welke macro-economische veranderingen zijn er nodig om armoede tegen te gaan? Wat doen dumpingpraktijken met armere landen? Hoe lopen ontwikkelingslanden belastinginkomsten mis omdat andere landen belastingparadijzen zijn? Berkhout: „Wij willen ook op het hogere beleidsniveau streven naar grote veranderingen.”

Econoom Bulte snapt dat punt wel. Zelf doet hij volop rct-experimenten en hij vindt de uitreiking van Nobelprijs zeer terecht, maar je kunt je volgens hem inderdaad afvragen of de ‘grote vragen’ uit de jaren tachtig en negentig niet te veel zijn weggedrukt door de rct-studies. „Het is jammer als we die thema’s laten liggen omdat we toch geen perfect antwoord kunnen vinden. Die blijven verschrikkelijk belangrijk. Want een heel klein beetje vooruitgang op een heel belangrijk onderwerp zet misschien meer zoden aan de dijk dan een heel goed antwoord op een kleine vraag.”