De toekomst kun je best voorspellen

Veel trendwatchers voorspellen

de toekomst niet beter dan een aap die pijltjes gooit. Supervoorspellers doen het wel beter dan anderen. Hoe doen ze het?

Het luchtruim boven het oostelijk deel van Oekraïne had vorig jaar zomer gesloten moeten zijn. Maar dat was het niet, en passagiersvlucht MH17 werd neergeschoten door een Boekraket. „De risico’s zijn niet adequaat ingeschat”, zei voorzitter Tjibbe Joustra van de de Onderzoeksraad voor Veiligheid. „Iedereen dacht dat het veilig was.” Die verkeerde inschatting kostte bijna driehonderd mensen het leven.

Of neem, wat de Amerikaanse psycholoog Philip Tetlock (University of Pennsylvania, Philadelphia) „een van de ergste blunders in de geschiedenis van de inlichtingendiensten” noemt. In 2002 zei de Amerikaanse intelligence community (bestaande uit de CIA en 15 andere instanties) zeker te weten dat Irak over massavernietigingswapens beschikte. De VS vielen Irak binnen. Die massavernietigingswapens zijn, zoals bekend, nooit aangetroffen.

Achteraf is het makkelijk om van verkeerde voorspellingen, zoals deze, te beweren dat die simpelweg oerdom waren. Maar kúnnen mensen wel beter leren voorspellen? Ja, schrijft Tetlock in zijn pas verschenen boek Supervoorspellers, op basis van zijn eigen onderzoek. Maar dan moeten ze het grondig en wetenschappelijk aanpakken.

Tetlocks onderzoek behelst twee omvangrijke studies naar voorspellen. Met de eerste begon hij al in de jaren 80; hij deed er eerder verslag van in in zijn academische boek Expert Political Judgment (2005). Tetlock rekruteerde 284 ‘experts’: mensen die voor hun werk (waarin ze gemiddeld ruim 12 jaar ervaring hadden) politieke en economische ontwikkelingen moesten analyseren. De deelnemers deden gedurende een aantal jaar in totaal 28.000 voorspellingen over onderwerpen binnen en buiten hun specifieke expertisegebied. Bij sommige vragen was het tijdsbestek wel vijf of tien jaar. En uiteindelijk bleek dat de gemiddelde expert geen betere voorspellingen deed dan, zoals Tetlock het formuleerde, „een chimpansee die met dartpijltjes gooit”.

Maar sommige mensen deden het wel beter dan andere. Hoe beroemder de experts waren, bijvoorbeeld, hoe slechter ze het deden. Dat komt, volgens Tetlock, doordat de media graag heldere, straightforward verhalen optekenen of uitzenden, niet van twijfelkonten maar uit de mond van zelfverzekerde mensen. En dat zijn meestal mensen die zich laten leiden door grote ideeën, grote ideologieën. Maar naarmate deelnemers aan het onderzoek dat deden, waren ze juist slechtere voorspellers. Aan mensen die maar één trucje kennen (‘egels’, zoals Tetlock hen noemt), heb je qua voorspellen weinig. Mensen die wél twijfelen, dus die flexibel zijn en veel verschillende mogelijkheden onderzoeken (Tetlock noemt hen ‘vossen’) deden het veel beter.

Slimme vossen

Voor zijn tweede grote studie haakte Tetlock aan bij het Amerikaanse inlichtingen-onderzoeksbureau IARPA (Intelligence Advanced Research Project Activity). Na het debacle met de massavernietigingswapens organiseerde IARPA in 2006 een geopolitiek voorspellingstoernooi voor onderzoeksteams, met voorspellingen met een maximumtermijn van een jaar. Tetlocks groep van duizenden vrijwilligers, mensen die wel zin hadden om „de toekomst van de wereld te voorspellen”, won zelfs van de inlichtingendiensten die over geheime informatie beschikten. Hoe? Tetlock liet zijn vrijwilligers individueel voorspellingen doen, keek wie daar het beste in waren en kende vervolgens meer gewicht toe aan de voorspellingen van die ‘supervoorspellers’. Een speciale groep, waar wel wat verloop in was, maar 70 procent van hen blééf, toen het onderzoek doorging, jaar in jaar uit supervoorspeller. Tetlock kent er nu een paar honderd.

Die slimme vossen waren trouwens niet per se geniaal. De vrijwilligers die zich hadden aangemeld, hadden meer intelligentie en kennis dan 70 procent van de bevolking, de supervoorspellers meer dan 80 procent van de bevolking. Maar de supervoorspellers hanteerden wél betere strategieën.

En het kan nóg beter. In vervolgonderzoek zag Tetlock dat teams van voorspellers (die elkaar niet ontmoetten, maar mailden) 23 procent nauwkeuriger voorspelden dan eenlingen. En een team van twaalf supervoorspellers deed het gemiddeld zelfs 50 procent beter dan een losse supervoorspeller. De teamleden hadden dan wel allemaal van te voren informatie over groepsdynamica gekregen, onder meer over het gevaar van groepsdenken (waarbij groepsleden vergeten kritiek op elkaar te leveren). Waarschijnlijk konden die teams meer uiteenlopende informatie bij elkaar krijgen. Of er zaten mensen bij die nieuwe informatie zó konden uitleggen en presenteren, dat anderen hun voorspelling op basis van die uitleg beter bijstelden.

Tetlock onderzoekt momenteel of zulke ‘superaangevers’ bestaan. En of er ‘supervraagstellers’ bestaan: mensen die vragen stellen die het überhaupt wáárd zijn om een voorspelling over te doen, vragen waar je zelf op had willen komen. Hij vermoedt dat daar de ‘egels’, met hun grote ideeën, de ‘vossen’ weleens zouden kunnen verslaan. Maar of die voorspelling uitkomt, zullen we moeten afwachten.