‘Wie belegt voor de oude dag, moet goed voorspellen’

Eis exacte voorspellingen van adviseurs, zegt psycholoog Tetlock. Alleen dan worden voorspellingen beter.

Psycholoog Philip Tetlock dagdroomt van een toekomst waarin overheden, bedrijven en opiniemakers hun voorspellingen niet meer baseren op anekdotes en subjectieve oordelen – een toekomst waarin mensen dat niet meer pikken, waarin ‘supervoorspellers’ betere voorspellingen doen.

Gaat die toekomst er echt komen?

„Het probleem zit daarbij aan de vraagkant”, zegt Tetlock aan de telefoon. „Zolang mensen die voorspellingen gebruiken hun adviseurs laten wegkomen met vaagheden, zal er niet beter voorspeld worden. Als je zegt ‘dit of dat kán gebeuren’, zonder tijdsbestek of kanspercentage, dan kom je overal mee weg. Ik denk dat een eventuele verandering ook geleidelijk zal gaan. Want als je een analist of een columnist met veel status bent, dan ga je je reputatie niet op het spel zetten.”

En de meeste mensen kennen ook maar drie standen van waarschijnlijkheid, schrijft u: ‘zeker wel’, ‘zeker niet’ en ‘misschien’. Willen mensen wel meer gradaties van waarschijnlijkheid, waar ze toch niet zoveel mee kunnen?

„De verandering zal ook niet komen van het grote publiek, maar van een elite. Mensen die grote bedrijven leiden, mensen van kwaliteitskranten en -tijdschriften. Het is geen eenvoudige materie.”

Maakt het in individuele gevallen echt uit of de kans op een gebeurtenis 68 of 72 procent is?

„Misschien hebben we zulke fijnmazigheid in de politieke wereld inderdaad niet nodig. Maar de Amerikaanse inlichtingendienst zei destijds dat ze zéker wisten dat Irak massavernietigingswapens had. Als ze beter waren geweest in het denken in waarschijnlijkheden, hadden ze misschien ‘75 procent kans’ gezegd. Naarmate mensen meer oefenen in het denken in verschillende gradaties van waarschijnlijkheden worden ze daar beter in. Niemand weet of de VS dan ook Irak waren binnengevallen, maar ze waren minder zeker van hun zaak geweest.”

Gaat IARPA op basis van uw onderzoek adviseren de CIA te hervormen?

„De National Intelligence Council is wel al van een 5-punts naar een 7-puntsschaal van kansen overgegaan. Ze zijn ook geïnteresseerd in het crowdsourcen van voorspellingen. Ik denk dat ons onderzoek daarbij niet geschaad heeft. Maar het kost tijd. Meestal gaan dat soort veranderingen heel geleidelijk in een bureaucratische organisatie. Ik ben nu 61 en ik verwacht niet dat ik een revolutie tot stand ga brengen, maar ik ben nog steeds optimistisch. Maar nogmaals, het probleem zit aan de vraagkant.”

Ja, en in talkshows zien mensen alleen populaire mensen die zelfverzekerd stellige meningen verkondigen.

„Daar maak ik me ook zorgen over. Maar ik hoop dat de politieke elite en de media zich wat dat betreft beter gaan gedragen.”

Maar gaat de meerderheid van de mensen het denken in waarschijnlijkheden dan ooit accepteren?

„Dat zal tijd kosten, maar ik denk dat mensen geleidelijk sceptischer worden en meer fijnmazigheid in voorspellingen gaan verwachten. Als je handelt in termijncontracten voor olie of je adviseert de president, dan kan dat cruciaal zijn. Maar ook voor gewone mensen die geld voor hun oude dag willen beleggen en moeten kiezen tussen bedrijven die verschillende opbrengsten beloven met verschillende mates van zekerheid. Al zijn er natuurlijk ook categorieën van problemen waar het heel moeilijk wordt om voorbij ‘ja-nee-misschien’ te komen. Ga je met persoon A of met persoon B trouwen, met wie zul je gelukkiger worden – tja, hoe fijnmazig kun je dan zijn?”

U geeft ook geen kanspercentage bij uw eigen toekomstdroom. Heeft u zelf weleens geprobeerd mee te doen met voorspellen, bent u er goed in?

„In het tweede jaar van het onderzoek heb ik voorspellingen gedaan. Ik moet wel een voorbehoud maken: op een bepaalde manier heb ik vals gespeeld. Ik had toegang tot alle voorspellingen en ik had heel makkelijk goed kunnen scoren door het gemiddelde antwoord te geven van alle supervoorspellers. Dan zou ik het beter doen dan de supervoorspellers zelf. Maar ik wilde proberen om dat algoritme te verslaan – en als gevolg daarvan kwam ik niet op de 2de plaats maar op de 35ste plaats terecht.”

Maar u wist uit uw eigen onderzoek dat dat een goed algoritme was!

„Tja, ik ben ook maar een mens. Ik had intuïties over bepaalde voorspellingen, ik dacht dat ik het beter wist. Zulke intuïties zijn heel moeilijk te negeren.”

Zou uw onderzoek eigenlijk niet door een onafhankelijke onderzoeksgroep gerepliceerd moeten worden?

„Onze resultaten repliceren goed over de jaren heen in goed gecontroleerde en volkomen transparante omstandigheden, maar ik ben het er absoluut mee eens dat anderen dit soort onderzoek ook moeten gaan doen. Ik zou graag zien dat het ook in andere landen gebeurt.”