Belangrijk: Voor het goed functioneren van nrc.nl maken wij gebruik van cookies (meer informatie).
Hiervoor hebben wij wel eerst je toestemming nodig. Klik op de groene knop als je hiermee akkoord gaat.

‘Professioneel nerd’ Nate Silver voorspelde de uitslag perfect

natesilver

Obama was gisteren niet de enige winnaar. Nate Silver, politiek blogger voor The New York Times en professioneel nerd, won ook. Hij voorspelde alle uitslagen voor de verkiezingen, inclusief alle staten, correct. De verkoop voor zijn boek The Signal and the Noise: Why So Many Predictions Fail – but Some Don’t steeg alleen op Amazon sindsdien al met 500 procent.

Op zijn blog analyseerde Silver peilingen van verschillende bronnen om in te schatten hoeveel kiesmannen iedere kandidaat zou winnen. Vier jaar geleden voorspelde hij 49 van de 50 staten al goed. Met zijn berekeningen voorspelde hij nu de hele uitslag correct, terwijl andere analisten beweerden dat de race om het presidentschap niet te voorspellen zou zijn. De kandidaten zouden in peilingen te dicht bij elkaar liggen.

Wiskundig model kan de uitslag voorspellen

Volgens Silver had Obama meer dan 90 procent kans om opnieuw verkozen te worden. Met een wiskundig model kon hij de uitslagen zo accuraat voorspellen. Sinds de definitieve uitslag wordt Silver alom geprezen.

Dat was daarvoor niet altijd het geval. Silver is uitgesproken Obama-aanhanger en riep vaak weerstand op bij conservatieve analisten. Die beweerden dat statistische modellen ons niets kunnen vertellen over verkiezingen. Republikein en televisiepersoonlijkheid Joe Scarborough liet nog tot kort voor de verkiezingen weten dat Silver’s berekeningen niet serieus mochten worden genomen. De reactie van Silver destijds:

“All you have to do is take an average, and count to 270. It’s a pretty simple set of facts. I’m sorry that Joe is math-challenged.”

Hij daagde Joe Scarborough zelfs nog uit tot een weddenschap, die de laatste niet aannam. De whizzkid had anders tweeduizend dollar in zijn zak kunnen steken, maar de verkoop van het boek maakt vast een hoop goed. Kort na de uitslagen tweette hij:

Twitter avatar fivethirtyeight Nate Silver This is probably a good time to link to my book: http://t.co/cVCB3gVn 7 november

Ook anderen pleiten sindsdien vol overgave voor voor het geeky statistische journalisme van Nate Silver:

Twitter avatar Poynter Poynter Nate Silver wins & data is vindicated: http://t.co/4CHtrb4o So who's an embarrassment to journalism now? 7 november


Twitter avatar mashable Pete Cashmore Triumph of the Nerds: Nate Silver Wins in 50 States http://t.co/amdu9RRq 7 november


Twitter avatar emom 7 november

En zelfs zijn grootste vijanden, zoals de conservatieve blogger Dylan Byers, moesten hun verlies toegeven:

Twitter avatar DylanByers Dylan Byers Nate Silver nailed it. 7 november


Twitter avatar DylanByers Dylan Byers ...I called him for an interview, but haven't heard back. 7 november

Lees meer over:
Amerikaanse presidentsverkiezingen
Nate Silver
Nerds
Wiskunde

24 reacties op '‘Professioneel nerd’ Nate Silver voorspelde de uitslag perfect'

Jan van der Laan

Ik heb vanaf oktober de site http://www.electoral-vote.com gevolgd, zoals ik ook in 2004 en 2008 deed. Ook dit jaar gaf deze site een duidelijk overzicht. En eigenlijk is het nooit spannend geweest.

Willem van Oorschot

Een interessant artikel, maar wilt u, de redacties van de NRC, alstublieft stoppen met het koketteren met termen als “nerd” en “geeky”? Het is bijzonder kinderachtig en vervreemdend. Kan iemand gewoon intelligent zijn zonder dat er gekscherend met dit soort termen wordt geschermd? Ik weet dat Alexander Klöpping veel harten heeft veroverd in de kwaliteitsmedia, maar deze terminologie is misplaatst en voegt niets toe.

vonsalza

Algo’s nemen de wereld over

Gio

Jan…waarom zei je dat niet eergister. Nu is jouw reactie onbetrouwbaar, eigenlijk ook te makkelijk achteraf.

Bob Brand

De site http://www.electoral-vote.com is van VU hoogleraar Andrew Tanenbaum (beroemd computerwetenschapper en ‘The Votemaster’ genaamd). Tanenbaum heeft tot november 2004 zijn identiteit geheim gehouden.

Bij de presidentsverkiezingen 2004 bleek het algoritme op basis van het gemiddelde van meerdere dagen met polls (de ‘non-partisan polls’) het beste te presteren. Bij de senaatsverkiezingen 2006 was de score 100% en bij de presidentsverkiezingen 2008 was er maar één staat onjuist ge-forecast.

Helemaal nieuw zijn dit soort resultaten dus niet, maar het is zeker knap van Nate Silver – een beetje geluk komt er ook wel bij kijken, om 100% nauwkeurig te zijn. Of die prestatie herhaalt kan worden moet nog blijken.

Robertus V.

Can’t beat math..

Folkert Dekens

Vakmanschap – wiskundig talent, toewijding, geduld, politiek inzicht en een gevoelige neus voor trends en psychologische sentimenten die meedoen tijdens de verkiezing. Om herhaaldelijk de juiste uitslag te voorspellen moet meneer Silver m.i. een duizendpoot zijn, specialist en generalist in één..

@v.Oorschot: met u eens, wie zich langdurig concentreert en verdiept in een complex onderwerp geldt tegenwoordig al gauw als zonderling, nerd, autist; met zulke woorden neemt de schrijver m.i. wat afstand van het onderwerp en doet dat misschien ook om de lezer te sparen (“rustig doorlezen hoor, een rare smurf, ik snap het ook niet”)

Sjaakie Klaassen

Nate Silver verdient de eer. Geweldig statisticus. Voice of reason.

Chlestakov

Ook ik ben een groot fan van Andy Tanenbauw alias The Votemaster en heb electoral-vote.com. Ik heb hem het afgelopen jaar dagelijks gelezen en ik heb dagelijks meer dan een keer gelachen om zijn zeer geestig geformuleerde, zeer juiste commentaren.

Maar in die commentaren ligt dan ook zijn kracht. Wat hij met de peilingen doet is niet opzienbarend – gewoon middelen over een bepaalde periode. (Wel nam hij heel tijdig de goede beslissing een ‘Rasmussen free map’ te publiceren – Rasmussen, een zeer actieve en populaire pollster, komt er in de post-mortems inderdaad heel slecht af.)

Maar Nate Silver dus, die durft al die polls ook echt te interpreteren en op basis van die interpretaties voorspellingen te doen. Die spot-on waren. Hulde!

Willem van Oorschot

@Folkert: Dat is best een positieve interpretatie, daar had ik nog niet aan gedacht. Men schat wel de discipline en intelligentie van de gemiddelde lezer laag in als dat de reden zou zijn.

Over de voorspellingen: Je kunt ook betrekkelijk nauwkeurig de uitslag voorspellen door simpelweg het gemiddelde van álle peilingen uit te rekenen, zoals RealClearPolitics deed. Alleen Virginia en Florida werden verkeerd ingeschat.

Scafloc

Sinds 2000 volg ik Electoral-vote. Op die site heeft volgens mij heeft Romney het afgelopen jaar slechts 2 dagen voorgestaan (ergens in het voorjaar). Dat gaf al aan dat het waarschijnlijk Obama zou worden
Goed beeld van de peilingen en zoals Chlestakov al zei leuk commentaar.

Tycho

Vergeet ook niet de site van Sam Wang, neurowetenschapper en political junkie: http://election.princeton.edu. Hij heeft de uitslag van voorgaande verkiezingen net als de huidige voorspeld aan de hand van de aggregatie van state polls, die meer betrouwbaar blijken dan landelijke polls.

Willem van Oorschot

Nog één ding: De hashtag #math dekt de lading niet. Het is vooral de lucide interpretatie van de cijfers die op de blog van de jongeman van belang is, niet het gehoorzamen aan mathematische modellen.

europeaan

@ vonsalzaAlgo’s nemen de wereld over7 NOVEMBER OM 17:51:
Niet algo’s nemen de wereld over: het gedrag van mensen is beter voorspelbaar dan dat die mensen denken.

europeaan

Nog eens doorgaand op de stelling dat algo’s de wereld zouden overnemen: ons gedrag is tot op grote hoogte voorspelbaar (uiteraard binnen statistische grenzen). Het idee dat die voorspelbaarheid niet goed zou zijn, verwerpelijk of zoiets getuigt van een geloof in individuele “uniekheid”. Met 6 a 7 miljard mensen op deze aardbol is dat geloof niet meer van deze wereld, noch ook van deze tijd. Als mensen aan dat geloof willen vasthouden: leef je uit! Maar weet dat je ook ook met dat geloof voldoet aan bepaalde algo’s (dat laatste weten is alleen beyond dat geloof….).

maarten beks

Ik heb vanavond nog eens de uitslagen vergeleken met de percentages die Nate voorspelde. De nauwkeurigheid van zijn laatste voorspelling is wel wat stappen verder dan wat wij hier in Nederland aan voorspellingen hadden.
Echt een hele goede voorspelling en middeling van de peilingen. Je kan ook zien in de state-by-state prediction dat het meer is dan een gemiddelde van de peilingen.

Henk

“professioneel nerd”, really?

Leslie

Tanenbaum’s electoral-vote.com was een van de eerste sites die liet zien dat de polls per staat een vrij nauwkeurige voorspelling van het aantal kiesmannen in het Electorale College mogelijk maakten. Geweldige site, ook qua presentatie. Nate Silver ging verder door met simulaties een foutenschatting te maken en daardoor een waarschijnlijkheid aan de voorspelling te geven. Ook inderdaad heel fraaie uitleg van hem.

Maar de nauwkeurigheid van deze berekeningen komt van de precisie van de staat polls. De manieren om die te corrigeren voor onbereikbare mensen, gebruik van mobieltjes, weigeringen om te antwoorden e.d. is zeer nauwkeurig gebleken.

Daarom heeft @maarten beks zo gelijk: het lijkt erop dat de polls die bij de laatste verkiezingen hier in Nederland gedaan zijn ordes van grootte slechter waren dan wat de Amerikaanse opinieonderzoekers voor elkaar hebben gekregen. Florida heeft 19 miljoen inwoners, vergelijkbaar met Nederland. De precisie van de polls in Florida was veel beter dan van elke poll hier in Nederland bij de laatste verkiezing.

godallemachtig

Perfect voorspellen van de toekomst is alleen theoretisch mogelijk in een wereld met deterministische natuurwetten waneer de voorspelling geheim
gehouden wordt. In de echte wereld gooit chaos vaak roet in het eten,
en is de voorspelling niet geheim.

Jan Buiten

Het was opmerkelijk dat de meeste Nederlandse journalisten het vlak voor de verkiezingsdag nog steeds hadden over een niet te voorspellen uitslag, terwijl het duidelijk was dat Obama in de meeste swing states een redelijke tot grote voorsprong had die in een paar dagen door Romney niet meer in te halen zou zijn. Steeds werd gewezen op het geringe verschil bij de popular vote, alsof dat er toe doet zoals we sinds 2000 (Al Gore) weten…

Lennard

Ongetwijfeld heeft Silver zeer goede kwaliteiten. Het blijft echter achteraf praten. Als hij het fout had, hoorde we er niets over. Hoeveel mensen (misschien wel net zo slim) hadden het fout waarvan we niets weten? misschien is hij 1 van velen die (toevallig) een juiste voorspelling heeft gedaan.
Vraag 100.000 apen hetzelfde te doen (zonder staten die er toch al niet toe deden ;) en minstens 1 zal een juiste voorspelling hebben gedaan.

Rutger

@Maarten Beks: Hoewel uiteraard zeer knap voorspeld is de vergelijking met peilingen in Nederland niet helemaal eerlijk. Hier worden peilingen nl. in zetels gepresenteerd. Dat maakt de foutmarge in het begin al 1,5 zo groot (100% moet worden vertaald naar 150 zetels). Nog afgezien van het feit dat er afgerond wordt omdat er geen halve zetels zijn.
Daarnaast is er geen prikkel om strategisch te stemmen, de winner-takes-all opzet maakt een derde kandidaat vrijwel onmogelijk. Dat maakt het peilen wel een stuk eenvoudiger. Heel weinig mensen (in Nederland, maar ook elders) switchen van een linkse naar een rechtse voorkeur, de verschuivingen zijn grotendeels binnen het linkse of rechtse blok. Belangrijker is wie wel en wie niet gaat stemmen, maar dat geldt ook voor de VS.

Michael Chernow

@Lennard: Nate Silver had het ook bij voorgaande verkiezingen bij het rechte eind. Hij doet ook geen voorspellingen, hij pakt de polls en komt tot een gemiddelde. De Huffington Post had een vergelijkbare aanpak en die kwam tot een overeenkomstige verwachting. Ik heb me erover verbaasd dat zijn methode niet of nauwelijks is opgepakt door Nederlandse kranten en zenders. In plaats daarvan werd verwezen naar een enkele poll, al dan niet met een rechtse bias (Gallup, Rasmussen). Misschien wilde men de spanning erin houden, maar het is ook goed mogelijk dat men zat te suffen. It’s statistics, stupid!

Ton

Als je een gemiddelde van alle peilingen neemt, kom je waarschijnlijk op hetzelfde als nate Silver.

Realclearpolitics kwam met ongeveer hetzelfde resultaat, misschien Florida een twijfelgeval.