Fysici achten de kans op een toevallige vondst HEEL klein

Eens in de zoveel tijd komt het weer terug, de verwarring over de definitie van de p-waarde in de statistiek. Zelfs internationaal befaamde natuurkundigen ontkomen er niet aan, zo blijkt uit de column van Robbert Dijkgraaf (Wetenschap, 19 december). Hij heeft het over de statistische norm bij het ontdekken van nieuwe deeltjes, de ‘vijf sigma’, die hij als volgt definieert: ‘Dat betekent een kans van 1 op 3,5 miljoen dat het puur toeval is…’ Het woord ‘het’ duidt dan op de vondst, een signaal voor het mogelijk bestaan van een nieuw deeltje.

Helaas voor hem (en vele anderen) werkt de statistiek meestal niet zo, maar volgt men een lastige omgekeerde redenering, die als volgt gaat:

We nemen eerst aan dat er in werkelijkheid geen signaal is, geen nieuw deeltje, en dat de vondst dus inderdaad puur toeval is. Dat is de uitgangssituatie, ook wel de nulhypothese genoemd. Dan gaan we berekenen wat de kans is op nog zo’n ‘toevallige vondst’ als we het experiment vele malen zouden herhalen. M.a.w.: hoe vaak mogen we rekenen op zo’n ‘toevallige vondst’ als er dus in feite niets te vinden is? Die kans is de p-waarde.

Als nu die kans heel klein is (we mogen zelf kiezen hoe klein), besluiten we de nulhypothese te verwerpen, en de vondst als ‘niet toevallig’, dus echt iets nieuws, te beschouwen. De natuurkundigen hebben gekozen voor een HEEL kleine kans op zo’n toevallige vondst, en zullen dus maar heel zelden kunnen besluiten dat ze echt iets nieuws hebben gevonden.

Het verwarrende blijft dus dat je begint met een aanname van geen signaal (de nulhypothese) en dat de p-waarde dan onder die aanname iets zegt over wat je zult vinden als je het experiment vele malen herhaalt; maar dat doen we niet, we gebruiken het om iets te zeggen over dit ene experiment.