Het ‘vijf sigma’ criterium en de kans op een nieuw deeltje

In het stukje ‘Psycholoog tobt met statistiek”’ (Wetenschap, 31 oktober) wordt de p-waarde beschreven als de kans dat een gevonden verschil tussen twee groepen in het experiment op toeval berust. Dat is fout. De p-waarde geeft de kans aan dat een verschil tussen de groepen wordt gevonden, als er (slechts) sprake is van toeval. Dat is iets heel anders. Het internet staat vol met gevolgen van deze onjuiste interpretatie, waaronder de beruchte Prosecutor’s Fallacy. In zijn recente column ‘Het kijk-elders effect’ (Wetenschap 19/20 december) beschrijft Robbert Dijkgraaf het ‘vijf sigma’ criterium voor de ontdekking van een nieuw deeltje als „een kans van 1 op 3.5 miljoen dat het (de uitkomst van het onderzoek, BvW) ) puur toeval is”. Dat is ook fout. Het ‘vijf sigma’ criterium beschrijft de kans dat een soortgelijke uitkomst wordt verkregen, gegeven dat er slechts sprake is van toeval, en niet de kans dat het toeval is, gegeven de uitkomst van het onderzoek. Om die laatste kans in te schatten is meer informatie nodig dan alleen de statistiek van het onderzoek. Zo zal het nogal uitmaken of een zinnige of onzinnige theorie getest wordt. De correcte toepassing van het ‘vijf sigma’ criterium is niet afhankelijk van wat er nu precies getest wordt, en is in die zin objectief, maar laat geen inschatting mogelijk van ‘de kans op toeval’ van een specifiek onderzoek zonder verder informatie.

Naschrift Robbert Dijkgraaf

Bart van Wees geeft correct aan dat het vijf-sigma-criterium gebaseerd is op de berekening van de kans dat het gemeten effect louter en alleen door het toeval wordt geproduceerd. De tekst in de column was hier wellicht wat ambigu. Omdat de quantumtheorie intrinsiek op waarschijnlijkheden is gebaseerd, kan natuurlijk nooit een individuele gebeurtenis toegeschreven worden aan een al dan niet aanwezig fysiek effect. Hier moet aan worden toegevoegd dat, naast het look-elsewhere effect, de vaak onderschatte systematische fouten een andere belangrijke reden zijn de statistische lat zo hoog te leggen. Denk aan de neutrino’s die sneller dan het licht leken te gaan.