Statistische problemen, waar het artikel tóch niet op sneuvelde

“Evidence for a limit to human lifespan” bestaat uit twee analyses: één over recordbejaarden, en één over bevolkingsdata. Volgens kenners zijn ze allebei twijfelachtig.

Het artikel Evidence for a limit to human lifespan bevat twee verschillende analyses. De ene gaat over de alleroudste bejaarden sinds de tweede helft van de twintigste eeuw. Worden zij steeds ouder, of niet? Hierover staan twee grafieken in het artikel. De belangrijkste (hieronder links) is gebaseerd op de International Database on Longevity. In de appendix staat een soortgelijke grafiek (hieronder rechts) over de database van de Gerontology Research Group. Jeanne Calment, die in 1997 op 122-jarige leeftijd overleed, is het hoogste datapunt in beide grafieken.

Het team van Jan Vijg betoogt dat er rond 1995 een trendbreuk optrad: de leeftijdskampioenen werden niet meer ouder. De datapunten vóór de kentering zijn blauw gekleurd, die erna rood. Het maximum in de IDL ligt ongeveer bij 115 jaar. (Bron grafieken: Nature)

Statistici bekritiseren dat de auteurs bij voorbaat aannamen dat er een kentering optrad rond 1995. Jan Vijg zei eerder tegen NRC dat dat met één blik op de grafiek duidelijk is. „Je hebt eigenlijk geen statistiek nodig als je het met je eigen ogen kunt zien.” Daar pasten de auteurs de statistische trendanalyse op aan.

Critici betogen dat je een trendbreuk eerst statistisch moet afleiden uit de data. Verschillende vakgenoten zien in de data juist een doorgaande trend omhoog, zij het met grote uitschieters (zoals Jeanne Calment). „Ik zie een lijn die doorloopt, omhoog”, zei hoogleraar ouderengeneeskunde Rudi Westendorp.

Dan is er nog de beperkte hoeveelheid gegevens – in de linkergrafiek staan bijvoorbeeld slechts 33 kampioen-bejaarden. Reviewer Jean-Marie Robine vindt dat je met een analyse van alleen die recordhouders geen vergaande conclusies kan trekken over de levensduur van de mens. “Zo kijk je te veel naar de details”, zei hij in Utrecht.

Er zijn ook slordigheden. Zo is in de rechter grafiek niet de jaarlijkse Maximum Reported Age at Death (MRAD) aangegeven (vandaar dat er jaren ontbreken). Ook vragen collega’s zich af waarom de sterfdata naar beneden afgerond zijn. Op twee plaatsen in het artikel staat ´leeftijd’ waar ‘kalenderjaar’ bedoeld is.

Overleving in 41 landen

De andere analyse gaat over de overleving van mensen in 41 landen uit de Human Mortality Database. Vijg zette Frankrijk centraal in zijn artikel; de andere 40 landen staan in de data-appendix.

Eerst Frankrijk. De linkergrafiek hieronder gaat over de periode tussen 1914 en 2014. Er wordt getoond dat in die periode de grootste winst werd geboekt in de overleving van geboorte tot 103 jaar (vrouwen) en tot 101 jaar (mannen). Daar ligt de piek in de grafiek. Na die piek (dus bij 104 tot 110 jaar) loopt de grafiek naar beneden. Dat betekent dat de toename in de tijd van de overleving tot nóg hogere leeftijden dan 101 of 103 jaar, lager is.

In de rechtergrafiek zijn zo’n honderd van die winstpieken achter elkaar gezet. Het laatste datapunt in de rechtergrafiek gaat dus over de piek in de periode 1914-2014, die we in de linkergrafiek zien. Al sinds de jaren 1970 loopt de rechtergrafiek redelijk vlak. Volgens Vijg betekent het: de rek in de levensduur van de mens is eruit.

Demograaf John Wilmoth (Verenigde Naties) wijst erop dat in de linkergrafiek de winst in de overleving tot de allerhoogste leeftijden weliswaar minder is dan het maximum, maar dat er nog altijd sprake is van winst (waarden boven 0). “Zolang de overlevingskansen vanaf geboorte tot elke leeftijd toenemen, neemt ook de levensverwachting toe. Dus kun je op basis hiervan onmogelijk betogen dat een plafond bereikt is.” Volgens Joop de Beer (NIDI, Den Haag) heeft iemand van 115 nog altijd 40 procent kans om 116 te worden.

Er is ook een inhoudelijk bezwaar. Vóór 1950 droegen bejaarden nauwelijks bij aan de toename van de levensverwachting bij geboorte: toen ging het meer om bestrijding van kindersterfte en infectieziekten. Als je iets wil zeggen over huidige toename van de leeftijd van ouderen, vertekent het als je in 1914 begint.

Nog belangrijker wellicht is methodologische kritiek. “Er zijn gewoon te veel statistische problemen met deze publicatie”, zegt demograaf Adam Lenart (Max Planck Instituut Odense). Hij betoogt onder meer dat de vorm van de linkergrafiek (die met de piek) sterk afhankelijk is van een arbitraire aanname. Het gaat om een getal dat je nodig hebt om overlevingscijfers die de waarde 0 hebben (iedereen is dood), netjes om te rekenen naar logaritmes.

Dat geeft een probleem in deze analyse, omdat nogal veel overlevingscijfers 0 zijn. Tot de jaren zestig werd bijvoorbeeld niemand in Frankrijk 110. Lenart reconstrueerde de berekeningen van de pieken, om zijn punt te illustreren. Op die pieken zijn Vijgs conclusies gebouwd over de levensduur van de mens. Demograaf Joop de Beer (NIDI, Den Haag) bevestigt het probleem, maar auteur Brandon Milholland ontkent dit. “Als ik een andere waarde kies, zie ik grotendeels dezelfde resultaten.”

Demografen hebben er bovendien moeite mee dat alle 41 landen uit de Human Mortality Database op dezelfde manier geanalyseerd zijn en evenveel gewicht krijgen. John Wilmoth, één van de coördinatoren van de HMD: “Veel landen in de HMD hebben dataproblemen. Dat hebben we heel duidelijk gemaakt, en auteurs moeten daar rekening mee houden.”

Sommige landen hebben een afwijkende geschiedenis dan de westerse. De Oost-Europese landen kenden bijvoorbeeld nog lange tijd veel sterfte op jonge leeftijden. Een ander probleem is de beperkte lengte van sommige dataseries: de gegevens van Chili beginnen pas in 1992.

Daardoor, en door de problemen met de rekenmethode, zien de grafieken van veel van de landen er onwaarschijnlijk uit. Enkele voorbeelden:

Milholland zegt dat hij bewust alles heeft laten zien. “Het zou oneerlijk zijn om te zeggen: die en die passen niet bij het patroon, ik haal ze eruit. Op deze manier kun je alles voor jezelf nagaan .”

Dit overzicht is gebaseerd op gesprekken met Adam Lenart, Joop de Beer, Brandon Milholland en John Wilmoth; en verder op commentaar van Peter van der Heijden, Jean-Marie Robine, Jonas Schöley, Jim Vaupel, Jan Vijg, Daniel Wells, Philipp Berens & Tom Wallis, en Rudi Westendorp. Meer is te vinden op de webfora Publons en Pubpeer, en op de blog Ask a Swiss.