Opinie

Voorbeeldige supporters bij de Fieldlab-proeven

Column Cecile Janssens vraagt zich af of de Fieldlab-proeven niet te optimistisch worden gepresenteerd.

Cecile Janssens

Hoe kunnen we in coronatijd grote bijeenkomsten veilig organiseren? Dat is de vraag waarmee de onderzoekers van de Fieldlab-evenementen zich bezig houden. De vraag die mij al weken bezighoudt is waarom zij denken dat hun onderzoek dat antwoord kan geven. Ik heb hierover grote twijfels.

Media meldden vorige week dat voetbalwedstrijden veilig gehouden kunnen worden met de helft van het publiek. De aanbeveling voor de veilige organisatie van de wedstrijden staan in het recente Fieldlab-rapport waarover het Outbreak Management Team (OMT) deze week advies uitbracht aan het kabinet. Het OMT nam de meeste aanbevelingen over maar adviseerde om bovenop de negatieve coronatest een gezondheidscheck bij de ingang verplicht te stellen. Zodat er zeker geen besmettelijke bezoekers worden toegelaten, luidde de toelichting.

Die extra voorwaarde vond ik opmerkelijk. Het rapport schrijft dat de check bij de drie testwedstrijden zorgde voor oponthoud bij de ingang en dat geen enkele bezoeker alsnog de toegang werd geweigerd. De onderzoekers raadden de check af, maar het OMT nam die aanbeveling niet over. Zou het OMT ook twijfelen aan de resultaten van het onderzoek?

Tijdens de Fieldlab-evenementen bestuderen de onderzoekers het gedrag van de bezoekers. Ze verdelen de bezoekers in groepen die gescheiden van elkaar verschillende coronaregels naleven. De onderzoekers meten hoe vaak deelnemers zich verplaatsen, hoeveel contacten ze daarbij opdoen en hoe dicht ze bij anderen in de buurt komen. Deze gedragsmetingen worden met tal van andere factoren opgenomen in een model waarmee ze voor elk van de groepen het aantal besmettingen voorspellen. Zo weten ze welke maatregelen veilig zijn.

Hype of reëel vooruitzicht

Dat de onderzoekers kiezen voor een modelstudie begrijp ik. Een modelonderzoek kan antwoord geven op vragen die je niet of niet makkelijk kunt onderzoeken met echte deelnemers. Wij onderzochten vijftien jaar geleden met modellen of dna-testen ziekten als diabetes type 2, hart- en vaatziekten en kanker zouden kunnen voorspellen. De verwachtingen over de dna-testen waren hooggespannen, maar de genen moesten nog ontdekt worden. Stel dat onderzoekers 400 genen gaan vinden voor diabetes type 2, hoe goed kunnen we dan de ziekte voorspellen? Zijn de testen een hype of een reëel vooruitzicht?

Een modelonderzoek geeft in korte tijd antwoorden op veel vragen. Als je weet welke factoren de kans op besmettingen tijdens grote bijeenkomsten beïnvloeden, dan kun je in een model die factoren variëren en eindeloos veel combinaties of scenario’s onderzoeken. Hoeveel besmettingen verwachten we als het voetbalstadion voor 50 procent bezet is en bezoekers niet van hun plaats mogen? Wat als de bezetting 80 procent is en bezoekers zich in de pauze mogen verplaatsen?

Een modelstudie kan waardevolle resultaten opleveren, maar het blijft bedacht door de onderzoekers. Welke resultaten je krijgt hangt af van hoe je het model ontwerpt en welke data, je erin stopt. Je moet als onderzoeker aannemelijk maken dat het model klopt en dat de data die je erin stopt realistisch zijn. En daarin schiet de rapportage van Fieldlab tekort.

Een model klopt als het aantal voorspelde besmettingen overeenkomt met het werkelijke aantal, maar hoeveel bezoekers er tijdens de evenementen besmet raken weet Fieldlab niet. De coronatest na afloop is niet verplicht. Dat 80 procent van de deelnemers de test vrijwillig doet is veel, maar niet voldoende. Het gaat om zeldzame besmettingen. Je wilt een model dat de besmettingen nauwkeurig genoeg voorspelt om te voorkomen dat een scenario veilig lijkt maar het niet is.

Rooskleurige data

De data zijn realistisch als ze representatief zijn voor de toekomstige bezoekers van voetbalwedstrijden en ook dat is de vraag. De bezoekers aan de testevenementen wisten van het doel van het onderzoek en droegen een sensor die hun gedrag registreerde. Zij hebben zich wellicht meer aan de regels gehouden om het onderzoek niet te ondermijnen. Hun gedrag is mogelijk voorbeeldiger dan dat van toekomstige bezoekers. Als het model niet getoetst is en de data wellicht te rooskleurig zijn, hoe weten we dan dat de voorspellingen van het aantal besmettingen nauwkeurig zijn?

Wie het onderzoeksrapport leest vindt niets over deze kanttekeningen. Het rapport vertelt in grote lijnen hoe het onderzoek is uitgevoerd, maar een gedegen onderbouwing ontbreekt. Ook de beschrijving van het model in de technische bijlage is uiterst summier en de aannames voor het model worden niet verantwoord. Dat is ongehoord en onacceptabel.

Toch kennen de onderzoekers de kanttekeningen wel degelijk. Ze staan niet in het rapport, maar in de Volkskrant. Daar lezen we dat Bart Kolen, de onderzoeker achter het rekenmodel, „de eerste [is] die zal toegeven dat zijn model vol onzekerheden en aannames zit.” En dat Andreas Voss, de hoofdonderzoeker van de Fieldlab-evenementen, het betreurt dat ze de achteraftest niet mochten verplichten.

Een model dat niet getoetst is. Vol aannames en onzekerheden. Dat mag het OMT dan gebruiken om het kabinet te adviseren over de grote bijeenkomsten. Doe die extra gezondheidscheck bij de ingang maar.

Cecile Janssens is hoogleraar translationele epidemiologie aan Emory University in Atlanta.