Rens van de Schoot, hoogleraar statistiek in Utrecht, verzamelde vorig jaar al het onderzoek naar posttraumatische stressstoornis (PTSS) na een plotselinge traumatische gebeurtenis. Hij wilde weten: hoeveel mensen krijgen er dan geen PTSS, hoeveel pas na een tijdje en hoeveel metéén, en is het dan chronisch of herstellen ze? En wat is daarover bekend in álle onderzoeken die er tot nu toe naar gedaan zijn? In één onderzoek zit altijd ruis; combineer je er meer, dan middelt dat uit.
Het probleem is: als je in online wetenschappelijke bibliotheken naar artikelen zoekt, bijvoorbeeld over PTSS, spugen die altijd véél meer artikelen uit dan voor jouw specifieke vraag van belang zijn. Van de Schoot vond 5.822 artikelen over PTSS, waarvan er maar 34 relevant bleken voor zijn vraag. „De andere gingen bijvoorbeeld over dieren, of over langdurig trauma zoals huiselijk geweld.”
Wetenschappers doen vaak dit soort zoektochten. Ook om bijvoorbeeld een behandelrichtlijn voor een aandoening te maken, moet je alle onderzoeken ernaar combineren. Tijdrovend, want: „Je kunt van ongeveer veertig artikelen per uur de titel en samenvatting beoordelen. Toen ik drie van zulke projecten gedaan had, dacht ik: dit moet sneller kunnen.”
Kan een computer dat lezen en beoordelen niet doen, dacht hij. „Op de universiteit was net geld beschikbaar voor IT-projecten die ook mochten falen. Bijzonder, want bij de meeste wetenschappelijke beurzen moet je van tevoren al zeggen wat er uit je project komt.” Van de Schoot kreeg 25.000 euro. Hij zocht er wetenschappers, bibliotheekpersoneel en twee programmeurs bij, Parisa Zahedi en Jonathan de Bruin. Die laatste twee zijn een deel van het gesprek aanwezig om technische informatie aan te vullen, Zahedi fysiek en De Bruin via Skype in een iPad op de kast.
Van de Schoot vertelde de programmeurs wat hij wilde: een computerprogramma dat titels en samenvattingen (abstracts) van wetenschappelijke artikelen op relevantie kan beoordelen, dat daarvoor zo min mogelijk artikelen nodig heeft als training (want die moeten eerst door een mens beoordeeld worden), en dat zo veel mogelijk artikelen terecht als irrelevant bestempelt, en liefst nul artikelen ónterecht. „Toen lachten ze me uit.” Te moeilijk.
Toch is er nu een prototype dat bij een literatuuronderzoek naar depressie 80 procent van meer dan tienduizend artikelen terecht als irrelevant weggooide en maximaal vijf relevante artikelen miste, liet het team van Van de Schoot eind vorig jaar op een congres zien. Een programma van anderen (er bestaan er drie) gooide bij verschillende searches maximaal 30 procent als irrelevant weg.
Hoe voeren onderzoekers die abstracts in? Niet één voor één, toch?
„Bij een zoekopdracht in een wetenschappelijke database kun je de resultaten opvragen in de vorm van een groot tekst- of Excelbestand. Dat bestand voer je in. Iedereen die de programmeertaal Python kent, kan onze software nu al gebruiken. Het staat open source op softwaresite GitHub, ik geloof sterk in open science. We hebben nog geen interface, dat is de volgende stap. Dat is niet moeilijk, daar moeten we gewoon eens een week aan besteden. Mijn droom is een Tinder-achtige app waarbij je eerst vijftig artikelen naar links of naar rechts swipet, waarna de app zegt: ik weet genoeg, ga maar koffie drinken en kom over een uurtje terug. Maar eerst moeten we het active learning-deel afmaken.”
‘Active learning’?
„Andere software selecteert random de artikelen die onderzoekers zelf moeten beoordelen om de software te trainen. Bij onze software trainen we het model na elke vijf gelezen artikelen opnieuw; vervolgens selecteert de software nieuwe artikelen voor de onderzoeker om te beoordelen: artikelen die de meeste informatie aan het model geven. De uitkomst van het programma is per artikel de kans dat dat artikel relevant is. Dus als de onderzoeker over artikelen met een kans van rond de 50 procent aan de software vertelt ‘deze wel of niet’, is dat het meest informatief. Deze techniek is nog niet eerder zo met tekst gebruikt, alleen met plaatjes. Het vergt heel veel rekenkracht: mijn computer hier kan het al niet meer en die heeft een i32-processor; jij hebt waarschijnlijk i5. Je hebt een cluster computers nodig om het te draaien.”
De software leest alleen abstracts. Kun je niet beter hele artikelen laten lezen?
„Dat willen we wel, ja! Soms zit de beslissing niet in de abstract, maar in het methodedeel. Maar daarmee raak je aan ‘Plan S’: de Europese Unie wil dat in 2020 alle wetenschappelijke artikelen open access zijn, dus dat ze allemaal door burgers gelezen kunnen worden. Dat is volgend jaar, maar het is nog onduidelijk wie het gaat betalen. Laatst heb ik een tijdschrift 5.000 euro betaald om een artikel open access te kunnen publiceren. Indirect betaalt de belastingbetaler dat dus. Dat is absurd.”
Waarom is dat hier relevant? Als wetenschapper heb je toch toegang tot alle artikelen?
„Dat zou je denken, hè? Onze bibliotheek heeft veel abonnementen. Als hier Oost-Europese studenten op cursus komen, zitten ze vaak tijdens de les tientallen artikelen te downloaden waartoe hun bibliotheek thuis geen toegang heeft. Maar ook wij hebben niet alles. En ik mag geen tien- of twintigduizend artikelen in één keer downloaden van Elsevier: als ik daar een scriptje voor schrijf, word ik geblokkeerd.
„Wat ik zou willen, is met onze software tienduizend artikelen op basis van de abstract terugbrengen tot tweeduizend; die downloaden is nog te doen. Die kun je dan full text weer door de machine laten lezen en terugbrengen tot tweehonderd, die je nog zelf moet lezen en beoordelen.”
Is dit eigenlijk een zijpad in uw onderzoek? Wat is de hoofdlijn?
„Ik doe onderzoek naar bayesiaanse statistiek: kansberekening waarbij je ook voorkennis meeneemt in je modellen, bijvoorbeeld kennis van experts of uit eerdere artikelen. Dit past daar dus helemaal in.”