Computer leert gedachtenlezen: denk ‘a’ of ‘u’ en hij weet dat

‘U-oe-u-a-e-oe’ klinkt het uit een laptop, in een blikkerige vrouwenstem. Een jonge vrouw stuurt de computer met haar hersenen aan. Zij zit in bed, met een tulband van verband om haar hoofd tot vlak boven haar ogen. Bij haar achterhoofd komt een bundel van kabels onder het verband vandaan. Via een tijdelijk implantaat zijn haar hersenen op de computer aangesloten. Op een scherm schieten zo’n honderdtwintig lijnen heen en weer: haar hersenactiviteit.

Anne, die om privacyredenen niet met haar achternaam in de krant wil, doet mee aan een wetenschappelijk experiment. Ze test een computerprogramma dat probeert te herkennen aan welke klinker de gebruiker denkt. Deze speelt het af – met haar eerder opgenomen stemgeluid. Om de hersenactiviteit tijdens die gedachten nauwkeurig af te lezen zijn bijzondere proefpersonen nodig: met elektroden in de hersenen.

Die vinden de onderzoekers hier bij Kempenhaeghe in Heeze, een Academisch Centrum voor Epileptologie. In dit centrum verblijven onder meer mensen met ernstige epilepsie die in het Maastricht UMC+ operatief tijdelijk diepte-elektroden hebben gekregen. Anne (31) heeft sinds haar derde een zware vorm van epilepsie. Dat is een ziekte waarbij in de hersenen plotselinge verstoringen ontstaan, een soort kortsluiting. Dit kan mentale of lichamelijke gevolgen hebben zoals verslappende spieren, spierspasmen, verlies van het bewustzijn (gedeeltelijk of volledig) of verwardheid.

Met medicijnen heeft Anne nog steeds twee à drie aanvallen per week, vertelt ze. „Dan draaien mijn ogen weg, en schokt mijn lichaam. Ik woon alleen dus dat kan best gevaarlijk zijn.” Ze werkte in de zorg maar moest ontslag nemen. De onregelmatige diensten triggerden aanvallen.

Vergelijkbaar patroon

Artsen houden Anne een paar kamers verderop in de gaten via de drie camera’s boven haar bed én een scherm dat haar hersenactiviteit toont. De komende drie weken zullen de elektroden onthullen waar in haar brein haar aanvallen precies ontstaan. Daaruit moet blijken of ze in aanmerking komt voor een operatie, om deze bron te verwijderen. Of misschien is de bron wel direct weg te branden met de elektroden, een nieuwe techniek. Zolang ze geen aanvallen heeft, doet ze mee aan het spraakonderzoek. Want ze moet drie weken blijven – ze is er nu drie dagen – en veel is er in de tussentijd niet te doen in haar kamer van zo’n drie bij vier meter. „Ik doe woordpuzzels of kijk tv.” Zo is Anne het centrum voor veel geavanceerde wetenschappelijke activiteit.

De laptop zingt oe’s en u’s door elkaar. Maar er zijn klinkers in te herkennen. Aan het begin van het experiment sprak Anne alle klinkers een voor een veelvuldig uit. Het systeem nam haar stemgeluid en hersenactiviteit op. Daarmee werd een algoritme getraind – elke klinker heeft zijn eigen patroon van hersenactiviteit. Nu denkt Anne alleen aan een klinker en vergelijkt het spraakprogramma haar hersenactiviteit met de patronen die het eerder zag. Het programma speelt de klinker af die gekoppeld is aan het meest vergelijkbare patroon.

Christian Herff kijkt toe bij het voeteneinde. Hij is onderzoeker aan de Universiteit Maastricht en sinds 2018 met dit spraakonderzoek bezig. Zijn doel is om mensen die niet meer kunnen praten via een computer hun spraak terug te geven. Maar zo ver is het nog niet.

De klinkers die nu uit de computer komen, klinken al veel natuurlijker

Christian Herff onderzoeker

Eind september publiceerde Herff over een eerste proefpersoon bij wie het lukte om met een computerprogramma honderd woorden in hersenactiviteit te herkennen (de proefpersoon dacht aan het woord) en in een grafiek voor geluid (spectrogram) om te zetten. Het woord was nog niet verstaanbaar, maar had wel dezelfde lengte en hetzelfde ritme. „De klinkers die nu uit de computer komen, klinken al veel natuurlijker”, zegt Herff enthousiast. Al kun je met alleen klinkers niet spreken. Herff kijkt nu met onderzoeker in opleiding Maxime Verwoert of mensen beter worden in het aansturen van het spraakprogramma door te oefenen.

Dunne elektroden

Onderzoek doen ze met mensen die wél kunnen praten, omdat Herff het systeem leert hersenactiviteit te koppelen aan woorden of klinkers die proefpersonen hardop uitspreken. „Bij mensen die niet meer kunnen praten zouden we het systeem misschien kunnen trainen met opnames van hen van vóór ze hun spraak verloren.”

Het implantaat bestaat uit meerdere dunne elektroden met elk 5 tot 18 contactpunten, kleine metalen plaatjes. Deze zijn in de hersenen geplaatst tijdens een operatie. Daar registreren ze elektrische activiteit van hersencellen. Hoe meer elektroden, hoe meer meetpunten. Anne heeft er dertien, met in totaal zo’n 120 contactpunten. De meeste elektroden zitten in haar rechter hersenhelft. „Op basis van eerdere hersenonderzoeken denken we dat haar aanvallen daar ontstaan”, zegt neuroloog Simon Tousseyn. Uit de activiteit die de elektroden tijdens een aanval registreren moet blijken waar in de hersenen de epilepsiebron zit. Als deze niet ligt in een gebied met een belangrijke functie en ook bereikbaar is, dan kan de bron tijdens een latere operatie worden weggesneden.

Zo veel mogelijk data

Als opereren geen optie is, komt ze misschien in aanmerking voor een nieuwe behandeling, die Tousseyn via het tijdelijke implantaat kan uitvoeren. Door een elektrode onder stroom te zetten, kan deze flink heet worden. Tousseyn: „Zo verbrandt een klein stukje van de hersenen, ongeveer de dikte van een balpen.” Dit kan een oplossing zijn als de epilepsiebron diep in de hersenen zit. „Vroeger konden we voor deze mensen niets aan de oorzaak doen.” Een kwart tot de helft van de mensen die zo’n ‘micro-operatie’ krijgen is daarna aanvalvrij, ziet Tousseyn. Hoe eerder het lukt om aanvallen te stoppen hoe beter. „Na jaren van aanvallen kunnen weer nieuwe epilepsiebronnen in de hersenen ontstaan.”

Anne heeft geen hoge verwachtingen van het onderzoek met de implantaat. „Ik verwacht niet dat ze me kunnen opereren.” Neuroloog Tousseyn is positiever. „Als we geen mogelijkheden zouden zien dan zouden we het niet doen.”

‘Oe… U… Oe… U.” Langzaam komt er meer rust tussen de klanken. Anne lijkt meer controle te krijgen over de computer. Op het laptopscherm staat in het midden een U. Als Anne het gevoel heeft dat het is gelukt de computer hem uit te laten spreken, drukt ze de spatiebalk in. Nu verschijnt een E.

Wij hebben niet voor het kiezen waar de elektrodes komen en hoeveel het er zijn

Christian Herff onderzoeker

„We zijn al heel blij dat er geluid uit de laptop komt”, zegt Herff met een glimlach. Dat lukte bij een paar van de 28 patiënten die hij tot nu toe zag. Hersenen verschillen tussen mensen, legt hij uit. En de elektrodes zitten steeds weer op andere plekken in de hersenen. „Wij hebben niet voor het kiezen waar de elektrodes komen en hoeveel het er zijn.” Dat bepalen de neurologen die het epilepsieonderzoek doen.”

Belangrijk voor het produceren van spraak zijn het centrum van Broca, aan de voorkant van het brein, en de motorische hersenschors. Andere aspecten van spraak zijn verspreid over het hele brein. „Daardoor kunnen we met de meeste patiënten het spraakonderzoek wel doen”, zegt Herff.

Als de locaties van de elektroden geschikt zijn, doen Herff en Verwoert ook andere experimenten met de proefpersonen. Dit zijn verschillende testen die hun een inkijkje geven in de werking van de hersenen. Herff: „Het is een unieke situatie, dus we proberen zoveel mogelijk data te verzamelen.” Zo laat hij proefpersonen memory spelen, in een computerspelletje navigeren of een robothand besturen. Vervolgens kijkt hij waar en hoeveel activiteit in de hersenen plaatsvond tijdens het uitvoeren van een taak.

Lees over geïmplanteerde elektroden: Een machientje in ons brein dat ons geheugen een handje helpt

Verwoert pakt de laptop op van het bedtafeltje. Het experiment is klaar. Anne heeft alle klinkers meermaals geprobeerd door de computer te laten uitspreken. „Het ging heel goed”, zegt Verwoert tegen haar. Mogen ze morgen nog een keer terug komen? Anne vindt het goed. Tevreden nemen Verwoert en Herff afscheid. „Ik hoop dat jullie er wat aan hebben,” zegt Anne. „Absoluut”, antwoordt Herff.