Straatcamera ziet emoties op gezichten

Het zou snelle bestrijding van onlusten helpen als veiligheidscamera’s emoties op gezichten kunnen lezen. In Delft is nu een systeem ontworpen dat dat redelijk goed kan.

Twaalf frames uit een video waarin iemand gaat lachen. Het emotieherkenningssysteem volgt elke pixel op het gezicht. Een rode kleur geeft een verschuiving aan. Vervolgens 'ziet' het systeem dat de mondhoeken naar buiten bewegen en weet: dit is een glimlach. (Foto ICIS/MultimediaN) Gezichtsherkenning ICIS/MultimediaN

Automatisch emoties herkennen van nietsvermoedende mensen. Dat lukt met een prototype van een computersysteem dat de Roemeense promovendus Dragos Datcu van de TU Delft heeft ontwikkeld. Tenminste, zolang baarden, hoofddoeken en brillen het zicht van de camera op hun gezichten niet belemmeren.

Datcu gelooft dat hij als eerste een systeem heeft ontwikkeld dat emoties automatisch herkent uit spraak en gezichtsuitdrukkingen samen. Daarvoor zoomt een beweegbare camera in op je gezicht. De computer meet afstanden en hoeken tussen karakteristieke punten zoals je mondhoeken, kin en voorhoofd. Tegelijkertijd registreert een microfoon je stemgeluid. Uit de gezichtsanalyse en de stemgeluiden samen berekent de computer je gemoedstoestand.

Om zijn systeem te testen, hing Datcu zijn camera op in het lab en vroeg studenten om emoties na te doen. Na een tijdje bleek de computer basisemoties als angst, woede, verbazing, blijdschap, verdriet en walging in 95 procent van de gevallen goed te kunnen thuisbrengen.

Als mensen kriskras door elkaar liepen in een kamer, dan herkende het systeem nog 90 procent van hun emoties correct. Datcu: „Er zijn nog problemen met belichting, obstakels en de oriëntatie van de camera. Die zit vast en kan dus niet vanuit elke hoek goed inzoomen om de gezichtsuitdrukking te analyseren.”

Gezichtsuitdrukkingen komen tot stand door het samentrekken of juist ontspannen van gezichtsspieren. Datcu: „De afstand tussen de top van het voorhoofd en het puntje van je kin neemt bijvoorbeeld toe met verbazing. Ook zijn bij elke emotie de contouren van mond, ogen en wenkbrauwen anders. Dit kan de computer meten door cirkelvormige en rechthoekige figuren op de gezichten te leggen, de passende figuren zijn bij elke emotie verschillend.”

Datcu’s collega Zhenke Yang promoveert donderdag op een toepassing van Datcu’s nieuwe systeem. Hij werkte samen met de NS aan een systeem dat agressie in treinen moet herkennen. Yang deed tests in het lab en in een treinstel met acteurs. „De techniek erachter is nu af”, zegt hij. „Het systeem moet nog uitvoerig in echte situaties getest worden, daar is veel meer nuance dan in gespeelde situaties. Er zijn echte crisissituaties nodig om het systeem goed te kunnen testen.”

Veiligheidscamera’s die mensen in de gaten houden, worden nu door mensen bemand. Beelden worden meestal opgeslagen en pas bekeken nadat er iets is gebeurd. Datcu denkt dat zijn systeem surveillancemedewerkers in de toekomst veel werk uit handen kan nemen. Zijn uiteindelijke doel is crisismanagement.

Datcu ziet het al helemaal voor zich: „Stel je voor: je wordt aangevallen op straat. Het systeem registreert dat je bang bent en om hulp roept. Het zal dan de dichtstbijzijnde politieman automatisch opdracht geven om actie te ondernemen. Het zou zelfs via een videoverbinding kunnen kijken of de politieman in kwestie zich wel in een juiste gemoedstoestand bevindt om te gaan helpen en indien nodig iemand anders kunnen sturen.”

Zover is het nog lang niet. „De zoomfunctie van de beweegbare camera werkt niet goed als mensen heftig bewegen en als een ruimte gevuld raakt met rook of vuur, dan werkt het huidige systeem ook niet.”