Je auto weet meer van je dan je denkt. Zeker als er een camera aan boord is die signaleert of je wegdommelt, of je wel op de weg let, of je nog ademhaalt, of je praat met de passagiers en of je stiekem op je telefoon gluurt.
Zo’n ‘drivermonitoringsysteem’ is niet iets voor de verre toekomst. Euro NCAP, de instantie die in Europa de veiligheid van nieuwe auto’s beoordeelt, verwacht vanaf 2023 auto’s op de weg die bestuurders nauwlettend in de gaten houden met sensoren. De camera zit bijvoorbeeld in het dashboard, de achteruitkijkspiegel of in het plafond, om ook de achterbank te kunnen observeren of bijvoorbeeld iedereen wel netjes zijn gordel draagt. Het primaire doel: controleren of de bestuurder alert is en blijft opletten – ook als de auto eventjes zelf stuurt.
/s3/static.nrc.nl/images/gn4/stripped/data62693694-9838a2.jpg)
Een camerasensor kan aan oogopslag en lichaamshouding zien of iemand dreigt weg te dommelen of dat iemand zijn aandacht niet bij de weg heeft. Dat gaat een stap verder dan de huidige vermoeidheidsdetectiesystemen, die op basis van je rijgedrag (bijvoorbeeld een toename van het aantal kleine stuurcorrecties) waarschuwen dat je moet stoppen voor een kop koffie – ook al lust je geen koffie.
Tesla kan beelden uit de cabine opslaan van de seconden net voordat een ongeval plaatsheeft
„Zo’n drivermonitoringsysteem moet op de achtergrond werken en niet gaan piepen als je eventjes niet oplet. We willen het koppelen aan concreet gevaar”, zegt Richard Schram, technisch directeur van Euro NCAP.
Hij legt uit: monitoren van bestuurders is een aanvulling op de automatische noodstopsystemen, die reageren op acuut gevaar. Ze grijpen in als de radarsensor een obstakel of overstekende fietser detecteert. „Maar”, zegt Schram, „de auto kan eerder ingrijpen als-ie weet dat de bestuurder niet oplet. Bijvoorbeeld: als jij bij het oversteken naar links kijkt om te zien of er verkeer aankomt, terwijl aan de rechterkant een voetganger oversteekt.” Zo kun je kostbare milliseconden sparen, en dus mensenlevens.
Driver monitoring zal geen luxe optie zijn die je kunt aanvinken als je een auto bestelt, aldus Schram. „We willen dat het standaard op elke variant van hetzelfde model zit. Dus als VW driver monitoring aan één type Golf toevoegt, geldt het voor alle Golfjes.” Met andere woorden: camerasensoren in de cabine zullen snel net zo gewoon zijn als sensoren die meten of je je gordel wel om hebt.
Dat hoopt de auto-industrie ook: fabrikanten proberen het aantal onderdelen te verminderen om hun productiekosten te beperken. Een of twee goedgeplaatste camera’s kunnen een hoop bestaande sensoren vervangen, zoals gordelverklikkers.
Dufheid meten
Hoe weet de camera of je bij de les bent? Algoritmes die het videobeeld analyseren ‘zien’ of je gaapt, ze meten hoe vaak je knippert met je ogen, naar welke kant je kijkt en wat de positie van je hoofd is.
De beeldchips komen van toeleveranciers als Bosch en Continental, de software van gespecialiseerde ontwikkelaars als Affectiva. Dit Amerikaanse softwarebedrijf werkt samen met fabrikanten als BMW en Porsche. Affectiva gebruikt kunstmatige intelligentie om emoties te herkennen van mensen die een advertentie bekijken. Voor de auto-industrie zijn deze algoritmes uitgebreid met herkennen van vermoeidheid en afleiding.
Jay Turcot, een expert van Affectiva’s onderzoeksafdeling, legt uit hoe dat gaat: „We hebben proefpersonen gevraagd een nacht op te blijven en lieten ze daarna in een simulator rondrijden totdat ze achter het stuur in slaap vielen. Met gewone en infraroodcamera’s hielden we in de gaten hoe gezichten eruitzien als je zwaar vermoeid bent.”
NRC-redacteur Marc Hijink probeerde in 2018 de zelfrijdende auto te foppen door flesjes aan het stuur te hangen. Video: Vincent Everts
De algoritmes zijn toepasbaar op mensen van allerlei leeftijden en uit allerlei culturen, legt Turcot uit. Vermoeidheidsdetectie moet ook werken als je autorijdt met een mondkapje op, een hoofddoek of een zonnebril. „Met de datasets die we wereldwijd verzamelen, kunnen we die vergelijking maken.”
De algoritmes ‘zien’ ook of je een blikje frisdrank of een smartphone vasthoudt, en of de bestuurder de blik op het instrumentenpaneel richt of op de weg. Turcot: „Als je naar de weg kijkt, kun je ondertussen met een passagier praten. Ook dat vergroot de kans op ongelukken, blijkt uit de cijfers.” Affectiva experimenteert daarom met microfoons die audiosignalen in de auto analyseren ‘om het plaatje compleet te maken’.
Geen video bewaard
Is het geen privacynachtmerrie, al die sensoren in je auto? De camera’s zijn beeldsensoren die op basis van algoritmes een signaal afgeven, legt Jay Turcot uit. Er wordt geen video bewaard of doorgegeven, alleen een waarde die de centrale computer in de auto als een vermoeidheids- of aandachtsmeting ‘meeweegt’ in berekeningen.
Een uitzondering is Tesla. Amerikaanse consumentenorganisaties maken zich zorgen om de camera in de Model 3 en Model Y, die vanuit de spiegel de cabine in de gaten houden. Die camera staat standaard uit, maar Tesla kan desgevraagd videoclips opslaan, versturen en analyseren. Het gaat om camerabeelden in de cabine van de seconden net voordat een ongeluk plaatsvindt of het noodstopsysteem ingrijpt.
BMW, dat in sommige modellen al een camera in het dashboard monteert, bewaart of deelt geen beelden. „Alle beeldanalyse vindt plaats op de chip zelf, niets verlaat het voertuig”, garandeert Martin Buchner, een BMW-specialist op het gebied van zelfrijdende auto’s. „We weten ook niet wie je bent.”
BMW combineert het signaal van de camerasensor met andere gedragsdata, zoals knoppen die je bedient op het dashboard. Dat geeft ook een indicatie of je alert bent, is de gedachte.
Bij BMW’s die in de VS en China rondrijden, wordt de camera in het dashboard gebruikt om te controleren of de chauffeur oplet als de auto in de file even zelfstandig rijdt. Vanaf dit jaar is een daarop lijkende toepassing (Automated Lane Keeping) ook in Europa toegestaan: tot 60 kilometer per uur met losse handen in de file rijden op een tweebaansweg. Dat is een kleine, maar belangrijke stap op weg naar een volledig autonoom rijdende auto, waarbij de bestuurder helemaal geen verantwoordelijkheid meer heeft.
/s3/static.nrc.nl/bvhw/files/2020/01/data53545203-120d42.jpg)
Die auto in je ooghoeken
Je kunt een computer leren hoe een mens eruitziet die op het punt staat in slaap te vallen. Maar ‘een beetje duf’ of dagdromen is lastiger waar te nemen, zegt Riender Happee. Hij is universitair hoofddocent aan de TU Delft en gespecialiseerd in intelligente voertuigen. „Als je vaker knippert met je ogen, dan duidt dat op slaperigheid. Maar hoe vaak, dat is voor elk persoon anders. Dus moet het detectiesysteem voor elk persoon apart afgesteld worden.”
Aandacht van bestuurders wordt gemeten door naar de positie van hoofd en ogen te kijken. Happee: „Als je ergens lang naar kijkt, is dat een teken dat je iets belangrijk vindt. Maar hoelang precies, dat weten we niet.”
Jork Stapel, die in februari aan de TU Delft promoveerde op oplettendheid van bestuurders, onderzocht of automobilisten verkeerssituaties konden onthouden. Hij deed dat door oogbewegingen van proefpersonen te vergelijken met objecten die het testvoertuig zelf zag. Een van zijn conclusies is dat bestuurders relatief veel waarnemen van wat er in hun ooghoeken gebeurt. Algoritmes moeten dus niet alleen letten op de exacte kijkrichting: ‘weten’ dat een auto naast je rijdt, is belangrijker dan zien welke velgen dat voertuig heeft.
/s3/static.nrc.nl/bvhw/files/2018/02/data24620186-23a22f.jpg)
De inschatting van het verkeer om je heen is essentieel als mensen hun verantwoordelijkheid over het stuur wisselen met een geavanceerde rijassistent. „Bestuurders zijn zich binnen een of twee seconden bewust van wat er om hen heen beweegt”, zegt Stapel. „Maar daadwerkelijk de situatie snáppen – ik zit in deze auto, met deze snelheid – dat kan wel zeven of acht seconden duren. Bijvoorbeeld: je ziet in één oogopslag dat er een auto voor je rijdt, maar het duurt langer om in te schatten of-ie nadert of van je wegrijdt.”
Euro NCAP wil dat automobilisten altijd betrokken blijven, ook al stuurt de rijassistent. Wie niets hoeft te doen, verliest interesse – en dan wordt het gevaarlijk als je opeens moet ingrijpen. Hoe minder de bestuurder doet, hoe beter-ie in de gaten gehouden moet worden. Riender Happee: „We hebben het gezien in de luchtvaart en in de industrie. Zodra automatisering taken overneemt, verslapt de aandacht. Het is hands off, mind off.”
/s3/static.nrc.nl/images/gn4/stripped/data52122147-7612ae.jpg)
Waar wordt driver monitoring voor gebruikt?
Gij zult wakker blijven
De sensor meet het percentage van de tijd dat je ogen dicht zijn, kijkt naar gapen en hoofdpositie. Als je slaperig wordt, zakken je oogleden dieper over je ogen heen. Het verschil tussen wakker en ‘beetje moe’ is lastig vast te stellen. Het systeem ‘ziet’ ook of de bestuurder onwel is, soms met hartsensors of CO2-meters.
Gij zult steeds alert zijn
Een noodremsysteem (Autonomous Emergency Brake) kan vroeger ingrijpen als de auto weet dat een bestuurder niet oplet. Het vergt samenwerking van twee systemen: de radarsensor aan de voorzijde detecteert gevaar, de camera in de cabine detecteert dat de bestuurder niet oplet.
Gij zult rijklaar zijn
Auto’s met automatische cruisecontrol (ACC) kunnen al uit zichzelf stoppen in een file of bij een stoplicht. Zodra je voorganger wegrijdt, moet de auto weten of-ie weer weg kan rijden en je niet bijvoorbeeld op je telefoon zit te kijken. Normaal gesproken is een ‘positieve actie’ nodig, zoals een tikje op het gaspedaal.
Gij zult de baby niet vergeten
De camera moet kleine bewegingen kunnen waarnemen – zoals bijvoorbeeld een rustig ademende baby die per ongeluk op de achterbank wordt achtergelaten. Als de camera de grootte van een passagier meet, kan de airbag beter op die persoon ingesteld worden. Dat gebeurt nu soms al, maar dan op basis van de stoelinstelling.
Gij zult de autopilot niet foppen
Ook als de rijassistent stuurt, moet de bestuurder de handen (regelmatig) aan het stuur houden. Automobilisten kunnen proberen de automatische piloot te foppen door bijvoorbeeld een gewichtje aan het stuur te hangen. Driver monitoring voorkomt dat en kan, in een volgende fase van autonoom rijden, ook inschatten of je alert genoeg bent om het stuur weer over te nemen van de computer.
Gij zult uw kalmte bewaren
Sensoren in de cabine helpen extra comfort te leveren, zoals automatische aanpassingen van de stoelen, de temperatuur, verlichting of muziek om de stemming tijdens de rit optimaal te houden. Affectiva gebruikt ook spraakherkenning om bijvoorbeeld ‘frustratie’ bij bestuurder of passagiers te meten.