Hoe ziet de computer of je liegt?

De Formule De EU financiert onderzoek naar automatische leugendetectie bij grensovergangen. De onderzoekers zijn zelf nog niet overtuigd van hun ‘sexy’ technologie.

Illustratie Midas van Son

Erg gelukkig zien ze er niet uit, George Boultadakis, Athos Antoniades en James O’Shea, aan het statafeltje in hun geïmproviseerde beursstand. Het is een woensdagochtend in december, en in de Brusselse Kunstberg presenteert Europees onderzoeksfonds Horizon 2020 voor het eerst ‘succesverhalen op veiligheidsgebied’.

De drie mannen zijn sleutelfiguren van iBorderCtrl, een project dat onder meer geautomatiseerde leugendetectie bij grenscontroles onderzoekt. Meteen na de aankondiging van iBorderCtrl, eind oktober, werd het plan wereldwijd de grond in geboord.

Na een ronkend persbericht over „smart lie detection at the EU border” gingen alle alarmbellen af. Rop Gonggrijp, de Nederlandse hacktivist, registreerde meteen het webadres iBorderctrl.no om dit „dystopische, pseudowetenschappelijke” project de das om te doen.

Bij iBorderControl schrokken ze zelf ook van de introductie door Horizon 2020, die suggereert dat een „leugentest uitgevoerd door computerpersonages” straks bepaalt of je de EU in mag.

Horizon 2020 wijst erop dat het nog om onderzoek gaat. „Er is geen beslissing over genomen.” Wat daarbij een rol speelt: als het plan nu al omstreden is, zal geen EU-politicus zich ooit nog wagen aan verbetering van grensbewaking met moderne technologie.

De douaniers, zeker in Letland, Griekenland en Hongarije, kunnen intussen wel wat hulp gebruiken. Uit 700 miljoen mensen die jaarlijks de EU binnenkomen, moeten zij de criminelen, terroristen en mensensmokkelaars vissen – terwijl de wachttijden aan de grens oplopen.

iBorderCtrl, een project dat 4,5 miljoen euro subsidie krijgt, wil reizigers voor de grenspassage al opdelen in categorieën met hoog en laag risico. Een van de onderdelen is leugendetectie, door middel van een interview dat je thuis op de computer wordt afgenomen. Een virtuele douanier stelt voor de hand liggende vragen als: hoe heet je, zitten er verboden spullen in je koffer?

Detectie van bedrog is maar één van de punten in hun onderzoek, benadrukken Boultadakis en Antoniades. De een werkt bij softwarebedrijf EuroDynamics, de ander is gespecialiseerd in data voor medische toepassingen. „Er wordt alleen bericht over leugendetectie, niet over de andere bestanddelen”, klagen ze. En ook: deze technologie is volwassener dan wordt gesuggereerd.”

Hoek van het hoofd

Onderzoek naar de betekenis van gelaatsuitdrukkingen wordt al jarenlang gedaan. „Ik werk al twintig jaar aan Silent Talker”, zegt O’Shea, hoogleraar aan de universiteit van Manchester. Die technologie belooft menselijk bedrog te detecteren door analyse van video. Het systeem kijkt onder meer naar oogbewegingen, gelaatstrekken en de hoek van het hoofd. „Ook de afstand tot de camera wordt gemeten”, legt O’ Shea uit.

De software speurt daarbij naar micro-gestures, gelaatstrekken die zouden verklappen dat iemand de zaak bedondert

Zijn Automated Deception Detection System (ADDS) licht hij toe in een rapport van acht pagina’s, getiteld Intelligent Deception Detection through Machine based Interviewing. De software speurt daarbij naar micro-gestures, gelaatstrekken die zouden verklappen dat iemand de zaak bedondert. Zelflerende algoritmes bouwen modellen op basis van het Automated Facial Action Coding System, een lijst met 27 bewegingen van wenkbrauwen, wangen, oogleden, opgetrokken neus, een verstrakte lip en openvallende mond. Vernauwde pupillen horen er niet bij. ADDS registreert 38 ‘datakanalen’ en vertaalt die in „oprechte en bedrieglijke vectoren”.

Bij een onderzoek hiermee kregen 32 testkandidaten, van wie er 15 de waarheid vertelden, ieder dertien vragen voorgeschoteld. In 75 procent van de gevallen herkende het algoritme een eerlijk verhaal, bij de gelogen antwoorden was dat 73 procent. Dat is weinig betrouwbaar. Om culturele verschillen uit te sluiten en voor elk type mens een leugendetectietest op maat te maken, zijn volgens O’Shea meer gegevens nodig.

Daarom wil iBorderCtrl komend jaar onder „zo realistisch mogelijke” omstandigheden interviews afnemen aan een beperkt aantal grensovergangen. Dat gebeurt op vrijwillige basis, benadrukken de onderzoekers.

Is het misschien mogelijk om nu al een demonstratie van de leugendetectietest te krijgen? „Dat heeft geen zin. Je moet iemand bedriegen. Als ik je vraag te liegen en je doet dat, dan is dat geen liegen maar voldoe je aan de opdracht”, luidt de uitleg.

Foolproof

Het is de bedoeling dat reizigers straks thuis de geheugentest afleggen, voor de eigen webcam. De uitslag nemen ze mee in de vorm van een QR-code, die de douanier scant.

Maar thuis heb je de testomstandigheden onder controle. Wie met koffers pakken wacht tot na de leugentest, liegt niet op de vraag ‘heb je verboden spullen in je koffer gestopt?’

Niets is foolproof, reageren de iBorderCtrl-vertegenwoordigers. Het gaat juist om de óptelsom van big data; de combinatie met beproefde methodes als gezichtsherkenning, handpalmherkenning en controle van documenten. Analyse van reispatronen zit ook in het pakket: iBorderCtrl hoopt uit de tijdstippen van grensovergang op te maken of iemand een drugssmokkelaar is of „een priester die elke zondag voor een kerkdienst de grens oversteekt”.

“We hebben geen Pinokkioneus. Naar linksboven kijken als je antwoordt, is ook geen bewijs dat iemand liegt”

Het hele palet aan ‘veiligheidsmodules’ moet een zee aan data opleveren. Daarmee kan kunstmatige intelligentie de douanier zinnig adviseren over die ene vraag: moet deze reiziger extra gecontroleerd worden of kan-ie ongezien door?

In de folder van iBorderCtrl is leugendetectie [Automatic Deception Detection System] één van de ingrediënten van grenscontrole. Foto: Marc Hijink

Een ander ingrediënt van iBorderCtrl – minstens zo omstreden als leugendetectie – was analyse van socialemediagedrag van reizigers. Dat zou een goed beeld geven van iemands mogelijke connecties met criminelen. Inmiddels is dit onderdeel geschrapt. Het ligt te gevoelig, zeker met de aangescherpte Europese privacyregels.

Jammer trouwens dat de media zich alleen op de ‘sexy’ leugendetectie richten, verzuchten Boultadakis en Antoniades. „Het kan namelijk best zijn dat leugendetectie het uiteindelijk niet haalt in de opzet”, verklaart Antoniades als O’Shea de stand even verlaten heeft. „Toen we dit project bedachten, zochten we rare nieuwe technologie om het geheel wat sexier te maken. Ik was degene die met Silent Talker op de proppen kwam.”

Het lijkt erop dat iBorderCtrl nu al spijt heeft van die keuze.

Liegkiosk

Het Europese project lijkt op het Amerikaanse Avatar, dat in Arizona ontwikkeld wordt. Automated Virtual Agent Truth Assesment in Real Time is een ‘liegkiosk’ voor vliegvelden. Reizigers worden ondervraagd door een computerpersonage, wat wordt vastgelegd met drie camera’s, bewegingsdetectoren, lasers en microfoons die stress in de stem detecteren. De 81-jarige Amerikaanse hoogleraar Jay Nunamaker werkt al dertig jaar aan deze methode, maar tot nu gaat zo’n liegkiosk zelfs de Amerikaanse overheid te ver.

Dat geeft te denken. Zijn mensen wel zo’n open boek als de onderzoekers beweren? Helemaal niet, zegt de Maastrichtse specialist Ewout Meijer. Deze forensisch psycholoog, gespecialiseerd in leugendetectie, keek op verzoek van NRC naar de resultaten van iBorderCtrl tot nu toe.

Meijer heeft geen vertrouwen in dit ‘theorieloos’ onderzoek en verbaast zich over de afwezigheid van iemand met psychologische kennis in een project waarvoor de EU 4,5 miljoen euro uittrekt.

„Er is nog nooit bewijs voor gevonden dat non-verbale communicatie verklapt of iemand liegt of niet”, zegt hij. „We weten dat mensen niet goed zijn in het herkennen van leugenaars op basis van gezichtstrekken. Dat betekent dat die non-verbale tekens er niet zijn, of dat ze zo subtiel zijn dat mensen ze niet oppikken. Als het laatste het geval zou zijn, dan zou een computersysteem toegevoegde waarde hebben. Maar in dit onderzoek staat niet waarom de computer het wél zou kunnen zien.”

Pinokkioneus

Het rapport van O’Shea verwijst onder anderen naar Paul Ekman, een Amerikaans psycholoog die ‘micro-expressies’ onderzoekt. Ekman gebruikt die micro-expressie om emoties te herkennen en beweerde er 70 procent van de leugenaars mee te ontdekken – 100 procent als ook lichaamshouding wordt meegerekend.

Ekman heeft zijn onderzoek nooit laten bespreken door vakgenoten, maar wetenschappelijk tijdschrift Nature (2010) twijfelt aan zijn beloftes. In 2015 lijkt Ekman zelf ook bijgedraaid, blijkt uit een artikel van hem in Forbes: „Er zijn hotspots – schouderophalen of een kleine hoofdbeweging – die aangeven dat er iets vreemds aan de hand kan zijn. Maar er is geen enkel element dat oprechte mensen van liegende onderscheidt. We hebben geen Pinokkioneus. Naar linksboven kijken als je antwoordt, is ook geen bewijs dat iemand liegt.”

Een ‘ouderwetse’ leugendetector die hartslag, bloeddruk en ademhaling registreert, werkt-ie dan wel? „Die kan iets beter dan op basis van toeval mensen selecteren die liegen”, zegt Ewout Meijer. „Maar het is verre van perfect.”

Lees ook: Tijdens het solliciteren doen we ons graag net wat mooier voor. Maar je kunt beter de waarheid vertellen.

De enige bewezen manier om leugenaars te herkennen, is letten op de inhoud, zegt Meijer. Mensen hebben moeite al te veel verzonnen elementen te onthouden en op te lepelen in een gesprek. Politieagenten kunnen bij een verhoor beter op inconsistente antwoorden letten, dan op een bezweet voorhoofd of een opgetrokken neus.

Zelfs als je kenmerken vertoont van leugenachtig gedrag, dan wil dat niet zeggen dat je liegt. Mensen die aan een leugendetector gekoppeld worden, zijn vaak zenuwachtig. Bovendien zijn ze geneigd de waarheid te vertellen. Dat effect wordt de bogus pipeline genoemd: een placebo-effect.

Misschien heeft Horizon 2020 zich hierdoor laten leiden, toen het besloot iBorderCtrl te subsidiëren. Al werkt automatische leugendetectie niet – zolang de mensen denken dat het werkt, werkt het toch.

Vragen of tips: mail naar formule@nrc.nl

Hoe algoritmes ons dagelijks leven bepalen

Ons leven wordt bestuurd door algoritmes, regeltjes achter de schermen. Deze wiskundige formules, gevoed door grote hoeveelheden data, sturen onze selectie van nieuws, entertainment en aankopen, vissen automatisch dieven en verdachten uit de massa. Lees de inleiding: Hoe algoritmes ons dagelijks leven sturen ›

Vervoer

Techbedrijven zijn dol op locatiedata en bewegings­gegevens, hoe gedetailleerder hoe beter. Zo ‘ziet’ Google hoe lang mensen op zoek zijn naar een parkeerplaats en leert Apple van je iPhone waar je werkt. Je kunt bewijzen dat je veilig rijdt en erop vertrouwen dat je om de file geleid wordt, of de snelste liftcabine voorgeschoteld krijgt. Maar welke algoritmes bepalen wat veilig is of wie er voorrang krijgt in de de file of in lift?

Lees ook:

  1. Hoe omzeilt TomTom de files?
  2. Hoe bepaalt de verzekeraar hoe veilig jij rijdt?
  3. Hoe bepaalt de lift wie voorrang krijgt?
  4. Hoe weet Google hoe lang je moet wachten?

Media

Kun je smaak in statistiek vatten? De grote streaming-diensten doen niet anders. Ze proberen een breed publiek inhoud op maat aan te bieden met behulp van algoritmes. Spotify en Netflix doen het door mensen met dezelfde voorkeuren te clusteren. Nieuwsdienst Blendle probeert er juist voor te zorgen dat je andere dingen ziet dan je zou verwachten. Apple laat personificatie grotendeels achterwege: Apple News is gebaseerd op locatie, niet of nauwelijks op je klikgedrag.

Lees ook:

  1. Hoe weet Netflix welke serie je wilt zien?
  2. Hoe weet Blendle wat jij wilt lezen?
  3. Hoe stelt Apple jouw nieuws samen?
  4. Waarom is dit het volgende liedje dat Spotify je laat horen?

Shoppen

Amazon is de webwinkel die groot werd met het doen van aanbevelingen op basis van wat anderen kochten. Wat zijn de trucs waarmee online winkels en reisbureaus je tot een aankoop verlokken? Achter de schermen wordt consumentengedrag in datapatronen gegoten, om beter in te schatten wat je wilt of hoe je te beïnvloeden bent. Ieder mens is uniek, maar bij elkaar zijn we toch redelijk voorspelbaar.

Lees ook:

  1. Hoe verleidt Booking.com je snel een hotelkamer te boeken?
  2. Hoe weet Bol.com wat je wilt kopen?
  3. Retargeting: hoe lang blijven mijn schoenen me achtervolgen?
  4. Hoe Facebook advertenties héél precies op maat maakt
  5. Hoe wordt je kredietscore berekend?
  6. Hoe passen winkels automatisch hun prijzen aan?
  7. Hoe wordt de prijs van je vliegticket bepaald?

Fraude

Algoritmes zijn bij uitstek geschikt om conclusies te trekken uit grote hoeveelheden data. Daardoor kunnen ze sneller ‘verdachte’ elementen opsporen, of het nou gaat om betalingsverkeer, uitkeringsgerechtigden of winkeldiefstal. De regels voor wat nou eigenlijk verdacht gedrag is, worden echter wel door mensen bepaald.

Lees ook:

  1. Hoe beschermt de bank je tegen oplichters?
  2. Hoe controleert de gemeente of jij fraudeert?
  3. Hoe bepaalt de zelfscankassa welke klanten gecontroleerd worden?
  4. Hoe ziet de computer of je liegt?
  5. Hoe controleert de verzekeraar jouw claim?

Redactie Marc Hijink en Eva de Valk, animatie Midas van Son, Harrison van der Vliet en Elze van Driel, illustraties Midas van Son, vorm Koen Smeets.

Naar aanleiding van deze productie organiseerde NRC op donderdag 12 april 2018 een avond in Pakhuis de Zwijger in Amsterdam. Terugkijken kan hier.

    • Marc Hijink