Straks beslist een machine over leven en dood

De voordelen: ze handelen niet uit paniek, wraak of angst. Ze verkrachten niet. En ze drukken de kosten van het leger. Maar nadelen zijn er ook. En daarvoor waarschuwen wetenschappers op het gebied van kunstmatige intelligentie.

Een prototype van Taranis. Foto Rex Features

Een machine die op het slagveld beslist over leven en dood, zonder menselijke interventie. Robots die, eenmaal door de mens geactiveerd, helemaal zelf hun vijandelijk doel zoeken, identificeren en zo nodig aanvallen.

Dat is het schrikbeeld van ten minste duizend wetenschappers en ondernemers op het gebied van kunstmatige intelligentie (AI). Ze vrezen dat zogeheten offensieve en dodelijke autonome wapens (lethal autonomous robotics, afgekort LAR’s) al over enkele jaren, en niet pas over decennia, in gebruik kunnen worden genomen. In een open brief roepen ze op tot een internationaal verbod. Deze week is de brief gepresenteerd op een AI-conferentie in Buenos Aires. Hij is ondertekend door onder meer kosmoloog Stephen Hawking, ondernemer Elon Musk (Tesla, SpaceX) en medeoprichter van Apple, Steve Wozniak.

Hoe ver de ontwikkelingen al zijn, is lastig te beantwoorden. „Want dit onderzoek is niet openbaar”, laat Raja Chatila via e-mail weten. Hij is directeur van het Instituut voor intelligente systemen en robotica aan de Université Pierre et Marie Curie in Parijs en heeft de open brief ook ondertekend. Bekend is volgens Chatila dat tenminste de VS, Groot-Brittannië, Frankrijk, Israël en Zuid-Korea meer gerobotiseerde wapens ontwikkelen. Ook de namen van China en Rusland duiken her en der op. Maar bij veel van de bekende projecten gaat het om semi-autonome robots, waarbij de mens nog steeds in the loop zit, zoals dat heet. Het gaat dan niet om compleet autonome, offensieve robots, waartegen de open brief zich richt.

Samsung is al verder, die heeft nu robots met een autonome modus

Zo heeft het Amerikaanse defensiebedrijf Northrop Grumman een patrouilledrone ontwikkeld, de X-47B, die autonoom kan opstijgen, navigeren en landen. Het Britse BAE Systems heeft een prototype klaar van de Taranis, een drone die autonoom vijanden kan zoeken, lokaliseren en identificeren. Maar aanvallen kan vooralsnog alleen als de missieleiding dat autoriseert. Al iets verder gaat het Zuid-Koreaanse Samsung. Dat ontwikkelt robots voor de grenscontrole met Noord-Korea, die doelen herkennen via infraroodsensors. Ze worden nog bediend door mensen, maar ze hebben ook een ‘autonome modus’.

De briefschrijvers vrezen een nieuwe wapenwedloop. Die zal in hun ogen beginnen zodra één grote militaire mogendheid de ontwikkeling van dit soort wapens gaat pushen. Op den duur zullen de wapens ook in handen komen van terroristen en dictators. Ze zullen gebruikt worden voor aanslagen, etnische zuivering, onderdrukking van het eigen volk.

Het is niet de eerste keer dat deze zorgen worden geuit. In 2013 startten negen ngo’s een campagne onder de naam stop the killer robots. In datzelfde jaar kwam Christof Heyns, de speciale rapporteur voor buitengerechtelijke executies, met een advies aan de VN-Raad voor de Mensenrechten: roep de lidstaten op tot een moratorium op het inzetten van LAR’s. Zijn voorganger Philip Alston had in 2010 al gewaarschuwd voor „de wettelijke, ethische en morele implicaties” van deze robottechnologie. Een van de kernproblemen is die van de aansprakelijkheid. Wie is er aansprakelijk te stellen als een robot – en niet langer een mens – besluit de trekker over te halen. In een recent rapport (‘Mind the gap’, april 2015) wijst mensenrechtenorganisatie Human Rights Watch daar ook nog eens op. Een robot is volgens het internationale recht geen ‘natuurlijk persoon’.

Dé manier om kosten te drukken

Tegelijkertijd is de druk groot om wapensystemen autonomer te maken. Lees de achtereenvolgende visierapporten over onbemande systemen van het Amerikaanse ministerie van Defensie erop na. Meer autonomie voor wapensystemen wordt gezien als dé manier om de stijgende kosten aan mankracht te drukken. Het kan de reactietijd op bijvoorbeeld inkomende raketten bekorten. Je kunt makkelijker ongezien achter vijandelijke linies komen. En de blootstelling aan levensbedreigende risico’s wordt beperkt. Maar dat laatste is ook weer een vrees. Omdat er minder gevaar is om eigen levens te verliezen, zou de drempel worden verlaagd om een oorlog te starten.

Er zijn zeker voordelen aan robots, schreef ook VN-rapporteur Christof Heyns twee jaar geleden. Ze handelen niet uit wraak, paniek, angst, vooroordeel. Robots verkrachten niet. Maar aan de andere kant missen ze compassie en inlevingsvermogen. Hoewel sommigen van mening zijn dat je ook ‘een ethische gids’ in de software moet kunnen programmeren.

Maar volgens onderzoeker Chatila zijn robots nog lang niet te vergelijken met de mens in hun vermogen om bijvoorbeeld strijders te onderscheiden van niet-strijders. „Die laatste moet je niet neerschieten”, schrijft hij in zijn e-mail. Als een autonoom wapen niet meer door een mens kan worden gecorrigeerd, is hij geneigd fouten te maken. „Het is een illusie te denken dat een autonoom wapen beter presteert dan een mens.”

De VN hebben vorig jaar voor het eerst opgeroepen actie te ondernemen tegen volledig autonome wapens. „Het besluit om levens te beëindigen moet onder menselijke controle blijven”, zei directeur-generaal Michael Møller.

De VS hebben in 2012 een 10-jarig moratorium afgekondigd op dodelijke, volledig autonome wapens. Als ze al geweld gebruiken, mag dat niet dodelijk zijn. Maar Human Rights Watch, hoewel positief over het initiatief, heeft de richtlijn bekritiseerd onder andere vanwege de vele mazen. Het moratorium kan overruled worden door hoge functionarissen in het Pentagon, en de richtlijn geldt bijvoorbeeld niet voor de CIA.

Compleet uitbannen van autonome wapens wordt door velen een illusie genoemd. „Er is natuurlijk geen enkele manier dat je het kunt beheersen”, schrijft Chatila in zijn e-mail. Zoals ook de conventies voor landmijnen, clusterbommen laten zien, en de verdragen voor biologische en chemische wapens. De grens tussen Pakistan en India ligt vol landmijnen, en in Syrië zijn de afgelopen jaren toch clusterbommen ingezet. Chatila: „Maar via verdragen en conventies kun je de capaciteit beperken dat zulke wapens worden ontwikkeld, en de technologie zich verspreidt.”