Column

Staan autonome wapens wel aan onze kant?

Minister Goodwill krijgt de vraag hoeveel doden je aan Volkswagen kunt toeschrijven. De Engelse minister van verkeer antwoordt dat de zaak van sjoemelsoftware moet worden onderzocht en dat Volkswagen zo mogelijk zal worden aangeklaagd wegens ‘corporate manslaughter’. Bedrijfsmatige doodslag. ‘Of dat type vervolging succes kan hebben wordt waarschijnlijk ergens boven mijn salarisschaal beslist. Maar als kan worden aangetoond dat je zo’n zaak voor het gerecht kunt brengen, ligt dat zeker open.’

In het tijdschrift Solicitors Journal lees ik dat de zaak weinig kans maakt. Een jurist noemt de moeilijkheden rond een aanklacht tegen Volkswagen onoverkomelijk. ‘Insurmountable’. Je moet immers van goede huize komen om ten eerste aan te tonen dat uitstoot van stikstofdioxide door Volkswagens schade heeft veroorzaakt. En dat ten tweede het hogere management wist hoe bedrieglijk de software was.

‘T’as un problème insurmontable?’ zong Gilbert Bécaud ooit. Heb je een onoverkomelijk probleem? ‘Tiens, pose-le là, sur la table.’ Leg het daar maar op tafel. En voilà, daar ligt het dus, met nog een paar andere onoverkomelijke problemen erbij.

De komende tijd zal namelijk overal de vraag opkomen wie verantwoordelijk is voor wat. En wie aansprakelijk is voor alles. Om nog even bij de auto en zijn software te blijven: natuurlijk rijst de vraag wie straks opdraait voor schade die zelfrijdende auto’s veroorzaken. Maar veel lastiger nog wordt de vraag aan wie je ondeugdelijkheid van software kunt toeschrijven. Daarbij wil je weten wie die software schrijft. En wie haar begrijpt. Staat de auto wel aan jouw kant bij de voorgeprogrammeerde beslissingen over je leven? Wie heeft de zeggenschap? Niet jij. Niet de top van Volkswagen of Citroën.

‘De regelgeving loopt achter de feiten aan’, zegt iedere intellectuele wijsneus tegenwoordig, zodra je begint over de noodzaak greep te krijgen op dit soort techniek. Ze bedoelen dat technologische ontwikkelingen sneller gaan dan Den Haag kan bijbenen. Geloof het maar niet. Het is onzin. De regels maken juist de weg vrij voor de feiten. Het is waar, zelfrijdende auto’s en zelfdodende wapens worden ontwikkeld buiten het zicht van de wetgever, maar als een heel land ze feitelijk in gebruik gaat nemen komt dat niet door de techniek. Het komt door de politiek.

Zo heeft de Gecombineerde Commissie Autonome Wapensystemen de regering zojuist laten weten dat het recht zich niet verzet tegen het gebruik van autonome wapens. De gebruikelijke voorwaarden en beperkingen voor geweldstoepassing gaan hier gewoon op en nieuwe regels zijn dus niet nodig. Terwijl experts op het gebied van kunstmatige intelligentie waarschuwen tegen autonomie van wapens, heeft de regering de vraag gesteld ‘of het internationaal humanitair recht dergelijke wapens toestaat’. Een commissie vol experts humanitair recht heeft die vraag netjes beantwoord. Ja, het recht staat ze toe.

Hiermee lopen de regels dus vooruit op de feiten. Als je het advies leest zie je dat de regering beter belangrijker vragen had kunnen stellen. De commissie laat doorschemeren dat het grootste gevaar zit in gebrek aan kennis van de techniek. Op grond van instructies en softwareprogramma’s selecteren autonome wapens zelfstandig hun doelen en vallen ze aan. De commissie eist ‘betekenisvolle menselijke controle’ daarover. De mens beslist over inzet. De mens is aansprakelijk en verantwoordelijk.

Daartoe moet die mens dus wel ‘goed getraind en geïnformeerd’ zijn en hier zit hem de crux. Er kan wel degelijk een probleem ontstaan, zegt de commissie ergens, als ‘de expertise van de bedienaar(s) de expertise van de commandant in hoge mate overtreft.’ En bovendien kan de complexiteit van autonome systemen ertoe leiden dat menselijke controle ‘ten dele of grotendeels verloren gaat’.

Kennen we dit niet allemaal al van de bankencrisis? Expertise in de organisatie die de expertise in de top overtreft? Rampen door complexiteit? Terecht zegt de commissie dat de acties van wapens ‘voldoende voorzienbaar’ moeten zijn en dat commandanten de boel moeten snappen. Maar dat is gemakkelijker gezegd dan gedaan. De commissie beaamt dat er so wie so nog ‘weinig kennis en inzicht’ is over samenwerking tussen autonome systemen, andere systemen en mensen.

Staan autonome wapens aan onze kant? Of lopen ze uit humanitaire overwegingen over naar de vijand? Staan ze onder commando van de legertop? Of van Piet van de ICT-afdeling? De Gecombineerde Commissie Autonome Wapensystemen heeft de brave rechtsvraag van de brave regering braaf beantwoord. Maar wat doen we met al die grotere problemen die op tafel liggen? Insurmountable, zeggen de Engelsen. Insurmontable, zeggen de Fransen.