Techbedrijven investeren in dodelijke, autonome wapens

De HoloLens van Microsoft is een ‘bril’, die aan de beelden van de werkelijkheid extra informatie toevoegt – zoals routekaarten, bouwtekeningen of complete projecties van een magische wereld. „De headset is ontwikkeld voor gamers en om bijvoorbeeld technici en dokters hun werk beter te laten doen. Maar vervolgens verkocht Microsoft het ding aan het Amerikaanse Pentagon, wat het optreden van militairen dodelijker zal maken. Dát was niet waarvoor de ontwikkelaars de HoloLens hadden bedoeld”, vertelt onderzoeker Daan Kayser van vredesorganisatie PAX.

Samen met zijn collega Frank Slijper heeft Kayser onderzocht hoe technologiebedrijven – gewild of ongewild – bijdragen aan de ontwikkeling van dodelijke autonome wapens. Hun rapport Don’t be evil? is maandag verschenen en wordt dinsdag gepresenteerd bij de Verenigde Naties in Genève. „Ons doel is helpen voorkomen dat dit soort wapens in de wereld komt”, zegt Slijper, „zoals eerder met succes de ontwikkeling van biologische en chemische wapens is gestopt, onder meer met internationale verdragen”.

Dodelijke autonome wapensystemen zijn platforms als drones of onbemande voertuigen, schepen en vliegtuigen, die zelfstandig kunnen besluiten om (groepen) mensen te doden. Van de vijftig techbedrijven die PAX onderzocht, hebben slechts zeven uitdrukkelijk vastgelegd dat zij op geen enkele manier bijdragen aan de ontwikkeling hiervan. 22 bedrijven hebben dat niet vastgelegd, maar werken ook niet actief mee aan de ontwikkeling van deze wapens. 21 bedrijven, waaronder Microsoft, werken wel samen met defensie zonder dat ze beleid hebben dat hun technologie daarvoor gebruikt kan worden.

Techbedrijven hebben een sleutelrol bij de komst van de moordrobots door de razendsnelle ontwikkeling van kunstmatige intelligentie. Met deze technologie kunnen de wapensystemen niet alleen zelf doelen selecteren, maar ook militaire operaties uitvoeren. Militaire experts en vredesactivisten zijn het eens dat kunstmatige intelligentie in de oorlogsvoering een derde revolutie ontketent, na de uitvinding van buskruit en de ontwikkeling van kernwapens. Slijper zegt: „Waar vroeger de krijgsmacht vooropliep met de ontwikkeling van militaire technologie, zijn nu technologiebedrijven de voortrekkers.”

Hun voor burgers ontwikkelde technologie kan namelijk ook militair gebruikt worden – dual use wordt dat genoemd. De augmented reality-bril van Microsoft is daarvan een voorbeeld, net zoals het roemruchte Maven-project, waaraan Google heeft meegewerkt. Maven is een computersysteem dat heel snel mensen en onder meer voertuigen kan identificeren in dronebeelden. Dat is heel handig bij bijvoorbeeld reddingsacties in gebieden na een overstroming of aardbeving. Maar de techniek kan ook patronen van activiteiten en groepen van zekere omvang herkennen en is daardoor goed bruikbaar voor autonome wapens.

Microsoft ‘op scharnierpunt’

Dat mogelijke militaire gebruik was voor werknemers van Google reden om fel te protesteren bij hun werkgever, die daarop in 2018 stopte met de bijdrage aan Maven. „Niemand had zich vijf jaar geleden waarschijnlijk gerealiseerd dat de technologie van Google zo’n militaire toepassing kan hebben”, zegt Kayser. „Dat besef is er nu meer.” En daarmee groeien binnen de techsector de zorgen over autonome wapensystemen. Zo beloofden meer dan 240 techbedrijven en 3.000 robot- en computerexperts sinds vorig jaar nooit mee te werken aan de ontwikkeling van LAWS, zoals de afkorting in het Engels luidt.

Ook wetenschappers moeten zich bewust zijn van gevaren van kunstmatige intelligentie. Lees een interview met onderzoeker Gijs Diercks

Om te achterhalen wat deze beloften in de praktijk waard zijn, heeft PAX de techsector bekeken met een LAWS-bril. Bij de 50 onderzochte bedrijven zitten gevestigde giganten als Ali Baba en Apple naast start-ups als Animal Dynamics (VK, drones) en AerialX (Canada, anti-drone-systemen). Verder zijn de bedrijven geografisch verspreid (tot in Wit-Rusland en Israël) en ontwikkelen ze uiteenlopende technologieën, van zelfrijdende voertuigen tot gezichtsherkenning, die gebruikt kunnen worden voor autonome wapens.

Om te achterhalen waar bedrijven aan werken en hoe ze omgaan met wapens spitte PAX jaarverslagen, sectorrapporten en mediapublicaties door. Daarnaast raadpleegden Kayser en Slijper experts en stuurden ze vragenlijsten naar betrokken bedrijven, waarvan er dertien reageerden. Uiteindelijk werden bedrijven ingedeeld in ‘best practice’ (gegarandeerd geen autonome wapens), ‘gemiddeld zorgwekkend’ (mogelijke toepassingen voor autonome wapens) en ‘zeer zorgwekkend’ (bezig met militaire toepassingen, ).

Google geldt als ‘best practice’; niet alleen is het bedrijf gestopt met het Maven-project, het heeft ook vastgelegd niet aan wapens te werken. Facebook geldt als ‘gemiddeld zorgwekkend’. Het bedrijf werkt niet voor defensie, zegt Slijper, „maar ontwikkelt patroonherkenning en heeft niet vastgelegd dat die techniek nooit gebruikt zal worden voor wapens.” Amazon krijgt het label ‘zeer zorgwekkend’, onder meer omdat het meedingt naar een contract van 10 miljard dollar voor het bouwen van een clouddienst voor defensie, de Joint Enterprise Defense Infrastructure (JEDI) waarin autonome wapens kunnen functioneren.

Amazons laatst overgebleven concurrent voor JEDI is Microsoft, dat zich volgens Slijper „op een scharnierpunt” bevindt. Want terwijl de top van Microsoft jaagt op lucratieve defensiecontracten, beginnen werknemers te morren. Zo ondertekenden duizenden medewerkers een open brief aan de directie, waarin werd geprotesteerd tegen de verkoop van de 100.000 HoloLens-headsets aan defensie. Een Microsoft-directeur liet op de valreep aan de PAX-onderzoekers weten dat het beleid binnen een jaar wordt geëvalueerd.

De worsteling van Microsoft is tekenend voor de zorgen bij nogal wat techbedrijven. Werken voor defensie kan grote reputatieschade geven, zo ondervond Google: Maven kostte het bedrijf daardoor veel meer geld dan het heeft opgebracht. „Daar komt bij dat mensen bij techbedrijven zijn gaan werken om mooie dingen voor mensen te ontwikkelen. Als die dingen worden gebruikt om mensen te doden, kunnen zij besluiten om weg te gaan”, zegt Kayser. In het PAX-rapport komen enkele spijtoptanten aan het woord, onder wie Liz O’Sullivan die met enig geraas de deur achter zich dichttrok bij Clarifai (VS) dat werkt aan gezichtsherkenning – voor Project Maven.

Voor bedrijven die wel duidelijk afstand willen nemen van autonome wapens, heeft PAX enkele aanbevelingen. Verklaar niet alleen publiekelijk dat je er niet aan meewerkt, maar houd je werknemers op de hoogte van waar ze aan werken en sta ze toe te discussiëren over hun zorgen. Onderzoek al je technologie op mogelijk gebruik voor autonome wapens, laat een ethische commissie nieuwe projecten daarop beoordelen en leg in contracten met defensie vast dat jouw technologie niet wordt gebruikt voor autonome wapens.

Chinezen en Russen

Een veelgehoord argument om toch te blijven werken aan dit soort wapens is: als wij het niet doen, doen de Chinezen en Russen het wel. „Des te meer reden om te voorkomen dat die wapens in de wereld komen”, zegt Slijper. „Na de gifgasaanval in Irak [in 1988, op de Koerdische stad Halabja, red.] bleek het mogelijk om een verdrag te sluiten tegen verspreiding van chemische wapens. Hopelijk kunnen we nu een verdrag sluiten voor een ban op autonome wapens.” Anders dreigt een wapenwedloop, zegt Kayser: „Anders dan kernwapens zullen autonome wapens goedkoop en in grote hoeveelheden verspreid kunnen worden.”

Bijna dertig landen, waaronder Oostenrijk en Brazilië, willen een volledig verbod. Nederland behoort tot de landen die een zekere controle willen en heeft daarover in 2015 een kabinetsstandpunt genomen, gebaseerd op een adviesrapport van de Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV). Daarin wordt gepleit voor menselijke controle voorafgaand aan de inzet van een wapen. In 2020 wordt dat beleid geëvalueerd, maar dat vindt Kayser „nogal laat – gezien de snelheid van de ontwikkelingen”.

Ook onderzoeksinstituut TNO, dat een grote defensietak heeft, stelt dat mensen autonome wapens kunnen beheersen – onder meer doordat zij menen dat ethiek en het oorlogsrecht vooraf kunnen invoeren en dus blijven beslissen over leven en dood. Dat is lastig, zegt Kayser: „Het gebruik van een wapen in een conflictsituatie is een dynamisch proces, waarbij je steeds ethische en juridische afwegingen moet kunnen maken. Experts in kunstmatige intelligentie zeggen dat je dit niet zomaar kunt programmeren. En ook al zou dat in de verre toekomst kunnen, blijft de ethische vraag of we machines over leven en dood willen laten beslissen.”

In 2017 maakte de onderzoeks- en campagneorganisatie Future of Life de video ‘Slaughterbots’ om te waarschuwen voor autonome wapens en het gebruik van kunstmatige intelligentie in wapensystemen. Er komt onder meer een ‘zwerm’ drones in voor die zelfstandig doelwitten uitkiezen: