donderdag 19 februari 2015

Twentse goalkeeper als killer-robot avant la lettre

Vanmiddag vond de tweede Saxion Studium Generale bijeenkomst in Enschede plaats. Na het futuristische thema “Star Wars" vorige week dinsdag” was nu het even futuristische thema “Artificial Soldiers” aan de beurt. Ook al een oud thema, zo liet de in 1920 gemaakte (stomme) film “Metropolis” zien die bij binnenkomst in de Harry Banninkzaal van de Saxion Hogeschool Enschede gedraaid werd. De angst ook dat machines de oorlogvoering zouden overnemen en het uiteindelijk misschien wel tegen de mens zou opnemen. Maar, zo stelde de docent techniekfilosofie aan de Saxion Hogeschool, Steven Dorrestijn, die de bijeenkomst leidde, misschien biedt de inzet van robots in de oorlogvoering juist ook wel mogelijkheden om onze eigen veiligheid te bevorderen.

De eerste spreker was luitenant-kolonel Mark Goedhart, commandant van het 11de pantsergeniebataljon. Hij was niet als militair herkenbaar en legde uit dat de legerleiding vanwege de terreurdreiging een richtlijn heeft uitgevaardigd dat militairen niet als zodanig herkenbaar mogen reizen en dat hij geen zin had om zich na aankomst bij de Saxion Hogeschool alsnog in zijn militair tenue te hijsen. Hij had zich dus vermomd als burger.

De vraag die hem was voorgelegd was of robotisering van het leger een positieve bijdrage aan een betere wereld levert? Die vraag is wel heel erg breed, maar ingeperkt tot de vraag of de krijgsmacht door robotisering kwalitatief beter wordt was het antwoord zonder meer “ja”. Robots verkleinen namelijk de fysieke en mentale kwetsbaarheid van militairen en hebben betere sensoren om waar te kunnen nemen en de waargenomen informatie te verwerken. Waar de onmogelijkheid bij robots om woede en angst te voelen in gevechtssituaties als positief beoordeeld moet worden in vergelijking tot mensen in die situatie, vormt de onmogelijkheid om medelijden te hebben en ethische afwegingen te maken echter juist weer een nadeel. Ook het feit dat de robotisering van de krijgsmacht tot een nieuwe wapenwedloop kan leiden is een nadeel. Goedhart zou graag zien dat alleen de NAVO-legers over robottechnologie zouden kunnen beschikken, maar hij vreest dat de praktijk zal uitwijzen dat andere legermachten spoedig zullen volgen en dan zul je je daar weer tegen moeten wapenen.

Waar bij de politieke besluitvorming over militaire operaties veelal wordt gesproken over een 3D-benaderen waarbij de 3D’s staan voor Defense, Development en Diplomacy die geïntegreerd zouden moeten worden in een volledige operatie, hanteerde Goedhart ook 3D’s die door de robotisering juist uit de weg gegaan worden: Dull, Dirty en Dangerous. Bewaken en toezicht houden is saai werk en kan veel beter aan robots overgelaten worden; het meesjouwen van steeds zwaardere wapensystemen en voorraden is ook iets waar robotisering uitkomst kan bieden zodat de manschappen niet nodeloos belast worden en het verzamelen van informatie in vijandelijk gebied is veel minder riskant als je hiervoor robots inzet. Ook het opruimen van mijnen en andere explosieven laat je veel liever aan robots over dan dat je daar mensenlevens voor op het spel zet.

Als het gaat het gebruiken van de geavanceerdere sensoren van robots, wordt al gewerkt aan individuele soldaatsystemen waarbij handschoenen uitgerust kunnen worden met sensoren om gevaarlijke stoffen te detecteren, met een Google-Glass-achtige constructie in de helm waardoor de militair extra informatie over zijn omgeving in beeld krijgt en met sensoren in zijn gevechtspak die de temperatuur en andere omstandigheden van de militair zelf en zijn omgeving meten.

De robotisering van het krijgsbedrijf is dus al in volle gang. Maar alles is nog wel ondersteunend aan menselijke gevechtshandelingen. Het is de menselijke militair die de beslissingen neemt; er is geen sprake van autonoom opererende robots. Het Nederlandse ministerie van Defensie zit ook niet te wachten op autonome killer-systemen die zonder verdere menselijke tussenkomst kunnen schieten. Daarvoor zijn er nog te veel serieuze en niet-beantwoorde vragen. Zelf-schietende systemen zijn ook in strijd met het oorlogsrecht omdat je robots niet het onderscheid kunt laten maken tussen militairen en burgers (en vooral niet als militairen als burger gekleed over straat gaan – HNONT) en je zit met de verantwoordelijkheid achteraf: wie stel je aansprakelijk voor eventuele burgerdoden of andere oorlogsmisdaden: de robot, de fabrikant, de programmeur? De Nederlandse krijgsmacht werkt hier dus niet aan en is dat ook niet van plan, aldus Goedhart, maar de minister is ook niet voor een absolute stop. Ze heeft vorig jaar vier drones aangeschaft. Deze zijn nog wel onbewapend, maar de eerlijkheid gebied te zeggen, aldus Goedhart, dat ze heel eenvoudig bewapend kunnen worden.

Slotconclusie van Goedhart is dat we meer tijd nodig hebben om tot een afgewogen oordeel te komen. Een open vraag is ook of je door de inzet van bijvoorbeeld drones een full scale oorlog kunt voorkomen. Op het eerste gezicht lijkt dat wel het geval te zijn. Je kunt op kleinere schaal gerichte acties ondernemen zonder een volledige militaire invasie te moeten plegen. Het lijkt daardoor alsof je schone oorlogen kunt voeren, maar een schone oorlog is net zoiets als droog water, aldus Goedhart.

De tweede spreker was dr. Maaike Harbers, werkzaam bij het Military Human Enhancement project aan de Technische Universiteit Delft. Net als haar voorganger stelt ze feitelijk vast dat of we het nu leuk vinden of niet er steeds meer militaire robots komen die steeds diverser taken, steeds zelfstandiger uit kunnen voeren. Dat geldt op het land, waar robots ingezet worden om zware lasten te dragen, de wacht te houden, gebieden te verkennen, een aanval af te weren en aanvallen uit te voeren (zoals aan de Zuid-Koreaanse kant van de grens met Noord-Korea), op het water, waar ze ingezet worden voor verkenning, toezicht en afweer (zoals de ruim 25 jaar geleden door Hollandse Signaal Apparaten, tegenwoordig Thales, ontwikkelde goalkeepter), en in de lucht, waar ze eveneens ingezet worden voor verkenning, monitoren, het leveren van luchtsteun en targeted killings).

Zoals uit het voorgaande blijkt kunnen robots in meer systematische zin waarnemen (met behulp van camera’s, infrarood, afstandssensoren, geluidssensoren, e.d.), redeneren (route berekenen, patroon herkennen, beslissen) en handelen (tillen, zich verplaatsen, maar ook schieten). Hierbij moet aangetekend worden dat hoe complexer de taken van een robot worden, hoe specifieker de omstandigheden moeten zijn waarin de robot dit geheel zelfstandig zou kunnen doen. Over het algemeen worden militaire robots op dit moment nog door de mens op afstand bestuurd (mens in the loop).

Het debat over robotisering van het militair bedrijf gaat in feite vooral over de wenselijkheid van geautomatiseerde robots die in de nabije toekomst mogelijk ingezet gaan worden en waarbij de mens out of the loop is. Je hebt het dan over de kill chain van observeren via eigen redeneringsstappen naar het uiteindelijk schieten zonder dat daar nog een menselijke militair tussen zit.

Uitgangspunt van het Military Human Enhancement project aan de Technische Universiteit Delft is dat militaire robots goed en kwaad kunnen doen; dat dat voor heel veel technologie geldt; dat je dus moet kijken wat specifiek is aan militaire robots en dat je dan uitkomt op het feit dat dit soort militaire intelligente systemen minder transparant zijn, minder voorspelbaar en minder aanstuurbaar. Daar zul je rekening mee moeten houden bij het verantwoord ontwerpen van dit soort militaire robots. Ze heeft daarvoor een viertal vuistregels: Denk tijdens het ontwerpproces na over de consequenties van je ontwerpkeuzes. Houdt rekening met onzekere factoren. Ontwerp robots zo dat ze transparant, voorspelbaar en aanstuurbaar zijn. Gebruik robots alleen in contexten waar ze voor bedoeld zijn.

De derde en laatste spreker was Mirjam Struyk, werkzaam bij Pax en initiatiefnemer en projectdirecteur van de “Campaign to Stop Killer Robots”. Pax, zo benadrukt Struyk, is geen pacifistische organisatie die per definitie tegen wapens is. Ze kijkt echter naar de gevolgen van wapensystemen voor de burgerbevolking in conflictgebieden en komt op basis daarvan met aanbevelingen per wapensysteem of deze verboden of nader gereguleerd moet worden.

De gevolgen van kernwapens, chemische en bacteriologische wapens en landmijnen voor de burgerbevolking zijn zo desastreus dat je die wapens volgens Pax integraal moet verbieden. Dat geldt wat Pax betreft ook voor killer robots en het voordeel hiervan is dat ze er feitelijk nog niet zijn en dat je nu dus nog kunt proberen om hun komst te voorkomen in plaats van dat je als vredesbeweging weer achter de feiten aan loopt. Het nadeel van het willen verbieden van een wapensysteem dat er nog niet is, is dat je nog niet precies weet waar je het over hebt. Voor killer-robots hanteert de internationale campagne de volgende werkdefinitie: “Volledig autonome wapens zijn wapens die als ze eenmaal geactiveerd zijn zelf – zonder betekenisvolle menselijke interventie – hun doelwit selecteren en uitschakelen.”

In aansluiting om de slotopmerking van Goedhart, stelt Struyk vast dat killer-robots, waarvan drones een vergevorderd prototype zijn, drempelverlagend kunnen werken om militair in actie te komen. Waar George Bush jr. nog een totale oorlog ontketende tegen landen, grijpt Obama enkel met drones in. Dat is minder zichtbaar, maar Obama vecht ondertussen wel in meer landen dan Bush. Pax is overigens niet per se tegen gewapende drones, maar wel tegen de glijdende schaal die hiermee wordt ingezet.

In zekere zin zijn er al volledig autonome wapens, maar daarvan zou je kunnen zeggen dat deze louter defensief zijn en hun scope is ook nauwkeurig gedefinieerd. Te denken valt aan de reeds eerder genoemde goalkeeper die op marineschepen wordt gebruikt om zonder menselijke tussenkomst aanvliegende projectielen te detecteren en uit te schakelen en aan het Israëlische afweersysteem tegen raketten die vanuit de Gazastrook of vanuit de buurlanden op Israël worden afgevuurd.

De international Campaign to Stop killer robot is in april 2013 begonnen en bepleit in navolging van de VN-rapporteur Christof Heyns een algemeen moratorium op de ontwikkeling van deze wapensystemen om de tijd te krijgen om tot wereldwijde afspraken te komen over killer robots. Die tijd zal dan ook gebruikt moeten worden om antwoorden te formuleren op diverse nog openstaande vragen, zoals de definitie van killer robots (over welk niveau van autonomie hebben we het, gaat het alleen over dodelijke wapens of ook om wapens die kunnen verwonden, om offensieve of ook defensieve wapens, etc.), richten we ons ook op bestaande wapensystemen die onder de definitie vallen of alleen op nieuwe wapensystem. En tot slot: wat is “betekenisvolle menselijke interventie”?

Tot slot de Nederlande positie waar Pax helemaal niet ontevreden mee is. Zoals ook Goedhart al aangaf, heeft minister Hennis-Plasschaert van Defensie in november 2013 gezegd: "Defensie werkt niet aan volledig geautomatiseerde wapensystemen en heeft daar ook geen plannen voor." Maar de door Defensie toegezegde brief aan de Kamer waarin deze uitspraak nader wordt uitgewerkt is er nog steeds niet, zo stelt Struyk. Anderzijds constateert ze een actieve deelname van Nederland aan internationale debatten over dit onderwerp en financiering van projecten in dit kader.

Bij het overgaan naar de discussieronde constateert Steven Dorrestijn dat de drie inleiders eigenlijk hetzelfde betoog houden. (Het waren inderdaad drie varianten van het verhaal van generaal buiten dienst en Pax Christi bestuurslid Kees Homan afgelopen Vredesweek op de Universiteit Twente - HNONT). Alle drie vinden ze de “out-of-the-loop-systemen” onwenselijk. Maar betekent dat ook dat die er dan niet komen?

Mark Goedhart stelt de discussie wat scherper. De out-of-the-loop-systemen zijn er eigenlijk al. Niet alleen als je het over de goalkeeper, de Zuid-Koreaanse grensbewakingssystemen of het Israëlische anti-raketgeschut hebt, maar ook landmijnen, waarvan hij er als genist talloze heeft gelegd, zijn in feite, eenmaal gelegd, volledig autonome en veelal dodelijke of op z’n minst zwaar verwondende out-of-the-loop systemen. Dankzij de antilandmijncampagne waar Pax ook aan mee heeft gewerkt zijn de landmijnen inmiddels internationaal verboden en heeft ook het Nederlandse leger ze afgeschaft, maar misschien zou je toch weer mijnen willen hebben waar dan een menselijke tussenkomst in zit in gebakken. Het was namelijk een goed wapensysteem dat door Nederland is afgeschaft omdat de dreiging die we ermee wilden bezweren op dat moment niet bestond, maar met de ontwikkelingen in Oekraïne en rond IS zou je daar misschien toch weer naar terug willen. Stappen tot ontwapening en stringentere regulering van wapensystemen worden gedaan op momenten van relatieve rust en vrede, maar wat nu als de oorlog weer voor de deur staat?

Struyk vindt dit een gevaarlijke en ook misplaatste gedachtegang. Inderdaad is er sprake van een grotere onveiligheid en een paar jaar geleden, vooral voor de burgerbevolking van conflictgebieden overigen. Maar technologie biedt daarop geen antwoord op. Je bent uiteindelijk nooit de enige die dit soort systemen kan inzetten. Goedhart kan wel zeggen dat hij hoopt dat alleen de NAVO over dit soort wapens kan beschikken, maar je weet dat dat uiteindelijk niet het geval kan zijn. Wapensystemen vergroten de veiligheid niet; dat doe je door het in politieke oplossingen te zoeken. Landmijnen afschaffen en toch weer introduceren omdat de tijd erom vraagt, is een moreel en ook juridisch niet houdbare positie.

Harbers constateert echter dat niet alleen de mijn maar ook de goalkeeper binnen Struyks definitie van killer robots valt en hoorde Struyk zeggen dat ze met de goalkeeper geen problemen heeft. Dat is dan toch vreemd. Struyk voert aan dat voor haar het criterium is of er burgerslachtoffers kunnen vallen en dat is bij de goalkeeper niet het geval.

Vanuit de zaal wordt gevraagd of een wereldwijd verbod op de ontwikkeling van killer robots wel houdbaar is. IS zou die wapens ook kunnen ontwikkelen en lijkt moeilijk aan internationale afspraken onderworpen te kunnen worden. Harbers vult aan dat er bij killer robots ook geen sprake is van één technologie. In feite is er sprake van verschillende technologieën die in zo’n killer robot bij elkaar gebracht (kunnen) worden. Je kunt denken aan sensoren, aan artificial intelligence, aan patroon herkenning etc. Op al die technologische gebieden zullen de komende jaren vorderingen gemaakt worden en dat vinden we met ons allen ook wenselijk. Iedereen, het Amerikaanse leger, maar inderdaad ook IS, kan die technologieën vervolgens combineren tot killer robots. Goedhart vult aan dat het Westen de landmijnen heeft afgeschaft, maar dat “onze tegenstanders” in Afghanistan en Irak op grote schaal IED’s inzetten die feitelijk dezelfde functie en werking hebben (maar dan veelal nog met een mens in-the-loop – HNONT) en de grootste doodsoorzaak bij buitenlandse militairen in genoemde landen vormen. Struyk waarschuwt er voor om onze eigen ethische beginselen loste laten vanwege de redenering “zij hebben het, dus waarom wij niet”. Anderzijds is ze ook niet voor een rem op technologische ontwikkelingen in het algemeen. Dat leidt tot een samenleving waar zij niet in zou willen leven. Het gaat haar om de ontwikkeling of toepassing van militair technologie.

Een tweede vragensteller bepleit open source robot-technologie. Volgens Harbers is dat niet wat ze bedoelde met “transparantie”. Het gaat er om dat de robot transparant moet zijn voor de mens die hem bedient. De derde vragensteller meent dat de robot-technologie uiteindelijk toch open source wordt omdat het door hackers geopenbaard wordt. Houdt defensie daar eigenlijk wel rekening mee? Goedhart antwoordt dat je dan op het terrein van de cyberdefensie komt. Dat geldt overigens niet alleen voor robotsystemen, maar ook voor de talloze computersystemen die nu al op grote schaal door Defensie worden gebruikt.

De vierde vragensteller is duidelijk dat de inleiders geen artificial soldiers willen, maar vraagt zich af of de inleiders deze ook niet verwachten. Harbers is niet ten principale tegen. Bepaalde functies binnen defensie kunnen heel goed aan robots overgedragen worden. Struyk ziet dat de robotisering van de samenleving gewoon verder gaat. Daarover heeft ze geen oordeel. Wel over killer robots. En daarbij moet haar van het hart dat de ontwikkelingen op dat terrein veel sneller gaan dan zij en haar internationale kompanen twee jaar geleden bij de start van de campagne verwachtten. Goedhart verwacht dat de robotisering binnen defensie beslist verder zal gaan en hij verwijst in dit verband naar de onlangs door defensie aangeschafte drones.

Een vijfde vragensteller wil weten waarom de goalkeeper wel aanvaardbaar is voor Struyk maar andere autonome systemen niet. Volgens Struyk is bij de goalkeeper sprake van een geautomatiseerd wapensystemen en dat is weer wat anders dan een autonoom systemen. Harbers vindt het onderscheid tussen automatisch en autonoom kunstmatig. Dat verschil is nergens helder gedefinieerd. Volgens de door Struyk gehanteerde werkdefinitie van killer robots valt de goalkeeper daar gewoon binnen en is het dus een killer robot. Het is allemaal dus minder futuristisch dan je zou denken.

De zesde vragensteller hoorde Goedhart de banken noemen als aanjagers van deze technologie. Hij constateert dat de banken nogal wat ellende hebben veroorzaakt; op de volgende Saxion Studium Generale lezing zal Joris Luijendijk daar nog een boekje over opendoen. Doen we er niet beter aan ons spaargeld bij banken weg te zetten die niet in wapensystemen investeren? Goedhart kan zich alleen herinneren gezegd te hebben dat banken ook investeren in de verdediging tegen cyberaanvallen. Meer niet.

Een zevende vragensteller is van mening dat killer robots een effectief wapen hadden kunnen vormen tegen de sluipschutters die twintig jaar geleden Sarajevo onleefbaar maakten. Als je sluipschutters met killer robots uit had kunnen schakelen, kunnen we dan eigenlijk wel tegen zijn? Goedhart is het met de vragensteller eens: restricties aan wapensystemen kunnen alleen in de afwezigheid van een concrete dreiging genomen worden. Als je er midden inzit, reageer je anders. Harbers is ook niet principieel tegen dit soort systemen. Struyk wel. Natuurlijk kun je bij elk wapensysteem een situatie bedenken waar het groot nut had kunnen bewijzen, maar daarop kun je geen algemeen oordeel over het wapensysteem baseren. Het is een gevaarlijke ontwikkeling als bij de uitschakeling van tegenstanders alleen nog maar gekeken wordt naar de snelheid waarmee dit moet gebeuren en de systemen die dit kunnen doen zich aan de menselijke controle gaan onttrekken.

De achtste en laatste vraag betreft de ook door Nederland aangeschafte Reaper drones en of er geen sprake is van een verregaande ontmenselijking van de oorlogvoering en dus van het vervagen van morele grenzen. Goedhart ontkent dat er echt sprake is van essentiële veranderingen. De mensen die op grote afstand van het strijdgewoel, ergens in Nevada, aan de stuurknuppel van de bewapende drone zitten blijken net zoveel last van Post-Traumatisch Stress Syndroom te hebben als hun collega’s in het veld. Bovendien: een artillerist of een F-16-piloot zien ook niet met eigen ogen wie of wat ze beschieten. Je zou zelfs kunnen zeggen dat een drone-piloot dankzij de camera’s van de drone meer zicht hebben op hun doelwit dan de artillerist of de straaljagerpiloot. De frustratie zit vooral bij de andere partij, omdat de drone-piloot zelf geen risico loopt en de F-16-piloot eventueel nog getroffen kan worden door een raketwerper. Stuyk is het met hem eens dat het verschil tussen een drone en een F-16 eerder gradueel dan essentieel is. Probleem is echter wel dat, omdat het om onbemenste systemen gaat, de drempel om drones in te zetten een stuk lager is dan bij bemenste vluchten. Ook is er minder controle op.


En met de constatering dat er nog veel meer over te discussiëren valt, zet Steven Dorrestijn er vervolgens een punt achter.

Geen opmerkingen:

Een reactie posten