Autonomní zabijáci

O životě a smrti na bitevním poli stále ještě rozhoduje člověk, i když samotné provedení smrtícího útoku se čím dál více svěřuje dronům a moderním robotům. Co když ale ponecháme i toto rozhodnutí strojům? Bude to morální pokrok, nebo naopak velký krok zpět?

Většina lidí ví, že slovo „robot“ vymyslel Josef Čapek a jeho bratr Karel jím nahradil své původně zvažované slovo „labor“. Čapkovi roboti se však od dnešních robotů (v reálném prostředí fyzicky realizovaných agentů) výrazně liší a jsem si jistý, že by se Čapek zděsil při představě, že by roboti měli bojovat ve válkách a mít plnou autonomii, i pokud jde o rozhodnutí usmrtit lidské bytosti. Mnozí odborníci své obavy neskrývají a volají po zákazu vývoje a využívání plně autonomních válečných robotů (AVR). Mají však pravdu? Jsou jejich obavy opodstatněné?

Třebaže řada autorů volá po zákazu vývoje a nasazování autonomních vojenských robotů, nechybí ani disidentské hlasy snažící se ukázat, že jejich využití v aktuálních válečných konfliktech morálně přípustné je. Někteří se dokonce nespokojují s morální přípustností; využívání těchto sofistikovaných technologií je dle jejich soudu nejen přípustné, ale dokonce je to naší morální povinností. Nejdůležitějším zastáncem tohoto názoru je Bradley J. Strawser, bývalý příslušník amerických vzdušných sil a profesor filozofie na Naval Postgraduate School v kalifornském Monterey. Jeho argument je poměrně přímočarý. Vychází z jednoduchého principu, jejž považuje za evidentní, a posléze se prostřednictvím několika myšlenkových scénářů snaží svého čtenáře dovést k závěru, že nám etika využívání AVR ukládá.

Princip zbytečného rizika

Princip, o nějž se Strawser opírá, je skutečně velmi jednoduchý a intuitivně přijatelný. Představme si, že někdo má pravomoc ukládat jiným splnění nějakého morálně oprávněného cíle (řekněme, abychom zůstali ve vojenském kontextu, obranu města před útočící armádou). Tento cíl je možné splnit řadou způsobů, některé jsou z vojenského hlediska efektivnější než jiné, nicméně efektivita v tomto případě nemá a nesmí mít poslední slovo. Představme si, že Adam velí vojenské jednotce obránců města, kteří bojují ve spravedlivé válce, tj. armáda dané země splňuje všechny podmínky ius ad bellum a ius in bellum (právo na válku a pravidla vedení války), především přísné rozlišování mezi vojáky a civilisty a princip proporcionality. Adamova jednotka při obraně města využívá moderní zbraně a ochranné prostředky snižující rizika vážné újmy a smrti. A nyní si také představme, vyzývá nás Strawser, že by Adam svým vojákům přikázal, aby odhodili zbraně a zbroj, „vyzbrojili se“ kameny a podnikli frontální útok na nepřítele. Můžeme trochu povolit uzdu své fantazii a předpokládat, že nepřátelští vojáci se tohoto nečekaného a zvláštního přímého útoku zaleknou a ukončí svůj útok na město.

Lze říct, že Adamův rozkaz zvýšil efektivitu obrany města a podařilo se mu naplnit cíl, za nějž je jako velitel odpovědný. Strawser by přesto podotkl, že nejednal správně, neboť vystavil své vojáky většímu riziku, než jakému by je vystavily jiné formy obrany města. Adam se tedy provinil proti principu, jejž americký filozof nazývá princip zbytečného rizika. Ten říká, že udělí-li nějaká oprávněná osoba X jiné osobě (osobám) Y rozkaz uskutečnit určitý objektivně dobrý cíl, má povinnost zvolit takový prostředek dosažení tohoto cíle, který nevystavuje Y zbytečnému riziku. Zda je riziko zbytečné, či není, nemusí být vždy snadné určit, základní myšlenka je však opět velmi jednoduchá: existují‑li k dosažení cíle C prostředky P₁, …, P_n a prostředek P_i je pro Y nejméně riskantní (a přesto umožňuje efektivní dosažení C), má X povinnost zvolit P_i.

Voják vypouští během spojeneckého cvičení na Islandu do terénu robota Talon, určeného k likvidaci výbušnin. Proč vystavovat pyrotechniky riziku, pokud jejich práci zvládnou roboti?Snímek U.S. Navy, Mat Murch

Zdá se mi, že Strawserův princip je skutečně intuitivně přijatelný. Ostatně kdybychom chtěli popřít jeho platnost, museli bychom tvrdit, že je morálně přípustné zvolit rizikovější prostředek k dosažení nějakého cíle, byť máme k dispozici jiný s nižším rizikem újmy na zdraví či životech. Zdá se však, že od jeho platnosti k morální přípustnosti či dokonce povinnosti využívat AVR namísto lidských vojáků je ještě daleko. Strawser se nás ale pokouší přesvědčit, že tomu tak není. Představme si, že dvě města, říkejme jim pro jednoduchost A a B, mají své pyrotechnické jednotky. A i B mají možnost využívat ke zneškodňování bomb autonomní robotické systémy. Město A této možnosti využije, zatímco město B ne. Jak bychom tyto jejich volby z morálního hlediska posoudili? Můžeme říct, že cíl je objektivně dobrý (zjednodušeně: zneškodňovat bomby), současně je evidentní, že tohoto cíle je možné dosáhnout více způsoby. Město A zvolilo takový způsob, který umožňuje efektivní dosažení cílů pyrotechnické jednotky a současně chrání životy jejích členů, zatímco město B se rozhodlo držet se svých zavedených postupů. To však zahrnuje fakt, že B vystavuje členy pyrotechnické jednotky rizikům, jimž by je vystavovat nemuselo, kdyby se rozhodlo jako město A. Takové jednání je však jen obtížně přijatelné.

Zkusme vyjít z tohoto scénáře směrem k využívání AVR. Mohli bychom si znovu představit dvě města, označme si je opět A a B. Obě města vedou spravedlivou obrannou válku proti nepříteli, který útočí na jejich brány. Město A se rozhodne využít možnosti moderní vědy a v rámci sebeobrany nasadí autonomní vojenské roboty, kteří mu umožní útok efektivně odrazit a válku ukončit. Naproti tomu město B se k tomuto radikálnímu kroku neodhodlá a povede obrannou válku tradičními metodami. Sice se mu podaří útok nepřítele odrazit a válku ukončit, musí za to však zaplatit vysokou cenu vyjádřenou množstvím zabitých a zraněných vojáků. Které město se z etického hlediska zachovalo korektněji? Naše morální intuice nás zřejmě povedou k závěru, že město A efektivně dosáhlo stejného objektivně dobrého cíle (obrany města a lidských životů ve spravedlivé obranné válce), na rozdíl od města B ho však dosáhlo tak, že vystavilo své vojáky výrazně nižšímu riziku smrti.

Argument ve prospěch morální přípustnosti či dokonce povinnosti využívat AVR je tedy poměrně bezdiskusní. Někteří autoři, například Jai Galliott, vedoucí skupiny, která se věnuje hodnotovým aspektům obranných a bezpečnostních technologií v centru Cyber University Nového Jižního Walesu v australské Canbeře, se však domnívají, že Strawserova argumentace musí být ukotvena v širším etickém rámci kontraktualistických teorií. Galliotovy sofistikované úvahy zde podrobněji popisovat nelze. Pokusím se však ukázat, že do našich morálních úvah lze zahrnout faktory, jež mohou platnost či naši ochotu přijímat Strawserovy závěry poněkud zpochybnit. Vycházejí z předpokladu, že americký filozof (a ti, kteří s ním souhlasí) poněkud opomíjejí komplexnost úvah o využívání AVR v reálných válečných konfliktech.

Kdo ponese odpovědnost?

Někteří autoři upozorňují na to, že jedním z důležitých prvků spravedlivé války je možnost přisuzování odpovědnosti za jednání, jež je v rozporu s některým z etických principů válčení. Příkladem může být útok na civilisty, ať již je důsledkem chybné strategické úvahy, špatné orientace na bitevním poli, nemorálních cílů (demoralizace obyvatel nepřátelského státu, jeho armády a vlády), či dokonce špatných úmyslů. Představme si však, že nějaký robotický systém omylem vyhodnotí skupinu civilistů jako nepřátelské vojáky, zahájí palbu a všechny je zabije. Kdo by nesl odpovědnost za takový masakr nevinných lidí? Stroje, alespoň podle většinového názoru, žádnou morální či právní odpovědnost mít nemohou, stejně tak ale nemůžeme obviňovat inženýry, kteří je stvořili, či vojáky, kteří dali rozkaz k jejich nasazení.

Tento problém ale není tak vážný, jak by se mohlo zdát, upozorňuje ve svých pracích izraelský filozof z Haifské univerzity Daniel Statman. Pokud by selhání autonomních systémů představovalo přesvědčivý důvod k tomu, abychom je nevyužívali, potom bychom se v zájmu konzistence měli vzdát i jiných moderních technologií, jakými jsou například autonomní vozidla. Kromě toho, odpovědnost je poměrně komplikovaný pojem či spíše celý trs úzce spojených pojmů, z nichž některé na AVR aplikovatelné jsou, a jiné zase ne. Odpůrci využívání AVR se zřejmě budou soustřeďovat na ten význam retrospektivní odpovědnosti, která se dostává do hry například v okamžiku, kdy je někomu způsobena újma. Můžeme se ptát, kdo je kauzálně zodpovědný za újmu, nejvíc nás ale zajímá, zda je vůči němu korektní zaujímání nějakých negativních postojů (například hněvu) a aplikace případných sankcí (společenských či státem určených, jako je například vězení). Stroje sice nelze potrestat, to ale neznamená, že odpovědnost za jejich chybnou funkci nemůže převzít stát. V takovém případě bychom asi řekli, že stroje nemají žádnou subjektivní odpovědnost (nejednaly ze zlého úmyslu či opomenutí), objektivní odpovědnost, tj. odpovědnost za vzniklou újmu, za ně přebírá stát. Ten by se tak stal subjektem, který má morální povinnost vzniklou škodu napravit, například prostřednictvím finanční kompenzace.

Někteří odborníci, například filozof vědy a techniky Peter Asaro, se domnívají, že pokud by ve válce – třebas i spravedlivé – zabíjely autonomní stroje namísto lidských vojáků, bylo by to v rozporu s lidskou důstojností usmrcených. Podle Asara totiž rozhodnutí vzít lidský život, jež v rozporu s touto důstojností není, musí předpokládat řadu schopností, jimiž vojenští roboti dle jeho soudu nedisponují. Jedná se především o schopnost rozpoznat druhého jako člověka s jeho právy, pochopení hodnoty života a významu jeho ztráty a umění praktické reflexe zvažující důvody pro a proti zabití v každé konkrétní situaci.

Přiznám se, že tomuto argumentu příliš nerozumím. V první řadě proto, že netuším, zda vůbec existuje něco takového jako lidská důstojnost, a pokud ano, co přesně znamená a jaké morální požadavky z ní lze odvodit. Například v debatách o eutanazii zastánci obou táborů důstojností běžně argumentují a to tak, že usmrcení pacienta je v rozporu s lidskou důstojností (jsou-li proti eutanazii), či právě naopak, že odmítnout pacientovu žádost o milosrdnou smrt z rukou lékaře je v rozporu s touto důstojností. I kdyby tedy něco jako lidská důstojnost bylo v nějakém smyslu reálné, postrádáme nástroje, jež by nám umožnily dopracovat se od ní ke konkrétním etickým závěrům.

Ale zkusme připustit, že lidská důstojnost reálná je. Přesto lze říct, že Asarův argument příliš přesvědčivý není. V první řadě proto, že si silně idealizuje realitu válečných konfliktů. Boj na život a na smrt, kdy se střetávají unavení, vystrašení a někdy i silně demoralizovaní vojáci, je velmi vzdálený podmínkám pro vedení úvah o hodnotě lidského života či jeho důstojnosti. Je-li něco v rozporu s lidskou důstojností, je to právě fakt, že vojáci musejí zabíjet, aby sami přežili, musejí čelit ponižujícím a obtížným podmínkám, být svědky hrůz na válečném poli a aktivně se na nich podílet. Kolik lidské důstojnosti bylo zachováno třeba v bojích mezi vojáky v zákopech první světové války?

Americký voják odtahuje z přistávací dráhy dron RQ-7 Shadow. Tento stroj slouží k průzkumu a označování cílů; na dálku ho kontroluje lidský operátor. Ale vojenští roboti a drony jsou čím dál samostatnější. Máme je nechat rozhodovat o životě a smrti?Snímek U.S. Army

Morálnější válka?

AVR ve skutečnosti mohou udělat válku lidštější a morálnější. V první řadě proto, že budou schopni lépe odlišit vojáky od civilistů. Některé drony to dokážou již dnes a technologie budoucnosti bude ještě mnohem vyspělejší. Lze tedy předpokládat, že nasazení AVR sníží počet civilních obětí i proto, že vojenští roboti nebudou nikdy unavení, vystrašení či nepozorní a nebudou jednat pod tlakem emocí. Jejich využívání také může výrazně snížit rizika, jimž budou vystaveni samotní vojáci. Někteří autoři rovněž zdůrazňují, že AVR mohou působit méně škod než lidští vojáci. Útočí-li na sebe vojáci, je jejich cílem zneškodnit protivníka, tj. neumožnit mu ohrozit jejich vlastní životy a vojenský úspěch celé operace. K tomu by teoreticky stačila relativně mírná zranění (řekněme průstřel svalu na noze). Bylo by však velmi nerealistické očekávat takovou „chirurgickou“ přesnost v drsných, stresujících a vysoce nebezpečných podmínkách válečných střetů. Alespoň tedy od lidí. AVR by to však dokázat mohli, a tím by zaručili, že počet obětí a vážnost zranění budou co nejmenší.

Nemohu se zde věnovat všem aspektům etiky AVR. Osobně si myslím, že se navzdory výhradám řady odborníků mohou stát nástrojem morálnějšího vedení války. A nezapomínejme ještě na jednu důležitou věc. Když tyto sofistikované robotické systémy nebudou vyvíjet „hodné“ státy, jimž leží na srdci lidská práva a mír, zcela nepochybně je budou vyvíjet ty „zlé“. Větší starosti než Skynet a Terminátoři mi dělá právě toto; jedná se o reálné riziko, které může mít pro demokratické režimy neblahé následky.