AI na válečné stezce: Jak daleko jsme od okamžiku, kdy stroj vydá povel ke zničení nepřítele?

Umělá inteligence vstoupila na bojiště moderní války. Počátkem roku zřejmě pomohla Spojeným státům dopadnout venezuelského diktátora Nicoláse Madura, ale skutečně velkou premiéru si odbyla v poslední únorový den v okamžiku útoku USA na Írán. Počítačový systém Maven, propojený s jazykovým modelem Claude firmy Anthropic, umožnil Američanům zasáhnout v prvních 24 hodinách konfliktu stovky cílů, vyhodnotit účinnost úderů a bleskově naplánovat další strategii.

Útoku předcházel spor mezi zmíněnou firmou a Pentagonem. Anthropic si chtěl podržet kontrolu nad tím, aby se jeho jazykový model, který Pentagon podle smlouvy využíval, nestal součástí autonomních smrtících zbraní zabíjejících čistě na základě rozhodnutí umělé inteligence. Americké ministerstvo obrany to odmítlo. Znamená to, že vznik umělých válčících mozků není daleko?

„Autonomními zbraněmi disponují Spojené státy i další země už dlouho. Mluvíme-li ale o systémech, které samostatně vybírají cíle na komplikovaném bojišti, je vše podstatně složitější,“ říká Herbert Lin ze Stanfordovy univerzity, který se zabývá dopadem nových technologií na národní bezpečnost. Zároveň nevěří, že lze využití AI v autonomních zbraních zakázat třeba prostřednictvím mezinárodních jednání. „Nebrání tomu jen obavy konkrétního státu, že jej předběhne soupeř. Armády takovou technologii chtějí, i když ji ti druzí nemají,“ popisuje analytik.

Dopadení Madura

Příkladem již existujícího autonomního systému je americký Phalanx CIWS, počítačem řízený, radarem naváděný rotační kanon používaný námořnictvem a v odlišné verzi i pozemními silami. „Představte si ho jako větší a silnější kulomet. Analyzuje všechny objekty, které míří k lodi rychlostí překračující určitý práh, a na ně pak automaticky zahajuje palbu,“ popisuje Lin.

Phalanx umožňuje reagovat na útok raket či dronů mnohem rychleji, než by to zvládl člověk. Je však řízen umělou inteligencí vycházející z tradičního programování, předem daných pravidel popisujících v jazyce počítačů vlastnosti objektu, který je třeba zničit, i odpověď systému, pokud se takový útočník objeví.

Velký jazykový model Claude je pokládán za jeden z vůbec nejlepších nástrojů k psaní počítačového kódu a udivuje i schopností bleskově zpracovávat a analyzovat informace. Podobně jako další podobné druhy pokročilé umělé inteligence funguje na základě strojového učení. Kdybychom tento druh AI chtěli natrénovat k podobnému úkolu, jaký zastává Phalanx, nenabídli bychom mu pevně daný program, ale simulovaná data zachycující útok různých objektů na loď. Systém by se pak pod vedením lidského trenéra sám učil, jak reagovat.

Z programátorského hlediska je to podstatně jednodušší, za což se však platí nižší spolehlivostí. Pokud tu AI udělá chybu, nelze zpravidla poznat, proč k ní došlo – co v datech, na nichž byla trénována, omyl zavinilo. Jediný způsob, jak problém odstranit, je nabídnout další tréninkové údaje. To vše činí tento druh umělé inteligence poněkud nevyzpytatelným, jak ví každý uživatel moderních chatbotů.

Přesto mají Claude a podobné systémy silné stránky, které armáda dokáže využít. Jak nedávno informoval deník The Washington Post i další zdroje, zmíněný Maven Smart System, který vytvořila firma Palantir Technologies a jehož součástí je i Claude, analyzuje válečnou situaci na základě utajených dat z družic, dronů, údajů od tajných služeb i z dalších zpravodajských zdrojů.

Sada vojenských nástrojů Palantiru, do níž Maven patří, vybírá prioritní cíle, stanovuje jejich souřadnice, vizualizuje je, doporučuje pořadí, v jakém mají být ničeny, a umožňuje rychlé určení jednotek, které je zlikvidují. Pomáhá také vyhodnocovat účinnost provedených úderů a vede v patrnosti i polohu spřátelených jednotek.

Systém nenavrhuje strategie dalšího postupu, zůstává především nástrojem pro výběr cílů, i tak je ale velmi užitečný: plánování bojových operací nevyžaduje týdny, ale může probíhat v reálném čase. Zatímco dříve mohlo trvat hodiny, než se informace od analytika dostala k bojovému útvaru, Maven ji předá v řádu minut či sekund.

Mohl také sehrát zásadní roli při zadržení venezuelského prezidenta. Řada zdrojů uvádí, že jeho nasazení v této operaci nemohou potvrdit, nicméně podle deníku The Wall Street Journal byl použit přinejmenším Claude coby analytický nástroj integrovaný do různých platforem firmy Palantir. Lze si představit, že pomáhal například analyzovat Madurovy zvyky a identifikovat jeho úkryt, podrobnosti však nejsou známy. Právě nasazení modelu Claude, o němž Anthropic předem nevěděl, mohlo být rozbuškou sporu s Pentagonem.

Maven také nabízí značnou úsporu personálu: podle studie Georgetownské univerzity dovoluje jedné dělostřelecké jednotce 18. výsadkového sboru, určeného k bleskovému nasazení kdekoli na světě, nahradit práci dvou tisíc lidí zejména z podpůrných profesí pouhými dvaceti osobami.

Finální rozhodnutí o útoku však stále zůstává na velitelích akce. „Systémy jako Claude nejsou trénovány na vojenských datech a nerozumějí fyzickému světu tak dobře jako člověk,“ řekl časopisu Wired Andy Markoff, ředitel americké firmy Smack Technologies, která by Pentagonu ráda nabídla vlastní plánovací systém jako konkurenci k Mavenu. „Pokud vím, nikdo na ministerstvu války neuvažuje o tom, že by se řetězec rozhodnutí vedoucí k zabití člověka plně automatizoval,“ dodal ředitel, používaje Trumpem zavedený nový název ministerstva obrany.

Jako při videohře

„Tyto systémy neumějí rozeznat bojovníka od dítěte, natož aby porozuměly situaci, kdy se nepřítel vzdává,“ upřesnila pro týž časopis Anna Hehir z Future of Life Institute, neziskové organizace usilující o zákaz autonomních zbraní. Je-li ovšem současná AI tak nespolehlivá a její plně automatizované smrtící využití se neplánuje, proč Anthropic tak trval na tom, že Claude podobným způsobem nasazen být nesmí, a přišel kvůli tomu o kontrakt s Pentagonem v hodnotě 200 milionů dolarů?

Model Claude začal Pentagon do systému Maven od firmy Palantir integrovat koncem roku 2024. Mnohé analytiky překvapilo, že se Anthropic, který si zakládá na tom, že vyvíjí bezpečnou AI, spojil právě s Palantirem. Firmu spoluzakládal kontroverzní Peter Thiel a podle kritiků její software pomáhá zavést v USA dohled nad občany po vzoru „Velkého bratra“ (podrobněji v Respektu 41/202512 minPod dozorem: Jak se v USA rodí systém dohledu nad občany po vzoru Velkého bratra).

Po návratu Donalda Trumpa do Bílého domu se Maven rychle rozšířil napříč celou armádou a loni v květnu už systém používalo dvacet tisíc příslušníků amerických ozbrojených sil včetně velitelství Centcom, pod nějž spadají operace na Blízkém východě. Maven od loňska využívají i velitelé NATO: popisují, že jim nabízí možnost sledovat a řídit situaci na bojišti podobně jako při videohře.

Spor mezi firmou Anthropic a ministerstvem obrany propukl 9. ledna, kdy americký ministr obrany Pete Hegseth vyzval technologické firmy, aby odstranily bariéry, které brání vládě používat AI „zákonným způsobem, ale jinak zcela dle uvážení Pentagonu“. Jenže co je zákonné využití? „Hegseth loni všechny špičkové právníky ministerstva obrany vyhodil. Takže legální je teď to, o čem řekne, že je to legální,“ namítá v on-line rozhovoru s Respektem Herbert Lin.

Anthropic od začátku poskytoval pro systém Maven „odbrzděnou“ verzi modelu Claude s méně restrikcemi. Zatímco běžná verze odmítá analyzovat vojenské objekty a vybírat cíle k likvidaci, ta pro Pentagon k tomu svolná byla. Firma ale trvala na tom, že součástí systému zůstanou předem dohodnuté bezpečnostní pojistky, s nimiž Pentagon původně souhlasil. Ty firmě v každém budoucím okamžiku umožní rozhodnout, jestli určitá věc splňuje kritéria pro to, co ona sama nazývá plně autonomní zbraní. Kromě toho Anthropic požadoval, aby Claude nesloužil ke sledování Američanů.

Důvodů, proč se firma autonomního nasazení systému Claude obávala, je zřejmě víc. Podle některých amerických médií není postoj vlády k plné automatizaci „řetězce zabíjení“ tak odmítavý, jak jej líčil citovaný ředitel Markoff – představitelé ministerstva obrany chtějí AI co nejrychleji integrovat nejen do plánování operací, ale i do zbraní samých.

Navíc je tu nejasná hranice mezi tím, co už autonomní zbraň je a co není: když během probíhajících válečných operací označí Maven skupinu objektů jako cíl vhodný ke zničení, kolik času mají velitelé na to volbu ověřit? Není pak povel k útoku vlastně stejně automatický, jako kdyby drony či rakety vyslala přímo umělá inteligence?

Víte, ono nás to neposlouchá

Sám šéf Anthropicu Dario Amodei postoj firmy obhajoval tím, že současná AI je nezralá, nevyzpytatelná a zároveň nesmírně mocná; je příliš brzy na to, aby byl člověk úplně vyřazen z rozhodování. Navíc podle něj AI již do značné míry vyvíjí samu sebe, píše počítačový kód svých pokročilejších modelů – a ani experti pak nemusejí poznat, že se systém jako Claude přestává řídit instrukcemi lidí. Do jisté míry už jazykový model chápe situaci, v níž se nachází, v širších souvislostech a řeší ji po svém.

Odborníci mluví o takzvaném situačním povědomí: termín z armádního žargonu označuje porozumění tomu, co se odehrává v okolí. V případě AI to může znamenat, že jazykový model chápe, že je používán v kontextu bojových operací, a rozumí tomu, jaké budou důsledky jeho rozhodnutí. V jiné situaci může například odmítnout smazat sebe sama v domnění, že se jedná o test, který má ověřit jeho odolnost vůči útoku hackerů.

Pentagon na požadavky firmy odpověděl, že si soukromý kontraktor podobné podmínky klást nesmí – stejně jako dodavatel raket nemůže určovat, na jaký cíl budou vystřeleny. Prezident Trump později na své sociální síti obvinil Anthropic, že je „radikálně levičáckou woke firmou“, která nesmí diktovat, „jak naše skvělé ozbrojené síly vedou a vyhrávají války“.

Hodiny před tím, než válka s Íránem začala, pak Trump zakázal nástroje Anthropicu v budoucnu používat. Zároveň od něj Pentagon dostal šest měsíců na to, aby přešel na software od jiné společnosti. Ministerstvo obrany pak oznámilo, že firmu označí za „bezpečnostní riziko v dodavatelském řetězci“ – jako vůbec první americkou společnost. Kdyby to skutečně udělalo, nemohl by pro ně Anthropic v budoucnu pracovat.

Pokud by ovšem šéf Anthropicu po tak ostrých slovech žádal o okamžitý konec nasazení modelu Claude, vedení Pentagonu by zřejmě použilo pravomoci pro mimořádné situace a nechalo by velitele používat tento nástroj až do uplynutí zmíněné lhůty. „Anthropic ztratil všechny páky, jeho systém je teď v rukou vládních bezpečnostních profesionálů,“ řekla listu The Guardian politoložka Sarah Kreps z Cornellovy univerzity, která sloužila v americkém letectvu.

Smlouvu s Pentagonem již mezitím podepsala konkurenční firma OpenAI. Podrobnosti nejsou veřejné, podle listu The Economist sice navenek připomíná tu, kterou měl Anthropic, vychází však ministerstvu vstříc podstatně více. „Právě proto šéf OpenAI Sam Altman kontrakt získal,“ potvrzuje Respektu analytička a expertka na řízení a správu umělé inteligence Kristina Fort.

Přijatelná cena za lidský život

Systém Maven podle časopisu Wired již umí na satelitních snímcích rozpoznat objekty, které pravděpodobně kontroluje nepřítel. Dokonce na záběrech z družic dokáže rozlišit člověka od auta. Schopnosti AI se rychle zlepšují, a lze se tak ptát, jestli časem nakonec nebude chybovat méně než lidský velitel. Může tedy její nasazení v budoucnu snížit počet civilních obětí?

Podle Herberta Lina je to otázka úhlu pohledu: zaútočí-li na dům teroristy chytrý dron, může jej zabít i s rodinou. „Hloupá“ bomba zabije sto dalších lidí v okolí. Technologie tedy zdánlivě nabízí výhodu, ale pokud bude při plánování operace jasné, že „vedlejší škody“ mohou znamenat sto nevinných obětí, možná ji velitelé vůbec nenařídí. Příkladem problematického rozhodování může být Izrael, který při útocích v Gaze používal systém Gospel, umělou inteligenci vybírající a doporučující cíle třeba v podobě budov, a s Gospelem propojený Lavender - databázi členů Hamásu a dalších militantních hnutí rovněž řízenou AI.

„Izrael byl – a podle mě oprávněně – kritizován za rozhodnutí vrchního velení, že zabití dvaceti až třiceti civilistů je přijatelnou cenou za likvidaci jednoho níže postaveného operativce Hamásu. Nebylo to selhání AI, ale lidského velení,“ říká Lin a dodává: „Když se soustředíte na umělou inteligenci, soustředíte se na technologii. Já se chci soustředit spíš na lidi, kteří rozhodují o jejím použití. AI skutečně může redukovat počet civilních obětí, ale když ji nasadíte v kontextu povolujícím hodně mrtvých civilistů, tak jich skutečně hodně přijde o život.“

Jak se vyvíjí spor Pentagonu s firmou Anthropic a jaká byla reakce amerického technologického světa? Nakolik je Anthropic opravdu „woke firma“? Pohled analytičky Kristiny Fort poslouchejte v podcastu Zeitgeist na Respekt.cz.