Možná nasadíme blade runnery

Vzniknou časem superinteligentní stroje, které ve všech důležitých oblastech výrazně předčí duševní schopnosti člověka? Zatím se nic takového nerýsuje. Systémy umělé inteligence jako AlphaGo a Watson již porážejí velmistry ve hře Go nebo excelují ve vědomostní soutěži, zvládají však vždy jen jeden úkol. K univerzální všestranné inteligenci mají daleko. Přesto mnozí vědci věří, že superinteligence vznikne brzy, nejspíš již v tomto století. Patří k nim americká filosofka a kognitivní vědkyně Susan Schneider, která se souvislostmi umělé inteligence zabývá. Jednou z věcí, nad kterou se zamýšlela i během nedávného festivalu Academia Film Olomouc, je otázka, zda tento výtvor lidstva bude mít vůbec vědomí.

Jak jste se dostala k filosofii?

Studovala jsem ekonomii na Kalifornské univerzitě a objevila se příležitost vyjet na rok do Budapešti na výměnný program. V Maďarsku jsme - myslím - byli první americká skupina, která se něčeho takového účastnila. Byla to fantastická zkušenost. Naši učitelé byli disidenti, a tak nesměli učit maďarské studenty. Lidé, kteří jim to zakazovali, si nejspíš říkali Nechme je učit Američany, jejich mysli jsou beztak už zkažené. Maďarští učitelé nevyučovali praktickou ekonomii jako ve Státech, jejich záběr byl širší. A tak jsem se vlastně dostala poprvé k filosofii.

Co vás na ní zaujalo?

Profesoři se zajímali o témata související s represí, útiskem. Bylo úžasné, ale také velmi smutné, že jsem se s tím setkala právě v Budapešti; četli jsme Foucaulta, který píše o dozoru, policejním státě, nebo Ervinga Goffmana popisujícího institucionalizaci (omezení svobody ve prospěch byrokratických struktur, pozn. aut.). Pro Maďary to byla realita, žili ve společnosti založené na útlaku. Proto mě filosofie tolik fascinovala – stávala se realitou. Změnilo to směr, kterým se ubíral můj život.

Na jedné ze svých přednášek jste citovala otázky, které lidé pokládají inteligentní asistence Siri v mobilním telefonu - mezi nimi i dotaz „Siri, jak se mám zbavit mrtvoly?“ Pamatujete si odpověď?

Původně Siri odpovídala smysluplně - něco jako „odhoď tělo na skládku“. To už je ale minulost. Programátoři reakci Siri na podobné dotazy upravili, protože ta záležitost s mrtvolou se vynořila u soudu, ve skutečném případu obvinění z vraždy, kde se vrah těla opravdu zbavil. Dnes dostanete jen nesmyslnou odpověď.

Siri je stále jen chytrý software. Co když za pár let vznikne nějaký univerzálnější systém, u kterého si nebudeme jisti, jestli nemá zárodky vědomí? Budeme to umět zjistit, otestovat?

Bude to velmi těžké. Existuje řada druhů umělé inteligence, měli bychom tedy začít vyvíjet několik rozdílných testů, přičemž bude stačit, aby stroj nadaný vědomím prošel jen jedním z nich. I za mrtvého můžete být označen podle různých kritérií: dlouhodobě nedýcháte, netluče vám srdce, došlo k mozkové smrti. Analogicky by stroji stačilo, aby obstál jen v jedné zkoušce, jednom kritériu.

Jak to tedy udělat?

Nejdřív musíme vědět, kde vědomí vůbec může sídlit. Pomoci by nám mohly mozkové implantáty, čipy, které se už vyvíjejí. Představte si, že takovým čipem z křemíku nahradíte část lidského mozku, která zahrnuje vědomí. Může se pak stát, že lidé pak začnou vědomí ztrácet - přestanou si uvědomovat příslušný výsek reality. Čip třeba nahradí část jejich vizuální mozkové kůry a oni ztratí vizuální vnímání světa. Pokud to vědci nebudou schopni opravit, vyřešit ten problém ani po mnoha letech výzkumu, můžeme konstatovat, že křemík není substancí, do které lze přenést vědomí. Pro mozkové čipy se ale zkoumají i další materiály – uhlíkové nanotrubičky nebo grafen. Jiný materiál než křemík tedy třeba testem projde a budeme vědět, že sídlem vědomí být může.

Mozkové čipy se už vyvíjejí jako pomůcka pro pacienty ztrácející paměť kvůli Alzheimerově chorobě. Vývoj je ale úplně v začátcích. Není tedy pravděpodobnější, že nějaký systém s prvky vědomí vznikne dřív, než budeme tenhle test schopni provést?

Máte pravdu. Pracujeme proto i na jiných testech. Nesmím mluvit o podrobnostech, ale jedna cesta se podobá té, kterou zachycuje film Blade Runner. Policista Deckard v něm testuje androidku, do které se potom zamiluje. Vede s ní pohovor a zkoumá nejen to, zda jde o stroj, ale také to, jestli ona žena případně vůbec ví, že je android, ne člověk. Klade jí nepříjemné otázky, aby ji přiměl k emocionálním reakcím. Naše představa je podobná – formát rozhovoru s otázkami navrženými tak, aby bylo jasné, zda stroj rozumí fenoménu vědomí.

V jiném sci-fi filmu z 80. let, Číslo 5 žije, ukáže hrdina robotovi abstraktní barevnou skvrnu a stroj řekne, že mu připomíná motýla, ačkoliv k takovým asociacím nebyl naprogramován. Mohlo by i tohle být základem testu vědomí?

Potíž je, že robot může být velmi kreativní, nabízet podobné asociace, a přesto vědomí mít nemusí. Ale až se setkáte s robotem, který se zeptá, jestli může přežít vlastní smrt, nebo se začne o vědomí sám zajímat a studovat třeba filosofické hádanky, které se fenoménem vědomí zabývají, bude těžké mu vědomí upřít. Ale i pak budete muset prověřit, jestli robot jen nenapodobuje chování lidí; jestli nemá databázi s informacemi o tom, že lidé věří ve věc zvanou vědomí a nějak ji studují.

O vědomí se dnes nemluví jako o stavu ano – ne, ale spíše jako o škále. Někteří vědci říkají, že současné stroje jsou na ní o něco výše než hmyz.

Možná. Pokud jde o tvory jako ústřice nebo humři, nejsme si zcela jisti, jestli vědomí mají. U koček a psů se většina lidí shodne, že mají. Poznat to není snadné a možná nikdy nebudeme moci rozhodnout. A třeba to v těchto hraničních případech ani rozhodnout nejde. Podobné to může být s umělou inteligencí, se systémy jako AlhpaGo nebo Watson. Zdržela bych se zatím v těchto věcech soudů, nemyslím si, že bychom rozuměli tomu, co je strojové vědomí.

Nic takového koneckonců ještě nevzniklo.

Inteligentní stroj nutně nemusí být vědomý stroj. Vlastnosti mozku, které zajišťují sofistikované zpracovávání informací, můžete zřejmě napodobit ve stroji, aniž byste napodobili ten zbytek – vliv hormonů, těla a podobně. Existence vědomí může záviset na těchto detailech. A my o tom prostě zatím nevíme dost.

Napsala jste: „Androidi navržení tak, aby nás dojímali, vzbuzovali v nás emoce, jako třeba Ava ve filmu Ex Machina, nemusejí mít vědomí, zatímco nějaká obyčejná nevzhledná serverovna může.“ Je to ale skutečně tak?

Proč by nebylo?

Právě proto, že lidský mozek je ukotven v těle. Kromě toho jsme v dětství procházeli dlouhou fází učení. Nepamatujeme si, jaké vědomí jsme měli, když jsme se narodili. Co když je to tak, že když nemáte tělo, neprojdete učením, scházejí vám generace předků, pak nemůžete mít ani vědomí?

Tělo je pro existenci vědomí možná opravdu zásadní. Mít smyslovou zkušenost, vnímat své okolí. Opravdu je těžké si představit, jak něco může mít vědomí, aniž to dostává informace prostřednictvím smyslů.

Jak by tedy serverovna mohla mít smyslovou zkušenost?

Tou zkušeností může být i přístup k internetu. Stroj si v principu může stáhnout informace, které mu umožní se virtuálně procházet třeba v italské Florencii. Užívat si krásný západ slunce. Může se nahrát do těla androida. Představovat si tedy, že serverovna nemůže mít vědomí, protože nemá tělo, nemusí být správné.

Uvažujete i o tom, jestli mimozemská inteligence, až na ni případně v kosmu narazíme, bude strojová, nebo biologická. Není to až moc velké sci-fi?

Mám sci-fi ráda. Zamlada jsem ji hltala - můj tehdejší přítel jí měl plnou knihovnu. Úplně mě to dostalo: Arthur C. Clarke, Isaac Asimov, Frank Herbert. Četla jsem všechno a myslím, že mě to změnilo – začala jsem zajímat o futurologii, o práci Raye Kurzweila a podobně. V úvahách o budoucnosti se nepochybně v mnohém mýlíme, přesto o těchto věcech musíme přemýšlet už teď. Jestliže se jimi nebudeme zabývat, nepovedeme o nich kulturní dialog, pak rozhodnutí přenecháme byznysu.

A kdo by tedy měl rozhodovat?

Nevím, jak vy, ale já bych si nepřála, aby o lidské budoucnosti rozhodoval Facebook a Google. Přála bych si veřejnou diskusi, která začne už teď a bude se zpočátku věnovat aspoň tématům, jako je nezaměstnanost v důsledku nových technologií. Měli bychom zdanit firmy, které používají roboty a nahrazují jimi zaměstnance? Co budou lidé dělat, když nebudou mít práci? Když o tom nezačneme přemýšlet teď, nebudeme připraveni na budoucí problémy.

Převažují mezi odborníky na umělou inteligenci lidé, kteří vidí budoucnost optimisticky?

Filosofové berou nebezpečí související s umělou inteligencí velmi vážně. Na druhou stranu lidé z firem, jako je třeba ředitel vývoje ve zmíněném Facebooku, jsou mnohem optimističtější. Jsou ve svém oboru ponořeni a nemyslí si, že se jejich výrobky jednoho dne stanou nebezpečné. Uvažují v krátkodobém horizontu. Neřekl byste, jak je těžké pro představitele firem nebo i přední vědce v klidu si přečíst třísetstránkovou knihu, jakou je třeba Superinteligence Nicka Bostroma. Ti, kteří ji přečetli, se budoucnosti obávají.

A jak tedy vidíte budoucnost vy?

Myslím, že za dvacet let budeme mít univerzální umělou inteligenci. Nebude se pravděpodobně podobat lidské. Vidím ji spíše jako systém o řadě modulů, který bude propojovat více senzorických vstupů – vizuální, sluchový a další. Současně bude schopen plánovat a přemýšlet. Propojování různých systémů umělé inteligence nás k takovému univerzálnímu stroji nejspíš dovede, zvlášť pokud napodobíme principy a organizaci, na jejichž základě pracuje lidský mozek. Přesto se může taková inteligence od té lidské lišit, být úplně jiná.

V čem?

Nejen v tom, jak vypadá, třeba že bude mít podobu serverové farmy, ale i v tom, jak přemýšlí. Nelidská, cizí, přesto schopná propojovat údaje napříč smysly, napříč tématy, kterými se bude zabývat. Analogií by byly třeba chobotnice. Jsou vysoce inteligentní, ale jejich mozky se hodně liší od našich. Kupodivu mají hodně neuronů v chapadlech. Je velmi zajímavé studovat, jak jejich kognitivní systém funguje - rozhodně se hodně liší od toho našeho. Podobně se od nás může hodně lišit univerzální umělá inteligence.

Jaké problémy bude řešit?

Stroje mohou třeba kontrolovat lékařské diagnózy a napravovat chyby lékařů. Podobné systémy se již vyvíjejí a nemusejí nutně disponovat univerzální umělou inteligenci. Jiné stroje ji potřebovat budou. Třeba japonský profesor Hiroshi Ishiguro usiluje o to, aby se v Japonsku o seniory starali androidi. Tamní populace stárne a země nechce dovážet pracovní sílu ze zahraničí. Když někdo pečuje o vaši babičku nebo matku, měl by být co nejchytřejší.

Spousta věcí se může pokazit. Jestliže se robot snaží babičce připravit snídani a ona pustí sporák, aby byla trochu užitečná, robot by měl být opravdu chytrý, jinak může shořet dům. Bude existovat společenský tlak, aby systémy, které se starají o děti nebo seniory, byly co nejinteligentnější. Univerzální umělou inteligenci ovšem můžete umístit do jakéhokoliv prostředí, vystavit jakýmkoliv okolnostem a ona by měla obstát. Nemusíte kupovat specializovaný stroj pro každý úkol zvlášť. Nicméně zároveň si nemyslím, že by za těch dvacet let už byla rozšířená, že by ji měl každý doma. Může být stále ve fázi výzkumu.

A kdy vznikne ona superinteligence, o níž píše Nick Bostrom, kterého jste zmínila? Taková, která překoná lidskou, a my už nebudeme schopni analyzovat a chápat její rozhodnutí?

Těžko říct. Myslím, že ani to není zase tak vzdálená budoucnost. Mnoho lidí se směje výrokům Raye Kurzweila (známý americký futurolog a počítačový vědec, pozn. aut.), který mluví o tom, že nás od ní dělí pouhé roky. On je ale poměrně spolehlivý zdroj, pokud jde o pokroky vědy.

Kurzweil se ovšem domnívá, že superinteligence bude hodná, bude se starat o lidi. Vy si to stejně jako Nick Bostrom nemyslíte.

V knihách, které jsem četla, načrtl Kurzweil něco jako technologické nebe. Transhumanisté věří, že bychom měli použít technologii k tomu, abychom učinili život lepším. Podle filosofů má transhumanismus oporu v židovsko-křesťanském pohledu na svět. Jsem také transhumanistka, ale zároveň skeptik – myslím, že to, čeho můžeme dosáhnout, má své hranice.

Kde je vidíte?

Kurzweil třeba tvrdí, že bychom měli obsah svého mozku nahrát do cloudu a dosáhnout tak jakési technologické nesmrtelnosti. Podle mě je to chyba. Chcete se vyhnout smrti, jenže bytost, která se stane oním uploadem, nahrávkou, nebudete vy. V nejlepším případě to bude počítačová kopie vašeho mozku. Může se stát, že onen záznam nebude mít vědomí, zatímco vy jej máte. To je jeden problém s Kurzweilovým pohledem a dá se na něm ilustrovat i problém se superinteligencí. On předpokládá, že ve světě po singularitě bude mít umělá inteligence vědomí. Zároveň je tu Bostrom, který si myslí, že umělá inteligence nahradí člověka. A někteří lidé říkají „proč ne?“. Třeba právě Hiroshi Ishiguro; pochází z kultury, která je velmi vstřícná k technologiím. Jenže co když umělá inteligence vědomí mít nebude?

Opravdu je to možné?

Vědomí je vlastně pomalé, vůlí ovlivnitelné zpracovávání nových informací. U člověka je pro něj vyhrazena v každém okamžiku pouze malá část aktivity mozku. Dovednosti, které jsme si již bezpečně osvojili, vědomí nevyžadují. Vzpomeňte si, jak jste se učil řídit auto nebo jezdit na kole; strašně jste se soustředil, uvědomoval si každý detail. Zkušený šofér nebo cyklista se nemusí soustředit vůbec, zvlášť, když jede někudy, kde to zná. Superinteligence může zvládat na expertní úrovni všechno: bude provádět bleskové výpočty po celé planetě, používat veškeré informace z internetu. Co potom pro ni bude nová zkušenost vyžadující pomalé, uvědomělé soustředění? Možná se bez vědomí docela dobře obejde. To by úplně zamíchalo kartami. Chceme nahradit člověka něčím takovým?

Zmínila jste upload, zkopírování lidského mozku do počítače. Jak by měl probíhat? Přežil by to kopírovaný člověk?

První fáze by nepochybně byla destruktivní. Mozek by byl rozřezán na plátky a měřily by se konfigurace jeho neuronů. Představa je taková, že když nahrajete informace do androida, vy se v něm jakoby probudíte. To se mi zdá dost nebezpečné. Ale i případná pokročilejší fáze má úskalí: použijete-li místo skalpelu nějakou zdokonalenou funkční magnetickou rezonanci nebo jinou zobrazovací metodu mozku, vznikne kopie ve stroji a vy stále budete žít. Originál ale bude jen jeden, ten původní, ne ten v androidovi.

Víme toho dost o lidském vědomí, rozumíme jeho podstatě?

Nerozumíme. Najít v mozku oblasti, které za vědomí zodpovídají, není snadné, vedou se kolem toho spory. Další neznámá se ve filosofii nazývá „obtížný problém vědomí“: Proč vůbec vědomí potřebujeme, proč ho máme? Na to, jak funguje pozornost a paměť, můžete hledět z hlediska matematiky: za vším je zpracovávání informací v mozku, podobně jako když běží program. Ale proč ten program vyžaduje, abychom tam uvnitř naší mysli něco cítili? Vnímám bělost zdi, světlo zářivek, slyším hluk v pozadí, cítím, že sedím – ale to vše je svázáno v jednotnou zkušenost vědomí. K čemu potřebujeme tuto pociťovanou kvalitu v našem mentálním životě? Potřebovali bychom lépe rozumět tomu, co to vědomí vůbec je. Věda sama řešení nenabídne.

Jaká tedy mohou být jiná než vědecká řešení?

Filosofie nabízí různá vysvětlení: jedna teorie říká, že to všechno je jen materiál, hmota. Jinému pohledu, podle něhož hmota sama obsahuje malý zlomek zkušenosti, se říká panpsychismus. Vychází z východní tradice a stává se populární.

Takže tenhle stůl má také jisté vědomí?

Ano, malou část, zárodek. Rozhodující je míra složitosti zpracovávání informací. Celé to souvisí s prací neurovědce Giulia Tononiho. Systémy jako mozek jsou vysoce složité a mají vědomí, které známe a vnímáme, ale existuje také nízká úroveň vědomí v každé elementární částici. Částice má latentní kapacitu, která, když je využita určitým způsobem, dá vzniknout vědomé zkušenosti. Nemyslím, že je to tak hloupé, jak to mnohým zřejmě zní. Dobře to znají lidé obeznámení s východní tradicí. I mně připadá, že něco podobného může být pravda.

Co náboženská vysvětlení?

Myslím, že i ona mohou poskytnout určitý vhled. Meditativní praxe vás o vědomí může naučit mnohé. Proč je nebrat jako důležitá data vycházející ze zkušenosti?

Co nás mohou naučit?

Třeba oceňovat vědomý zážitek. Soustředíte se – a už to je pro vás nové, zvlášť když jste o vědomí nikdy předtím nepřemýšleli. Mnozí lidé nikdy neocenili, že jsme vědomé bytosti. Metody jako meditace mindfulness nám umožňuje kontrolovat vlastní mysl a pomáhá fenomén vědomí ocenit.

Susan Schneider je profesorkou filosofie a kognitivních věd na University of Connecticut, působí také na Princetonu a Yale. Zabývá se povahou myšlení a vědomí, angažuje se také v debatách o umělé inteligenci. Spolupracuje s NASA, problematiku umělé inteligence s ní konzultuje i americká armáda. Je autorkou a editorkou několika knih, například The Language of Thought: A New Philosophical Direction (Jazyk myšlení: nový filosofický směr) nebo Science Fiction and Philosophy (Sci-fi a filosofie).