Čím hloupější jsou lidé, tím inteligentněji vypadají počítače

Kdo chce dělat vědu, nesmí si klást některé otázky, například po smyslu, užitečnosti a dopadu toho, co dělá. Musí dodržovat disciplínu. Nejbezpečnější je takové otázky nejen neklást, nýbrž jim ani nerozumět, pokládat je za falešné, v nejlepším případě za náležející jiným oborům. Kdo si takové otázky začne klást a brát je vážně, vystavuje se nebezpečí, že bude vyobcován z pravé vědy (dané disciplíny), stane se v lepším případě bláznem, v horším kacířem, disidentem, či dokonce škůdcem. Neklást si takové otázky je ovšem velmi pohodlné, protože se tím zbavujeme odpovědnosti. O tom, jak budou (zda vůbec budou) využity či zneužity výsledky vědecké práce, ať rozhodují jiní.

Jenže potlačování takových otázek může být zhoubné i pro vědu samu. Vždyť přece zásadní obraty ve vědě uskutečnili ti, kteří takové otázka kladli, a měli dokonce odvahu zpochybnit zakořeněné tradice. A zhoubné je to i proto, že pak jak napsal první laureát Ceny Vize 97 Karl H. Pribram zbývá už jen jediná alternativa: dozvídat se víc a víc o míň a míň.

Takové otázky jsou nebezpečné ještě z jiného důvodu. Kdo si je totiž položí opravdu vážně a nepokusí se je odbýt, po nedlouhé době zjistí, že odpovídání na ně mu patrně zabere zbytek života. Pochopí totiž, že jsou to otázky osudové nejen pro něj, otázky, před nimiž nelze zavírat oči. Stane se z něj, jak to kdysi vyjádřil Platon, člověk nikoli spící, ale bdící.

Právě to se stalo Josephu Weizenbaumovi. Jeho příběh je o to zajímavější, že šok přišel ze zcela nečekané strany: z nekritického a fanatického nadšení nad jedním jeho vlastním slavným výkonem v informatice.

Konverzační systém

V první polovině šedesátých let byly vyvinuty systémy sdílení času, tj. systémy s jedním velkým centrálním počítačem a řadou připojených terminálů (tehdy elektrických psacích strojů), pomocí nichž bylo možné dávat do počítače data a programy a na psacím stroji dostávat výsledky. Takto mohlo s počítačem komunikovat naráz více uživatelů, kteří tento velký počítač mohli sdílet, a přitom měl každý z nich dojem, že počítač je jen jeho. Přirozeně se nabízela otázka, zda by nešlo komunikovat s počítačem v přirozeném jazyce. Weizenbaum přišel r. 1966 s překvapivě jednoduchým a velice působivým řešením tohoto problému. Vytvořil konverzační systém, který nazval ELIZA a který ve variantě DOCTOR předstíral, že je psychiatrem. ¹⁾ Dříve než se podíváme dovnitř tohoto programu, vyslechněme část konverzace jedné pacientky s doktorem (viz text v rámečku). ²⁾

Tato a podobné konverzace působí velice sugestivně. Tak Weizenbaumova sekretářka, která věděla, že je to počítačový program, a dokonce jednoduchý, s ním jednou sama zkusila konverzovat. Po pouhých dvou replikách počítače se otočila na profesora Weizenbauma s prosbou, zda by nešel za dveře, že si chce s Elizou promluvit o některých intimních záležitostech.

To je mi líto, že máte hlad

S tímto programem se to má jako s kouzelnickým trikem: je velice působivý, a pokud vám někdo prozradí, jak je udělán, užasnete nad jeho jednoduchostí (ale také nad neobyčejnou vynalézavostí). Program je rovněž velice jednoduchý, mnohem jednodušší, než bychom očekávali. Dokonce tak jednoduchý, že hlavní jeho myšlenky lze sdělit na několika řádcích.

První a nejpřekvapivější krok spočívá v tom, že se zcela vzdáme představy, že by počítač měl něčemu rozumět. Na to, co napíše pacientka, reaguje jako na prostou posloupnost znaků, v níž hledá nějaké klíčové slovo (což je opět jen sled znaků). Takovým klíčovým slovem může být třeba mám. V tomto případě se řetězec znaků, který pacientka napsala, rozdělí na tři části: část před mám (ta se zahodí), vlastní slovo mám a část za tímto slovem (tu si schováme). Tak třeba napíše-li pacientka Mám strašný hlad, zachová se jen strašný hlad.

S klíčovým slovem mám je spojena tabulka obsahující začátky možných odpovědí, např. To je mi líto, že máte, Povězte mi něco o tom, proč máte, Jak dlouho už máte atd. Jeden z těchto začátků se vybere (cyklicky nebo náhodně), tečky se nahradí tím, co jsme si schovali, a výsledek se odešle pacientovi, např. To je mi líto, že máte hlad. Všimněte si, že tento mechanizmus funguje, ať je za slovem mám cokoli. Na větu Už dlouho mám azuemng hps počítač odpoví třeba Povězte mi něco o tom, proč máte azuemng hps.

Princip vstřícnosti

Celý tento přístup předpokládá stejně jako kouzelník u lidského partnera něco jako princip vstřícnosti. Pacient chce být vyslechnut a nesnaží se přistihnout program při nějakém podvodu. A pokud k tomu dojde (třeba nějakým omylem), stejný princip zajistí, že se konverzace rychle vzkřísí. Navíc se i v těchto případech může stát, že je reakce počítače nějak překvapivá. Může se třeba trefit do začátku Vysvětlete mi, co to znamená, že máte Kdysi jsem něco podobného zažil. Před nějakými dvaceti lety jsem si velice jednoduchou Elizu naprogramoval. Protože jsem tam měl málo klíčových slov i malé tabulky začátků odpovědí, a navíc jsem nebyl zrovna vstřícný, konverzace byla dost hloupá, a tak jsem napsal (česky i když celé to bylo v angličtině): Eliza je vůl. Počítač mě dostal: I THINK WE WANT TO TALK ABOUT YOU, NOT ME (Myslím, že chceme mluvit o vás, ne o mně) a to jsem si tam tuto odpověď dal hodinu předtím sám jako jednu z možných reakcí na větu, v níž se vyskytne slovo Eliza.

Tento základní princip je v programu zdokonalen a vyvážen. Využívá se při tom ovšem hodně toho, že angličtina nemá např. skloňování, takže mnoho věcí v ní lze udělat snadněji než třeba v češtině. Tak např. v části následující za klíčovým slovem lze bez problémů nahradit každý výskyt ME slovem YOU. Není ani těžké vypořádat se s větami, které neobsahují žádné klíčové slovo. Stačí mít zásobu neutrálních odpovědí, např. Myslíte si, že je to důležité? nebo To je zajímavé. Weizenbaum program ještě více zvěrohodnil jeho program si občas uchová i něco z toho, co by se jinak zahodilo, ale v případě nouze se to použije, např. v nějaké takové reakci jako: Vraťme se k tomu, jak jste říkala A konečně má přece jen nějaké znalosti, např. při použití slova nikdo (Nikdo mě nemá rád) ví, že v takových konverzacích má pacientka zpravidla na mysli někoho konkrétního, takže odpověď vytvoří podle toho (např. Koho máte na mysli?).

Navíc je celý systém udělán tak, že klíčová slova a s nimi spojená dekompoziční i rekompoziční pravidla tvoří samostatný scénář, který lze stále zdokonalovat, ale také celý vyměnit za jiný, např. za scénář, pomocí nějž si lze s počítačem popovídat o vaření.

Weizenbaum si vybral scénář s psychiatrem proto, že se poměrně snadno dala napodobit (či spíše parodovat) jedna z psychiatrických technik, totiž ta, kterou používají rogeriánští pychiatři, aby se o pacientovi něco dozvěděli. Nekladou mu přímo nějaké otázky ani nedávají odpovědi, ale jen mu vracejí trochu pozměněné jeho vlastní otázky, a tím udržuji konverzaci v chodu, přičemž pacient má dojem, že se o něj konečně někdo zajímá a je ochoten ho vyslechnout. Vyhnul se tak komplikacím s vyhledáváním informací v nějaké databázi. A ještě k názvu: Program se jmenuje po Elize z Pygmalionu, která také mluvila stále lépe, pochybné však bylo, zda se při tom stávala bystřejší.

Po svém zveřejnění v r. 1966 se Eliza dočkala veliké obliby a začala se šířit s různými scénáři po celém světě. Snadno se předváděla; lidé mají kouzla a hračky rádi. Stalo se však něco, s čím Weizenbaum nepočítal, dokonce před tím varoval. Někteří kouzelníci uvěřili, že skutečně kouzelníky jsou, ba dokonce že ani nejde o kouzla, ale o realitu.

Máme počítači svěřovat rozhodování?

Prvními takovými kouzelníky byli psychiatři sami. Jeden z tehdejších významných amerických psychiatrů K. M. Colby (2001) spatřil v Elize začátek revoluce v psychiatrii, totiž netušenou možnost její automatizace. Rozvinou-li se dále metody Elizy, bude možné v krátké době obsloužit (zvláště ve státních nemocnicích trpících nedostatkem peněz i psychiatrů) za hodinu stovky pacientů. Navíc bude možné pomocí různých počítačových modelů lépe pochopit podstatu některých duševních nemocí (rozšířen je blud, že pochopit něco znamená dokázat to modelovat na počítači). Weizenbaum na tuto představu reagoval velmi jízlivě jednu duševní poruchu je prý schopen modelovat tak dokonale, že žádný psychiatr nezjistí, zda jde o poruchu člověka, nebo o její počítačový model. Navíc má tato jeho simulace jednu obrovskou výhodu: nepotřebuje počítač, ba ani terminál. Jde jak asi tušíte o autizmus (pacient prostě neodpovídá).

A už zde máme jedno z hlavních Weizenbaumových témat. Otázka nezní, zda něco lze či nelze na počítačích simulovat ani zda jsou počítače s to něco vykonávat, například zda jsou schopny se rozhodovat. V tom problém není, počítač se může rozhodovat např. tím, že si hodí mincí, nebo což vyjde nastejno náhodně. Skutečná otázka zní, zda mu rozhodování máme vůbec svěřovat, zvláště pak v psychiatrii, a to i kdyby byl vybaven kdovíjakou expertní znalostní bází. V principu není problém vybavit počítač plnou znalostí zákonů (jejich přesným, doslovným zněním, literou zákona nikoli duchem zákonů), popřípadě několika odvozovacími pravidly. Počítač by pak mohl vynášet zcela objektivní soudní rozhodnutí; vyřešil by se nedostatek soudců a práce soudů by se zkrátila na několik milisekund. V tomto případě se zdá být jasné, že by žádný soudný člověk soudní moc počítačům nepřenechal, kdežto v psychiatrii to tak jasné není.³⁾

V zmíněných případech víme (či spíše tušíme), že tyto představy už byly opuštěny, stejně jako vyprchalo nadšení z možností všelijakého programovaného učení (Elize by se daly scénáře pro jednotlivé kapitoly školních předmětů).

Přetrvává však stále představa, že by počítače mohly rozumět (např. přirozenému jazyku), myslet, mít vědomí, a dokonce i pocity. Jistě je to možné, pokud ovšem dáme všem těmto slovům jiný smysl. Např. když inteligencí budeme rozumět schopnost úspěšně procházet testy inteligence, řešit hlavolamy či hrát hry nikoli už schopnost rozlišovat mezi pravdou a nepravdou, mezi tím, co je správné a co nesprávné. Pak bude už jen krok k tomu, abychom takto zmrzačenými pojmy nahradili pojmy původní. Problém umělé inteligence, totiž to, zda mohou počítače myslet tak jako lidé, by mohl mít nakonec jednoduché řešení: stačí počkat, až lidé stykem s počítačovými kouzly zhloupnou natolik, že budou myslet jako počítače. Inteligence pak už nebude schopností rozlišovat mezi pravdou a nepravdou, mezi tím, co je správné a co nesprávné. Toto rozlišení za nás udělá někdo jiný a my ani nebudeme vědět kdo, dokonce to už nebude vědět nikdo.

Přestane být Eliza Elizou?

Eliza je stále velice poučným příkladem. Je krásně průhledná. Je jasné, že inteligenci jí propůjčuje ten, kdo s ní komunikuje. V žádném jen trochu smysluplném významu slova rozumět nerozumí; nepozná ani, že se na ni nemluví anglicky. To lze zařídit, namítne se, to není problém, dokonce ani není problém jí dodat znalosti v podobě nějaké báze znalostí, kterou si bude schopna doplňovat atd. Otázka však zní: kdy přestane být Elizou?

Až bude její scénář místo stovky řádků obsahovat třeba deset miliard? Objeví se u ní snad vědomí např. na základě nějakého mystického principu, podle nějž kvantita přechází v kvalitu?

Velmi rozšířená představa je, že se toho dosáhne novými technologiemi, novým hardware. Tvrdí to občas dokonce i ti, kteří jinak věří na Churchovu tezi, podle níž vše, co se dá vypočítat, dá se vypočítat na Turingově stroji (což je něco jako dokonalý abstraktní počítač) jako by vhodnou implementací dokázal Turingův stroj vypočítat víc, než dokáže.

Jediné, co se takto může stát, je, že dosáhne takového stupně neprůhlednosti, že se nám vše vymkne z ruky.

A právě tato neprůhlednost, anonymita a principiální nezodpovědnost aparátů za počítačovými projekty je podle Weizenbauma tím největším nebezpečím, před nímž chce varovat.

Weizenbaum se domnívá, že už není žádné cesty zpátky, že kurz směr ledovec (tak se jmenuje jedna jeho kniha) se už zvrátit nedá a že nás může zachránit jen zázrak. V ten však stále věří.

Můžeme si myslet a většina si to patrně i myslet bude že Weizenbaumovy názory i celý předcházející jejich výklad jsou příliš pesimistické a skeptické. Možná. Je to však varování, že některé otázky si klást musíme, zvláště pak otázky po smyslu, užitečnosti a dopadu toho, co děláme. Jinak může být pozdě; alternativa historického optimizmu vede bezpečně k ideologizaci a s ní spojené ztrátě svobody a lidské důstojnosti.