Aktuální číslo:

2017/12

Téma měsíce:

Kontakty

Čím hloupější jsou lidé, tím inteligentněji vypadají počítače

Počítačový expert a kacíř Joseph Weizenbaum
 |  5. 10. 2002
 |  Vesmír 81, 554, 2002/10

Kdo chce dělat vědu, nesmí si klást některé otázky, například po smyslu, užitečnosti a dopadu toho, co dělá. Musí dodržovat disciplínu. Nejbezpečnější je takové otázky nejen neklást, nýbrž jim ani nerozumět, pokládat je za falešné, v nejlepším případě za náležející jiným oborům. Kdo si takové otázky začne klást a brát je vážně, vystavuje se nebezpečí, že bude vyobcován z pravé vědy (dané disciplíny), stane se v lepším případě bláznem, v horším kacířem, disidentem, či dokonce škůdcem. Neklást si takové otázky je ovšem velmi pohodlné, protože se tím zbavujeme odpovědnosti. O tom, jak budou (zda vůbec budou) využity či zneužity výsledky vědecké práce, ať rozhodují jiní.

Jenže potlačování takových otázek může být zhoubné i pro vědu samu. Vždyť přece zásadní obraty ve vědě uskutečnili ti, kteří takové otázka kladli, a měli dokonce odvahu zpochybnit zakořeněné tradice. A zhoubné je to i proto, že pak jak napsal první laureát Ceny Vize 97 Karl H. Pribram zbývá už jen jediná alternativa: dozvídat se víc a víc o míň a míň.

Takové otázky jsou nebezpečné ještě z jiného důvodu. Kdo si je totiž položí opravdu vážně a nepokusí se je odbýt, po nedlouhé době zjistí, že odpovídání na ně mu patrně zabere zbytek života. Pochopí totiž, že jsou to otázky osudové nejen pro něj, otázky, před nimiž nelze zavírat oči. Stane se z něj, jak to kdysi vyjádřil Platon, člověk nikoli spící, ale bdící.

Právě to se stalo Josephu Weizenbaumovi. Jeho příběh je o to zajímavější, že šok přišel ze zcela nečekané strany: z nekritického a fanatického nadšení nad jedním jeho vlastním slavným výkonem v informatice.

Konverzační systém

V první polovině šedesátých let byly vyvinuty systémy sdílení času, tj. systémy s jedním velkým centrálním počítačem a řadou připojených terminálů (tehdy elektrických psacích strojů), pomocí nichž bylo možné dávat do počítače data a programy a na psacím stroji dostávat výsledky. Takto mohlo s počítačem komunikovat naráz více uživatelů, kteří tento velký počítač mohli sdílet, a přitom měl každý z nich dojem, že počítač je jen jeho. Přirozeně se nabízela otázka, zda by nešlo komunikovat s počítačem v přirozeném jazyce. Weizenbaum přišel r. 1966 s překvapivě jednoduchým a velice působivým řešením tohoto problému. Vytvořil konverzační systém, který nazval ELIZA a který ve variantě DOCTOR předstíral, že je psychiatrem. 1) Dříve než se podíváme dovnitř tohoto programu, vyslechněme část konverzace jedné pacientky s doktorem (viz text v rámečku). 2)

Tato a podobné konverzace působí velice sugestivně. Tak Weizenbaumova sekretářka, která věděla, že je to počítačový program, a dokonce jednoduchý, s ním jednou sama zkusila konverzovat. Po pouhých dvou replikách počítače se otočila na profesora Weizenbauma s prosbou, zda by nešel za dveře, že si chce s Elizou promluvit o některých intimních záležitostech.

To je mi líto, že máte hlad

S tímto programem se to má jako s kouzelnickým trikem: je velice působivý, a pokud vám někdo prozradí, jak je udělán, užasnete nad jeho jednoduchostí (ale také nad neobyčejnou vynalézavostí). Program je rovněž velice jednoduchý, mnohem jednodušší, než bychom očekávali. Dokonce tak jednoduchý, že hlavní jeho myšlenky lze sdělit na několika řádcích.

První a nejpřekvapivější krok spočívá v tom, že se zcela vzdáme představy, že by počítač měl něčemu rozumět. Na to, co napíše pacientka, reaguje jako na prostou posloupnost znaků, v níž hledá nějaké klíčové slovo (což je opět jen sled znaků). Takovým klíčovým slovem může být třeba mám. V tomto případě se řetězec znaků, který pacientka napsala, rozdělí na tři části: část před mám (ta se zahodí), vlastní slovo mám a část za tímto slovem (tu si schováme). Tak třeba napíše-li pacientka Mám strašný hlad, zachová se jen strašný hlad.

S klíčovým slovem mám je spojena tabulka obsahující začátky možných odpovědí, např. To je mi líto, že máte, Povězte mi něco o tom, proč máte, Jak dlouho už máte atd. Jeden z těchto začátků se vybere (cyklicky nebo náhodně), tečky se nahradí tím, co jsme si schovali, a výsledek se odešle pacientovi, např. To je mi líto, že máte hlad. Všimněte si, že tento mechanizmus funguje, ať je za slovem mám cokoli. Na větu Už dlouho mám azuemng hps počítač odpoví třeba Povězte mi něco o tom, proč máte azuemng hps.

Princip vstřícnosti

Celý tento přístup předpokládá stejně jako kouzelník u lidského partnera něco jako princip vstřícnosti. Pacient chce být vyslechnut a nesnaží se přistihnout program při nějakém podvodu. A pokud k tomu dojde (třeba nějakým omylem), stejný princip zajistí, že se konverzace rychle vzkřísí. Navíc se i v těchto případech může stát, že je reakce počítače nějak překvapivá. Může se třeba trefit do začátku Vysvětlete mi, co to znamená, že máte Kdysi jsem něco podobného zažil. Před nějakými dvaceti lety jsem si velice jednoduchou Elizu naprogramoval. Protože jsem tam měl málo klíčových slov i malé tabulky začátků odpovědí, a navíc jsem nebyl zrovna vstřícný, konverzace byla dost hloupá, a tak jsem napsal (česky i když celé to bylo v angličtině): Eliza je vůl. Počítač mě dostal: I THINK WE WANT TO TALK ABOUT YOU, NOT ME (Myslím, že chceme mluvit o vás, ne o mně) a to jsem si tam tuto odpověď dal hodinu předtím sám jako jednu z možných reakcí na větu, v níž se vyskytne slovo Eliza.

Tento základní princip je v programu zdokonalen a vyvážen. Využívá se při tom ovšem hodně toho, že angličtina nemá např. skloňování, takže mnoho věcí v ní lze udělat snadněji než třeba v češtině. Tak např. v části následující za klíčovým slovem lze bez problémů nahradit každý výskyt ME slovem YOU. Není ani těžké vypořádat se s větami, které neobsahují žádné klíčové slovo. Stačí mít zásobu neutrálních odpovědí, např. Myslíte si, že je to důležité? nebo To je zajímavé. Weizenbaum program ještě více zvěrohodnil jeho program si občas uchová i něco z toho, co by se jinak zahodilo, ale v případě nouze se to použije, např. v nějaké takové reakci jako: Vraťme se k tomu, jak jste říkala A konečně má přece jen nějaké znalosti, např. při použití slova nikdo (Nikdo mě nemá rád) ví, že v takových konverzacích má pacientka zpravidla na mysli někoho konkrétního, takže odpověď vytvoří podle toho (např. Koho máte na mysli?).

Navíc je celý systém udělán tak, že klíčová slova a s nimi spojená dekompoziční i rekompoziční pravidla tvoří samostatný scénář, který lze stále zdokonalovat, ale také celý vyměnit za jiný, např. za scénář, pomocí nějž si lze s počítačem popovídat o vaření.

Weizenbaum si vybral scénář s psychiatrem proto, že se poměrně snadno dala napodobit (či spíše parodovat) jedna z psychiatrických technik, totiž ta, kterou používají rogeriánští pychiatři, aby se o pacientovi něco dozvěděli. Nekladou mu přímo nějaké otázky ani nedávají odpovědi, ale jen mu vracejí trochu pozměněné jeho vlastní otázky, a tím udržuji konverzaci v chodu, přičemž pacient má dojem, že se o něj konečně někdo zajímá a je ochoten ho vyslechnout. Vyhnul se tak komplikacím s vyhledáváním informací v nějaké databázi. A ještě k názvu: Program se jmenuje po Elize z Pygmalionu, která také mluvila stále lépe, pochybné však bylo, zda se při tom stávala bystřejší.

Po svém zveřejnění v r. 1966 se Eliza dočkala veliké obliby a začala se šířit s různými scénáři po celém světě. Snadno se předváděla; lidé mají kouzla a hračky rádi. Stalo se však něco, s čím Weizenbaum nepočítal, dokonce před tím varoval. Někteří kouzelníci uvěřili, že skutečně kouzelníky jsou, ba dokonce že ani nejde o kouzla, ale o realitu.

Máme počítači svěřovat rozhodování?

Prvními takovými kouzelníky byli psychiatři sami. Jeden z tehdejších významných amerických psychiatrů K. M. Colby (2001) spatřil v Elize začátek revoluce v psychiatrii, totiž netušenou možnost její automatizace. Rozvinou-li se dále metody Elizy, bude možné v krátké době obsloužit (zvláště ve státních nemocnicích trpících nedostatkem peněz i psychiatrů) za hodinu stovky pacientů. Navíc bude možné pomocí různých počítačových modelů lépe pochopit podstatu některých duševních nemocí (rozšířen je blud, že pochopit něco znamená dokázat to modelovat na počítači). Weizenbaum na tuto představu reagoval velmi jízlivě jednu duševní poruchu je prý schopen modelovat tak dokonale, že žádný psychiatr nezjistí, zda jde o poruchu člověka, nebo o její počítačový model. Navíc má tato jeho simulace jednu obrovskou výhodu: nepotřebuje počítač, ba ani terminál. Jde jak asi tušíte o autizmus (pacient prostě neodpovídá).

A už zde máme jedno z hlavních Weizenbaumových témat. Otázka nezní, zda něco lze či nelze na počítačích simulovat ani zda jsou počítače s to něco vykonávat, například zda jsou schopny se rozhodovat. V tom problém není, počítač se může rozhodovat např. tím, že si hodí mincí, nebo což vyjde nastejno náhodně. Skutečná otázka zní, zda mu rozhodování máme vůbec svěřovat, zvláště pak v psychiatrii, a to i kdyby byl vybaven kdovíjakou expertní znalostní bází. V principu není problém vybavit počítač plnou znalostí zákonů (jejich přesným, doslovným zněním, literou zákona nikoli duchem zákonů), popřípadě několika odvozovacími pravidly. Počítač by pak mohl vynášet zcela objektivní soudní rozhodnutí; vyřešil by se nedostatek soudců a práce soudů by se zkrátila na několik milisekund. V tomto případě se zdá být jasné, že by žádný soudný člověk soudní moc počítačům nepřenechal, kdežto v psychiatrii to tak jasné není.3)

V zmíněných případech víme (či spíše tušíme), že tyto představy už byly opuštěny, stejně jako vyprchalo nadšení z možností všelijakého programovaného učení (Elize by se daly scénáře pro jednotlivé kapitoly školních předmětů).

Přetrvává však stále představa, že by počítače mohly rozumět (např. přirozenému jazyku), myslet, mít vědomí, a dokonce i pocity. Jistě je to možné, pokud ovšem dáme všem těmto slovům jiný smysl. Např. když inteligencí budeme rozumět schopnost úspěšně procházet testy inteligence, řešit hlavolamy či hrát hry nikoli už schopnost rozlišovat mezi pravdou a nepravdou, mezi tím, co je správné a co nesprávné. Pak bude už jen krok k tomu, abychom takto zmrzačenými pojmy nahradili pojmy původní. Problém umělé inteligence, totiž to, zda mohou počítače myslet tak jako lidé, by mohl mít nakonec jednoduché řešení: stačí počkat, až lidé stykem s počítačovými kouzly zhloupnou natolik, že budou myslet jako počítače. Inteligence pak už nebude schopností rozlišovat mezi pravdou a nepravdou, mezi tím, co je správné a co nesprávné. Toto rozlišení za nás udělá někdo jiný a my ani nebudeme vědět kdo, dokonce to už nebude vědět nikdo.

Přestane být Eliza Elizou?

Eliza je stále velice poučným příkladem. Je krásně průhledná. Je jasné, že inteligenci jí propůjčuje ten, kdo s ní komunikuje. V žádném jen trochu smysluplném významu slova rozumět nerozumí; nepozná ani, že se na ni nemluví anglicky. To lze zařídit, namítne se, to není problém, dokonce ani není problém jí dodat znalosti v podobě nějaké báze znalostí, kterou si bude schopna doplňovat atd. Otázka však zní: kdy přestane být Elizou?

Až bude její scénář místo stovky řádků obsahovat třeba deset miliard? Objeví se u ní snad vědomí např. na základě nějakého mystického principu, podle nějž kvantita přechází v kvalitu?

Velmi rozšířená představa je, že se toho dosáhne novými technologiemi, novým hardware. Tvrdí to občas dokonce i ti, kteří jinak věří na Churchovu tezi, podle níž vše, co se dá vypočítat, dá se vypočítat na Turingově stroji (což je něco jako dokonalý abstraktní počítač) jako by vhodnou implementací dokázal Turingův stroj vypočítat víc, než dokáže.

Jediné, co se takto může stát, je, že dosáhne takového stupně neprůhlednosti, že se nám vše vymkne z ruky.

A právě tato neprůhlednost, anonymita a principiální nezodpovědnost aparátů za počítačovými projekty je podle Weizenbauma tím největším nebezpečím, před nímž chce varovat.

Weizenbaum se domnívá, že už není žádné cesty zpátky, že kurz směr ledovec (tak se jmenuje jedna jeho kniha) se už zvrátit nedá a že nás může zachránit jen zázrak. V ten však stále věří.

Můžeme si myslet a většina si to patrně i myslet bude že Weizenbaumovy názory i celý předcházející jejich výklad jsou příliš pesimistické a skeptické. Možná. Je to však varování, že některé otázky si klást musíme, zvláště pak otázky po smyslu, užitečnosti a dopadu toho, co děláme. Jinak může být pozdě; alternativa historického optimizmu vede bezpečně k ideologizaci a s ní spojené ztrátě svobody a lidské důstojnosti.

Poznámky

1) Článek o ELIZE vyšel v r. 1965 v předním počítačovém časopise Communications of the ACM; v tomto časopise byl také přetištěn v r. 1983  jako jedna z 25 nejvýznamnějších prací v informatice za posledních 25 let trvání ACM = Association for the Computing Machinery. Český překlad tohoto článku je součástí výboru Weizenbaumových prací, který vychází u příležitosti udělení Ceny Vize 97.
2) Uvádím ji ve volném českém překladu, vedena byla samozřejmě v angličtině a program využíval jednoduchost anglické gramatiky to se ovšem v překladu ztratí. Anglický rozhovor je součástí citovaného českého překladu Weizenbaumova článku.
3) Vztahem kouzelníků a psychiatrů se právě v souvislosti s těmito debatami zabývá zajímavá kniha E. Fullera Torreyho The Mind Game Wichdoctors and Psychiatrists. Torrey v ní např. doporučuje, aby se terminály Elizy potáhly plyšem.
4) O tom vyprávěl při své návštěvě Prahy v r. 1998, kam ho pozval Goethe-Institut na sympozium Softmoderne Literatur im Netz (Softmoderna Literatura v síti) spolu s Oswaldem Wienerem (ten se svým bioadaptérem z šedesátých let stal předchůdcem objevu virtuální reality). Tam také prozradil, že prvním použitím sítí budovaných pro Pentagon byla agitace proti válce ve Vietnamu.

ROZHOVOR „PACIENTKY“ S „DOKTOREM“


Všichni muži jsou stejní.

V jakém smyslu?

Pořád nás s něčím obtěžují.

Můžete uvést nějaký konkrétní příklad?

Ano, poslal mne sem můj přítel.

Váš přítel vás sem poslal?

Říká, že jsem skoro pořád sklíčená.

Je mi líto, že jste sklíčená.

Je to pravda. Jsem nešťastná.

Myslíte si, že vám tato návštěva pomůže, abyste nebyla nešťastná?

Potřebuji nějakou pomoc, to je jisté.

Co by to pro vás znamenalo, kdyby se vám dostalo pomoci?

Třeba bych se naučila vycházet s matkou.

Řekněte mi něco víc o vaší rodině.

Moje matka se o mě stará.

Kdo ještě se ve vaší rodině o vás stará?

Můj otec.

Váš otec?

Svým způsobem se podobáte mému otci.

Jakou podobnost tady vidíte?

Nejste příliš agresivní, ale myslím si, že nechcete, abych si toho všimla.

Co vás vede k tomu, že si myslíte, že nejsem příliš agresivní?

Nehádáte se se mnou.

Proč si myslíte, že se s vámi nehádám?

Bojíte se mě.

Těší vás, že se vás bojím?

Můj otec se bojí každého.

Co vás ještě napadá, když myslíte na otce?

Že je to tyran.

Má to něco společného s tím, že vás sem poslal váš přítel?

JOSEPH WEIZENBAUM


Narodil se 8. ledna 1923 v židovské rodině v Berlíně. Jeho otec byl mistr kožišník, který patrně nepřečetl nic jiného než bibli a modlitební knihu. Po nástupu Hitlera k moci musel Weizenbaum opustit reálné gymnázium a začít chodit do školy pro židovské děti. Tam se poprvé setkal s židovským antisemitizmem. Němečtí Židé tehdy říkávali: „Nás se to netýká, to se týká východních Židů, kteří si ostatně ani nic jiného nezaslouží.“ Tato zkušenost učinila Weizenbauma na celý život velmi vnímavým vůči rasovým i společenským nespravedlnostem. Weizenbaumův otec, který na rozdíl od oněch jistě vzdělaných německých Židů skutečné nebezpečí rozpoznal, odvezl celou rodinu do Spojených států už v roce 1935. Tam mohl J. Weizenbaum dokončit středoškolská studia a začít studovat matematiku na univerzitě. Jeho studia přerušila válka, během níž sloužil v americké armádě v meteorologické službě. Po válce studia dokončil na Wayne University v Detroitu a na této univerzitě zůstal jako asistent. V té době si téměř žádná univerzita nemohla dovolit koupi počítače, a proto se Weizenbaum a jeho kolegové rozhodli, že si počítač postaví sami. Tak se na vývoji počítačů podílel téměř od samého počátku. Na dalším podobném projektu pak pracoval v Kalifornii. Pro tyto počítače vytvářel také první programovací jazyky a napsal řadu prací, které ho proslavily natolik, že byl v roce 1963 povolán do samotného chrámu tehdy vznikající „computer science“ (informatiky) na Massachusettské technice (MIT). V roce 1970 byl jmenován profesorem informatiky a na MIT působil až do odchodu na odpočinek v roce 1988. Zároveň učil i na jiných univerzitách (na Harvardu, Stanfordu, v Hamburku a na berlínské Technické univerzitě). Významně se podílel na vytváření prvních počítačových sítí 4) i prvního bankovního systému a je řazen k zakladatelům „umělé inteligence“.

Ke stažení

OBORY A KLÍČOVÁ SLOVA: Kybernetika

O autorovi

Jiří Fiala

Doc. RNDr. Jiří Fiala (*1939–2012) vystudoval Přírodovědeckou fakultu MU v Brně. Zabývá se filozofií matematiky a logiky. Přednáší analytickou filozofii a epistemologii na Západočeské univerzitě. Zde také vydal tři čítanky textů analytických filozofů. Kromě jiných textů přeložil řadu knih, například Karl Popper: Logika vědeckého bádání, Paul K. Feyerabend: Rozprava proti metodě, B. Mandelbrot: Fraktály, René Descartes: Regulae ad directionem ingenii – Pravidla pro vedení rozumu.

Doporučujeme

Tajemná „Boží země“ Punt

Tajemná „Boží země“ Punt uzamčeno

Břetislav Vachala  |  4. 12. 2017
Mnoho vzácného zboží starověkého Egypta pocházelo z tajemného Puntu, kam Egypťané pořádali časté obchodní výpravy. Odkud jejich expedice...
Hmyz jako dokonalý létací stroj

Hmyz jako dokonalý létací stroj

Rudolf Dvořák  |  4. 12. 2017
Hmyz patří k nejdokonalejším a nejstarším letcům naší planety. Jeho letové schopnosti se vyvíjely přes 300 milionů let a předčí dovednosti všech...
Hranice svobody

Hranice svobody uzamčeno

Stefan Segi  |  4. 12. 2017
Podle listiny základních práv a svobod, která je integrovaná i v Ústavě ČR, jsou „svoboda projevu a právo na informace zaručeny“ a „cenzura je...

Předplatným pomůžete zajistit budoucnost Vesmíru

Tištěná i elektronická
verze časopisu
Digitální archiv
od roku 1994
Speciální nabídka
pro školy a studenty

 

Objednat předplatné