Aktuální číslo:

2017/12

Téma měsíce:

Kontakty

C. E. Shannon – průkopník informačního věku

Od teorie komunikace po cimrmanovské vynálezy
 |  18. 8. 2004
 |  Vesmír 83, 472, 2004/8

Čas od času vznikne v některé vědecké komunitě zvláště plodné klima – sejde se skupina lidí, kteří mají nové nápady a dovedou je rozvíjet, vyrojí se spousta nových teorií a často se stará disciplína buď zásadním způsobem rekonstruuje, nebo nahradí teorií novou.

Líhní nových myšlenek byly pro kvantovou a jadernou fyziku v dvacátých letech 20. století univerzity v Göttingenu a v Cambridži. V letech čtyřicátých se podobným zdrojem nových myšlenek stala jiná Cambridge (na druhém břehu Atlantiku) a také předměstí Bostonu, kde jsou Harvardova univerzita a Massachusettská technika (MIT). Právě zde byly zkonstruovány první analogové a číslicové počítače, vznikla tu regulační technika opírající se o solidní matematické základy, byl zde vybudován pojem informace, zrodila se tu kybernetika. Vynikající matematikové, např. John von Neumann nebo Norbert Wiener, zde spolupracovali s řadou vynikajících inženýrů, jako byli Howard Aiken, Vannevar Bush, Robert Phillips, Claude Elwood Shannon a také Antonín Svoboda (Vesmír 78, 632, 1999/11). Spolupráce byla do značné míry stimulována válečnými událostmi, nicméně díky ní byly zahájeny procesy vedoucí k vzniku informační společnosti.

Jména jako John von Neumann či Norbert Wiener jsou známa široké veřejnosti, C. E. Shannon je znám spíše jen odborníkům v kybernetice či informatice. Je to především tím, že psal úsporně, v duchu matematického formalizmu. Své myšlenky, často dost revoluční, se nijak nesnažil popularizovat, a přesto jakmile se v zmíněných disciplínách začneme zabývat jakýmkoliv problémem, nelze na jeho dílo nenarazit. Vděčíme mu – mimo jiné – za exaktní definici stěžejního pojmu současnosti: pojmu informace.

Magna charta informačního věku

Shannon sám se již od r. 1939 zabýval otázkami jak co nejlépe využít komunikační kanály (telefon, telegraf, televizi apod.). Cítil, že musí existovat nějaké matematické vztahy mezi dobou přenosu, šířkou frekvenčního pásma, šumem a množstvím přenesené informace. Postupně tyto vztahy objevoval a na naléhání svých spolupracovníků je r. 1948 publikoval společně s matematikem Warrenem Weaverem v článku „A mathematical theory of communication“. Někteří historikové vědy tuto práci nazývají „Magna charta informačního věku“. Ukazuje se v ní, že k exaktnímu zkoumání informace je potřeba abstrahovat od její sémantické stránky a omezit se na stránku syntaktickou, která je statistickými prostředky snadněji popsatelná. Informace spočívá v odstranění neurčitosti. Při vyjádření míry odstraněné neurčitosti dospěl Shannon k formálně stejnému vztahu, který koncem 19. století odvodil Ludwig Boltzmann pro entropii. Není známo, zda si toho Shannon nebyl vědom (měl však v teoretické fyzice velmi dobré vzdělání), anebo se spíš chtěl vyhnout zbytečným diskusím, nicméně v pracovní verzi tohoto článku používal termín „funkce neurčitosti“.

Profesor M. Tribus vzpomíná, jak se jednou zúčastnil diskuse mezi Shannonem a von Neumannem. Von Neumann tehdy Shannonovi řekl: „Pokud jde o tu vaši funkci neurčitosti, doporučoval bych vám nazývat ji entropie. Jednak se ve statistické fyzice definuje stejným způsobem, jednak nikdo pořádně ne­ví, co to vlastně je. Kdoví, jestli ta vaše entropie a entropie termodynamická nejsou jedno a totéž.“ U člověka tak kompetentního lze jen obdivovat skromnost (von Neumann během svého působení v Göttingenu publikoval zásadní práci o entropii v kvantové mechanice) i slova v jistém smyslu prorocká. Shannon si vzal Neumannovo doporučení k srdci, použil termín entropie a vyvolal tím mnohaletou diskusi, zda jde o podobnost formální, či faktickou.

Tato diskuse byla velmi plodná a vedla k zjištění, že zdánlivě nehmotná informace je pevně vázána na fyzikální svět hmoty a energie a že každý přenos či záznam informace vyžaduje disipaci jisté energie, a tedy vzrůst termodynamické entropie.

Tato diskuse zdaleka není uzavřena a stále se objevují nové aspekty. Zejména v tom, že dnes známe řadu alternativních měr neurčitosti, které nejsou založeny na pravděpodobnostním přístupu. Konstituuje se zobecněná teorie informace, která zahrnuje dosud známé míry neurčitosti, jež může přinést zcela neočekávané výsledky. Richard Feynman ve svých přednáškách z fyziky říká, že v historii fyziky existují jen dva případy, kdy inženýr výrazně obohatil fyzikální teorii, shodou okolností v disciplínách, které na sebe navazují. Byli to Sadi Carnot v termodynamice a C. E. Shannon v teorii informace.

Shannonův článek založil vlastně novou disciplínu na pomezí matematiky a sdělovací techniky – teorii informace. Bez ní bychom neměli internet, stěží bychom dokázali přenášet obrázky ze sond pohybujících se na hranicích sluneční soustavy, ukládat data na elektronická média, používat mobilní telefony a řadu dalších věcí. Teorie informace se uplatňuje od tepelných strojů až po matematickou lingvistiku. Málokdo z dnešních mladých počítačových nadšenců, pro které je termín „bit“ naprostou samozřejmostí, tuší, že toto zkratkové slovo (vytvořené z binary digit – dvojková číslice) pochází z uvedeného Shannonova článku.

Strojové učení a využití wienerovské filtrace

Shannon byl jedním z prvních, kteří se zabývali strojovým učením. Navrhl počítačový program, jímž byla řízena mechanická myš „Theseus“. Pohybovala se v bludišti a na základě pokusů a omylů se učila tak dlouho, až nalezla z bludiště optimální cestu ven. Shannon je také autorem jednoho z prvních programů na hraní šachu. Myšlenky teorie informace aplikované na kryptografii přinesly zásadní zlom jak v šifrování, tak v dešifrování dokumentů.

Významným základním teoretickým výsledkem prací na protileteckých zaměřovačích, které se prováděly na MIT během války, a rozhodující prací pro vznik kybernetiky byla Wienerova teorie filtrace a predikce časových řad. Wiener ukázal, že minulé pohyby letadla do jisté míry omezují jeho pohyby budoucí, a že tedy z historie pohybu letadla je možno poměrně úspěšně předpovídat polohu budoucí. Po válce se ukázalo, že lze úspěšně překovat meče v pluhy a wienerovská filtrace se dá použít v mnoha praktických aplikacích. Původní Wienerova kniha měla žlutou obálku a pro její velmi obtížnou matematiku jí pracovníci aplikační sféry říkali „žluté nebezpečí“. (Úloha filtrace a predikce formulovaná v časové oblasti vyžadovala velmi obtížné řešení Wienerovy-Hopfovy diferenciální rovnice.) Shannon a H. W. Bode nalezli ve frekvenční oblasti řešení, které je mnohem jednodušší, přístupné každému inženýrovi. To umožnilo rozšířit využití wienerovské filtrace do mnoha oborů – od odhadů vývoje akcií až po hledání epileptických ohnisek v pacientově mozku.

Cimrmanovské vynálezy

Vědci Shannonova formátu zpravidla nedokážou opustit svůj obor a pracují do vysokého věku. C. E. Shannon ale aktivní činnosti zanechal r. 1961, když byl na vrcholu svých tvůrčích sil. Podle svých slov hodlal „užívat života“, což spočívalo v tom, že se intenzivně věnoval hudbě a také se zabýval vynalézáním věcí, které nesměly být příliš užitečné. Doma měl několik klavírů a řadu jiných nástrojů.

K tomu se váže historka z Shannonovy návštěvy Sovětského svazu: Za ruské překlady svých prací obdržel značnou částku, ale podle sovětských předpisů nebylo možno peníze vyvézt a v SSSR zas nebylo za co je utratit. Shannon to vyřešil nákupem osmi hudebních nástrojů – od basy až po balalajku – a jeho rodina byla při návratu považována za cestující orchestr.

Shannonovy „vynálezy“, jimiž se bavil na odpočinku, by jistě ocenil i Jára Cimrman. Jako nadšený žonglér a jezdec na jednokolce (na které občas dojížděl z domova do laboratoře) zkonstruoval například dvousedadlovou jednokolku. Jiným příkladem byl kalkulátor, který prováděl aritmetické operace pomocí římských číslic. Zkonstruoval také velmi promyšlený robot, který dokázal žonglovat s několika míčky. Osud mu na toto užívání života vyměřil ještě více než třicet let. Během nich mohl sledovat, jak výsledky jeho raných prací postupně mění svět.

CLAUDE ELWOOD SHANNON

*30. 4. 1916 (Petoskey, Michigan)

†24. 2. 2001 (Boston, Massachusetts)

Jako školák byl nadšeným radioamatérem a konstruktérem dálkově řízených modelů a jeho idolem byl T. A. Edison. (Jak později zjistil, byli vzdálení příbuzní.) Na Michiganské univerzitě absolvoval bakalářské studium elektrotechniky. R. 1936 nastoupil jako asistent na elektrotechnickou katedru MIT a dostal se do skupiny pracující na Bushově diferenciálním analyzátoru. Sekvence činností mechanických integrátorů, spojek, mechanických zesilovačů momentu ad. byla řízena rozsáhlými reléovými sítěmi, které se navrhovaly zcela intuitivně.

Shannon si uvědomil, že stavy relé (zapnuto, vypnuto) odpovídají dvěma pravdivostním hodnotám v Booleově algebře, a použil Booleovu algebru pro návrh reléových sítí. Na toto téma napsal magisterskou diplomovou práci (obhájil ji r. 1937). V historii vědy bychom našli málo případů, kdy se diplomová práce stala základem rozsáhlé disciplíny. Bez této diplomky by nevznikl číslicový počítač! (O půl století později Shannon poznamenal: „Měl jsem štěstí, byl jsem tenkrát shodou okolností zřejmě jediný, kdo znal důvěrně obě disciplíny.“)

Diplomová práce vzbudila velký ohlas a v Bellových laboratořích ji hned použili pro návrh telefonních ústředen. Vannevar Bush Shannonovi doporučil, aby v dizertační práci aplikoval stejný přístup v genetice. Tuto práci obhájil r. 1940 a zároveň získal magisterský diplom v elektrotechnice a Ph.D. v matematice. Dizertace však významu jeho diplomové práce nedosahovala, což Shannon přičítal mimo jiné i faktu, že veškeré své intelektuální úsilí musel věnovat tomu, aby udělal potřebné zkoušky z němčiny a francouzštiny. Trochu paradoxní u člověka, jehož další práce do značné míry tvořily základy matematické lingvistiky, kryptografie a řady příbuzných disciplín.

V té době již na katedře jazyků MIT působil Roman Jakobson, který byl předtím, v třicátých letech, profesorem srovnávací jazykovědy na Karlově univerzitě a krom toho se stal vůdčí osobností Pražského lingvistického kroužku (viz Vesmír 79, 433, 2000/8). Bohužel nevíme, jestli to byl on, kdo Shannona „trápil“ německou a francouzskou gramatikou.

R. 1941 získal C. E. Shannon stipendium na roční stáž na Institute of Advanced Study v Princetonu. V této instituci, kde působili lidé jako Albert Einstein nebo Kurt Gödel, pracoval pod vedením švýcarského matematika a fyzika Hermanna Weyla. Po stáži nastoupil jako inženýr do Bellových laboratoří, kde strávil patnáct let, a opět se na MIT vrátil.

Jeho spolupracovníky byli lidé jako John Pierce, Hary Nyquist, nositelé Nobelovy ceny za vynález tranzistoru W. Shockley, J. Bardeen a W. H. Brattain a mnozí další. Spojené státy vstoupily do války a Bellovy laboratoře se spolu s MIT Radiation Laboratory podílely na vývoji přístrojů pro řízení protiletecké palby. Tato zařízení byla založena na Bushově diferenciálním analyzátoru, s nímž byl Shannon důvěrně obeznámen, a proto není divu, že se celou válku podílel na jejich vývoji. Je překvapující, kolik revolučních myšlenek se při práci na tomto zařízení vynořilo. Na jejich základě pak vznikla celá průmyslová odvětví, která ve svém důsledku vyvolala rozsáhlé socioekonomické změny a položila základy pro informační společnost 21. století.

Ke stažení

OBORY A KLÍČOVÁ SLOVA: Technické vědy

O autorovi

Petr Vysoký

Doc. Ing. Petr Vysoký, CSc., (*1939) vystudoval Elektrotechnickou fakultu ČVUT. Po kratším působení v Ústavu teorie informace a automatizace ČSAV přešel roku 1964 na katedru řídicí techniky Elektrotechnické fakulty ČVUT. Zabýval se adaptivním řízením, obecnou teorií systémů a kybernetikou, biomedicínským inženýrstvím a fuzzy logikou. V letech 1996–2000 vedl laboratoř inženýrsko-medicínské diagnostiky Centra biomedicínského inženýrství ČVUT, kde byl zahájen výzkum vlivu únavy na lidského operátora-řidiče. V současné době se touto problematikou zabývá na Dopravní fakultě ČVUT.

Doporučujeme

Přemýšlej, než začneš kreslit

Přemýšlej, než začneš kreslit

Ondřej Vrtiška  |  4. 12. 2017
Nástup počítačů, geografických informačních systémů a velkých dat proměnil tvorbu map k nepoznání. Přesto stále platí, že bez znalosti základů...
Tajemná „Boží země“ Punt

Tajemná „Boží země“ Punt uzamčeno

Břetislav Vachala  |  4. 12. 2017
Mnoho vzácného zboží starověkého Egypta pocházelo z tajemného Puntu, kam Egypťané pořádali časté obchodní výpravy. Odkud jejich expedice...
Hmyz jako dokonalý létací stroj

Hmyz jako dokonalý létací stroj

Rudolf Dvořák  |  4. 12. 2017
Hmyz patří k nejdokonalejším a nejstarším letcům naší planety. Jeho letové schopnosti se vyvíjely přes 300 milionů let a předčí dovednosti všech...

Předplatným pomůžete zajistit budoucnost Vesmíru

Tištěná i elektronická
verze časopisu
Digitální archiv
od roku 1994
Speciální nabídka
pro školy a studenty

 

Objednat předplatné