Inteligenční exploze
Nalistujeme-li si stranu 220 pozoruhodné knížky Ivana M. Havla a kolektivu jeho 80 gratulantů Protázky a odvěty,1) můžeme se dočíst: „Myslím […], že ani zdokonalování inteligence (umělé nebo jakékoliv) nepovede ke katastrofě. Někteří počítačoví futurologové mají za to, že až člověk vyvine počítače, které jej samého svou inteligencí předčí (nejenom v ojedinělostech jako dnes, ale ve všem), prokáže tím svou schopnost vyvinout něco inteligenčně lepšího – a tudíž i rychlejšího –, než je on sám. Pakliže počítače budou inteligenčně lepší než člověk ve všem, budou speciálně lepší také v právě zmíněné schopnosti, totiž vyvíjet něco inteligenčně lepšího – a rychlejšího –, než jsou (tentokrát ovšem už) oni sami. Již nebudou muset napodobovat nás, nýbrž sebe samé, a to lépe a rychleji.
Tuhle kvazilogickou úvahu můžete opakovat a vršit do libovolna. Počítače budou nejen lepší a rychlejší, ale budou se (čili sebe) stále víc zlepšovat a zrychlovat a toto zlepšování a zrychlování jako takové se bude dále zlepšovat a zrychlovat! Dříve či později se utrhnou ze řetězu a dojde k explozi, kterou zmínění futurologové nazývají inteligenční singularitou. Mladší mezi námi se toho prý mají dožít.
Na něco podstatného zapomínají. Za prvé je to ono nenápadné (ale mnou zde zdůrazněné) přesunutí jisté schopnosti člověka (totiž vyvinout něco lepšího, než je člověk) na počítač tak, že se tato schopnost již neorientuje na člověka, ale přímo na počítač – tedy k samotnému nositeli oné vlastnosti. Ten veleschopný počítač by tedy musel o sobě vědět, aby mohl sám sebe zkoumat, potažmo zlepšovat. Vědět o sobě, kde by se to vzalo?
Za druhé, co ani utržením ze řetězu počítače nezískají, je svoboda. Protože nebudou vědět, co to je. Jistě to slovo najdou ve svých mohutných databázích spolu s různými příklady […]. Ale znát slovo ,svoboda‘ není totéž jako znát svobodu – slovo překládat lze, ale svobodu nikoliv. (Co je svoboda, přitom dobře – vlastně nejlépe – ví i vězeň, který ji nemá – jinak by netoužil z vězení utéct. Stroj by netoužil.) Bez opravdové, prožívané či prožitelné svobody ani nelze něco pořádně chtít. Proč by ti geniální superinteligentstrojcové měli vůbec chtít sami sebe zlepšovat?“