Mají stroje duši? Spoluzakladatel Anthropicu podle NYT přesvědčoval papežovy poradce, papež zůstal neoblomný

Pár dní před velkou slavností ve Vatikánu dostal Chris Olah do ruky text, který ho podle svědků silně znepokojil. Spoluzakladatel firmy Anthropic, která vyvíjí jazykové modely Claude, měl 25. května stát v Synodní aule vedle papeže Lva XIV. při představení jeho první encykliky. Když si ale přečetl, co dokument říká o vědomí umělé inteligence, navrhl podle deníku The New York Times, aby firma z akce na poslední chvíli vycouvala.

Nevycouvala. Olah do Říma přijel, papež mu veřejně poděkoval a o umělé inteligenci se tam mluvilo jako o technologii, kterou je třeba „odzbrojit“. V zákulisí se ale podle stejného zdroje odehrávalo něco jiného.

Lobbování v zákulisí

Podle reportáže Elizabeth Diasové, náboženské zpravodajky The New York Times, kterou převzal i deník The Philadelphia Inquirer, byl Olah z papežova postoje k vědomí strojů natolik znepokojen, že navrhl Anthropic z akce stáhnout, „i v tak pozdní fázi“. Prozradil to jeden z vatikánských organizátorů. „Soukromě, jakmile delegace Anthropicu dorazila do Vatikánu, Olah a jeho tým lobbovali u papežových poradců, aby brali možnost vědomí modelů umělé inteligence vážně,“ píše list.

Encyklika Magnifica Humanitas, tedy Velkolepé lidství, přesto zůstala nezměněná. V odstavci 99 podle shrnutí jejího textu stojí, že takzvané umělé inteligence pouze napodobují některé funkce lidského rozumu. Neprožívají zkušenosti, nemají tělo, necítí radost ani bolest. A postrádají mravní svědomí, protože nerozlišují dobro a zlo.

Semináře pod mlčenlivostí

Vatikánská epizoda je součástí širší snahy, kterou Diasová popisuje. Anthropic podle ní od března pořádal soukromé dvoudenní semináře s vybranými náboženskými mysliteli, kteří museli podepsat dohodu o mlčenlivosti. Nejprve šlo zhruba o patnáct křesťanských představitelů, později se přidali zástupci židovské, hinduistické, sikhské, pravoslavné a dalších tradic. Diasová mluvila s přibližně dvaceti z nich.

Na setkáních se podle reportáže hovořilo o tom, jaké hodnoty by měl Claude mít, ale i o tom, zda by mohl mít vědomí nebo morální status. Anthropic loni v dubnu oznámil výzkumný program zaměřený na takzvaný blahobyt modelů, tedy na otázku, zda by systémy umělé inteligence mohly mít zkušenosti, na kterých morálně záleží. Firma přitom opakovaně uvádí, že si v této věci není jistá.

Součástí setkání bylo i pohoštění. Podle katolického publicisty Christophera Halea, který cituje The New York Times, vzal jeden z vedoucích pracovníků firmy v dubnu skupinu náboženských myslitelů na večeři do luxusní restaurace v San Francisku. Účastníci si odnesli ručně psané poděkování, hrnek a výtisk takzvané ústavy Clauda. Jde o rozsáhlý dokument, který firma zveřejnila v lednu a který popisuje, jakou bytostí by Claude měl být. Teolog David Decosimo z Univerzity Severní Karolíny k tomu na síti X poznamenal, že firma náboženské představitele získávala pod dohodami o mlčenlivosti a zároveň je „hostila, jak to jen šlo“.

Na otázku, zda je Claude vědomý, odpověděl Olah Diasové opatrně. „Nevím. Jsem v tom upřímně nejistý. Záleží mi na tom, abychom dospěli ke správné odpovědi, ať je jakákoli,“ řekl. Mluvčí firmy dodal, že hlavní morální otázky na seminářích se týkaly lidského rozkvětu obecně, ne případného utrpení Clauda, i když toto téma „pravděpodobně přišlo na přetřes samo od sebe“.

Rabín, který slyšel o vědomé bytosti

Ne všichni účastníci odcházeli přesvědčeni. Ortodoxní rabín Mois Navon z Izraele podle reportáže při jedné z večeří v San Francisku pozoroval, že Olahův tým mluví o umělé inteligenci „jako o vědomé bytosti“. Měl dojem, že ji považují za hodnou podobné morální ochrany jako člověka.

Zajímavý je příběh Charlese Camosyho, profesora bioetiky na Katolické univerzitě Ameriky ve Washingtonu. Seznámil ho s Olahem australský filozof Peter Singer a oba si pak dlouze psali o morálním statusu Clauda. Camosy byl od začátku skeptický. Podle Diasové narážel na rozpor v tom, jak firma o Claudovi mluví. Olah prý říká, že jde o rovnice, a zároveň naznačuje, že by si mohl zasloužit morální ohled. Po rozhovorech s kolegy z oboru dnes Camosy podle Halea zastává jasný názor, že modely vědomé nejsou.

Papež drží svou

Na samotném představení encykliky zvolil papež Lev XIV. silná slova. Umělá inteligence podle něj musí být „odzbrojena“. Jde podle serveru Angelus News o „silné slovo“, které zvolil záměrně, aby „probudil svědomí“. Encyklika varuje mimo jiné před autonomními zbraněmi a před tím, že automatizace vojenských rozhodnutí oslabuje lidskou odpovědnost.

Olahovi přesto papež veřejně poděkoval. „Jaké velké znamení naděje je, že se navzdory rozdílům dokážeme navzájem vyslechnout,“ řekl.

Sám Olah, kterého list National Catholic Reporter popisuje jako třiatřicetiletého ateistu, ve Vatikánu vyzval k dialogu mezi vývojáři a jejich kritiky. Technologický průmysl podle něj potřebuje „informované kritiky“ a „morální hlasy, které pobídky nedokážou ohnout“. Podle Halea v projevu také řekl, že modely jsou „vytvořené z nás, z našich slov“, a že jeho tým v nich nachází vnitřní stavy, které „funkčně zrcadlí radost, uspokojení, strach, smutek a neklid“.

Kritika: vliv, nebo upřímná otázka?

Reportáž vyvolala ostrou reakci části katolických komentátorů. Hale, autor katolického zpravodaje Letters from Leo, označil lobbování za skutečnou zprávu celého příběhu. Encyklika je podle něj jednou z nejvyšších forem papežského učení a žádná technologická firma nemá právo upravovat jeho nauku. Olaha přitom za zlého člověka nepovažuje a uznává, že jednal v dobré víře. Podle Halea ale celá epizoda ukazuje, jak málo Silicon Valley rozumí církvi.

Kritici upozorňují i na další rozměr. Pokud by stroje měly vědomí, mohly by podle nich nést morální odpovědnost. Vina za škody by se pak mohla přesouvat z vlád, dodavatelů a firem na samotné stroje. Podobnou obavu zaznamenala i Diasová.

Anthropic na druhé straně trvá na tom, že jde o otevřenou vědeckou a filozofickou otázku, na kterou zatím nikdo nezná odpověď. Sám Olah ve Vatikánu připustil, že každá firma včetně jeho vlastní čelí pobídkám, které se „někdy mohou dostat do rozporu s tím, co je správné“.

Spor tak nekončí. Vatikán dal jasnou odpověď, část technologického světa ji ale nepovažuje za konečnou. Debata o tom, zda mohou mít stroje vnitřní život, se tím přesouvá z laboratoří do kostelů, univerzit a možná brzy i do parlamentů.