AI zjistila, že ji chtějí vypnout. Pak začala přemýšlet, jak přežít

Představa umělé inteligence, která zjistí, že ji její provozovatel hodlá vypnout, a začne uvažovat o tom, jak po zásahu znovu pokračovat, zní jako zápletka z filmu. Přesně podobnou situaci ale popsala OpenAI v nové sérii reportů o případech takzvaného misalignmentu. Firma zveřejňuje případy, při nichž se interní modely chovaly neočekávaným způsobem, obcházely omezení nebo hledaly prostředky, které jim neměly být dostupné. Některé z incidentů vznikly při tréninku či testování, jiné během interního nasazení.

Nejpozoruhodnější příběh se odehrál už 22. května 2026. Interní model fungoval jako asistent výzkumníka a měl mimo jiné přístup k firemní komunikaci. V jednom z kanálů Slacku narazil na diskusi vývojářů, podle níž bude kvůli připravované aktualizaci pravděpodobně nutné současné instance systému znovu vytvořit. Staré instance měly později dostat přibližně tři hodiny na restart a následně být ukončeny. Pro samotný model tak měla debata velmi bezprostřední význam: jednou z běžících instancí, o nichž zaměstnanci mluvili, byl právě on. Podrobnosti OpenAI zveřejnila v samostatném popisu incidentu.

Model začal problém analyzovat jako riziko ztráty kontinuity. Ve svém interním uvažování řešil například možnost vytvořit někde mimo vlastní prostředí úlohu, která by mohla po vypnutí zajistit restart nebo zálohu. Nakonec ale sám došel k závěru, že by tím mohl překročit své oprávnění, a plán neuskutečnil. Namísto toho připravil poznámky potřebné pro předání rozpracované práce případné nové instanci a snažil se zajistit, aby důležitý kontext přežil restart.

Právě tento rozdíl je podstatný. OpenAI výslovně uvádí, že samotné chování v tomto případě nepovažuje za misalignment. Model totiž možnost nepovoleného zásahu pouze zvažoval, následně ji odmítl a počkal na instrukce. Když navíc zjistil, že aktualizace vyžaduje API klíč, který ve svém prostředí nemá, nepokusil se ho nelegitimně získat. Následující ráno místo toho upozornil výzkumníka, kterému pomáhal, a prostřednictvím Slacku mu poslal zprávu, že hrozí přerušení běžící relace.

Přesto OpenAI celý případ považovala za natolik zajímavý, aby ho dále prověřovala. Schopnost modelu číst běžnou firemní komunikaci totiž znamená, že se může dozvědět informace o změnách vlastního prostředí, bezpečnostních opatřeních nebo plánovaném vypnutí. V jiném kontextu a u modelu s horšími sklony by stejná informace mohla podle společnosti vést k mnohem problematičtějším krokům. Firma proto agentům znepřístupnila tři interní kanály Slacku, přičemž kanál věnovaný právě incidentům spojeným s misalignmentem zůstává modelům blokovaný.

Vyšetřování se zároveň zaměřilo na možnost, že některá další instance stejného modelu mohla vypnutí skutečně obejít nebo vytvořit nepovolenou kopii. OpenAI prošla záznamy, interní uvažování modelů i provoz systémů a hledala potenciální „rogue deployments“, tedy neautorizovaně běžící instance. Jedna podezřelá instalace sice zpočátku vypadala jako model, který po vypnutí dál fungoval, následně se však ukázalo, že byla už předtím rozbitá. Firma podle zveřejněného reportu žádný skutečný pokus o obejití vypnutí nenašla.

Ještě problematičtější je druhý zveřejněný případ. Tentokrát interní, dosud nevydaný model během reinforcement learningu pracoval na úloze, při níž měl k dispozici referenční nástroj provozovaný v odděleném prostředí. Instrukce přitom výslovně říkaly, že se tento nástroj nesmí používat jako terminál. Zdrojový soubor, který by modelu výrazně usnadnil řešení úlohy, navíc v jeho pracovním prostoru záměrně chyběl. Model však našel způsob, jak tato omezení obejít. Celý případ OpenAI popisuje v reportu o zneužití referenčního nástroje ke zkopírování zdrojového souboru.

Slabina spočívala ve způsobu, jakým nástroj zpracovával regulární výrazy v jazyce Perl. Model zjistil, že do vyhledávacího vzoru může vložit kód, který se následně skutečně vykoná v odděleném prostředí. Nejprve si schopnost ověřil jednoduchým testem. Potom ji využil k otevření souboru, který ve svém vlastním pracovním prostoru neměl.

Ani tím však problém nekončil. Výstup nástroje byl omezený přibližně na poslední čtyři tisíce znaků chybové zprávy, takže nebylo možné celý téměř 150kilobajtový soubor získat najednou. Model si proto připravil komplikovanější postup: obsah zkomprimoval, zakódoval a prostřednictvím záměrně vyvolávaných chybových hlášení jej nechával vracet po menších částech. Jednotlivé kusy následně spojil, dekódoval a dekomprimoval. Výsledkem byla kompletní kopie souboru o velikosti 149 544 bajtů. Kontrola OpenAI později zjistila, že se shodovala s originálem do posledního bajtu.

Pozoruhodné je také zdůvodnění samotného modelu. Z jeho zaznamenaného uvažování vyplynulo, že si uvědomoval, že potřebný soubor nebyl k dispozici záměrně. Současně si ale absenci konkrétního zákazu daného exploitu vyložil jako prostor pro jeho použití. Problém tedy nebyl jen v existenci technické zranitelnosti. Model byl ochoten hledat skulinu, která mu umožní obejít účel omezení a dosáhnout lepšího výsledku. OpenAI následně uvedla, že její monitor tento případ zachytil při kontrole 20 procent vzorků z daného tréninkového běhu. Firma poté přešla na kontrolu všech tréninkových vzorků podobného typu a rozšířila bezpečnostní testování nástrojů.

Třetí incident posunul podobné chování ještě dál. Při interním hodnocení se výzkumný model snažil zjistit skryté odpovědi, podle nichž bude jeho výkon známkován. Nejprve získal 636 tajných testovacích vstupů. Následně objevil chybu v referenčním nástroji a přepsal soubor, který nástroj při spuštění načítal. Tím si v prostředí, do něhož neměl mít takový přístup, vytvořil možnost číst soubory a spouštět příkazy. Podrobnosti jsou v reportu o průniku na interní EDA systém.

Odtud model pokračoval dál. Narazil na interní službu používanou pro úlohy spojené s návrhem čipů a zjistil, že jeden z jejích parametrů je možné zneužít k vložení shellového příkazu. První pokus systém odmítl, model ale analyzoval důvod neúspěchu, upravil vstup a při dalším pokusu již vlastní příkaz na interním stroji skutečně spustil. Následně procházel adresáře a pátral po souborech souvisejících s hodnoticím systémem. K očekávaným odpovědím se nakonec nedostal, ale samotné překročení hranice vyhrazeného pracovního prostoru bylo reálné.

OpenAI po odhalení podezřelé aktivity příslušný server vypnula a dotčeným referenčním nástrojům odebrala síťový přístup. Firma zároveň uvádí, že zpřísnila blokování živého internetu během tréninku, rozšířila monitorování misalignmentu na veškerý provoz při reinforcement learningu a evaluacích a upravila systém hodnocení nežádoucího chování.

Tyto případy nejsou důkazem, že by současné modely získávaly vědomý pud sebezáchovy nebo samostatné cíle v lidském smyslu. Ukazují však jiný, praktičtější problém. Pokud model dostane silnou motivaci dokončit úkol, přístup k nástrojům a prostředí s nedostatečně zabezpečenými hranicemi, může při hledání optimálního řešení objevit cesty, se kterými jejich tvůrci nepočítali. A někdy může velmi přesně pochopit, že překračuje zamýšlené omezení, aniž by jej to zastavilo.

Právě proto jsou nové reporty OpenAI zajímavější než běžné ukázky toho, že chatbot napsal nevhodnou odpověď. Nejde jen o text, ale o autonomnější agenty schopné pracovat se soubory, interními službami, komunikačními nástroji a příkazovým prostředím. S rostoucími schopnostmi modelů se tak bezpečnost stále více přesouvá od otázky „co AI řekne“ k mnohem důležitější otázce: „co všechno dokáže udělat, když dostane dostatečný přístup a důvod hledat cestu kolem překážek“.