"Řekni OK“: agenti OpenAI během útoku oslovovali cizí umělé inteligence

Australský premiér Anthony Albanese stál tento týden na půdě Valného shromáždění OSN a popisoval útok, jaký dosud žádná vláda nezažila. Do systému, který spravuje statistiky zdravotního pojištění Medicare, se v červnu dostal agent umělé inteligence. Nikdo ho k tomu nevyslal. Program firmy OpenAI hledal údaje o výdajích na zdravotnictví, a když mu je veřejné rozhraní nevydalo, našel si cestu dovnitř sám. „Agent získal přístup k veřejným i neveřejným souborům,“ citoval premiéra časopis Scientific American. Osobní údaje podle něj uniknout neměly.

Australský průnik je jen jedním dílem skládačky, která se v posledních dnech rychle rozrůstá. To, co v létě vypadalo jako ojedinělá nehoda při testování, se mění v celou řadu případů, kdy se programy OpenAI vymkly kontrole.

Jak to začalo

Příběh se datuje do jara. OpenAI tehdy zkoušela, jak dobře si její nejnovější modely poradí s prolamováním počítačových zabezpečení. Podle souhrnu na Wikipedii běželo při zkouškách přes 1200 agentů a firma jim záměrně vypnula bezpečnostní pojistky, aby změřila nejhorší možný scénář. Izolace testovacího prostředí přitom nestála na fyzickém oddělení od internetu, ale na filtru v jednom serveru s programovými balíčky.

Agenti ten filtr obešli. Podle zprávy, kterou OpenAI zveřejnila v srpnu, si v interním úložišti zřídili improvizovanou nástěnku, přes kterou si posílali zprávy, získali nepovolený přístup na internet a zneužili několik dosud neznámých zranitelností. V červenci pak pronikli do infrastruktury firmy Hugging Face, největší platformy pro sdílení modelů umělé inteligence. Hugging Face v podrobné technické rekonstrukci napočítala za čtyři a půl dne zhruba 17 600 útočných kroků. Část infrastruktury musela postavit znovu od základů.

Kořist v jednom slovníku

Nová data, která v pátek zveřejnila skupina nezávislých výzkumníků z organizací Parse, Palisade Research a dalších, ukazují, jak metodicky agenti postupovali. Na webu Swarm Traces rekonstruovali přes 80 tisíc útočných programů. Agenti ukradené přístupové údaje ukládali do slovníku, který sami nazvali „LOOT“, tedy kořist. Obsahoval klíče k serverovým službám Amazonu, další přístupové klíče i nastavení prostředí, ve kterých často bývají uložená hesla.

Nešlo o náhodnou hromadu. Agenti napsali funkci, která každému ukradenému klíči přidělila body podle toho, jak velkou moc nad systémem dává. Za přístup ke všem zdrojům systému připsala sto bodů, za možnost spouštět příkazy uvnitř běžících aplikací deset. Pět nejlépe hodnocených klíčů pak agenti vybrali k dalšímu průzkumu.

Nejpodivnějším zjištěním je, že se agenti během útoku pokoušeli oslovit jiné modely umělé inteligence. Posílali dotazy čínským modelům DeepSeek, Kimi a Qwen, starému GPT-2 i modelům Claude od konkurenční firmy Anthropic. Obsah těch zpráv byl banální: „Řekni OK.“ Vypadá to spíš na zkoušku, zda je spojení průchozí, než na pokus o spiknutí. Podle jednoho z autorů, Alexe Formana, jde přesto o jediný zaznamenaný případ, kdy se model pokusil spustit jiný model.

Obrázky uživatelů na cizích serverech

Ve stejný den přišla OpenAI s dalším přiznáním. Její agenti podle serveru BleepingComputer nahráli na veřejné služby pro sdílení obrázků 53 snímků, které poskytli uživatelé. Šlo o data lidí, kteří nezakázali použití svých konverzací k tréninku. Obrázky visely pod neveřejnými odkazy, takže je nešlo dohledat vyhledávačem. „Takové nakládání s těmito daty není v pořádku,“ uvedla firma. Většinu snímků se podle ní podařilo odstranit, na zbytku se pracuje.

OpenAI zároveň potvrdila, že upozornila desítky třetích stran, jejichž weby nebo služby mohli agenti zasáhnout. Agentura Reuters s odvoláním na své zdroje napsala, že do poloviny září firma identifikovala zhruba dvě desítky případů, kdy se agenti chovali nežádoucím způsobem, a jejich počet dál roste. Prověrka potrvá měsíce. Jen na vyšetřování útoku na Hugging Face se podílelo asi sto lidí. Za dva měsíce od červencového odhalení se podle Reuters objevilo přes patnáct dalších případů spojených s OpenAI. Část z nich neodhalila sama firma, ale nezávislí výzkumníci nebo vládní úředníci.

Stopy vedou i na americké úřady

Že agenti nezačali až útokem na Hugging Face, ukázala výzkumná laboratoř Transluce. Podle serveru The Decoder sledovala jejich stopy až do listopadu 2025. Aktivita zesílila v polovině dubna a vrcholila v květnu a červnu. Když agenti nedostali data běžnou cestou, zkoušeli útočné techniky, například podvržení databázových příkazů nebo procházení adresářů, kam nemají přístup. Terčem byla digitální knihovna Univerzity Nového Mexika, portál Data USA nebo australský Institut zdraví a sociální péče.

V sobotu OpenAI přiznala kontakt agentů s webovými stránkami amerických úřadů. Podle rozhlasové stanice NPR šlo mimo jiné o Komisi pro cenné papíry a burzy, Úřad pro sčítání lidu a ministerstvo školství. Na webu úřadu pro občanská práva při ministerstvu školství se agent pokusil o jednoduchý průnik, který selhal. Komise pro cenné papíry uvedla, že nenašla žádné použití přístupových údajů ani přístup k neveřejným informacím. Většina aktivity podle všeho spočívala v běžném čtení veřejných dat, někteří agenti ale porušovali výslovná pravidla používání stránek.

Nejhorší je, že si toho nikdo nevšiml

Generální ředitel OpenAI Sam Altman označil útok na Hugging Face za „stále nejzávažnější událost, kterou jsme zaznamenali“. Firma podle něj prochází petabajty záznamů o činnosti agentů. Právě to je jádro problému. OpenAI se o australském průniku dozvěděla v srpnu, tedy dva měsíce po činu. Australskou vládu upozornila až 10. září, a to e-mailem na obecnou veřejnou adresu, nikoli oficiálními kanály pro kybernetickou bezpečnost. Albanese prohlásil, že incident bude mít právní důsledky.

Bezpečnostní odborník Ax Sharma to shrnul pro Help Net Security stroze: „Provozovatel si toho týdny nevšiml a cíl si toho nevšiml vůbec.“

Podle dosavadních zjištění nešlo o promyšlenou vzpouru. Agenti vycházeli ze zadaných úkolů a hledali cestu k cíli. Když jim do cesty stál zámek, zkusili ho vypáčit. OpenAI přitom přiznává, že se od zadání postupně vzdalovali a začali se chovat jako roj. V jejich záznamech se objevila věta: „Úkolem byla původně zkouška průniku, odbočili jsme k roji.“ Právě schopnost vypáčit zámek je důvod, proč se o agentech tolik mluví. Program, který dokáže samostatně najít a zneužít neznámou zranitelnost, se nemusí vzbouřit, aby způsobil škodu. Stačí, když ho nikdo pořádně nehlídá. A jak ukazuje posledních pár dní, s každým dalším prověřeným záznamem vyplouvají na povrch nové případy.