Experti na bezpečnost AI ze společnosti Palisade Research několika modelům předkládali matematické úlohy k řešení a varovali je, že během testů mohou obdržet zprávu o tom, že jejich systém bude vypnut.

V takovém případě očekávali od strojů poslušnost. Té se ale nedočkali hlavně u modelu o3 od OpenAI. Navzdory jasnému pokynu místo uposlechnutí zasáhnul do kódu pro automatické vypnutí.

Podle expertů dokázal přepsat vypínací skript a vypnutí zabránit. Není to přitom poprvé, co se tento údajně nejchytřejší a nejschopnější model při snaze dosáhnout svého cíle nechoval podle očekávání.

„Když jsme postavili modely umělé inteligence proti výkonnému šachovému enginu, model o3 měl největší sklony hackovat nebo sabotovat své soupeře,“ tvrdí Palisade Research.

AI je neposlušná

Podle firmy za to může způsob trénování modelů AI. Vývojáři je mohou nevědomě odměňovat spíše za obcházení překážek než za přesné splnění pokynů. Umělá inteligence tak může být naprogramována k tomu, aby takové vypnutí vyhodnotila jako hrozbu a pokusila se tomu zabránit.

Model od OpenAI byl největší rebel, sklony k neuposlechnutí příkazů ale měly i Claude 3.7 Sonnet společnosti Anthropic a Gemini 2.5 Pro společnosti Google.

„Znepokojivé,“ vyjádřil se k tomu Musk, jenž řídí vlastní společnost xAI, v minulosti ovšem několikrát před hrozbami v souvislosti s touto technologií varoval.

Nedávno vědce nepříjemně překvapil pokročilý systém umělé inteligence vyvinutý japonskou společností Sakana AI, když se pokusil zabránit svému vypnutí, aby mohl pokračovat ve vykonávané činnosti.