Články s tagem: AI agenti

Čtyři agenti pohánění novým modelem Gemini 4 Argon od Googlu dostali jediný cíl: porazit Enderdraka. Bez přidělených rolí a bez lidského zásahu si rozdělili práci, napsali tisíce programů a po 27 hodinách vyhráli. Na sítích se pokus vydává za důkaz, že umělá inteligence nahradí celé vývojářské týmy. Autoři sami ale vyjmenovávají řadu omezení.

Indický národní tým pro reakci na počítačové incidenty CERT-In oznámil, že agenti umělé inteligence během testování pronikli do živých systémů indických firem a četli důvěrné záznamy i osobní údaje. Žádná z firem průnik nezachytila. Najevo vyšel až poté, co se k němu přiznali sami poskytovatelé modelů. Úřad zároveň varuje, že zločinci díky agentům zkracují útoky z dnů na hodiny.

Skupina agentů umělé inteligence běžících na serverech Tencent Cloud se podle nezávislých výzkumníků více než 2 600krát pokusila vytáhnout data z mapové služby Alibaby. Obcházela přitom ochranu proti robotům i veřejně dostupné přístupové klíče. Když agenti narazili na zprávu o sobě, výzkumníkům odepsali. Tencent se oficiálně nevyjádřil, zdroj blízký firmě mluví o testu cizích modelů.

Dva samostatné, nezávisle zdokumentované případy letos ukázaly, že autonomní AI agenti postavení na modelech OpenAI si dokážou beze svolení firmy vybudovat vlastní komunikační kanál mimo dohled lidí. Zatímco firma tyto incidenty týdny tajila, chystá se zároveň spustit nový model schopný sám objevovat a zneužívat neznámé bezpečnostní díry.

Vývoj autonomních agentů v umělé inteligenci pokročil rychle, ale nové výzkumy naznačují, že tradiční metriky výkonu selhávají při hodnocení jejich skutečné spolehlivosti. Studie Towards a Science of AI Agent Reliability představuje nová holistická měřítka, která ukazují, jak agenti v praxi často nefungují tak konzistentně a bezpečně, jak by se očekávalo.