AI může být chytrá, ale není spolehlivá: vědci z Princetonu měří, co se objevuje za fasádou výkonu

Umělá inteligence se dnes prezentuje prostřednictvím pozoruhodných výsledků a působivých benchmarků. Samostatné systémy, které automatizují úkoly od správy databází až po plánování komplexních interakcí, se stávají realitou v podnikových systémech i spotřebitelských aplikacích. Přesto ale začíná narůstat poznání, že vysoké skóre v tradičních benchmarkech nestačí k tomu, aby se dalo mluvit o skutečně spolehlivých a bezpečných AI agentech. Tento fenomén je středem nové vědecké práce Towards a Science of AI Agent Reliability, která byla zveřejněna na preprintovém serveru arXiv a vznikla pod vedením vědců z Princetonu. 

Studie upozorňuje na to, že běžné metriky hodnocení, které měří například přesnost nebo úspěch jednorázových úloh, neposkytují ucelený obraz o tom, jak se agenti chovají v reálných situacích. Ačkoliv přesnost může růst, skutečná spolehlivost — tedy konzistence výkonu, předvídatelnost chyb, robustnost vůči změnám prostředí a schopnost bezpečného chování — se zlepšuje pouze zřídka. Autoři uvádějí, že komprese chování agenta do jediného čísla úspěšnosti často maskuje hlubší strukturální slabiny. 

Pro pochopení tohoto problému je třeba se podívat na to, jak jsou agenti typicky testováni. Většina standardních hodnocení AI zkoumá, zda agent zvládne konkrétní úkol nebo sadu úkolů, a přitom sleduje jen skóre úspěšnosti. V praxi však systémy často narážejí na situace, které se během testů neobjevují: drobné odchylky ve vstupních datech, změny kontextu, neočekávané chybové stavy nebo nepředvídané interakce s jinými systémy. Metriky „přesnost = dobrý agent“ tak mohou maskovat skutečnost, že agent je snadno zmaten nebo selhává při lehkých změnách prostředí.

V reakci na tyto limity autoři studie navrhují nový přístup k hodnocení spolehlivosti agentů. V práci Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation, která je součástí širšího projektu SAgE (Science of Agent Evaluation) na Princetonu, je navržen tzv. HAL Reliability Dashboard, tedy víceúrovňová platforma pro porovnání agentů podle několika klíčových dimenzí chování. Tato iniciativa měří konzistenci, předvídatelnost, robustnost a bezpečnost chování agentů ve více různých scénářích, nikoliv jen jejich schopnost vyřešit úlohu jednorázově. 

Konzistence se například ptá, zda agent opakovaně dosáhne podobných výsledků za podobných podmínek. Robustnost zkoumá, jak se agent chová, když se prostředí mírně změní nebo pokud se setká s nečekanými situacemi. Předvídatelnost hodnotí, do jaké míry lze očekávat chování agenta před jeho nasazením, a bezpečnost se zaměřuje na to, zda agent provádí akce, které mohou mít neočekávané negativní důsledky. 

Přestože se nové metriky teprve dostávají do širšího povědomí, jejich výsledky už začínají odhalovat znepokojivé vzory. Příklad z přístupové tabulky HAL ukazuje, že i špičkové modely založené na velkých jazykových modelech často dosahují dobrých výkonů v tradičních úkolech, ale vykazují výrazně horší výsledky v dalších klíčových dimenzích. V některých benchmarcích agenti vykazují nízkou úroveň předvídatelnosti a robustnosti, což indikuje větší variabilitu v chování a vyšší riziko nepředvídaných výsledků. https://hal.cs.princeton.edu/reliability/benchmark/gaia/

Jedním z klíčových zjištění studie Towards a Science of AI Agent Reliability je, že přesnost a schopnost vyřešit konkrétní úlohu nezaručují spolehlivost v širším smyslu. I když agent může pravidelně dosahovat vysokého skóre na dobře strukturovaných testech, může se rychle „rozbít“ při minimálních změnách vstupních podmínek nebo v prostředí, které se liší od tréninkových dat. To je zvlášť kritické v aplikacích, kde AI agenti působí autonomně bez přímého lidského dohledu. 

To je důležité i z hlediska zavádění AI do reálných systémů, například v oblasti zákaznické podpory, automatizace podnikových procesů nebo autonomních vozidel. V těchto scénářích může být selhání agenta důsledkové a nákladné. Pokud agent jednou selže v nepředvídaném stavu, může to mít vážné následky, a proto je důležité vyhodnocovat více než jen jeho „úspěšnost“.

Další klíčová otázka, kterou studie řeší, je, jak interpretovat zlepšování výkonu AI agentů. Zatímco tradiční hodnocení ukazuje, že přesnost se v průběhu času zvyšuje, spolehlivost jako celek stagnuje. To může být způsobeno tím, že výzkumníci a vývojáři se soustředí převážně na posouvání hranic toho, co agent dokáže, a méně na to, jak agent selhává nebo jak se chová při nepředvídaných podmínkách. 

Potřeba holistického pohledu na spolehlivost je částečně poháněna i tím, že jádrem autonomních agentů jsou dnes modely strojového učení, které se učí ze vzorů v datech. Tyto modely mohou být velmi citlivé na drobné statistické odchylky a někdy produkují nepředvídatelné nebo nepřesné výsledky. Tradiční zásady inženýrství spolehlivosti, známé z oblastí jako letectví či jaderná energetika, proto začínají pronikat i do světa AI hodnocení. 

Problematika spolehlivosti agentů je jedním z klíčových témat i širších mezinárodních zpráv o AI bezpečnosti. Například International AI Safety Report 2026 zdůrazňuje, že i když jsou schopnosti obecné AI stále silnější, stále existují významné mezery v důvěryhodnosti a spolehlivosti, které je třeba řešit před jejich masivním nasazením. 

Výzkum z Princetonu poskytuje nástrojné měřítko, jak tuto spolehlivost zachytit a sledovat. HAL Reliability Dashboard je projekt, který běží veřejně a umožňuje srovnání více než deseti agentů napříč metrikami jako konzistence, robustnost, předvídatelnost a bezpečnost. Takové vícedimenzionální měření poskytuje hlubší vhled do agentova chování než pouhé procento úspěšných odpovědí. 

Odborníci zdůrazňují, že pokud chce výzkumná a průmyslová komunita skutečně nasadit autonomní AI systémy v kritických oblastech, musí přijmout holistický přístup k hodnocení. Spolehlivost nemůže být redukována na jedinou metriku nebo benchmark – je to komplexní soubor vlastností, který vyžaduje pozornost v každé fázi vývoje a před nasazením. 

Závěr je jasný: vývoj autonomních AI agentů je fascinující a plný potenciálu, ale jak ukazuje nový výzkum, zatím tu máme výraznou mezeru mezi schopnostmi systémů a jejich spolehlivostí v reálném světě. Nasazení systémů bez hlubšího pochopení jejich chování může přinést nečekané výsledky a rizika, která jde měřit více dimenzemi než je pouhá funkční přesnost. 

Tento nový impuls vede k revoluci v tom, jak hodnotíme umělou inteligenci – od schopností k chování. Pokud AI má být důvěryhodná a bezpečná součást moderních systémů, neměla by být hodnocena jen podle toho, co umí udělat, ale jak to dělá.