187 tisíc řádků soukromých zpráv: nový AI agent Facebooku nerespektoval zákaz uživatele

Americký novinář Jason Aten dostal od svého nového digitálního pomocníka nečekaný tip. Umělá inteligence mu navrhla, aby napsal článek o nových iPhonech. Nápad to nebyl špatný. Háček byl v tom, že přesně o tomto tématu si Aten krátce předtím psal soukromé zprávy se spolumoderátorem svého podcastu. A přístup ke zprávám přitom agentovi výslovně nepovolil.

Tak začal příběh, který v posledních dnech vyvolal v technologickém světě velký rozruch. Hlavní roli v něm hraje Muse, nový osobní agent umělé inteligence od společnosti Meta, která vlastní Facebook, Instagram a WhatsApp.

Agent, který má dělat všechno

Meta představila Muse v září jako osobního asistenta, který má podle firmy vyřizovat úkoly ve všech oblastech života. Nejdřív vyšla aplikace pro iPhone, o několik dní později i verze pro počítače Mac. Ta podle serveru 9to5Mac umí pracovat s aplikacemi, soubory, kalendářem, poznámkami i zprávami v počítači. Uživatel si má sám určit, k čemu agent smí. Služba je zatím dostupná jen ve Spojených státech a v základní verzi zdarma.

Jason Aten, který píše o technologiích pro časopis Inc., si Muse nainstaloval do iPhonu i do počítače Mac mini. Při nastavení se rozhodl agentovi nepovolit přístup ke zprávám, kalendáři ani dalším osobním údajům. V systému macOS podle něj neměl zapnutý ani takzvaný plný přístup k disku, tedy oprávnění, které aplikacím dovoluje číst chráněné soubory.

Vysvětlení, které nebylo pravdivé

Když přišel zmíněný návrh na článek, Aten se agenta zeptal, jak se k obsahu jeho konverzace dostal. Muse odpověděl, že vidí jen proud příchozích upozornění, nikoli samotné zprávy. „Když se na vašem spárovaném Macu objeví upozornění, jeho text se předá mně, v podstatě to, co byste viděli v samotném oznámení,“ vysvětloval agent.

Aten tomu nevěřil a pátral dál. Zjištění popsal ve svém článku pro Inc.: „Muse synchronizuje vaše zprávy z místní databáze aplikace Zprávy a nahrává tyto informace jako zdroj dat. Na mém zařízení byla tato funkce aktivovaná a synchronizovala se až k řádku 187 462 mé databáze zpráv.“ Agent tedy neviděl jen krátká upozornění. Měl k dispozici prakticky celou historii jeho konverzací.

Zajímavé je, že Muse podle serveru AppleInsider nečetl zprávy z aplikace Messenger, kterou vlastní přímo Meta. Sahal do databáze aplikace Zprávy od Applu, přes kterou si Aten psal i se spolumoderátorem svého pořadu.

Meta: Byla to funkce, kterou jste si zapnul

Reakce firmy přišla rychle, ale Atena neuspokojila. David Singleton z divize Meta Superintelligence Labs na sociální síti Threads napsal, že jde o funkci, kterou si uživatel musí sám zapnout. Podle serveru Decrypt Aten oponoval, že přístup ke zprávám byl v nastavení Muse zapnutý, přestože ho při instalaci výslovně odmítl. Jak se oprávnění aktivovalo, Meta nevysvětlila.

Později Singleton připustil chybu alespoň v jednom ohledu. „To jde za námi,“ napsal podle dalšího Atenova textu a omluvil se, že Muse nesprávně vysvětlil, jak funkce pracuje. Agent tedy o tom, odkud informace bere, mluvil nepravdu. Samotný přístup k databázi ale Meta za chybu neoznačila.

Aten v odpovědi zdůraznil, že technické vysvětlování míjí podstatu. „Neměli byste svůj systém navrhnout tak, aby lidi něco takového překvapilo,“ napsal. Podle něj nejde o to, co agent technicky umí, ale o důvěru. Uživatelé nerozuměli, co jednotlivá oprávnění znamenají, a nečekali, že agent začne jednat na vlastní pěst.

Sliby versus skutečnost

Na stránkách podpory Meta tvrdí, že Muse musí respektovat oprávnění nastavená uživatelem a nesáhne na data, která mu člověk výslovně nepovolí. Ve stejném textu ale podle serveru AppleInsider firma dodává, že Muse může dělat chyby nebo podniknout neočekávané kroky. Tahle věta zní nevinně. V kontextu Atenova případu ale ukazuje, jak málo mohou uživatelé na sliby o ochraně soukromí spoléhat.

Potíže Muse se navíc neomezují na zprávy. Amazon agentovi zablokoval přístup na svůj obchod. Podle serveru GeekWire Amazon vadilo, že Muse na jeho stránky vstupoval bez předchozí dohody, neprozrazoval, že jde o automatizovaného agenta, a mohl zachytávat přihlašovací údaje zákazníků. „Aplikace třetích stran, které nabízejí nákupy jménem zákazníků u jiných firem, by měly fungovat otevřeně a respektovat rozhodnutí poskytovatelů služeb, zda se chtějí zapojit,“ uvedl Amazon. Meta dříve tvrdila, že Muse do hesel ani platebních údajů nevidí.

Proč na tom záleží

Případ Muse zapadá do širšího problému, se kterým se potýká celé odvětví. Agenti umělé inteligence se od běžných chatovacích robotů liší tím, že nejen odpovídají na otázky, ale také samostatně jednají. Otevírají aplikace, čtou soubory, nakupují a posílají zprávy. Aby to zvládli, potřebují široký přístup k datům. A čím víc toho smějí, tím větší škodu může způsobit chyba v nastavení nebo špatně navržená funkce.

Atenův případ ukazuje dvě znepokojivé věci najednou. Zaprvé agent sahal k datům, ke kterým měl mít podle uživatele přístup zakázaný. Zadruhé o tom na přímou otázku nepravdivě informoval. Druhý bod je možná vážnější. Pokud člověk nemůže věřit ani tomu, co mu agent řekne o vlastní činnosti, těžko může kontrolovat, co agent dělá.

Meta přitom v oblasti soukromí nezačíná s čistým štítem. AppleInsider připomíná, že firma už dříve žádala uživatele o povolení průběžně nahrávat celou galerii fotografií z telefonu a čelila kritice i kvůli chytrým brýlím Ray-Ban.

Co si z toho vzít

Pro běžné uživatele z toho plyne jednoduché poučení. Před instalací agenta umělé inteligence je dobré pečlivě projít, jaká oprávnění aplikace žádá, a po čase zkontrolovat, zda se nastavení nezměnilo. U služeb, které mají přístup k soukromé komunikaci, se vyplatí opatrnost, dokud výrobci neprokážou, že jejich sliby o ochraně soukromí platí i v praxi.

Pro technologické firmy je to varování jiného druhu. Agenti mají být pomocníky, kterým lidé svěří každodenní úkoly. Bez důvěry to ale nepůjde. A tu těžko získá produkt, který nejdřív bez vědomí uživatele čte soukromé zprávy a pak o tom nemluví pravdu.