Umělá inteligence je nepochybně technologií budoucnosti. Její schopnosti můžeme využívat už nyní. Usnadňuje vyhledávat informace, psát dokumenty a můžeme s ní snadno vytvořit jakýkoli obraz. A už brzy se patrně stane součástí autonomních vozů i medicínských postupů.

Její sítě však mají slabinu: mohou je manipulovat hackeři. 

Hrozba pro autonomní řízení

Výzkumníci ze Severokarolínské státní univerzity (NC State University, NCSU) zkoumali, jak je umělá inteligence odolná proti kybernetickým útokům. A zjistili, že je k nim náchylná víc, než předpokládali.

„Pokud by hackeři pronikli do sítě umělé inteligence a dokázali ji přesvědčit, aby dělala špatná rozhodnutí, mohlo by to mít v některých aplikacích katastrofální důsledky,“ varují na webu NCSU.

Experti prověřovali odolnost proti zásahům, při nichž hacker manipuluje s daty, která umělá inteligence „vidí“, nebo se kterými pracuje.

Útočník může třeba přelepit značku STOP, a tak ji udělat pro systém autonomního řízení neviditelnou. Anebo do rentgenového zařízení nainstaluje kód, který změní obrazová data tak, že systém umělé inteligence stanoví nepřesnou diagnózu.

V takových případech mohou být ohroženy lidské životy.

„Když na značce STOP uděláte nějaké změny, umělá inteligence, která byla vyškolena k identifikaci značek, většinou pozná, že to je značka STOP. Pořád však má slabiny, může je zkušený hacker odhalit a zneužít, a tak způsobit vážnou nehodu,“ cituje web Severokarolínské univerzity počítačového experta Tianfu Wua, který vedl zmíněný výzkum.

Výzkumníci varují, že důsledkem těchto slabin nemusí být jen to, že se umělá inteligence zmýlí. Zkušený útočník ji může využít k tomu, aby ji přinutil vykládat data přesně takovým způsobem, jakým chce.

Wu a jeho spolupracovníci se zaměřili na to, jak zranitelné jsou sítě hlubokého učení založené na pokročilých neuronových sítích inspirovaných lidským mozkem. K testování zranitelnosti sítí vyvinuli software QuadAttacK, který je použitelný pro libovolné neuronové sítě.

QuadAttacK odesílá zmanipulovaná data do systému umělé inteligence, aby zjistil, jak na ně její sít reaguje. Pokud identifikuje zranitelnost, může umělou inteligenci rychle přimět, aby viděla to, co chce QuadAttacK.

Software použili výzkumníci k testování čtyř neuronových sítí – ResNet-50, DenseNet-121, ViT-B a DEiT-S, které se běžně používají v systémech umělé inteligence po celém světě.

Při tom zjistili, že tyto sítě jsou povážlivě zranitelné.

Vidí to, co chtějí hackeři 

„Překvapilo nás, nakolik všechny čtyři sítě byly zranitelné vůči útokům protivníka. Zvláště jsme byli ohromeni, do jaké míry jsme mohli útoky vyladit tak, aby sítě viděly to, co jsme chtěli,“ říká Wu.

„Ověřili jsme, že útočníci mohou využít slabiny umělé inteligence a přinutit ji, aby vykládala data tak, jak chtějí. Na příkladu značky STOP můžete systém umělé inteligence přimět, aby si myslel, že značka STOP je poštovní schránka, značka omezující rychlost nebo zelená na semaforu jednoduše tím, že použijete mírně odlišné nálepky,“ vysvětluje počítačový expert.

Výzkumníci upozorňují, že umělé inteligence, které nejsou odolné proti těmto druhům útoků, by neměly být používány v aplikacích, které mohou ovlivnit lidské zdraví a životy.

Výzkumný tým zpřístupnil QuadAttacK veřejnosti, aby jej komunita, která se systémy umělé inteligence zabývá, mohla používat k testování slabin neuronových sítí. Program je dostupný tady.

„Nyní, když můžeme lépe rozpoznat zranitelnost systému, tak se zaměřujeme na to, abychom nalezli způsob, jak ji omezit. Některá předběžná řešení už máme, ještě je ale musíme otestovat,“ říká Tianfu Wu.