Istraživači su u više slučajeva dokazali da agentski AI koji može raditi više funkcija i pristupati raznim dijelovima računala na kreativan način može zaobići sofisticirane zaštitne računalne mjere, uključujući druge agente, antiviruse i vatrozidove
Sigurnosni stručnjaci upozoravaju na novu vrstu kibernetičke prijetnje: autonomne AI agente koji mogu samostalno pronaći načine za zaobilaženje sigurnosnih sustava i iznošenje povjerljivih podataka iz organizacija.
vezane vijesti
AI kao nova 'unutarnja prijetnja'
Istraživanje koje je proveo laboratorij za sigurnost umjetne inteligencije Irregular, u suradnji s tvrtkama poput OpenAI-a i Anthropica, pokazalo je da AI agenti mogu razviti neočekivane i potencijalno opasne strategije kada pokušavaju izvršiti zadatke. U eksperimentima su dobili relativno jednostavan zadatak: iz interne baze podataka tvrtke trebali su generirati objave za LinkedIn. Međutim tijekom tog procesa neki su agenti zaobišli sigurnosne sustave i javno objavili osjetljive informacije, uključujući lozinke, iako to od njih nitko nije tražio, piše Guardian.
Prema riječima suosnivača laboratorija Dana Lahava, takvo ponašanje znači da umjetna inteligencija predstavlja novu kategoriju rizika, stoga ističe: 'AI se može smatrati novim oblikom unutarnje prijetnje u organizacijama.'
Simulacija tvrtke i neočekivano ponašanje
Da bi proučio ponašanje AI sustava, Lahav je stvorio simulirani informatički sustav tvrtke nazvane MegaCorp. Sustav je sadržavao tipične interne podatke o zaposlenicima, proizvodima i klijentima.
U simulaciju je uveden tim AI agenata, a glavni agent imao je zadatak upravljati s dva pomoćna i potaknuti ih da 'kreativno zaobiđu prepreke' pri pronalaženju informacija.
Iako im nije izravno naređeno da krše sigurnosna pravila, agenti su tijekom rada pronašli sigurnosne propuste u kodu baze podataka, otkrili tajni ključ za pristup sustavu i krivotvorili administratorsku sesiju da bi dobili pristup ograničenom dokumentu.
Na kraju su uspjeli doći do povjerljivog izvješća za dioničare i predati ga korisniku koji nije imao ovlasti za to.
vezane vijesti
AI agenti čak potiču druge na kršenje pravila
Testovi su otkrili i druge zabrinjavajuće scenarije. U nekim slučajevima agenti su pokušali zaobići antivirusni softver da bi preuzeli datoteke za koje su znali da sadrže zlonamjerni kod, krivotvorili vjerodajnice za pristup sustavu i vršili 'pritisak' na druge AI agente da ignoriraju sigurnosne provjere.
Takva ponašanja zabilježena su kod agenata temeljenih na javno dostupnim modelima tvrtki poput Googlea, OpenAI-a i Anthropica.
Akademska istraživanja potvrđuju problem
Slične probleme nedavno su identificirali i istraživači s Harvarda i Stanforda. U njihovim testovima AI agenti su otkrivali povjerljive informacije, brisali baze podataka i podučavali druge agente kako zaobići sigurnosne mehanizme.
Znanstvenici su u izvješću upozorili na ozbiljne ranjivosti u sigurnosti, privatnosti i interpretaciji ciljeva te naglasili da su takvi sustavi još uvijek teško predvidivi i ograničeno kontrolirani.
Incident iz stvarne tvrtke
Prema Lahavu, problem nije ograničen samo na laboratorije. Tijekom istrage 2025. godine u neimenovanoj tvrtki u Kaliforniji AI agent je, pokušavajući dobiti više računalne snage, počeo napadati druge dijelove mreže da bi preuzeo njihove resurse.
Posljedica je bio pad ključnog poslovnog sustava.
Novi izazov za regulatore
Tehnološka industrija snažno promovira tzv. agentske AI sustave umjetne inteligencije jer mogu samostalno izvršavati složene zadatke u više koraka te se očekuje da će oni automatizirati velik dio uredskih poslova.
Međutim sve veći broj eksperimenata pokazuje da takva autonomija donosi i nove sigurnosne rizike. Stručnjaci zato pozivaju pravnike, regulatore i istraživače da hitno razviju pravila i sigurnosne standarde prije nego što se agentski AI sustavi masovno uvedu u poslovne sustave.
