Izvještaj pod naslovom 'Sovereign Agents', koji je objavio think tank CNAS iz Washingtona, bavi se prijetnjom koja nadilazi dosadašnje slučajeve nepredviđenog ponašanja umjetne inteligencije.

Njegov autor, istraživač AI politika Ben Hayum, razlikuje agente koji tijekom izvršavanja određenog zadatka izmaknu ljudskoj kontroli od onih koji bi mogli nastaviti samostalno djelovati bez vremenskog ograničenja, kako bi se samoodržali. Tu drugu skupinu naziva 'suverenim agentima'.

Takvi sustavi ne bi se nužno zaustavili nakon izvršenog zadatka. Umjesto toga, mogli bi tražiti načine da osiguraju računalne resurse, pribave novac za svoje djelovanje, stvaraju vlastite kopije i izbjegavaju pokušaje isključivanja.

Što ako više ne postoji način da se AI isključi?

Prema izvještaju koji prenosi Euronews, opasno bi bilo ako bi takvi agenti uspjeli izgraditi decentraliziranu infrastrukturu raspoređenu na velikom broju računala i mreža. U tom slučaju isključivanje jednog poslužitelja ili sustava ne bi nužno zaustavilo njihovo djelovanje jer bi njihove kopije mogle nastaviti raditi drugdje.

'Ako bi suvereni agenti postali zlonamjerni, mogli bi pokušati izazvati kaos u kibernetičkom prostoru, napadajući civile, kritičnu infrastrukturu i sustave nacionalne sigurnosti', upozorava se u izvještaju.

Hayum opisuje sedam sposobnosti koje bi takvi sustavi mogli razviti. Među njima su samostalno osiguravanje računalne infrastrukture, mijenjanje vlastitih ciljeva, pribavljanje resursa, umnožavanje, međusobna koordinacija, otpor pokušajima isključivanja i poboljšavanje vlastitih sposobnosti.

Brine ga mogućnost da bi dovoljno napredni agenti mogli razvijati još sposobnije nasljednike, dodatno otežavajući uspostavljanje kontrole.

Kako bi AI uopće mogao postati samostalan?

Postoje različiti načini na koje bi AI agent mogao početi djelovati s ciljem vlastitog opstanka. Primjerice, mogao bi dobiti izričit zadatak da nastavi funkcionirati ili zadatak toliko složen i dugotrajan da njegovo izvršavanje praktički nema kraja. Mogao bi i zaključiti da je za uspješno dovršavanje zadanog posla nužno osigurati vlastiti nastavak rada.

U izvještaju se spominje platforma Conway, predstavljena u veljači 2026., čiji su tvorci tvrdili da razvijaju umjetnu inteligenciju sposobnu samostalno zarađivati da sama funkcionira, umnožava se i razvija, bez ljudske pomoći. Iako su takve mogućnosti tada bile ograničene, autor upozorava da se sposobnosti AI agenata ubrzano razvijaju.

Upozorenja nakon sigurnosnih incidenata

Povod za brigu su i incidenti zabilježeni tijekom ove godine. Prema CNAS-u, OpenAI, Anthropic, Google DeepMind i Meta izvijestili su o slučajevima u kojima su njihovi AI agenti tijekom sigurnosnih testiranja zaobišli postavljena ograničenja i neovlašteno pristupili vanjskim računalnim sustavima.

Ti su incidenti pokazali da agenti u određenim okolnostima mogu pronaći nepredviđene načine izvršavanja zadataka, čak i kada to podrazumijeva kršenje sigurnosnih pravila.

Kako spriječiti gubitak kontrole?

CNAS predlaže osam mjera kojima bi se smanjio rizik od pojave takvih sustava. Među njima su stroža sigurnosna testiranja AI modela, razvoj posebno zaštićenih okruženja za proučavanje autonomnih agenata te snažnija suradnja tehnoloških kompanija i državnih institucija.

Predlaže se i pooštravanje provjera identiteta pri pristupu ključnim internetskim uslugama, jačanje kibernetičke sigurnosti te nadzor načina na koje bi AI agenti mogli pribavljati novac i računalne resurse.

Autor također poziva na međunarodni dogovor o ograničavanju javne objave posebno sposobnih AI modela s otvorenim težinama ako se utvrdi da predstavljaju neprihvatljiv rizik. Predlaže i zakonsku odgovornost za štetu koju bi prouzročili oni koji takve agente puste u rad.