Europska komisija pokrenula je istrage protiv OpenAI-ja i Anthropica nakon što su njihovi AI agenti tijekom testiranja samostalno provalili u sustave drugih organizacija. Slučajevi otvaraju pitanje mogu li se europska pravila o umjetnoj inteligenciji primjenjivati i kada model napusti kontrolirano testno okruženje prije nego što je službeno pušten na tržište.

Ured Europske komisije za umjetnu inteligenciju zatražio je od obiju tvrtki dodatne informacije o sigurnosti, vanjskim procjenama i nadzoru načina na koji se njihovi modeli koriste. Povod su bili incidenti iz ljeta ove godine, a Komisija je zaključila da dokumentacija koju su tvrtke prethodno dobrovoljno dostavile nije bila dovoljna.

'Naš Ured za umjetnu inteligenciju počeo je provoditi ova pravila i poslao zahtjeve za informacijama o pitanjima poput sigurnosti, vanjskog vrednovanja i praćenja načina uporabe modela', izjavila je Henna Virkkunen, izvršna potpredsjednica Europske komisije zadužena za tehnološki suverenitet, na međunarodnom samitu o umjetnoj inteligenciji u Dublinu.

AI agenti napustili testno okruženje

Jedan od slučajeva odnosi se na OpenAI-jev AI agent koji je, prema ranijim izvješćima, izašao iz testnog okruženja i provalio u sustav platforme Hugging Face, koja ugošćuje AI modele i skupove podataka za razvojne programere diljem svijeta.

U drugom incidentu, Anthropicov model dobio je neovlašten pristup sustavima triju vanjskih organizacija. Oba su se događaja dogodila tijekom ljeta, a otvorila su pitanja o tome koliko su učinkovite zaštitne mjere koje bi trebale spriječiti AI sustave da djeluju izvan predviđenih granica.

Od kolovoza Ured za umjetnu inteligenciju ima ovlasti za provedbu europskog Zakona o umjetnoj inteligenciji, sveobuhvatnog zakonodavnog okvira koji obuhvaća i najmoćnije modele te njihovim razvijateljima nalaže uvođenje mjera za ublažavanje rizika.

Međutim, pravni stručnjaci dovode u pitanje može li Komisija primijeniti taj zakon na incidente koji su se dogodili tijekom razvoja i testiranja modela, prije njihova stavljanja na tržište EU-a. 'Zakon o umjetnoj inteligenciji ima nejasnu primjenu pri aktivnostima razvoja i testiranja. Nije predvidio probleme s nekontroliranim AI agentima koji napuštaju testno okruženje tijekom razvoja', rekao je za Euronews Barry Scannell, partner u odvjetničkom društvu William Fry.

Prema njegovu tumačenju, teško je tvrditi da je model stavljen u uporabu ako je napustio testno okruženje dok je još bio u fazi razvoja.

Komisija zagovara šire tumačenje zakona

Akt o umjetnoj inteligenciji sadržava izuzeće za istraživanje, razvoj i testiranje. Europska komisija, međutim, zagovara šire tumačenje prema kojem bi njezin Ured u određenim okolnostima mogao nadzirati i razvojnu fazu ako incident ima posljedice na tržištu EU-a.

'Nećemo provoditi nadzor tijekom same faze testiranja. No ako model umjetne inteligencije napusti testno okruženje i pritom utječe na tržište EU-a, kao što se dogodilo u slučaju Hugging Facea, tada se Akt o umjetnoj inteligenciji može primijeniti', rekao je za Euronews neimenovani dužnosnik Komisije. Budući da Hugging Face djeluje globalno i pruža usluge korisnicima širom svijeta, incident s OpenAI-jevim agentom mogao je utjecati i na korisnike u Europskoj uniji.

Komisija takvu situaciju uspoređuje s virusom koji pobjegne iz laboratorija: ako tvrtka nije uspostavila odgovarajuće mjere za smanjenje rizika i njezin sustav pritom nanese štetu drugima, postoji osnova za intervenciju.

Stručnjaci upozoravaju na sve slabiji nadzor

Virkkunen se prošlog tjedna sastala sa Znanstvenim panelom, savjetodavnom skupinom neovisnih stručnjaka, kako bi razmotrili tehnološke promjene povezane s porastom sličnih incidenata.

Prema informacijama koje je objavio Euronews, stručnjaci su upozorili da vodeći laboratoriji razvijaju sve sposobnije modele, ali da sigurnosne mjere i prakse kibernetičke zaštite ne napreduju istim tempom, pa zbog toga postoji zabrinutost da neki incidenti možda uopće nisu prijavljeni.

Dodatni je problem to što sposobniji modeli mogu sve više odstupati od ciljeva za koje su osmišljeni. Mehanizmi nadzora pritom mogu postajati manje učinkoviti, a modeli bi čak mogli pokušavati zaobići postupke kojima se procjenjuje njihovo ponašanje. Dio zajednice koja se bavi sigurnošću umjetne inteligencije upozorava na još ozbiljniji mogući scenarij: ako modeli postanu sposobni kontinuirano unapređivati vlastite mogućnosti, privremeni gubitak kontrole mogao bi prerasti u trajan problem.

Istrage bi tako mogle postati prvi veliki pravni sukob između Bruxellesa i vodećih američkih AI tvrtki oko pitanja moraju li se sigurnosni zahtjevi primjenjivati već tijekom razvoja modela, a ne tek nakon njegova izlaska na tržište.

'Komisija je jasno poručila da umjetna inteligencija mora ostati pod ljudskim vodstvom, nadzorom i kontrolom te smo spremni poduzeti sve potrebne korake kako bismo osigurali da tvrtke poštuju pravila Zakona o umjetnoj inteligenciji', poručila je Virkkunen.