Američki ministar financija Scott Bessent rekao je nakon razgovora s kineskim potpredsjednikom vlade He Lifengom u New Yorku da dvije zemlje žele uspostaviti formalniji dijalog o sigurnosti AI-a, uključujući svojevrsnu liniju za obavještavanje o ozbiljnim incidentima. Novi sastanak američkih i kineskih dužnosnika trebao bi se održati u Shenzhenu u iduća dva mjeseca. 'Kao i kod svake prekogranične aktivnosti, važno je prijeći s netransparentnosti na veću otvorenost', poručio je Bessent.

Ideja na prvi pogled zvuči jednostavno, a to je da ako se dogodi incident koji bi mogao ugroziti drugu državu ili prerasti u širi sigurnosni problem, dvije najveće AI sile trebale bi imati način da brzo komuniciraju. Puno je teže odgovoriti na pitanje što se uopće smatra dovoljno ozbiljnim incidentom i koliko će dvije zemlje biti spremne dijeliti osjetljive informacije ako se u isto vrijeme bore za tehnološku prednost.

Trump želi pobijediti, Xi govori o suradnji

Tema umjetne inteligencije bit će visoko na dnevnom redu sastanka Xi Jinpinga i Donalda Trumpa prilikom državnog posjeta kineskog predsjednika SAD-u od 23. do 25. rujna. Dvojica lidera večerat će u Bijeloj kući s najprestižnijim imena američke tehnološke industrije, među kojima su Elon Musk, Sam Altman, Jensen Huang i Sundar Pichai, a govori se i o tome da kineski čelnik sa sobom vodi jaka tech imena. Washington i Peking gledaju na napredak u umjetnoj inteligenciji kao ključan za svoju gospodarsku i vojnu konkurentnost, no i dalje se razilaze oko pitanja o pristupu naprednim čipovima, optužbi za kopiranje tehnologije i regulacije AI industrije.

Trump je odbacio pozive dijela istraživača i vodećih ljudi AI industrije na usporavanje razvoja najnaprednijih sustava. 'Vodimo Kinu u AI-u i, iskreno, želim da tako ostane jer tko pobijedi u AI-u, pobjeđuje', rekao je ranije. Reuters također navodi da Trump sigurnosna upozorenja smatra pretjeranima te razvoj AI-a promatra kroz prizmu strateškog nadmetanja s Kinom. Nedavno je najavio da osniva 'Snage umjetne inteligencije' koje će nadgledati njezinu regulaciju te da će u bliskoj budućnosti imenovati koordinatora, 'cara za umjetnu inteligenciju'.

Xi je pak prošlog tjedna na samitu BRICS-a pozvao na 'open source, otvorenost, suradnju i dijeljenje' te najavio jačanje partnerstava na razvoju otvorenih AI sustava. Kina ne zagovara razvoj bez nadzora: kineski predsjednik ranije je pozvao na sustave ranog upozoravanja i odgovora na incidente, poručivši da AI mora ostati siguran i pod ljudskom kontrolom, kao i da ne bi bilo dobro da se Kinu izdvoji iz globalne regulacije umjetne inteligencije.

Podsjetimo, nakon što je nedavno bivši istraživač iz Anthropica izjavio da bi AI do kraja desetljeća mogao dovesti do uništenja čovječanstva – a istovremeno AI sustavi međusobno komuniciraju i hakiraju tvrtke – ovih dana mnogi iz SAD-a nariču da je potrebno usporiti s njihovim razvojem te se potpisuju i svakojake peticije.

Što bi SAD i Kina uopće prijavljivali?

Definiranje incidenta jedan je od prvih problema koji bi novi mehanizam morao riješiti. Istaknuti stručnjak i profesor na Fakultetu elektrotehnike i računarstva (FER) Stjepan Picek u razgovoru za tportal upozorava da se u javnoj raspravi često pod isti naziv stavljaju tri bitno različite vrste problema.

Prvi je napad na sam AI sustav – primjerice jailbreak, prompt injection, poisoning, backdoor ili krađa modela. Drugi je korištenje AI-a kao alata za pronalaženje ranjivosti, razvoj zlonamjernog koda, phishing i druge kibernetičke napade. Treći je tehnički te možda i najzanimljiviji: nema nužno napadača, već AI sustav sam poduzima nešto što njegov operator nije namjeravao.

'Te tri stvari nisu iste i zahtijevaju različita rješenja. Kod prve moramo zaštititi AI od napadača. Kod druge moramo spriječiti zloupotrebu AI-a. Kod treće moramo riješiti pitanje alignmenta, nadzora i kontrole samog sustava', kaže Picek. Za američko-kineski mehanizam ta je razlika ključna. Nije isto prijavljuje li država kibernetički napad izveden uz pomoć AI-a, kompromitirani model ili autonomni sustav koji je počeo poduzimati neočekivane radnje.

'Problem nije hype, ali dio priče oko problema svakako jest'

Picek upozorava na drugu krajnost – iz činjenice da takvi problemi postoje ne proizlazi to da su najcrnji scenariji već dokazani. 'Jailbreakovi su stvarni. Backdoori su stvarni. AI-assisted kibernetički napadi su stvarni. Problemi autonomnih agenata su stvarni. Iz toga, međutim, ne slijedi da je dokazan scenarij nestanka čovječanstva za nekoliko godina. Možemo tako reći da problem nije hype, ali dio priče oko problema svakako jest', kaže naš sugovornik.

Po njemu, jedan od ključnih tehničkih problema je neusklađenost, odnosno misalignment – situacija u kojoj ponašanje sposobnog sustava nije usklađeno s onime što njegov developer, korisnik ili društvo želi. 'AI ne mora biti svjestan da bi bio opasan', kaže Picek.

Stoga smatra da je korisnije pitati što sustav optimizira, koliko je autonoman, kojim resursima može pristupiti i koliko dugo može djelovati bez čovjeka nego raspravljati o tome hoće li AI jednog dana 'postati zao'.

Velika promjena: Od modela prema agentu

Jedan od razloga zbog kojih je rasprava o rizicima posljednjih mjeseci dobila ozbiljniju notu jest to što se promijenila i sama tehnologija.

'Za mene je jedan od najvažnijih prijelaza upravo onaj od modela prema agentu', kaže Picek, ističući: 'Model dobije pitanje, generira odgovor i tu uglavnom završava interakcija. Agent dobije cilj, napravi plan, koristi druge alate, vidi rezultat, prilagodi plan i nastavi djelovati.'

Sigurnosna razlika je velika: pogrešan odgovor više ne mora ostati tekst na zaslonu te može postati konkretna radnja u stvarnom sustavu. Današnji modeli već mogu koristiti alate, izvršavati kod i planirati nizove akcija, no Picek naglašava da još nema uvjerljivih dokaza za to da posjeduju cijelu kombinaciju sposobnosti potrebnu za stvarni scenarij gubitka ljudske kontrole.

Razvoj sustava koji sudjeluju u razvoju sljedećih generacija AI-a se prati i današnja umjetna inteligencija još nije sposobna potpuno samostalno razviti svojeg sposobnijeg nasljednika, no sve više pomaže ljudima u tom procesu. Ako bi velik dio razvoja jednom mogao voditi sam AI, problem bi postala i brzina: hoćemo li imati dovoljno vremena razumjeti i provjeriti sigurnost novog sustava prije nego što on pomogne stvoriti neki još sposobniji?

SAD i Kina ubrzavaju, Europa više regulira

U pozadini sigurnosne rasprave je i ekonomska i geopolitička utrka.

Picek ocjenjuje da su SAD i Kina usmjereni inovacijama i strateškom razvoju AI-a, a Europa puno više naglašava regulaciju. EU AI Act za najnaprednije modele sa sistemskim rizikom predviđa procjene i ublažavanje rizika, evaluacije, adversarialno testiranje, prijavljivanje ozbiljnih incidenata i zaštitu kibernetičke sigurnosti. Europska komisija od kolovoza ove godine može provoditi te obveze.

Ali regulacija, naglašava Picek, nije isto što i sigurnost jer 'propis može zahtijevati sigurnosnu evaluaciju, ali neće sam po sebi napraviti model sigurnim'.

Problem je i to što AI nema državne granice. Model razvijen u SAD-u ili Kini može se koristiti u Europi, sustav otvorenog koda može se preuzeti gotovo bilo gdje, a ni kibernetički napadači ne moraju djelovati unutar jedne jurisdikcije. Zato će, smatra Picek, dugoročno biti potrebna kombinacija tehničke sigurnosti, regulatornog okvira i međunarodne koordinacije.

Mogu li surađivati dok se bore za prevlast?

Što sustavi postaju sposobniji i autonomniji, veća je potreba da države razmjenjuju informacije o ozbiljnim incidentima. No tada informacije o modelima, čipovima i njihovim sposobnostima postaju sve važnija strateška imovina.

Washington želi sačuvati tehnološku prednost i ograničiti kineski pristup najnaprednijoj tehnologiji. Peking pak predstavlja američke kontrole kao pokušaj kočenja njegova uspona i zagovara otvoreniji međunarodni pristup. Reuters navodi da je zbog dubokog nepovjerenja između dviju zemalja teško očekivati brz dogovor o osjetljivijim pitanjima AI sigurnosti.

Picek zato ključnim ne smatra pitanje hoće li AI 'sigurno ubiti čovječanstvo' do neke određene godine. 'Možemo li razvijati sigurnost, alignment i mogućnost ljudske kontrole barem jednako brzo kao što razvijamo sposobnosti, autonomiju i eventualno mogućnost samounapređivanja AI sustava? Nažalost, danas još nemamo dovoljno razloga biti sigurni da je odgovor potvrdan. Upravo zato ovo područje treba ozbiljno istraživati bez apokaliptičnog hypea, ali i bez podcjenjivanja stvarnog problema.'