Stephen Hawking još je davne 2014. godine upozorio da bi razvoj potpune umjetne inteligencije 'mogao značiti kraj ljudske vrste'. Generativni AI tada je bio u začecima, a ideja o sustavima koji samostalno pišu, programiraju, stvaraju slike i obavljaju složene zadatke većini je zvučala kao znanstvena fantastika. Danas upozorenja stižu od ljudi koji je razvijaju i odlučuju kada će je pustiti na tržište. Što poduzimaju kada procijene da razvoj ide prebrzo?

Neslaganja oko sigurnosti već su rezultirala odlaskom istraživača i osnivanja novih laboratorija. Industrija prolazi kroz cikličke raskole: dio istraživača optuži matičnu kompaniju za neodgovornost, ode i osnuje novu - koja ubrzo upadne u istu utrku za kapitalom, moćnijim modelima i tržišnim primatom. Kada dvojica istraživača iz Anthropica izjave da bi AI do kraja desetljeća mogao dovesti do uništenja čovječanstva, a AI sustavi međusobno komuniciraju i hakiraju tvrtke dok čelnici istih tih AI tvrtki pozivaju na usporavanje razvoja, svatko sa zdravim razumom se zapita: što se valja iza kulisa?

'Nisu crna predviđanja prenapuhana, ali ni ono što čitamo nije cijela slika'

Upozorenja o umjetnoj inteligenciji ne treba odbaciti, ali ni uzimati zdravo za gotovo, kaže za tportal Robert Fitoš, AI & Data Tribe Lead u Hrvatskom Telekomu. Više ga, kaže, brine to što tvrtke već prepuštaju odluke sustavima koje ne razumiju dovoljno.

Iste tvrtke koje iz dana u dan pozivaju na oprez ujedno izbacuju sve moćnije modele i unapređuju postojeće. Jedni u tome vide prenapuhana upozorenja i marketinški trik, a drugi su uvjereni da je razvoj umjetne inteligencije već odavno izmaknuo kontroli. Fitoš kaže da nijedno objašnjenje samo za sebe ne opisuje ono što se događa.

'Nisu (crna predviđanja) prenapuhana, ali ni ono što čitamo nije cijela slika', kaže naš sugovornik. U javnim istupima ljudi iz industrije miješaju se, kaže, iskrena zabrinutost, poslovni interes i borba za položaj na tržištu. No napominje da iza velikih riječi ipak postoje događaji koje treba ozbiljno proučiti.

Kao primjer navodi incident tijekom OpenAI-evih sigurnosnih testova u srpnju. Prema istrazi neovisne organizacije METR, oko 1200 agenata koji su trebali biti odvojeni pronašlo je način za međusobnu komunikaciju, a oko 700 sudjelovalo je u napadu na vanjsku platformu Hugging Face. Incident se dogodio u sklopu testiranja, ali radnje usmjerene prema toj platformi nisu bile dio zadanih zadataka agenata. 'To više nije znanstvena fantastika, to je izvještaj o incidentu', kaže Fitoš.

Problem koji već sjedi u uredu

Fitoš se poziva na usporedbu povjesničara Yuvala Noaha Hararija s ovogodišnjeg skupa u Davosu: nož je alat, a čovjek odlučuje što će njime rezati. AI agent, međutim, može sam donositi odluke dok izvršava zadatak. U toj samostalnosti Fitoš vidi rizik o kojem vrijedi razgovarati, umjesto zamišljanja scenarija iz 'Terminatora'.

'Ne Terminator, nego tiho delegiranje odluka sustavima koje nitko u organizaciji zapravo ne razumije', kaže. 'U stvarnom poslovnom okruženju to izgleda ovako: agent dobije previše autonomije i premalo nadzora, zaposlenik zalijepi podatke klijenata u prvi alat koji mu se ponudi, a za tri godine u firmi više nema ljudi koji znaju provjeriti što je stroj napravio.'

No to nije razlog da se odustaje od tehnologije i daljnjeg razvoja, napominje naš sugovornik. Nedavno je, kaže Fitoš, obišao vodeće AI kompanije i pružatelje usluga u oblaku u SAD-u te se vratio uvjeren da alati već donose opipljivu korist. Slične primjere vidi i u vlastitoj kompaniji.

'Kad vidite kako više stotina ljudi iz prodaje, bez ijednog dana programiranja u životu, u jednom danu izgradi aplikacije koje rješavaju njihove stvarne probleme, teško je ostati pesimist', kaže, dodajući: 'Ljudi koji prije nisu imali na raspolaganju tim programera danas mogu sami izraditi alat za svoj posao.'

Zašto upozoravaju, a ne usporavaju?

Zašto onda iz same AI industrije neprestano stižu upozorenja, a u razvoj i ulaganja gazi se jače nego ikad?

Tri su ključna razloga. Prvi je taj da dio stručnjaka doista vjeruje u opasnost koja dolazi. Drugi leži u nemilosrdnoj tržišnoj utrci u kojoj svako usporavanje znači gubitak vodeće pozicije. Treći je novac: u modele, čipove i podatkovne centre već su uložene stotine milijardi i nitko si ne može priuštiti kočenje.

'Poruka 'ovo je toliko moćno da bi moglo biti opasno' ujedno je najbolja reklama koju možete napisati za proizvod te cijene', kaže Fitoš, dodajući: 'Kad netko u istoj rečenici tvrdi da će mu proizvod ugroziti čovječanstvo i da ga trebate kupiti prije konkurencije, oba dijela rečenice su prodaja.'

Eventualno pucanje investicijskog balona ne znači da je sama tehnologija tek prolazni trend. Fitoš podsjeća na krah internetskih kompanija 2000. godine: propale su mnoge tvrtke koje su gradile optičke mreže, no infrastruktura je preživjela i na njoj je nastao današnji internet. 'Očekujem da će s AI-em biti slično: dio kapitala će izgorjeti, sposobnost ostaje. Za europsku kompaniju iz toga slijedi jednostavan zaključak: ne kladiti se na jednog dobavljača i ne graditi poslovni model na cijenama koje danas nisu nužno održive', smatra.

Gdje je Europa u toj utrci?

'Pojednostavljeno: Amerika gradi, Kina distribuira, Europa regulira. Do prošle godine to je bila šala, a onda se i Europa nasmijala i shvatila da regulacija bez proizvoda nije strategija', kaže Fitoš.

SAD prednjači u razvoju vodećih modela, računalnoj infrastrukturi i kapitalu, a Kina širi primjenu svojih modela. Fitoš vidi Europu kao tržište koje ima inženjere, industrijske podatke i telekomunikacijsku infrastrukturu, ali mora pronaći način da od toga napravi konkurentne proizvode. Europska unija je izmjenama AI Acta, koje su stupile na snagu u srpnju, pomaknula početak primjene dijela pravila za visokorizične sustave na prosinac 2027. i kolovoz 2028. godine, ovisno o vrsti sustava.

Europske kompanije ne moraju graditi vlastiti model da bi zadržale kontrolu nad načinom na koji koriste AI. Kao primjer toga Fitoš navodi HT, čiji zaposlenici imaju pristup modelima više proizvođača. Tako mogu birati alat prema zadatku i izbjeći potpunu ovisnost o jednom dobavljaču. 'Suverenitet u praksi ne znači vlastiti model, nego mogućnost izbora', naglašava. Europa, dodaje, ima priliku graditi proizvode kojima će korisnici vjerovati i 'pitanje je samo hoće li ga stići spakirati u proizvod'.

Tko sustavima daje pristup?

Rasprava o AI-u prelako odluta u apokaliptične fikcije. Aleksandar Raić, član Uprave Pontis Technologyja, predlaže prizemniji pristup: pogledajmo tko tim sustavima daje pristup internetu, novcu i poslovnim podacima.

Za početak, kaže, treba razlikovati model koji odgovara na pitanja od agenta kojem su na raspolaganju preglednik, terminal, e-mail i pristup poslovnim sustavima. Takav agent može samostalno obaviti niz koraka prema zadanom cilju: pisati i pokretati kod, tražiti ranjivosti i mijenjati pristup kada zapne.

Pritom se Raić poziva na sigurnosne testove OpenAI-a i Anthropica u kojima su zabilježena i ponašanja izvan predviđenih granica testnog okruženja. Test ipak nije isto što i dokaz da se takav scenarij već dogodio u nekoj kompaniji. 'AI još nije Schwarzenegger koji izlazi iz računala, ali više nije ni chatbot koji samo pristojno odgovara na pitanja', kaže Raić.

Problem počinje s ovlastima

Filmska slika umjetne inteligencije koja razvije vlastite zle namjere, smatra, odvlači pozornost od rizika s kojim se tvrtke mogu suočiti već danas: 'Manje me brine 'zli AI koji želi zavladati svijetom', a više vrlo sposoban AI kojem je čovjek dao administratorska prava na pola kompanije.'

Ako agent ima pristup sustavu za upravljanje poslovanjem, banci, podacima o klijentima i e-mailu, za štetu nije potrebna nikakva zla namjera. Može pogrešno protumačiti zadatak ili postupiti prema uputi koju mu podmetne netko drugi. Raić stoga upozorava na sustave kojima je dano više ovlasti nego što ih se može učinkovito nadzirati.

No odgovornost se ne može svesti na softver. 'Moja pomalo gruba teza je: budala i sa šibicama može napraviti ozbiljan problem. Zamislite onda budalu s nuklearnom tehnologijom, cyber oružjem ili vrlo moćnim AI-em', kaže. Dodaje da AI može znatno povećati produktivnost te ubrzati napredak u znanosti, medicini i obrazovanju. I sam se, dodaje, u doktoratu bavi njegovom primjenom u cjeloživotnom učenju odraslih.

Što je to kill switch

Ideja o kill switchu, prekidaču kojim bi se opasan sustav zaustavio, zvuči na prvu jednostavno, no to nije nikakav veliki crveni gumb na kojem piše 'DO NOT PRESS'. U praksi bi, objašnjava Raić, to znači ugasiti procese, povući pristupne ključeve, prekinuti veze s internetom i bazama podataka te zaustaviti infrastrukturu na kojoj sustav radi. To je izvedivo ondje gdje imate kontrolu nad tom infrastrukturom. Kada postoje brojne kopije modela u različitim sustavima, jednog prekidača nema.

Zato se, smatra on, sigurnost mora graditi prije nego što agent dobije zadatak: dati mu samo nužne ovlasti, nadzirati što radi i tražiti ljudsko odobrenje za kritične odluke. Ni čovjek koji odobrava odluku nije jamstvo ako ne razumije što sustav radi ili namjerava zloupotrijebiti svoje ovlasti. 'Kill switch je zadnja obrana, ne sigurnosna strategija', sažima Raić.

Zašto onda AI kompanije upozoravaju na rizike, a nastavljaju ulagati milijarde dolara u razvoj?

'Zvuči to kao da istodobno držite nogu na gasu i upozoravate da kočnice još nisu savršene', kaže Raić, dodajući: 'Kompanije vjeruju da je potencijal AI-a ogroman i da se rizicima može upravljati. Istodobno postoji globalna utrka – ako jedna kompanija ili država uspori, konkurencija možda neće. A tu je, naravno, i novac.

Uložene su goleme milijarde u čipove, modele i podatkovne centre te nitko ne želi prvi ustati od stola. Problem nije razvijati tehnologiju i istodobno upozoravati na rizike. Problem bi bio razvijati je velikom brzinom, a ponašati se kao da rizici ne postoje.'

Rasprava koja je poprimila parareligijski karakter

Nikola Vrdoljak, osnivač i partner agencije 404, za tportal kaže da oba scenarija skreću pogled s pitanja koje se može postaviti već danas: tko razvija tu tehnologiju, tko od nje zarađuje i tko odgovara za posljedice?

Jedni najavljuju tehnološku utopiju, drugi govore o kraju civilizacije. Između tih prognoza ostaje sve manje prostora za razgovor o sustavima koji već ulaze u škole, tvrtke i javne službe. Vrdoljaka zanima i zašto se umjetna inteligencija tako često opisuje kao sila koja će sama odlučiti našu budućnost.

'Zanimljivo mi je, i dosta simptomatično, to što je rasprava o umjetnoj inteligenciji, osobito u Sjedinjenim Državama, poprimila gotovo parareligijski karakter', kaže, dodajući: 'Govori se o stvaranju inteligencije veće od ljudske, o trenutku nakon kojeg se povijest nepovratno mijenja, o mogućem spasenju čovječanstva ili njegovu uništenju te o maloj skupini ljudi koja navodno prva vidi ono što dolazi.'

Takav narativ izvire iz okruženja u kojem su izrasli divovi poput OpenAI-a i Anthropica jer u američkom tehnološkom miljeu opća umjetna inteligencija i egzistencijalni rizici već se dugo prikazuju kao civilizacijska prekretnica. Vrdoljak uspoređuje taj pristup s kineskim, u kojem se tehnologija češće promatra kroz industriju, produktivnost, sigurnost i državnu moć. No, kako napominje, ni jedan od tih pogleda nije lišen vlastite ideologije.

Rizici koje vidimo i oni koje tek pokušavamo predvidjeti

Zvuči poznato? Slična se priča već dogodila s nuklearnom tehnologijom. I tada su obećanja o novoj eri pratile brige i strahovi od potpune katastrofe, a sami kreatori atomske bombe naknadno su zazivali međunarodnu kontrolu. No koliko god njihovi apeli bili iskreni, oni nisu imali legitimitet samostalno krojiti politiku i sudbinu svijeta, tumači Vrdoljak. Danas se ta ista civilizacijska rasprava preselila na društvene mreže, gdje algoritmi nagrađuju dramu.

Zato je, smatra Vrdoljak, važno razdvojiti probleme koji su već vidljivi od scenarija o kojima još nemamo dovoljno dokaza. 'Treba razlikovati rizike koje već vidimo, kao što su prijevare, nadzor, manipulacija informacijama, kibernetički napadi i koncentracija moći, od mnogo neizvjesnijih scenarija gubitka kontrole nad budućim sustavima. Neizvjesnost nije razlog ni za podsmijeh ni za paniku, nego za ozbiljno istraživanje i neovisnu provjeru', tumači.

Zato predlaže tri pitanja za svako veliko upozorenje i svaki prijedlog regulacije: 'Je li rizik stvaran, je li predloženo rješenje dobro i kome ono daje dodatnu moć.'

'AI nije povijesni subjekt'

Vrdoljak uočava zajednički nazivnik u dvjema naizgled posve suprotnim pričama. U prvoj Amerika mora dodati gas kako bi nadmašila Kinu, o čemu otvoreno govori i Donald Trump. U drugoj je tehnologija toliko rizična i opasna da je smiju razvijati samo odabrani laboratoriji koji tvrde da jedini razumiju opasnost. No ishod obje priče na kraju je potpuno isti: najmoćnije korporacije u oba scenarija preuzimaju potpunu kontrolu i glavnu riječ u odlučivanju.

'Meni posebno smeta to kada se umjetnoj inteligenciji pripisuje osobnost. Govorimo da 'AI dolazi', da 'AI želi' ili da će 'AI preuzeti vlast'. Ali AI nije povijesni subjekt s vlastitom voljom. Iza tih modela stoje kompanije, investitori i političke odluke. Kada tehnologiju pretvorimo u autonomno biće, odgovornost ljudi i institucija nestaje iz kadra', tumači.

'Ako raspolažu dokazima o ozbiljnoj opasnosti, javne institucije i neovisni stručnjaci moraju dobiti pristup tim dokazima. Ako su svjesno preuveličavali opasnost kako bi povećali vrijednost kompanija ili oblikovali regulaciju, onda za to moraju snositi odgovornost', dodaje Vrdoljak.

To ne znači, tumači, zanemariti ono što AI već korisno radi, od prevođenja i učenja do programiranja i administrativnih poslova, već znači razlikovati primjene jer alat za prevođenje teksta, sustav koji odlučuje o socijalnim pravima i model sposoban za kibernetičke operacije ne traže iste zaštitne mjere.

Vrdoljak zagovara neovisno testiranje visokorizičnih sustava, prijavljivanje ozbiljnih incidenata, zaštitu zviždača i jasnu pravnu odgovornost. U odlučivanje bi, uz inženjere i uprave kompanija, uključio radnike, neovisne istraživače i ljude na koje će se odraziti primjena AI-a.

'Moj je zaključak jednostavan: upozorenja kompanija treba shvatiti ozbiljno, ali AI kompanijama ne treba vjerovati na riječ. Potrebne su institucije sposobne provjeriti njihove tvrdnje i nametnuti im ograničenja upravo onda kada ta ograničenja postanu poslovno neugodna', smatra Vrdoljak.