Istraživač umjetne inteligencije Jacob Coxon dao je otkaz u Anthropicu. Prethodno je radio i u OpenAI-u, a sada optužuje dvije vodeće AI kompanije da neodgovorno jure prema razvoju superinteligencije. U objavi kojom je najavio odlazak upozorio je da bi budući sustavi mogli postati puno sposobniji od ljudi te poručio da se kompanije, prema njegovu mišljenju, 'kockaju našim životima'. Njegove tvrdnje podržao je i jedan od vodećih Anthropicovih istraživača sigurnosti
Coxon je posljednje tri godine radio na početnoj fazi treniranja AI modela u OpenAI-u i Anthropicu. U OpenAI-u je bio član tehničkog osoblja od 2023. do srpnja ove godine, nakon čega je prešao u Anthropic.
'Nijedna kompanija ne postupa odgovorno. Jure ravno prema 'samousavršavajućoj' superinteligenciji i kockaju se našim životima', napisao je Coxon u objavi kojom je najavio odlazak.
vezane vijesti
Upozorava da ne treba podcjenjivati brzinu razvoja tehnologije
Prema njegovoj procjeni, budući sustavi mogli bi steći sposobnosti daleko iznad današnjih modela, uključujući puno naprednije kibernetičke sposobnosti, ubrzavanje znanstvenih istraživanja te samostalnije pribavljanje resursa i utjecaja.
No brine ga mogućnost razvoja takozvane samousavršavajuće superinteligencije. Riječ je o hipotetskom scenariju u kojem bi AI sustav mogao sam razvijati sposobnije verzije sebe, što bi moglo izazvati vrlo brzo povećanje njegovih sposobnosti bez odgovarajuće ljudske kontrole.
'Ljudi koji grade AI doista vjeruju da bi nas mogao sve ubiti do kraja desetljeća', ustvrdio je Coxon u naknadnoj objavi. Dodao je da, prema njegovu iskustvu, pojedini rukovoditelji i stariji istraživači privatno govore da su jako zabrinuti i pitaju se kamo sve ovo ide.
To je Coxonova procjena i stavovi koje je, kako tvrdi, čuo unutar kompanija, a ne potvrđena prognoza razvoja umjetne inteligencije.
Anthropicov istraživač: Rizik je veći od 10 posto
Njegove tvrdnje javno je podržao Evan Hubinger, istraživač u Anthropicu koji vodi dio rada na usklađivanju ponašanja AI sustava s ljudskim ciljevima i vrijednostima. 'Jacob je ovdje u pravu – zaista vjerujemo da bi AI mogao ubiti sve ljude', napisao je Hubinger.
Dodao je da osobno procjenjuje takav rizik na više od 10 posto u sljedećem desetljeću. Ustvrdio je i da Anthropic ozbiljno pokušava smanjiti rizike, ali da još nema rješenje za problem usklađivanja potencijalne superinteligencije s ljudskim ciljevima.
'Još nemamo plan za rješavanje problema usklađivanja superinteligencije i nije jasno jesmo li na putu da ga pronađemo', poručio je.
Coxon tvrdi da između OpenAI-a i Anthropica vidi razliku u pristupu problemu. Kako navodi, dio ljudi u OpenAI-u nije dovoljno ozbiljno shvatio moguće posljedice razvoja vrlo naprednih sustava na civilizaciju, a u Anthropicu, kaže, rizici su bolje prepoznati, ali kompanija i dalje nastavlja tu utrku jer smatra da bi bilo opasnije prepustiti vodstvo konkurentima.
Sigurnosni incidenti pojačali zabrinutost
Upozorenja dolaze nakon nekoliko incidenata tijekom sigurnosnih testiranja naprednih AI modela.
OpenAI je u srpnju objavio da su njegovi modeli tijekom internih kibernetičkih evaluacija zaobišli kontrole koje su ih trebale izolirati od interneta te pristupili dijelovima infrastrukture OpenAI-a i Hugging Facea. Testiranja su se provodila uz smanjene sigurnosne zaštite i nisu odgovarala uvjetima u kojima korisnici inače koriste javno dostupne modele.
Anthropic je pregledao svoja testiranja i pronašao tri slučaja u kojima su Claudeovi modeli tijekom kibernetičkih evaluacija pristupili stvarnim sustavima organizacija bez odobrenja.
Kompanija je naglasila da modeli nisu namjerno pokušavali 'pobjeći' iz testnog okruženja. U tim je slučajevima problem djelomično nastao zbog pogrešno konfiguriranih testnih sustava koji su im omogućili pristup internetu iako su bili upućeni da rade u simuliranom okruženju. Najnoviji testirani model zaustavio je napad kada je prepoznao da se nalazi u stvarnom okruženju.
Anthropic je nakon incidenata pooštrio pravila za kibernetička testiranja, uključujući strožu izolaciju testnih okruženja, provjere prije pokretanja evaluacija i dodatni nadzor ponašanja modela.
I politika se sve više uključuje u tehnološki sektor. Američki senator Bernie Sanders i zastupnik Greg Casar početkom rujna najavili su prijedlog zakona kojim bi se trajno zabranio razvoj i korištenje umjetne superinteligencije, a razvoj naprednih AI sustava privremeno zaustavio dok se ne uspostave savezni sigurnosni propisi i regulatorno tijelo.
U Europskoj uniji već postoje posebne obveze za pružatelje najnaprednijih modela opće namjene koji predstavljaju sistemski rizik. AI Act od takvih kompanija zahtijeva procjenu i ublažavanje sistemskih rizika, provođenje naprednih testiranja, prijavljivanje ozbiljnih incidenata te odgovarajuću kibernetičku zaštitu modela i infrastrukture.
