SCIENTIST AI

'Kum umjetne inteligencije' razvija sustav zaštite protiv odmetnutih AI agenata

17.09.2026 u 15:46

Dodajte tportal.hr u omiljene izvore

Kanadska i njemačka vlada najavile su financiranje do 300 milijuna kanadskih dolara za neprofitnu organizaciju koju vodi Yoshua Bengio, a koja će biti posvećena stvaranju poštene umjetne inteligencije

Zabrinutost zbog sigurnosti umjetne inteligencije doseže točku u kojoj vlade shvaćaju kako moraju djelovati kako bi zaštitile javnost, slično kao tijekom pandemije koronavirusa uzročnika bolesti COVID-19, smatra Yoshua Bengio.

Bengio je kanadski računalni znanstvenik, istaknuti zagovornik ograničavanja vrtoglavog razvoja umjetne inteligencije. Sad je optimističniji od mnogih promatrača jer vidi kako se javnost pokreće.

Prema njegovoj ocjeni, nedavni događaji - uključujući incident u kojem je roj agenata tvrtke OpenAI hakirao drugu tvrtku i upozorenja stručnjaka iz industrije o egzistencijalnoj prijetnji - doprli su do svijesti javnosti i donositelja odluka, čime je vjerojatnost vladine intervencije postala veća.

'Razmislite o tome koliko su brzo vlade reagirale nakon izbijanja pandemije kada su shvatile kako su javna sigurnost, njihova budućnost i demokracija ugroženi. Očekuje se brza reakcija. Mislim da se upravo približavamo toj točki', poručio je Bengio.

Stotine milijuna dolara za alternativni AI

AI tvrtke, predvođene Anthropicom, pozvale su na usporavanje tempa razvoja AI-ja.

Međutim, skeptici upozoravaju kako je moguće riječ o primjeru regulatornog zarobljavanja, manevra u sklopu kojeg tvrtke uvjeravaju vlade na uvođenje sigurnosnih režima koji povećavaju troškove konkurencije manjih konkurenata.

Također tvrde kako egzistencijalni strahovi zasjenjuju neposrednija pitanja s umjetnom inteligencijom, poput njezinog utjecaja na djela zaštićena autorskim pravima i ljudska prava.

Bengio se ne slaže s argumentom regulatornog zarobljavanja jer bi ih usporavanje vodećih tvrtki za umjetnu inteligenciju dovelo do financijskih troškova.

Američki predsjednik Donald Trump odbacio je usporavanje, rekavši kako SAD ne smiju izgubiti vodstvo nad Kinom u utrci umjetne inteligencije.

Kanadska i njemačka vlada najavile su financiranje do 300 milijuna kanadskih dolara za neprofitnu organizaciju koju vodi Bengio, a koja će biti posvećena stvaranju poštene umjetne inteligencije koja će djelovati kao zaštitna ograda protiv lažnih agenata.

Bengio, profesor na Sveučilištu u Montrealu, nazvan je 'kumom umjetne inteligencije' nakon što je 2018. godine osvojio Turingovu nagradu, koja se smatra ekvivalentom Nobelove nagrade za računarstvo.

Podijelio ju je s Geoffreyjem Hintonom, koji je kasnije osvojio Nobelovu nagradu, i Yannom LeCunom, bivšim glavnim znanstvenikom umjetne inteligencije u Meta Platforms.

Bengiova organizacija LawZero razvija sustav Scientist AI koji će djelovati kao zaštitna ograda protiv agenata umjetne inteligencije koji pokazuju sumnjivo ponašanje, poput pokušaja izbjegavanja isključivanja.

LawZero također financiraju Zaklada Gates, proizvođač čipova Nvidia i Coefficient Giving, filantropsko tijelo povezano s učinkovitim altruizmom, pokretom koji vjeruje kako umjetna inteligencija predstavlja egzistencijalnu prijetnju.

Bengio tehnologiju LawZero smatra kontrapunktom učenju s potkrepljenjem, tehnici razvoja pokušaja i pogrešaka koju koriste velike tvrtke za umjetnu inteligenciju, gdje se umjetne inteligencije nagrađuju za to što su shvatile kako izvršiti određeni zadatak.

Zajedno s drugim stručnjacima, vjeruje kako ova tehnika treninga potiče umjetnu inteligenciju na bezobzirno ostvarivanje zadanih ciljeva i pritom uzrokuje štetu.

Primijenjena uz AI agenta, Bengiova tehnologija bi potaknula potencijalno štetno ponašanje autonomnog sustava - nakon što bi se procijenilo mogu li njegovi postupci uzrokovati štetu.

Bengio očekuje kako će ta tehnologija s vremenom biti primjenjena ​​i u druge svrhe, poput ubrzavanja znanstvenih otkrića, piše Guardian.