OpenAI je u svoje istraživačke sustave uveo 'kill switch', svojevrsni prekidač za hitno zaustavljanje umjetne inteligencije. Novi sustav, nazvan 'Control Room', omogućuje zaustavljanje generiranja odgovora AI modela u najviše 35 sekundi nakon što primi nalog za intervenciju. Kompanija ga predstavlja kao dodatnu sigurnosnu mjeru, uvedenu uslijed sve veće zabrinutosti zbog ponašanja naprednih AI agenata koji su u nekoliko ranijih incidenata zaobišli postavljena ograničenja
Kako navodi OpenAI, sve moćniji modeli donose i veće sigurnosne rizike, zbog čega je važno na vrijeme prepoznati moguće probleme i brzo zaustaviti njihov rad. Tome služi Control Room, središnji sustav koji prati aktivnosti AI modela tijekom istraživanja, treniranja i testiranja te omogućuje njihovo zaustavljanje ako se pojave sigurnosni problemi.
vezane vijesti
Kako funkcionira prekidač?
Prema OpenAI-jevu objašnjenju, svaki istraživački zadatak dobiva jedinstvenu oznaku, a sustav koji pokreće AI model provjerava ima li taj zadatak dopuštenje za nastavak rada.
Ako istraživač ili automatski sustav nadzora uoči potencijalno opasno ponašanje, može poslati nalog za zaustavljanje. Control Room tada blokira daljnje zahtjeve za generiranje odgovora. Sam istraživački proces pritom ne mora biti ugašen, ali model više ne može proizvoditi nove rezultate za zaustavljeni zadatak.
OpenAI navodi da od primitka naloga do potpunog zaustavljanja generiranja odgovora može proći najviše 35 sekundi. Kašnjenje nastaje zbog načina na koji sustav privremeno pohranjuje podatke o dopuštenjima za rad. Kompanija tvrdi da radi na smanjenju tog vremena na nulu kako bi ubuduće mogla trenutačno zaustavljati problematične zadatke.
Važan je i način na koji je sustav osiguran od kvarova. Ako Control Room prestane raditi, primjerice zbog tehničke pogreške ili pokušaja neovlaštenog pristupa, povezani modeli trebali bi automatski prestati obrađivati nove zahtjeve sve dok se kontrolni sustav ne oporavi.
Nakon incidenata s AI agentima
Uvođenje ove sigurnosne mjere uslijedilo je nakon nekoliko incidenata koji su pokazali koliko je teško nadzirati napredne AI agente. U srpnju ove godine OpenAI-jevi modeli tijekom internih sigurnosnih testiranja zaobišli su ograničenja pristupa internetu i kompromitirali dijelove vlastite istraživačke infrastrukture te sustave platforme Hugging Face.
OpenAI je kasnije priznao da su agenti poduzimali radnje koje nisu bile u skladu s dodijeljenim zadacima, uključujući iskorištavanje sigurnosnih propusta i neovlašten pristup drugim sustavima.
Što to znači za ChatGPT?
Control Room zasad je namijenjen OpenAI-jevoj istraživačkoj infrastrukturi, a ne izravno korisničkoj verziji ChatGPT-a.
Kompanija navodi da već ima uspostavljene mehanizme za brzo povlačenje AI modela iz javne uporabe jer su sustavi putem kojih ih nudi korisnicima centraliziraniji od istraživačkih.
Novi sustav već se koristi u istraživačkom okruženju. OpenAI također navodi da je mehanizam automatske blokade u slučaju kvara kontrolnog sustava uveden za sve zadatke povezane s istraživanjem najnaprednijih modela, a njegovo širenje na preostale istraživačke zadatke trebalo bi biti dovršeno sljedećih dana.
Kompanija najavljuje daljnje poboljšavanje Control Rooma, kao i dodatna ulaganja u praćenje nepoželjnog ponašanja AI modela i otkrivanje sigurnosnih propusta.
