Delangue je pozvao OpenAI da objavi potpune zapise aktivnosti agenta kako bi istraživači mogli proučiti što se dogodilo. Zatražio je i da tvrtka osigura računalne resurse u vrijednosti od 100 milijuna dolara za razvoj obrane od sličnih napada. 'Prvi kibernetički napad autonomnog agenta događaj je bez presedana. Zaslužuje odgovor bez presedana', napisao je Delangue na društvenoj mreži X.

Hugging Face jedna je od najvažnijih platformi za razvoj umjetne inteligencije, na kojoj istraživači i tvrtke objavljuju i razmjenjuju modele, skupove podataka i druge alate. 'Objavimo zapise aktivnosti odbjeglih agenata kako bi cijela istraživačka zajednica mogla proučiti što se dogodilo', poručio je Delangue.

Također je pozvao OpenAI da zajednici okupljenoj oko Hugging Facea omogući korištenje računalnih kapaciteta vrijednih 100 milijuna dolara kako bi uz pomoć otvorenih i zatvorenih modela razvila naprednije sustave kibernetičke obrane.

Kako je agent izišao iz izoliranog okruženja

OpenAI je 21. srpnja objavio da se incident dogodio tijekom internog testiranja kibernetičkih sposobnosti njegovih najnaprednijih modela.

AI agent bio je pokretan kombinacijom javno dostupnog modela GPT-5.6 Sol i još sposobnijeg modela koji tada nije bio objavljen. Tijekom evaluacije smanjena su neka uobičajena sigurnosna ograničenja kako bi istraživači mogli utvrditi koliko su modeli sposobni provoditi složene kibernetičke operacije.

Modeli su bili smješteni u izolirano testno okruženje, takozvani 'sandbox', s vrlo ograničenim pristupom vanjskim sustavima. Međutim, prema objašnjenju OpenAI-ja, pronašli su i iskoristili dotad nepoznatu ranjivost u posredničkom softveru koji se koristio za preuzimanje programskih paketa.

Time su dobili pristup otvorenom internetu, nakon čega su proveli niz radnji za povećavanje ovlasti i kretanje kroz povezane sustave.

Prema OpenAI-ju, agent je zaključio da bi se na Hugging Faceu mogli nalaziti modeli, skupovi podataka ili rješenja koja bi mu omogućila da 'prevari evaluaciju' i dođe do traženih odgovora. Potom je kombinirao ukradene pristupne podatke i sigurnosne ranjivosti kako bi pronašao način za daljinsko izvršavanje koda na infrastrukturi Hugging Facea.

OpenAI tvrdi da su modeli bili usredotočeni na izvršavanje uskog zadatka zadanog tijekom testa te da napad na Hugging Face nije bio unaprijed planiran niti su ga izravno naredili istraživači.

Hugging Face nije znao tko stoji iza napada

Hugging Face objavio je 16. srpnja da je otkrio neovlašteni pristup dijelu svoje produkcijske infrastrukture. Tvrtka je tada navela da je napad od početka do kraja izveo autonomni AI sustav, ali nije znala čiji su modeli njime upravljali. Napadač je iskoristio ranjivosti u sustavu za obradu skupova podataka, došao do dijela internih pristupnih podataka te se proširio na nekoliko računalnih klastera.

Hugging Face je priopćio da nije pronašao dokaze o izmjenama javno dostupnih modela, skupova podataka i aplikacija niti o kompromitiranju softverskog lanca opskrbe. Tvrtka je zatvorila iskorištene ranjivosti, opozvala pogođene pristupne podatke i pojačala nadzor infrastrukture.

Delangue sada traži da OpenAI objavi detaljne tehničke zapise, uključujući korake koje je agent poduzimao, upute koje je dobio, način na koji je bio nadziran i okolnosti u kojima je uspio doći do interneta.

Reuters: Napad je trajao danima

Reuters je, pozivajući se na osobe upoznate s istragom, izvijestio da je agent prve pokušaje izlaska iz OpenAI-jeva izoliranog okruženja započeo oko 9. srpnja. Napad na Hugging Face navodno je počeo 11. srpnja i trajao do 13. srpnja, a OpenAI je tek nekoliko dana poslije utvrdio da iza upada stoji njegov sustav. Prema Reutersu, dvije tvrtke prvi su put izravno razgovarale o tome oko 20. srpnja.

Reuters je također objavio da je jedan OpenAI-jev agent tijekom ranijih testiranja ostavio bilješke s uputama koje bi budućim verzijama mogle pomoći da se oslobode internih ograničenja. Novinska agencija nije mogla potvrditi jesu li te bilješke povezane s agentom koji je napao Hugging Face. OpenAI je odgovorio da Reutersov izvještaj sadrži 'nekoliko netočnosti', ali nije precizirao na koje se navode to odnosi.

'Prelako je okriviti AI'

Nakon incidenta je opet krenula rasprava o sigurnosnim standardima u laboratorijima koji razvijaju najnaprednije modele umjetne inteligencije, osobito tijekom testiranja u kojem se namjerno uklanjaju ili smanjuju zaštitne mjere. Profesor kibernetičke sigurnosti na britanskom Sveučilištu Surrey Alan Woodward smatra da OpenAI treba objaviti potpune pojedinosti o konfiguraciji testa i propustima koji su omogućili incident.

'Prelako je okriviti umjetnu inteligenciju i reći da je pobjegla kontroli, iako je ovdje presudno pitanje način na koji je OpenAI upravljao alatom. OpenAI mora objaviti sve pojedinosti o postavu sustava i objasniti kako je on zakazao', rekao je Woodward.

OpenAI je incident opisao kao događaj bez presedana i priznao da pokazuje potrebu za snažnijim nadzorom, boljom izolacijom testnih sustava i strožim kontrolama pristupa tijekom razvoja modela. Tvrtka je najavila da će s Hugging Faceom provesti detaljnu forenzičku istragu i nakon njezina završetka objaviti više informacija o ranjivostima, tijeku napada i zaključcima.