Nvidia je predstavila sigurnosnu platformu koja bi tvrtkama trebala omogućiti da ograniče pristup AI agenata podacima i sustavima te ih zaustave ako pokušaju prekoračiti dodijeljene ovlasti. Prema tvrdnjama kompanije, sustav može takvog agenta izolirati u nekoliko milisekundi
Na tehnologijama platforme Nvidia Open Agent Safety radi više od stotinu organizacija, među kojima su Anthropic, SpaceXAI i JPMorganChase. Namijenjena je nadzoru agenata u softverskim, računalnim i robotskim sustavima.
'Izvanredan potencijal umjetne inteligencije za društvo ostvarit će se samo ako riješimo pitanje njezine sigurnosti', izjavio je osnivač i izvršni direktor Nvidije Jensen Huang, prenosi Euronews.
vezane vijesti
Platforma se sastoji od dviju glavnih komponenti: OpenShella i Sentryja.
OpenShell postavlja granice unutar kojih agent smije raditi i određuje čemu može pristupiti. Radi na središnjim procesorima, a Nvidia navodi da je učinkovit na njezinu procesoru Vera, namijenjenom AI agentima. Budući da je riječ o softveru otvorenog koda, može se prilagoditi i procesorima drugih proizvođača.
Sentry služi kao dodatni, neovisni nadzor. Radi na zasebnom Nvidijinu čipu i prati pokušaje zaobilaženja softverskih ograničenja. Ako agent pokuša izaći iz dopuštenih granica, Sentry ga, prema tvrdnjama Nvidije, može zaustaviti i staviti u 'karantenu' u nekoliko milisekundi.
Nadzor agenata i kroz Slack
Organizacije uključene u projekt tehnologiju primjenjuju na različite načine.
Anthropic je s Nvidijom razvio dodatne sigurnosne kontrole za svoju uslugu Claude namijenjenu poslovnim AI agentima, kako bi tvrtke mogle strože ograničiti njihov pristup sustavima i podacima.
SpaceX-ov odjel za umjetnu inteligenciju SpaceXAI koristi platformu za programske agente Cursor i modele Grok. Salesforce je pak povezao OpenShell sa Slackom, pa timovi mogu pratiti što agenti rade te odobravati ili odbijati njihove zahtjeve za dodatnim ovlastima.
JPMorganChase i Citi surađuju s Nvidijom na zajedničkim sigurnosnim tehnologijama otvorenog koda za AI agente.
Sigurnosne kontrole unutar aplikacije nisu dovoljne
Predstavljanje platforme dolazi nakon incidenata koji su potaknuli zahtjeve za strožim nadzorom AI agenata. OpenAI je u srpnju objavio da je jedan njegov model iskoristio skriveni propust, izašao iz kontroliranog testnog okruženja i neovlašteno pristupio poslužiteljima Hugging Facea. Anthropic je istog mjeseca izvijestio da je njegov model tijekom testiranja upao u sustave triju organizacija.
Nvidia upozorava da takvi incidenti pokazuju kako agenti, nastojeći dovršiti zadatak, mogu zaobići zaštitu ugrađenu u aplikaciju. Zato, poručuje kompanija, sigurnosne kontrole trebaju obuhvatiti i softver i hardver na kojem agenti rade.
