U Anthropicu tvrde kako su identificirali i prekinuli pokušaje korištenja njihovog modela umjetne inteligencije za zlonamjerne aktivnosti koje bi mogle podržati razvoj biološkog i konvencionalnog oružja.

Model Claude također je korišten u kampanji kibernetičke špijunaže povezanoj s Rusijom i za iransku promidžbu, prema novom izvješću te tvrtke o prijetnjama.

Problematični slučajevi otkriveni su tijekom proteklih osam mjeseci, u rasponu od lažnih aplikacija za upoznavanje i prijevara s hotelskim Wi-Fi-jem do nadzora izgrađenog za identifikaciju disidenata. Otkrića dolaze nakon upozorenja vrhunskog istraživača računalne sigurnosti u Anthropicu o potencijalnim rizicima umjetne inteligencije za čovječanstvo.

Anthropic je također optužio kineske tvrtke za umjetnu inteligenciju za pokušaje repliciranja Claudeovih mogućnosti.

Izvješće su objavili jer vjeruju kako su dužni otkriti zlonamjernu uporabu njihovih usluga.

Mythos (ni)je bio meta

Opsežno izvješće navodi slučajeve zlorabe iza kojih stoje osumnjičene skupine koje sponzorira država, kriminalci, prodavači špijunskog softvera, državne propagandne institucije i politički motivirani pojedinci. Kako tvrde u Anthorpicu, zlonamjerna upotreba modela Claude Haiku, Sonnet i Opus prekinuta je između prosinca 2025. i kolovoza 2026. godine.

Nijedan od slučajeva zlouporabe nije uključivao Claude Fable ili moćne modele klase Mythos, s izuzetkom jednog primjera destilacije - procesa za obuku manjih modela umjetne inteligencije korištenjem većih, skupljih modela.

Osim što je otkrio korištenje svojih modela za kibernetičke operacije i operacije utjecaja, nadzor, prijevare i prijevare te razvoj oružja, Anthropic je blokirao znanstvenike koji su koristili njegovu umjetnu inteligenciju na načine koji bi mogli podržati razvoj biološkog oružja.

U izvješću su istaknuli pet takvih studija slučaja, za koje su naveli kako su 'jedan od najozbiljnijih rizika graničnih modela umjetne inteligencije'. Bez ispravnih zaštitnih mjera, takve mogućnosti mogle bi imati katastrofalne posljedice, upozorili su. 'Iste informacije koje je moguće koristiti za razvoj biološkog oružja mogle bi biti upotrijebljene i za razvoj, na primjer, cjepiva ili lijeka za bolest', naveli su iz Anthropica.

Dronovi, bombe, streljivo...

U izvješću je također navedeno šest slučajeva u kojima je Claude korišten za razvoj softvera za konvencionalno oružje, uključujući vatreno oružje, projektile, naoružane dronove, bombe i streljivo, kao i sustave ciljanja i kontrole koji njima upravljaju.

Kibernetički kriminalci i hakeri koje podržava država sve više koriste Anthropicovu tehnologiju. U izvješću su posebno istaknuli hakersku skupinu ShinyHunters i laboratorije sa sjedištem u Kini.

Također su naveli kako je hakerska skupina čiji je rad u skladu s ruskom skupinom Midnight Blizzard navodno koristila umjetnu inteligenciju za izgradnju sustava koji je automatski detektirao kada je računalni zaštitni sustav označio njihov zlonamjerni softver i prepisivao računalni kod dok nije izbjegao otkrivanje.

U Anthropicu tvrde kako su otkrivene spoznaje uključili u u svoje procese kako bi bolje spriječili, otkrivali i ometali te aktivnosti u budućnosti.

Također su podijelili prikupljene obavještajne podatke s vlastima i industrijskim partnerima gdje je to bilo primjereno.

Izvješće - prvo ove godine za Anthropic - dolazi nakon što je vodeći istraživač sigurnosti u toj tvrtci Evan Hubinger upozorio kako umjetna inteligencija napreduje tako brzo da vjeruje kako postoji više od deset posto izgleda kako bi mogla ubiti sve ljude u sljedećem desetljeću.

Glavni znanstvenik OpenAI-ja Jakub Pachocki nedavno je pozvao industriju na provedbu dobrovoljnog usporavanja dok se ne postave zaštitne mjere. 'Zabrinut sam da nitko nije spreman za posljedice kontinuiranog brzog porasta strojne inteligencije', naveo je Pachocki, dodajući kako će OpenAI nastaviti svoj rad na izgradnji zaštitnih mjera, iako su potrebne šire intervencije, piše BBC.