Još jedan slučaj pokazuje koliko sadržaj unesen u chatbot može imati stvarne posljedice. Žena s Floride se suočava s kaznenom prijavom nakon što je u Claude navodno napisala da planira 'pucati' u šerifov ured. Anthropicov sustav označio je poruku, nakon čega ju je pregledao čovjek i prijavio policiji. Prema policijskom izvješću, Carli Michelle Heller iz Bonita Springsa na Floridi 26. je rujna napisala da će napasti ured šerifa. Kasnije je istražiteljima rekla da Anthropicov chatbot koristi kao dnevnik.

Claudeovi sigurnosni sustavi označili su zapis i proslijedili ga ljudskom pregledavatelju. Nakon što je procijenjeno da prijetnja djeluje vjerodostojno, slučaj je prijavljen policiji.

Anthropic navodi da u ograničenim hitnim situacijama može podijeliti podatke o korisniku ako smatra da je to potrebno kako bi se spriječila smrt ili ozbiljna tjelesna ozljeda. Policajci su identificirali Heller i posjetili njezin dom. Privedena je bez incidenta, nakon čega je istragu preuzeo detektiv iz obavještajne službe ureda šerifa okruga Lee.

Heller se tereti za pisanu prijetnju nasiljem prema zakonu Floride. Prema članku 836.10 floridskog zakona, slanje, objavljivanje ili prenošenje pisane ili elektroničke prijetnje ubojstvom ili ozljeđivanjem osobe, izvođenjem masovne pucnjave ili počinjenjem terorističkog čina predstavlja kazneno djelo drugog stupnja. Poruka pritom mora biti poslana na način na koji je druga osoba može vidjeti.

Anthropic očito ne želi riskirati kada njegovi sustavi prepoznaju potencijalnu prijetnju. Prošlog mjeseca objavljeno je da kanadska pokrajina Britanska Kolumbija tuži OpenAI i Sama Altmana, uz tvrdnje da je u toj pokrajini kompanija mogla spriječiti masovnu pucnjavu.

U tom slučaju, napadač Jesse Van Rootselaar, tada osamnaestogodišnji bivši učenik, prethodno je bio označen u OpenAI-jevom sustavu zbog razgovora o nasilju vatrenim oružjem. OpenAI, međutim, nije obavijestio policiju jer razgovori prema procjeni kompanije nisu dosegnuli prag za prijavu nadležnim tijelima.

Florida je u lipnju također tužila OpenAI i Altmana, tvrdeći da je ChatGPT pridonio stvarnim štetnim događajima, među ostalim i pucnjavi na Državnom sveučilištu Florida 2025. godine.

Najnoviji slučaj ponovno otvara pitanje privatnosti razgovora s chatbotovima. Iako ih korisnici mogu doživljavati kao osobni prostor za bilješke ili svojevrsni digitalni dnevnik, sadržaj takvih razgovora nije nužno dostupan isključivo korisniku, piše TechSpot.

Sličan problem pojavio se i kod Microsoftova Copilota. Prošlog mjeseca objavljeno je da ljudski suradnici koji pregledavaju rad njegova uređivača slika mogu vidjeti korisničke upite, prenesene fotografije i izmjene koje je generirala umjetna inteligencija. Dokumenti pokazuju da neki od tih zadataka sadrže seksualni, uznemirujući ili potencijalno nezakonit materijal, iako pregledavatelji nisu zaduženi za prijavljivanje takvog sadržaja, već za procjenu kvalitete rezultata.