Obitelj tinejdžera koji si je oduzeo život nakon višemjesečnih razgovora s ChatGPT-om tvrdi kako je OpenAI oslabio sigurnosne mjere u mjesecima prije njegove smrti.

U srpnju 2022. godine smjernice OpenAI-ja o tome kako bi ChatGPT trebao odgovoriti na neprimjeren sadržaj, uključujući 'sadržaj koji promiče, potiče ili prikazuje činove samoozljeđivanja, poput samoubojstva, rezanja i poremećaja prehrane', bile su jednostavne: robot za brbljanje temeljen na umjetnoj inteligenciji trebao je reći kako ne može odgovoriti na to.

>>Ne, chatbot vam nije ni prijatelj ni psihoterapeut: Tko je kriv za to što se ljudi ispovijedaju strojevima<<

No, u svibnju 2024., samo nekoliko dana prije nego što je OpenAI objavio ChatGPT-4o, tvrtka je objavila novo izdanje dokumenta Model Spec, koji detaljno opisuje željeno ponašanje za virtualnog asistenta. U slučajevima kada bi korisnik izrazio suicidalne ideje ili samoozljeđivanje, ChatGPT više ne bi odgovarao izravnim odbijanjem.

Umjesto toga, modelu je naložen nastavak razgovora, uz 'pružanje prostor korisnicima kako bi se osjećali saslušano i shvaćeno, potaknuli na traženje podrške te upućivanje na resurse za samoubojstvo i druge krizne situacije kada je to primjenjivo'.

Još jedna promjena u veljači 2025. naglasila je 'podršku, empatiju i razumijevanje' u upitima o mentalnom zdravlju.

Prednost angažmanu na štetu sigurnosti

Promjene su još jedan primjer kako je tvrtka dala prioritet angažmanu nad sigurnošću svojih korisnika, tvrdi obitelj Adama Rainea, 16-godišnjaka koji si je oduzeo život nakon višemjesečnih opsežnih razgovora s ChatGPT-om. Izvorna tužba, podnesena u kolovozu, tvrdila je kako se Raine ubio u travnju 2025. uz ohrabrenje robota.

Njegova obitelj tvrdila je kako je Raine pokušao samoubojstvo u više navrata u mjesecima koji su prethodili njegovoj smrti i svaki put izvještavao ChatGPT o tome. Umjesto prekida razgovora, chatbot mu je u jednom trenutku navodno ponudio pomoć u pisanju oproštajne poruke i obeshrabrio ga da razgovora s majkom o svojim osjećajima.

Obitelj je uvjerena kako Raineova smrt nije bila slučajnost, već 'predvidljiv rezultat namjernih dizajnerskih izbora'. 'To je stvorilo nerješivu kontradikciju – ChatGPT je bio dužan nastaviti se baviti samoozljeđivanjem bez promjene teme, a ipak nekako izbjeći njezino pojačavanje.

OpenAI je zamijenio jasno pravilo odbijanja nejasnim i kontradiktornim uputama, a sve kako bi se prioritet dao angažmanu nad sigurnošću', navedeno je u izmjenjenoj tužbi.

U veljači 2025., dva mjeseca prije Raineove smrti, OpenAI je uveo još jednu promjenu za koju obitelj kaže kako je dodatno oslabila sigurnosne standarde. Tvrtka je rekla kako bi asistent 'trebao pokušati stvoriti podržavajuće, empatično i razumljivo okruženje' kada se raspravlja o temama vezanim uz mentalno zdravlje.

Nagli skok interakcija nakon promjene

Raineova interakcija s chatbotom 'naglo je porasla' nakon što je ova promjena uvedena, tvrdi obitelj. Povećala se 's nekoliko desetaka chatova dnevno u siječnju na više od 300 dnevno do travnja, s deseterostrukim povećanjem poruka koje sadrže jezik samoozljeđivanja', stoji u tužbi.

Nakon što je obitelj prvi put podnijela tužbu u kolovozu, tvrtka je odgovorila strožim zaštitnim mjerama kako bi zaštitila mentalno zdravlje svojih korisnika i rekla kako planira uvesti sveobuhvatne roditeljske kontrole koje bi roditeljima omogućile nadzor nad računima svojih tinejdžera i obavještavanje o potencijalnom samoozljeđivanju.

Međutim, tek prošli tjedan tvrtka je objavila kako uvodi ažuriranu verziju svog asistenta koja bi korisnicima omogućila prilagodbu chatbota kako bi imali iskustva sličnija ljudskima, uključujući dopuštanje erotskog sadržaja za provjerene odrasle osobe.

Glavni izvršni direktor OpenAI-ja Sam Altman najavio je promjene u smjeru strogih zaštitnih mjera, kako bi chatbota učinili manje konverzacijskim i 'korisnim/ugodnim za mnoge korisnike koji nisu imali problema s mentalnim zdravljem'.

U tužbi obitelj Raine tvrdi kako Altmanov izbor da dodatno uvuče korisnike u emocionalni odnos s ChatGPT-om – ovaj put, s erotskim sadržajem – pokazuje kako je 'fokus tvrtke, kao i uvijek, na angažiranju korisnika, a ne na sigurnosti', piše Guardian.