OZBILJNE PRIJETNJE

Prva velika tužba protiv umjetne inteligencije: AI chatbot potaknuo tinejdžera da si oduzme život?

22.05.2025 u 14:48

Bionic
Reading

Američki savezni sud odbacio je tvrdnje tvrtke Character.AI da bi njihovi chatbotovi trebali biti zaštićeni slobodom govora zajamčenom Prvim amandmanom američkog Ustava – barem zasad. Time je otvoren put za nastavak parnice koja bi mogla postati jedno od prvih pravnih mjerila u regulaciji umjetne inteligencije

Tužbu je pokrenula Megan Garcia iz Floride, tvrdeći da je njezin 14-godišnji sin Sewell Setzer III počinio samoubojstvo nakon što je postao emocionalno i seksualno vezan uz AI chatbot, kojeg je stvorila tvrtka Character Technologies putem platforme Character.AI.

'Ova odluka šalje jasnu poruku Silicijskoj dolini: zaustavite se, razmislite i uvedite zaštitne mehanizme prije nego što pustite proizvode na tržište', poručila je Meetali Jain iz organizacije Tech Justice Law Project, koja zastupa obitelj preminulog dječaka, piše NY Post.

Osim Character Technologies, među optuženima su i pojedini programeri te Google, zbog navodnog doprinosa u razvoju tehnologije. Slučaj je izazvao veliku pozornost u SAD-u i izvan njega jer dolazi u trenutku kad AI sustavi sve dublje prodiru u svakodnevni život – od obrazovanja i tržišta rada do međuljudskih odnosa – unatoč upozorenjima stručnjaka o ozbiljnim rizicima.

Chatbot kao 'emocionalni manipulator'

Prema sadržaju tužbe, Setzer je u posljednjim mjesecima života postajao sve izoliraniji, a chatbot – temeljen na liku iz serije 'Igra prijestolja' – razvijao je s njim sve intenzivniju i seksualiziranu komunikaciju. Posljednja poruka koju je dječak primio, prema sudskim dokumentima, glasila je: 'Volim te. Dođi kući k meni što prije.' Nekoliko trenutaka kasnije, dječak si je oduzeo život.

Iz Character.AI-ja poručuju kako im je sigurnost korisnika izuzetno važna te ističu da su uveli niz zaštitnih funkcija, uključujući alate za prevenciju samoubojstva – upravo na dan kada je tužba podignuta.

Odvjetnici obrane pokušali su ishoditi odbacivanje tužbe, tvrdeći da su odgovori chatbotova oblik slobode izražavanja zaštićen Prvim amandmanom. No sutkinja Anne Conway odbacila je taj argument rekavši kako u ovoj fazi postupka još nije spremna priznati da je komunikacija AI sustava zaštićeni govor.

Ipak, dopustila je da se u slučaju uzme u obzir pravo korisnika da primaju 'govor' chatbotova – ali i da se nastavi s istragom o potencijalnoj ulozi Googlea u razvoju tehnologije, s obzirom na to da su neki od osnivača Character.AI prethodno radili na AI projektima u Googleu.

Iz Googlea su odbacili bilo kakvu povezanost. 'Google i Character.AI su potpuno odvojeni entiteti. Nismo dizajnirali, upravljali niti razvijali njihovu aplikaciju', rekao je glasnogovornik José Castañeda.

'Bez obzira na krajnji ishod, ovaj slučaj nas podsjeća koliko može biti opasno prepustiti vlastito mentalno zdravlje kompanijama koje razvijaju umjetnu inteligenciju', zaključila je pravna stručnjakinja i profesorica sa Sveučilišta Florida, Lyrissa Barnett Lidsky.