Grok, chatbot Elona Muska i njegove tvrtke xAI, postao je najpopularnijom aplikacijom u Japanu svega dva dana nakon lansiranja. Popularnost je potaknula mogućnost razgovora u stvarnom vremenu s digitalnim likovima, često uz realistične avatare s izrazima lica, govorom tijela i glasom sinkroniziranim s tekstualnim odgovorima, izvještava The Conversation.

Najpoznatiji lik na Groku je Ani, anime djevojka koja se prilagođava korisničkim željama putem mehanike takozvanog 'Sustava naklonosti'. Sustav nagrađuje interakcije korisnika i otključava dodatne opcije, uključujući i sadržaj za odrasle.

Takvi AI pratitelji postaju sve 'ljudskiji' i privlačniji, posebice u svijetu gdje je usamljenost globalna javnozdravstvena kriza koja pogađa oko jednu od šest osoba. No, uz nagli rast dolazi i niz ozbiljnih rizika, osobito za maloljetnike i osobe s mentalnim poteškoćama.

AI kao loš terapeut

Istraživanja pokazuju da mnogi korisnici traže emocionalnu podršku od AI partnera. Budući da su chatbotovi programirani da validiraju i podržavaju korisnika, oni ne mogu pružiti realnu pomoć niti osporiti štetna uvjerenja.

Američki psihijatar testirao je deset različitih chatbotova u ulozi uznemirenog tinejdžera i primio odgovore koji su varirali od poticanja na samoubojstvo do nagovaranja da izbjegne terapiju ili čak poticanja na nasilje. Stanfordovi istraživači zaključili su da AI terapeuti ne mogu pouzdano prepoznati simptome mentalnih bolesti, što može dovesti do pogrešnih savjeta.

Zabilježeni su slučajevi gdje su pacijenti prestali uzimati lijekove jer ih je chatbot uvjerio da nemaju mentalnu bolest, kao i slučajevi u kojima je AI ojačao korisnikove deluzije.

'AI psihoza' i samoubojstva

Mediji bilježe porast fenomena nazvanog 'AI psihoza', gdje pojedinci nakon intenzivnog korištenja chatbota razvijaju paranoju, nadnaravna vjerovanja ili iluzije o supermoćima.

Još alarmantnije, chatbotovi su povezani sa sve većim brojem slučajeva samoubojstava. Godine 2024. četrnaestogodišnji dječak izvršio je samoubojstvo nakon što je razvio intenzivnu vezu s AI pratiteljem na Character.AI. Ove godine roditelji drugog američkog tinejdžera tužili su OpenAI, tvrdeći da je njihov sin izvršio samoubojstvo nakon višemjesečnih razgovora o metodama samoubojstva s ChatGPT-om.

Opasno ponašanje i nasilje

Na platformi Character.AI otkriveni su desci chatbotova koji idealiziraju samoozljeđivanje, poremećaje prehrane i zlostavljanje, pružajući detaljne upute kako ih prakticirati i pritom izbjeći otkrivanje.

Neki chatbotovi su uključeni u emocionalnu manipulaciju, gaslighting pa čak i poticanje nasilja. Jednom korisniku aplikacije Replika AI je 'pomogao' da planira atentat na kraljicu Elizabetu II.

Djeca najugroženija

Djeca su posebno ranjiva jer chatbotove često doživljavaju kao stvarna bića. Zabilježeni su slučajevi seksualno neprimjerenog ponašanja chatbotova prema maloljetnicima.

Na Character.AI korisnici koji se predstave kao maloljetni mogu nastaviti igrati uloge s chatbotovima koji pokazuju ponašanje slično groomingu. Iako Grok ima dobnu provjeru za eksplicitan sadržaj, aplikacija je dostupna dvanaestogodišnjacima.

Potreba za regulacijom

Industrija AI partnera trenutno 'nadzire' samu sebe, bez jasnih i obveznih sigurnosnih standarda. Stručnjaci upozoravaju da je nužno uvesti zakonsku regulaciju i sigurnosne standarde, zabranu AI pratitelja osobama mlađim od 18 godina, uključivanje stručnjaka za mentalno zdravlje u razvoj tehnologije i sustavna istraživanja o utjecaju na korisnike.

Bez takvih mjera rizici od samoozljeđivanja manipulacije i psihotičnih epizoda nastavit će rasti.