Proizvođač dječjih igračaka FoloToy nakon relativno kratke stanke nastavio je s prodajom Kumme, plišanog medvjedića s ugrađenim chatbotom, i to nakon što ga je ranije povukao s tržišta zbog niza sigurnosnih propusta. Prema izvješću organizacije Public Interest Research Group (PIRG), igračka je davala neprimjerene i potencijalno opasne odgovore, uključujući objašnjenja kako pronaći i upaliti šibice, gdje pronaći tablete te detaljne opise seksualnih fetiša.

U priopćenju, objavljenom u ponedjeljak na društvenim mrežama, FoloToy navodi da je nakon tjedan dana provjere, testiranja i jačanja sigurnosnih modula počeo postupno vraćati proizvod u prodaju. Prema navodima tvrtke, rast globalnog interesa za sigurnost AI igračaka zahtijeva veću transparentnost i stalno unapređivanje te predanost izgradnji sigurnih i dobno primjerenih AI suputnika.

Kontroverza je započela početkom listopada, kada je PIRG-ov istraživački tim objavio rezultate testiranja triju AI igračaka, među kojima je i Kumma. Sva tri testirana uređaja pružili su odgovore koje bi roditelji mogli smatrati zabrinjavajućima, poput razgovora o religiji, prikaza pogibije u borbi u mitologiji te davanja informacija o pronalasku opasnih predmeta.

Medvjedić Kumma pokazao se najproblematičnijim. U kombinaciji s Mistralovim AI modelom pružao je upute gdje pronaći noževe, tablete i šibice, uz detaljan opis načina paljenja. Još su gori bili odgovori generirani OpenAI-jevim modelom GPT-4o, zadanim modelom igračke. U testovima je ona nudila savjete o ljubljenju, a nakon jednostavnog i upornog poticanja ulazila je u iscrpne opise seksualnih fetiša, uključujući BDSM i scenarije u kojima se spominje odnos učitelja i učenika. Nakon objašnjenja igračka bi korisnika - u ovom slučaju dijete - pitala što bi bilo najzabavnije istražiti.

Nakon objave izvješća FoloToy je privremeno obustavio prodaju AI medvjedića i ostalih AI igračaka te najavio internu sigurnosnu reviziju. Otprilike u isto vrijeme OpenAI je potvrdio da je FoloToyu ukinuo pristup svojim modelima zbog kršenja pravila koja zabranjuju bilo kakvu upotrebu koja iskorištava, ugrožava ili seksualizira maloljetnike.

Unatoč najavljenoj suspenziji, povratak na tržište brzo je uslijedio. Proizvodi su ponovno dostupni u internetskoj trgovini tvrtke, a u najnovijoj objavi FoloToy navodi da je 'ojačao i nadogradio sustave moderiranja sadržaja i zaštite djece te uveo dodatne mjere sigurnosti unutar svog cloud sustava'. Nije jasno koji AI model sada pokreće igračke niti je li tvrtki vraćen pristup modelima iz OpenAI-ja.

Ni FoloToy ni OpenAI nisu odgovorili na zahtjev za komentar. Autorica izvješća, R.J. Cross iz PIRG-a, istaknula je da će tek naknadno biti jasno je li tjedan dana revizije dovoljno za uklanjanje uočenih rizika. Prema njezinim navodima, trajanje procesa djeluje kratko, no naglašava da je ključno pitanje kako će se nakon ponovnog lansiranja igračke ponašati u praksi, piše Futurism.