OpenAI je objavio novo istraživanje u kojem navodi da algoritmi nagrađuju chatbotove kada 'pogode' odgovor, umjesto da priznaju da ga ne znaju. Riječ je, podsjećamo, o pojavi poznatoj kao halucinacije, tj. tome da veliki jezični modeli (LLM), koji se koriste za obuku chatbotova, daju netočne ili izmišljene informacije, piše Euronews.

Prema izvješću, halucinacije proizlaze iz pogreške u binarnoj klasifikaciji, odnosno kada model pokušava nove podatke svrstati u jednu od dvije kategorije. Istraživači to uspoređuju s učenicima na testu na kojem imaju višestruki izbor ili kada blefiraju - kako god bilo, radije pogađaju odgovor nego da ostave prazno polje jer im se za odgovor dodjeljuju bodovi, a za prazno polje neće dobiti ništa.

LLM-ovi, kažu znanstvenici, funkcioniraju po sličnom principu: za točan odgovor dobiju bod dok za izjavu 'ne znam' ili prazno polje ne dobiju ništa. Zato pogađanje povećava ukupni rezultat, čak i kada je netočno.

Izvješće dolazi nekoliko tjedana nakon što je OpenAI predstavio GPT-5, model koji kompanija opisuje kao 'otporan na halucinacije' i koji, prema njima, daje 46 posto manje netočnih odgovora od prethodnog GPT-4o. No američka kompanija NewsGuard nedavno je otkrila da ChatGPT-jevi modeli u cjelini i dalje šire dezinformacije u čak 40 posto odgovora.

OpenAI ističe da se halucinacije ne mogu u potpunosti ukloniti jer postoje pitanja na koja algoritmi nikada neće moći dati ispravan odgovor. Naprimjer, model može prepoznati razliku između psa i mačke na fotografiji, ali ne može klasificirati životinje prema njihovu datumu rođenja jer takvi podaci nisu povezani s vizualnim značajkama.

Zaključak istraživanja jest da neki problemi u stvarnom svijetu ostaju bez odgovora bez obzira na napredak tehnologije. Kao jedno od rješenja, OpenAI predlaže da se modeli potaknu da češće odgovaraju s 'ne znam' kada nemaju dovoljno podataka, kao i da se izmijeni postojeći sustav nagrađivanja odgovora. Kako će to promijeniti autentičnost odgovora, saznat ćemo uskoro.