Novi istraživački rad tvrtke OpenAI dijagnosticira zašto ChatGPT i drugi veliki jezični modeli mogu izmišljati stvari (halucinirati). Također otkriva zašto bi problem mogao biti nepopravljiv, barem što se tiče korisnika.

Rad pruža dosad najrigoroznije matematičko objašnjenje zašto ovi modeli samouvjereno iznose lažne tvrdnje. Pokazuje kako to nije samo nesretna nuspojava načina na koji se umjetnu inteligenciju trenutno obučava, već je matematički neizbježno.

Problem se djelomično može objasniti pogreškama u temeljnim podacima koje se koristi za obuku umjetne inteligencije. No, koristeći matematičku analizu načina na koji sustavi umjetne inteligencije uče, istraživači dokazuju kako, čak i uz savršene podatke za obuku, problem i dalje postoji. Način na koji jezični modeli odgovaraju na upite – predviđanjem jedne riječi u rečenici, na temelju vjerojatnosti – prirodno proizvodi pogreške.

Istraživači zapravo pokazuju kako je ukupna stopa pogrešaka pri generiranju rečenica barem dvostruko veća od stope pogrešaka koju bi ista umjetna inteligencija imala na jednostavnom pitanju s da/ne, jer se pogreške mogu akumulirati tijekom višestrukih predviđanja.

Drugim riječima, stope halucinacija u osnovi su ograničene time koliko dobro sustavi umjetne inteligencije mogu razlikovati valjane od nevaljanih odgovora. Budući je ovaj problem klasifikacije inherentno težak za mnoga područja znanja, halucinacije postaju neizbježne.

Također se ispostavilo da što manje model vidi činjenicu tijekom obuke, to je veća vjerojatnost kako će halucinirati kada ga se o njoj pita. S rođendanima značajnih osoba, na primjer, utvrđeno je kako bi, ako se 20 posto rođendana takvih ljudi pojavi samo jednom u podacima za obuku, osnovni modeli trebali pogriješiti u najmanje 20 posto upita o rođendanima.

Epidemija kažnjavanja iskrenosti

Još je problematičnija analiza rada o tome zašto halucinacije traju unatoč naporima nakon obuke (kao što je pružanje opsežnih ljudskih povratnih informacija na odgovore umjetne inteligencije prije nego što se objave javnosti).

Autori su ispitali deset glavnih mjerila umjetne inteligencije, uključujući one koje koriste Google, OpenAI i vodeće ljestvice koje rangiraju modele umjetne inteligencije.

Otkrili su kako devet mjerila koristi binarne sustave ocjenjivanja koji dodjeljuju nula bodova za umjetne inteligencije koje izražavaju nesigurnost. To stvara nešto što autori nazivaju 'epidemijom' kažnjavanja iskrenih odgovora.

Kada sustav umjetne inteligencije kaže 'Ne znam', dobiva isti rezultat kao kad daje potpuno pogrešne informacije. Optimalna strategija u takvoj evaluaciji postaje jasna: uvijek pogađaj.

Istraživači to matematički dokazuju. Bez obzira na izglede kako je određeni odgovor točan, očekivani rezultat pogađanja uvijek premašuje rezultat suzdržavanja kada evaluacija koristi binarno ocjenjivanje.

Skupo i nepraktično za korisnike

OpenAI predlaže neka umjetna inteligencija razmotri vlastito povjerenje u odgovor prije nego što ga objavi, pa neka ga mjerila ocjenjuju na temelju toga.

Matematički okvir pokazuje kako bi pod odgovarajućim pragovima pouzdanosti AI sustavi prirodno izražavali nesigurnost, a ne nagađali. Dakle, to bi dovelo do manje halucinacija. Ali, stradalo bi korisničko iskustvo.

Naime, kako biste reagirali ako bi ChatGPT počeo govoriti 'Ne znam' na do 30 posto upita, što je konzervativna procjena temeljena na analizi rada o činjeničnoj nesigurnosti u podacima za obuku.

Korisnici navikli primati sigurne odgovore na gotovo svako pitanje vjerojatno bi brzo napustili takve sustave.

Problem računalne ekonomije

Ne bi bilo teško smanjiti halucinacije koristeći uvide iz rada. Utvrđene metode za kvantificiranje nesigurnosti postoje desetljećima. One bi mogle biti korištene za pružanje pouzdanih procjena nesigurnosti i vođenje umjetne inteligencije prema donošenju pametnijih odluka.

Ali, čak i ako bi se problem korisnika koji ne vole takvu nesigurnost mogao prevladati, postoji veća prepreka: računalna ekonomija.

Jezični modeli svjesni nesigurnosti zahtijevaju znatno više računanja od današnjeg pristupa jer moraju procijeniti više mogućih odgovora i procjenjuju razinu pouzdanosti. Za sustav koji dnevno obrađuje milijune upita, to dovodi do dramatično većih operativnih troškova.

Sofisticiraniji pristupi poput aktivnog učenja, gdje sustavi postavljaju pojašnjavajuća pitanja kako bi smanjili nesigurnost, mogu poboljšati točnost, ali dodatno umnožiti računalne zahtjeve.

Takve metode dobro funkcioniraju u specijaliziranim područjima poput dizajna čipova, gdje pogrešni odgovori koštaju milijune dolara i opravdavaju opsežno računanje. Za potrošačke aplikacije, gdje korisnici očekuju trenutne odgovore, troškovi postaju previsoki.

Račun se dramatično mijenja za sustave koji upravljaju kritičnim poslovnim operacijama ili ekonomskom infrastrukturom.

Kada rukuju logistikom lanca opskrbe, financijskim trgovanjem ili medicinskom dijagnostikom, trošak halucinacija daleko premašuje trošak dobivanja modela koji odlučuju jesu li previše nesigurni.

U tim područjima, predložena rješenja u radu postaju ekonomski isplativa - čak i nužna. Nesigurni agenti će jednostavno morati koštati više.

Međutim, potrošačke aplikacije i dalje dominiraju prioritetima razvoja umjetne inteligencije. Korisnici žele sustave koji pružaju sigurne odgovore na bilo koje pitanje.

Mjerila evaluacije nagrađuju sustave koji pogađaju, a ne izražavaju nesigurnost. Računalni troškovi favoriziraju brze, previše samouvjerene odgovore u odnosu na spore, nesigurne.

Pad troškova energije po tokenu i napredne arhitekture čipova mogli bi na kraju učiniti pristupačnijim scenarije u kojima umjetne inteligencije odlučuju jesu li dovoljno sigurne kako bi odgovorile na pitanje.

No, relativno velika količina izračuna potrebna u usporedbi s današnjim nagađanjima ostala bi, bez obzira na apsolutne troškove hardvera.

Poslovni poticaji koji potiču razvoj umjetne inteligencije za potrošače ostaju u osnovi neusklađeni sa smanjenjem halucinacija. Dok se ti poticaji ne promijene, halucinacije će i dalje postojati, piše Science Alert.