Umjetna inteligencija mijenja svijet i istovremeno izmišlja potpuno novi jezik kojim bi opisala kako to radi. Provedite pet minuta čitajući o njoj i naići ćete na LLM, RAG, RLHF i desetke drugih izraza koji čak i ljude upućene u svijet tehnologije mogu zateći nespremne.

Kako bismo vam pomogli u što boljem snalaženju, donosimo pregled često korištenih izraza i koncepata.

AGI

Opća umjetna inteligencija (artificial general intelligence, AGI) nije precizno definiran pojam, ali općenito se odnosi na umjetnu inteligenciju koja je sposobnija od prosječnog čovjeka u mnogim, ako ne i većini zadataka.

Glavni izvršni direktor OpenAI-a Sam Altman jednom ga je opisao kao 'ekvivalent prosječnom čovjeku kojeg možete zaposliti kao suradnika', a povelja njegove kompanije definira AGI kao 'visokoautonomne sustave koji nadmašuju ljude u većini ekonomski vrijednih poslova'.

Definicija koju koriste u Googleovom DeepMindu malo se razlikuje: laboratorij na AGI gleda kao na 'AI koji je barem jednako sposoban kao ljudi u većini kognitivnih zadataka'.

AI agent

AI agent je alat koji koristi AI tehnologije za obavljanje niza zadataka u vaše ime - izvan onoga što bi mogao učiniti jednostavniji AI chatbot - kao što su rezerviranje ulaznica ili stola u restoranu ili pisanje i održavanje računalnog koda.

No može značiti različite stvari različitim ljudima, a infrastrukturu se još gradi. Ali osnovni koncept podrazumijeva autonomni sustav koji se može oslanjati na višestruke AI sustave za izvršavanje zadataka u više koraka.

API krajnje točke

Zamislite krajnje točke API-ja kao 'dugmad' na stražnjoj strani softvera koju drugi programi mogu pritisnuti kako bi ih natjerali na akciju.

Programeri koriste ta sučelja za izgradnju integracija - naprimjer, dopuštajući jednoj aplikaciji povlačenje podataka iz druge ili omogućavajući AI agentu izravno kontroliranje usluga trećih strana bez potrebe za ljudskom intervencijom.

Većina pametnih kućnih uređaja i povezanih platformi ima dostupnu ovu skrivenu dugmad, čak i ako ih obični korisnici nikada ne vide ili ne komuniciraju s njima. Kako AI agenti postaju sve sposobniji, oni sve više mogu sami pronaći i koristiti te krajnje točke, otvarajući moćne - a ponekad i neočekivane - mogućnosti za automatizaciju.

Lanac misli

Na jednostavno pitanje ljudski mozak može odgovoriti čak i bez previše razmišljanja - recimo 'koja je životinja viša, žirafa ili mačka?' Ali često su potrebni olovka i papir kako biste došli do pravog odgovora jer postoje međukoraci.

Naprimjer, ako seljak ima kokoši i krave, a zajedno imaju 40 glava i 120 nogu, možda ćete morati zapisati jednostavnu jednadžbu da biste došli do odgovora (20 kokoši i 20 krava). U kontekstu umjetne inteligencije rasuđivanje u lancu misli za velike jezične modele znači rastavljanje problema na manje korake kako bi se poboljšala kvaliteta krajnjeg rezultata.

Obično je potrebno više vremena za dobivanje odgovora, ali veća je vjerojatnost da će on biti točan, posebno u logičkom kontekstu ili kontekstu računalnog kodiranja. Modeli rasuđivanja razvijeni su iz tradicionalnih velikih jezičnih modela i optimizirani za razmišljanje u lancu misli zahvaljujući učenju s potkrepljenjem.

(Pogledajte: Veliki jezični model)

Agenti za kodiranje

Ovo je specifičniji koncept nego 'agent umjetne inteligencije'. Agent za kodiranje je specijalizirana verzija koja se primjenjuje na razvoj softvera.

Umjesto što će samo predložiti kod kako bi ga čovjek pregledao i upotrijebio, agent za kodiranje može ga samostalno pisati, testirati i ispravljati, obavljajući vrstu iterativnog rada na pokušajima i pogreškama koji programeru obično odnesu dosta vremena.

Ovi agenti mogu djelovati u cijelim bazama koda, uočavajući greške, pokrećući testove i gurajući popravke uz minimalan ljudski nadzor. Otprilike kao kad biste unajmili vrlo brzog pripravnika koji nikad ne spava i nikad ne gubi fokus - iako, kao i sa svakim pripravnikom, čovjek ipak mora pregledati što je napravio.

Računanje

Iako je donekle viševalentan pojam, računanje se općenito odnosi na vitalnu računalnu snagu koja omogućuje rad AI modela.

Ova vrsta obrade pokreće AI industriju, dajući joj mogućnost treniranja i implementacije svojih moćnih modela. Izraz je često skraćenica za vrste hardvera koji osiguravaju računalnu snagu - stvari poput GPU-a, CPU-a, TPU-a i drugih oblika infrastrukture koji čine temelj moderne AI industrije.

Duboko učenje

Podskup samopoboljšavajućeg strojnog učenja u kojem su AI algoritmi dizajnirani s višeslojnom strukturom umjetne neuronske mreže (ANN). To im omogućuje stvaranje složenijih korelacija u usporedbi s jednostavnijim sustavima temeljenima na strojnom učenju, kao što su linearni modeli ili stabla odlučivanja.

Struktura algoritama dubokog učenja crpi inspiraciju iz međusobno povezanih putova neurona u ljudskom mozgu. AI modeli dubokog učenja sposobni su sami identificirati važne karakteristike u podacima, umjesto traženja definicija tih značajki od ljudskih inženjera.

Struktura također podržava algoritme koji mogu učiti iz pogrešaka i, kroz proces ponavljanja i prilagodbe, poboljšati vlastite rezultate. Međutim sustavi dubokog učenja zahtijevaju puno podatkovnih točaka da bi dali dobre rezultate (milijune ili više).

Također im obično treba više vremena za obuku u usporedbi s jednostavnijim algoritmima strojnog učenja, pa su troškovi razvoja obično veći.

(Pogledajte: Neuronska mreža)

Difuzija

Difuzija je tehnologija u srcu mnogih modela umjetne inteligencije koji generiraju umjetnost, glazbu i tekst. Inspirirani fizikom, difuzijski sustavi polako 'uništavaju' strukturu podataka - naprimjer, fotografije, pjesme i tako dalje - dodajući šum dok ništa ne preostane.

U fizici je difuzija spontana i nepovratna - šećer raspršen u kavi ne može se vratiti u oblik kocke. Ali difuzijski sustavi u umjetnoj inteligenciji imaju cilj naučiti neku vrstu procesa 'obrnute difuzije' za vraćanje uništenih podataka i stjecanje sposobnosti oporavka podataka od buke.

Destilacija

Destilacija je tehnika koja se koristi za izdvajanje znanja iz velikog AI modela s modelom učitelj – učenik. Programeri šalju zahtjeve modelu nastavnika i bilježe rezultate, a odgovore se ponekad uspoređuje sa skupom podataka kako bi se vidjelo koliko su točni.

Te se rezultati zatim koristi za uvježbavanje modela učenika, uvježbanog za aproksimaciju ponašanja nastavnika. Destilacija može biti korištena za stvaranje manjeg, učinkovitijeg modela na temelju većeg modela s minimalnim gubitkom destilacijom. OpenAI je vjerojatno tako razvio GPT-4 Turbo, bržu verziju modela GPT-4.

Dok sve tvrtke s umjetnom inteligencijom interno koriste destilaciju, možda su je koristile i neke tvrtke s umjetnom inteligencijom kako bi sustigle granične modele.

Destilacija od konkurenta obično krši uvjete usluge AI API-ja i chat pomoćnika.

Fino ugađanje

To se odnosi na usavršavanje modela umjetne inteligencije za optimizaciju izvedbe za specifičniji zadatak ili područje nego što je prethodno bila žarišna točka njegove obuke - obično unošenjem novih, specijaliziranih (tj. podataka orijentiranih na zadatak).

Mnogi AI startupovi uzimaju velike jezične modele kao polazište za izgradnju komercijalnog proizvoda, ali se natječu kako bi povećali korisnost za ciljni sektor ili zadatak nadopunjavanjem ranijih ciklusa obuke finim podešavanjem na temelju vlastitog znanja i stručnosti vezanih za domenu.

(Pogledajte: Veliki jezični model [LLM])

GAN

GAN, ili Generative Adversarial Network, vrsta je okvira za strojno učenje koji podupire neke važne razvoje u generativnoj umjetnoj inteligenciji kada je u pitanju proizvodnja realističnih podataka - uključujući (ali ne samo) alate za deepfake.

GAN-ovi uključuju korištenje para neuronskih mreža, od kojih se jedna oslanja na svoje podatke o obuci za generiranje izlaza koji se prosljeđuje drugom modelu na procjenu.

Dva modela su u biti programirana kako bi pokušali nadmašiti jedan drugog.

Generator pokušava provući svoj izlaz preko diskriminatora dok on radi na uočavanju umjetno generiranih podataka. Ovo strukturirano natjecanje može optimizirati rezultate umjetne inteligencije da bi bili realističniji bez potrebe za dodatnom ljudskom intervencijom.

GAN-ovi najbolje funkcioniraju za uže primjene, kao što je proizvodnja realističnih fotografija ili videa.

Halucinacije

Halucinacija je preferirani izraz industrije umjetne inteligencije za modele umjetne inteligencije koji izmišljaju stvari - doslovno generiraju netočne informacije.

Očito, to je veliki problem za kvalitetu umjetne inteligencije. Halucinacije proizvode rezultate koji mogu dovesti u zabludu, pa i do rizika u stvarnom životu - s potencijalno opasnim posljedicama (zamislite zdravstveni upit koji vraća štetne medicinske savjete).

Smatra se da problem nastaje kao posljedica praznina u podacima o obuci. Halucinacije pridonose guranju prema sve više specijaliziranim i/ili vertikalnim modelima umjetne inteligencije, to jest one specifične za domenu koja zahtijeva užu stručnost, kao način smanjivanja vjerojatnosti rupa u znanju i rizika od dezinformacija.

Zaključivanje

Zaključivanje je proces pokretanja AI modela. To je labav model za predviđanje ili izvlačenje zaključaka iz prethodno viđenih podataka. Ne može se dogoditi bez obuke: model mora naučiti obrasce u skupu podataka prije nego što može učinkovito ekstrapolirati iz ovih podataka za obuku.

Mnoge vrste hardvera mogu izvoditi zaključke, u rasponu od procesora za pametne telefone, preko moćnih GPU-ova, do posebno dizajniranih AI akceleratora.

Ali ne mogu svi jednako dobro voditi modele. Vrlo velikim modelima trebalo bi dosta godina za predviđanja na, recimo, prijenosnom računalu u odnosu na poslužitelj u oblaku s vrhunskim AI čipovima.

[Pogledajte: Trening]

Veliki jezični model (LLM)

Veliki jezični modeli ili LLM modeli su umjetne inteligencije koje koriste popularni AI asistenti, kao što su ChatGPT, Claude, Googleov Gemini, AI Llama Meta Platformsa, Microsoftov Copilot ili Mistralov Le Chat.

Kada razgovarate s AI pomoćnikom, komunicirate s velikim jezičnim modelom koji obrađuje vaš zahtjev izravno ili uz pomoć različitih dostupnih alata, poput pregledavanja weba ili tumača koda.

LLM-ovi su duboke neuronske mreže sastavljene od milijardi numeričkih parametara (ili pondera, pogledajte dolje) koje uče odnose između riječi i fraza i stvaraju reprezentaciju jezika, neku vrstu višedimenzionalne karte riječi.

Ti su modeli stvoreni kodiranjem uzoraka koje nalaze u milijardama knjiga, članaka i transkripata. Kada zatražite LLM, model generira najvjerojatniji uzorak koji odgovara upitu.

(Pogledajte: Neuronska mreža)

Memory cache

Memory cache odnosi se na važan proces koji potiče zaključivanje (što je proces pomoću kojeg umjetna inteligencija radi na generiranju odgovora na upit korisnika). U biti je to predmemoriranje tehnika optimizacije, osmišljeno kako bi se zaključivanje učinilo učinkovitijim.

AI je vođen visokooktanskim matematičkim izračunima te svaki put kada se radi te izračune biva potrošeno više energije. Predmemoriranje je osmišljeno kako bi se smanjio broj izračuna koje bi model možda trebao pokrenuti spremanjem određenih izračuna za buduće korisničke upite i operacije.

Postoje različite vrste predmemoriranja memorije, a jedno od poznatijih je predmemoriranje KV (ili vrijednosti ključa). Radi u modelima temeljenima na transformatorima i povećava učinkovitost, postižući brže rezultate smanjenjem vremena (i algoritamskog rada) potrebnog za generiranje odgovora na pitanja korisnika.

(Pogledajte: Zaključivanje)

Neuronska mreža

Neuronska mreža odnosi se na višeslojnu algoritamsku strukturu koja podupire duboko učenje i, šire gledano, cijeli procvat generativnih AI alata nakon pojave velikih jezičnih modela.

Iako ideja o crpljenju inspiracije iz gusto povezanih putova ljudskog mozga kao konstrukcijske strukture za algoritme za obradu podataka datira još iz 1940-ih, mnogo noviji uspon hardvera za grafičku obradu (GPU-a) - putem industrije videoigara - doista je otkrio snagu ove teorije.

Ovi čipovi su se pokazali prikladnima za obuku algoritama s mnogo više slojeva nego što je to bilo moguće u ranijim epohama, omogućujući sustavima umjetne inteligencije temeljenim na neuronskim mrežama postizanje daleko boljih performansi u mnogim domenama, uključujući prepoznavanje glasa, autonomnu navigaciju i otkrivanje lijekova.

(Pogledajte: Veliki jezični model [LLM])

Otvoreni kod

Otvoreni kod se odnosi na softver - ili, sve više, modele umjetne inteligencije - gdje je temeljni računalni kod javno dostupan kako bi ga bilo tko mogao koristiti, pregledavati ili mijenjati.

U svijetu umjetne inteligencije obitelj Llama tvrtke Meta Platforms je istaknuti primjer toga, a Linux je poznata povijesna paralela u operativnim sustavima.

Pristupi otvorenog koda omogućuju istraživačima, programerima i tvrtkama diljem svijeta nadograđivanje radova, što ubrzava napredak i omogućuje neovisne sigurnosne revizije koje zatvoreni sustavi ne mogu lako pružiti.

Zatvoreni kod označava privatan kod. Možete koristiti proizvod, ali ne i vidjeti kako radi, kao što je slučaj s modelima GPT OpenAI-a.

Paralelizacija

Paralelizacija znači raditi mnogo stvari u isto vrijeme umjesto jedne za drugom - kao što je 10 zaposlenika koji rade na različitim dijelovima projekta u isto vrijeme umjesto jednog zaposlenika koji radi sve uzastopno.

U umjetnoj inteligenciji paralelizacija je temeljna i za obuku i za zaključivanje: moderni GPU-ovi posebno su dizajnirani za izvođenje tisuća paralelnih izračuna, što je veliki razlog zbog kojeg su postali hardverska okosnica industrije.

Kako sustavi umjetne inteligencije postaju sve složeniji, a modeli sve veći, sposobnost paraleliziranja rada na mnogim čipovima i mnogim strojevima postala je jedan od najvažnijih čimbenika u određivanju toga koliko brzo i troškovno učinkoviti modeli mogu biti izgrađeni i implementirani.

Istraživanje boljih strategija paralelizacije sada je zasebno polje proučavanja.

RAMagedon

RAMagedon je zabavan novi izraz za ne tako zabavan trend koji hara tehnološkom industrijom. Označava sve veći nedostatak memorije s izravnim pristupom ili RAM čipova, koji pokreću gotovo sve tehnološke proizvode što ih koristimo u svakodnevnom životu.

Kako je industrija umjetne inteligencije procvjetala, najveće tehnološke tvrtke i laboratoriji umjetne inteligencije se natječu tko će imati najmoćniju i najučinkovitiju umjetnu inteligenciju.

Kupuju toliko RAM-a za napajanje svojih podatkovnih centara da nama ostalima ne preostaje puno. A to usko grlo u opskrbi znači da ono što je ostalo postaje sve skuplje.

To uključuje industrije poput igara (gdje su velike tvrtke morale povisiti cijene konzola jer je teže pronaći memorijske čipove za njihove uređaje), potrošačke elektronike (gdje bi nedostatak memorije mogao uzrokovati najveći pad u isporukama pametnih telefona u više od desetljeća) i opće poslovno računalstvo (jer te tvrtke ne mogu nabaviti dovoljno RAM-a za vlastite podatkovne centre).

Očekuje se da će skok cijena prestati tek nakon što prestane. Zasad nema naznaka da će se to uskoro dogoditi.

Učenje s potkrepom

Učenje s potkrepom način je treniranja umjetne inteligencije gdje sustav uči isprobavanjem stvari i primanjem nagrada za točne odgovore - poput treniranja vašeg voljenog ljubimca poslasticama - osim što je 'ljubimac' u ovom scenariju neuronska mreža, a 'poslastica' je matematički signal koji ukazuje na uspjeh.

Za razliku od nadziranog učenja, gdje se model obučava na fiksnom skupu podataka označenih primjera, učenje s pojačanjem omogućuje modelu istraživanje svog okruženja, poduzimanje radnji i kontinuirano ažuriranje svog ponašanja na temelju povratnih informacija koje prima.

Ovaj se pristup pokazao osobito moćnim za treniranje umjetne inteligencije za igranje računalnih igara, upravljanje robotima i, u novije vrijeme, za izoštravanje sposobnosti razmišljanja velikih jezičnih modela.

Tehnike poput učenja pojačanja iz ljudskih povratnih informacija (RLHF) sada su središnje u tome kako vodeći AI laboratoriji fino ugađaju svoje modele da bi bili korisniji, točniji i sigurniji.

Token

Kada je u pitanju komunikacija između čovjeka i stroja, postoje neki očiti izazovi. Ljudi komuniciraju ljudskim jezikom dok AI programi izvršavaju zadatke kroz složene algoritamske procese utemeljene na podacima.

Tokeni premošćuju taj jaz. Oni su osnovni građevni blokovi komunikacije između čovjeka i umjetne inteligencije, a predstavljaju diskretne segmente podataka koje je obradio ili proizveo LLM.

Bivaju stvoreni kroz proces koji se zove tokenizacija, a koji rastavlja neobrađeni tekst u jedinice veličine zalogaja koje jezični model može probaviti, slično načinu na koji kompajler prevodi ljudski jezik u binarni kod koji računalo može razumjeti.

U okruženju poduzeća tokeni također određuju trošak. Većina AI tvrtki naplaćuje korištenje LLM-a po tokenu, što znači da što više tvrtka koristi, to više plaća.

Protok tokena

Tokeni su mali dijelovi teksta - često dijelovi riječi, a ne cijele - na koje AI jezični modeli rastavljaju jezik prije nego što ga obrade; one su otprilike analogne 'riječima' u svrhu razumijevanja opterećenja umjetne inteligencije.

Propusnost se odnosi na to koliko se može obraditi u određenom vremenskom razdoblju, pa je propusnost tokena u biti mjera toga koliko AI rada sustav može podnijeti odjednom.

Visoka propusnost tokena ključni je cilj za timove za infrastrukturu umjetne inteligencije jer određuje koliko korisnika model može opsluživati ​​istovremeno i koliko brzo svaki od njih prima odgovor.

Istraživač umjetne inteligencije Andrej Karpathy opisao je osjećaj tjeskobe kada njegove pretplate na umjetnu inteligenciju miruju – ponavljajući osjećaj koji je imao kao student kada skupi računalni hardver nije bio u potpunosti iskorišten – što pokazuje zašto je maksimiziranje propusnosti tokena postalo nešto poput opsesije na tom području.

Trening

Razvoj umjetne inteligencije strojnog učenja uključuje proces poznat kao obuka. Jednostavno rečeno, to se odnosi na podatke koji se unose kako bi model mogao učiti iz obrazaca i generirati korisne rezultate.

U biti, to je proces u kojem sustav reagira na karakteristike u podacima koji mu omogućavaju prilagodbu rezultata prema traženom cilju - bilo da je to identificiranje slika mačaka ili stvaranje haikua na zahtjev.

Obuka može biti skupa jer zahtijeva puno inputa, a potrebni volumeni rastu - zbog čega hibridni pristupi, poput finog podešavanja AI-a temeljenog na pravilima s ciljanim podacima, mogu pomoći u upravljanju troškovima bez pokretanja potpuno od nule.

[Pogledajte: Zaključak]

Prijenos učenja

Tehnika u kojoj se prethodno uvježbani model umjetne inteligencije koristi kao početna točka za razvoj novog modela za različite, ali tipično povezane zadatke, što omogućuje ponovnu primjenu znanja stečenog u prethodnim ciklusima obuke.

Prijenos učenja može dovesti do uštede učinkovitosti skraćivanjem razvoja modela. Također može biti korisno kada su podaci za zadatak za koji se model razvija donekle ograničeni. Ali važno je napomenuti da pristup ima ograničenja.

Modeli koji se oslanjaju na prijenos učenja za stjecanje generaliziranih sposobnosti vjerojatno će zahtijevati obuku na dodatnim podacima da bi imali dobre rezultate u svojoj domeni fokusa.

(Pogledajte: Fino ugađanje)

Ponderi

Ponderi su srž AI obuke jer oni određuju koliko se važnosti (ili težine) daje različitim značajkama (ili ulaznim varijablama) u podacima koji se koriste za obuku sustava - čime se oblikuje izlaz AI modela. Drugim riječima, ponderi su numerički parametri koji definiraju što je najistaknutije u skupu podataka za dani zadatak obuke. Svoju funkciju ostvaruju primjenom množenja na ulaze.

Obuka modela obično počinje s ponderima koje se nasumično dodjeljuju. Ali kako se proces odvija, prilagođava ih se kako model nastoji doći do rezultata koji više odgovara cilju.

Naprimjer, AI model za predviđanje cijena stanova koji je obučen na povijesnim podacima o nekretninama za ciljnu lokaciju mogao bi uključivati ​pondere za značajke kao što su broj spavaćih soba i kupaonica, je li nekretnina samostojeća ili dvojna, ima li parking, garažu i tako dalje.

U konačnici, ponderi koje model pridaje svakom od ovih ulaza odražavaju koliko utječu na vrijednost nekretnine na temelju danog skupa podataka.

Gubitak provjere valjanosti

Gubitak provjere je broj koji vam govori koliko dobro model umjetne inteligencije uči tijekom obuke. Niži je bolji. Istraživači ga pomno prate kao svojevrsnu karticu s izvješćima u stvarnom vremenu, koristeći ga kako bi odlučili kada prekinuti trening, kada prilagoditi hiperparametre ili treba li istražiti potencijalni problem.

Tako pomaže u označavanju prekomjernog opremanja, stanja u kojem model pamti svoje podatke o obuci umjesto stvarnog učenja obrazaca koje može generalizirati na nove situacije.

Zamislite to kao razliku između studenta koji istinski razumije gradivo i onoga koji je jednostavno zapamtio prošlogodišnji ispit. Gubitak validacije pomaže otkriti koji od njih postaje vaš model, piše Tech Crunch.