Silicijska dolina dugo se natjecala za talente sve bogatijim paketima plaća, bonusa i pogodnosti. AI inferencija se nameće kao novi sastojak za taj miks
Kako se alate generativne umjetne inteligencije u sve većoj mjeri ugrađuje u razvoj softvera, trošak pokretanja temeljnih modela - poznat kao inferencija - pojavljuje se kao proračunska stavka koju financijski direktori ne mogu ignorirati.
Softverski inženjeri i istraživači u tehnološkim tvrtkama već se bore za pristup procesorima, a računalni kapacitet za umjetnu inteligenciju pažljivo se raspoređuje prema važnosti projekata.
vezane vijesti
Pritom korištenje po korisniku raste znatno brže od njihova ukupnog rasta, zbog čega je na raspolaganju sve manje računalnih resursa. Drugim riječima, pristup umjetnoj inteligenciji uskoro bi mogao biti jednako važan kao i pristup visokoj plaći i bonusima.
Ako ste programer u eri umjetne inteligencije i nemate pristup odgovarajućim resursima – mogli biste na kraju proizvesti puno manje softvera od svojih kolega, što bi vam moglo dovesti karijeru u pitanje. Ta oskudica mijenja način na koji inženjeri razmišljaju o svom poslu i plaći. Stoga su potencijalni zaposlenici tijekom razgovora za posao počeli postavljati pitanja koliki će biti proračun za obradu potrebnu za rad umjetne inteligencije.
Neki među njima su, primjerice, uz plaću i naknade zatražili pretplatu na Microsoftov Copilot, a ima i onih koji zagovaraju uvođenje tokena za računalne resurse kao uobičajeni dio plaće koje nude tvrtke kao što su OpenAI ili Anthropic.
Što su tokeni?
Veliki jezični modeli raščlanjuju riječi i druge ulazne podatke u numeričke tokene da bi ih bilo lakše obraditi i razumjeti. Jedan token je otprilike tri četvrtine riječi.
Također ih se koristi za određivanje cijene korištenja AI modela putem standardnog iznosa za milijun tokena u industriji.
Za financijske direktore ovaj potencijalno veliki novi trošak mora biti podjednako na radaru kao i ostali troškovi povezani s brojem zaposlenika. Prema procjenama koje prenosi Business Insider, korištenje umjetne inteligencije moglo bi činiti nešto više od petine troška na plaću u budućnosti.
Pitanje je, naravno, kakav je povrat te potrošnje na umjetnu inteligenciju? Ako se performanse infrastrukture u računalnom oblaku procjenjuju po bruto dobiti za sat korištenja GPU-a, ekvivalent za zaposlenika mogao bi biti produktivan rad po dolaru inferencije.
