Kako potražnja za treniranjem AI modela poput ChatGPT-ja i Geminija raste, energetski trošak postaje novi globalni problem jer veliki podatkovni centri već sada troše onoliko energije koliko i manji gradovi. Ako se analogna računala pokažu dovoljno preciznima i skalabilnima, mogla bi postati ključni alat u borbi protiv energetske krize koju AI uzrokuje
Kako umjetna inteligencija troši sve više energije, znanstvenici vjeruju da bi rješenje moglo ležati u starom, ali ponovno oživljenom konceptu – analognim računalima.
Za razliku od digitalnih računala – prijenosnika, pametnih telefona i poslužitelja – koja pohranjuju i obrađuju podatke u obliku nula i jedinica, analogna računala rade s kontinuiranim veličinama, poput električnog otpora ili napona. To im omogućuje da obrađuju podatke mnogo brže i s manjom potrošnjom energije, no uz manju točnost, piše New Scientist.
vezane vijesti
Dva čipa koja rješavaju srž AI treninga
Tim pod vodstvom Zhong Suna s Pekinškog sveučilišta razvio je par analognih čipova koji rješavaju matematičke jednadžbe ključne za treniranje modela umjetne inteligencije, ali s preciznošću usporedivom s današnjim digitalnim računalima.
Prvi čip izračunava rješenje matričnih jednadžbi iznimnom brzinom, ali s pogreškom od oko jedan posto. Drugi čip zatim primjenjuje algoritam za iterativnu korekciju pogreške te u tri ciklusa smanjuje pogrešku na svega 0,0000001 posto, što je razina preciznosti koju postižu suvremena digitalna računala.
Za sada su čipovi sposobni rješavati matrice veličine 16x16 (256 varijabli), što znači da su primjenjivi na manje probleme. No, kako priznaje Sun, za treniranje velikih AI modela bile bi potrebne znatno veće strukture, možda čak milijun puta milijun varijabli.
Brži od Nvidijinih GPU-ova, uz 100 puta manju potrošnju
Unatoč tome, analogni čipovi imaju veliku prednost: vrijeme rješavanja ne raste s veličinom problema dok digitalna računala postaju sve sporija kako se matrice povećavaju. Prema Sunovim izračunima, čip veličine 32x32 mogao bi nadmašiti performanse Nvidijina H100 GPU-a, danas jednog od najmoćnijih za treniranje umjetne inteligencije.
U teoriji dodatno skaliranje moglo bi dovesti do tisuću puta veće brzine i sto puta manje potrošnje energije u usporedbi s današnjim digitalnim čipovima. No Sun upozorava da bi stvarni rezultati mogli biti skromniji jer analogni čipovi nisu univerzalni – specijalizirani su samo za određene vrste izračuna.
'Naš čip može raditi samo s matričnim jednadžbama', kaže Sun. 'Ako one čine većinu posla, ubrzanje će biti značajno. Ali ako ne, koristi će biti ograničene.'
Zbog tih ograničenja istraživači vjeruju da je najrealniji scenarij razvoj hibridnih čipova, GPU-ova koji će uključivati analogne sklopove za specifične zadatke, poput obrade matrica. Takvi sustavi mogli bi kombinirati najbolje od oba svijeta: preciznost i svestranost digitalne logike s brzinom i energetskom učinkovitošću analogne.
Profesor James Millen s londonskog King’s Collegea kaže da bi upravo takva rješenja mogla pomoći u smanjenju energetskih troškova treniranja AI-a, a oni su u posljednje dvije godine eksplodirali.
'Digitalna računala su univerzalna, mogu izračunati bilo što, ali ne nužno brzo i učinkovito', objašnjava Millen. 'Analogna su, s druge strane, dizajnirana za specifične zadatke i zato mogu biti nevjerojatno brza. Ovi čipovi pokazuju da bi se ključni proces, tzv. inverzija matrica, mogao obavljati mnogo brže i uz znatno manju potrošnju energije.'
