Pokretanje velikih jezičnih modela (LLM-ova) lokalno na računalu postalo je uobičajeno. To nije loša praksa jer je tako njihovo korištenje privatnije (ne morate ništa slati u računalni oblak), a i možete u njima raditi izvan mreže.

Pokretanje naprednih modela umjetne inteligencije na pametnim telefonima nije bilo tako jednostavno, ali smo došli do točke kad je većina mobitela dovoljno moćna, a neki od modela dovoljno mali i učinkoviti kako bi to bilo izvedivo.

Pogodnosti su iste kao i na stolnom računalu.

Dobivate LLM koji vam je uvijek dostupan i privatan, bez slanja podataka Googleu, OpenAI-ju, Anthropicu ili bilo kome drugome.

S druge strane, obrada upita će biti sporija i ograničenija zbog toga što imate posla s manjim i manje snažnim modelima, a moguće je i kako će vam prilično iscijediti bateriju.

Usprkos tome, lokalna umjetna inteligencija na mobitelu i dalje će biti više nego sposobna za svakodnevne zadatke i razgovore.

Kakav uređaj trebate?

Bilo koji iPhone ili uređaj s operativnim sustavom Android lansiran u posljednjih nekoliko godina trebao bi moći pokrenuti LLM lokalno.

Nije nemoguće kako će i stariji uređaji biti sposobni za to, ali možda ćete trebati manje modele i dobiti lošiju izvedbu.

Radna memorija (RAM) je zapravo važnija od performansi čipseta kada se radi o pokretanju AI modela. Trebat ćete šest gigabajta ili više. Za veće modele - osam GB ili više.

Ako imate manje od osam GB, držite se modela s oznakom 1-2B - taj B je za milijardu i odnosi se na broj parametara u modelu (u suštini, koliko će pametan i svestran biti).

Što se tiče prostora za pohranu, nemate previše razloga za brigu. Čak i najveći modeli koji koriste 7-8B trebat će oko pet GB.

Ako danas kupite novi vrhunski iPhone ili Android, doći će s predinstaliranim lokalnim AI modelima za brze zadatke koje je mobuće obaviti bez pristupa oblaku.

Međutim, ovi modeli koje su izradili Apple i Google nisu izravno dostupni vama, korisniku - uređaj ih koristi kada Siri AI i Gemini misle kako su najbolja opcija.

Kakav softver trebate?

Postoji nekoliko aplikacija pomoću kojih možete postaviti AI model na mobitel. Među najpopularnijma su Atomic Chat (Android | iOS) i PocketPal AI (Android | iOS).

Postoje neke razlike - lakše je proširiti Atomic Chat na LLM-ove za stolna računala, na primjer, dok je PocketPal AI malo lakši - ali oba su odlična za početak rada s lokalnom umjetnom inteligencijom na mobitelu.

Što se tiče samih modela - koje se ponekad naziva Small Language Models (SLM) jer su dizajnirani za rad u ograničenijim okruženjima - ima ih puno u ponudi.

Na primjer, Gemma je krovni naziv za modele otvorenog koda koje Google besplatno stavlja na raspolaganje, a neki od njih su posebno dizajnirani za rad u skučenim prostorima s manje resursa (poput vašeg mobitela).

Meta Platforms nudi modele otvorenog računalnog koda Llama, Microsoft modele Phi-4.

Potražite verzije s najmanjim brojem parametara ispred B (ili s 'mini' u nazivu) kako biste pronašli pakete koji će najbolje raditi s vašim mobitelom.

Trenutačno su ti SLM-ovi uglavnom samo tekstualni, iako neki od novijih, većih i naprednijih mogu analizirati slike i datoteke.

Za što koristiti SLM-ove?

Nakon što preuzmete instalirate nekoliko modela, obično je dovoljno jednostavno učitati ih i započeti s radom.

Aplikacije kao što je PocketPal AI mogu prilagoditi AI modele za vašu upotrebu. Upiti i praćenje funkcioniraju normalno, a vaša se povijest razgovora sprema prema zadanim postavkama.

Kao što smo već spomenuli, očekujte sporije odgovore u radu s LLM-ovima na mobitelu. Osim o specifikacijama vašeg uređaja, brzina rada ovisi i o veličini modela - manji bi trebali raditi brže.

Eksperimentirajte s nekoliko modela kako biste pronašli ono što vam najviše odgovara.

SLM-ovi će u pravilu najbolje poslužiti za razmišljanje o idejama, analizu i pročišćavanje postojećeg teksta, sastavljanje novog teksta i dobivanje brzih činjenica ili usporedbi.

Kao i inače, pripazite na te halucinacije i nemojte bezuvjetno vjerovati svemu što vam umjetna inteligencija servira, piše Life Hacker.