Svoju istraživačku karijeru LeCun je započeo kao student pariške Sorbonne, na kojoj je 1987. godine i doktorirao. Njegovo doktorsko istraživanje bilo je usko povezano s otkrićima Geoffreyja Hintona (dobitnik Nobelove nagrade za fiziku 2024. godine, o kojem smo pisali). U to su vrijeme mnogi znanstvenici smatrali da su neuronske mreže 'slijepa ulica' za umjetnu inteligenciju jer se vjerovalo da zbog ograničenja tadašnjih matematičkih modela i računalne snage neće biti moguće učenje višeslojnih mreža, što je nužno za rješavanje složenih problema poput prepoznavanja jezika ili vizualnih uzoraka.

Hinton i LeCun su, uz još nekoliko znanstvenika, kao potencijalno rješenje vidjeli algoritam s povratnim postupkom (engl. backpropagation) koji uspoređuje izlaz neuronske mreže s očekivanim rezultatom te, u skladu s ishodom, ažurira interne parametre mreže (težine).

Proces ažuriranja težina provodi se unatrag na način da se prvo ažuriraju težine izlaznog sloja, a potom, s informacijom o novim težinama izlaznog sloja, one neposredno prije njih i tako sve do težina prvog skrivenog sloja. Uvođenje ovog algoritma predstavljalo je prekretnicu u razvoju višeslojnih neuronskih mreža jer je omogućilo primjenu gradijentnog spusta i time znatno ubrzalo proces učenja.

Nakon doktorata LeCun je radio u Bell Labsu, tada istraživačkom laboratoriju američkog telekomunikacijskog diva AT&T-a. U tom je razdoblju, inspiriran modelom Neocognitron (1979. godine) Kunihika Fukushime, razvio LeNet (1989.), pionirsku arhitekturu konvolucijskih neuronskih mreža (engl. Convolutional Neural Networks, CNN) koje su se posebno istaknule u zadacima računalnog vida. LeNet je uveo nekoliko ključnih ideja koje su danas standard u arhitekturama CNN-a. Konvolucijski slojevi omogućili su mreži učenje uzoraka poput rubova i tekstura, a slojevima sažimanja (engl. pooling) smanjila se dimenzionalnost podataka istovremeno zadržavajući najvažnije informacije.

Svaki neuron u mreži reagirao je samo na mali, lokalni dio ulaza (npr. dio ulazne slike), što se naziva lokalno receptivno polje, a korištenje zajedničkih težina (engl. shared weights) omogućilo je da isti filtar pretražuje cijelu sliku, čime se značajno smanjio broj parametara. Učenje modela LeNet provodilo se prema prije spomenutom algoritmu s povratnim postupkom, a na njegovoj je arhitekturi temeljen i model koji je početkom 1990-ih obrađivao približno 10 posto svih čekova u SAD-u. Iako je u narednim godinama interes za duboke modele oslabio zbog ograničenih računalnih resursa i dostupnih podataka, LeNet je postavio temelje kasnijim popularnim arhitekturama poput AlexNeta (2012.), VGG-a (2014.) i ResNeta (2015.).

Nakon uspješne karijere u industriji, LeCun se 2003. godine zaposlio kao profesor računarstva na Courantovom institutu matematičkih znanosti Sveučilišta u New Yorku (NYU), jednom od vodećih centara za primijenjena matematička istraživanja u SAD-u, na kojem danas drži prestižnu poziciju silver professor.

Često kritizira moderne jezične modele

Od 2013. godine radi za Facebook, najprije kao voditelj istraživačkog tima, a od 2018. godine kao glavni znanstvenik za umjetnu inteligenciju. S te pozicije LeCun često kritizira moderne jezične modele, tvrdeći da oni, za razliku od ljudi, uče izrazito neefikasno jer trebaju ogromne količine podataka da bi postigli rezultate. Zato sve više ističe važnost razvoja modela koji su sposobni izgraditi bogatu unutarnju reprezentaciju stvarnog svijeta (njegovih pravila, uzročno-posljedičnih odnosa i fizikalnih zakonitosti) kako bi mogli predvidjeti što će se dogoditi u određenoj situaciji, testirati hipotetske scenarije i učinkovitije učiti.

Takve reprezentacije nazivaju se modelima svijeta (engl. world models). Prema LeCunovu mišljenju, to je ono što nedostaje današnjim autoregresivnim jezičnim modelima čiji je najpoznatiji predstavnik ChatGPT. Kao alternativu LeCun sa suradnicima istražuje pristupe kao što je Joint Embedding Predictive Architecture (JEPA), a on nastoji omogućiti učenje reprezentacija sposobnih za hvatanje dublje strukture i dinamike stvarnog svijeta.

LeCun se u Facebooku (danas Meta) snažno zalaže za pristup otvorenog koda (engl. open source). Inzistirao je na objavljivanju ne samo istraživačkih radova, nego i koda i modela, čime je ubrzao napredak cijelog područja. Pod njegovim je vodstvom razvijen PyTorch te je ubrzo postao standard za istraživanje i razvoj u dubokom učenju. Ta je politika otvorenosti posebno obilježila područje računalnog vida omogućujući stvaranje cijelog ekosustava metoda i modela kao što su Detectron2, Segment Anything Model i DINO, a kasnije je nastavljena i u području velikih jezičnih modela kroz otvorenu objavu obitelji Llama.

Za svoje doprinose u području dubokog učenja LeCun je, s Geoffreyjem Hintonom i Yoshuom Bengiom, 2018. godine nagrađen prestižnom Turingovom nagradom. Na kraju, za one koji se boje da će umjetna inteligencija uskoro pokoriti čovječanstvo, LeCun nudi riječi utjehe: 'Umjetna inteligencija na ljudskoj razini nije pred vratima. To će potrajati. I zahtijevat će nove znanstvene napretke za koje još ne znamo.'