Znanstvenici su razvili AI model koji iz snimki magnetske rezonance mozga može rekonstruirati slike koje je osoba gledala, i to s većom preciznošću nego raniji sustavi. Tehnologija bi jednog dana mogla pomoći ljudima s teškim oblicima paralize u komunikaciji, ali otvara potpuno novo pitanje privatnosti misli.

Model nazvan Brain-IT razvili su istraživači s Weizmannova instituta za znanost u Izraelu. Temelji se na takozvanom Brain Interaction Transformeru (BIT), koji povezuje aktivnost mozga sa sadržajem promatrane slike.

'Danas već postoje modeli koji danas mogu pretvoriti aktivnost mozga u slike, ali često griješe u osnovnim značajkama poput kompozicije i boje', rekao je Michal Irani, voditelj laboratorija koji je razvio model.

Model uči iz relativno malo podataka

Jedan od problema kod ovakvih sustava je nedostatak podataka. Za treniranje AI modela potrebne su MR slike mozga povezane sa slikama koje su ljudi u tom trenutku gledali. Istraživači su zato koristili Natural Scenes Dataset koji sadrži podatke samo osam osoba koje su tijekom snimanja mozga gledale tisuće različitih slika. Ukupno je dostupno oko 73.000 slika, što nije velik skup podataka za ovakav tip AI sustava, piše Popular Mechanics.

Brain-IT zato ne radi samo u jednom smjeru. Može rekonstruirati sliku na temelju MR snimke, ali može napraviti i suprotno - predvidjeti kako bi MR snimka trebala izgledati na temelju same slike. Istraživači su taj pristup iskoristili za stvaranje dodatnih podataka. Model može uzeti sliku koju osoba nikada nije gledala u skeneru, predvidjeti aktivnost mozga koju bi ta slika izazvala, a zatim iz te predviđene aktivnosti ponovno rekonstruirati početnu sliku.

Mozak podijeljen na 40.000 'piksela'

Brain-IT mozak predstavlja kroz oko 40.000 voksela, odnosno trodimenzionalnih jedinica sličnih pikselima. Za svaki od njih model bilježi kako reagira na promatranu sliku. Na taj način sustav uči povezivati moždanu aktivnost s obilježjima poput boje i položaja objekta te prepoznaje, primjerice, vidi li osoba lice ili sendvič.

Istraživači su tako identificirali 128 područja mozga povezanih s obradom vizualnih informacija, uključujući i neka koja ranije u tom kontekstu nisu bila prepoznata. Tehnologija predstavlja nastavak više od desetljeća istraživanja dekodiranja moždane aktivnosti. Sustavi razvijeni ranije mogli su prepoznati objekt koji osoba gleda, ali su rekonstruirane slike bile vrlo nejasne. Kasniji eksperimenti koristili su generativne modele poput Stable Diffusiona, no za rekonstrukciju su im bili potrebni i tekstualni opisi slika.

Od komunikacije do čitanja snova?

Jedna od mogućih primjena Brain-IT-ja jest komunikacija za osobe s teškom paralizom. Sustav bi mogao pomoći u pretvaranju moždane aktivnosti u vizualne informacije koje osoba želi prenijeti. Istodobno, istraživači ističu i mogućnost korištenja modela za bolje razumijevanje načina na koji mozak obrađuje slike. Promjenom ulaznih slika moguće je uspoređivati kako se mijenjaju predviđene MR snimke i tako proučavati način na koji mozak reagira.

No, od rekonstrukcije slika koje osoba svjesno gleda do čitanja snova još je vrlo dug put. Jedan od najvećih problema je video - dok se u videu svake sekunde može izmijeniti deseci slika MR skener trenutačno prikuplja podatke otprilike svake dvije sekunde. Irani smatra da bi, ako se takva ograničenja jednog dana prevladaju, AI mogao dobiti mogućnost rekonstrukcije sadržaja snova.