Dronovi se već masovno koriste u ratu u Ukrajini, a umjetna inteligencija sve se češće primjenjuje u vojnim operacijama, uključujući analizu podataka i pomoć pri odabiru ciljeva. Kako vojske diljem svijeta ubrzano razvijaju autonomne sustave naoružanja, raste i pritisak da se odgovori na pitanje mogu li takvi sustavi jednog dana djelovati bez izravnog ljudskog nadzora. O toj je temi tportal nedavno razgovarao sa stručnjakom.

Posljednjih mjeseci sve više vojnih dužnosnika i predstavnika obrambene industrije otvoreno govori o potrebi povećanja autonomije oružanih sustava. To pak otvara složenu etičku dilemu: može li se stroju usaditi moralni okvir koji bi mu omogućio donošenje odluka kakve danas donose ljudi?

Prošle godine je Mustafa Suleyman, izvršni direktor Microsoftova odjela za umjetnu inteligenciju i jedan od suosnivača britanskog DeepMinda, zauzeo jasan stav: 'Umjetne inteligencije ne mogu biti ljudi – niti moralna bića.'

No ne slažu se svi s njime.

David Omand, bivši direktor britanske obavještajne agencije GCHQ, izjavio je za Guardian kako vjeruje da je moguće razviti svojevrsnu 'moralnu' konfiguraciju za autonomne sustave naoružanja, a nedavno je britanski ministar za oružane snage Al Carns za Financial Times izjavio da bi u određenim situacijama trebala postojati mogućnost da se 'čovjek ukloni iz procesa donošenja odluka'.

Takve izjave usmjerile su pozornost na pitanje može li se moralnost uopće programirati u autonomno oružje.

Umjetna inteligencija ne razmišlja kao čovjek

Zee Talat, stručnjak za strojno učenje sa Škole za informatiku Sveučilišta u Edinburghu, smatra da veliki jezični modeli – tehnologija na kojoj se temelje moderni generativni AI sustavi poput chatbotova – jednostavno nisu sposobni donositi moralne odluke.

Takvi sustavi trenirani su na golemim količinama podataka na temelju kojih grade statističke modele za predviđanje najvjerojatnije sljedeće riječi ili rečenice. Prema Talatu, to nema mnogo veze s načinom na koji ljudi donose moralne i etičke odluke, čak i kada bi model imao pristup svim filozofskim djelima koja je čovječanstvo ikada napisalo.

'Ako imate stroj koji je po svojoj prirodi probabilistički, on će težiti najvjerojatnijem odgovoru u određenoj situaciji. No slijedi li moralnost logiku vjerojatnosti?' ističe Talat.

On je nedavno sudjelovao u izradi znanstvenog rada u kojem autori tvrde da je etičko vrednovanje 'otvoren, raspravi podložan sociopolitički proces' s kojim umjetna inteligencija ne može držati korak.

Slično razmišlja i Andrew Rogoyski iz Instituta za umjetnu inteligenciju usmjerenu na ljude pri Sveučilištu Surrey.

Iako priznaje da su AI sustavi od pojave ChatGPT-ja 2022. godine postali znatno sofisticiraniji, osobito pojavom tzv. modela za zaključivanje (reasoning models), upozorava da ostaje pitanje mogu li oni replicirati nijanse ljudskog moralnog prosuđivanja. 'Moralnost je duboko složena, predmet je stalnih prijepora, oblikovana kulturom i nešto što većina ljudi nikada do kraja ne razriješi ni sama sa sobom', kaže Rogoyski, dodajući:

'Možda je pravo pitanje razumijemo li mi sami moralnost dovoljno dobro da bismo je mogli kodificirati. Dok to ne uspijemo, ne možemo očekivati da će strojevi utjeloviti nešto što ni sami ne možemo jasno definirati.'

Čiju bismo moralnost uopće programirali?

Čak i kada bi se pokazalo da je moguće razviti moralni okvir za autonomne sustave, pojavljuje se novo pitanje: čija bi moralna pravila oni slijedili?

Jessica Dorsey, docentica međunarodnog prava na Sveučilištu Utrecht u Nizozemskoj, upozorava da je upravo to jedan od najvećih problema. 'Kada govorimo o programiranju moralnosti za dronove, moramo se zapitati čiju bi moralnost oni slijedili', ističe.

Osim toga, Ujedinjeni narodi još uvijek nisu postigli globalni konsenzus o regulaciji autonomnog oružja.

Dorsey upozorava i na praktične probleme koji proizlaze iz međunarodnog humanitarnog prava. Primjerice, članak 57. Ženevskih konvencija propisuje da sudionici sukoba moraju učiniti 'sve što je izvedivo' kako bi potvrdili da ciljevi napada nisu civili ili civilni objekti, već legitimni vojni ciljevi.

Kako takvu procjenu prenijeti na algoritam?

'Ako pogrešno postavite pravila, riskirate da umjetna inteligencija počne ponavljati pogrešne odluke u velikim razmjerima kada se takvi sustavi masovno rasporede', upozorava Dorsey, dodajući: 'Rat je pun nepredvidivih okolnosti i sigurno je da će stvari krenuti po zlu. A kada se to dogodi brzinom umjetne inteligencije, vrlo je teško kasnije razmrsiti što se zapravo dogodilo.'

Unatoč etičkim dvojbama, dio stručnjaka vjeruje da će veća autonomija vojnih sustava postati neizbježna.

Nicholas Wright, neuroznanstvenik i autor knjige 'Warhead', smatra da će moderne vojske teško moći konkurirati tehnološki naprednim protivnicima bez velikog broja sustava koji samostalno donose odluke. 'Želi li se neka vojska učinkovito nositi s drugim naprednim vojskama, trebat će velik broj sustava koji će morati samostalno donositi odluke', smatra Wright.

Premda su autonomni dronovi još uvijek relativno nova tehnologija, njihov razvoj ubrzano napreduje. Više od stotinu startupova u SAD-u i Europi trenutačno razvija softverske platforme za njihovo upravljanje, a riječ je o sustavima koji obuhvaćaju sve – od malih izviđačkih dronova za nadzor i snimanje do većih letjelica sposobnih nositi naoružanje.

'Moralnost pripada ljudima'

Među samim proizvođačima takvih sustava ne postoji jedinstven stav o tome koliko bi autonomije trebalo prepustiti strojevima.

'Moralnost pripada ljudskim bićima i zato sustavi naoružanja koji koriste umjetnu inteligenciju moraju biti razvijeni tako da proširuju sposobnost prosuđivanja i odlučivanja operatera, a ne da ga u potpunosti zamijene', kaže Olaf Hichwa, suosnivač američkog startupa Neros.

Prema njegovu mišljenju, dronovi neće zamijeniti ljude kao donositelje odluka, već će povećati njihove mogućnosti. 'Puno ljudi pogrešno promatra autonomiju jer je ne gledaju iz perspektive korisnika. Oni govore: stvorimo potpuno autonomne sustave naoružanja. Ali stvarnost ratovanja i dalje je prije svega interakcija čovjeka s čovjekom', ističe.

Kao primjer navodi FPV dronove (first-person view), male letjelice koje su postale jedno od najvažnijih oružja u ratu u Ukrajini jer svojim operaterima putem videoveze prenose sliku s bojišta u stvarnom vremenu.

Umjetna inteligencija mogla bi preuzeti dio zadataka tijekom završne faze misije. 'Jedan primjer autonomije bio bi da čovjek zada opći smjer kretanja, a dron samostalno slijedi zadanu putanju. Danas piloti moraju proći vrlo zahtjevnu obuku da bi precizno upravljali dronom pod odgovarajućim kutom, a dio tog tereta mogla bi preuzeti umjetna inteligencija', objašnjava Hichwa.

Budućnost u kojoj čovjek određuje zonu, a stroj bira mete

Jon Gruen, izvršni direktor tvrtke Fortem Technologies, koja razvija sustave za obranu od dronova, smatra da je rasprava o autonomiji dijelom zastarjela jer se takvi sustavi već koriste.

Ističe da američka vojska danas raspolaže autonomnim obrambenim sustavima za presretanje dronova i projektila. 'Kada nešto otkrijete, morate ga identificirati, a ta se identifikacija danas uglavnom obavlja autonomno', kaže Gruen. Dodaje da se ista tehnologija može koristiti i za lansiranje projektila te njihovo navođenje prema cilju.

Možda najkontroverzniji scenarij iznio je Alex Fink, izvršni direktor američko-ukrajinskog startupa Swarmer koji razvija softver za autonomne dronove. Prema njegovoj viziji, ljudi u budućnosti možda više neće odobravati pojedinačne mete, već će definirati takozvanu zonu uništenja (kill box) u kojoj će autonomni sustav samostalno birati ciljeve.

'Čovjek potvrđuje da se na tom području ne nalaze prijateljske snage i jamči da ih ondje neće biti sljedećih 15 minuta. Svako vozilo u tom području unaprijed je odobreno kao cilj tijekom tog vremenskog razdoblja', objašnjava Fink i dodaje: 'Ako je čovjek spreman preuzeti odgovornost za procjenu da na tom području neće biti civila ni prijateljskih snaga, onda je moguć takav tip misije.'

Dakle, premda tehnologija autonomnih sustava brzo napreduje, politički, pravni i moralni konsenzus o njezinoj upotrebi još uvijek ne postoji.