Zabrana bi se mogla početi primjenjivati već ovog ljeta, a potaknuta je skandalom oko AI alata Grok, integriranog u platformu X, koji je korisnicima omogućio masovno generiranje lažnih golih fotografija stvarnih ljudi, piše Politico.

Prema prijedlogu koji bi veleposlanici država članica EU-a trebali odobriti u petak, bilo bi nezakonito na europskom tržištu nuditi sustave umjetne inteligencije koji generiraju seksualizirane slike, videozapise ili audiozapise stvarnih osoba bez njihova pristanka. Istodobno su zastupnici u Europskom parlamentu u srijedu na odvojenim pregovorima podržali uvođenje takve zabrane.

Milijuni spornih slika

Rasprava o zabrani intenzivirala se nakon što je krajem 2025. godine Grokova mogućnost generiranja slika postala viralna. Korisnici su pomoću tog alata masovno stvarali lažne fotografije stvarnih ljudi u donjem rublju ili kupaćem kostimu ili potpuno golih, uključujući slike djece.

Prema procjenama organizacija civilnog društva, chatbot je u 11 dana prije ograničavanja te funkcije generirao čak tri milijuna seksualiziranih slika bez pristanka osoba te oko 20.000 slika seksualnog zlostavljanja djece. Platforma X potom je uvela ograničenja – najprije 9. siječnja, a zatim dodatne mjere 14. siječnja – da bi spriječila širenje takvog sadržaja.

Iz tvrtke su tada poručili da ostaju predani sigurnosti korisnika i imaju 'nultu toleranciju prema seksualnom iskorištavanju djece, neovlaštenoj golotinji i neželjenom seksualnom sadržaju'. Unatoč tim mjerama, Europska komisija trenutačno istražuje jesu li zaštitni mehanizmi koje je X uveo bili dovoljni.

Promjena pristupa regulaciji AI-a

Zabranu aplikacija za tzv. AI digitalno razodijevanje prvi je sredinom siječnja zatražilo više desetaka europskih zastupnika. Europski zakonodavci sada žele takvu zabranu uključiti u izmjene postojećeg europskog okvira za regulaciju umjetne inteligencije.

Zanimljivo je da je prijedlog koji je Europska komisija predstavila u studenom prvotno imao suprotan cilj – smanjiti regulatorni teret za AI kompanije i ublažiti dio pravila. No nakon otkrića da su korisnici Groka masovno 'razodijevali' žene i djecu na fotografijama tema je postala prioritet u europskim institucijama.

Prema najnovijem nacrtu teksta, zabranili bi se AI sustavi koji mogu generirati slike, video ili audiosadržaje 'intimnih dijelova tijela ili seksualno eksplicitnih radnji identificirane osobe bez njezina pristanka'. U pregovorima se istaknula Španjolska jer je snažno gurala zabranu.

No postoji jedna važna iznimka: zabrana se ne bi primjenjivala na tvrtke koje imaju učinkovite sigurnosne mehanizme što sprječavaju generiranje takvog sadržaja i onemogućuju zloupotrebu.

Tekst još nije konačan. Nadležni odbori Europskog parlamenta trebali bi o njemu glasati 18. ožujka, nakon čega slijede pregovori između Parlamenta i država članica kako bi se dogovorila konačna verzija zakona. Europski parlament u međuvremenu je pozvao Europsku komisiju da dodatno ispita mjere zaštite građana od manipuliranih i AI-em generiranih digitalnih sadržaja, uključujući slike, audiozapise i videozapise.

'Ono što je nekome možda šala od deset sekundi može ostaviti trajne posljedice za žrtvu', upozorila je nizozemska europarlamentarka Kim van Sparrentak, pozivajući na potpunu zabranu takvih aplikacija.