Algoritmi ne prepoznaju ubistvo: Zašto je video iz Gradačca bio online tri sata

Manjkavost umjetne inteligencije, nedostatak osoblja, kao i druge brojne ograničavajuće okolnosti dovele su do toga da video ubistva žene u Gradačcu bude objavljen, ali i da ostane više od tri sata na Instagramu, smatraju stručnjaci digitalne i cyber sigurnosti koji su govorili za Radio Slobodna Evropa.

Algoritmi društvenih medija su notorno neučinkoviti, posebno za slike ili nepisani sadržaj, ocijenila je Caitlin Chin, stručnjakinja za tehnološku regulativu u Sjedinjenim Državama i inozemstvu iz Centra za strateške i međunarodne studije (CSIS).

Smatra da su posljedice objavljivanja i dugog zadržavanja videa ubistva žene iz Gradačca, iz Bosne i Hercegovine, strašne i da ukazuju na neophodne promjene unutar kompanije Meta.

Nizamu Hećimović ubio je bivši partner Nermin Sulejmanović u videu uživo na Instagramu.

Trebala su tri sata da ovaj video bude uklonjen, a računi Sulejmanovića blokirani. U međuvremenu, on je još jednom uživo na Instagramu govorio o ubistvima i pitao publiku da mu kaže koliko je tačno ljudi ubio.

Iz Mete, kompanije u okviru koje je i Instagram, za Radio Slobodna Evropa kažu da su uklonili video, poduzeli korake da spriječe moguće ponovno dijeljenje kopija i da pomažu bh. agencijama u istragama.

"Kada je u pitanju sadržaj uživo, koristimo AI klasifikatore da proaktivno identificiramo potencijalno kršeći sadržaj u liveu – kao što to činimo i drugdje na Facebooku i Instagramu – i odgovaramo na prijave naše zajednice", rekli su iz Mete.

Zašto je trebalo toliko vremena?

Međutim, stručnjakinja za tehnološku regulativu Chin kaže da su brojne ograničavajuće okolnosti dovele do toga da nasilni sadržaj prođe "filtere" Instagrama.

"Budući da ljudi koji su recenzenti često nisu u mogućnosti analizirati milijarde postova na društvenim mrežama, Instagram koristi algoritme za traženje napisanih ključnih riječi ili fraza.

Za nepisani sadržaj kao što su fotografije ili videozapisi, platforme društvenih medija će često koristiti softver koji automatski identificira sadržaj na slikama, na primjer, pištolj, automobil ili policija, a zatim će pokušati to pretvoriti u pisani tekst, što će algoritam naknadno skenirati."

Navodi i da platforme mogu pretvoriti govorni sadržaj u pisani tekst koji algoritmi mogu skenirati.

"Međutim, generalno gledano, trenutne tehnologije za analizu nepisanih slika su manje precizne nego za pisani tekst – ovo je oblast u kojoj sam softver jednostavno nije adekvatan", kaže Chin.

Na kraju, softver često ne pravi razliku između konteksta ili nijansi videa (na primjer, ako je scena nasilja isječak iz predstave ili filma ili pravi čin nasilja).

"Tako da su nam potrebni ljudski recenzenti da također pregledaju barem najozbiljnije videozapise koje su prijavili korisnici", rekla je Chin za RSE.

Claudio Agosti, osnivač Tracking Exposed platforme i sofvera za analiziranje algoritama društvenih mreža, kaže da slučaj videa iz Gradačca pokazuje kako je bilo koja vrsta umjetne inteligencije, a u ovom slučaju, prepoznavanje obrazaca, ustvari manjkava.

"Sadržaj koji će biti postavljen sutra je po definiciji novi, a umjetna inteligencija je istrenirana na onome što je ranije prikazivano."

Agosti pojašnjava da što je mehanizam upozorenja "labaviji", da će biti i više lažno pozitivnih rezultata.

"Recimo, da li ste znali da pješčane dine često znaju biti identificirane kao golo tijelo?

Dalje, navodi i da je proces moderacije skup, da se radi o velikom trošku, a da svaka kompanija mora da radi na optimizaciji.

"Optimizacija znači da se određeni sadržaj skenira površnije ili da se skenira kasnije."

"Naravno, čak i ako automatizirano skeniranje ne podigne uzbunu, moderatori mogu da interveniraju obradom kroz mehanizam prijava. No, čak i ljudski sistem ima cijenu i u ovom slučaju je trebalo tri sata da ih se konsultira."

Nedovoljno osoblja u Meti?

Chin iz CSIS-a kaže da bi jedan od uzroka problema mogao biti i nedostatak osoblja u tehnološkoj kompaniji.

"Meta je nedavno sprovela masovna otpuštanja, uključujući među svojim radnicima od povjerenja i sigurnosti. To znači da kompanija sada ima mnogo manje zaposlenih ljudi koji su zaduženi da pregledaju problematičan sadržaj – uključujući sadržaj koji korisnici Instagrama proaktivno označavaju i prijavljuju kompaniji", mišljenja je Chin.

Tu je i "jezički problem", smatra Chin, jer Meta posvećuje nesrazmjerno značajan dio moderiranju sadržaja na engleskom jeziku.

"Na ovom Instagram videu uživo u Bosni pretpostavljam da je ubica govorio na 'neengleskom' jeziku. Ali, ova strašna tragedija otkriva koliko je problematično zanemariti bosanski i druge neengleske jezike. Svaka platforma društvenih medija s ovolikim dosegom i popularnošću u zemlji mora imati snažnu radnu snagu za moderiranje sadržaja koja može razumjeti i brzo odgovoriti na lokalni jezik, a Meta u ovoj oblasti ne uspijeva", ocjenjuje Caitlin.

Agosti kaže da bi slikovito prikazano nasilje ili ponašanje trebalo biti neovisno o jeziku.

"Jezička barijera je važnija kada je riječ o dezinformacijama ili govoru mržnje, a sigurno je da određeni jezici imaju veće koristi od investicija no drugi. Poznato je da je ovo jedan od efekata digitalnog kolonijalizma u regionima u kojima države imaju manje utjecaja protiv stranog digitalnog monopola", kaže Agosti.

Iz Mete kažu da su video iz Gradačca označili kao sadržaj koji pokazuje nasilje s višestrukim žrtvama te da će ukloniti svaki sadržaj koji veliča počinitelja ili napad jer su dodali verzije videozapisa u bazu podataka sadržaja koji krši pravila "što nam pomaže da otkrijemo i automatski uklonimo kopije ako se ponovo učitaju".

Deseci profila i dalje dijele video na TikToku

Saša Petrović, inspektor u odjelu za borbu protiv cyber sigurnosti Federalne uprave policije, kaže da deseci TikTok računa dijele video ubistva.

"Policijske agencije iz BiH imaju linkove prema Meti i ostalim društvenim mrežama, imaju opcije zamrzavanja podataka, banovanja korisnika… Dobio sam odobrenje policije iz Tuzle u petak, 11. augusta, i obratio sam se administratoru Mete. Za nekih 20-ak minuta je taj video uklonjen, kao i nalog", kaže za RSE Petrović.

S druge strane, kaže, da on lično nema vezu s administratorima TikToka i da ne može djelovati u tom pravcu.

Ono što je najavilo Federalno ministarstvo unutrašnjih poslova jeste evidentiranje osoba koje su na bilo kojoj društvenoj mreži veličale počinitelja i ubistva koja je počinio.

"Kolege koje rade u FUP-u prikupljaju informacije o svim korisničkim računima, i ovima na TikToku koji dijele video, ako dobijemo dozvolu iz MUP-a i Tužilaštva, onda ćemo krenuti u pribavljanje podataka o korisnicima i sankcioniranje", kaže inspektor.

Smatra da bi moglo da se govori o krivičnom djelu poticanje na ubistvo ili prekršaju javnog reda i mir, ali da o tome svakako treba odlučiti postupajući tužitelj nakon istrage.

Ministarstvo unutrašnjih poslova Tuzlanskog kantona provodi istragu nakon trostrukog ubistva, te pokušaja ubistva tri osobe u Gradačcu, na sjeveru BiH. Nermin Sulejmanović je ubio partnericu koja ga je nekoliko dana ranije prijavila policiji zbog nasilja. Istražuju se i osobe koje su u prijenosu uživo podržavale Sulejmanovića.

Dvije dimenzije, ljudska i tehnička

Darko Obradović iz Centra za stratešku analizu u Beogradu kaže da, osim tehničke dimenzije, algoritma koji bi trebao prepoznati određeni sadržaj koji je u skladu s uvjetima korištenja, a koji je eksplicitno zabranjuje nasilje, nasilne scene, postoji i ljudski, socijalni.

"A on nam kaže da smo svi otupeli i izgubili osnovne vrednosti bezbednosne kulture gde je svima daleko dragocenije da snimak podele, da snimak pogledaju umesto da, na primer, pozovu policiju i kada se ukrste te dve dimenzije onda dobijamo nešto što se zove izvršenje zločinačkog plana na koji niko nije reagovao", kaže Obradović.

Smatra da na Balkanu nedostaje samosvijesti te da većina ljudi ima visoku toleranciju na nasilje.

"Ima onaj meme koji pokazuje da kad se jedan čovek davi, svi ostali snimaju za društvene mreže. Ne prepoznajemo rane znakove upozoravanja i ovde nije toliko problem u društvenoj mreži, koliko je problem o samim korisnicima", smatra Obradović.

Nemoguće reagirati u trenutku dok se dešava

"Ubeđenja sam da nije bilo moguće u brzom vremenskom periodu reagovati i ukloniti taj sadržaj", kaže za RSE Miloš Jovanović iz OpenLink grupe iz Beograda, agencije koja pruža usluge razvoja i edukacije u oblastima Informaciono-komunikacionih tehnologija.

"Vi aktivirate određenu opciju za prenos uživo video snimka, to se snima, prenosi itd. već u tom momentu ljudi u realnom vremenu vide šta vi radite. E sad, kad se završi snimanje, taj snimak ostane i u konkretnom slučaju bilo je potrebno nekom nekoliko minuta ili dva-tri sata da pogleda o čemu se radi i da to ukloni. Znači, to je ipak neka manuelna aktivnost koja morala biti da kažem, sprovedena, da bi se taj snimak uklonio", kaže Jovanović.

Smatra da će proći još nekoliko godina da bi ovakve stvari mogle biti spriječene u realnom vremenu.

"Ovdje se postavlja pitanje, da kažem, korištenja društvenih mreža u takve svrhe, zato što je on imao publiku, imao je dosta ljudi koji će to vidjeti. Ali u tehnološkom smislu svako može ovo da uradi", zaključuje Jovanović.

(Ne)naučeno iz ranijih slučajeva nasilja uživo?

Nakon terorističkog napada u Christchurchu 2019. godine, kada je napadač ubio 51 osobu u dvije džamije na Novom Zelandu i dio napada prenosio uživo na Facebooku, Meta je imala nekoliko ažuriranja kako bi ograničila korištenje live opcije na nedozvoljen način.

"Od maja 2019., svakome ko prekrši naša najstrožija pravila zabranjeno je korištenje uživo u određenim periodima – na primjer 30 dana – počevši od prvog prekršaja. Ova politika se također primjenjuje na Instagram live", rekli su iz Mete.

Za Caitlin Chin iz CSIS-a, najveća lekcija iz prošlosti jeste to koliko izazovno i posljedično može biti moderiranje online sadržaja.

"Iako je nasilje postojalo prije Instagrama, društvene mreže daju ubicama mnogo moćniji način da veličaju svoje postupke i nanose dodatne traume drugima. Vidjeli smo da brojni korisnici objavljuju štetne sadržaje na platformama društvenih medija – uključujući prijenose uživo poput masakra u Christchurchu 2019., koji je postao viralan na Facebooku prije nego što je konačno uklonjen", kaže Chin.

Ocjenjuje da su zakonodavci širom svijeta uključeni u napore da spriječe štetni sadržaj online, ali vrlo je teško nametnuti stroge mjere o tome kako kompanije reguliraju sadržaj, a da pritom ne ulaze u domen slobode govora.

Suradnja na tekstu: Una Čilić, Marija Augustinović, Melisa Teletović