Umelá inteligencia môže byť aj vážnou kybernetickou hrozbou

Článok vznikol v spolupráci s klientom SYNCHRONIX.

O príležitostiach, ale aj hrozbách umelej inteligencie, regulačnom prostredí v EÚ a praktických skúsenostiach sme sa rozprávali s Jánom Kratkom, riaditeľom divízie riadenia IT služieb a infraštruktúry spoločnosti SYNCHRONIX a odborníkom na umelú inteligenciu a kybernetickú bezpečnosť.

Mnohé firmy dnes implementujú alebo plánujú nasadiť AI priamo do svojich informačných systémov. Aké riziká to so sebou prináša?

Pri umelej inteligencii sa treba pozerať na dva základné scenáre.

Prvým je používanie všeobecných cloudových AI nástrojov, ako sú ChatGPT, Mistral či podobné riešenia. Druhým je implementácia vlastnej AI infraštruktúry, kde organizácia využíva modely cez vlastný prístup a vo vlastnom prostredí.

V oboch prípadoch ide o relatívne novú technológiu, s ktorou majú firmy len minimálne skúsenosti – a rovnako nové sú aj riziká, ktoré prináša z pohľadu bezpečnosti a regulácií. Organizácie si často neuvedomujú reálny dopad týchto technológií na ochranu dát, pretože ich zavádzajú primárne z biznisových dôvodov, bez hlbšej analýzy dôsledkov.

Znamená to, že AI sa nasadzuje rýchlejšie, než sa nastavujú pravidlá?

Presne tak – a práve v tom vidím jedno z najväčších rizík.

Požiadavka na nasadenie AI často prichádza „zhora“, ako strategická alebo biznisová potreba manažmentu. To je pochopiteľné, no zároveň sa pritom zabúda na definovanie jasných pravidiel, zodpovedností a bezpečnostných opatrení.

AI je dnes veľmi populárna téma, všetci o nej hovoria, ale realita je taká, že len málokto presne vie, ako ju správne a bezpečne používať v praxi.

Čo konkrétne tým myslíte?

Pri konzultáciách sa často stretávam s obavou manažmentov, že ak nezačnú AI okamžite používať, vznikne im konkurenčná nevýhoda. Vzniká pocit, že „všetci ostatní už AI majú“, digitalizujú procesy a zvyšujú efektivitu.

Následne prichádza tlak na rýchlu implementáciu bez toho, aby si organizácia dôkladne zanalyzovala svoje procesy a odpovedala si na základné otázky:

Čo vlastne chceme pomocou AI riešiť? Ktoré procesy má AI podporovať? Aké dáta na to použijeme a kde sa tieto dáta nachádzajú?

Používanie verejného AI nástroja cez webový prehliadač je skôr osobný asistent zamestnanca. Skutočná pridaná hodnota vzniká až vtedy, keď organizácia pracuje so svojimi vlastnými dátami, má nad nimi kontrolu a model cielene trénuje pre svoje potreby.

Aký je teda hlavný rozdiel medzi používaním verejných AI nástrojov a vlastným AI riešením?

Rozdiel je zásadný – a to najmä z pohľadu bezpečnosti dát.

Ak zamestnanci používajú verejné AI nástroje, všetky vstupy, dokumenty a zadania odchádzajú mimo organizácie, na cudzie servery. Firma pritom nemá reálnu kontrolu nad tým, aké dáta sa odosielajú ani ako sú ďalej spracovávané.

Môže ísť o interné dokumenty, zmluvy, zápisy z porád či iné citlivé informácie. Firmy pritom investujú veľké prostriedky do ochrany dát – šifrujú disky, zabezpečujú notebooky, chránia e-mailovú komunikáciu – a pri AI na tieto pravidlá akoby zabúdali.

Spomínali ste regulované dáta. Čo si pod tým máme predstaviť?

Regulované dáta sú údaje, ktoré je organizácia povinná chrániť zo zákona. Typicky ide o osobné údaje, zdravotné údaje, finančné informácie či dáta kritickej infraštruktúry.

Pre banky, poisťovne, zdravotnícke zariadenia alebo právne kancelárie je ochrana týchto dát absolútne kľúčová. Práve preto má vlastná AI infraštruktúra zásadnú výhodu – organizácia má dáta pod kontrolou, nikam ich neposiela a zároveň vie AI trénovať presne podľa svojich potrieb.

Viete to ilustrovať na konkrétnom príklade?

Napríklad v poisťovníctve dokáže AI po správnom natrénovaní veľmi efektívne identifikovať podozrivé alebo fingované poistné udalosti.

AI automaticky vyhodnocuje vzory správania, anomálie a nezrovnalosti. Pravidlá stále nastavujú ľudia, no samotná analýza prebieha výrazne rýchlejšie a presnejšie.

Dôležité je, že všetky dáta zostávajú v rámci organizácie a AI je prispôsobená konkrétnemu prostrediu.

Vytvárate AI riešenia úplne od nuly?

Nie, to by v našich podmienkach nebolo reálne.

Vždy sa vychádza z existujúcich, predtrénovaných modelov, ktoré sa následne dotrénujú na vlastných dátach klienta. Trénovanie AI od úplného začiatku by si vyžadovalo enormné finančné a technické zdroje – hovoríme o stovkách miliónov eur.

Ako by mali firmy postupovať, aby sa vyhli rizikám?

Základom je AI governance – teda jasne definovaný rámec, ktorý popisuje:

• aké AI systémy organizácia používa,
• aké dáta spracúvajú,
• aké riziká sú s nimi spojené,
• aké bezpečnostné opatrenia sú zavedené.

Súčasťou je aj testovanie spoľahlivosti AI, bezpečnostné scenáre a jasné pravidlá používania.

Ako dlho trvá implementácia AI riešenia?

Je to individuálne, no spravidla sa začína analytickou fázou, ktorá trvá približne 2 až 3 mesiace. Až následne prichádza samotná implementácia.

Čo je EU AI Act a čo znamená pre firmy?

EU AI Act vstúpil do platnosti v auguste 2024.

Od februára 2025 už platia zákazy určitých typov AI systémov. Pravidlá pre generatívne a všeobecné AI modely nadobudli účinnosť od augusta 2025 a pre vysoko rizikové systémy platí prechodné obdobie do rokov 2026 – 2027.

Firmy v regulovaných odvetviach musia mať zdokumentované postupy, pravidlá a spôsob, akým AI používajú – aj keď ju ešte nemajú plne implementovanú.

Čomu by sa mali organizácie pri nasadzovaní AI vyhnúť?

Najväčšou chybou je živelné a nepremyslené nasadenie.

AI treba riešiť systematicky – od klasifikácie systémov, cez dokumentáciu a riadenie rizík až po súlad s reguláciami.

AI je ako veľmi šikovný nový kolega. Ak mu však nenastavíte jasné hranice a pravidlá, môže spôsobiť viac problémov než úžitku.