Hrozby spojené s technológiami umelej inteligencie

Aplikovaná umelá inteligencia sa stáva jedným z najväčších technologických pokrokov súčasnej doby. S jej veľkým potenciálom však prichádzajú významné obavy ohľadom možného zneužitia, ale aj nezamýšľaných dôsledkov pri jej nasadzovaní. Preto sa musíme zamerať na riziká, ktoré z používania umelej inteligencie vyplývajú.

Čo je to umelá inteligencia ?

AI (Artificial Intelligence) alebo UI (umelá inteligencia) je systém, ktorý umožňuje vykonávať úkony, poprípade robiť rozhodnutia pri ktorých je typicky potrebná ľudská inteligencia. AI ako vedný odbor zahŕňa vytváranie algoritmov alebo modelov, ktoré umožňujú počítačovým zariadeniam interpretovať dáta a učiť sa z nich, rozpoznávať vzory, prispôsobiť sa novým informáciám, alebo situáciám a vykonávať ďalšie činnosti, ktoré by bolo obtiažne popísať exaktným algoritmom.

AI má širokú škálu aplikácií ako napríklad: automatizované spracovanie multimediálneho obsahu, rozhranie človek-stroj (napr. hlasové ovládanie), robotika, kybernetická bezpečnosť a mnohé iné.

ML (Machine Learning, strojové učenie) je podkategória AI. Algoritmy a techniky ML umožňujú počítačom učiť sa z dát a robiť rozhodnutia bez toho, aby boli špeciálne programované na tento účel. Odvetvie využíva matematické modely vytvorené  na základe tréningových dát.

Známe produkty ChatGPT alebo Bard sú príkladom umelej inteligencie, ktorá používa strojové učenie na pochopenie a generovanie odpovedí na ľudské dopyty.

Generative AI (generatívna umelá inteligencia) je poddruh umelej inteligencie, ktorá zahŕňa tvorbu nového textového, obrazového, zvukového, alebo aj audiovizuálneho obsahu, napríklad:

• Vizuálne generatívne AI
• Tvorba obrázkov: vie tvoriť až fotorealistické obrázky, ako tváre, pozadia alebo aj úplne unikátne objekty, ktoré v skutočnom svete neexistujú
• Tvorba videí
• Zmena štýlu: úprava existujúcich obrázkov či videí
• Text
• Generovanie textu: Jazykové generatívne modely vedia byť natrénované, aby generovali ucelený a kontextovo relevantný text, ktorý má využitie pri chatbotoch, tvorení obsahu alebo pri preklade textu
• Generovanie zdrojového kódu, dátových dopytov, textových reprezentácií dát v rôznych formátoch,…
• Audio a audiovizuálna generácia
• Multi-modálne AI: spracovanie a generovanie viacerých typov médií jedným modelom (napr. automatické titulkovanie videa)

Hrozby

Falošné AI produkty

Jedna z hrozieb pramení z popularity AI. Hrozba spočíva v tom, že podvodníci zneužijú značku známej spoločnosti a jej AI produktu. Vytvoria reklamu či webové stránky, odkazujúce na túto značku. Takéto podvodné stránky vás navedú na stiahnutie rôznych súborov v domnienke, že si sťahujete legitímny AI produkt, no v skutočnosti si stiahnete malvér, čím ohrozíte svoje dáta. Tieto podvodné kampane sa často objavujú na sociálnych sieťach ako Facebook – ľudia sa na nich radi zapájajú do diskusií či zdieľajú samotnú reklamu, čím podvodníkom zvyšujú dosah.

Pri AI produktoch odporúčame zvýšenú pozornosť, overovanie histórie stránky na       sociálnych sieťach, poprípade čítanie si recenzií na daný produkt od iných užívateľov.

Únik informácií, odovzdaných modelu

Z dôvodu technologickej náročnosti sú veľké jazykové modely typicky poskytované ako online služba. Podmienky použitia obvykle hovoria, že dáta zadané používateľmi môžu byť využité na ďalšie trénovanie modelu. Preto sa treba, podobne ako pri ľubovoľnej inej online službe tretej strany, vyhnúť zadávaniu citlivých informácií. Bezpečnostní výskumníci boli v minulosti schopní správnymi dopytmi takéto informácie získať.

Tvorba malvéru s pomocou AI

Ďalšou potencionálnou hrozbou je využitie AI na tvorbu škodlivého kódu, aj keď dnešné jazykové modely nie sú schopné vygenerovať komplexný škodlivý kód. V rukách skúseného útočníka by však jazykový model vedel napomôcť v efektívnejšej tvorbe škodlivého kódu. Jazykové moduly ako ChatGPT majú implementované bezpečnostné opatrenia, ktoré by mali znemožniť používateľom vytvorenie škodlivého kódu. Skúsenejší používatelia sú schopní použiť rafinované techniky na obídenie týchto bezpečnostných opatrení a vytvoriť tak aj malvér. Treba však poznamenať, že od príchodu jazykových modelov kvalita podvodného obsahu nestúpala. Pravdepodobne je to dané tým, že súčasné modely vyžadujú veľmi presnú špecifikáciu zadania a nie sú schopné naraz vygenerovať viac ako niekoľko odstavcov zdrojového kódu.

Tvorba phishingu s pomocou AI

Phishingové kampane môžu byť v budúcnosti vďaka AI efektívnejšie a autentickejšie, čím si útočníci zvýšia šance, že ich obete budú vykonávať určitú aktivitu. S pomocou AI dokážu útočníci vytvoriť vysoko personalizovanú a presvedčivú phisingovú kampaň bez gramatických a štylistických chýb.

Útoky na identitu a deepfake

Generatívne modely dokážu vytvoriť falošné texty alebo citáty v štýle konkrétnej osoby. Bežne dostupný softvér na úpravu fotografií umožňuje vygenerovať realistické „fotografie“ situácií, ktoré sa nikdy nenastali. Hrozbu predstavujú aj deepfakes, podvod spočíva vo vytvorení vysoko realistických audio alebo audiovizuálnych produktov, ktoré sa snažia napodobniť niekoho výzor, alebo hlas. Sú známe prípady kedy útočníci použili deepfake obsah na vydieranie a následné získanie finančnej sumy od obeti.

Tento útok je možný aj v reálnom čase. NCKB SK-CERT má vedomosť o aktívne vykonávaných deep fake hovoroch prostredníctvom online platforiem cieliacich aj na firmy, ktoré pôsobia na Slovensku. Doposiaľ však evidujeme takéto konverzácie iba v anglickom jazyku, v ktorom je technológia deep fake pokročilejšia.

Bezpečnostné riziká AI vo fyzických systémoch

Fyzická bezpečnosť môže byť taktiež ohrozená umelou inteligenciou. Viac a viac systémov ako autonómne vozidlá, výrobné a stavebné stroje alebo medicínske zariadenia využívajú AI. Ak by napríklad došlo k narušeniu bezpečnosti v autonómnom aute, mohlo by dôjsť k značnému ohrozeniu na živote alebo majetku. Takisto problematické môže byť používanie AI v prípadoch, v ktorých môže priamo dôjsť k ohrozeniu života – napríklad ML model na ovládanie kardiostimulátora.  Nakoľko je zložité im naplno porozumieť, je aj zložité určiť, ako by sa správali v rozličných situáciách.

Nepriateľské útoky, útočné nálepky, manipulácia pri použití

Zneužitie grafických modelov „útočnými nálepkami“. Relatívne malou úpravou obrazu, pri ktorej človek stále rozpozná pôvodný objekt, je možné presvedčiť softvér, že sa pozerá na niečo úplne iné. Naviac, človek nedokáže pohľadom rozpoznať, čo iné tam softvér vidí. Ukázalo sa, že strojové učenie nielenže spracúva obraz inak ako ľudský mozog, ale tento útok je úspešný bez ohľadu na konkrétnu architektúru modelu.

Na trhu sú bežne dostupné „útočné nálepky“, ktoré dokážu zmiasť rozpoznávanie značiek v súčasných autách. Je teda možné, že niekoľko malých nevinne vyzerajúcich štvorcových nálepiek na značke stop spôsobia, že ich auto rozpozná ako rýchlostný limit.[1]

Tento typ útokov patrí do širšej rodiny zahŕňajúcej každú špeciálnu úpravu vstupných dát, aby zmiatli model.

Neočakávané, nesprávne a škodlivé výsledky

Navzdory názvu „umelá inteligencia“, jazykové modely v skutočnosti neuvažujú. Výstup je vypočítaný na základe veľkého korpusu dát, z ktorých bol vytvorený pravdepodobnostný matematický model. Preto akýkoľvek výstup takéhoto AI môže byť pravdivý, ale aj „halucinácia modelu“. Nejedná sa o chybu modelu ale o jeho dizajnovú vlastnosť.

Aj keby model vygeneroval dáta plne v súlade s dátami, na ktorých bol trénovaný, tieto dáta tiež môžu byť nesprávne alebo zaujaté (napr. pseudoveda, mylné až škodlivé zdravotné odporúčania, predsudky, podpora deštruktívneho správania).

Využitie výsledkov modelu bez možnosti nezávisle si overiť, či sú správne, môže byť preto riskantné.

Úmyselné vyvolanie škodlivých výsledkov

Injekcia promptov, manipulácia s dátami a obchádzanie vstavaných limitov dokáže vyprodukovať neočakávaný alebo až škodlivý výsledok. AI modely majú vstavanú ochranu, ktorá bráni ich zneužitiu na generovanie škodlivého obsahu. Táto ochrana sa však často dá správne naformulovaným dopytom obísť.

Zneužitie AI na porušovanie ochrany súkromia

Riziko v oblasti ochrany súkromia, napríklad plošné sledovanie ľudí.  Táto téma je aktuálne diskutovaná na úrovni EÚ v navrhovanom AI Act, ktorý definuje 4 stupne rizika. V skupine „neakceptovateľné riziko“ je napríklad biometria v reálnom čase, sociálne skórovanie či manipulácia zraniteľných skupín (hlasom aktivované hračky, ktoré nabádajú k nebezpečnému správaniu).

Odporúčania

Národné centrum kybernetickej bezpečnosti SK-CERT zdôrazňuje význam kritického myslenia pri práci s umelou inteligenciou a strojovým učením.

• Preverte si, či sa pri ponuke produktu s umelou inteligenciou nejedná o podvod (neexistujúci produkt).
• Ku tvrdeniam výrobcu o schopnostiach AI modelu pristupujte obozretne. Marketing v tejto oblasti spravidla výrazne preceňuje reálne schopnosti technológie. Napríklad tvrdenia „zachytí 100 % útokov” alebo „úplne bez ľudskej intervencie“ spravidla nie sú založené na pravde.
• Do online služieb využívajúcich ML nezadávajte žiadne osobné, zdravotné, finančné, firemné či iné citlivé údaje.
• Nepoľavujte v obozretnosti voči prijatému digitálnemu obsahu a majte na pamäti, že potenciálne mohol byť generovaný umelou inteligenciou (phishingové stránky, deep fake v prednahraných videách, deep fake v živých telefonických hovoroch).
• Špeciálne pri hlasových hovoroch cez online hlasové služby alebo klasický telefonát, odporúčame nasledovné: ak máte pocit, že osoba, s ktorou komunikujete, nemusí byť skutočná, buď sa jej opýtajte na detaily, ktoré by útočník nemal poznať alebo si dohodnite pokračovanie konverzácie iným komunikačným kanálom či naživo.
• Pri nasadzovaní a využívaní takýchto technológií venujte zvláštnu pozornosť možnostiam, ako by mohli ohroziť ľudský život a zdravie a prijmite zodpovedajúce opatrenia. Pamätajte, že model môže zlyhať, alebo byť vystavený úmyselnému útoku podvrhnutými dátami, ktoré môžu byť aj vo fyzickej podobe (napr. útočné nálepky).
• Výstupy z jazykového modelu nezávisle preverujte (iným spôsobom ako je použitie ďalšieho jazykového modelu). Ak by aplikovanie výsledkov mohlo spôsobiť akúkoľvek škodu, bez preverenia ich neaplikujte.
• Ak nasadzujete vlastný produkt založený na strojovom učení a umelej inteligencii, pamätajte, že útočníci sa ho môžu pokúsiť zneužiť. Identifikujte všetky riziká, ktoré z takej aktivity môžu vyplynúť (napr. reputačné riziko, ak nasadený chat bot bude poskytovať mylné či škodlivé informácie, riziko fyzickej škody spôsobenej zákazníkovi, ak zlyhá robotický systém a podobne).
• Pri nasadzovaní a využívaní produktov AI pamätajte na súlad s právnymi normami a prípadnými ďalšími predpismi.
• Vyhľadávajte dôveryhodné informačné zdroje o bezpečnosti umelej inteligencie a priebežne sledujte vývoj v tejto oblasti.

S rastúcim nasadzovaním technológií umelej inteligencie v nových situáciách budú nepochybne identifikované nové hrozby, a preto uvedené odporúčania netreba považovať za vyčerpávajúce.

[1] https://spectrum.ieee.org/slight-street-sign-modifications-can-fool-machine-learning-algorithms

 

« Späť na zoznam