Stalo se?

---

Míše je 36 let a nedávno si oblíbila novou aplikaci s prvky AI, která jí měla usnadnit práci s financemi a citlivými dokumenty. Postupně do ní ukládala čísla účtů, poznámky, skeny smluv i pracovní podklady. Aplikace měla být podle dostupných informací bezpečná, takže neměla důvod pochybovat.

Jednoho odpoledne však při vyhledávání narazila na soubory, které rozhodně nebyly její. Po otevření jednoho z nich se jí zobrazil osobní dokument jiného uživatele, dokonce si ho mohla i stáhnout. Našla v něm jeho osobní údaje, číslo bankovního účtu a adresu. Stejně se to opakovalo, když zkusila vyhledat něco dalšího.

Rychle pochopila, že jde o vážnou bezpečnostní chybu. Stejným způsobem mohl mít někdo přístup i k jejím datům. V panice chtěla všechno smazat, ale nakonec si změnila heslo a nahlásila problém poskytovateli. Bezpečnostní chyba byla opravena a jako poděkování jí byla poskytnuta bezplatně licence na vyšší verzi této aplikace.

Při dalším používání již však měla na paměti, že nikdy nemá jistotu, kdo všechno může vidět, co do aplikace uloží. Začala tak AI používat zodpovědněji a nevkládala do ní citlivé informace.

Stručně a jednoduše o AI

---

Umělá inteligence (AI) je nástroj, který dokáže analyzovat data, rozpoznávat vzory a vytvářet návrhy řešení na základě naučených příkladů a dat. Pomáhá s úkoly, které by jinak vykonával člověk, ale sama „nepřemýšlí“ ani nerozumí stejně jako lidská mysl.

Není to kouzlo, je to jen software, který se neustále učí rozpoznávat vzory v datech a reagovat podle nich. Jeho velkou výhodou je, že se dokáže dále učit a zlepšovat.

Setkat se s ní můžete například při sledování filmů, kdy funguje jako rádce, který vám nabídne titul přesně na míru a často se trefí.

Jak to může fungovat?

• Sleduje, jaké filmy jste viděli,

• porovnává to s tím, co sledují lidé s podobným vkusem,

• a doporučí vám něco, co se vám nejspíš bude líbit.

Další možnosti využití?

Své místo si dnes najde i v pracovním světě. Pojďme se podívat, jak nám může být užitečná nebo s čím pomoci.

• Zvýšení efektivity: Automatizace opakujících se úkolů, činností a procesů.

• Úspora času: Rychlejší tvorba obsahu, analyzování dat, tvorba souhrnů.

• Zlepšení kvality: Přesnější a rychlejší výsledky, kreativní nápady, inspirace.

• Konkurenční výhoda: Umožňuje firmám i lidem pracovat rychleji a efektivněji v digitálním světě.

AI může být užitečným nástrojem, který zjednodušuje práci a pomáhá zvyšovat efektivitu v mnoha oblastech. S rostoucím využíváním ale přichází také potřeba vnímat její limity a možná bezpečnostní úskalí.

Stejně jako u jiných digitálních technologií je proto důležité chápat nejen přínosy, ale i rizika spojená s jejím používáním a přistupovat k ní informovaně a obezřetně.

Riziko zneužití osobních nebo citlivých dat

---

Osobní údaje, citlivé informace nebo fotky, které do AI vložíme, se mohou stát součástí dat, na kterých se aplikace učí. Případně mohou uniknout v rámci tzv. prompt leakingu, kdy i zdánlivě běžný dotaz může vést k neúmyslnému úniku dat. AI nevědomky odhalí instrukce nebo citlivé informace vložené jiným uživatelem. Z tohoto důvodu se nedoporučuje vkládat do AI jakékoli informace (jakákoliv data), které nechcete zveřejnit, např. jména, adresy, rodná čísla, čísla karet nebo pracovní interní materiály.

Nepřesné nebo zavádějící informace

---

AI se nám snaží v rámci odpovědi na dotaz maximálně vyhovět, a proto se může stát, že nám poskytne výsledky se zavádějícími nebo nepravdivými informacemi. Odpovědi AI mohou být nepřesné nebo chybné a je tedy třeba fakta vždy ověřovat z jiných zdrojů.

To může být problém například při dotazech týkajících se zdraví, práva nebo financí. Případně také při psaní školních prací nebo rozhodování podle doporučení AI.

Setkat se můžeme také s tím, že uživatelé často AI důvěřují víc, než by měli a mají ji jako nový typ digitální autority, která je jim schopna odpovědět na každou otázku. Vhodnou ochranou je kritické myšlení a již dříve zmiňovaná kontrola informací.

Manipulace, deepfakes a podvody

---

Manipulace, deepfakes (vysoce realistická, avšak falešná videa, audionahrávky nebo fotografie vytvořené pomocí AI) a podvody jsou úzce spojené s rychlým rozvojem umělé inteligence. Moderní AI nástroje dokážou generovat realistické obrázky, videa i klonovat hlas. Tyto výtvory je pak obtížné odlišit od skutečnosti. To otevírá prostor pro sofistikované podvody, šíření dezinformací nebo cílenou manipulaci veřejného mínění.

Příklady zneužití AI

Manipulace a dezinformace

• Analýza dat ze sociálních sítí může být využita k vytváření psychologicky cílených sdělení, která ovlivňují postoje a chování uživatelů.

• Generování přesvědčivých textů, komentářů a falešných profilů.

• Automatizace chatbotů, kteří dlouhodobě komunikují s uživatelem a budují jeho důvěru pro případnou manipulaci.

• Rychlá tvorba a šíření velkého množství dezinformačního obsahu.

• Díky navrhovanému obsahu jsou uživatelé udržování v dezinformační sociální bublině.

Podvody

• Tvorba personalizovaných phishingových e-mailů bez jazykových chyb.

• Generování falešných dokumentů nebo smluv.

• Napodobování hlasu konkrétní osoby, např. bankéře, pro potřeby podvodných telefonátů.

• Automatizace komunikace s potenciálními oběťmi ve velkém měřítku.

Deepfake technologie

• Vytváření realistických falešných videí či fotografií známých osob.

• Generování falešných zvukových nahrávek.

• Vytváření falešného pornografického nebo erotického obsahu bez souhlasu zobrazované osoby.

Současně je důležité dodat, že stejné AI technologie mohou být využity i k ochraně, například k detekci deepfake obsahu, vyhledávání informací nebo k posílení kybernetické bezpečnosti. Vždy je však třeba si informace ověřovat.

Vkládání citlivých firemních dat do AI nástrojů

---

Do AI nástrojů bychom neměli vkládat žádná citlivá firemní data, aby nedošlo k jejich zneužití.

Představme si jednoduchou situaci:

Ředitel malé firmy potřebuje poradit, kam dál směřovat svůj byznys (své podnikání), a proto do AI nástroje zadá všechny dostupné informace o fungování firmy, aby získal co nejpřesnější doporučení. Tím však může nevědomky vytvořit „neviditelný kanál pro únik dat“.

Podobná situace je běžná i v domácím prostředí, kdy lidé vkládají do AI faktury, smlouvy či rodinné dokumenty, aby je nástroj „přečetl“ nebo „vysvětlil“, aniž by si uvědomovali možná rizika.

Vždy proto zvažujme, jaká data do AI vkládáme, aby nemohlo dojít k jejich zneužití . Při práci s firemními informacemi se obecně doporučuje používat takové AI nástroje, které jsou schválené managementem organizace pro interní použití a splňují stanovené podmínky na ochranu dat, např. neukládají data na externí servery provozovatele aplikace.

Závislost na AI a oslabení digitálních kognitivních dovedností

---

Závislost na AI může postupně oslabovat naše kognitivní dovednosti, protože přílišné spoléhání se na automatizované nástroje vede k tzv. kognitivnímu offloadingu – tedy přesouvání myšlení a rozhodování na technologie.

U uživatelů se může projevit například následujícím způsobem:

• horší schopnost ověřovat informace,

• neschopnost rozeznat podvod,

• spoléhání na automatické rozhodování,

• snížená schopnost „tvůrčího myšlení“ a kreativního řešení problémů nebo situací.

Útoky zneužívající zranitelnosti AI systémů

---

Existují různé typy útoků, které se zaměřují přímo na slabiny systémů umělé inteligence nebo na jejich propojení s dalšími službami (např. e-mail nebo interní systémy). Mezi nejčastější druhy patří:

Podvodné pokyny pro AI (jailbreaking)
Útočník se snaží pomocí speciálně formulovaných promptů obejít bezpečnostní pravidla AI a přimět ji k činnostem, které by za běžných okolností neměla vykonat, například k vytvoření zakázaného obsahu.

Zneužití propojení AI s jinými systémy
Pokud je AI napojená na e mail, cloud nebo interní aplikace, může útočník její chybu využít k získání přístupu k těmto službám nebo k provedení akce jménem uživatele.

Odhalení interních pokynů AI
Při nevhodném používání nebo cíleném útoku může AI nechtěně prozradit, jak funguje a jaká má interní pravidla. To může útočníkům usnadnit další útoky.

Ovlivnění chování AI pomocí falešných dat
Útočník může do dat, ze kterých se AI učí nebo která používá, vložit nepravdivé či škodlivé informace, aby AI začala odpovídat chybně nebo zavádějícím způsobem.

Zneužití AI na napadeném zařízení
Pokud je zařízení uživatele napadeno virem, může útočník zneužít i místně nainstalované AI nástroje k hledání hesel, přístupových údajů nebo jiných citlivých informací.

Praktické a jednoduché rady pro běžného uživatele

1. Nevkládat do AI nic, co by nebylo běžně sděleno cizí osobě.
Pokud by informace nebyla řečena náhodnému člověku, není vhodné ji zadávat ani do AI. Opatrnost je vhodná i u zdánlivě neškodných údajů.

2. Nezadávat osobní informace, hesla, rodná čísla, smlouvy ani fotky dětí.
I když AI vypadá bezpečně, nikdy nelze s jistotou říci, kam se data můžou dostat.

3. Vždy si ověřovat fakta z důvěryhodných zdrojů.
Odpovědi AI mohou působit přesvědčivě, ale nemusí být vždy přesné. Informace je vhodné kontrolovat na oficiálních a ověřených zdrojích.

4. Automaticky nedůvěřovat e-mailům, zprávám nebo telefonátům, které působí „příliš skutečně“ nebo vytváří nátlakové situace.
AI dnes umí napodobit lidský hlas, styl psaní i emoce. I kdyby to vypadalo, že „volá šéf“, tak je vhodné telefonát ověřit jiným způsobem, například zavolat zpět. Doporučuje se také hned nevěřit e-mailům, zprávám nebo telefonátům, které působí „příliš skutečně“.

5. Nesdílet výstupy AI bez předchozí kontroly.
AI se může splést, přehánět nebo generovat nesmysly, proto je vhodné před dalším použitím výstupy projít a případně upravit.

6. Používat jen ověřené a aktualizované AI nástroje.
Přednost mají služby s jasně popsanou ochranou dat a transparentními podmínkami používání. V pracovním prostředí využívat jen ty nástroje, které jsou schválené nebo doporučené zaměstnavatelem.

7. Neposkytovat AI zbytečná oprávnění
Přístup k fotografiím, kontaktům nebo mikrofonu je vhodné povolovat pouze tehdy, pokud je to skutečně nezbytné.

8. Udržovat zdravý odstup.
AI je užitečný pomocník, nikoli neomylný zdroj pravdy. Výstupy je vhodné brát jako podklady, které je třeba dále ověřovat.

Rychlé opakování

---

Zde si můžete osvěžit naučené informace z této kapitoly.