Když za firmu jedná stroj

Řízení agentů není o nedůvěře k technologii. Je o tom, že samostatnost bez hranic je riziko a hranice musí někdo výslovně určit, zapsat a hlídat. Firmy nasazují agenty po desítkách, často bez toho, aby si toho ústředí vůbec všimlo. Marketingové oddělení si spustí asistenta na tvorbu obsahu, podpora chatbota, finance nástroj na zpracování faktur. Každý z nich pracuje s údaji, každý jedná jménem firmy a každý může způsobit škodu. Když se takový roj agentů rozběhne bez pravidel, vzniká to, čemu odborníci na řízení rizik říkají mezera v odpovědnosti. Stroj jedná, ale odpovědnost visí ve vzduchu, protože nikdo předem neřekl, komu patří.

V následujících částech projdeme čtyři rizikové skupiny a povinnosti, které z nich plynou, konkrétní požadavky GDPR, pohled norem ISO/IEC 27001 a ISO/IEC 42001, typická rizika agentů, řízení dodavatele, retence, potřebnou dokumentaci a nakonec akční plán na devadesát dní.

1. Proč je agent něco jiného než obyčejný software

Klasický program dělá přesně to, co má naprogramované, a nic víc. Pokud se splete, chyba je v kódu a viník je jasný. Agent je jiný. Pohybuje se v určeném rozsahu, ale v jeho rámci si volí postup sám, mění ho podle situace a někdy překvapí i své tvůrce. Tuto vlastnost oceňujeme, protože dělá agenta užitečným. Zároveň je to důvod, proč na něj nelze uplatnit starou logiku, podle níž za software odpovídá ten, kdo stiskl tlačítko.

Představme si agenta, který samostatně vyřizuje reklamace a v rámci toho vrací peníze. Pokud mu nikdo nenastavil horní hranici, může za víkend vrátit částky, které nikdo neschválil. Technicky udělal přesně to, k čemu byl určen. Problém není v jednom kroku, ale v tom, že chybělo vymezení, co smí dělat sám a kde se musí zeptat člověka. Řízení agentů proto není o nedůvěře k technologii. Je o tom, že samostatnost bez hranic je riziko a hranice musí někdo výslovně určit, zapsat a hlídat.

2. Ochrana údajů: GDPR se neptá, zda jde o umělou inteligenci

Mnozí mají pocit, že umělá inteligence je natolik nová, že se na ni stará pravidla nevztahují. Opak je pravdou. Obecné nařízení o ochraně osobních údajů, tedy GDPR, se neptá, jakou technologií se údaje zpracovávají. Ptá se, zda se zpracovávají, na jakém právním základě a s jakými zárukami. A agent, který čte e-maily zákazníků nebo posuzuje uchazeče, zpracovává osobní údaje stejně reálně jako zaměstnanec za stolem.

Z toho plyne několik povinností, které se při nasazení agenta až příliš často přehlížejí:

Za prvé, každá operace potřebuje platný právní základ podle článku 6, u citlivých údajů dokonce výjimku podle článku 9.
Za druhé, pokud je zpracování rizikové, je třeba ještě před spuštěním provést posouzení vlivu na ochranu osobních údajů, známé jako DPIA (Data Protection Impact Assessment), podle článku 35 GDPR.
Za třetí, poskytovatel modelu, který zpracovává údaje jménem firmy, je tzv. zpracovatelem a vztah s ním musí ošetřit smlouva o ochraně osobních údajů podle článku 28 (DPA – Data Protection Agreement).
Za čtvrté, pokud údaje opouštějí Evropský hospodářský prostor, což se u cloudových modelů děje téměř vždy, je třeba pro přenos přiměřená záruka a hodnocení rizik. Jde například o rozhodnutí o přiměřenosti a/nebo standardní smluvní doložky či závazná podniková pravidla (BCRs). Určitě je však třeba hodnocení rizik (TIA – Transfer Impact Assessment) a také dodatečná opatření, například silné šifrování, kdy dešifrovací klíč zůstává v EU, nebo pseudonymizace. Pokud rizika nedokážete zmírnit, přenos se podle GDPR nesmí uskutečnit.

K tomu se přidává informační povinnost podle článků 13 a 14, která má pokrýt i použití AI. Nelze zapomenout ani na zásady minimalizace a lhůty uchovávání podle článku 5, kterým se věnuje samostatná část o retencích.

Zvláštní pozornost si zaslouží článek 22. Ten dává člověku právo nebýt vystaven rozhodnutí, které je založeno výhradně na automatizovaném zpracování a má pro něj právní nebo podobně závažný účinek. Tady se skrývá past, do níž padá překvapivě mnoho firem.

Firmy bohužel často tvrdí, že agent jen doporučuje a konečné slovo má člověk. Jenže pokud ten člověk jen mechanicky odklikne každý návrh bez vlastního a metodického posouzení, rozhodnutí je fakticky automatizované a ze zákona plynou záruky: právo na lidský zásah, na vyjádření vlastního stanoviska a na napadení rozhodnutí. Hranice mezi doporučením a rozhodnutím je tenká jako vlas a právě na ní se láme soulad.

3. AI Act: nová pravidla šitá na míru umělé inteligenci

Tam, kde GDPR mlčí o specifikách umělé inteligence, nastupuje Akt o umělé inteligenci, tedy evropské nařízení známé jako AI Act. Jeho logika je jednoduchá a férová: čím větší riziko systém přináší, tím přísnější jsou povinnosti.

Systémy s nepřijatelným rizikem, například sociální skórování občanů, jsou zakázané úplně. Vysoce rizikové systémy, kam patří například nástroj pro výběr zaměstnanců, musí splňovat celou řadu požadavků. Systémy s omezeným rizikem mají zejména povinnosti transparentnosti a ty s minimálním rizikem jsou do značné míry volné.

Pro firmu, která agenty používá, jsou podstatné čtyři věci:

První je správné zařazení každého agenta do rizikové kategorie, protože od něj se odvíjí všechno ostatní.
Druhá je lidský dohled podle článku 14, který musí být skutečný, ne jen formální. Dohlížející osoba potřebuje pravomoc, nástroje i čas na to, aby mohla agenta zastavit, přičemž samotné zastavení, tedy jakýsi nouzový vypínač, musí být vyzkoušené, a ne jen teoreticky možné.
Třetí je transparentnost podle článku 50: člověk má vědět, že komunikuje s AI, a obsah vytvořený umělou inteligencí má být označen.
Čtvrtá, často podceňovaná, je povinnost zajistit dostatečnou AI gramotnost lidí, kteří s agenty pracují. Nepoučený zaměstnanec je totiž nejslabším článkem celého systému.

Důležité je také vyjasnit si vlastní roli. AI Act rozlišuje mezi tím, kdo systém vyvíjí a uvádí na trh, a tím, kdo ho jen používá. Většina firem je v roli uživatele, tedy nasazujícího subjektu. Jenže pokud firma agenta výrazně dotvoří nebo změní jeho účel, může se nenápadně překlopit do role poskytovatele, a tím na sebe převzít mnohem těžší balík povinností. Právě proto se vyplatí tuto roli u každého agenta určit písemně.

4. Pohled ISO/IEC 27001: bezpečnost agenta v kontrolách

Tam, kde GDPR a AI Act mluví o povinnostech, norma ISO/IEC 27001 nabízí konkrétní bezpečnostní kontroly, kterými se tyto povinnosti naplňují v praxi. Příloha A normy obsahuje devadesát tři kontrol a pro AI agenty je relevantní zejména tato skupina:

Inventář a klasifikace (A.5.9 a A.5.12): každý agent a informace, s nimiž pracuje, musí být evidovány a zatříděny podle citlivosti.
Řízení přístupu a identity (A.5.15 až A.5.18, A.8.2 a A.8.5): agent dostane jen nezbytná oprávnění, jeho strojová identita je spravovaná, autentizační údaje a klíče jsou chráněné a rotované.
Dodavatelský řetězec (A.5.19 až A.5.23): bezpečnost ve vztazích s dodavateli, ve smlouvách, v rámci celého řetězce a zvlášť u cloudových služeb.
Logování a monitorování (A.8.15 a A.8.16): činnost agenta se zaznamenává a sleduje tak, aby byla zpětně auditovatelná.
Řízení incidentů (A.5.24 až A.5.26): připravenost, posouzení a reakce na bezpečnostní události včetně těch, které způsobí agent.
Výmaz a ochrana údajů (A.8.10, A.8.11 a A.8.12): bezpečné mazání informací, maskování a prevence úniku dat, takzvané DLP.
Bezpečný vývoj a testování (A.8.25, A.8.29 a A.8.31): agenta je třeba bezpečně nasadit, otestovat včetně red teamingu a oddělit vývojové, testovací a produkční prostředí.
Povědomí a ochrana soukromí (A.6.3 a A.5.34): školení lidí a ochrana osobních údajů jako průřezová kontrola.

Právě tady vzniká jedno z nejnovějších a nejvíce podceňovaných rizik: nelidská identita agenta. Agenti se vůči systémům autentizují vlastními klíči a tokeny, a pokud tyto strojové identity nikdo nespravuje, stávají se tichými zadními dveřmi do firmy. Kontrola A.5.16 a související kontroly proto u agentů získávají zcela nový význam.

5. Pohled ISO/IEC 42001: systém managementu umělé inteligence

Zatímco ISO/IEC 27001 řeší bezpečnost, novější norma ISO/IEC 42001 zavádí systém managementu umělé inteligence, takzvaný AIMS. Je to zastřešující rámec, který říká, jak má organizace odpovědně řídit umělou inteligenci jako celek, podobně jako ISO 27001 řeší informační bezpečnost.

Norma vyžaduje politiku pro umělou inteligenci a jasné role a odpovědnosti, posouzení vlivů AI systémů, řízení celého životního cyklu od návrhu po vyřazení, správu dat používaných systémy, informování dotčených stran, pravidla používání a zvlášť také vztahy s třetími stranami a zákazníky. Pro firmu s více agenty je ISO 42001 přirozeným domovem pro roli gestora AI governance, pro registr agentů, pro posouzení vlivu a pro pravidelnou revizi. Spolu s 27001 tvoří dvojici, která pokrývá agenta z pohledu bezpečnosti i odpovědného řízení, a obě se elegantně propojují s povinnostmi GDPR a AI Act.

6. Rizika, která agenti přinášejí

Než firma agenty pustí do ostrého provozu, měla by pojmenovat a ohodnotit rizika, která s nimi přicházejí. Mezi nejčastější a nejzávažnější patří:

Prompt injection: škodlivý vstup přiměje agenta jednat mimo záměr nebo vyzradit údaje. Obranou je validace vstupů, izolace nástrojů, kontrola výstupů a DLP.
Halucinace: agent přesvědčivě vytvoří nepravdivou informaci nebo chybné rozhodnutí. Pomáhá lidský dohled, kontrola výstupů a omezení domén působení.
Nadměrná oprávnění a privilege creep: agent má více práv, než potřebuje. Řešením je zásada nejmenších privilegií a periodická revize přístupů.
Nespravovaná strojová identita: únik klíčů agenta otevírá útočníkovi dveře. Pomáhá správa nelidských identit a rotace tajemství.
Automatizované rozhodování bez záruk: porušení článku 22 GDPR u agentů rozhodujících o lidech.
Přenos údajů mimo Evropský hospodářský prostor bez záruky, chybějící zpracovatelská smlouva či stínové nasazení agenta bez evidence.
Zaujatost a diskriminace ve výstupech, chybějící logy a neauditovatelnost, překročení finančního limitu, závislost na dodavateli, nedostatečná AI gramotnost a nadměrná retence údajů.

Osvědčeným nástrojem je zde registr rizik, kde se každé riziko ohodnotí podle pravděpodobnosti a dopadu, vypočítá se skóre a přiřadí se opatření, odpovědná osoba a termín. Tak se z abstraktních obav stane řízený seznam s jasným vlastníkem.

7. Řízení dodavatele: TPRM (Third Party Risk Management) v praxi

U agentů se kritická část odpovědnosti přesouvá na dodavatele modelu nebo platformy. Pokud to firma nepodchytí, riziko nese sama. Proto je namístě zavést řízení rizik třetích stran, takzvané TPRM, a posoudit dodavatele před spoluprací i během ní. Posouzení by mělo pokrýt čtyři okruhy.

Ve smluvní a datové rovině jde o zpracovatelskou smlouvu podle článku 28, standardní smluvní doložky a posouzení přenosu u údajů mimo Evropskou unii a o transparentní seznam dalších (sub)zpracovatelů.

V bezpečnostní rovině jde o platnou certifikaci ISO 27001 nebo zprávu SOC 2, o penetrační testování, šifrování údajů a bezpečnost cloudových služeb.

V rovině specifické pro umělou inteligenci jde o technickou dokumentaci, o deklarovaný soulad s AI Act a o jasné stanovisko, zda dodavatel používá údaje zákazníka k trénování, a o opatření proti zaujatosti.

A nakonec v provozní rovině jde o dohodu o úrovni služeb, o notifikaci incidentů, o ukončení spolupráce a o kontinuitu včetně prokazatelného vrácení a výmazu údajů a o smluvní právo na audit.

Tyto okruhy odpovídají kontrolám A.5.19 až A.5.23 normy ISO 27001 a tvoří jádro dodavatelského posouzení.

8. Retence a výmaz: jak dlouho a co s tím

Agenti produkují obrovské množství údajů: vstupní prompty, výstupy, logy, konverzace. Bez jasných lhůt z nich vzniká riziková a nezvládnutelná množina dat. Retenční plán by měl pro každou kategorii určit účel, právní základ, lhůtu, spouštěč jejího běhu a způsob výmazu.

Orientačně lze uvažovat takto:

Vstupní prompty a požadavky: zpravidla 30 až 90 dní, potom automatický výmaz.
Výstupy agenta: podle účelu, typicky do jednoho roku, s možností anonymizace.
Auditní a provozní logy: 6 až 24 měsíců, chráněné před změnou.
Konverzace s chatbotem: 6 až 12 měsíců, potom výmaz nebo pseudonymizace.
Účetní a transakční záznamy: 10 let podle účetních předpisů.
Záznamy o incidentech: doporučeně alespoň 5 let od uzavření.
Posouzení DPIA a FRIA: po dobu životnosti agenta a několik let po jeho vyřazení, pro prokázání souladu.

Konkrétní lhůty si určí správce podle účelu a právního základu, ale zásada je vždy stejná: uchovávat jen to, co je třeba, a jen tak dlouho, jak je třeba. Výmaz přitom musí být skutečný a doložitelný, což odpovídá kontrole A.8.10 normy ISO 27001.

Na druhé straně je třeba si uvědomit, že AI je „chytrá“ tehdy, když má co nejvíce dat. GDPR se svou zásadou minimalizace a AI se svou potřebou maxima dat tedy k sobě příliš nejdou. Tady je třeba mít experta na GDPR, například pozici DPO – Data Protection Officer, i experta na AI, například RAI – Responsible AI Officer, a najít rozumný kompromis.

9. Dokumentace, kterou je třeba mít

Soulad se neprokazuje slovy, ale dokumenty a prací s nimi. Při řízení agentů by firma měla mít připravený například i takovýto soubor dokumentace, který zároveň slouží jako kontrolní seznam:

politiku a směrnici používání AI a pravidla přijatelného použití;
registr AI agentů a kartu agenta s maticí autonomie;
posouzení rizika a klasifikace pro každého agenta;
DPIA, FRIA, aktualizovanou RoPA a posouzení oprávněného zájmu;
zpracovatelské smlouvy, standardní smluvní doložky a TPRM posouzení dodavatele;
privacy notice pokrývající použití AI a automatizované rozhodování;
registr rizik, retenční plán a logging policy;
pravidla řízení přístupů a strojových identit, threat model a zprávu z bezpečnostního testování;
incident response plán, plán monitorování a postup nouzového zastavení;
plán a evidenci školení AI gramotnosti;
dohodu o úrovni služeb, exit a continuity plán a postup řízeného vyřazení agenta.

Tento seznam ale není kompletní a není to ani samoúčelná byrokracie. Každý dokument odpovídá konkrétní povinnosti a v případě kontroly nebo incidentu je právě on tím, co rozhoduje mezi prokázaným souladem a nepříjemnými otázkami.

10. Praktická cesta od chaosu k pořádku

Jak tedy postupovat, pokud agentů ve firmě přibývá rychleji než pravidel? Nejprve je třeba udělat inventuru a zjistit, co všechno je nasazené, včetně stínových agentů, o nichž vedení netuší. Potom každého agenta zařadit do rizikové kategorie a určit roli firmy.

Následně u každého vymezit účel, rozsah úkolů a zejména hranice samostatnosti: co smí dělat sám, co jen s lidským schválením a co nesmí vůbec. Dalším krokem je přiřadit role přes matici odpovědnosti, doplnit chybějící posouzení a smlouvy a nakonec vše zastřešit směrnicí a školeními.

Zní to jako hodně práce a do určité míry to tak i je. Jenže alternativa je dražší. Pokuty za porušení GDPR i AI Act se počítají v procentech z celosvětového obratu a vedle nich stojí ztráta důvěry zákazníků, kterou žádná pokuta nevyčíslí. Firma, která si své agenty pohlídá, to nedělá z byrokratické povinnosti, ale proto, že chce mít jistotu, že stroj jedná jejím jménem tak, jak si přeje, a ne tak, jak se právě spletl.

Závěr

AI agenti nejsou hrozbou, které je třeba se bát, ani hračkou, kterou lze nasadit bez rozmyslu. Jsou výkonným nástrojem, který vyžaduje totéž co každý nový a schopný zaměstnanec: jasné zadání, vymezené pravomoci, dohled a někoho, kdo za jeho práci ručí. Rozdíl je jen v tom, že agentovi je třeba tyto věci nastavit výslovně a předem, protože sám se ke zdravému rozumu nedovolá.