Privátní AI pro firmy: kdy dává smysl a co obnáší
Většina firem dnes AI nepoužívá proto, že by nevěděly jak. Používají ji tak, že zaměstnanci vkládají interní dokumenty do veřejných nástrojů a nikdo ve firmě nemá přehled, co všechno už odešlo ven. Privátní AI tenhle problém řeší tím, že zpracování přesune dovnitř firmy.
Není to ale univerzálně lepší volba. Tenhle text popisuje, kdy dává smysl, co k ní kromě jazykového modelu patří, a podle čeho poznáte, že je pro vaši firmu zatím předčasná.
Co znamená „privátní AI”
Privátní AI je uspořádání, ve kterém jazykový model, index firemních dokumentů i samotné zpracování dotazů běží na infrastruktuře, kterou firma kontroluje. Může to být zařízení ve vlastní serverovně, virtuální server v datovém centru nebo stávající hardware firmy.
Podstatné není, kde přesně to stojí. Podstatné je, kdo má přístup k datům a kdo může doložit, co se s nimi dělo.
Proti tomu stojí cloudová AI, kde dotaz i přiložené dokumenty odcházejí poskytovateli. Ten je zpracuje na svých serverech a vrátí odpověď. I když smluvně slíbí, že data nepoužije k trénování, firma nemá jak to ověřit a nemá vlastní záznam o tom, co odešlo.
Kdy to dává smysl
Privátní AI se vyplatí, když platí aspoň dvě z těchto věcí najednou:
Data, která nesmí ven. Zdravotnická dokumentace, výrobní know-how, smluvní dokumentace, mzdové a personální údaje, konstrukční podklady. Ne proto, že by je někdo chtěl ukrást, ale proto, že jejich odeslání třetí straně je samo o sobě problém.
Doložitelnost. Přijde auditor, zákazník nebo pojišťovna a zeptá se, jak zacházíte s daty v AI nástrojích. U cloudové služby ukážete smlouvu. U privátní infrastruktury ukážete záznam o každém dotazu — kdo se ptal, jaké soubory se otevřely a kolik dat opustilo síť.
Regulace v oboru. Zdravotnictví, energetika, finance, veřejná správa a jejich dodavatelé. Tady se otázka „kde leží data” objevuje v každém poptávkovém řízení.
Objem, který se v cloudu prodraží. Když má AI číst desítky tisíc dokumentů opakovaně, platba za token přestává být zanedbatelná.
Nedostupnost internetu jako požadavek. Výrobní provozy, oddělené sítě, místa s nespolehlivým připojením.
Kdy je předčasná
Buďme konkrétní i v opačném směru. Privátní AI nedoporučujeme, když:
- firma ještě nemá vyzkoušené, k čemu chce AI vlastně používat — nejdřív najděte úlohy, které se vyplatí, teprve pak řešte, kde poběží
- jde o pár lidí, kteří občas potřebují shrnout text; na to je cloudový nástroj levnější a rychlejší
- data, se kterými by AI pracovala, nejsou nijak citlivá
- ve firmě není nikdo, kdo za projekt převezme odpovědnost na straně zákazníka
Prodat privátní AI firmě, která spadá do některé z těchto kategorií, znamená prodat jí něco, co za rok vypne. To nechceme.
Co k tomu patří kromě modelu
Nejčastější omyl je, že privátní AI = nainstalovaný lokální model. Spustit model je ta snadná část, zvládne to jeden člověk za odpoledne. Náročné je všechno kolem.
Index firemních dokumentů
Model sám o sobě o vaší firmě neví nic. Aby uměl odpovídat na dotazy nad interními dokumenty, musí se dokumenty zpracovat do vyhledatelné podoby — rozdělit, převést do vektorové reprezentace a udržovat aktuální, když se mění. U desítek tisíc dokumentů to není jednorázová operace, ale běžící proces.
Oprávnění
Tohle je místo, kde většina domácích řešení selže. Když má AI přístup ke sdílenému disku, má přístup ke všemu na tom disku. Obchodník se přes ni dostane ke mzdovým podkladům, aniž by cokoli obcházel — prostě se zeptá.
Oprávnění musí kopírovat práva, která ve firmě už platí, a být nastavená na výchozí zákaz: agent nemá přístup k ničemu, dokud mu ho někdo výslovně nepovolí.
Hranice mezi čtením a jednáním
Agent, který umí jen číst a analyzovat, je bezpečný. Agent, který umí odeslat e-mail, zapsat do CRM nebo založit objednávku, potřebuje jiný režim — u citlivých akcí musí čekat na schválení člověkem.
Tohle rozdělení je potřeba navrhnout dřív, než se agenti nasadí. Doplnit ho zpětně znamená přestavět celou aplikační vrstvu.
Auditní záznam
Bez něj nedokážete zodpovědět otázku, která nakonec vždycky přijde: co přesně ten systém dělal. Záznam musí obsahovat uživatele, agenta, model, otevřené soubory, volané nástroje a objem dat odeslaných mimo síť.
Obrana proti prompt injection
Když agent čte dokumenty a e-maily, čte i text, který do nich někdo vložil záměrně. Pokyn schovaný v přiloženém PDF může agenta přimět k akci, kterou nikdo nezadal. Čím víc oprávnění agent má, tím větší je to problém — a proto spolu oprávnění a obrana proti injekci úzce souvisí.
Provoz
Aktualizace, které se dají vrátit zpět. Zálohy. Monitoring. Šifrovaný disk. Náhradní hardware, když ten původní selže. Tohle jsou věci, které u interního experimentu nikoho netrápí a u produkčního nasazení rozhodují.
Co si nechte slíbit a co ne
Buďte skeptičtí k dodavateli, který tvrdí, že lokální model bude stejně schopný jako největší cloudové modely. Nebude. Modely, které se vejdou na jedno zařízení, mají proti největším cloudovým modelům reálné limity — v délce kontextu, ve složitém uvažování i ve spolehlivosti při práci s nástroji.
Realistický příslib zní jinak: model naladěný na konkrétní úlohy vaší firmy nad vašimi daty, kde je rozdíl v praxi malý, a výměnou za něj kontrola nad tím, kam data tečou.
Stejně tak si nechte vysvětlit, co znamená „data neopustí firmu”. Pokud agent používá externí vyhledávání, překladač nebo jakoukoli cloudovou službu, data té službě odcházejí — i když samotný jazykový model běží lokálně. Ptejte se, jestli existuje režim, ve kterém je odchozí provoz opravdu zablokovaný, a jak se to dá ověřit.
Jak začít
Pořadí, které dává smysl:
- Najděte tři konkrétní úlohy, které dnes někoho stojí měřitelný čas. Ne „chceme AI”, ale „hledání ve smlouvách zabere obchodníkovi pět hodin týdně”.
- Ověřte je na malém vzorku dat. Klidně v cloudu, s daty, která nejsou citlivá. Zjistíte, jestli je úloha vůbec řešitelná.
- Teprve pak řešte, kde to poběží. Pokud úlohy fungují a data jsou citlivá, má privátní nasazení smysl.
- Začněte jedním oddělením, ne celou firmou.
Tenhle postup je pomalejší než koupit zařízení a nasadit ho, ale výrazně snižuje riziko, že skončíte s drahým systémem, který nikdo nepoužívá.
Kam dál
Pokud vás zajímá, jestli se vás týká nová česká úprava kybernetické bezpečnosti a co z toho plyne pro dodavatele AI, projděte si orientační nástroj k NIS2 — vyjde z něj i seznam toho, co si u dodavatele AI vyžádat.
A pokud chcete probrat konkrétní situaci ve vaší firmě, ozvěte se — první konzultace je nezávazná a obvykle z ní vyjde jasně, jestli má privátní AI u vás smysl, nebo ne.