„LLM grooming“ výzva pro evropskou regulaci GPAI: případová studie sítě „Pravda“

Autorka: Jana Burdová

S příchodem a následným intenzivním vývojem modelů univerzální umělé inteligence (dále jen GPAI) se zásadně mění způsoby nejen produkce, ale též distribuce a přijímání informací ve veřejném prostoru. Otevírá se tak mimo jiné nový prostor pro šíření manipulativního, nepravdivého a dezinformačního obsahu a GPAI se stává významným bezpečnostním rizikem v geopolitickém kontextu, kdy jsou tyto nástroje zneužity k cílenému ovlivňování veřejného mínění, narušování důvěry v demokratické hodnoty a právní stát jejich infiltrací dezinformačními narativy.

Jedním z konkrétních případů takového zneužití je rozsáhlá ruská dezinformační síť „Pravda“ jejíž účelem s největší pravděpodobností bylo ovlivnění a zneužití GPAI tzv. „LLM groomingem“. Americká společnost NewsGuard zjistila, že výstupy této sítě byly použity v odpovědích velkých jazykových modelů například ChatGPT-4o od OpenAI, Copilot od Microsoftu, Meta AI od Meta (dříve Facebook), Gemini od Googlu a dalších, což zakládá zásadní otázku: Jakým způsobem reaguje evropský právní rámec na tyto hrozby?

„Pravda“ a taktika LLM grooming

Ruská dezinformační síť „Pravda“, známá též jako Portal Kombat, byla spuštěna v dubnu 2022 po rozsáhlé vojenské invazi Ruska na Ukrajinu. Poprvé ji identifikovala francouzská vládní agentura Viginum v únoru 2024. Tato síť šířila prostřednictvím 150 zdánlivě nezávislých webů svůj dezinformační proruský obsah v letech 2023 – 2025 v desítkách jazycích po celém světe, což zvyšovalo její věrohodnost pro GPAI. Přibližně 40 webů je ruských, dalších přibližně 70 cílí na Evropu a další na státy v Asii, Africe, Tichomoří a Severní Ameriku. Nyní síť zahrnuje 182 unikátních internetových domén a cílí nejméně na 74 zemí a regionů, včetně Evropské unie a NATO, ve 12 jazycích. Síť „Pravda“ pravděpodobně nevytváří originální dezinformační obsah, ale agreguje jej z ruských státních médií, vládních úřadů a agentur a z obsahu zveřejňovaného proruskými influencery. Americká nezisková organizace American Sunlight Project odhaduje roční produkci sítě na nejméně 3,6 milionů proruských článků.

Závažnost tohoto případu spočívá především v tzv. LLM groomingu – taktice, při které se záměrně a přímo vytváří digitální obsah s cílem ovlivnit trénovací data velkých jazykových modelů. Testy společnosti NewsGuard provedené na vzorku 15 falešných narativů sítě „Pravda“ v roce 2024 potvrdily, že výstupy byly obsaženy ve více než 30 % odpovědí generativních modelů jako ChatGPT, Copilot, Meta AI nebo Gemini a tvrzení používaly v odpovědích coby fakta či přímo citovaly a odkazovaly na samotné dezinformační a nepravdivé články v síti.
Fakticky tak vyvstává problém zejména pro vývojáře modelů GPAI, kteří se musí s těmito specifickými vlivovými akcemi nepřátelských aktérů vypořádat. Identifikace a následné odfiltrování zdrojů prokazatelně nesoucí dezinformační a nepravdivé informace je nereálnou cestou, jelikož sama síť „Pravda“ neustále přidává nové domény, které nesou stále se opakující lživé narativy, a tak by toto opatření bylo neúčinné. Výsledkem je tedy situace, kdy AI systémy samy, byť neúmyslně, participují na šíření dezinformací a legitimizaci těchto narativů. Ke zmírnění rizik přistoupili vývojáři k zavedení vyloučení odpovědnosti tedy prohlášení, že odpovědi chatbotů mohou být nepřesné nebo zastaralé a o přenesení odpovědnosti na uživatele za ověření faktů a interpretaci výstupu. Propojení mezi technickým fungováním GPAI a širšími celospolečenskými dopady logicky vyvolává širší právní otázky i z hlediska stávajícího regulatorního opatření.

Z hlediska právního rámce EU tato kauza poukazuje na určitý druh napětí mezi obecnými požadavky AI aktu na transparentnost a kvalitu trénovacích dat a současnou praktickou nevymahatelnost těchto pravidel. Přestože AI Akt klade důraz na odpovědnost poskytovatelů a na správu systémových rizik GPAI modelů (články 53 – 55), „LLM grooming“ představuje nové interpretační a aplikační výzvy. Významnou roli v tomto směru mají sehrát tzv. Kodexy postupů (Codes of Practice), jež měly být dle článku 56 zpracovány pod koordinací Úřadu pro umělou inteligenci EU a předloženy do 2. května 2025, nicméně k tomuto datu jejich finální verze nebyla zveřejněna. Tato situace ztěžuje poskytovatelům GPAI systémů faktické naplnění požadavků stanovených v AI Aktu, která mají být uplatňována od 2. srpna 2025. Absence závazných technických standardů a jednotné metodiky pro posouzení systémových rizik, včetně pravidel pro kvalitu tréninkových dat a dalších požadavků, vytváří nejistotu ohledně rozsahu a způsobu naplnění povinností poskytovatelů GPAI systémů. Poslední dostupnou informací, kterou 3. července sdělila Evropská komise, je, že by Kodexy postupů mohly začít platit až na konci roku 2025, což však tuto právní nejistotu prodlužuje.

AI Akt a výzvy pro poskytovatele GPAI

Jedním z důležitých prvků, na něž se AI Akt v případě GPAI zaměřuje, jsou požadavky na technickou dokumentaci, která zahrnuje též informace o kvalitě tréninkových dat, jejich testování, původu, procesu ověřování a kontroly správnosti, úplnosti, jejich čištění a filtrování, včetně způsobu jejich získávání, a to především u modelů klasifikovaných jako modely AI se systémovým rizikem, které mohou mít rozsáhlý dopad na společnost, základní práva či bezpečnost.

Poskytovatelé GPAI se systémovým rizikem jsou povinni vedle preventivních opatření zavádět též nástroje k posouzení, řízení a zmírňování těchto rizik, a to včetně mechanismů sledování výstupů a dokumentace o incidentech. Tato opatření budou v praxi narážet na řadu technologických, praktických a dalších překážek, a to především u velkých jazykových modelů, jejichž tréninková a zdrojová data jsou ve své podstatě rozsáhlá, heterogenní, anonymní, dynamická a obtížně ověřitelná.

Poskytovatelé GPAI často nemají efektivní nástroje k tomu, aby tato data předem důkladně analyzovali a filtrovali a dokázali tak předcházet „LLM groomingu“. Tato technika, jak dokládá případ ruské dezinformační sítě „Pravda“, představuje sofistikovaný způsob infiltrace veřejně dostupných webových obsahů, které následně přebírají velké jazykové modely v tréninkové fázi. Výsledkem je šíření dezinformačních a lživých narativů, které vznikly i bez úmyslu nebo vědomí poskytovatele modelu a mají či mohou mít negativní celospolečenské dopady, jako například ovlivnění voleb, veřejné důvěry ve státní instituce či polarizace společnosti. Jedná se o nový typ ohrožení spočívající ve strategické, dlouhodobé a rozsáhlé infiltraci tréninkových dat, který je obtížně identifikovatelný efektivním a včasným způsobem. Navíc mnohé šířené dezinformační narativy nebývají postavené na zcela vymyšleném a nepravdivém základě, což ztěžuje jejich odhalení algoritmickými filtry.
V tomto kontextu se otevírá zásadní otázka, zda je realistické a spravedlivé očekávat od poskytovatelů GPAI zvládnutí těchto výzev v oblasti detailní kontroly tréninkových dat a zda se Kodexy postupů vyrovnají s novým typem hrozeb.

Závěr

Zneužití GPAI prostřednictvím taktiky „LLM groomingu“ představuje nový typ hybridních hrozeb. Případ ruské dezinformační sítě „Pravda“ ukazuje, že aktéři s geopolitickými zájmy dokážou cíleně manipulovat jedince a společnost prostřednictvím dezinformací a lží nejen přímo, ale též přes ovlivnění a infikování tréninkových dat velkých jazykových modelů. Hledání kvalitní právní ochrany naráží na specifika GPAI, především pak vysoký stupeň autonomie těchto systémů a rozsáhlost, heterogennost a dynamičnost dat. AI Akt sice zakotvuje řadu požadavků na zajištění jejich kvality a transparentnosti, nicméně prozatím zůstává jejich uplatnění v praxi omezené absencí konkrétních metodických rámců. Kodexy postupů, které měly výklad povinností a rizik konkretizovat prozatím nebyly vydány, což prodlužuje stav právní nejistoty. Zároveň se ukazuje, že otázka nových hybridních hrozeb v oblasti GPAI bude v kontextu evropské regulace vyžadovat kvalitní metodické ukotvení. Závěrem lze konstatovat, že evropská regulace GPAI systémů stojí před výzvou, která není jen technologická a právní, ale hodnotová. Otázka jak ochránit důvěru v demokratické principy, právní stát a společnost ve světě AI systémů a nových hybridních hrozeb bude nadále klíčovou. 

Přejít nahoru