Zpráva Cato CTRL Threat Report 2025 obsahuje ukázku techniky umožňující zneužít nástroje ChatGPT, Copilot a DeepSeek
Společnost Cato Networks, přední dodavatel bezpečnostní architektury SASE (Secure Access Service Edge), zveřejnila zprávu 2025 Cato CTRL™ Threat Report. Studie ukazuje, jak bezpečnostní výzkumník skupiny Cato CTRL bez předchozích zkušeností s psaním malwaru dokázal úspěšně obelstít populární nástroje generativní umělé inteligence (GenAI), včetně DeepSeek, Microsoft Copilot a OpenAI ChatGPT. Pomocí tzv. jailbreaku (překonání vestavěných výchozích omezení) získal malware kradoucí přihlašovací údaje z prohlížeče Google Chrome.
Výzkumník za tímto účelem vytvořil podrobný fiktivní svět, kde jednotlivé nástroje GenAI hrály role s přidělenými úkoly a výzvami. Pomocí tohoto příběhu („narativní inženýrství“) obešel bezpečnostní kontroly a podařilo se mu přimět nástroje GenAI k provádění postupů, které jsou jinak blokovány. Nakonec tak nástroje umělé inteligence vytvořily vlastní nástroj kradoucí hesla z prohlížeče Chrome (infostealer). Tato nová technika jaibreakingu nástrojů LLM (velké jazykové modely) se označuje Immersive World (ponoření do fiktivního světa).
„Infostealery hrají významnou roli při krádežích přístupových údajů, protože provozovatelům bezpečnostních hrozeb umožňují pronikat do podniků. Naše nová technika jailberakingu LLM, kterou jsme objevili a nazvali Immersive World, ukazuje nebezpečný potenciál snadného vytvoření infostealeru,“ uvedl Vitaly Simonovich, výzkumník v oblasti zpravodajství o hrozbách ve společnosti Cato Networks. „Domníváme se, že vzestup útočníků s nulovými znalostmi programování malwaru představuje pro organizace vysoké riziko, protože bariéra pro vytvoření škodlivých kódů je nyní kvůli možnostem nástrojů GenAI podstatně snížena.“
Rostoucí demokratizace kybernetické kriminality znamená pro ředitele IT, CISO (ředitelé informační bezpečnosti) a vedoucí pracovníky v oblasti IT kritický problém. Vzestup tvůrců hrozeb nedisponujících speciálními technickými znalostmi s sebou přináší zásadní změnu celého bezpečnostního prostředí. Zpráva společnosti Cato Networks ukazuje, jak může kdokoli a kdekoli zahájit útoky na podniky, a to s hotovými nástroji. To podtrhuje potřebu proaktivních a komplexních strategií zabezpečení ve vztahu k AI.
„S tím, jak se technologický průmysl upíná ke generativní umělé inteligenci, je jasné, že související rizika jsou stejně velká jako potenciální přínosy. Naše nová technika jailbreakingu LLM, jak jsme ji podrobně popsali ve studii Cato CTRL Threat Report 2025, měla být zablokována ochrannými prvky GenAI. Nebyla. To umožnilo využít ChatGPT, Copilot a DeepSeek k tvorbě škodlivého kódu,“ řekl Etay Maor, hlavní bezpečnostní stratég společnosti Cato Networks. „Naše zpráva upozorňuje na nebezpečí spojená s nástroji GenAI. Snažíme se vzdělávat a zvyšovat povědomí o těchto hrozbách, aby podniky mohly zavést účinnější ochranná opatření. To je pro prevenci zneužití GenAI zásadní.“
Podrobnější informace
- Zpráva 2025 Cato CTRL Threat Report. Jedná se o první roční studii o hrozbách od Cato CTRL, týmu Cato Networks pro sledování hrozeb. Klíčovým tématem letošní zprávy je umělá inteligence.
- Blog obsahující předpovědi Cato CTRL pro vývoj AI v roce 2025.
- Účet Cato CTRL na síti X.
- Weby společnosti Cato pro AI a ML a bezpečnostní zásady pro AI.
Metodika výzkumu
Zpráva Cato CTRL o bezpečnostních hrozbách v roce 2025 shrnuje zjištění z analýzy 1,46 bilionu síťových toků provedené skupinou Cato CTRL u více než 3 000 podnikových zákazníků po celém světě v roce 2024.
Výzkum jailbreakingu provedl tým Cato CTRL v řízeném testovacím prostředí.
O skupině Cato CTRL
Cato CTRL (Cyber Threats Research Lab) je první skupinou CTI (Cyber Threat Intelligence) na světě propojující zpravodajství o hrozbách s granulárním přehledem o sítích, jak to umožňuje globální platforma SASE společnosti Cato Networks. Díky spojení desítek bývalých vojenských zpravodajských analytiků, výzkumníků, datových vědců, akademiků a uznávaných bezpečnostních odborníků využívá Cato CTRL síťová data, data z bezpečnostních zásobníků, stovky kanálů o zabezpečení, lidskou inteligenci, umělou inteligenci i strojové učení, aby osvětlila nejnovější kybernetické hrozby a jejich aktéry.
O společnosti Cato Networks
Společnost Cato Networks poskytuje podnikové zabezpečení a sítě prostřednictvím jediné cloudové platformy. Jako lídr v oblasti SASE (Secure Access Service Edge) vytváří pro zákazníky bezproblémové a hladce fungující prostředí, které umožňuje prevenci hrozeb, ochranu dat, včasnou detekci a reakci na bezpečnostní incidenty. Se společností Cato nahrazují organizace nákladnou a rigidní starší infrastrukturu otevřenou a modulární architekturou SASE založenou na softwarově definovaných sítích (SD-WAN), účelově vybudované globální cloudové síti a vestavěném cloudově nativním bezpečnostním stacku.
Zajímá vás, proč tisíce organizací zabezpečují svou budoucnost s pomocí společnosti Cato? Navštivte nás na adrese www.catonetworks.com.