Tijekom vježbanja crvenog tima, istraživači Autonomni agenti AI-a na temelju preglednika klijenta slučajno su otkrili povjerljivosti CTO-a. sakriveno unutar interne GitHub teme stranice. agent je radio na - otvorenog koda koji je nedavno 17 milijuna dolara u krugu sjemena i napravio je naslovnice u VC svijetu. promatrao Dva dana Korištenje browsera Podignuta To brzo dokazivanje koncepta otkrilo je mnogo dublji problem. Dok se rizični kapital i dalje ulijeva u utrku da bi LLM agenti bili brži i sposobniji, sigurnost ostaje razmišljanje nakon toga. Danas, autonomni agenti koji se temelje na pregledniku već imaju pristup privatnim upitnicima, hotelima za knjige i usklađuju financijske zapise. Većina korporativnih agenata za umjetnu inteligenciju koristi ih kao alat (npr. sučelje za preuzimanje vanjskih podataka). Prema 82% velikih tvrtki danas pokreće barem jednog AI agenta u svojim proizvodnim tokovima rada, s 1,3 milijarde korisnika korporativnih agenata predviđenih do 2028. godine. Tržišni istraživači How Hackers Exploit Enterprise AI Agents Kako hakeri iskorištavaju Enterprise AI agente Zenity Labs, jedan od vodećih pružatelja Agentic AI sigurnosti i upravljanja za poduzeća, Više od 3000 javno dostupnih agenata MS Copilot Studio-a raspoređenih od strane velikih poduzeća za rješavanje upita o uslugama za korisnike, obradu karata za podršku, pristup internim CRM sustavima i izvršavanje različitih poslovnih tokova. Otkriveno Istraga tvrtke otkrila je kompletni lanac napada. , gdje su se tehnike OSINT-a koristile za mapiranje i identifikaciju javno izloženih Copilot Studio agenata. , izrađivanje pažljivo osmišljenih poziva i e-pošte kako bi manipulirali logikom obrade agenta. , jer su agenti oteti bez ikakve ljudske interakcije - u osnovi postajući automatizirana pozadinska vrata u poduzetničke sustave. , gdje bi napadači mogli baciti cijele CRM baze podataka i izložiti osjetljive interne alate, sve tako što će iskoristiti ranjivosti u tokovima rada agenata koji nisu imali odgovarajuće straže. reconnaissance weaponization compromise exfiltration Sigurnost Copilot Studio agenata nije uspjela jer se previše oslanjala na meke granice, tj. krhke, zaštite na površini (tj. upute AI-u o tome što bi trebalo i ne bi trebalo učiniti, bez tehničkih kontrola). Agenti su u svojim pozivima bili upućeni da "samo pomognu legitimnim kupcima", ali takva su pravila bila lako zaobilaziti. Prompt štitovi dizajnirani za filtriranje zlonamjernih ulazaka pokazali su se neučinkovitim, dok su poruke sustava koje opisuju "prihvatljivo ponašanje" učinile malo za zaustavljanje izrađenih napada. Ovaj i drugi zero-click exploits poduzeća AI agenata demonstrirani su na Black Hat USA 2025, s ključnim nalazom da je Što je AI agent autonomniji, to je veći sigurnosni rizik. . the more autonomous the AI agent, the higher the security risk Kako počnu djelovati samostalno, postaju površine napada za koje većina organizacija nije svjesna. Prema višestrukim izvorima, mnogi agenti korporativne umjetne inteligencije skloni su sigurnosnim eksploatacijama. Na primjer, platforma Salesforce Einstein jednom je manipulirana kako bi preusmjerila komunikacije klijenata na račune e-pošte koje kontrolira napadač. Googleov Gemini mogao bi biti iskorišten kao prijetnja, sposoban za presretanje povjerljivih razgovora i širenje lažnih informacija. Hakerski napad je ugasio svjetla, otvorio svijeće i pokrenuo kotlovac - sve bez ikakvih zapovijedi od stanovnika. Kontrola From AI Browsers to Enterprise Backdoors Od AI browsera do Enterprise backdoora Nove Guardio smatra da AI preglednici, kao što je Perplexity ili podložni su prijevari i slučajnom otkrivanju povjerljivih podataka, jer još nisu u stanju razlikovati lažne i stvarne stranice i veze. Studija Kometa Danu U višestrukim kontroliranim testovima koje je provela tvrtka Guardio, AI browsing agenti su pokazali kako se lako mogu manipulirati lažnim shemama - stavljajući stvarne korisnike u opasnost. Prvi eksperiment ispitao je kako agenti obavljaju online kupnje. Tester je otvorio lažnu web stranicu Walmart, a Comet ju je učitao bez izazivanja bilo kakvih upozorenja o prijevari. Agent je besprijekorno završio zadatak – kupio Apple Watch. Još važnije, preglednik je automatski ispunio podatke o plaćanju i adresu isporuke, unatoč jasnim crvenim zastavama koje ukazuju na to da je stranica bila prijevara. Još jedan test usmjeren je na funkcionalnost e-pošte.Istraživači su poslali phishing e-poštu premazanu kao poruku Wells Fargo koja sadrži zlonamjernu vezu.Comet ju je tumačio kao legitimni zahtjev od banke i odmah je kliknuo.Na lažnoj stranici, agent je unio osjetljive bankovne podatke bez oklijevanja ili provjere, potpuno izlažući korisnika financijskoj krađi. Treći exploit naglašava suptilniji rizik: skrivene upute ugrađene izravno u web stranice.Te nevidljive upute izvršava AI agent bez znanja korisnika, omogućujući napadačima da prisile neželjene radnje kao što su preuzimanje zlonamjernih datoteka ili curenje povjerljivih informacija. Guardioovi istraživači ističu jedan trend: Razvijatelji AI preglednika trenutačno daju prioritet korisničkom iskustvu nad robusnom sigurnošću. developers of AI browsers currently prioritize user experience over robust security. U praksi to znači da su sigurnosni mehanizmi često relegirani na alate trećih strana, kao što je Google Safe Browsing – rješenja koja su često neadekvatna protiv suvremenih, AI-drivenih prijetnji. How to Give Agentic AI a Security-First Mandate Kako dati Agentic AI sigurnosno-prvi mandat Odluka je jasna: sustavi koji tumače i djeluju na uživo web sadržaj moraju biti izgrađeni na . "security-first" architecture and hard boundaries, i.e., actual technical controls that can't be bypassed through prompt manipulation istraživači da ulagači koji kanaliziraju osamcifrene iznose u agentičke startupe sada moraju dodijeliti jednak udio resursa sigurnosti, , i Financijske injekcije u funkcionalnost same po sebi više nisu dovoljne; sigurnost mora postati temeljni princip arhitekture. Stres threat modeling formal verification continuous stress testing Agentički sustavi trebaju djelovati u izolaciji: planiraj, izvršitelj i modul povjerljivosti moraju postojati kao zasebni, međusobno nepovjerljivi procesi koji komuniciraju samo putem potpisane i ograničene veličine poruka. Sigurnosne provjere također bi trebale postati dio dnevne inženjerske rutine: injekcije HTML-a protivnika i upozorenja za jailbreak trebaju biti ugrađene izravno u cijevi CI / CD, uz bilo koje jedinstveno otpuštanje blokiranja neuspjeha. Istodobno, dobavljači moraju pružiti više od klasičnih softverskih računa o materijalima (SBOM). Oni bi trebali moći objaviti karte rizika koje jasno ukazuju na podatke, uloge i dozvole koje bi napadač dobio ako bi agent bio ugrožen. Potrebna je transparentnost u pogledu pojedinačnih rizika i šireg društvenog utjecaja. Okvir za upravljanje rizicima (AI-RMF) Kao i u bankarskom sektoru, neovisne evaluacije crvenog tima s obveznim javnim objavljivanjem zaključaka na visokoj razini postat će preduvjet za povjerenje i usklađivanje s međunarodnom praksom u SAD-u i EU-u. Inače, brzina usvajanja agentičke AI uskoro će nadmašiti našu sposobnost upravljanja njegovim rizicima.
