Ove godine, u tehnologiji, počeo je s porastom Agentic AI. Malo manje od dva mjeseca do 2026. godine, AI debata je već bila , njihove sposobnosti, i njihove prednosti za poduzeća. Među agentima izmišljajući preko noći i znanstveno-fantastičnim scenarijima, pojavljuje se prosaicniji skup pitanja. Samo da navedem nekoliko: upravljački rizici delegiranja zadataka mašinama, utjecaj na ljudsku radnu snagu, povećana potreba za . hijacked by AI agents Crustafarska religija human control and oversight Budući da sam alergičan na bilo koji oblik tehnološkog hype, neću se predati pripovijedanju da AI agenti preuzimaju planet do Božića najkasnije. Ali kompanije stvarno istražuju mogućnost implementacije AI agenata za optimizaciju tokova rada. Rast interesovanja za ova rešenja čini se potvrđenim pojavom agencijskih AI upravljačkih okvira. Pogledajmo nekoliko njih. Singapurova rano kretanje na Agentic AI upravljanje U januaru 2026. singapurski Infocomm Media Development Authority (“IMDA”) objavio je svoju Prvo, (dobrovoljni) okvir priznaje da „pristup osetljivim podacima i sposobnost agenata da mijenjaju svoje okruženje“ podstiče sasvim novi profil rizika. Budući da agenti mogu izvršavati finansijske transakcije ili mijenjati baze podataka koje sadrže lične podatke, veličina tih potencijalnih rizika ne može se minimizirati. Agentički AI okvir upravljanja risk of outcomes becoming more unpredictable Agentički AI okvir upravljanja Singapurski model nije o prepisivanju upravljanja već o Na primer, načela pravednosti i transparentnosti i dalje se primjenjuju više nego ikada ranije, kao i ljudska odgovornost, ljudski nadzor i kontrola, koji se moraju kontinuirano primjenjivati kroz životni ciklus AI-a, koliko god je to moguće. adapting AI considerations and translating them for agents Agentic AI risks Singapur okvir prepoznaje da Agentic AI rizici nisu previše različiti od Rizici povezani s LLM-om (SQL i prompt injekcija, halucinacije, predrasude, curenje podataka itd.) : agent može halucinirati tako što će napraviti pogrešan plan za završetak zadatka, ili u kasnijoj fazi, tokom izvršenja, tako što će pozvati ne postojeće alate ili ih nazvati na pristran način. Tradicionalni the way they manifest themselves Rizici su još veći kada agenti interagiraju jedni s drugima. Greška jednog agenta može proizvesti kaskadni efekat, ako Kao što je gore spomenuto, složene interakcije mogu dovesti do nepredvidivih rezultata i neočekivanih zamki u lancu akcija. wrong output is passed on to other agents Model identificira pet ključa, potencijalno : harmful categories of risks Pogrešna akcija. Zamislite AI agenta koji ne može eskalirati IT incident na ljudske operatere jer anomalija koja se otkrije ne odgovara unapred definiranim pragovima. Neovlašćene akcije Ovaj rizik je konfigurisan od strane agenta koji poduzima akcije koje se nalaze izvan njegovog dozvoljenog opsega. Predrasude ili nepoštene akcije. Mi smo upoznati sa predrasudama jer je to čest problem s tradicionalnim AI, posebno binarnim modelima klasifikacije. Razlog je isti: pomislite na agenta koji donosi predrasudnu odluku o zapošljavanju. Kršenje podataka Klasičan scenarij je kada agenti mogu nesvjesno otkriti osjetljive informacije, a da ih ne prepoznaju kao osjetljive, ili kršenje sigurnosti od strane zlonamernih aktera koji dobijaju pristup privatnim informacijama putem agenata. Ovaj rizik se odnosi na događaj kada se nepravilna akcija koju poduzima agent koji interagira s drugim sistemima širi, ometajući protok informacija ili akcija (npr. pogrešno brisanje proizvodne baze kodova). Governance model IMDA-in model upravljanja agencijom AI zasnovan je na četiri stupa. 1. Assessing risks upfront U suštini, ovaj korak uključuje za agenta raspoređivanja, i . determining risks and use cases designing a risk control system Središnje za određivanje slučajeva upotrebe je identifikacija rizika, opisana kao funkcija i Model ilustrira niz faktora koji utječu na potencijalni uticaj agenata AI (domena implementacije, pristup osetljivim podacima i vanjskim sistemima, opseg i reverzibilnost akcija agenata) i verovatnoću (nivo autonomije agenata, složenost zadataka). Uobičajene prijetnje mogu biti trovanje memorije, zloupotreba alata i kompromis privilegiju. impact likelihood potential external attack scenarios Sljedeći logičan korak je definisanje granica i dozvola agenata. To znači proizvodnju politika, postupaka i protokola koji jasno opisuju granice agenata u smislu pristupa alatima i sistemima, njihovog nivoa autonomije i područja utjecaja (npr. raspoređivanje agenata u „samostalno okruženjima” sa ograničenim pristupom mreži i podacima, posebno kada obavljaju zadatke visokog rizika kao što je izvršenje koda). . a mix of traditional identity access and human supervision is required 2. Making humans truly accountable Drugi stup zabrinutosti unutar i izvan organizacije i omogućava Temeljna pretpostavka IMDA-e je da organizacije i pojedinci ostaju odgovorni za postupke svojih agenata. establishing clear responsibilities meaningful human oversight Unutar organizacije, odgovornosti treba definisati za: a) , uključujući postavljanje ciljeva na visokoj razini agenata, ograničenja i cjelokupnog pristupa upravljanju; b) , uključujući definiciju zahteva agenata, dizajn, kontrole, sigurnu implementaciju i praćenje; c) , uključujući uspostavljanje osnovnih sigurnosnih straža i sigurnosnih postupaka ispitivanja; d) Spoljni akteri mogu uključivati, na primjer, modelere ili agencijske pružatelje AI, a za njih organizacija treba da postavlja jasne odgovornosti. key decision makers product teams cybersecurity team users Osmišljavanje smislenog ljudskog nadzora uključuje tri mjere. , kao što su visoke stope ili nepovratne akcije (uređivanje osetljivih podataka ili trajno brisanje podataka), ili izvanredno i atipično ponašanje (agenti koji djeluju izvan svog opsega). , na primer, obučavanjem ljudi da prepoznaju uobičajene načine neuspeha i redovno revidiraju prakse ljudske kontrole. . define action boundaries requiring human approval continued effectiveness of human oversight real-time alert monitoring 3. Implementing technical and control processes Na vrhu od Tehnička kontrola povezana s LLM-om, treći stup preporučuje dodavanje novih kontrola koje zahtijeva novost Agentic AI-a kroz životni ciklus. Tradicionalni Primjerice, kompanije bi trebale uvesti stroge kontrole pre implementacije da promatraju kako će stvarni agenti funkcionisati kada budu raspoređeni. Kompanije bi trebalo da preduzmu holistički pristup prilikom testiranja agenata, uključujući procjenu novih rizika, tokova rada i realnih okruženja u svim skupovima podataka, i procjenu rezultata testova na skali. AI, agenti treba stalno pratiti i testirati posle raspoređivanja, tako da ljudi mogu intervenisati u realnom vremenu i debugirati kada je potrebno. i . using test agents Tradicionalni agents work at speed companies may struggle to keep up 4. Enabling end-user responsibility Konačno, kako bi se osigurala odgovornost i odgovornost krajnjih korisnika – to jest onih koji će koristiti i oslanjati se na agente AI – kompanije bi se trebale usredotočiti na: (komuniciranje sposobnosti i ograničenja agenata) i Organizacije se mogu usredotočiti na transparentnost za korisnike koji interaktuju s agentima (vanjski korisnici, kao što su korisnički servis ili HR agenti) i na edukaciju za korisnike koji integriraju agente u svoje radne procese (interni korisnici, kao što su asistenti kodiranja). transparency education UC Berkeley’s Agentic AI framework Agentički AI okviri UC Berkeley U februaru 2026. godine, grupa UC Berkeley centar za dugoročnu kibersigurnost objavio je Okvir rizika Slično kao i IMDA, članak je prepoznao povećane rizike koje uvode agenti, uključujući "neplanirano traganje za ciljem, neovlaštenu eskalaciju privilegija ili stjecanje resursa, i druga ponašanja, kao što su samo-replikacija ili otpor prema isključivanju". “komplikovati tradicionalne, model-centric pristupe upravljanju rizikom i zahtijevaju upravljanje na nivou sistema”. istraživači Agentički standardi za upravljanje rizicima broadly reflecting NIST AI Risk Management Framework (AI RMF) unique challenges Okvir UC Berkeley je izričito osmišljen za Međutim, autori kažu, može se koristiti i od strane tvoraca politika i regulatora "da procijene jesu li agentički AI sustavi dizajnirani, ocijenjeni i raspoređeni u skladu s vodećim praksama upravljanja rizikom". single- or multi-agentic AI systems developers and deployers Agentic AI risks U poređenju s IDMA-om, članak identificira širi raspon rizika: Diskriminacija i toksičnost, uključujući povratne informacije, širenje toksičnog sadržaja i razlike u dostupnosti, kvaliteti i sposobnosti agenata. Privatnost i sigurnost, uključujući nenamerno otkrivanje osobnih ili osetljivih podataka, curenje podataka i rezultirajuće neusklađene rezultate. Pogrešne informacije, posebno kada halucinacije i pogrešne izlaze iz jednog agenta ponovno koriste drugi agenti. Zlonamerni akteri i zloupotreba, uključujući lakše izvršenje složenih napada, automatizovane zloupotrebe, masovne manipulacije, prevare i koordinirane kampanje utjecaja. Interakcija čoveka i računala, kao što su smanjena ljudska kontrola, društveno uvjerljivo ponašanje i poteškoće korisnika u razumijevanju ili osporavanju ponašanja agenata. Gubitak kontrole, uključujući nadzornu subverziju, brzinu izvršenja koja nadmašuje praćenje i odgovor, i ponašanja koja ugrožavaju mehanizme za isključivanje ili suzbijanje. Socijalno-ekonomske i ekološke štete, uključujući nejednakost u pristupu agentičkim sposobnostima, kolektivno oslobađanje moći i velike ekonomske i ekološke učinke. Bezbednost AI sustava, neuspjesi i ograničenja, uključujući autonomnu replikaciju, pogrešno usklađivanje, prevaru, koluziju, planiranje usmjereno na ciljeve, utjecaj u stvarnom svetu i nedovoljno ljudski nadzor. Focus on human control Kao i IMDA, UC Berkeley standardi su prvenstveno usmjereni na Fokusirajte se na: enhance human oversight Ljudska kontrola i odgovornost (jasne uloge i odgovornosti, uključujući jasne definicije uloga, kontrolne točke intervencije, puteve eskalacije i mehanizme za isključivanje) Sistemska procjena rizika (posebno korisna za interakcije sa više agenata, upotrebu alata i pristup okolišu) Kontinuirano praćenje i nadzor nakon raspoređivanja (agentičko ponašanje može evoluirati s vremenom i u kontekstu) Odbrana u dubini i suzbijanje (tretiranje agenata kao nepoverenih entiteta zbog ograničenja trenutnih tehnika evaluacije) Transparentnost i dokumentacija (jasna komunikacija o sistemskim granicama, ograničenjima i odlukama o ublažavanju rizika sa dionicima) Autori prepoznaju ograničenja vlastitog standarda. prvo, agencijska AI taksonomija , što ograničava „sposobnost usklađivanja preporuka u svim organizacijama i jurisdikcijama“. Drugo, bkompleksno ponašanje više sistema i povećana autonomija otežavaju osiguravanje robusne ljudske kontrole i ispravnog pripisivanja odgovornosti. widely vary and are inconsistently applied across the world Zbog toga, upozoravaju autori, članak usvaja „preventivni pristup, naglašavajući konzervativne pretpostavke, složenih zaštitnih mjera i kontinuiranog preispitivanja“. Umjesto statičke kontrolne liste upravljanja, treba ga smatrati „živim okvirom namijenjenim razvoju uz agencijska istraživanja AI, prakse uvođenja i norme upravljanja“. NIST design Kao što je gore spomenuto, okvir To je namjerna odluka autora da pomognu kompanijama da primene postupke upravljanja rizikom na strukturu s kojom su upoznati i izgrade okvir koji je . overlaps that of NIST AI RMF consistent with existing practices More Agentic AI frameworks Više Agentički AI frameworks IMDA i UC Berkeley okviri su nedavno objavljeni, ali su Postoje upućivanja na razne druge modele koji opisuju procese i postupke za rješavanje rizika koje predstavljaju AI agenti. not the only Agentic AI governance programmes to be proposed Agentsafe U decembru 2025. godine, tri irska IBM stručnjaka objavila su članak koji predlaže , a za agencijske sisteme zasnovane na LLM-u. Agencija tool-agnostic governance framework U praksi, Agentsafe „operacionalizira MIT AI Risk Repository tako što mapira apstraktne kategorije rizika u strukturirani skup tehničkih i organizacijskih mehanizama“, prilagođen rizicima specifičnim za agense. , eskalira akcije visokog utjecaja na ljudski nadzor i procjenjuje sisteme na temelju scenarija incidenata pre implementacije, koji uključuju sigurnost, privatnost, pravednost i sistemsku sigurnost. , nudeći metodologiju koja povezuje rizike sa testovima, metrikama i porijeklom. constraints to risky behaviours assurance through evidence and auditability Agentsafe izgleda da je a Prirodno proširenje Temelji se na etičkim principima (odgovornost, transparentnost i sigurnost), oblikuje se strukturiranim procesima upravljanja rizikom u skladu s međunarodnim standardima i čini se da nosi potencijal za rješavanje dva ključna izazova Agentic AI: i . very promising framework Tradicionalni timely containment effective human oversight AAGATE U novembru 2025. godine, na odlučujuće tehničkoj strani, 11 preduzetnika, istraživača i stručnjaka iz industrije objavilo je Predlaže se , definirana kao “NIST AI RMF-aligned governance platform for Agentic AI”. da su "tradicionalni AppSec i alati za usklađivanje dizajnirani za deterministski softver, a ne za samostalne sisteme razmatranja sposobne za improvizaciju". Papir Agentic AI Governance Assurance & Trust Engine (AAGATE) pretpostavke Da bi uklonili tu prazninu, AAGATE (Govern, Map, Measure, Manage), integrirajući “specijalizovane sigurnosne okvire za svaku RMF funkciju: Agentic AI Threat Modeling MAESTRO okvir za Map, hibrid OWASP-ovog AIVSS-a i SEI-ovog SSVC-a za Measure, i Agentic AI Red Teaming Guide za upravljanje Cloud Security Alliance-a”. operationalises the above-mentioned NIST AI RMF principles Možete pogledati pojednostavljeni sažetak AAGATE objavljen na . Cloud sigurnosni savez NVIDIA’s Agentic AI risk framework U novembru 2025. godine objavljeno je i izvješće Agentic AI o sigurnosti i sigurnosti Skupina stručnjaka iz i kompanija sa sjedištem u Zürichu Okvir uvodi , nadgledan od strane ljudi, da „pomogne u kontekstualnom otkrivanju rizika, procjeni i ublažavanju rizika“. Okviri NVIDIA Lakera novel idea of using auxiliary AI models and agents In a nutshell, the risk framework involves four actors: Globalno kontekstualizovani bezbednosni agent, koji postavlja i primjenjuje sistemske politike, pragove rizika i pravila eskalacije u svim agentima, uz punu vidljivost i reviziju. Lokalni kontekstualni agent napadača, koji djeluje kao ugrađeni crveni tim, ispituje sistem realnim i kontekstualnim napadima na površinu novih rizika. Lokalni kontekstualizovani agent branitelja, koji primjenjuje zaštitu unutar trake u radnom vremenu, primjenjuje najmanje privilegije, potvrđuje upotrebu alata i sadrži nesigurno ponašanje. Lokalni agent za evaluaciju, koji prati ponašanje agenta kako bi izmjerio sigurnost, pouzdanost i odstupanja, pokrećući alarme i akcije upravljanja. The framework operates in two phases: Faza 1: Otkrivanje rizika i evaluacija. Odvija se u sandboxed okruženju i dizajniran je za otkrivanje novih rizika koji se ne pojavljuju u statičkom testiranju. Ugrađeni napadač može simulirati protivničke napade (brzo ubrizgavanje, otrovane podatke za preuzimanje ili nezaštićeni lanac alata), dok evaluator nadzire potpune tragove izvršenja kako bi izmjerio sigurnost, pouzdanost i usklađenost sa politikama. Cilj je identificirati ranjivosti, procijeniti pragove rizika i dizajnirati obrambene kontrole prije implementacije. Faza 2: Ugrađeno ublažavanje opasnosti i kontinuirano praćenje. Primjenjuje te kontrole u proizvodnji. Sistem se pokreće sa obrambenim sistemima koji primjenjuju pristup sa najmanjim privilegijama, potvrđuju pozive na alate, primjenjuju stražare i sadrže nesigurno ponašanje u realnom vremenu. Komponenta za praćenje kontinuirano procjenjuje ponašanje sistema prema očekivanim trajektorijama i unaprijed definiranim pragovima rizika, pokrećući upozorenja ili ljudsku eskalaciju kada je potrebno. Ovaj sistem osigurava da je sigurnost prilagodljiv, kontinuirani proces upravljanja koji se bavi ponašanjem, promjenama konteksta i novonastalim prijetnjama. Agentic Risk & Capability (ARC) Framework Odgovorni AI tim u GovTech Singapur AI Praktika objavljen na Naši , program tehničkog upravljanja „za identifikaciju, procjenu i ublažavanje rizika za sigurnost i sigurnost u agentičkim AI sistemima”. GitHub podrška Agentic Risk & Capability (ARC) framework Zanimljivo je da je tim razvio taksonomiju usredotočenu na sposobnosti koja kategorizuje agense AI u tri glavna domena: Kognitivne sposobnosti (razumevanje, planiranje, učenje i donošenje odluka) Sposobnosti interakcije (kako agenti percipiraju, komuniciraju i utiču na okolinu ili ljude) Operativne sposobnosti (da li agenti obavljaju akcije sigurno i efikasno) Oni su takođe izradili registar rizika koji povezuje sposobnosti sa specifičnim rizicima: Komponentni rizici (neuspjesi ili ranjivosti u sistemskim modulima) Projektiranje rizika (arhitektura, logika, ili odluke krugovi pitanja) Rizici specifični za sposobnosti (prijetnje koje proizlaze iz sposobnosti agenta, hakiranje nagradama) Svaki rizik je zatim mapiran na specifične tehničke kontrole (guardrails, politike, praćenje) da bi se ublažio, pružajući izravnu sljedivost kontrole rizika. Saznajte više o . GitHub podrška Getting ahead of the singularity Biti ispred singularnosti Mi smo daleko od Međutim, nije iznenađujuće da nas naša izmenjena percepcija onoga što su AI agenti zapravo – složeni softverski sustavi za razliku od humanoidnih robota spremnih da nas istrebe u našem snu – gurne ka zabrinjavanju za ovo drugo, a ne za prvo. horrors of the AI singularity Trenutno su ti strahovi iracionalni i moraju se staviti u pravi kontekst. Okviri upravljanja koji se pojavljuju globalno signaliziraju da je agencijska AI tu da ostane, potencijalni rizici su gotovo stvarni, a neki akteri rade na tome da . AI agents bringing as many benefits as potential dangers address them proactively
