Anul acesta, în tehnologie, a început cu creșterea Agentic AI. Cu puțin mai puțin de două luni în 2026, dezbaterea AI a fost deja , capacitățile lor, și beneficiile lor pentru întreprinderi. Pentru a numi doar câteva: riscurile de guvernanță ale delegării sarcinilor către mașini, impactul asupra forței de muncă umane, nevoia crescută de . hijacked by AI agents Religiile crustafare human control and oversight Deoarece sunt alergic la orice formă de hype tehnologic, nu voi ceda la povestirea care vede agenții AI preluând planeta până la Crăciun cel mai târziu. Dar companiile explorează într-adevăr posibilitatea de a implementa agenți AI pentru a optimiza fluxurile de lucru. Interesul în creștere în aceste soluții pare să fie confirmat de apariția cadrelor de guvernanță agentic AI. Să vedem câteva dintre ele. Mergerea timpurie a Singapore privind guvernanța agentică AI În ianuarie 2026, Infocomm Media Development Authority (IMDA) din Singapore a publicat În primul rând, cadrul (voluntar) recunoaște că „accesul agenților la date sensibile și capacitatea de a face schimbări în mediul lor” ridică un profil complet nou de riscuri. Deoarece agenții pot efectua tranzacții financiare sau pot modifica bazele de date care conțin date cu caracter personal, amploarea acestor riscuri potențiale nu poate fi redusă la minimum. Cadrul de guvernanță agentică AI risk of outcomes becoming more unpredictable Cadrul de guvernanță agentică AI Modelul Singapore nu este despre rescrierea guvernanței, ci despre De exemplu, principiile echității și transparenței continuă să se aplice mai mult ca oricând, la fel și responsabilitatea umană, supravegherea umană și controlul, care trebuie implementate continuu pe tot parcursul ciclului de viață al AI, în măsura posibilului. adapting AI considerations and translating them for agents Agentic AI risks Cadrul din Singapore recunoaște că riscurile Agentic AI nu sunt prea diferite de Riscuri legate de LLM (injecție SQL și prompt, halucinații, prejudecăți, scurgeri de date etc.). Un agent poate halucina făcând un plan greșit pentru a finaliza o sarcină, sau într-o etapă ulterioară, în timpul execuției, apelând la instrumente inexistente sau numindu-le într-un mod părtinitor. Tradițional the way they manifest themselves Riscurile sunt chiar mai mari atunci când agenții interacționează unul cu celălalt.O eroare de către un agent poate produce un efect de cascadă, dacă Așa cum am menționat mai sus, interacțiunile complexe pot duce la rezultate imprevizibile și la blocări neașteptate în lanțul de acțiuni. wrong output is passed on to other agents Modelul identifică cinci chei, potențial : harmful categories of risks Imaginați-vă un agent AI care nu reușește să escaladeze un incident IT către operatorii umani, deoarece anomalia detectată nu se potrivește cu pragurile predefinite. Acest risc este configurat de un agent care întreprinde acțiuni care se află în afara domeniului său permis. Suntem familiarizați cu prejudecățile, deoarece aceasta este o problemă frecventă cu AI tradițională, în special cu modelele de clasificare binară. Raționamentul este același: gândiți-vă la un agent care ia o decizie de angajare prejudecată. Un scenariu clasic este în cazul în care agenții pot dezvălui informații sensibile din greșeală, fără a le recunoaște ca fiind sensibile, sau o încălcare a securității de către actori rău intenționați care obțin acces la informații private prin intermediul agenților. Acest risc se referă la evenimentul în care o acțiune incorectă întreprinsă de un agent care interacționează cu alte sisteme se propagă, perturbând fluxul de informații sau acțiuni (de exemplu, ștergerea eronată a unei baze de coduri de producție). Governance model Modelul de guvernanță agentic AI al IMDA se bazează pe patru piloni. 1. Assessing risks upfront În esență, acest pas implică pentru desfăşurarea de agenţi şi . determining risks and use cases designing a risk control system Centrala pentru determinarea cazurilor de utilizare este identificarea riscului, descris ca o funcţie a şi Modelul ilustrează o serie de factori care afectează impactul potențial al agenților AI (domeniu de implementare, acces la date sensibile și sistem extern, domeniul de aplicare și reversibilitatea acțiunilor agenților) și probabilitatea (nivelul de autonomie al agenților, complexitatea sarcinilor). Amenințările comune pot fi otrăvirea memoriei, utilizarea greșită a instrumentelor și compromiterea privilegiilor. impact likelihood potential external attack scenarios Următorul pas logic este de a defini limitele și permisiunile agenților. Aceasta înseamnă producerea de politici, proceduri și protocoale care să descrie în mod clar limitele agenților în ceea ce privește accesul la instrumente și sisteme, nivelul lor de autonomie și zona de impact (de exemplu, desfășurarea agenților în „mediile autonome” cu acces limitat la rețea și date, în special atunci când aceștia efectuează sarcini cu risc ridicat, cum ar fi executarea codului). . a mix of traditional identity access and human supervision is required 2. Making humans truly accountable Al doilea pilon se referă la în interiorul şi în exteriorul organizaţiei şi să permită Premisa fundamentală a IMDA este că organizațiile și indivizii rămân responsabili pentru acțiunile agenților lor. establishing clear responsibilities meaningful human oversight În cadrul organizaţiei, responsabilităţile trebuie definite pentru: a) , inclusiv stabilirea obiectivelor la nivel înalt ale agenților, a limitelor și a abordării generale a guvernanței; b) , cuprinzând definirea cerințelor agenților, proiectarea, controlul, implementarea în condiții de siguranță și monitorizarea; , inclusiv stabilirea liniilor de siguranță de bază și a procedurilor de testare a siguranței; d) Actorii externi pot include, de exemplu, dezvoltatorii de modele sau furnizorii de inteligență artificială agenți, iar pentru aceștia, organizația ar trebui să stabilească responsabilități clare. key decision makers product teams cybersecurity team users Proiectarea unei supravegheri umane semnificative implică trei măsuri. , cum ar fi acțiuni de mare importanță sau ireversibile (editare de date sensibile sau ștergere permanentă a datelor), sau comportamente exterioare și atipice (agenți care acționează dincolo de domeniul lor de aplicare). , de exemplu, prin instruirea oamenilor pentru a identifica modurile comune de eșec și de a audita în mod regulat practicile de control uman. . define action boundaries requiring human approval continued effectiveness of human oversight real-time alert monitoring 3. Implementing technical and control processes În partea de sus a Controlul tehnic legat de LLM, al treilea pilon recomandă adăugarea de noi controale necesare de noutatea agentic AI de-a lungul ciclului de viață. Tradițional De exemplu, companiile ar trebui să introducă controale stricte înainte de implementare Companiile ar trebui să adopte o abordare holistică atunci când testează agenții, inclusiv evaluarea noilor riscuri, a fluxurilor de lucru și a mediilor realiste în toate seturile de date și evaluarea rezultatelor testelor la scară. AI, agenții ar trebui să fie monitorizați în mod continuu și testați după desfășurare, astfel încât oamenii să poată interveni în timp real și să debugheze acolo unde este necesar. şi . using test agents Tradițional agents work at speed companies may struggle to keep up 4. Enabling end-user responsibility În cele din urmă, pentru a asigura responsabilitatea și responsabilitatea utilizatorilor finali – adică a celor care vor folosi și se vor baza pe agenții AI – companiile ar trebui să se concentreze pe: (comunicarea capacităților și limitărilor agenților) și Organizațiile se pot concentra pe transparența pentru utilizatorii care interacționează cu agenții (utilizatori externi, cum ar fi serviciul pentru clienți sau agenții de resurse umane) și pe educația pentru utilizatorii care integrează agenții în procesele lor de lucru (utilizatori interni, cum ar fi asistenții de codificare). transparency education UC Berkeley’s Agentic AI framework Cadrul Agentic AI al UC Berkeley În februarie 2016, un grup de Centrul UC Berkeley pentru Securitate Cibernetică pe termen lung a publicat Un cadru de risc Similar cu IMDA, documentul a recunoscut riscurile crescute introduse de agenți, inclusiv „persecuția neintenționată a obiectivelor, escaladarea neautorizată a privilegiilor sau achiziționarea de resurse și alte comportamente, cum ar fi auto-replicarea sau rezistența la închidere”. Complicarea abordărilor tradiționale de gestionare a riscurilor centrate pe modele și cererea de guvernanță la nivel de sistem. Cercetătorii Profilul standardelor de management al riscurilor broadly reflecting NIST AI Risk Management Framework (AI RMF) unique challenges Cadrul UC Berkeley a fost conceput în mod explicit pentru Cu toate acestea, autorii spun că poate fi folosit și de factorii de decizie și de autoritățile de reglementare "pentru a evalua dacă sistemele de inteligență artificială agentică au fost proiectate, evaluate și implementate în conformitate cu practicile de management al riscurilor de vârf". single- or multi-agentic AI systems developers and deployers Agentic AI risks Comparativ cu IDMA, documentul identifică o gamă mai largă de riscuri: Discriminarea și toxicitatea, inclusiv fluxurile de feedback, răspândirea conținutului toxic și disparitățile în ceea ce privește disponibilitatea, calitatea și capacitatea agenților. Confidențialitatea și securitatea, inclusiv divulgarea neintenționată a datelor cu caracter personal sau a datelor sensibile, scurgerea de date și rezultatele nealiniate care rezultă. Dezinformare, mai ales atunci când halucinațiile și ieșirile eronate de la un agent sunt reutilizate de alți agenți. Actori rău intenționați și abuzuri, inclusiv executarea mai ușoară a atacurilor complexe, abuzuri automate, manipulare în masă, fraudă și campanii coordonate de influență. Interacțiunea om-calculator, cum ar fi supravegherea umană redusă, comportamentul convingător din punct de vedere social și dificultatea utilizatorilor de a înțelege sau de a contesta comportamentul agentului. Pierderea controlului, incluzând subversiunea supravegherii, execuția rapidă care depășește monitorizarea și răspunsul și comportamentele care subminează mecanismele de oprire sau de constrângere. Daune socioeconomice și de mediu, inclusiv inegalități în accesul la capacitățile agenților, dezamăgirea colectivă și impactul economic și de mediu la scară largă. Securitatea sistemelor AI, eșecurile și limitările, inclusiv replicarea autonomă, dezalinierea, înșelăciunea, coluziunea, planificarea bazată pe obiective, impactul din lumea reală și supravegherea umană insuficientă. Focus on human control La fel ca IMDA, standardele UC Berkeley vizează în primul rând Se concentrează pe: enhance human oversight Controlul și responsabilitatea umană (roluri și responsabilități clare, inclusiv definiții clare de roluri, puncte de control de intervenție, căi de escaladare și mecanisme de oprire) Evaluarea riscurilor la nivel de sistem (deosebit de utilă pentru interacțiunile cu mai mulți agenți, utilizarea instrumentelor și accesul la mediu) Monitorizarea continuă și supravegherea post-dezvoltare (comportamentul agent poate evolua în timp și în contexte diferite) Apărarea în profunzime și constrângerea (tratarea agenților ca entități neîncrezătoare datorită limitărilor tehnicilor actuale de evaluare) Transparența și documentarea (comunicarea clară a limitelor sistemului, a limitărilor și a deciziilor de atenuare a riscurilor către părțile interesate) Autorii recunosc limitările propriului lor standard.În primul rând, taxonomii Agentic AI În al doilea rând, comportamentul complex multi-sistemic și creșterea autonomiei fac dificilă asigurarea unui control uman robust și a atribuirii corecte a răspunderii. widely vary and are inconsistently applied across the world Din acest motiv, avertizează autorii, documentul adoptă o „abordare preventivă, subliniind ipotezele conservatoare, garanțiile stratificate și reevaluarea continuă”. mai degrabă decât o listă de verificare a guvernanței statice, ar trebui văzută ca „un cadru viu destinat să evolueze alături de cercetarea agentică AI, practicile de implementare și normele de guvernanță”. NIST design După cum s-a menționat mai sus, design-ul , structurarea eforturilor Agentic AI în jurul celor patru funcții de bază: guvernare, hartă, măsurare și gestionare. Aceasta este o decizie intenționată din partea autorilor pentru a ajuta companiile să aplice procedurile de gestionare a riscurilor pe o structură pe care o cunosc și să construiască un cadru care este . overlaps that of NIST AI RMF consistent with existing practices More Agentic AI frameworks Mai multe agenți AI Frameworks Cadrele IMDA și UC Berkeley au fost publicate recent, dar Există referințe la diverse alte modele care prezintă procese și proceduri pentru a aborda riscurile reprezentate de agenții AI. not the only Agentic AI governance programmes to be proposed Agentsafe În decembrie 2025, trei experți irlandezi de la IBM au publicat un document care propune a pentru sistemele de agenți bazate pe LLM. Agenții tool-agnostic governance framework În practică, Agentsafe „operationalizează MIT Risk Repository prin cartografierea categoriilor abstracte de risc într-un set structurat de mecanisme tehnice și organizaționale”, adaptate la riscurile specifice agenților. , intensifică acțiunile cu impact ridicat asupra supravegherii umane și evaluează sistemele pe baza scenariilor de incidente pre-dezvoltare, care includ securitatea, confidențialitatea, echitatea și securitatea sistemică. , oferind o metodologie care leagă riscurile de teste, metrici și proveniență. constraints to risky behaviours assurance through evidence and auditability Securitatea pare să fie o O extindere naturală a AI se bazează pe principii etice (responsabilitate, transparență și siguranță), este modelată de procese structurate de gestionare a riscurilor aliniate la standardele internaționale și pare să poată aborda două provocări cheie ale Agentic AI: şi . very promising framework Tradițional timely containment effective human oversight AAGATE În noiembrie 2025, pe o parte decisiv mai tehnică, 11 antreprenori, cercetători și experți din industrie au publicat un Propunerea de , definit ca o „NIST AI RMF-aliniată platformă de guvernanță pentru Agentic AI”. „AppSec-urile tradiționale și instrumentele de conformitate au fost concepute pentru software-ul determinist, nu pentru sistemele de raționament auto-dirijate capabile de improvizație”. hârtie Agentic AI Governance Assurance & Trust Engine (AAGATE) presupunere Pentru a încheia acest decalaj, AAGATE (Govern, Map, Measure, Manage), integrând „cadre de securitate specializate pentru fiecare funcție RMF: cadrul Agentic AI Threat Modeling MAESTRO pentru Map, un hibrid al AIVSS al OWASP și SSVC al SEI pentru măsurare, și Ghidul Agentic AI Red Teaming al Alianței de Securitate Cloud pentru gestionare”. operationalises the above-mentioned NIST AI RMF principles Puteți vizualiza un rezumat simplificat al AAGATE publicat pe . Alianța pentru Securitate Cloud NVIDIA’s Agentic AI risk framework Noiembrie 2025 a fost, de asemenea, martor la publicarea unei Agentic AI de securitate și securitate Un grup de experţi din O companie cu sediul în Zurich Acest cadru introduce Sub supravegherea oamenilor, „asista la descoperirea, evaluarea și atenuarea riscurilor contextuale”. Cadrul NVIDIA Lakera novel idea of using auxiliary AI models and agents In a nutshell, the risk framework involves four actors: Global Contextualized Safety Agent, care stabilește și aplică politici la nivel de sistem, praguri de risc și reguli de escaladare pentru toți agenții, cu vizibilitate și audibilitate deplină. Local Contextualized Attacker Agent, care acționează ca o echipă roșie încorporată, explorând sistemul cu atacuri realiste și conștiente de context la suprafața riscurilor emergente. Local Contextualized Defender Agent, care aplică protecții în bandă în timpul execuției, impunând cel mai puțin privilegii, validând utilizarea instrumentelor și conținând comportamente nesigure. Agent de evaluare locală, care monitorizează comportamentul agentului pentru a măsura siguranța, fiabilitatea și deviațiile, declanșând alerte și acțiuni de guvernanță. The framework operates in two phases: Etapa 1: Descoperirea și evaluarea riscurilor. are loc într-un mediu sandboxed și este conceput pentru a descoperi riscurile emergente care nu apar în testarea statică. Un atacator încorporat poate simula atacuri adversare (injecție rapidă, date de recuperare otrăvite sau lanț de instrumente nesigure), în timp ce un evaluator monitorizează urmele complete de execuție pentru a măsura siguranța, fiabilitatea și conformitatea cu politicile. Scopul este de a identifica vulnerabilitățile, de a evalua pragurile de risc și de a proiecta controale defensive pre-dezvoltare. Faza 2: Mitigarea încorporată și monitorizarea continuă. Aplică aceste controale în producție. Sistemul funcționează cu apărări în bandă care impun accesul cu cele mai puține privilegii, validă apelurile la instrumente, aplică garduri și conțin comportamente nesigure în timp real. O componentă de monitorizare evaluează continuu comportamentul sistemului în raport cu traiectoriile așteptate și pragurile de risc predefinite, declanșând alerte sau escaladarea umană atunci când este necesar. Acest sistem asigură că securitatea este un proces de guvernanță adaptiv, continuu care abordează driftul comportamental, contextele în schimbare și amenințările emergente. Agentic Risk & Capability (ARC) Framework Echipa responsabilă AI din practica AI a GovTech Singapore a publicat pe pe , un program de guvernanță tehnică „pentru identificarea, evaluarea și atenuarea riscurilor de securitate și securitate în sistemele de inteligență artificială agentică”. GitHub Agentic Risk & Capability (ARC) framework Interesant, echipa a dezvoltat o taxonomie centrată pe capacitate care clasifică agenții AI în trei domenii principale: Capacitatea cognitivă (gândirea, planificarea, învățarea și luarea deciziilor) Capacitatea de interacțiune (cum percep agenții, comunică și influențează mediile sau oamenii) Capacitatea operațională (dacă agenții execută acțiuni în condiții de siguranță și eficiență) De asemenea, au produs un registru de risc care leagă capacitățile de riscuri specifice: Riscuri de componente (eșecuri sau vulnerabilități ale modulelor de sistem) Riscuri de proiectare (probleme de arhitectură, logică sau de luare a deciziilor) Riscuri specifice abilităților (amenințări care decurg din abilitățile agentului, hacking recompensă) Fiecare risc este apoi cartografiat la controale tehnice specifice (garde, politici, monitorizare) pentru a-l atenua, oferind trasabilitate directă pentru controlul riscurilor. Afla mai multe despre . GitHub Getting ahead of the singularity Înainte de singularitate Suntem departe de a Cu toate acestea, nu este surprinzător faptul că percepția noastră alterată asupra a ceea ce agenții AI sunt cu adevărat – sisteme software complexe, spre deosebire de roboții humanoizi gata să ne extermineze în somn – ne împinge să ne îngrijorăm mai degrabă de acesta din urmă decât de cel dintâi. horrors of the AI singularity În prezent, aceste temeri sunt iraționale și trebuie puse în contextul potrivit. Cadrele de guvernanță emergente la nivel global semnalează că Agentic AI este aici pentru a rămâne, riscurile potențiale sunt cu siguranță reale, iar unii actori lucrează la . AI agents bringing as many benefits as potential dangers address them proactively
