Este año, en la tecnología, comenzó con el ascenso de la Agentic AI. Un poco menos de dos meses en 2026, el debate de la IA ya ha sido , sus capacidades, y sus beneficios para las empresas.Entre agentes inventando De noche y en escenarios de ciencia ficción, surge un conjunto de preguntas más prosaico.Sólo para nombrar algunos: los riesgos de gobernanza de delegar tareas a las máquinas, el impacto en la fuerza de trabajo humana, la necesidad creciente de . hijacked by AI agents Religión Crustafariana human control and oversight Dado que soy alérgico a cualquier forma de hype tecnológico, no voy a ceder a la narración de que los agentes de IA toman el control del planeta a más tardar en Navidad.Pero las empresas realmente están explorando la posibilidad de implementar agentes de IA para optimizar los flujos de trabajo.El creciente interés en estas soluciones parece confirmarse por la aparición de los marcos de gobernanza de IA de Agentic.Vamos a ver algunos de ellos. Los primeros pasos de Singapur en la gobernanza de la IA de agentes En enero de 2026, la Autoridad de Desarrollo de Medios Infocomm de Singapur (“IMDA”) publicó su En primer lugar, el marco (voluntario) reconoce que el “acceso de los agentes a datos sensibles y la capacidad de hacer cambios en su entorno” plantea un perfil completamente nuevo de riesgos. Dado que los agentes pueden realizar transacciones financieras o modificar bases de datos que contienen datos personales, la magnitud de estos riesgos potenciales no puede minimizarse. Marco de Gobernanza de la Agencia risk of outcomes becoming more unpredictable Marco de Gobernanza de la Agencia El modelo de Singapur no se trata de reescribir la gobernanza sino de Por ejemplo, los principios de equidad y transparencia continúan aplicándose más que nunca, así como la responsabilidad humana, la supervisión humana y el control, que deben implementarse continuamente a lo largo del ciclo de vida de la IA, en la medida de lo posible. adapting AI considerations and translating them for agents Agentic AI risks El marco de Singapur reconoce que los riesgos de la IA de Agentic no son demasiado diferentes de los de la Riesgos relacionados con LLM (SQL y inyección de prompt, alucinaciones, vicios, fugas de datos, etc.). Un agente puede halucinar al hacer un plan equivocado para completar una tarea, o en una etapa posterior, durante la ejecución, al llamar a herramientas no existentes o llamarlas de una manera predispuesta. Tradicionalmente the way they manifest themselves Los riesgos son aún mayores cuando los agentes interactúan entre sí.Un error de un agente puede producir un efecto en cascada, si el Como se mencionó anteriormente, las interacciones complejas pueden conducir a resultados impredecibles y bloqueos inesperados en la cadena de acciones. wrong output is passed on to other agents El modelo identifica cinco claves, potencialmente : harmful categories of risks Acción errónea. Imagínese a un agente de IA que no escale un incidente de TI a los operadores humanos porque la anomalía detectada no coincide con los umbrales predefinidos. Acciones no autorizadas Este riesgo es configurado por un agente que toma acciones que están fuera de su alcance permitido. Estamos familiarizados con los prejuicios ya que este es un problema frecuente con los modelos de clasificación tradicional de la IA, especialmente los modelos binarios.La razón aquí es la misma: piense en un agente que tome una decisión de contratación prejuiciosa. Un escenario clásico es donde los agentes pueden revelar información sensible inadvertidamente, sin reconocerla como sensible, o una violación de la seguridad por parte de los actores maliciosos que obtienen acceso a información privada a través de los agentes. Este riesgo se refiere al evento en el que una acción ilícita emprendida por un agente que interactúa con otros sistemas se propaga, interrumpiendo el flujo de información o acciones (por ejemplo, borrando erróneamente una base de código de producción). Governance model El modelo de gobernanza de la Agentic AI de la IMDA se basa en cuatro pilares. 1. Assessing risks upfront Este paso implica esencialmente para el despliegue de agentes, y . determining risks and use cases designing a risk control system central para determinar los casos de uso es la identificación del riesgo, descrita como una función de y El modelo ilustra una serie de factores que afectan el impacto potencial de los agentes de IA (dominio de implementación, acceso a datos sensibles y sistema externo, alcance y reversibilidad de las acciones de los agentes) y probabilidad (nivel de autonomía de los agentes, complejidad de las tareas). Las amenazas comunes pueden ser la intoxicación de la memoria, el mal uso de herramientas y el compromiso de privilegios. impact likelihood potential external attack scenarios El siguiente paso lógico es definir los límites y permisos de los agentes. Esto significa producir políticas, procedimientos y protocolos que definen claramente los límites de los agentes en términos de acceso a herramientas y sistemas, su nivel de autonomía y área de impacto (por ejemplo, desplegando agentes en “ambientes auto-contenidos” con acceso limitado a la red y los datos, especialmente cuando están realizando tareas de alto riesgo como la ejecución de código).El problema de la gestión de la identidad y el control de acceso de los agentes es más complicado, ya que los actuales sistemas de autenticación diseñados para los humanos no se traducen sin problemas a sistemas complejos como los agentes de IA. A medida que se están desarrollando nuevas soluciones y estándares para eludir este problema, . a mix of traditional identity access and human supervision is required 2. Making humans truly accountable La preocupación del segundo pilar dentro y fuera de la organización, permitiendo La premisa fundamental de IMDA es que las organizaciones y los individuos siguen siendo responsables de las acciones de sus agentes. establishing clear responsibilities meaningful human oversight Dentro de la organización, las responsabilidades deben ser definidas para: a) , incluido el establecimiento de objetivos de alto nivel de los agentes, límites y el enfoque general de gobernanza; b) , que comprende la definición de los requisitos de los agentes, el diseño, los controles, la implementación segura y el seguimiento; , incluyendo el establecimiento de guardias de seguridad de base y procedimientos de pruebas de seguridad; d) Los actores externos pueden incluir, por ejemplo, desarrolladores de modelos o proveedores de IA de agentes, y para ellos, la organización debe establecer responsabilidades claras. key decision makers product teams cybersecurity team users Desarrollar una supervisión humana significativa implica tres medidas.En primer lugar, las empresas deben , tales como acciones altas o irreversibles (editar datos sensibles o borrar permanentemente datos), o comportamientos externos y atípicos (agentes que actúan más allá de su alcance). , por ejemplo, al entrenar a los humanos para identificar modos comunes de fracaso y auditar regularmente las prácticas de control humano. . define action boundaries requiring human approval continued effectiveness of human oversight real-time alert monitoring 3. Implementing technical and control processes En la parte superior de la El control técnico relacionado con el LLM, el tercer pilar recomienda la adición de nuevos controles requeridos por la novedad de la IA de Agentic a lo largo del ciclo de vida. Tradicionalmente Por ejemplo, las empresas deben introducir controles estrictos de preimplantación Las empresas deben adoptar un enfoque holístico cuando prueban agentes, incluyendo la evaluación de nuevos riesgos, flujos de trabajo y entornos realistas en todos los conjuntos de datos, y la evaluación de los resultados de las pruebas a escala. AI, los agentes deben ser continuamente monitoreados y probados después del despliegue, para que los humanos puedan intervenir en tiempo real y debugar cuando sea necesario. y . using test agents Tradicionalmente agents work at speed companies may struggle to keep up 4. Enabling end-user responsibility Por último, para garantizar la responsabilidad y la responsabilidad de los usuarios finales, es decir, aquellos que utilizarán y dependerán de los agentes de IA, las empresas deben centrarse en: (Comunicar las capacidades y limitaciones de los agentes) y Las organizaciones pueden centrarse en la transparencia para los usuarios que interactúan con los agentes (usuarios externos, como el servicio al cliente o los agentes de recursos humanos) y en la educación para los usuarios que integran los agentes en sus procesos de trabajo (usuarios internos, como los asistentes de codificación). transparency education UC Berkeley’s Agentic AI framework El marco Agentic AI de UC Berkeley En febrero de 2016, un grupo de El Centro para la Ciberseguridad a Longo Tiempo de UC Berkeley publicó el Un marco de riesgo Al igual que el IMDA, el documento reconoció los aumentos de riesgos introducidos por los agentes, incluyendo “la búsqueda no intencionada de objetivos, la escalada no autorizada de privilegios o la adquisición de recursos, y otros comportamientos, como la auto-replicación o la resistencia al cierre”. “Complicar los enfoques tradicionales y centrados en modelos de gestión de riesgos y exigir la gobernanza a nivel del sistema”. Investigadores Estándares de Gestión de Riesgos Agentic AI broadly reflecting NIST AI Risk Management Framework (AI RMF) unique challenges El marco de UC Berkeley fue explicitamente diseñado para Sin embargo, los autores dicen, también puede ser usado por los responsables de políticas y los reguladores “para evaluar si los sistemas de IA agentes han sido diseñados, evaluados y desplegados de acuerdo con las principales prácticas de gestión de riesgos”. single- or multi-agentic AI systems developers and deployers Agentic AI risks En comparación con IDMA, el documento identifica una gama más amplia de riesgos: Discriminación y toxicidad, incluidos los flujos de retroalimentación, la propagación de contenidos tóxicos y las disparidades en la disponibilidad, calidad y capacidad de los agentes. Privacidad y seguridad, incluida la divulgación no intencionada de datos personales o sensibles, fugas de datos y resultados desequilibrados resultantes. Desinformación, especialmente cuando las alucinaciones y la salida errónea de un agente son reutilizadas por otros agentes. Actores maliciosos y abusos, incluyendo la ejecución más fácil de ataques complejos, abusos automatizados, manipulación masiva, fraude y campañas de influencia coordinadas. Interacción humano-ordenador, como la reducción de la supervisión humana, el comportamiento socialmente persuasivo y la dificultad de los usuarios para comprender o desafiar el comportamiento de los agentes. Pérdida de control, que incluye la subversión de la supervisión, la ejecución rápida que supera la supervisión y la respuesta, y los comportamientos que socavan los mecanismos de apagado o contención. Los daños socioeconómicos y ambientales, incluidas las desigualdades en el acceso a las capacidades de agentes, el desempleo colectivo y los impactos económicos y ambientales a gran escala. Seguridad del sistema de IA, fallas y limitaciones, incluyendo replicación autónoma, desalineamiento, engaño, colusión, planificación orientada a objetivos, impacto en el mundo real y supervisión humana insuficiente. Focus on human control Al igual que el IMDA, los estándares de UC Berkeley se dirigen principalmente a y enfocarse en: enhance human oversight Control humano y responsabilidad (roles y responsabilidades claras, incluidas definiciones claras de roles, puntos de control de intervención, vías de escalada y mecanismos de cierre) Evaluación de riesgos a nivel del sistema (especialmente útil para las interacciones de múltiples agentes, el uso de herramientas y el acceso al entorno) Seguimiento continuo y supervisión post-despliegue (el comportamiento agente puede evolucionar a lo largo del tiempo y a través de contextos) Defensa en profundidad y contención (tratando a los agentes como entidades no confiables debido a las limitaciones de las técnicas de evaluación actuales) Transparencia y documentación (comunicación clara de los límites del sistema, limitaciones y decisiones de mitigación de riesgos a las partes interesadas) Los autores reconocen las limitaciones de su propio estándar.En primer lugar, las taxonomías de la IA , que limita “la capacidad de armonizar las recomendaciones entre organizaciones y jurisdicciones”.En segundo lugar, el comportamiento multi-sistema complejo y la mayor autonomía dificultan garantizar un control humano robusto y la correcta asignación de responsabilidad. widely vary and are inconsistently applied across the world Por esta razón, los autores advierten, el artículo adopta un “enfoque preventivo, enfatizando suposiciones conservadoras, salvaguardas estratificadas y reevaluación continua”. En lugar de una lista de verificación estática de gobernanza, debe verse como “un marco vivo destinado a evolucionar junto a la investigación de la IA, las prácticas de implementación y las normas de gobernanza”. NIST design Como se mencionó anteriormente, el diseño Esta es una decisión intencional de los autores para ayudar a las empresas a aplicar los procedimientos de gestión de riesgos en una estructura con la que están familiarizados y construir un marco que es . overlaps that of NIST AI RMF consistent with existing practices More Agentic AI frameworks Más de Frameworks IMDA y UC Berkeley han sido publicados recientemente, pero son Hay referencias a varios otros modelos que describen procesos y procedimientos para abordar los riesgos planteados por los agentes de IA. not the only Agentic AI governance programmes to be proposed Agentsafe En diciembre de 2025, tres expertos irlandeses de IBM publicaron un artículo proponiendo , a para sistemas de agentes basados en LLM. Agencias tool-agnostic governance framework En la práctica, Agentsafe “operacionaliza el repositorio de riesgos de IA del MIT mapeando categorías abstractas de riesgos en un conjunto estructurado de mecanismos técnicos y organizativos”, adaptados a los riesgos específicos de los agentes. , escala acciones de alto impacto a la supervisión humana, y evalúa sistemas basados en escenarios de incidentes pre-despliegue, que incluyen seguridad, privacidad, equidad y seguridad sistémica. , ofreciendo una metodología que vincula los riesgos a las pruebas, las métricas y la procedencia. constraints to risky behaviours assurance through evidence and auditability El agente de seguridad parece ser un Una extensión natural de Se basa en principios éticos (responsabilidad, transparencia y seguridad), está modelado por procesos estructurados de gestión de riesgos alineados con las normas internacionales, y parece tener el potencial de abordar dos desafíos clave de Agentic AI: y . very promising framework Tradicionalmente timely containment effective human oversight AAGATE En noviembre de 2025, en un aspecto decisivamente más técnico, 11 emprendedores, investigadores y expertos de la industria publicaron un Proponer el , definido como una “plataforma de gobernanza alineada con NIST AI RMF para la Agentic AI”. que “las herramientas tradicionales de AppSec y cumplimiento fueron diseñadas para software determinista, no para sistemas de razonamiento autodirigidos capaces de improvisación”. El papel Agentic AI Governance Assurance & Trust Engine (AAGATE) Suposiciones Para cerrar esta brecha, Agate (Govern, Map, Measure, Manage), integrando “marcos de seguridad especializados para cada función de RMF: el marco Agentic AI Threat Modeling MAESTRO para Map, un híbrido de OWASP AIVSS y SEI SSVC for Measure, y la Agentic AI Red Teaming Guide for Manage de la Cloud Security Alliance”. operationalises the above-mentioned NIST AI RMF principles Puedes ver un resumen simplificado de AAGATE publicado en el . Alianza de Seguridad en la Nube NVIDIA’s Agentic AI risk framework noviembre de 2025 también presenció la publicación de una Agentic AI de seguridad y seguridad Un grupo de expertos de y una empresa de AI con sede en Zúrich El marco introduce la El objetivo es “asistir en el descubrimiento, evaluación y mitigación de riesgos contextuales”. El marco NVIDIA Lakera novel idea of using auxiliary AI models and agents In a nutshell, the risk framework involves four actors: Global Contextualized Safety Agent, que establece y aplica políticas de todo el sistema, umbrales de riesgo y reglas de escalada en todos los agentes, con plena visibilidad y audibilidad. Local Contextualized Attacker Agent, que actúa como un equipo rojo incorporado, explorando el sistema con ataques realistas y conscientes del contexto a la superficie de los riesgos emergentes. Local Contextualized Defender Agent, que aplica protecciones en banda en el tiempo de ejecución, aplicando el mínimo de privilegios, validando el uso de herramientas y conteniendo comportamiento inseguro. Agente de Evaluación Local, que monitora el comportamiento del agente para medir la seguridad, la fiabilidad y las desviaciones, desencadenando alertas y acciones de gobernanza. The framework operates in two phases: Fase 1: Descubrimiento y evaluación de riesgos. Se desarrolla en un entorno de caja de arena y está diseñado para descubrir riesgos emergentes que no aparecen en las pruebas estáticas. Un atacante incorporado puede simular ataques adversarios (injeción rápida, datos de recuperación envenenados o cadena de herramientas inseguras), mientras que un evaluador monitora los rastros de ejecución completos para medir la seguridad, la fiabilidad y el cumplimiento de las políticas. El objetivo es identificar vulnerabilidades, evaluar los umbrales de riesgo y diseñar controles defensivos pre-despliegue. Fase 2: Mitigación incorporada y monitoreo continuo. Aplica esos controles en la producción. El sistema funciona con defensas en banda que aplican el acceso de los menos privilegiados, validan las llamadas de herramientas, aplican vigilantes y contienen comportamientos inseguros en tiempo real. Un componente de monitoreo evalúa continuamente el comportamiento del sistema frente a las trayectorias esperadas y los umbrales de riesgo predefinidos, desencadenando alertas o la escalada humana cuando sea necesario. Este sistema asegura que la seguridad es un proceso de gobernanza adaptativo y continuo que aborda la deriva del comportamiento, los contextos cambiantes y las amenazas emergentes. Agentic Risk & Capability (ARC) Framework El equipo de IA responsable en la práctica de IA de GovTech Singapore publicado en El , un programa de gobernanza técnica “para identificar, evaluar y mitigar los riesgos de seguridad y seguridad en los sistemas de IA de agentes”. GitHub Agentic Risk & Capability (ARC) framework Curiosamente, el equipo desarrolló una taxonomía centrada en las capacidades que clasifica a los agentes de IA en tres dominios principales: Capacidades cognitivas (razonamiento, planificación, aprendizaje y toma de decisiones) Capacidades de interacción (cómo los agentes perciben, comunican e influyen en los entornos o en los seres humanos) Capacidades operativas (si los agentes ejecutan acciones de manera segura y eficiente) También produjeron un registro de riesgos que vincula las capacidades a riesgos específicos: Riesgos de componentes (errores o vulnerabilidades en los módulos del sistema) Riesgos de diseño (problemas de arquitectura, lógica o ciclo de decisiones) Riesgos específicos de la capacidad (amenazas derivadas de las habilidades del agente, hacking de recompensas) Cada riesgo es luego mapeado a controles técnicos específicos (garderías, políticas, monitoreo) para mitigarlo, proporcionando trazabilidad directa de control de riesgos. Descubre más en . GitHub Getting ahead of the singularity Al frente de la singularidad Estamos muy lejos de la Sin embargo, no es de extrañar que nuestra percepción alterada de lo que realmente son los agentes de IA – sistemas de software complejos en oposición a los robots humanoides listos para exterminarnos en nuestro sueño – nos empuje hacia preocuparnos por estos últimos en lugar de por los primeros. horrors of the AI singularity En la actualidad, estos miedos son irracionales y deben colocarse en el contexto correcto. Los marcos de gobernanza emergentes a nivel mundial señalan que Agentic AI está aquí para quedarse, los riesgos potenciales son ciertamente reales, y algunos actores están trabajando para . AI agents bringing as many benefits as potential dangers address them proactively
