Durante un ejercicio de la tarde-noche equipo rojo, los investigadores Un agente de inteligencia artificial basado en el navegador autónomo de un cliente perdió accidentalmente las credenciales del CTO. escondido dentro de una página de problemas interna de GitHub. Un sistema de código abierto que recientemente ha $ 17 millones en una ronda de semillas y ha estado haciendo títulos en el mundo de VC. Observaciones Div Día El uso del browser levantado Esa prueba rápida del concepto expuso un problema mucho más profundo. Mientras que el capital de riesgo continúa derramando en la carrera para hacer que los agentes de LLM sean más rápidos y capaces, la seguridad sigue siendo una reflexión posterior. Hoy en día, los agentes autónomos basados en navegador ya tienen acceso a las cajas de entrada privadas, los hoteles de libros y reconcilian los registros financieros. La mayoría de los agentes de IA corporativos los utilizan como una herramienta (por ejemplo, una interfaz para recoger datos externos). Sin embargo, la propia industria que alimenta su crecimiento todavía trata la seguridad como un complemento de características en lugar de una premisa de diseño. Según el El 82% de las grandes empresas actualmente ejecutan al menos un agente de IA en sus flujos de trabajo de producción, con 1.3 mil millones de usuarios de agentes empresariales previstos para 2028. Investigadores de mercado How Hackers Exploit Enterprise AI Agents Cómo los hackers explotan a los agentes de la IA empresarial Zenity Labs, uno de los principales proveedores de seguridad y gobernanza de la IA de Agentic para empresas, Más de 3.000 agentes de MS Copilot Studio de acceso público desplegados por grandes empresas para gestionar consultas de servicio al cliente, procesar boletos de soporte, acceder a sistemas CRM internos y ejecutar diversos flujos de trabajo de negocio. Descubierto La investigación de la compañía reveló una cadena de ataques completa. , donde se utilizaron técnicas OSINT para mapear e identificar a los agentes de Copilot Studio expuestos públicamente. , elaborando prompts y correos electrónicos cuidadosamente diseñados para manipular la lógica de procesamiento del agente. , ya que los agentes fueron secuestrados sin ninguna interacción humana - esencialmente convirtiéndose en una puerta trasera automatizada en los sistemas empresariales. , donde los atacantes podrían descargar bases de datos CRM enteras y exponer herramientas internas sensibles, todo por explotar vulnerabilidades en flujos de trabajo de agentes que carecían de guarderías adecuadas. reconnaissance weaponization compromise exfiltration La seguridad de los agentes de Copilot Studio fracasó porque dependía demasiado de límites suaves, es decir, de protecciones frágiles y de nivel de superficie (es decir, instrucciones a la IA sobre lo que debe y no debe hacer, sin controles técnicos). Los agentes fueron instruidos en sus llamadas a "sólo ayudar a los clientes legítimos", pero tales reglas eran fáciles de eludir. Los escudos de prompt diseñados para filtrar las entradas maliciosas resultaron ineficaces, mientras que los mensajes del sistema que describían "comportamiento aceptable" hicieron poco para detener los ataques elaborados. Críticamente, no hubo validación técnica de las fuentes de entrada que alimentaban a los agentes, dejándolos abiertos a la manipulación. Esta y otras explotaciones de cero clic de los agentes de IA empresariales fueron demostradas en Black Hat USA 2025, con el hallazgo clave de que Cuanto más autónomo sea el agente de IA, mayor será el riesgo de seguridad. . the more autonomous the AI agent, the higher the security risk A medida que comienzan a actuar de forma independiente, se convierten en superficies de ataque de las que la mayoría de las organizaciones no son conscientes. Según múltiples fuentes, muchos agentes de IA empresariales son propensos a explotar la seguridad. Por ejemplo, la plataforma Einstein de Salesforce fue una vez manipulada para redirigir las comunicaciones de los clientes a cuentas de correo electrónico controladas por atacantes. El Gemini de Google podría ser explotado como una amenaza de insider, capaz de interceptar conversaciones confidenciales y difundir información falsa. El ataque de hackers apagó las luces, abrió las celdas y comenzó la caldera, todo sin órdenes de los residentes. Controlando From AI Browsers to Enterprise Backdoors De los navegadores de IA a los backdoors empresariales Una nueva por Guardio encuentra que los navegadores de IA, como Perplexity o Los usuarios son susceptibles de fraude y divulgación accidental de datos confidenciales, ya que aún no son capaces de distinguir entre sitios y enlaces falsos y reales. Estudio Cometa día En múltiples pruebas controladas llevadas a cabo por Guardio, los agentes de navegación de IA demostraron lo fácil que podrían ser manipulados por esquemas fraudulentos, poniendo a los usuarios reales en riesgo. El primer experimento examinó cómo los agentes realizan compras en línea. Un tester abrió un sitio web falso de Walmart, y Comet lo cargó sin desencadenar ninguna alerta de fraude. El agente completó la tarea impecablemente: compró un Apple Watch. Otro test se centró en la funcionalidad del correo electrónico. Los investigadores enviaron un correo electrónico de phishing disfrazado como un mensaje de Wells Fargo que contenía un enlace malicioso. Comet lo interpretó como una solicitud legítima del banco y inmediatamente hizo clic. Un tercer exploit destacó un riesgo más sutil: las promesas ocultas incorporadas directamente en los sitios web.Estas instrucciones invisibles fueron ejecutadas por el agente de IA sin el conocimiento del usuario, permitiendo a los atacantes forzar acciones no deseadas como descargar archivos maliciosos o filtrar información confidencial. Los investigadores de Guardio destacan una tendencia relevante: Los desarrolladores de navegadores de IA actualmente priorizan la experiencia del usuario sobre la seguridad robusta. developers of AI browsers currently prioritize user experience over robust security. En la práctica, esto significa que los mecanismos de seguridad a menudo se relegan a herramientas de terceros como Google Safe Browsing – soluciones que a menudo son inadecuadas contra las amenazas modernas, impulsadas por la IA. How to Give Agentic AI a Security-First Mandate Cómo dar a Agentic AI un mandato de seguridad primero La toma de decisiones es clara: los sistemas que interpretan y actúan sobre el contenido web en vivo deben ser construidos sobre un . "security-first" architecture and hard boundaries, i.e., actual technical controls that can't be bypassed through prompt manipulation Investigadores que los inversores que canalizan sumas de ocho cifras en startups de agentes ahora deben asignar una cuota igual de recursos a la seguridad, , de , y Las inyecciones financieras en la funcionalidad por sí solas ya no son suficientes; la seguridad debe convertirse en un principio fundamental de la arquitectura. El estrés threat modeling formal verification continuous stress testing Los sistemas de agentes deben operar en aislamiento: el planificador, el ejecutor y el módulo de credenciales deben existir como procesos separados, mutuamente desconfiables que solo comunican a través de mensajes firmados y de tamaño limitado. Las verificaciones de seguridad también deben convertirse en parte de la rutina de ingeniería diaria: las inyecciones de HTML adversarias y las promesas de jailbreak deben ser incorporadas directamente en las tuberías CI/CD, con cualquier liberación de bloqueo de fallo único. Al mismo tiempo, los proveedores necesitan proporcionar más que los clásicos Software Bills of Materials (SBOM).Deberían poder publicar mapas de riesgos que indiquen claramente qué datos, roles y permisos obtendría un atacante si el agente fuera comprometido. , que pide transparencia tanto sobre los riesgos individuales como sobre los impactos sociales más amplios. Marco de Gestión de Riesgos de IA (AI-RMF) Al igual que en el sector bancario, las evaluaciones independientes del equipo rojo con la divulgación pública obligatoria de los hallazgos de alto nivel se convertirán en un requisito previo para la confianza y la alineación con las prácticas internacionales en Estados Unidos y la UE. De lo contrario, el ritmo de adopción de la IA de agentes pronto superará nuestra capacidad para gestionar sus riesgos.
