El desarrollo tecnológico ha dado lugar a diversas variantes de IA, entre ellas la IA agentiva, que no solo responde preguntas, sino que también actúa. Estas IA agentivas pueden tomar decisiones de forma autónoma, así como planificar y alcanzar objetivos. La llegada de esta tecnología abre un mundo de productividad, ofreciendo asistentes autónomos que recopilan y consolidan datos, y creando nuevas vulnerabilidades de seguridad. Hasta ahora, el debate sobre la IA agentiva era teórico, pero ahora es práctico. Sin embargo, debido a la forma en que los atacantes la manipulan, se necesitan estrategias técnicas y realistas para contrarrestar sus tácticas.   Por qué la IA agentiva cambia la ecuación de seguridad  La principal amenaza de los modelos de IA tradicionales reside en sus resultados inapropiados o no deseados, debido principalmente a las instrucciones que reciben. Sin embargo, los sistemas agentivos incorporan autonomía, comportamientos orientados a objetivos, percepción y razonamiento, aprendizaje y adaptación, así como interactividad, en función de la retroalimentación del entorno cambiante. Por ejemplo, un agente puede encadenar acciones, como iniciar sesión en un panel de control, extraer datos y llamar a interfaces de programación de aplicaciones (API) externas, sin intervención humana. No obstante, un agente mal configurado puede propagar un error a gran velocidad; un agente comprometido puede convertirse en un punto de entrada sigiloso dentro de una red corporativa.   Pilares prácticos de la seguridad de la IA agentiva moderna  Para garantizar la seguridad efectiva de la IA con agentes, los equipos de seguridad de la información de las organizaciones deben adoptar un marco pragmático de tres partes que incluya el modelado de amenazas, controles de tiempo de ejecución seguros y una gobernanza auditable.   1. Modelado de amenazas  Es fundamental modelar el peor escenario posible antes de que un agente reciba una credencial o una clave API. Esto se debe a que es necesario examinar los problemas que afectan al alcance de los agentes y los servicios que podrían verse comprometidos por sus actividades, lo que podría derivar en un cambio catastrófico. La solución adecuada es un buen modelo de amenazas capaz de mapear los grafos de acciones, lo que permite visualizar el riesgo transitivo. Este enfoque ha sido propuesto recientemente por numerosos investigadores y expertos del sector, quienes también han destacado la importancia del modelado de amenazas y las protecciones en tiempo de ejecución como buenas prácticas para la seguridad de los agentes.   2. Permisos y participación humana en el proceso  Los agentes deben operar con privilegios mínimos y acceso limitado en el tiempo. La activación de estas herramientas es necesaria para garantizar que los privilegios y el acceso se otorguen a las personas adecuadas según sus funciones, lo que permite a los agentes solicitar credenciales directamente. Si bien estas herramientas deben estar bien protegidas, también ayudan a los agentes a completar todas las tareas pertinentes sin revelar información confidencial, como el autocompletado seguro o el acceso gestionado.   3. Auditoría  Para reforzar la seguridad de las IA agentivas, los registros y seguimientos del sistema deben ser ejecutados por los agentes en una secuencia de varios pasos. Esto permitirá que la IA agentiva no solo registre las llamadas a la API, sino que también alcance sus objetivos de alto nivel y ejecute planes internos. Todo esto es esencial para el análisis forense posterior a incidentes y para los procesos de control que deben llevar a cabo los equipos de cumplimiento de una organización típica. Esto confirma aún más por qué las directrices de seguridad de OWASP ofrecen orientación sobre las amenazas agentivas y enfatizan la necesidad de decisiones y mitigaciones trazables en torno a los problemas de incumplimiento durante las auditorías.   Patrones del mundo real que funcionan  Se han identificado numerosos patrones como pasos prácticos e implementables para proteger la IA agentiva, algunos de los cuales se destacan a continuación. Uno de estos patrones es la limitación de capacidades, que permite restringir las acciones de la IA agentiva y autoriza la escalada de privilegios. Además, se monitoriza la desviación inusual de los objetivos y se pausan automáticamente los agentes que se desvían de ellos. Por último, el análisis de los flujos de trabajo de los agentes se realiza de la misma manera que los equipos rojos de seguridad prueban los microservicios con fines de pruebas adversarias. Por lo tanto, es fundamental que los equipos de seguridad de la información de las organizaciones dejen de tratar a los agentes como una caja negra y eviten otorgar credenciales amplias y persistentes simplemente porque sea más fácil.   El lado ético y humano  Los beneficios que la IA agentiva ha aportado en su forma de actuar han impactado positivamente el avance de la IA. Sin embargo, debido a la posibilidad de que pierdan el control humano al perseguir objetivos de maneras no previstas, ignorar valores éticos y tener dificultades para revertir sus acciones una vez implementadas, la tecnología de los agentes debe mejorarse para garantizar la supervisión humana. Si esto no se aborda correctamente, preguntas como "¿Quién aprueba las acciones de un agente?" y "¿Cómo se garantiza la responsabilidad humana sin frenar la innovación?" permanecerán sin respuesta. Por lo tanto, para asegurar que tanto la ética como el factor humano estén plenamente involucrados en la IA agentiva, se debe verificar lo siguiente:  Elaborar un mapa del gráfico de acciones del agente e identificar los puntos de contacto de alto impacto.  Almacenar todas las credenciales y proporcionar tokens efímeros a través de un intermediario.  Aplicar el principio de mínimo privilegio y una corta duración de los tokens.  Ejecutar pruebas adversarias que simulan la vulneración del agente.  Añadir un control de aprobación humana para cualquier acción que modifique la producción o mueva fondos.   Conclusión  La IA agentiva ya está transformando la forma en que se trabaja antes de lo previsto. Si bien existen algunos desafíos orquestados por atacantes maliciosos, el enfoque correcto no es detener la innovación de la IA agentiva, sino diseñar medidas de seguridad prácticas que permitan que los agentes sean valiosos y seguros. El futuro que deseamos es uno donde los agentes automaticen las tareas cotidianas, donde los equipos de seguridad trabajen con tranquilidad y donde el ser humano siga siendo el responsable final; esto es precisamente lo que ofrece la IA agentiva. Por lo tanto, si bien la IA se encarga de la ejecución, los humanos aún deben supervisar las decisiones estratégicas para garantizar prácticas comerciales éticas y prevenir consecuencias no deseadas.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Este audio es producido en el idioma original de la historia!

El manual pragmático para detener a los agentes de IA rebeldes

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Una breve introducción a la teoría del cerebro de Boltzmann

Telegram: el puente de Crypto Island hacia el continente

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Una breve introducción a la teoría del cerebro de Boltzmann

Telegram: el puente de Crypto Island hacia el continente

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps