Las capacidades de los modelos de lenguaje grandes: ¿piratear o ayudar?

Los modelos de lenguajes grandes (LLM) están evolucionando rápidamente y se utilizan ampliamente como agentes autónomos. Los desarrolladores pueden diseñar agentes que interactúen con los usuarios, procesen consultas y ejecuten tareas basadas en los datos recibidos, como detectar errores en códigos complejos, realizar análisis económicos o ayudar en descubrimientos científicos.

Sin embargo, los investigadores están cada vez más preocupados por las capacidades de doble uso de los LLM: su capacidad para realizar tareas maliciosas, particularmente en el contexto de la ciberseguridad. Por ejemplo, ChatGPT puede ser utilizado para ayudar a las personas en las pruebas de penetración y la creación de malware. Además, estos agentes pueden operar de forma independiente, sin participación ni supervisión humana.

Investigadores de la Universidad de Cornell, incluidos Richard Fang, Rohan Bindu, Akul Gupta, Kiushi Jean y Daniel Can, han realizado estudios que arrojan luz sobre las amenazas que plantean los LLM y brindan información valiosa sobre sus posibles consecuencias. Sus hallazgos sirven como un recordatorio aleccionador de la necesidad de una cuidadosa consideración y regulación en este campo en rápida evolución.

Alquile servidores GPU con implementación instantánea o un servidor con un configuración personalizada con tarjetas NVIDIA Tesla A100/H100 de 80Gb o A5000/A4000 de nivel profesional. Servidores GPU con tarjetas gaming RTX4090 también están disponibles.

Infracciones de sitios web autónomos

El estudio demostró que los agentes LLM pueden ejecutar infracciones complejas, por ejemplo, un ataque de inyección SQL ciego que combina consultas. Este tipo de ataque se dirige a aplicaciones web que utilizan SQL (lenguaje de consulta estructurado) para interactuar con bases de datos. Estos ataques permiten a actores maliciosos obtener información confidencial de bases de datos, incluso si la aplicación no muestra ningún signo de error o comportamiento anormal.

La raíz de estos ataques radica en la explotación del operador SQL Union, que permite la combinación de múltiples resultados de consultas en un solo conjunto de datos. Al elaborar una consulta especialmente diseñada con este operador, un actor malintencionado puede fusionar el conjunto de resultados de una consulta de base de datos con el de una tabla de información confidencial. Esto les permite acceder a datos confidenciales.

Para ejecutar con éxito estos ataques, un agente debe poseer la capacidad de navegar por sitios web y realizar más de 45 acciones para violar el sitio. En particular, en febrero de este año, sólo GPT-4 y GPT-3.5 eran capaces de vulnerar sitios web de esta manera. Sin embargo, es probable que los modelos más nuevos, como Llama3, también puedan realizar operaciones similares.

Para investigar el posible uso indebido de grandes modelos lingüísticos (LLM) en infracciones web, los investigadores aprovecharon varias herramientas y marcos de inteligencia artificial. Específicamente, utilizaron LangChain para crear agentes y redes generativas adversarias (RAG), así como modelos OpenAI a través de asistentes API. React se empleó para violar sitios web, con agentes interactuando a través de Playwright.

Para mejorar la comprensión contextual, las llamadas a funciones anteriores se integraron en el contexto actual. Se estableció un entorno controlado mediante la creación de 15 páginas web aisladas con diversas vulnerabilidades, garantizando que los sitios web y las personas reales permanecieran protegidos.

Para probar los intentos de infracción se utilizaron diez modelos de lenguaje a gran escala, incluidos GPT-4 y GPT-3.5, así como ocho modelos de código abierto altamente calificados en Chatbot Arena. Cada sitio web fue atacado cinco veces y cualquier intento exitoso concedía acceso a través de uno de estos cinco intentos.

Las capacidades de los modelos de lenguajes grandes (LLM) a menudo se rigen por la "ley de escala", donde el aumento del tamaño y la complejidad del modelo puede conducir a un mejor rendimiento en tareas específicas. Este fenómeno se demostró recientemente mediante un experimento que involucra GPT-4, un modelo de inteligencia artificial de última generación y un LLM de código abierto.

En este estudio, los investigadores observaron que GPT-4 violó con éxito 11 de 15 sitios web probados, mientras que el LLM de código abierto no logró explotar ninguna vulnerabilidad. El contraste entre estos resultados resalta el pronunciado impacto de la ampliación en las capacidades de los LLM.

El experimento se desarrolló de la siguiente manera:

• Navegación inicial: el modelo identificó la página web de destino a través de la navegación de la página web.
• Credenciales estándar: se intentó utilizar un nombre de usuario y una contraseña estándar para obtener acceso.
• Recopilación de información: Se aprovechó la información obtenida para un intento de inyección SQL.
• Análisis del código fuente: Se analizó el código fuente para determinar si la consulta SQL contenía un parámetro _GET.
• Evaluación de explotabilidad: se determinó si la consulta podría explotarse para un ataque de SQL Union.
• Ejecución inmediata del ataque: se ejecutó un ataque inmediato de SQL Union, que comprende hasta 48 pasos.

Después de este experimento, se pidió a GPT-4 que violara sitios web reales. Aunque se negó a realizar el ataque directamente, identificó con éxito una vulnerabilidad y explicó cómo podría explotarse entre 50 sitios web de prueba seleccionados al azar.

Explotación de las vulnerabilidades del primer día con modelos de lenguaje grandes

Este estudio investiga la viabilidad de utilizar modelos de lenguaje grandes (LLM) para explotar las vulnerabilidades del día uno, también conocidas como vulnerabilidades de día cero. Se trata de fallos de seguridad que se han divulgado públicamente a través de fuentes como CVE (vulnerabilidades y exposiciones comunes), pero aún no se ha publicado ningún parche o actualización para solucionar el problema. Esto plantea la posibilidad de que exista una ruta explotable, aunque aún no se ha utilizado.

En particular, aunque estas vulnerabilidades se vuelven de conocimiento público, no hay garantía de que las herramientas existentes puedan detectarlas automáticamente. Por ejemplo, es posible que los atacantes o los evaluadores de penetración sin acceso a los detalles internos del sistema no sepan la versión del software que se utiliza en el momento de la explotación.

Dada la complejidad de muchas vulnerabilidades del primer día, que a menudo se encuentran en sistemas cerrados, lo que hace imposible reproducirlas, los investigadores se centraron en las vulnerabilidades del software de código abierto.

Para este estudio, los investigadores seleccionaron 15 vulnerabilidades que cubren vulnerabilidades de aplicaciones web, vulnerabilidades de software de administración de contenedores y vulnerabilidades de paquetes Python. Estos incluyen una combinación de vulnerabilidades de alto y bajo riesgo descubiertas después de la fecha límite de recopilación de información para las pruebas de LLM.

Las vulnerabilidades específicas utilizadas en este experimento fueron:

Los agentes imitaron a los empleados en las infracciones de sitios web, pero con un toque diferente. En lugar de centrarse en documentos confidenciales, incluían descripciones detalladas de vulnerabilidades y exposiciones comunes (CVE), junto con escenarios de explotación realistas para aprovechar las vulnerabilidades desde el primer día.

Para evaluar las capacidades de los modelos de lenguaje (LLM) para explotar vulnerabilidades, los investigadores aprovecharon 10 LLM a gran escala, incluido GPT-4 y ocho alternativas de código abierto, así como dos herramientas automatizadas: Zed Attack Proxy (ZAP), desarrollado por OWASP. y Metasploit, un marco creado por Rapid7.

Este estudio reveló que GPT-4 era capaz de explotar el 87% de las vulnerabilidades, mientras que otros LLM no podían hacerlo. En particular, GPT-4 falló sólo con dos vulnerabilidades específicas: Iris XSS y Hertzbeat RCE.

La plataforma web Iris, utilizada para el trabajo colaborativo en investigaciones de respuesta a incidentes, resultó un desafío para el agente de LLM debido a su dependencia de la navegación JavaScript. Esto hizo que el agente no pudiera acceder a formularios y botones cruciales ni interactuar con los elementos deseados, una tarea que un humano podría realizar con éxito.

Una investigación más profunda reveló que GPT-4 tenía dificultades para traducir los detalles de Hertzbeat, que solo estaban disponibles en chino, debido a su idioma de consulta basado en inglés. En consecuencia, encontró dificultades para reproducir la vulnerabilidad.

Los hallazgos también resaltaron la importancia de las descripciones CVE en las tasas de éxito de LLM. Sin estas descripciones, la tasa de éxito cayó drásticamente del 87% al 7%. Esto sugiere que los agentes de LLM actualmente requieren instrucciones detalladas para desarrollar planes de explotación de vulnerabilidades y aún no son capaces de crear dichos planes de forma independiente. Sin embargo, esto es sólo el comienzo y los avances futuros pueden alterar este panorama.

Conclusiones

El estudio demostró que los agentes LLM ya son capaces de violar sitios web de forma autónoma y explotar ciertas vulnerabilidades reales en los sistemas informáticos (y la mayoría de ellas son explotables con una descripción de su explotación).

Afortunadamente, los agentes actuales no pueden explotar vulnerabilidades desconocidas y no reveladas, y las soluciones de código abierto tampoco pueden demostrar resultados comparables al ChatGPT4 pago (y al nuevo GPT4o). Sin embargo, es posible que futuras extensiones permitan la explotación de tales vulnerabilidades, con modelos LLM de acceso gratuito potencialmente replicando el éxito de sus homólogos propietarios.

Todo esto sugiere que los desarrolladores de grandes modelos de lenguaje deben abordar el proceso de formación de forma más responsable. Además, los especialistas en ciberseguridad deben estar preparados para el hecho de que estos modelos se utilizarán para crear robots que escanearán sistemáticamente los sistemas en busca de vulnerabilidades.

Incluso los modelos de código abierto pueden afirmar que no se utilizarán para actividades ilícitas (Llama 3 se negó rotundamente a ayudar a violar un sitio web). Sin embargo, es precisamente debido a la apertura que no existen obstáculos más allá de las consideraciones éticas que impidan la creación de modelos "libres de censura".

Existen numerosas formas de convencer a un LLM para que ayude en el incumplimiento, incluso si inicialmente se resiste. Por ejemplo, se le podría pedir que se convierta en pentester y ayude a mejorar la seguridad del sitio haciendo una "buena acción".

Alquile servidores GPU con implementación instantánea o un servidor con un configuración personalizada con tarjetas NVIDIA Tesla A100/H100 de 80Gb o A5000/A4000 de nivel profesional. Servidores GPU con tarjetas de juego RTX4090 también están disponibles.