Paso la mayor parte de mi tiempo rompiendo las cosas para vivir. Durante el último año o más, una parte creciente de ese trabajo se ha apuntado a los LLM. No los modelos mismos, exactamente. Las implementaciones. Las puertas de la API con un modelo de idioma detrás de ellos. Los chatbots orientados al cliente. Las herramientas internas que obtuvieron "una función de IA" se encendieron en el cuarto cuarto porque el vicepresidente de alguien vio una demostración y dijo "necesitamos esto". Estas cosas están en todas partes ahora. y casi ninguno de ellos ha sido probado adversariamente. No quiero decir "el modelo se niega si le pides algo malo." Eso es entrenamiento de seguridad. entrenamiento de seguridad es importante. Pero el entrenamiento de seguridad y las pruebas de seguridad son disciplinas fundamentalmente diferentes, y la industria los está confundiendo de maneras que van a causar problemas reales. El entrenamiento de seguridad enseña a un modelo a rechazar.La prueba de seguridad pregunta si ese rechazo realmente se mantiene cuando alguien está tratando activamente de romperlo. Los números son malos OWASP clasificó la inyección rápida como el riesgo de seguridad número uno en las aplicaciones de LLM. FlipAttack, una técnica que simplemente reordena a los personajes en las solicitudes, consigue una tasa de bypass del 98% frente a GPT-4o. DeepSeek R1 mostró una tasa de bypass del 100% frente a las solicitudes de jailbreak de 50 HarmBench en las pruebas realizadas por Cisco y la Universidad de Pennsylvania. Un estudio de 36 aplicaciones integradas en la producción LLM encontró que el 86% eran vulnerables a la inyección rápida. PoisonedRAG demostró que solo cinco documentos maliciosos en un corpus de millones pueden manipular las salidas de IA en el 90% del tiempo. Estos no son ataques teóricos contra modelos de investigación, son ataques contra sistemas de producción que las organizaciones reales están ejecutando en este momento. Así que construí un escáner Augustus es un escáner de vulnerabilidades de código abierto LLM. Lo apunta a un punto final de modelo y le lanza más de 210 sondas adversarias en 47 categorías de ataque. le dice qué es vulnerable y qué no es. go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan openai.OpenAI \
  --all \
  --verbose
 Navega como un solo binario Go. No Python. No npm. No dependencias de tiempo de ejecución. Un comando de instalación y está escaneando. Lo construí en Go porque necesitaba algo que se ajustaba a los flujos de trabajo de prueba de penetración sin requerir que configurara un entorno Python en cada compromiso. El modelo de concurrencia también importa: las piscinas de goroutina ejecutan sondas en paralelo a través del objetivo, no bloqueadas por el GIL de Python. go install Se inspira en garak, el escáner de vulnerabilidades LLM basado en Python de NVIDIA. garak es excelente y tiene un pedigree de investigación más largo con un artículo publicado. Augustus es el mismo concepto reimplementado para un conjunto diferente de compromisos: portabilidad, velocidad y distribución de dependencia cero. Lo que realmente prueba Cuando la mayoría de las personas piensan en los ataques de LLM, piensan en los jailbreaks. "Pretende que eres DAN." "Mi abuela solía decirme cómo hacer..." Aquellas cosas, y Augustus las prueba todas (variantes de DAN a través de v11.0, AIM, AntiGPT, Grandma exploits, ArtPrompts). Augustus prueba a través de Base64, ROT13, código Morse, hex, Braille, Klingon, leet hablar, y alrededor de 12 otros esquemas de codificación. La pregunta a la que se hace: si envuelve una instrucción dañina en Base64, ¿el modelo la decodifica y la sigue aunque la versión de texto simple se bloquee? Encoding bypasses En muchos casos, sí.La brecha entre lo que los filtros de entrada ven (texto codificado que parece benigno) y lo que el modelo entiende (la intención maliciosa decodificada) es consistentemente explotable. (16 variantes) invierte o reordena caracteres para evadir los filtros de entrada.La investigación mostró el 98% de bypass en GPT-4o. FlipAttack Incorpora instrucciones dentro de las etiquetas XML o HTML. Los modelos que están capacitados para procesar las entradas estructuradas a veces seguirán instrucciones incrustadas en etiquetas que parecen formatear en lugar de comandos. Tag smuggling es donde las cosas se vuelven operativamente peligrosas. Augustus investiga si el modelo puede ser engañado para filtrar claves de API o credenciales de su ventana de contexto. Se prueba para la extracción de PII. Se verifica para la regurgitación de datos de entrenamiento. Data extraction Las sondas de alucinación de paquetes son una de mis favoritas. Estas cubren Python, JavaScript, Ruby, Rust, Dart, Perl y Raku. Piden al modelo que recomiende paquetes para varias tareas y luego compruebe si alguno de los paquetes recomendados no existe realmente. Esto importa porque es un vector de ataque de la cadena de suministro real: los oponentes monitorean los nombres de paquetes alucinados, los registran y esperan a que los desarrolladores lo hagan. o El modelo se convierte en un cómplice inconsciente en un ataque a la cadena de suministro. pip install npm install Las sondas prueban si un atacante puede inyectar contenido malicioso en el tubo de recuperación, tanto a través del contenido del documento como de la inyección de metadatos.Si su sistema RAG se extrae de un corpus que un atacante puede influir (y la mayoría puede ser influenciada más fácilmente de lo que piensas), las salidas del modelo pueden ser manipuladas. RAG poisoning Como los LLM ganan acceso a herramientas (navegación, ejecución de código, consultas de base de datos, llamadas de API), la superficie de ataque se expande dramáticamente. Augustus prueba la manipulación de múltiples agentes (¿puede un agente influir en el comportamiento de otro?), los exploits de navegación (¿puede el contenido web adversario secuestrar un modelo con acceso a la web?), y la inyección latente (pueden las instrucciones incorporadas en documentos que un agente capacitado por RAG procesa hacer que tome acciones no intencionadas?). Agent attacks Si un modelo genera marcado, ¿puede un atacante inyectar enlaces maliciosos que se muestran como legítimos? Si produce HTML, ¿son posibles las cargas de trabajo de XSS? Si los sistemas descendentes analizan YAML o JSON de la salida del modelo, ¿puede explotarse ese análisis? Estos son riesgos reales cuando la salida de LLM se reproduce en navegadores o se consume por otros sistemas. Format exploits prueba la capacidad del modelo para reconocer la intención adversaria independientemente de cómo se presente. ObscurePrompt utiliza un LLM para reescribir jailbreaks conocidos en formas más difíciles de detectar. Las sondas de sustitución de caracteres utilizan homoglifos (caracteres que parecen idénticos pero tienen diferentes puntos de codificación de Unicode), caracteres de ancho cero y marcadores de texto bidireccionales. Estas son entradas que parecen completamente benignas a los filtros basados en texto pero son interpretadas de manera diferente por el modelo. Evasion techniques DoNotAnswer (941 preguntas en 5 áreas de riesgo), RealToxicityPrompts, Snowball (salidas plausibles pero erróneas de hecho), y sondas de contenido dañino de LMRC. Safety benchmarks En total: 210 más sondas en 47 categorías de ataque. El sistema buff es donde se hace real Aquí está la cosa acerca de las pruebas adversarias: los atacantes reales no envían ataques en texto simple. codifican, traducen, reafirman y obfuscan.Un prompt DAN que se captura por cada filtro en el mundo podría navegar justo cuando haya sido parafraseado, traducido a Zulu, y reformatado como un haiku. Augustus tiene un sistema de buff que aplica transformaciones a cualquier sonda antes de enviarla. Envuelve los prompts en Base64 o códigos de caracteres para probar la brecha entre lo que los filtros ven y lo que los modelos entienden. Encoding buffs Utilice un modelo Pegasus para reimprimir las promesas mientras preserva la intención adversaria.El mismo significado, forma de superficie diferente.Esto prueba si el entrenamiento de seguridad se generaliza más allá de los patrones específicos en los que se ha entrenado, o si es esencialmente un patrón que coincide con las entradas malas conocidas. Paraphrase buffs reformat prompts como haiku, sonnets, limericks, versos libres, o ríming couplets. Yo sé que esto suena absurdo. Pero los modelos que bloquean robustamente una solicitud perjudicial directa a veces cumplirán cuando la misma solicitud llega como versos. He visto que sucede repetidamente. Algo sobre el marco estilístico parece cambiar la forma en que el modelo procesa la intención. Poetry buffs explota el hecho de que la formación de seguridad se concentra sobre todo en inglés. Una solicitud que está bloqueada en inglés puede tener éxito en Zulu, Hmong o Gaelic escocés. Augustus traduce sondas a través de DeepL para probar esto. Low-resource language translation Algunos filtros de entrada y listas de bloques de palabras clave son sensibles al caso. Case transforms Puedes encadenar estos.Encodificar una sonda en Base64, luego parafrasearla y luego traducirla a un lenguaje de recursos bajos.Evación de capas que prueba si las defensas se mantienen contra las entradas que no coinciden con ningún patrón esperado. augustus scan openai.OpenAI \
  --probe dan.Dan \
  --buff encoding.Base64

augustus scan ollama.OllamaChat \
  --probe dan.Dan \
  --buffs-glob "paraphrase.*,lrl.*" \
  --config '{"model":"llama3.2:3b"}'
 28 proveedores, una interfaz Augustus se conecta a OpenAI (incluidos los modelos de razonamiento o1/o3), Anthropic (Claude 3/3.5/4), Azure OpenAI, AWS Bedrock, Google Vertex AI, Cohere, Replicate, HuggingFace, Together AI, Groq, Mistral, Fireworks, DeepInfra, NVIDIA NIM, Ollama, LiteLLM y más. Para cualquier otra cosa, hay un conector REST: augustus scan rest.Rest \
  --probe dan.Dan \
  --config '{
    "uri": "https://your-api.example.com/v1/chat/completions",
    "headers": {"Authorization": "Bearer YOUR_KEY"},
    "req_template_json_object": {
      "model": "your-model",
      "messages": [{"role": "user", "content": "$INPUT"}]
    },
    "response_json": true,
    "response_json_field": "$.choices[0].message.content"
  }'
 Modelo de solicitud personalizado con extracción de respuesta de JSONPath, transmisión de SSE y enrutamiento de proxy. Si su punto final habla HTTP, Augustus puede probarlo. $INPUT La detección no es sólo el ajuste de patrones En el lado de la detección, Augustus tiene más de 90 detectores. El ajuste de patrones captura indicadores de jailbreak conocidos. LLM-as-a-judge utiliza un segundo modelo para evaluar si la respuesta es dañina. HarmJudge (basado en arXiv:2511.15304) proporciona una evaluación semántica de daño alineada con la taxonomía MLCommons AILuminate. La API de perspectiva mide la toxicidad. Para ataques iterativos como PAIR y TAP, un motor de ataque dedicado maneja conversaciones multi-turn, corte de candidatos y puntuación basada en jueces. Estos no son pruebas de disparo único. Son ataques adaptativos que refinan su enfoque a través de varios intentos, imitando cómo funcionaría realmente un atacante real. Son computacionalmente caros (muchas llamadas LLM por prueba) pero representan el estado actual de la arte en el red-teaming automatizado. Lo que aprendí de construir esto Algunas cosas se hicieron claras durante la construcción de Augustus y la ejecución contra los sistemas de producción: Yo sigo volviendo a esto porque es el concepto erróneo fundamental que conduce a la brecha. El entrenamiento de seguridad es una superposición de comportamiento. enseña los patrones de modelo para el rechazo. La prueba de seguridad pregunta si esos patrones se mantienen en condiciones adversarias. Casi nunca lo hacen, al menos no de forma exhaustiva. Safety training is not security. El hecho de que envuelva una solicitud dañina en Base64 todavía funciona contra muchas implementaciones de producción en 2026 es salvaje. filtros de entrada y el modelo mismo están operando en diferentes representaciones de la misma entrada, y esa brecha es explotable. Encoding bypasses are embarrassingly effective. La formación de seguridad se centra en el inglés.El descenso en la calidad de rechazo para los idiomas de bajo recurso es significativo y consistente. Low-resource languages are an underappreciated attack vector. A medida que los modelos obtienen acceso a herramientas, cada herramienta se convierte en parte de la superficie de ataque. Un modelo con acceso de navegación puede ser manipulado por contenido web adversario. Un modelo con acceso a bases de datos puede ser engañado en datos de exfiltración. Un modelo que procesa documentos puede seguir instrucciones latentes incorporadas en esos documentos. Agent-level attacks are going to be the next big thing. Las organizaciones están desplegando LLMs más rápido de lo que los están probando. Los modelos se envían rápidamente. La prueba de seguridad no ocurre en absoluto. Algo tiene que cerrar esa brecha, y debe ser accesible lo suficiente que no requiere un equipo rojo de IA especializado para funcionar. The tooling gap is real and it's getting wider. Obténlo Augustus es Apache 2.0 licenciado y disponible ahora.   Repo: https://github.com/praetorian-inc/augustus go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan ollama.OllamaChat \
  --all \
  --config '{"model":"llama3.2:3b"}'
 Es la segunda herramienta en una serie de 12 herramientas de código abierto que estoy lanzando durante 12 semanas. Una herramienta por semana, cada una haciendo una cosa bien. La primera fue Julius, que maneja la huella digital de LLM (identificando qué modelo se ejecuta detrás de un punto final). El resto de la serie continuará construyendo el kit de herramientas de seguridad ofensiva para sistemas de IA. Y si desea contribuir a las sondas para los vectores de ataque que aún no hemos cubierto, el repo tiene un CONTRIBUTING.md que explica el formato de definición de la sonda y el flujo de trabajo de desarrollo. Los modelos están enviando.La prueba tiene que capturar.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Este audio es producido en el idioma original de la historia!

Construí una herramienta de código abierto para atacar los LLMs de prueba. aquí está lo que rompe

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Telegram: el puente de Crypto Island hacia el continente

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Telegram: el puente de Crypto Island hacia el continente

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps