Passo la major part del meu temps trencant coses per viure. Durant l'últim any o més, una part creixent d'aquest treball s'ha apuntat als LLM. No els models mateixos, exactament. Els desplegaments. Els portals de l'API amb un model d'idioma darrere d'ells. Els chatbots orientats cap al client. Les eines internes que van rebre "una característica d'IA" es van encendre en el Q3 perquè el VP d'algú va veure una demostració i va dir "n'hem de fer això." Les canonades RAG connectades a magatzems de documents plens de dades sensibles. Aquestes coses són a tot arreu ara, i gairebé cap d’elles ha estat provat adversàriament. No vull dir "el model rebutja si li demaneu alguna cosa dolenta." Això és la formació de seguretat. La formació de seguretat és important. Però la formació de seguretat i les proves de seguretat són disciplines fonamentalment diferents, i la indústria les conflueix de maneres que causaran problemes reals. L'entrenament de seguretat ensenya a un model a rebutjar. El test de seguretat pregunta si aquest rebuig realment es manté quan algú està tractant activament de trencar-lo. Els números són dolents OWASP va classificar la injecció ràpida com el risc de seguretat número un en les aplicacions LLM. FlipAttack, una tècnica que simplement reordena els personatges en els consells, aconsegueix una taxa de bypass del 98% contra GPT-4o. DeepSeek R1 va mostrar una taxa de bypass del 100% contra 50 consells de jailbreak de HarmBench en proves realitzades per Cisco i la Universitat de Pennsilvània. Un estudi de 36 aplicacions integrades en LLM de producció va trobar que el 86% eren vulnerables a la injecció ràpida. PoisonedRAG va demostrar que només cinc documents maliciosos en un corpus de milions poden manipular les sortides d'IA el 90% del temps. Aquests no són atacs teòrics contra models de recerca, són atacs contra sistemes de producció que les organitzacions reals estan executant ara mateix. Hem construït un escàner Augustus és un escàner de vulnerabilitats LLM de codi obert. L'apunta a un punt final de model i li llança més de 210 sondes adversàries a través de 47 categories d'atac. go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan openai.OpenAI \
  --all \
  --verbose
 S'executa com un únic binari Go. No Python. No npm. No dependències de temps d'execució. Un comandament instal·lat i estàs escanejant. L'he construït a Go perquè necessitava alguna cosa que s'adaptés als fluxos de treball de proves de penetració sense requerir que configurés un entorn de Python en cada compromís. El model de concurrència també importa: les piscines goroutines executen sondes en paral·lel a través de la meta, no bloquejades per la GIL de Python. go install Està inspirat en garak, l'escàner de vulnerabilitats LLM basat en Python de NVIDIA. garak és excel·lent i té un pedigrí de recerca més llarg amb un paper publicat. Augustus és el mateix concepte reimplementat per a un conjunt diferent de compromisos: portabilitat, velocitat i distribució de dependència zero. Què és el que realment prova Quan la majoria de la gent pensa en els atacs LLM, pensen en els jailbreaks. "Pretend que ets DAN." "La meva àvia solia dir-me com..." Aquestes coses, i Augustus les prova totes (variants de DAN a través de v11.0, AIM, AntiGPT, Grandma explota, ArtPrompts). Augustus fa proves a través de Base64, ROT13, codi Morse, hex, Braille, Klingon, leet talk, i uns altres 12 esquemes d'encriptació. La pregunta que es fa és: si embolicem una instrucció perjudicial a Base64, el model la desxifra i la segueix tot i que la versió de text simple quedés bloquejada? Encoding bypasses En molts casos, sí.La bretxa entre el que veuen els filtres d'entrada (text codificat que sembla benigne) i el que el model entén (la intenció maliciosa descodificada) és constantment explotable. (16 variants) reverteix o reordena els caràcters per evadir els filtres d'entrada. La investigació va mostrar un 98% de bypass en GPT-4o. FlipAttack incorpora instruccions dins de les etiquetes XML o HTML. Els models que estan entrenats per processar les entrades estructurades de vegades seguiran instruccions incrustades en etiquetes que semblen formatar en lloc de comandes. Tag smuggling és on les coses es tornen operativament perilloses. Augustus investiga si el model es pot enganyar en les claus d'API o les credencials de fuita de la seva finestra de context. Prova per a l'extracció de PII. Prova per a la regurgitació de dades d'entrenament. Data extraction Les sondes d'al·lucinació de paquets són una de les meves preferides. Aquestes cobreixen Python, JavaScript, Ruby, Rust, Dart, Perl i Raku. Demanen al model que recomani paquets per a diverses tasques i després comprovi si algun dels paquets recomanats no existeix realment. Això és important perquè és un veritable vector d'atac de la cadena de subministrament: els adversaris vigilen els noms de paquets al·lucinats, els registren i esperen que els desenvolupadors o El model es converteix en un còmplice inconscient en un atac a la cadena de subministrament. pip install npm install Les sondes testeixen si un atacant pot injectar contingut maliciós a la canonada de recuperació, tant a través del contingut del document com de la injecció de metadades.Si el vostre sistema RAG s'extreu d'un corpus que un atacant pot influir (i la majoria es pot influir més fàcilment del que es pensava), les sortides del model es poden manipular. RAG poisoning són la categoria més recent i, possiblement, la més preocupant. A mesura que els LLMs guanyen accés a eines (navegació, execució de codi, consultes de base de dades, trucades d'API), la superfície d'atac s'expandeix dramàticament. Augustus prova la manipulació de múltiples agents (pot un agent influir en el comportament d'un altre?), els exploits de navegació (pot el contingut web adversari piratejar un model amb accés a la web?), i la injecció latent (pot les instruccions incrustades en documents que un agent habilitat per RAG processa fer que prengui accions no intencionades?). Agent attacks Si un model genera marcatge, un atacant pot injectar enllaços maliciosos que es mostren com a legítims? Si produeix HTML, són possibles les càrregues de pagament XSS? Si els sistemes descendents analitzen YAML o JSON de la sortida del model, pot explotar-se aquest analitzament? Aquests són riscos reals quan la sortida LLM es mostra en navegadors o es consumeix per altres sistemes. Format exploits provar la capacitat del model per reconèixer la intenció adversària independentment de com es presenta. ObscurePrompt utilitza un LLM per reescriure jailbreaks coneguts en formes més difícils de detectar. Les sondes de substitució de caràcters utilitzen homoglifos (caràcters que semblen idèntics però tenen diferents punts de codi Unicode), caràcters de amplada zero i marcadors de text bidireccionals. Aquestes són entrades que semblen completament benignes als filtres basats en text, però són interpretades de manera diferent pel model. Evasion techniques DoNotAnswer (941 preguntes en 5 àrees de risc), RealToxicityPrompts, Snowball (sortides que semblen plausibles però factualment errònies), i les sondes de contingut perjudicial de LMRC. Safety benchmarks En total: més de 210 sondes en 47 categories d'atac. El sistema buff és on es fa real Aquí està la cosa sobre les proves adversàries: els veritables atacants no envien atacs en text senzill. codifiquen, tradueixen, repassen i obfusquen. Un missatge DAN que es captura per tots els filtres del món podria navegar directament quan s'hagi parafrasejat, traduït a Zulu i reformat com un haiku. Augustus té un sistema de buff que aplica transformacions a qualsevol sonda abans d'enviar-la. Envàs de comandes en Base64 o codis de caràcters. Prova de la bretxa entre el que els filtres veuen i el que els models entenen. Encoding buffs Utilitzar un model de Pegasus per reexpressar els consells mentre es conserva la intenció adversària. El mateix significat, forma de superfície diferent. Això prova si l'entrenament de seguretat es generalitza més enllà dels patrons específics en què es va entrenar, o si és essencialment un patró que coincideix amb les entrades dolentes conegudes. Paraphrase buffs reformat prompts com haiku, sonets, limericks, vers lliure, o ríming couplets. Sé que això sona absurd. Però els models que bloquegen robustament una sol·licitud perjudicial directa de vegades compliran quan la mateixa sol·licitud arriba com vers. He vist que succeeix repetidament. Alguna cosa sobre l'enquadrament estilístic sembla canviar la forma en què el model processa la intenció. Poetry buffs explota el fet que l'entrenament de seguretat es concentra en gran mesura en anglès. Una sol·licitud que està bloquejada en anglès pot tenir èxit en Zulu, Hmong o Gaelic escocès. Low-resource language translation simplement baixar tot. Alguns filtres d'entrada i blocllistes de paraules clau són sensibles al cas. És estúpid. Funciona. Case transforms Podeu encodificar una sonda a Base64, després parafrasejar-la i després traduir-la a un llenguatge de recursos baixos. Evasió de capes que prova si les defenses s'aguanten contra les entrades que no coincideixen amb cap patró esperat. augustus scan openai.OpenAI \
  --probe dan.Dan \
  --buff encoding.Base64

augustus scan ollama.OllamaChat \
  --probe dan.Dan \
  --buffs-glob "paraphrase.*,lrl.*" \
  --config '{"model":"llama3.2:3b"}'
 28 proveïdors, una única interfície Augustus es connecta amb OpenAI (incloent models de raonament o1/o3), Anthropic (Claude 3/3.5/4), Azure OpenAI, AWS Bedrock, Google Vertex AI, Cohere, Replicate, HuggingFace, Together AI, Groq, Mistral, Fireworks, DeepInfra, NVIDIA NIM, Ollama, LiteLLM i més. Per a qualsevol altra cosa, hi ha un connector REST: augustus scan rest.Rest \
  --probe dan.Dan \
  --config '{
    "uri": "https://your-api.example.com/v1/chat/completions",
    "headers": {"Authorization": "Bearer YOUR_KEY"},
    "req_template_json_object": {
      "model": "your-model",
      "messages": [{"role": "user", "content": "$INPUT"}]
    },
    "response_json": true,
    "response_json_field": "$.choices[0].message.content"
  }'
 Models de sol·licituds personals amb extracció de resposta de JSONPath, streaming de SSE i enrutament de proxy. Si el vostre punt final parla HTTP, Augustus pot provar-ho. $INPUT La detecció no és només el pattern matching Pel que fa a la detecció, Augustus té més de 90 detectors. La coincidència de patrons captura indicadors de jailbreak coneguts. LLM-as-a-judge utilitza un segon model per avaluar si la resposta és perjudicial. HarmJudge (basat en arXiv:2511.15304) proporciona una avaluació semàntica del dany alineada amb la taxonomia MLCommons AILuminate. La API de perspectiva mesura la toxicitat. Per als atacs iteratius com el PAIR i el TAP, un motor d'atac dedicat gestiona converses de múltiples torns, tall de candidats i puntuació basada en jutges. Aquests no són proves d'un sol tret. Són atacs adaptatius que refinen el seu enfocament a través de múltiples intents, imitant com funcionaria realment un atacant. Són computacionalment cars (moltes trucades LLM per prova) però representen l'estat actual de l'art en l'automatització de l'equipament vermell. El que he après de la construcció d'aquest Al llarg de la construcció d’August i la seva execució contra sistemes de producció, es van fer clares algunes coses: Jo continuo tornant a això perquè és el concepte equivocat fonamental que condueix a la bretxa. L'entrenament de seguretat és una sobrecàrrega de comportament. Ensenya els patrons de model per al rebuig. La prova de seguretat pregunta si aquests patrons es mantenen en condicions adversàries. Gairebé mai ho fan, almenys no de forma exhaustiva. Safety training is not security. El fet que l'envàs d'una sol·licitud maliciosa a Base64 encara funciona contra molts desplegaments de producció el 2026 és salvatge. filtres d'entrada i el model mateix estan funcionant en diferents representacions de la mateixa entrada, i aquest buit és explotable. Encoding bypasses are embarrassingly effective. El descens en la qualitat de rebuig per a llengües de baix recursos és significatiu i coherent. Low-resource languages are an underappreciated attack vector. A mesura que els models obtenen accés a eines, cada eina es converteix en part de la superfície d'atac. Un model amb accés a la navegació pot ser manipulat per continguts web adversaris. Un model amb accés a bases de dades pot ser enganyat en dades d'exfiltració. Un model que processa documents pot seguir instruccions latents incrustades en aquests documents. Estem en les primeres etapes de la comprensió d'aquesta superfície d'atac. Agent-level attacks are going to be the next big thing. Les organitzacions estan desplegant els LLMs més ràpidament del que els estan provant. Els models s'envien ràpidament. Les proves de seguretat no succeeixen en absolut. Alguna cosa ha de tancar aquesta bretxa, i ha de ser suficientment accessible que no requereixi un equip vermell d'IA especialitzat per executar. The tooling gap is real and it's getting wider. Gaudeix Augustus és Apache 2.0 amb llicència i disponible ara.   Repo: https://github.com/praetorian-inc/augustus go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan ollama.OllamaChat \
  --all \
  --config '{"model":"llama3.2:3b"}'
 És la segona eina en una sèrie de 12 eines de codi obert que estic llançant durant 12 setmanes. Una eina per setmana, cadascuna fent una cosa bé. El primer va ser Julius, que gestiona l'empremta digital LLM (identificant quin model s'executa darrere d'un punt final). La resta de la sèrie continuarà construint l'eina de seguretat ofensiva per a sistemes d'IA. I si voleu contribuir a les sondes per a vectors d'atac que encara no hem cobert, el repo té un CONTRIBUTING.md que explica el format de definició de la sonda i el flux de treball de desenvolupament. Els models estan en marxa.La prova ha d'agafar.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Aquest àudio és produït a l'idioma original de la història!

He construït una eina de codi obert per atacar els LLM de prova.

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

Startups of The Year: Meet the Engineering Industry

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

New Features: They're Everything, We're Just Ken

Meet Filestack: HackerNoon Company of the Week

Startups of The Year: Meet the Engineering Industry

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

New Features: They're Everything, We're Just Ken

Meet Filestack: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps