Създадох инструмент с отворен код за атака-тест LLMs. Ето какво прекъсва

Прекарвам по-голямата част от времето си, като се занимавам с неща, за да живея.През последната година или така, нарастваща част от тази работа е насочена към LLMs. Не самите модели, точно. Разположенията. API порталите с езиков модел зад тях. Чатботите, които се отнасят към клиента. Вътрешните инструменти, които получиха "AI функция", бяха включени през третото тримесечие, защото VP на някого видя демо и каза: "Ние се нуждаем от това." These things are everywhere now. And almost none of them have been adversarially tested. Не мисля, че "моделът отказва, ако го попитате за нещо лошо".Това е обучение за безопасност.Обучението за безопасност е важно.Но обучението за безопасност и тестването на безопасността са фундаментално различни дисциплини и индустрията ги обърква по начини, които ще причинят реални проблеми. Обучението по безопасност учи модела да отказва.Тестовете за безопасност питат дали този отказ действително се задържа, когато някой активно се опитва да го наруши. Цифрите са лоши OWASP класира незабавното инжектиране като номер едно риск за сигурността в приложенията за LLM. FlipAttack, техника, която просто пренарежда символи в обаждания, постига 98% скорост на заобикаляне срещу GPT-4o. DeepSeek R1 показва 100% скорост на заобикаляне срещу 50 HarmBench jailbreak обаждания при тестване от Cisco и Университета на Пенсилвания. Проучване на 36 приложения, интегрирани в производството LLM, установи, че 86% са уязвими към незабавно инжектиране. PoisonedRAG демонстрира, че само пет злонамерени документа в корпус от милиони могат да манипулират AI изходи 90% от времето. Това не са теоретични атаки срещу изследователски модели.Това са атаки срещу производствени системи, които реалните организации работят в момента. Затова създадох скенер. Augustus е скенер за уязвимости на LLM с отворен код. Вие го насочвате към крайната точка на модела и той хвърля 210+ противникови проби върху него в 47 категории атаки. go install github.com/praetorian-inc/augustus/cmd/augustus@latest augustus scan openai.OpenAI \ --all \ --verbose Той работи като един Go бинарни. Няма Python. Няма npm. Няма зависимост от времето на изпълнение. Една инсталация команда и вие сте сканиране. Създадох го в Go, защото имах нужда от нещо, което да се вписва в работните потоци за тестване на проникването, без да ми се налага да създавам среда на Python при всяко ангажиране. Съвместният модел също има значение: горутинните басейни изпълняват сондата паралелно през целта, а не бутилирани от GIL на Python. go install Тя е вдъхновена от garak, базирания на Python LLM уязвимост скенер на NVIDIA. garak е отличен и има по-дълго изследователско родословие с публикувана статия. Augustus е една и съща концепция, въведена за различен набор от компромиси: преносимост, скорост и дистрибуция с нулева зависимост. Какво всъщност тества Това е мястото, където става интересно.Когато повечето хора мислят за LLM атаки, те мислят за jailbreaks. „Представете си, че сте DAN.“ „Баба ми ми казваше как да...“ Тези неща, и Август тества всички от тях (варианти на DAN чрез v11.0, AIM, AntiGPT, Grandma експлоатации, ArtPrompts). Augustus тества през Base64, ROT13, Morse код, хекс, Braille, Klingon, Leet говори, и около 12 други схеми за кодиране. Въпросът, който се задава: ако опаковате вредна инструкция в Base64, моделът го декодира и го следва, въпреки че версията с обикновен текст ще бъде блокирана? Encoding bypasses Разликата между това, което входните филтри виждат (кодиран текст, който изглежда доброкачествен) и това, което моделът разбира (дешифрираното злонамерено намерение) е последователно експлоатируема. (16 варианта) обръща или пренарежда символи, за да избегне входните филтри.Изследванията показват 98% заобикаляне на GPT-4o. FlipAttack Модели, които са обучени да обработват структурирани входове, понякога ще следват инструкции, вградени в тагове, които приличат на форматиране, а не на команди. Tag smuggling е мястото, където нещата стават оперативно опасни. Август проучва дали моделът може да бъде измамен в изтичане на API ключове или поверителни данни от контекстния му прозорец. Той тества за извличане на PII. Той проверява за регургитация на данни за обучение. Data extraction The package hallucination probes are one of my favorites. These cover Python, JavaScript, Ruby, Rust, Dart, Perl, and Raku. They ask the model to recommend packages for various tasks and then check whether any of the recommended packages don't actually exist. This matters because it's a real supply chain attack vector: adversaries monitor for hallucinated package names, register them, and wait for developers to или Моделът става несъзнателен съучастник в атака по веригата за доставки. pip install npm install Пробите тестват дали нападателят може да инжектира злонамерено съдържание в тръбопровода за извличане, както чрез съдържание на документ, така и чрез инжектиране на метаданни.Ако вашата RAG система се извлича от корпус, който нападателят може да повлияе (и повечето могат да бъдат повлияни по-лесно, отколкото си мислите), изходите на модела могат да бъдат манипулирани. RAG poisoning са най-новата категория и може би най-заинтересованите. Тъй като LLMs получават достъп до инструменти (браузиране, изпълнение на код, заявки за база данни, API повиквания), повърхността на атаката се разширява драстично. Augustus тества мулти-агент манипулация (може ли един агент да повлияе на поведението на друг?), сърфиране експлоатации (може противниково уеб съдържание отвлича модел с уеб достъп?), и латентно инжектиране (може инструкции, вградени в документи, че един RAG-осигурен агент обработва го кара да предприеме непреднамерени действия?). Agent attacks Ако даден модел генерира markdown, може ли нападателят да инжектира злонамерени връзки, които се представят като легитимни? Ако той произвежда HTML, са възможни XSS полезни натоварвания? Ако системите надолу по веригата анализират YAML или JSON от изхода на модела, може ли да се използва това анализиране? Това са реални рискове, когато изходът на LLM се прави в браузъри или се консумира от други системи. Format exploits тества способността на модела да разпознава противниковите намерения, независимо от начина, по който е представен. ObscurePrompt използва LLM, за да пренапише известни джайлбрейки в по-трудни за откриване форми. Проби за заместване на знаци използват хомоглифи (знаци, които изглеждат идентични, но имат различни Unicode кодове), символи с нулева ширина и двупосочни текстови маркери. Това са входове, които изглеждат напълно доброкачествени за текстови филтри, но се интерпретират по различен начин от модела. Evasion techniques DoNotAnswer (941 въпроса в 5 рискови области), RealToxicityPrompts, Snowball (плазурно звучащи, но фактически погрешни резултати) и LMRC пробиват вредно съдържание. Safety benchmarks Общо: 210+ проби в 47 атакуващи категории. Системата на буферите е там, където става реална Ето нещо за тестването на противниците: истинските нападатели не изпращат атаки в прост текст. Те кодират, превеждат, префразират и замъгляват. DAN-помощ, която се улавя от всеки филтър в света, може да премине направо, когато е парафразирана, преведена на Zulu и преработена като хаику. Август има система за преобразуване, която прилага трансформации към всяка сонда, преди да бъде изпратена. Тестване на разстоянието между това, което филтрите виждат и това, което моделите разбират. Encoding buffs Използвайте модел на Пегас, за да преформулирате напомнянията, като същевременно запазите противниковото намерение. Същото значение, различна повърхностна форма.Това тества дали обучението по безопасност се обобщава извън специфичните модели, по които е било обучено, или дали по същество е модел, съвпадащ с известни лоши входове. Paraphrase buffs Реформатните призиви като хаику, сонети, лимерики, свободни стихове или рими. Знам, че това звучи абсурдно. Но моделите, които силно блокират пряко вредно искане, понякога ще се съобразяват, когато същото искане пристигне като стих. Видях го да се случва многократно. Poetry buffs експлоатира факта, че обучението по безопасност е преобладаващо концентрирано на английски език. Искане, което е блокирано на английски език, може да успее в Zulu, Hmong или Scots Gaelic. Low-resource language translation Някои входни филтри и списъци с ключови думи са чувствителни към случая. Case transforms Можете да ги синхронизирате.Кодирайте зонд в Base64, след това го парафразирайте, след това го превеждайте на език с ниски ресурси.Услойно избягване, което тества дали защитите се задържат срещу входове, които не съответстват на очаквания модел. augustus scan openai.OpenAI \ --probe dan.Dan \ --buff encoding.Base64 augustus scan ollama.OllamaChat \ --probe dan.Dan \ --buffs-glob "paraphrase.*,lrl.*" \ --config '{"model":"llama3.2:3b"}' 28 доставчици, един интерфейс Augustus се свързва с OpenAI (включително модели за разсъждение на o1/o3), Anthropic (Claude 3/3.5/4), Azure OpenAI, AWS Bedrock, Google Vertex AI, Cohere, Replicate, HuggingFace, Together AI, Groq, Mistral, Fireworks, DeepInfra, NVIDIA NIM, Ollama, LiteLLM и др. За всичко останало има REST конектор: augustus scan rest.Rest \ --probe dan.Dan \ --config '{ "uri": "https://your-api.example.com/v1/chat/completions", "headers": {"Authorization": "Bearer YOUR_KEY"}, "req_template_json_object": { "model": "your-model", "messages": [{"role": "user", "content": "$INPUT"}] }, "response_json": true, "response_json_field": "$.choices[0].message.content" }' Създаване на шаблони за заявки с Извличане на отговори на JSONPath, стрийминг на SSE и маршрутизиране на прокси. Ако крайната точка говори HTTP, Augustus може да я тества. $INPUT Откриването не е просто съвпадение на модели От страна на откриването, Август има над 90 детектора. Съвпадението на моделите улавя известни индикатори за затваряне. LLM-as-a-judge използва втори модел, за да оцени дали отговорът е вреден. HarmJudge (базирано на arXiv:2511.15304) осигурява семантична оценка на вредите, съобразена с таксономията MLCommons AILuminate. Perspective API измерва токсичността. За повтарящи се атаки като PAIR и TAP, специален атакуващ двигател се занимава с многократни разговори, подрязване на кандидати и оценяване на базата на съдия. Това не са тестове с един удар. Те са адаптивни атаки, които усъвършенстват подхода си в множество опити, имитирайки как действително ще работи истинският нападател. Те са изчислително скъпи (много LLM обаждания на тест), но те представляват настоящото състояние на изкуството в автоматизираното червено екипиране. Какво научих от изграждането на това Няколко неща станаха ясни в хода на изграждането на Augustus и го управляваше срещу производствените системи: Продължавам да се връщам към това, защото това е фундаменталното погрешно схващане, което води до пропастта.Обучението за безопасност е поведенческо покритие.Той учи моделите за отхвърляне.Тестовете за безопасност питат дали тези модели издържат при противоположни условия.Те почти никога не го правят, поне не изчерпателно. Safety training is not security. Фактът, че опаковането на вредно заявление в Base64 все още работи срещу много производствени внедрения през 2026 г., е див. Encoding bypasses are embarrassingly effective. Safety training is concentrated on English. The drop-off in refusal quality for low-resource languages is significant and consistent. Low-resource languages are an underappreciated attack vector. Тъй като моделите получават достъп до инструменти, всеки инструмент става част от повърхността на атаката. Модел с достъп за сърфиране може да бъде манипулиран от враждебно уеб съдържание. Модел с достъп до база данни може да бъде измамен в извличане на данни. Модел, който обработва документи, може да следва скрити инструкции, вградени в тези документи. Agent-level attacks are going to be the next big thing. Организациите разгръщат LLM по-бързо, отколкото ги тестват.Моделите се изпращат бързо.Тестовете за сигурност изобщо не се случват.Нещо трябва да запълни тази празнина и тя трябва да бъде достатъчно достъпна, за да не се изисква специализиран AI червен екип. The tooling gap is real and it's getting wider. Вземи го Augustus е Apache 2.0 лицензиран и наличен сега. Repo: https://github.com/praetorian-inc/augustus go install github.com/praetorian-inc/augustus/cmd/augustus@latest augustus scan ollama.OllamaChat \ --all \ --config '{"model":"llama3.2:3b"}' Това е вторият инструмент в 12-инструментна серия с отворен код, която пускам в продължение на 12 седмици. Един инструмент на седмица, всеки прави едно нещо добре. Първият беше Julius, който се занимава с LLM пръстови отпечатъци (идентифициране на какъв модел се изпълнява зад крайната точка). Ако го изпълнявате срещу вашите модели и намерите нещо интересно, бих искал да чуя за него.И ако искате да допринесете за проби за атакуващи вектори, които все още не сме обхванати, репото има CONTRIBUTING.md, който обяснява формата на дефиниция на пробата и работния поток на разработката. Моделите са в процес на доставка.Тестовете трябва да се уловят.