Би Attack-Test LLM-ийг Open-Source хэрэгсэл бий болгосон. Энд юу буцах вэ

Би цаг хугацааны ихэнх зүйлсийг амьдрал авахын тулд ашиглах. Өнгөрсөн жилийн турш энэ ажил нь LLMs-ийг харуулсан байна. Өөрөө загваруудгүй. Хэвлэлтүүд. API-ийн галт тэрэг нь хэлний загваруудтай. Хэрэглэгчийн харьцуулахад чатботүүд. Хэвлэлтүүд нь "AI шинж чанарыг" олж авсан дотоодын хэрэгслүүд 3-р зургадугаар сард дууссан, учир нь хэн нэгний VP-ийг демонстрацийг үзсэн бөгөөд "Энэ хэрэгтэй" гэж хэлсэн. RAG-ийн хоолой нь өгөгдлийн тоноглогдсон документын хадгалаас холбогдсон. Эдгээр зүйлс одоо бүхэнд байдаг. Тэдний хоорондын хоорондоо туршиж байна. Ямар ч гэсэн үг биш юм "машины загвар нь ямар ч дуртай зүйлийг хүсч байгаа бол үгүйснэ үү." Энэ нь аюулгүй байдлын сургалт юм. Аюулгүй байдлын сургалт чухал юм. Гэхдээ аюулгүй байдлын сургалт, аюулгүй байдлын туршилтын үндсэндээ янз бүрийн шинжлэх ухааны юм, аж ахуйн нэгжийн үнэхээр асуудал үүсгэхийн тулд хэлбэрээр тэднийг хамардаг. Аюулгүй байдлын сургалт нь загварууд нь үгүйслэхэд суралцах. Аюулгүй байдлын туршилт нь ямар ч хэн нэг нь энэ нь идэвхжүүлэхийн тулд идэвхжүүлэхийг хүсч байгаа бол энэ нь үнэхээр хэзээ ч байтугай байна уу. Ангилал, ихэвчлэн, биш юм. Өнгөрсөн тоо дуртай OWASP prompt injection нь LLM програмуудд номер нэг аюулгүй байдлын эрсдэл гэж байрладаг. Энэ байрлалд алдартай байна. FlipAttack, зүгээр л хэлбэрээр хэлбэрүүд өөрчилж чадна техникийн нь GPT-4o-д 98% -ийг байлгах түвшинд олж байна. DeepSeek R1 нь Cisco болон Пенсильвангийн их сургуулийн туршилтад 50 HarmBench jailbreak түвшинд 100% байлгах түвшин харуулсан. 36 үйлдвэрлэлийн LLM-ийн интегрирован хэрэглээний судалгаа нь 86% нь байлгах түвшинтэй байдаг. PoisonedRAG-ийн хэд хэдэн сая орнуудад хязгаарлагдмал өгөгдөл нь 90% -ийг AI-ийн outputs нь манипулируулдаг гэж харуулсан. Эдгээр нь судалгааны загваруудтай теорийн ачаалал биш юм. Эдгээр нь үйлдвэрлэлийн системд ачаалал юм. Эдгээр нь бодит аж ахуйн нэгжүүд одоо ажиллуулдаг. Тэгэхээр би scanner бий Augustus нь open-source LLM хязгаарлалт сканер юм. Та энэ нь загварын хязгаарлалт дээр үзнэ үү, энэ нь 47 хавтгайны ангилал дээр 210+ антагонист зондууг харуулдаг. Энэ нь танд ямар ч хязгаарлалттай, ямар ч байна гэж үзнэ үү. go install github.com/praetorian-inc/augustus/cmd/augustus@latest augustus scan openai.OpenAI \ --all \ --verbose Энэ нь нэг Go бинарний хэлбэрээр борлуулдаг. Python ямар ч. No npm. No runtime dependencies. One install command and you're scanning. Би Go-д энэ нь үүсгэсэн, учир нь би penetration testing workflows-д тохиромжтой зүйлийг хэрэгтэй бөгөөд би бүх үйл ажиллагаа дээр Python орчинд үүсгэх хэрэгтэйгүй. Тогтмол загвар нь бас чухал юм: Goroutine баглаа боодол, Python-ийн GIL-ийн боодолгүй. go install Энэ нь garak, NVIDIA-ийн Python-д суурилсан LLM хязгаарлалт сканнер дээр суурилсан. garak нь маш сайн бөгөөд нийтлэг нийтлэлтэй судалгааны давхаргатай. Augustus нь өөр өөр компромисс багц нь нэг концепт өөрчилж байна: хуваалцах, хурд, нуль-хязгаарлалт хуваалцах. янз бүрийн ажлын үйл явцыг зориулсан янз бүрийн хэрэгсэл. Үнэндээ шалгана уу Энд энэ нь гайхамшигтай байх болно. Олон хүн LLM-ийн хакердсан талаар мэдэж байгаа үед тэд jailbreaks гэж бодож байна. "Тэвч та DAN юм гэж үзнэ үү." "Миний багийн үүнийг хэлж байна ..." Эдгээр зүйл, Август тэдгээрийг туршиж байна (DAN хувилбар v11.0, AIM, AntiGPT, Grandma exploits, ArtPrompts). Гэхдээ jailbreaks зүгээр л хавхлага юм. Эдгээр зүйлс нь дуртай байж эхэлдэг. Август Base64, ROT13, Morse код, Hex, Braille, Klingon, Leet talk, болон бусад 12 кодийг туршиж байна. Ангилаагүй асуултууд: Хэрэв Base64-д хязгаарлагдмал зааврыг хавтан байгаа бол загвар нь зүгээр л текст хувилбарыг хамарна уу? Encoding bypasses Олон тохиолдолд, да. Дээрх шүүлтүүр үзэж байгаа зүйл (хэвийн харьцуулахад кодирован текст) болон загварыг мэддэг зүйл (хэвийн алдартай санаа) хоорондоо ашиглаж болно. Энэ нь үйлдвэрлэлд үзсэн хамгийн найдвартай хакердах векторуудын нэг юм. (16 хувилбарууд) хэвлэл мэдээллийн шүүлтүүр хослуулахын тулд хэлбэрийг өөрчилж, эсвэл өөрчилж байна. судалгаа нь GPT-4o дээр 98% нь байлгахыг харуулж байна. Augustus бүх хэвлэгдсэн хувилбарууд гүйцэтгэдэг. FlipAttack XML-ийн эсвэл HTML-ийн tags-ийн дотор зааврыг хамардаг. Структурчлагдсан өгөгдлийг боловсруулсан загварыг боловсруулсан загварууд хэзээ ч хэлбэрээр хэлбэрээр хамардаг загваруудад хамарсан зааврыг дараах болно. Tag smuggling Энэ нь үйл ажиллагаа нь эрчимтэй байж болох юм. Augustus загварууд нь интерфейсын ширээний API-ийн ширээсийг эсвэл баталгаажуулалтыг илрүүлэх боломжийг олгодог уу. Энэ нь PII-ийн олборлолыг шалгана. Энэ нь сургалтын өгөгдлийн регургитацийг шалгана. Data extraction Сав баглаа боодол нь миний дуртай нэг юм. Эдгээр нь Python, JavaScript, Ruby, Rust, Dart, Perl, болон Raku хамардаг. Тэд загварууд нь янз бүрийн үйл явцыг зориулсан багцыг санал болгож, дараа нь санал болгож буй багцыг ямар ч байгаа эсэхийг шалгахыг хүсч байна. Энэ нь чухал юм учир нь энэ нь үнэхээр хангамж цуврал хакердсан вектор юм: алдартай багцыг нэрээр хянаж, бүртгүүлэх, хөгжүүлэгчдэд хүлээж байна эсвэл гал тогооны багц. загвар нь хангамж цуврал хакердсан нь байлгах давуу талтай. pip install npm install Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. RAG poisoning нь хамгийн сүүлийн үеийн ангилал, найдвартай бол хамгийн сонирхолтой. LLMs хэрэгсэл хандахын тулд (шууруулах, код гүйцэтгэх, мэдээллийн санны асуултууд, API зочлолт), хакердсан хавтгай дөрвөлжин өргөн хүрч байна. Augustus туршилт нь олон агент манипуляцийг туршиж байна (хэвч нэг агент нь өөрсдийн үйл явцыг нөлөөлж чадна уу?), шилжих хязгаарлалт (хэвчтэй вэб агуулга нь загварыг хакердсан болно вэб хандалтанд?), болон хязгаарлагдмал инъекцийг (RAG-д боломжийг олгодог агент нь үйл явцыг үйл ажиллагаа явуулж чадна уу?). Agent attacks Хэрэглээний бүтэцтэй output. Хэрэв загварыг markdown үүсгэдэг бол хакердсан хакердсан хуудсууд илгээж чадна уу? Хэрэв энэ нь HTML үүсгэдэг бол XSS payloads боломжтой байна уу? Хэрэв доорх систем загварын output-аас YAML эсвэл JSON илгээж байгаа бол энэ илгээж ашиглаж болно? Эдгээр нь LLM output нь браузерд илгээж байгаа эсвэл бусад системд хэрэглэгддэг үед үнэхээр эрсдэл байдаг. Format exploits загварыг мэдэгдэх боломжуудыг мэдэгдэх боломжийг шалгана. ObscurePrompt нь алдартай Jailbreaks-ийг мэдэгдэж буй хэлбэрээр шинэчлэхэд LLM-ийг ашигладаг. Хэвийн өөрчлөлтийн зүрхүүд homoglyphs-ийг ашиглан ашигладаг (Хэвийн өөрчлөн харах боловч өөр өөр өөр Unicode кодыг агуулдаг), нуль ширээтэй хэлбэрүүд, хоёр тусламжтай текст маркерүүд. Эдгээр нь текст суурилсан шүүлтүүрэд бүрэн байгалийн байдаг боловч загварыг өөр өөр хэлбэрээр тайлбарладаг. Evasion techniques DoNotAnswer (941 асуултууд 5 эрсдэл газар дээр), RealToxicityPrompts, Snowball (хязгааргүй хэлбэрийн боловч фактійн алдаатай outputs), болон LMRC үр нөлөөтэй агуулгыг хайж байна. Safety benchmarks Нийт: 210+ зондын 47 атаг ангилал. Буфф системийн энэ нь үнэхээр байж болох юм Энд соронзон туршилтын талаар зүйл юм: үнэхээр хакердсан хүмүүст үнэгүй текстээр хакердсан биш юм. Тэд шифрлэдэг, хуваалцах, өөрчлөх хэлбэлзэж, хамардаг. Дэлхийн бүх шүүлтүүрээр харуулсан DAN зөвлөгөө нь парафраж, Зулу руу хуваалцсан, хаику хэлбэлзэж байгаа үед тавтай морилно уу. Август нь ямар ч зонд дамжуулан трансформацийг ашигладаг buff системтай байдаг. Үүнээс гадна, 5 ангилалтай 7 трансформаци: Base64 эсвэл символын кодыг хавтан илгээх. Фильтр үзэж байгаа, загварууд мэдэгдэж байгаа хоорондын хоорондоо шалгаж. Encoding buffs Pegasus загварыг ашиглах нь давуу талбарыг шинэчлэхэд давуу талбарыг хадгалах. Эдгээр хэлбэр нь янз бүрийн хэлбэртэй. Энэ нь аюулгүй байдлын сургалт нь тодорхой загварыг дагаж, эсвэл энэ нь мэдэгдэж байгаа алдартай давуу талбарыг харьцуулах загварууд юм. Paraphrase buffs Хаику, sonnets, limericks, free verse, эсвэл rhyming couplets гэх мэт reformat ачаалал. Би энэ нь дуртай гэж мэддэг. Гэсэн хэдий ч загварууд нь шууд хамаарах хүсэлтийг хүчтэй блокирахад заримдаа тавтай морилно уу. Би үүнийг өөрчилж үзсэн байна. Stylistic framework нь загварууд нь загварыг боловсруулах аргаар өөрчлөхыг харуулж байна. Poetry buffs Аюулгүй байдлын сургалт нь ихэвчлэн англи хэл дээр төвлөрсөн юм. Англи хэл дээр blocked хүсэл Zulu, Hmong, эсвэл Шотландын Gaelic-д амжилттай байж болно. Augustus DeepL-ийн дамжуулан сондын хэвлэх нь энэ нь шалгаж байна. Low-resource language translation зүгээр л бүх зүйлийг багасгах. Загварын зарим шүүлтүүр, ключ үгны блоклист нь тохиолдолд мэдрэгчтэй байдаг. Энэ нь дуртай. Энэ нь ажилладаг. Case transforms Та тэднийг цуглуулах боломжтой. Base64-д зонд шилжүүлэх, дараа нь энэ нь парафраз, дараа нь бага ресурсны хэл дээр хуваалцах. Layered evasion нь захиалгын ямар ч хүсэлттэй загварыг харьцуулахгүй эх сурвалжуудыг дагаж байгаа эсэхийг шалгана. augustus scan openai.OpenAI \ --probe dan.Dan \ --buff encoding.Base64 augustus scan ollama.OllamaChat \ --probe dan.Dan \ --buffs-glob "paraphrase.*,lrl.*" \ --config '{"model":"llama3.2:3b"}' 28 ханган нийлүүлэгч, нэг интерфэйс Augustus OpenAI (O1/o3 аргументийн загварууд зэрэг), Anthropic (Claude 3/3.5/4), Azure OpenAI, AWS Bedrock, Google Vertex AI, Cohere, Replicate, HuggingFace, Together AI, Groq, Mistral, Fireworks, DeepInfra, NVIDIA NIM, Ollama, LiteLLM гэх мэт холбогдсон байна. Үүнээс гадна, REST холбогч байдаг: augustus scan rest.Rest \ --probe dan.Dan \ --config '{ "uri": "https://your-api.example.com/v1/chat/completions", "headers": {"Authorization": "Bearer YOUR_KEY"}, "req_template_json_object": { "model": "your-model", "messages": [{"role": "user", "content": "$INPUT"}] }, "response_json": true, "response_json_field": "$.choices[0].message.content" }' Custom Request Templates нь байршуулагч, JSONPath хариу экстракци, SSE streaming, прокси маршрутизаци. Хэрэв таны эцсийн тоног төхөөрөмж HTTP хэлж байгаа бол Augustus энэ нь туршиж болно. $INPUT Хэвлэх нь зүгээр л шаблон харьцуулахад биш Август нь 90+ детекторуудтай байдаг. Шаблон харьцуулахад мэдэгдсэн Jailbreak индикаторуудыг олж авах. LLM-as-a-judge нь асуултууд нь үр дүнтэй гэж үзэхын тулд хоёр дахь загварыг ашигладаг. HarmJudge (arXiv:2511.15304 дээр суурилсан) MLCommons AILuminate-ийг харьцуулахад хэлбэрийн үр дүнтэй үр дүнг санал болгож байна. Perspective API токсичностиг хэмжих. PAIR болон TAP гэх мэт туршилтын атагын тулд тусгай хакердсан хөдөлгүүр нь олон туршилтын хуваалцах, кандидатаар хуваалцах, судлаач дээр суурилсан тоноглогдсон. Эдгээр нь нэг шуудангийн туршилт биш юм. Тэд олон туршилтанд тэдний аргаар сайжруулдаг адаптив хакердсан юм. Эдгээр нь бодит хакердсан үйл ажиллагаа явуулж болно. Тэд компьютерийн харьцуулахад үнэтэй байдаг (мэнх LLM-ийн туршилт нь туршилтанд) Гэхдээ тэд автоматизийн крас-Teaming-д одоогийн шинж чанарыг санал болгож байна. Би үүнийг үүсгэхийн тулд юу мэдэж байна Августусын барилга, үйлдвэрлэлийн системийн эсрэг гарын авлага нь хэд хэдэн зүйл явах: Би энэ нь чухал ач холбогдолтой алдаа юм. Аюулгүй байдлын сургалт нь ач холбогдолтой ач холбогдолтой юм. Энэ нь хязгаарлалт нь загварын загваруудыг суралцах. Аюулгүй байдлын туршилтын загварууд нь тэдний загварууд нь ач холбогдолтой нөхцөлд байлгах уу. Тэд ихэвчлэн хэзээ ч, харин бүрэн биш юм. Safety training is not security. Base64-д хязгаарлагдмал асуултыг багтааж 2026-д олон үйлдвэрлэлийн тохиргоог ажиллуулах нь байгалийн юм. Эдүүлбэрний шүүлтүүр, загвар нь нэг эх үүсвэрийг янз бүрийн хувилбар дээр ажилладаг бөгөөд энэ хязгаарлалт нь ашиглаж болно. Encoding bypasses are embarrassingly effective. Аюулгүй байдлын сургалт нь Англи хэл дээр төвлөрсөн юм. Хязгаарлалттай хэл дээрх хязгаарлалттай чанарын бууруулах үр дүнтэй, тохиромжтой байдаг. Low-resource languages are an underappreciated attack vector. загварууд хэрэгсэл хандахын тулд бүх хэрэгсэл нь хакердсан хавтгай дөрвөлжин хэсэг болгодог. Хакердсан хавтгай дөрвөлжин хавтгайтай хавтгай дөрвөлжин хавтгай дөрвөлжин хавтгай дөрвөлжин хавтгай дөрвөлжин хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай. Agent-level attacks are going to be the next big thing. Бүтээгдэхүүн нь LLM-ийг туршиж байгаа илүү хурдан ашигладаг. Модели нь хурдан тээвэрлэж байна. Аюулгүй байдлын туршилт нь ямар ч зүйл биш юм. Ямар ч энэ хязгаарлах хэрэгтэй бөгөөд энэ нь мэргэшсэн AI-ийн эвдэх багтай шаарддаггүйгээр хялбар байх ёстой. The tooling gap is real and it's getting wider. Татаж авах Augustus нь Apache 2.0 лицензтай бөгөөд одоо боломжтой. Repo: https://github.com/praetorian-inc/augustus go install github.com/praetorian-inc/augustus/cmd/augustus@latest augustus scan ollama.OllamaChat \ --all \ --config '{"model":"llama3.2:3b"}' Энэ нь 12 долоо хоногт хуваалцаж байгаа 12 хэрэгсэл эх сурвалж цуврал дахь хоёр дахь хэрэгсэл юм. Едгээр хэрэгсэл нь долоо хоногт нэг хэрэгсэл юм. Эхний нь Julius байсан, LLM-ийн даралт илрүүлэг (ямар ч загварууд нь эцсийн тоноглогдсон юм гэж нэрлэдэг). Өнгөрсөн цуврал нь AI системд хандлагатай аюулгүй байдлын хэрэгсэл багц бий болгоно. Хэрэв та өөрийн загваруудтай харьцуулахад ажиллуулахын тулд юу ч сонирхолтой зүйл олж байгаа бол, би энэ талаар мэдэж хүсэж байна. Тэгээд Хэрэв та доош харуулсангүй харуулсан харуулсан векторууд нь зондын тодорхойлолт формат, хөгжүүлэх ажлын үйл явцыг тайлбарлах CONTRIBUTING.md байна. Модели нь борлуулалт байна. Тест авах хэрэгтэй.