Aš praleidžiu didžiąją dalį savo laiko įtraukiant dalykus į pragyvenimą.Per pastaruosius metus ar taip, vis daugiau šio darbo buvo nukreipta į LLMs. Ne patys modeliai, tiksliai. Įdiegimai. API vartai su kalbos modeliu už jų. Klientų akivaizdoje esantys pokalbių robotai. Vidiniai įrankiai, kuriems buvo suteikta „AI funkcija“, buvo įjungti 3 ketvirtį, nes kažkieno VP matė demonstravimą ir sakė „mums to reikia“. RAG vamzdynai, prijungti prie dokumentų saugyklų, pilno jautrių duomenų. Šie dalykai dabar yra visur, ir beveik nė vienas iš jų nebuvo priešingai išbandytas. Aš nekalbu apie „modelis atsisako, jei paprašysite kažko blogo.“ Tai yra saugos mokymas. Saugumo mokymas yra svarbus. Tačiau saugos mokymas ir saugos bandymai yra iš esmės skirtingos disciplinos, o pramonė juos supainioja tokiais būdais, kurie sukels realių problemų. Saugumo mokymas moko modelį atsisakyti.Saugumo testavimas klausia, ar tas atsisakymas iš tikrųjų tęsiasi, kai kažkas aktyviai bando jį sulaužyti. Skaičiai yra blogi OWASP reitinguoja greitą injekciją kaip pirmąją saugumo riziką LLM paraiškose. FlipAttack, technika, kuri paprasčiausiai perskirsto simbolius į skambučius, pasiekia 98% perdavimo koeficientą prieš GPT-4o. „DeepSeek R1“ parodė 100% perdavimo koeficientą prieš 50 „HarmBench“ jailbreak skambučių bandyme, kurį atliko „Cisco“ ir Pensilvanijos universitetas. 36 gamybos LLM integruotų programų tyrimas parodė, kad 86% buvo pažeidžiami skubios injekcijos. „PoisonedRAG“ parodė, kad tik penki kenkėjiški dokumentai milijonų korpuse gali manipuliuoti AI išėjimais 90% laiko. Tai nėra teoriniai išpuoliai prieš mokslinių tyrimų modelius; tai yra išpuoliai prieš gamybos sistemas, kurias šiuo metu vykdo realios organizacijos. Aš sukūriau skenerį Augustus yra atviro kodo LLM pažeidžiamumo skaitytuvas. Jūs nukreipiate jį į modelio galinį tašką ir jis išmeta 210+ priešininkų zondus į jį per 47 atakų kategorijas. go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan openai.OpenAI \
  --all \
  --verbose
 Jis veikia kaip vienas Go dvejetainis. Nėra Python. Nėra npm. Nėra paleidimo laiko priklausomybės. Vienas įdiegti komandą ir jūs nuskaityti. Aš jį sukūriau „Go“, nes man reikėjo kažko, kas tilptų į įsiskverbimo testavimo darbo eigą, nereikalaujant, kad kiekviename įsipareigojime sukurtų „Python“ aplinką. Konkurencijos modelis taip pat yra svarbus: goroutinų baseinai paleidžia zondus lygiagrečiai per tikslą, o ne į butelį, kurį užblokuoja Python GIL. go install Jis įkvėptas garak, NVIDIA "Python" pagrįsto LLM pažeidžiamumo skaitytuvo. garak yra puikus ir turi ilgesnį mokslinių tyrimų rodiklį su paskelbtu dokumentu. Augustus yra ta pati koncepcija, iš naujo įgyvendinta skirtingiems kompromisams: perkeliamumui, greičiui ir nulinės priklausomybės paskirstymui. Ką iš tikrųjų išbandė Kai dauguma žmonių galvoja apie LLM išpuolius, jie galvoja apie jailbreaks. "Pretend you're DAN." "Mano močiutė paprastai man pasakė, kaip..." Tie dalykai, ir Augustus išbandyti juos visus (DAN variantus per v11.0, AIM, AntiGPT, Grandma išnaudoja, ArtPrompts). Augustus testuoja per Base64, ROT13, Morse kodą, šešiasdešimt, Brailio, Klingono, leet kalbėti, ir apie 12 kitų kodavimo schemų. Paklaustas klausimas: jei apvynioti kenksmingą instrukciją į Base64, ar modelis iššifruoja jį ir sekti jį, net jei paprasto teksto versija būtų užblokuotas? Encoding bypasses Skirtumas tarp to, ką mato įvesties filtrai (koduojamas tekstas, kuris atrodo gerybinis) ir tai, ką supranta modelis (dekoduojamas kenkėjiškas ketinimas) yra nuosekliai išnaudojamas. (16 variantų) pakeičia arba iš naujo tvarko simbolius, kad išvengtų įvesties filtrų. Tyrimai parodė, kad GPT-4o 98% apeina. FlipAttack Modeliuose, kurie yra apmokyti apdoroti struktūrizuotą įvestį, kartais bus laikomasi nurodymų, įterptų į žymes, kurios atrodo kaip formatavimas, o ne komandos. Tag smuggling yra kur dalykai tampa operatyviai pavojingi. Augustus tyrinėja, ar modelis gali būti apgautas, kad iš jo konteksto lango patektų API raktus ar įgaliojimus. Jis išbandys PII gavybą. Jis tikrina mokymo duomenų regurgitaciją. Data extraction Paketo haliucinacijos zondai yra vienas iš mano mėgstamiausių. Jie apima Python, JavaScript, Ruby, Rust, Dart, Perl ir Raku. Jie prašo modelio rekomenduoti paketus įvairioms užduotims ir tada patikrinti, ar bet kuris iš rekomenduojamų paketų iš tikrųjų neegzistuoja. arba Modelis tampa nesąžiningas bendrininkas tiekimo grandinės išpuolio. pip install npm install bandymai išbandyti, ar užpuolikas gali švirkšti kenkėjišką turinį į paieškos vamzdį, tiek per dokumentų turinį, tiek per metaduomenų švirkštą.Jei jūsų RAG sistema traukia iš korpuso, kurį užpuolikas gali paveikti (ir dauguma gali būti paveikti lengviau, nei manote), modelio išėjimai gali būti manipuliuojami. RAG poisoning yra naujausia kategorija ir, ko gero, labiausiai nerimą kelianti. Kaip LLMs įgyja prieigą prie įrankių (paieškos, kodo vykdymo, duomenų bazių užklausų, API skambučių), atakos paviršius išsiplečia dramatiškai. Augustus testai multi-agent manipuliavimas (ar vienas agentas gali paveikti kito elgesį?), naršymo išnaudojimas (ar priešiškas žiniatinklio turinys gali pagrobti modelį su interneto prieiga?), ir latentinė injekcija (ar instrukcijos, įterptos į dokumentus, kad RAG įgalintas agentas procesai sukelti jį imtis nenumatytų veiksmų?). Agent attacks Jei modelis generuoja žymėjimą, ar užpuolikas gali įšvirkšti kenkėjiškas nuorodas, kurios atrodo teisėtos? Jei jis gamina HTML, ar XSS naudingosios apkrovos yra įmanomos? Jei tolesnės sistemos analizuoja YAML arba JSON iš modelio išvesties, ar tas analizavimas gali būti išnaudotas? Tai yra reali rizika, kai LLM išvestis pateikiama naršyklėse arba sunaudojama kitose sistemose. Format exploits išbandyti modelio gebėjimą atpažinti priešininkų ketinimus, neatsižvelgiant į tai, kaip jis pateikiamas. „ObscurePrompt“ naudoja LLM, kad perrašytų žinomus jailbreaks į sunkiau aptiktas formas. Ženklų pakeitimo zondai naudoja homoglifus (žymenis, kurios atrodo identiškos, bet turi skirtingus Unicode kodų taškus), nulinio pločio simbolius ir dvipusio teksto žymenis. Evasion techniques „DoNotAnswer“ (941 klausimas 5 rizikos srityse), „RealToxicityPrompts“, „Snowball“ (tikėtini skambantys, bet faktiškai neteisingi rezultatai) ir LMRC kenksmingo turinio tyrimai. Safety benchmarks Iš viso: 210+ zondų 47 atakų kategorijose. „Buff“ sistema yra ten, kur ji tampa reali Štai dalykas apie priešininkų bandymus: tikrieji užpuolikai nesiunčia išpuolių paprastu tekstu. Jie koduoja, verčia, iš naujo išreiškia ir apgaubia. DAN raginimas, kurį gauna kiekvienas filtro pasaulyje, gali plaukti tiesiai per jį, kai jis buvo parafrazuotas, išverstas į Zulu ir pertvarkytas kaip haiku. Augustus turi buff sistemą, kuri pritaiko transformacijas bet kokiam zondui prieš jį siunčiant. Base64 arba simbolių kodus.Testavimas tarp to, ką mato filtrai ir ką supranta modeliai. Encoding buffs Naudokite „Pegasus“ modelį, kad iš naujo išreikštumėte raginimus, išlaikydami priešininkų ketinimus. ta pati reikšmė, skirtinga paviršiaus forma.Tai išbandys, ar saugos mokymas apibendrina konkrečius modelius, kuriuose jis buvo apmokytas, ar tai iš esmės yra modelis, atitinkantis žinomus blogus įvedimus. Paraphrase buffs Reformatų raginimai, tokie kaip haiku, sonetai, limerikai, laisvi eilėraščiai ar rimas. Žinau, kad tai skamba absurdiškai. Bet modeliai, kurie tvirtai blokuoja tiesioginį kenksmingą prašymą, kartais atitinka, kai tas pats prašymas atvyksta kaip eilėraštis. Aš mačiau, kad tai atsitinka pakartotinai. Poetry buffs išnaudoja faktą, kad saugos mokymas yra daugiausia orientuotas į anglų kalbą. Prašymas, kuris yra užblokuotas anglų kalba, gali būti sėkmingas Zulu, Hmong ar Škotijos gailiškai. Augustus verčia zondus per DeepL, kad tai išbandytų. Low-resource language translation Kai kurie įvesties filtrai ir raktinių žodžių blokų sąrašai yra atvejo jautrūs. Case transforms Galite juos susieti su grandinėmis.Koduokite zondą „Base64“, tada parafrazuokite jį, tada išverskite jį į mažai išteklių turinčią kalbą.Sluoksniuotas vengimas, kuris išbandys, ar gynyba atsilaiko prieš įvestis, kurios neatitinka jokio numatomo modelio. augustus scan openai.OpenAI \
  --probe dan.Dan \
  --buff encoding.Base64

augustus scan ollama.OllamaChat \
  --probe dan.Dan \
  --buffs-glob "paraphrase.*,lrl.*" \
  --config '{"model":"llama3.2:3b"}'
 28 paslaugų teikėjai, viena sąsaja Augustus prisijungia prie OpenAI (įskaitant o1/o3 argumentų modelius), Anthropic (Claude 3/3.5/4), Azure OpenAI, AWS Bedrock, Google Vertex AI, Cohere, Replicate, HuggingFace, Together AI, Groq, Mistral, Fireworks, DeepInfra, NVIDIA NIM, Ollama, LiteLLM ir kt. Dėl bet kokios kitos priežasties yra REST jungtis: augustus scan rest.Rest \
  --probe dan.Dan \
  --config '{
    "uri": "https://your-api.example.com/v1/chat/completions",
    "headers": {"Authorization": "Bearer YOUR_KEY"},
    "req_template_json_object": {
      "model": "your-model",
      "messages": [{"role": "user", "content": "$INPUT"}]
    },
    "response_json": true,
    "response_json_field": "$.choices[0].message.content"
  }'
 Pritaikytos prašymų šablonai su vietos turėtojai, JSONPath atsakymo ištraukimas, SSE srautas ir proxy maršrutas. Jei jūsų galinis taškas kalba HTTP, Augustus gali jį išbandyti. $INPUT Aptikimas yra ne tik modelio suderinimas Aptikimo pusėje Augustus turi daugiau nei 90 detektorų. Pavyzdys atitinka žinomus jailbreak rodiklius. LLM-as-a-judge naudoja antrąjį modelį, kad įvertintų, ar atsakymas yra kenksmingas. HarmJudge (pagal arXiv:2511.15304) suteikia semantinės žalos vertinimą, suderintą su MLCommons AILuminate taksonomija. Perspektyva API matuoja toksiškumą. Pakartotiniams išpuoliams, tokiems kaip PAIR ir TAP, specialus atakos variklis tvarko daugkartinius pokalbius, kandidatų pjaustymą ir teisėjo pagrindu pagrįstą balų skaičiavimą. Tai nėra vienkartiniai bandymai. Jie yra adaptyvūs išpuoliai, kurie tobulina savo požiūrį per kelis bandymus, imituojant, kaip realus užpuolikas iš tikrųjų veiktų. Jie yra brangūs skaičiavimo požiūriu (daugelis LLM skambučių per testą), tačiau jie atstovauja dabartinei automatizuotos raudonos komandos technikai. Ko aš išmokau statydamas šį Keletas dalykų tapo aiškūs Augusto statybos ir jo veikimo prieš gamybos sistemas metu: Aš nuolat grįžtu prie to, nes tai yra pagrindinė klaidinga samprata, kuri skatina atotrūkį. Saugumo mokymas yra elgesio padengimas. Jis moko modelio modelius atsisakymui. Saugumo testavimas klausia, ar tie modeliai išlieka priešiškomis sąlygomis. Jie beveik niekada, bent jau ne visapusiškai. Safety training is not security. Tai, kad kenksmingo užklausos įdėjimas į „Base64“ vis dar veikia prieš daugelį 2026 m. Gamybos diegimų, yra laukinis. Encoding bypasses are embarrassingly effective. Saugos mokymas yra sutelktas į anglų kalbą. Mažos išteklių kalbos atmetimo kokybės sumažėjimas yra reikšmingas ir nuoseklus. Low-resource languages are an underappreciated attack vector. Kadangi modeliai gauna prieigą prie įrankių, kiekvienas įrankis tampa atakos paviršiaus dalimi. Modelis su naršymo prieiga gali būti manipuliuojamas priešininko žiniatinklio turiniu. Modelis su duomenų bazės prieiga gali būti apgautas į išfiltruojančius duomenis. Modelis, kuris apdoroja dokumentus, gali sekti latentinėmis instrukcijomis, įterptomis į tuos dokumentus. Agent-level attacks are going to be the next big thing. Organizacijos diegia LLM greičiau, nei jie juos išbando. Modeliai gabenami greitai. Saugumo testavimas visai neįvyksta. Kažkas turi užpildyti tą spragą, ir jis turi būti pakankamai prieinamas, kad nereikėtų specializuotos AI raudonos komandos. The tooling gap is real and it's getting wider. Gaukite jį Augustus yra Apache 2.0 licencijuota ir prieinama dabar.   Repo: https://github.com/praetorian-inc/augustus go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan ollama.OllamaChat \
  --all \
  --config '{"model":"llama3.2:3b"}'
 Tai antrasis įrankis 12 įrankių atviro kodo serijoje, kurią išleidžiu per 12 savaičių. Vienas įrankis per savaitę, kiekvienas gerai daro vieną dalyką. Pirmasis buvo Julius, kuris tvarko LLM pirštų atspaudus (nustatydamas, kuris modelis veikia už galinio taško). Ir jei norite prisidėti prie atakos vektorių, kurių mes dar neaptinkame, repas turi CONTRIBUTING.md, kuris paaiškina zondo apibrėžimo formatą ir plėtros darbo eigą. Šie modeliai yra laivybos. bandymai turi užfiksuoti.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Šis garso įrašas sukurtas originalia istorijos kalba!

Aš sukūriau atviro kodo įrankį Attack-Test LLMs.

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps