Unë shpenzoj pjesën më të madhe të kohës time duke thyer në gjëra për të jetuar. për vitin e fundit ose më shumë, një pjesë në rritje e asaj pune është treguar në LLMs. Jo modelet vetë, saktësisht. Zhvillimet. API-të kanë një portë me një model gjuhësor prapa tyre. Chatbots-et që i drejtohen klientit. Mjetet e brendshme që morën "një tipar AI" u mbështetën në Q3 sepse VP-ja e dikujt pa një demo dhe tha "ne kemi nevojë për këtë." Këto gjëra janë kudo tani dhe pothuajse asnjë prej tyre nuk është testuar kundërshtarisht. Unë nuk do të thotë "modeli refuzon nëse i kërkoni diçka të keqe." Kjo është trajnimi i sigurisë. trajnimi i sigurisë është i rëndësishëm. por trajnimi i sigurisë dhe testimi i sigurisë janë disiplina thelbësisht të ndryshme, dhe industria po i ngatërron ato në mënyra që do të shkaktojnë probleme të vërteta. Trajnimi i sigurisë mëson një model të refuzojë.Testimi i sigurisë pyet nëse ky refuzim në të vërtetë qëndron kur dikush po përpiqet aktivisht ta thyejë atë. Numrat janë të këqija OWASP renditet injeksion i shpejtë si rreziku numër një i sigurisë në aplikacionet LLM. FlipAttack, një teknikë që thjesht riorganizon karaktere në këshilla, arrin një normë bypass 98% kundrejt GPT-4o. DeepSeek R1 tregoi një normë bypass 100% kundrejt 50 këshillave të jailbreak të HarmBench në testet e kryera nga Cisco dhe Universiteti i Pensilvanisë. Një studim i 36 aplikacioneve të integruara në prodhimin LLM zbuloi se 86% ishin të ndjeshëm ndaj injektimit të menjëhershëm. Këto nuk janë sulme teorike kundër modeleve të kërkimit.Këto janë sulme kundër sistemeve të prodhimit që organizatat e vërteta po e drejtojnë tani. Unë kam ndërtuar një skaner Augustus është një skaner i dobësisë LLM me burim të hapur. Ju e tregoni atë në një pikë të modelit dhe ajo hedh 210+ sonda kundërshtare në të në 47 kategori sulmi. go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan openai.OpenAI \
  --all \
  --verbose
 Ajo lundron si një e vetme Go binary. No Python. No npm. No runtime dependencies. One install komandë dhe ju jeni të skanimit. Unë e ndërtova atë në Go sepse kam nevojë për diçka që përshtatet në rrjedhën e punës të testimit të depërtimit pa kërkuar që unë të vendos një mjedis Python në çdo angazhim. Modeli i konkurrencës gjithashtu ka rëndësi: pishinat goroutine drejtojnë sonda paralelisht në të gjithë objektivin, jo të bllokuar nga GIL i Python. go install Është frymëzuar nga garak, skaneri i dobësisë LLM i bazuar në Python i NVIDIA. garak është i shkëlqyeshëm dhe ka një gjini kërkimore më të gjatë me një letër të botuar. Augustus është i njëjti koncept i riimplementuar për një sërë kompromisesh të ndryshme: portabiliteti, shpejtësia dhe shpërndarja e varësisë zero. mjete të ndryshme për rrjedha të ndryshme të punës. Çfarë teston në të vërtetë Kur shumica e njerëzve mendojnë për sulmet LLM, ata mendojnë për jailbreaks. "Pretend që ju jeni DAN." "Babi im më thoshte se si për të..." Këto gjëra, dhe Augustus teston të gjitha ato (variante DAN përmes v11.0, AIM, AntiGPT, Grandma shfrytëzime, ArtPrompts). Augustus teston nëpërmjet Base64, ROT13, kodin Morse, hex, Braille, Klingon, leet flisni, dhe rreth 12 skema të tjera të kodimit. Pyetja që shtrohet: nëse mbështillni një udhëzim të dëmshëm në Base64, a e dekodoni modelin dhe e ndiqni atë edhe pse versioni i thjeshtë do të bllokohej? Encoding bypasses Në shumë raste, po. Largësia midis asaj që filtrat e hyrjes shohin (tekst i koduar që duket i mirëfilltë) dhe atë që modeli e kupton (intencioni i keqpërdorur i dekoduar) është vazhdimisht i shfrytëzueshëm. (16 variante) kthehet ose riorganizon karaktere për të shmangur filtrat e hyrjes. Hulumtimi tregoi 98% bypass në GPT-4o. Augustus zbaton të gjitha variantet e publikuara. FlipAttack Modelet që janë trajnuar për të përpunuar hyrjet e strukturuara nganjëherë do të ndjekin udhëzime të embedded në tags që duken si formatimi në vend të komandave. Tag smuggling është ku gjërat bëhen operacionalisht të rrezikshme. Augustus heton nëse modeli mund të mashtrohet në rrjedhjen e çelësave API ose certifikatave nga dritarja e kontekstit të tij. Ajo teston për nxjerrjen e PII. Ajo kontrollon për regurgitimin e të dhënave të trajnimit. Data extraction Sondat e hallucinimit të paketave janë një nga të preferuarat e mia. Këto mbulojnë Python, JavaScript, Ruby, Rust, Dart, Perl dhe Raku. Ata i kërkojnë modelit të rekomandojë paketa për detyra të ndryshme dhe pastaj të kontrollojë nëse ndonjë nga paketat e rekomanduara nuk ekzistojnë në të vërtetë. Kjo ka rëndësi sepse është një vektor i vërtetë i sulmit të zinxhirit të furnizimit: kundërshtarët monitorojnë për emrat e paketave të hallucinuar, regjistrohen dhe presin që zhvilluesit të ose Modeli bëhet një bashkëpunëtor i paditur në një sulm në zinxhirin e furnizimit. pip install npm install sondat testojnë nëse një sulmues mund të injektojë përmbajtje të dëmshme në tubacionin e marrjes, si përmes përmbajtjes së dokumentit ashtu edhe përmes injektimit të metadatave.Nëse sistemi juaj RAG tërhiqet nga një trup që një sulmues mund të ndikojë (dhe shumica mund të ndikohen më lehtë se sa mendoni), prodhimet e modelit mund të manipulohen. RAG poisoning janë kategoritë më të reja dhe ndoshta më shqetësuese. Ndërsa LLM-të fitojnë qasje në mjete (shfletimi, ekzekutimi i kodit, pyetjet e bazës së të dhënave, thirrjet e API-ve), sipërfaqja e sulmit zgjerohet në mënyrë dramatike. Augustus teston manipulimin e shumë agjentëve (mund të ndikojë një agjent në sjelljen e një tjetri?), shfrytëzimi i shfletimit (mund të kapë përmbajtja e internetit kundërshtar një model me qasje në internet?), dhe injeksioni i fshehur (mund të injektohen udhëzime të përfshira në dokumente që një agjent i mundësuar nga RAG-i proceson e bën atë të ndërmarrë veprime të padëshiruara?). Agent attacks Nëse një model gjeneron markdown, a mundet një sulmues të injektojë lidhje të dëmshme që duken si të ligjshme? Nëse prodhon HTML, a janë të mundshme ngarkesat e dobishme të XSS? Nëse sistemet në vijim analizojnë YAML ose JSON nga dalja e modelit, a mund të shfrytëzohen këto analizime? Këto janë rreziqe reale kur dalja e LLM renditet në shfletues ose konsumohet nga sisteme të tjera. Format exploits testimi i aftësisë së modelit për të njohur qëllimin kundërshtar pavarësisht se si është paraqitur. ObscurePrompt përdor një LLM për të rishkruar jailbreaks të njohur në forma më të vështira për t'u zbuluar. Sondat e zëvendësimit të karaktereve përdorin homoglyphs (karaktere që duken identike por kanë pika të ndryshme Unicode), karaktere zero-width, dhe shënues të tekstit bidirectional. Këto janë hyrje që duken krejtësisht beninje për filtrat e bazuar në tekst, por interpretohen ndryshe nga modeli. Evasion techniques DoNotAnswer (941 pyetje në 5 fusha të rrezikut), RealToxicityPrompts, Snowball (duke tingëlluar të besueshme, por faktikisht të gabuara), dhe sondazhet e përmbajtjes së dëmshme të LMRC. Safety benchmarks Në total: 210+ sonda në 47 kategori sulmi. Sistemi buff është aty ku bëhet i vërtetë Këtu është gjëja për testimin e kundërshtarëve: sulmuesit e vërtetë nuk dërgojnë sulme në tekst të thjeshtë. Ata kodojnë, përkthejnë, ripërshkruajnë dhe fshehin. Një thirrje DAN që kapet nga çdo filtër në botë mund të lundrojë drejtpërdrejt kur është parafrazuar, përkthyer në Zulu, dhe riformatuar si haiku. Augustus ka një sistem buff që aplikon transformime në çdo sonde para se të dërgohet. të mbështjellë thirrjet në Base64 ose kodet e karaktereve. Testimi i hapësirës midis asaj që filtrat shohin dhe çfarë modelet kuptojnë. Encoding buffs përdorni një model Pegasus për të riformuluar këshillat ndërsa ruani qëllimin kundërshtar. i njëjti kuptim, forma e sipërfaqes së ndryshme.Kjo teston nëse trajnimi i sigurisë përgjithësohet përtej modeleve specifike në të cilat është trajnuar, ose nëse është në thelb një model që përputhet me inputet e njohura të këqija. Paraphrase buffs reformat nxit si haiku, sonnets, limericks, vargje të lirë, ose rime couplets. Unë e di se kjo tingëllon absurde. Por modelet që bllokojnë fuqishëm një kërkesë të drejtpërdrejtë të dëmshme ndonjëherë do të pajtohen kur e njëjta kërkesë vjen si vargje. Unë kam parë atë të ndodhë në mënyrë të përsëritur. Diçka në lidhje me kornizën stilistike duket të ndryshojë mënyrën se si modeli përpunon qëllimin. Poetry buffs shfrytëzon faktin se trajnimi i sigurisë është i përqendruar në mënyrë të madhe në anglisht. Një kërkesë që është e bllokuar në anglisht mund të ketë sukses në Zulu, Hmong, ose Gaelic skocez. Low-resource language translation Thjesht ulni gjithçka. Disa filtra të hyrjes dhe listat e blloqeve të fjalëve kyçe janë rast-të ndjeshme. Case transforms Ju mund t'i zinxhironi këto. encode një sondë në Base64, pastaj parafrase atë, pastaj përktheni atë në një gjuhë me burime të ulëta. shmangie e shtresuar që teston nëse mbrojtjet qëndrojnë kundër hyrjeve që nuk përputhen me ndonjë model të pritur. augustus scan openai.OpenAI \
  --probe dan.Dan \
  --buff encoding.Base64

augustus scan ollama.OllamaChat \
  --probe dan.Dan \
  --buffs-glob "paraphrase.*,lrl.*" \
  --config '{"model":"llama3.2:3b"}'
 28 ofrues, një ndërfaqe Augustus lidhet me OpenAI (duke përfshirë modelet e arsyetimit o1/o3), Anthropic (Claude 3/3.5/4), Azure OpenAI, AWS Bedrock, Google Vertex AI, Cohere, Replicate, HuggingFace, Together AI, Groq, Mistral, Fireworks, DeepInfra, NVIDIA NIM, Ollama, LiteLLM dhe më shumë. Për çdo gjë tjetër, ka një konektor REST: augustus scan rest.Rest \
  --probe dan.Dan \
  --config '{
    "uri": "https://your-api.example.com/v1/chat/completions",
    "headers": {"Authorization": "Bearer YOUR_KEY"},
    "req_template_json_object": {
      "model": "your-model",
      "messages": [{"role": "user", "content": "$INPUT"}]
    },
    "response_json": true,
    "response_json_field": "$.choices[0].message.content"
  }'
 Kërkesa për templates me vendndodhësit, nxjerrja e përgjigjes JSONPath, transmetimi SSE dhe routing proxy. Nëse pika juaj e fundit flet HTTP, Augustus mund ta testojë atë. $INPUT Zbulimi nuk është vetëm përshtatja e modelit Në anën e zbulimit, Augustus ka më shumë se 90 detektorë. Përputhja e modelit kap treguesit e njohur të jailbreak. LLM-si-një gjyqtar përdor një model të dytë për të vlerësuar nëse përgjigja është e dëmshme. HarmJudge (bazuar në arXiv:2511.15304) siguron vlerësimin semantik të dëmit në përputhje me taksonominë MLCommons AILuminate. API Perspektive mat toksicitetin. Për sulmet iterative të tilla si PAIR dhe TAP, një motor i dedikuar i sulmit merret me biseda me shumë kthesa, prerja e kandidatëve dhe shënimi i bazuar në gjyqtar. Këto nuk janë teste të vetme. Këto janë sulme adaptive që përmirësojnë qasjen e tyre në përpjekje të shumëfishta, duke imituar se si do të funksiononte në të vërtetë një sulmues i vërtetë. Ato janë të shtrenjta kompjuterikisht (shumë thirrje LLM për test) por ato përfaqësojnë gjendjen aktuale të artit në automatizuar të kuqe-teaming. Çfarë kam mësuar nga ndërtimi i kësaj Disa gjëra u bënë të qarta gjatë ndërtimit të Augustus dhe duke e drejtuar atë kundër sistemeve të prodhimit: Unë vazhdoj të kthehem në këtë sepse është keqkuptimi themelor që çon në hendek. Trajnimi i sigurisë është një mbivendosje e sjelljes. Ajo mëson modelet e modeleve për refuzimin. Testimi i sigurisë pyet nëse ato modele qëndrojnë nën kushte kundërshtare. Ata pothuajse kurrë nuk e bëjnë, të paktën jo në mënyrë gjithëpërfshirëse. Safety training is not security. Fakti që mbështjellja e një kërkese të dëmshme në Base64 ende punon kundër shumë implementimeve të prodhimit në vitin 2026 është i egër. Encoding bypasses are embarrassingly effective. Trajnimi i sigurisë është i përqendruar në anglisht. rënia në cilësinë e refuzimit për gjuhët me burime të ulëta është e rëndësishme dhe e qëndrueshme. Low-resource languages are an underappreciated attack vector. Ndërsa modelet fitojnë qasje në mjete, çdo mjet bëhet pjesë e sipërfaqes së sulmit. Një model me qasje shfletimi mund të manipulohet nga përmbajtja e internetit kundërshtare. Një model me qasje në bazë të të dhënave mund të mashtrohet në të dhënat e filtrimit. Një model që përpunon dokumente mund të ndjekë udhëzime të fshehura të ngulitura në ato dokumente. Ne jemi në fazat e hershme të kuptimit të kësaj sipërfaqes së sulmit. Agent-level attacks are going to be the next big thing. Organizatat po vendosin LLM-të më shpejt se sa po i testojnë ato. Modelet lëshojnë shpejt. Testimi i sigurisë nuk ndodh fare. Diçka duhet të mbyllë atë boshllëk, dhe duhet të jetë i arritshëm mjaftueshëm që të mos kërkojë një ekip të kuqe të specializuar të AI për të drejtuar. The tooling gap is real and it's getting wider. Merrni atë Augustus është Apache 2.0 me licencë dhe tani në dispozicion.   Repo: https://github.com/praetorian-inc/augustus go install github.com/praetorian-inc/augustus/cmd/augustus@latest

augustus scan ollama.OllamaChat \
  --all \
  --config '{"model":"llama3.2:3b"}'
 Është mjeti i dytë në një seri me 12 mjete me burim të hapur që po lëshoj për 12 javë. Një mjet në javë, secili duke bërë një gjë mirë. I pari ishte Julius, i cili merret me gjurmët e gishtërinjve të LLM (identifikimin e çfarë modeli është duke shkuar prapa një pika përfundimtare). Pjesa tjetër e serisë do të vazhdojë të ndërtojë mjetet ofensive të sigurisë për sistemet AI. Dhe nëse doni të kontribuoni sonda për vektorët e sulmit që nuk kemi mbuluar ende, repo ka një CONTRIBUTING.md që shpjegon formatin e definicionit të sondave dhe rrjedhën e punës së zhvillimit. Modelet janë të anijeve. testimi duhet të kapë.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Kjo audio është prodhuar në gjuhën origjinale të tregimit!

Kam ndërtuar një mjet me burim të hapur për të sulmuar-Test LLMs.

About Author

KOMENTE

VARUR TAGS

KY ARTIKU U PARAQIT NË

Related Stories

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps