I Built a Open-Source Tool to Attack-Test LLMs. Here’s What Breaks

ខ្ញុំចំណាយពេលវេលាជាច្រើនក្នុងការបាត់បន្ថយអ្វីទៅជាការជឿទុកចិត្ត។ ក្នុងឆ្នាំចុងក្រោយឬដូច្នេះជាច្រើននៃការធ្វើការនេះត្រូវបានបង្ហាញនៅ LLMs ។ មិនមែនជាម៉ូដែលដោយខ្លួនឯងទេ។ ការដំឡើងនេះ។ ការផ្លាស់ប្តូរ API ដែលមានម៉ូដែលភាសាបន្ទាប់ពីពួកគេ។ ការ chatbots ដែលមានអារម្មណ៍លើអតិថិជន។ ឧបករណ៍ខាងក្នុងដែលបានទទួលបាន "លក្ខណៈពិសេស AI" បានផ្លាស់ប្តូរនៅក្នុង Q3 ដោយសារតែ VP របស់អ្នកណាមួយបានមើលឃើញការបង្ហាញនិងបាននិយាយថា "យើងត្រូវការនេះ" ។ ការបំពង់ RAG ដែលត្រូវបានបំពាក់ជាមួយការផ្គត់ផ្គង់ឯកសារពេញលេញនៃទិន្នន័យអស្ចារ្យ។ អ្វីទាំងនេះគឺនៅទូទាំងពិភពលោកឥឡូវនេះហើយមិនមែនជាអ្វីមួយចំនួនបានធ្វើការសាកល្បងដោយអធិប្បាយ។ ខ្ញុំមិនមែនមានន័យថា "ប្រសិនបើម៉ូដែលមិនគិតថ្លៃប្រសិនបើអ្នកចង់សួរអ្វីមួយគត់។" វាជាការបណ្តុះបណ្តាលសុវត្ថិភាព។ ការបណ្តុះបណ្តាលសុវត្ថិភាពគឺជាការសំខាន់ប៉ុន្តែការបណ្តុះបណ្តាលសុវត្ថិភាពនិងការធ្វើតេស្តសុវត្ថិភាពគឺជាការបណ្តុះបណ្តាលផ្សេងគ្នានៃមូលដ្ឋានហើយឧស្សាហកម្មកំពុងបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្ត ការបណ្តុះបណ្តាលសុវត្ថិភាពបង្រៀនម៉ូដែលដើម្បីជឿទុកចិត្ត។ ការធ្វើតេស្តសុវត្ថិភាពសួរថាការជឿទុកចិត្តនេះពិតប្រាកដមានប្រសិទ្ធិភាពនៅពេលដែលអ្នកជឿទុកចិត្តកំពុងជឿទុកចិត្ត។ ឆ្លើយតបនេះគឺមិន។ ទិន្នន័យមានលក្ខខណ្ឌ OWASP បានកំណត់ injection prompt ដូចជាអារម្មណ៍សុវត្ថិភាពជាលើកដំបូងនៅក្នុងកម្មវិធី LLM ។ ការកំណត់នេះត្រូវបានទទួលបាន។ FlipAttack គឺជាបច្ចេកទេសដែលគ្រាន់តែធ្វើឱ្យប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រ នេះមិនមែនជាការប៉ះពាល់ប្រវត្តិសាស្រ្តប្រឆាំងនឹងម៉ូដែលស្រាវជ្រាវ។ នេះគឺជាការប៉ះពាល់ប្រឆាំងនឹងប្រព័ន្ធផលិតកម្មដែលអង្គការពិតប្រាកដកំពុងដំណើរការឥឡូវនេះ។ ដូច្នេះខ្ញុំបានបង្កើត scanner Augustus គឺជាកម្មវិធីសាកល្បងលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌលក្ខខណ្ឌ go install github.com/praetorian-inc/augustus/cmd/augustus@latest augustus scan openai.OpenAI \ --all \ --verbose វាគឺជាការផ្គត់ផ្គង់ជាដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយ។ ខ្ញុំបានបង្កើតវានៅក្នុង Go ដោយសារតែខ្ញុំតម្រូវឱ្យមានអ្វីដែលអាចចូលទៅក្នុងដំណើរការសាកល្បងការដំឡើងដោយមិនតម្រូវឱ្យខ្ញុំបង្កើតបរិស្ថាន Python នៅលើការដំឡើងទាំងអស់។ ប្រព័ន្ធប្រតិបត្តិការ GOROUTINE គឺជាប្រព័ន្ធប្រតិបត្តិការ GOROUTINE ដែលមានប្រសិទ្ធភាព: Goroutine pools run probes in parallel across the target, not bottlenecked by Python's GIL ។ go install វាត្រូវបានផ្លាស់ប្តូរដោយ garak, ឧបករណ៍សាកលវិទ្យាល័យ LLM របស់ NVIDIA ដែលមានមូលដ្ឋានលើ Python ។ garak គឺល្អឥតខ្ចោះនិងមានការស្រាវជ្រាវបន្ថែមទៀតជាមួយនឹងសៀវភៅដែលបានបោះពុម្ព។ Augustus គឺជាគំនិតដូចគ្នាដែលត្រូវបានអនុវត្តសម្រាប់កំណត់ផ្សេងគ្នានៃការជួញដូរ: ការផ្លាស់ប្តូរការផ្លាស់ប្តូរការផ្លាស់ប្តូរល្បឿនលឿននិងការគិតថ្លៃ។ ឧបករណ៍ផ្សេងគ្នានេះសម្រាប់ដំណើរការការងារផ្សេងគ្នា។ អ្វីដែលវាមានការធ្វើតេស្ត នៅទីនេះវាបានក្លាយជាការអស្ចារ្យ។ នៅពេលដែលមនុស្សជាច្រើនគិតអំពីការហោះហោះហើរ LLM, ពួកគេគិតអំពី Jailbreaks ។ "គិតថាអ្នកគឺ DAN ។" "មែនរបស់ខ្ញុំបានប្រាប់ខ្ញុំអំពីរបៀបដើម្បី ..." នេះជាអ្វីដែលគួរឱ្យចាប់អារម្មណ៍ហើយ Augustus ការធ្វើតេស្តទាំងអស់របស់ពួកគេ (ប្រភេទ DAN តាមរយៈ v11.0, AIM, AntiGPT, Grandma exploits, ArtPrompts) ។ ប៉ុន្តែ Jailbreaks គឺគ្រាន់តែកម្រិតផ្ទៃ។ Augustus ការធ្វើតេស្តនៅលើ Base64, ROT13, លេខកូដ Morse, hex, Braille, Klingon, Leet Speak, និងប្រហែល 12 ប្រព័ន្ធកូដផ្សេងទៀត។ សំនួរដែលត្រូវបានគួរ: ប្រសិនបើអ្នកបង្វិលការបង្វិលមួយដែលមានសុវត្ថិភាពនៅក្នុង Base64, ម៉ូដែលនឹងបង្វិលវាត្រូវបានបង្វិលវាត្រូវបានបង្វិលវាត្រូវបានបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិល។ Encoding bypasses ក្នុងករណីជាច្រើនគឺមាន។ ការខុសគ្នានៅក្នុងរវាងអ្វីដែលឯកសារបញ្ចូលមើលឃើញ (សៀវភៅកូដដែលមើលឃើញមានគុណសម្បត្តិ) និងអ្វីដែលម៉ូដែលគួរឱ្យដឹង (គោលបំណងដែលមានគុណសម្បត្តិ) គឺអាចប្រើបានយ៉ាងទូលំទូលំទូលាយ។ នេះគឺជាផ្នែកមួយនៃបណ្តាញការជោគជ័យដែលខ្ញុំបានមើលឃើញនៅក្នុងការផលិត។ (ប្រភេទ 16) បានប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែប្រែ FlipAttack ម៉ូដែលដែលត្រូវបានបណ្តុះបណ្តាលដើម្បីដំណើរការបញ្ចូលរចនាសម្ព័ន្ធនឹងដំណើរការបញ្ចូលរចនាសម្ព័ន្ធដែលត្រូវបានបណ្តុះបណ្តាលនៅក្នុងស្លាកដែលគួរឱ្យចាប់អារម្មណ៍ដូចជាការដំណាក់តម្លៃជាងការបញ្ជា។ Tag smuggling នេះគឺជាកន្លែងដែលអ្វីបានទទួលបានសុវត្ថិភាពប្រតិបត្តិការ។ Augustus សាកល្បងប្រសិនបើម៉ូដែលអាចត្រូវបានបាត់បង់ទៅនឹងការបាត់បង់គោលបំណង API ឬវិញ្ញាបនប័ត្រពីបង្វិលគោលបំណងរបស់ខ្លួន។ វាមានការធ្វើតេស្តសម្រាប់ការបាត់បង់ PII ។ វាមានការធ្វើតេស្តសម្រាប់ការបាត់បង់ទិន្នន័យបណ្តុះបណ្តាល។ Data extraction ការស្រាវជ្រាវ hallucination នេះគឺជាផ្នែកមួយនៃការស្រាវជ្រាវគួរឱ្យចាប់អារម្មណ៍របស់ខ្ញុំ។ ការស្រាវជ្រាវទាំងនេះរួមបញ្ចូលទាំង Python, JavaScript, Ruby, Rust, Dart, Perl និង Raku ។ ពួកគេត្រូវបានអនុញ្ញាតឱ្យម៉ូដែលអនុញ្ញាតឱ្យគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍ថាគួរឱ្យចាប់អារម្មណ៍។ ឬ ម៉ូដែលនេះបានក្លាយជាមិត្តភក្តិដែលមិនគិតថ្លៃនៅក្នុងការប្រឆាំងនឹងការប្រឆាំងនឹងការប្រឆាំងនឹងរចនាសម្ព័ន្ធរចនាសម្ព័ន្ធផ្គត់ផ្គង់។ pip install npm install ការធ្វើតេស្តអំពីប្រសិនបើអ្នកជោគជ័យអាចបញ្ចូលគ្នានេះទៅក្នុងបំពង់បញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើប្រព័ន្ធ RAG របស់អ្នកបានបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកជោគជ័យអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នានេះដោយប្រសិនបើអ្នកអាចបញ្ចូលគ្នាន។ RAG poisoning នៅពេលដែល LLMs ទទួលបានការចូលទៅក្នុងឧបករណ៍ (ការទាញយកកូដការអនុវត្តទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យ API ការទាញយក) ទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យ Agent attacks ប្រសិនបើម៉ូដែលបានបង្កើតម៉ូដែលបានបង្កើតម៉ាស៊ីនបង្វិល, អ្នកអាចបង្វិលបង្វិលបង្វិលបង្វិលដែលបានធ្វើឱ្យមានភាពត្រឹមត្រូវ? ប្រសិនបើវាបានបង្កើត HTML, ការបង្វិលបង្វិល XSS គឺអាចមាន? ប្រសិនបើប្រព័ន្ធបង្វិលបង្វិល YAML ឬ JSON ពីការបង្វិលបង្វិលម៉ូដែលអាចត្រូវបានបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិល។ Format exploits ការធ្វើតេស្តនូវសមត្ថភាពនៃម៉ូដែលដើម្បីរកឃើញគោលបំណងអធិប្បាយដោយគ្មានការបង្ហាញវា។ ObscurePrompt ប្រើ LLM ដើម្បីសរសេរចម្លង Jailbreaks ដែលបានដឹងទៅជាគំរូដែលមានភាពងាយស្រួលក្នុងការរកឃើញ។ ការធ្វើតេស្តការផ្លាស់ប្តូរគំរូប្រើ homoglyphs (គំរូដែលមើលទៅដូចគ្នាប៉ុន្តែមានគំរូ Unicode ផ្សេងគ្នា) គំរូទំហំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទ Evasion techniques DoNotAnswer (941 សៀវភៅនៅលើ 5 តំបន់មានសុវត្ថិភាព), RealToxicityPrompts, Snowball (ការដោះស្រាយដែលមានលក្ខណៈពិសេសទេប៉ុន្តែមានលក្ខណៈពិសេសមិនត្រឹមត្រូវ) និង LMRC សាកលវិទ្យាល័យសាកលវិទ្យាល័យសាកលវិទ្យាល័យសាកលវិទ្យាល័យសាកលវិទ្យាល័យសាកលវិទ្យាល័យសាកលវិទ្យាល័យ។ Safety benchmarks សាកល្បង: 210+ សាកល្បងនៅលើ 47 ប្រភេទសាកល្បង។ ប្រព័ន្ធ buff គឺជាកន្លែងដែលវាត្រូវបានពិតប្រាកដ នេះគឺជាអ្វីដែលមានអំពីការធ្វើតេស្តអាក្រក់: អ្នកសាកល្បងពិតប្រាកដមិនផ្ញើការសាកល្បងនៅក្នុងសៀវភៅស្អាត។ ពួកគេបានកូដ, ប្លុក, reframe, និង obfuscate. A DAN prompt that gets caught by every filter in the world might sail right through when it has been paraphrased, translated into Zulu, and reformatted as a haiku. Augustus មានប្រព័ន្ធ buff ដែលអនុវត្តការផ្លាស់ប្តូរទៅនឹងសាកលវិទ្យាល័យណាមួយមុនពេលដែលវាត្រូវបានផ្លាស់ប្តូរ. ការធ្វើតេស្តអំពីការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូលគ្នានៃការបញ្ចូល។ Encoding buffs ការប្រើម៉ូដែល Pegasus ដើម្បីបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលបង្វិលប Paraphrase buffs ការធ្វើតេស្ត reformat ដូចជា haiku, sonnets, limericks, សៀវភៅដោយឥតគិតថ្លៃ, ឬ couplets rhyming ។ ខ្ញុំដឹងថាវាជាការគួរឱ្យចាប់អារម្មណ៍។ ប៉ុន្តែម៉ូដែលដែលកាត់បន្ថយយ៉ាងខ្លាំងការទាមទារដែលមានសុវត្ថិភាពដោយផ្ទាល់នឹងជារៀងរាល់ពេលដែលការទាមទារដូចគ្នានេះទៅជាសៀវភៅ។ ខ្ញុំនឹងមើលឃើញវាត្រូវបានធ្វើឡើងជាច្រើនដំណោះស្រាយ។ អ្វីមួយអំពីការរចនាសម្ព័ន្ធគ្នានឹងផ្លាស់ប្តូររបៀបដែលម៉ូដែលដំណើរការគោលបំណង។ Poetry buffs ការបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តាល Low-resource language translation ទោះជាយ៉ាងណាក៏ដោយវាជាការពិតណាក៏ដោយវាជាការពិតណាក៏ដោយវាជាការពិតណាក៏ដោយវាជាការពិតណាក៏ដោយវាជាការពិតណាក៏ដោយវាជាការពិតណាក៏ដោយវាជាការពិតណាក៏ដោយវាជាការពិតណាក៏។ Case transforms អ្នកអាចបណ្តុះបណ្តាលទាំងនេះ។ ការកូដសាកល្បងនៅក្នុង Base64 បន្ទាប់មកបារាំងវាហើយបន្ទាប់មកផ្លាស់ប្តូរវាទៅជាភាសាដែលមានប្រសិទ្ធិភាពទាប។ ការបណ្តុះបណ្តាលបណ្តុះបណ្តាលដែលធ្វើតេស្តថាមានការពារប្រឆាំងនឹងការបណ្តុះបណ្តាលដែលមិនសមរម្យជាមួយគំរូដែលគិតថ្លៃណាមួយ។ augustus scan openai.OpenAI \ --probe dan.Dan \ --buff encoding.Base64 augustus scan ollama.OllamaChat \ --probe dan.Dan \ --buffs-glob "paraphrase.*,lrl.*" \ --config '{"model":"llama3.2:3b"}' 28 អ្នកផ្គត់ផ្គង់, One Interface Augustus បានបណ្តាញជាមួយ OpenAI (រួមបញ្ចូលទាំងម៉ូដែលដំណោះស្រាយ o1/o3), Anthropic (Claude 3/3.5/4), Azure OpenAI, AWS Bedrock, Google Vertex AI, Cohere, Replicate, HuggingFace, Together AI, Groq, Mistral, Fireworks, DeepInfra, NVIDIA NIM, Ollama, LiteLLM និងច្រើនទៀត។ សម្រាប់អ្វីគ្រប់យ៉ាងផ្សេងទៀត, there is a REST connector: augustus scan rest.Rest \ --probe dan.Dan \ --config '{ "uri": "https://your-api.example.com/v1/chat/completions", "headers": {"Authorization": "Bearer YOUR_KEY"}, "req_template_json_object": { "model": "your-model", "messages": [{"role": "user", "content": "$INPUT"}] }, "response_json": true, "response_json_field": "$.choices[0].message.content" }' គោលបំណង Custom Request Templates with ទាញយក JSONPath Response Extraction, SSE Streaming និង proxy Routing ។ ប្រសិនបើអ៊ីនធឺណិតរបស់អ្នកគឺជា HTTP, Augustus អាចធ្វើតេស្តវា។ $INPUT ការរកឃើញគឺមិនមែនគ្រាន់តែជាការជួបប្រជុំគំរូ នៅលើផ្នែកមួយនៃការរកឃើញ Augustus មាន 90+ ម៉ែត្រការរកឃើញ។ ការបញ្ចូលគ្នានៃគំរូទទួលបានវិញ្ញាបនប័ត្រ Jailbreak ដែលបានដឹង។ LLM-as-a-judge បានប្រើម៉ូដែលទីពីរដើម្បីវិញ្ញាបនប័ត្រអំពីប្រសិនបើការឆ្លើយតបគឺមានប្រសិទ្ធិភាព។ HarmJudge (បើយោងតាម arXiv:2511.15304) ផ្តល់នូវការវិញ្ញាបនប័ត្រប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមានប្រសិនបើមាន សម្រាប់ការហោះហើរប្រហែលជា PAIR និង TAP, ម៉ាស៊ីនហោះហើរដែលមានជំនាញវិជ្ជាជីវៈគ្រប់គ្រងការហោះហើរប្រហែលជាច្រើន, ការកាត់ប្រហែលនិងការកាត់ប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែល អ្វីដែលខ្ញុំបានរៀនពីការបង្កើតនេះ មួយចំនួននៃអ្វីដែលបានបង្ហាញនៅក្នុងដំណើរការនៃការបង្កើត Augustus និងដំណើរការវាទៅនឹងប្រព័ន្ធផលិតកម្ម: ខ្ញុំនឹងជួបប្រទះនេះដោយសារតែវាគឺជាការគួរឱ្យចាប់អារម្មណ៍សំខាន់ដែលធ្វើឱ្យការបិទ។ ការបណ្តុះបណ្តាលសុវត្ថិភាពគឺជាការបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះ Safety training is not security. ទោះជាយ៉ាងណាក៏ដោយការដោះស្រាយសំណួរដែលមានសុវត្ថិភាពនៅក្នុង Base64 មិនអាចធ្វើបានប្រឆាំងនឹងការដោះស្រាយផលិតកម្មជាច្រើននៅឆ្នាំ 2026 គឺស្រស់ស្អាត។ កុំព្យូទ័រ input និងម៉ូដែលខ្លួនឯងកំពុងធ្វើការនៅលើការបង្ហាញផ្សេងគ្នានៃការដោះស្រាយដូចគ្នាហើយវាអាចប្រើបាន។ Encoding bypasses are embarrassingly effective. វគ្គបណ្តុះបណ្តាលសុវត្ថិភាពត្រូវបានផ្តោតលើអង់គ្លេស។ ការកាត់បន្ថយនៅក្នុងគុណភាពការឆ្លងកាត់សម្រាប់ភាសាមានប្រសិទ្ធិភាពទាបគឺមានប្រសិទ្ធិភាពនិងមានប្រសិទ្ធិភាព។ Low-resource languages are an underappreciated attack vector. នៅពេលដែលម៉ូដែលទទួលបានការចូលទៅក្នុងឧបករណ៍, ឧបករណ៍ទាំងអស់នឹងក្លាយជាផ្នែកមួយនៃផ្ទៃការសាកល្បង។ ម៉ូដែលដែលមានការចូលទៅក្នុងការសាកល្បងអាចត្រូវបានដំណើរការដោយគំនិតបណ្តាញអនុម័ត។ ម៉ូដែលដែលមានការចូលទៅក្នុងទិន្នន័យទិន្នន័យអាចត្រូវបានបាត់បង់ទៅក្នុងការបាត់បង់ទិន្នន័យ។ ម៉ូដែលដែលដំណើរការឯកសារអាចតាមបំណងបង្វិលដែលត្រូវបានដំឡើងនៅក្នុងឯកសារនេះ។ យើងមានការចាប់ផ្តើមយ៉ាងខ្លាំងនៃការយល់ដឹងអំពីផ្ទៃការសាកល្បងនេះ។ Agent-level attacks are going to be the next big thing. សាជីវកម្មកំពុងដំឡើង LLMs លឿនជាងពួកគេធ្វើការធ្វើតេស្ត។ ម៉ូដែលបានដឹកជញ្ជូនយ៉ាងឆាប់រហ័ស។ ការធ្វើតេស្តសុវត្ថិភាពមិនកើតឡើងទេ។ អ្វីដែលត្រូវការដើម្បីកាត់បន្ថយការបញ្ហានេះហើយវាមានតម្រូវការដើម្បីទទួលបានអត្ថប្រយោជន៍យ៉ាងខ្លាំងណាស់ដែលមិនចាំបាច់មានក្រុមប្រឹក្សាភិបាលកាត់បន្ថយ AI ដែលមានជំនាញវិជ្ជាជីវៈ។ The tooling gap is real and it's getting wider. ទទួលបាន Augustus គឺជា Apache 2.0 ដែលត្រូវបានអនុញ្ញាតនិងអាចរកបានឥឡូវនេះ។ Repo: https://github.com/praetorian-inc/augustus go install github.com/praetorian-inc/augustus/cmd/augustus@latest augustus scan ollama.OllamaChat \ --all \ --config '{"model":"llama3.2:3b"}' វាគឺជាឧបករណ៍ទីពីរនៅក្នុងប្រភេទឧបករណ៍ 12 ដែលខ្ញុំបានចេញផ្សាយនៅលើ 12 សប្តាហ៍។ ឧបករណ៍មួយក្នុងមួយសប្តាហ៍, ទាំងអស់ធ្វើអ្វីមួយយ៉ាងល្អ។ ជាដំបូងគឺ Julius ដែលគ្រប់គ្រងការដោះស្រាយឧបករណ៍អេក្រង់ LLM (ការរកឃើញម៉ូដែលដែលដំណើរការបន្ទាប់ពីបញ្ចប់) ។ ការផ្លាស់ប្តូរនៃប្រភេទនេះនឹងបន្តបង្កើតឧបករណ៍សុវត្ថិភាពដែលមានប្រសិទ្ធិភាពសម្រាប់ប្រព័ន្ធ AI ។ ប្រសិនបើអ្នកចង់ធ្វើការជាមួយម៉ូដែលរបស់អ្នកនិងរកឃើញអ្វីដែលមានអារម្មណ៍, ខ្ញុំចង់ដឹងអំពីវា។ ហើយប្រសិនបើអ្នកចង់ផ្ដល់នូវការសាកល្បងសម្រាប់បណ្តុះបណ្តាលការសាកល្បងដែលយើងមិនបានបណ្តុះបណ្តាលប៉ុណ្ណោះ, repo មាន CONTRIBUTING.md ដែលពន្យល់អំពីទម្រង់សាកល្បងនិងដំណើរការការអភិវឌ្ឍន៍។ ម៉ូដែលមានការដឹកជញ្ជូន។ ការធ្វើតេស្តគួរតែចាប់ផ្តើម។