Энэ жил, технологийн чиглэлээр, Agentic AI-ийн өсөлтийн дараа эхэлсэн. 2026-д хоёр долоо хоногийн дотор AI-ийн асуултууд нь одоо байна. , тэдний хүчин чадал, аж ахуйн нэгжэд тэдний ашиг. Агентүүдийн хооронд Үнэндээ, шинжлэх ухааны киноны үзэсгэлэн, илүү прозаик асуултуудын багц үзнэ үү. Хэдийгээр зарим нэг гэж нэрлэдэг: машинд үйл ажиллагаа явуулж буй удирдлаганы эрсдэл, хүний ажиллагаанд нөлөө, хэрэгцээг нэмэгдүүлэх . hijacked by AI agents Crustafarian Христийн human control and oversight Би технологийн хайпын ямар ч хэлбэрээр аллергич байгаа тул би хамгийн сүүлийн үеийн Христийн Үйлчлүүлэгчдэд планетуйг олж авахыг харахыг харж чадахгүй. Гэхдээ компаниуд нь AI-ийн ажилтнуудад үйл явцыг optimize хийх боломжийг хайж байна. Эдгээр шийдлүүдтэй нэмэгдэж буй сонирхол Agentic AI-ийн удирдлагын хүрээлэнгийн харуулахад баталгаажуулдаг. Тэдний хоёр удаа үзнэ үү. Сингапур нь Agentic AI-ийн удирдлагын эхний шагнал Аравдугаар сарын 2026, Сингапур дахь Infocomm Media Development Authority (“IMDA”) нь Эхлээд, (зөөлөн) бүтэц нь агентдын "зөөлөн өгөгдлийг хангах, тэдний байгаль орчинд өөрчлөлтийг хийх чадвар" нь шингэн шинэ ризик профиль бий болгодог. Түүнээс гадна, арилжааны арилжааны үйл ажиллагаа явуулж, эсвэл хувийн мэдээллийг агуулсан өгөгдлийн бааздыг өөрчлөх боломжтой бөгөөд энэ боломжийг багасгах боломжгүй юм. Agentic AI governance framework risk of outcomes becoming more unpredictable Аж үйлдвэрийн AI Governance Framework Сингапур-ийн загвар нь удирдлагын шинэчлэх тухай биш, гэхдээ Жишээ нь, байнгын байдал, транспарентын принципы нь хэзээ ч илүү хэрэглэдэг. Энэ нь хүнсний ач холбогдол, хүнсний хяналт, хяналт, AI-ийн амьдралын цикл хооронд байнгын хэрэглэнэ. adapting AI considerations and translating them for agents Agentic AI risks Сингапур-ийн бүтэц нь Agentic AI-ийн эрсдэл нь маш их өөр биш юм гэж мэддэг LLM-тэй холбоотой эрсдэл (SQL болон prompt injection, халюцинац, байлгах, өгөгдлийн хязгаарлалт гэх мэт) : Агент нь үйл явцыг гүйцэтгэх талаар л төлөвлөгөөг хийх, эсвэл дараагийн этапед үйл явцыг гүйцэтгэх үед, ямар ч байдаггүй хэрэгсэл гэж нэрлэдэг, эсвэл тэднийг хатуу хэлбэрээр нэрлэдэг. Традицийн the way they manifest themselves Ангилаачид өөр өөрсдийн холбоотой байх үед эрсдэл илүү их байдаг. Нэг агентын алдаа нь cascading нөлөө үүсгэх болно, Хэрэв Түүнээс дээш хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэл wrong output is passed on to other agents Модел нь 5 ключ, потенциалтай : harmful categories of risks Үнэгүй үйл ажиллагаа. Үнэгүй үйл ажиллагаа нь IT-ийн үйл явцыг хүний үйлчлүүлэгчдэд түлхүүрж чадна. Үнэгүй үйл ажиллагаа нь системийн компромис үүсгэдэг. Хязгааргүй үйл ажиллагаа. Эдгээр эрсдэл нь үйл ажиллагаа явуулж байгаа агент нь түүний зөвшөөрөгдсөн хүрээээс гадна байх болно. Хэвийн AI, ялангуяа бинарний ангилалны загварууд нь ихэвчлэн асуудал юм. Эдгээр нь хатуу үйл явцыг мэддэг. Эдгээр хэлбэр нь хатуу үйл явцыг мэддэг. Data breaches. A classic scenario is where agents may be disclosing sensitive information inadvertently, without recognizing it as sensitive, or a security breach by malicious actors who gain access to private information through agents. Тавтай морилно уу. Энэ эрсдэл нь бусад системийн хамтран ажилладаг агентлын алдааны үйл явцыг хуваалцаж, мэдээлэл, үйл явцыг хамардаг (жишээ нь, үйлдвэрлэлийн код суурилуулахад алдаатай). Governance model IMDA-ийн Агент AI-ийн удирдлагын загвар нь 4 хавтгай дээр суурилсан. 1. Assessing risks upfront Үүнээс гадна, энэ үйл явдал нь Ажлын агент, болон . determining risks and use cases designing a risk control system хэрэглээний тохиолдолд тодорхойлохын тулд төвөгтэй нь эрчим хүчний тодорхойлолт юм. Нөхцөл (Risk Management Music to My Ears...) болон хязгаарлагч загвар. загвар нь AI-ийн ажилтнууд (хязгаарлагч газар, хязгаарлагдмал өгөгдөл, гадаргуу болон гарын авлага систем, агентлын үйл явдлын өргөн хүрээ, хаалттай) болон чадварыг (хязгаарлагч автономийн түвшин, үйл явдлын цуглуулгын түвшин) нөлөөтэй шинж чанарыг илрүүлдэг. IMDA-ийн үзүүлэлтээр, хязгаарлагч загвар нь хязгаарлагч шинж чанарыг нэмэлт юм. Өнгөрсөн эрсдэл нь мэдрэмжийн токсикоз, хэрэгсэл хэрэглээ, онцлог компромис байж болно. impact likelihood potential external attack scenarios Дараагийн логик үйл явц нь агентлын хязгаарлалт, зөвшөөрөл тодорхойлох юм. Энэ нь хэрэгсэл, системийг хангахын тулд агентлын хязгаарлалт, тэдний автономийн түвшин, нөлөө газар (жишээ нь, хязгаарлагдмал сүлжээний болон өгөгдлийн хангамжтай "саяхан суурилуулсан орчинд" агенттыг суулгах, ялангуяа кодыг гүйцэтгэх зэрэг өндөр ризиктай үйл ажиллагаа явуулж байгаа үед). Агентүүдийн хязгаарлалт менежмент, хангамжийн хяналтын асуудал нь илүү хязгаарлалттай байдаг. . a mix of traditional identity access and human supervision is required 2. Making humans truly accountable Хоёр дахь хавтгайны асуудал организацийн дотор болон гадна, энэ нь IMDA-ийн үндсэн суурилуулалт нь организациуд, жинхэнэ хүмүүс тэдний агентлын үйл явдлын талаар анхааралтай байх ёстой. establishing clear responsibilities meaningful human oversight Ажлын дагуу, хариултууд тодорхойлох ёстой: a) Ажлын өндөр түвшний зорилго, хязгаарлалт, ерөнхий удирдлагын талаархи талаархи талаархи тодорхойлолт; b) , агентлын шаардлага, загвар, хяналтын, аюулгүй гүйцэтгэлийн, хяналтын тодорхойлох агуулсан; c) , Барилгын аюулгүй байдлын хавтан, аюулгүй байдлын туршилтын үйл явцыг бий болгох зэрэг; d) Ажлын үйлчлүүлэгчид нь, жишээ нь, загварын хөгжүүлэгчид, агенттын AI ханган нийлүүлэгчид зэрэг байж болох бөгөөд тэдний хувьд аж ахуйн нэгж нь ягаан тусламжтай асуултуудтай байх ёстой. key decision makers product teams cybersecurity team users Үнэлгээтэй хүний хяналтын загвар хийх нь гурван арга хэмжээтэй байдаг. Эх, компаниуд , гэх мэт өндөр бооцооны эсвэл хязгаарлагдмал үйл ажиллагаа (хязгаарлагдмал өгөгдлийн редактийг эсвэл өгөгдлийн үргэлжлүүлэн илрүүлэх), эсвэл зөөлөн, атипик үйл ажиллагаа (хэвчүүд тэдний хүрээээс гадна үйл ажиллагаа явуулдаг). Дараа нь, тэд , Жишээ нь, хүнс шинж чанарыг идентичлэх, хүний хяналтын үйл явцыг тогтмол хянахад сургаж. Эцэст нь, тэд автоматжуулалт хийх ёстой. . define action boundaries requiring human approval continued effectiveness of human oversight real-time alert monitoring 3. Implementing technical and control processes Өнгөрсөн дээр LLM-тэй холбоотой техникийн хяналт, гурван хавтгай нь амьдралын цикл хооронд Agentic AI-ийн шинэчлэлд шаардлагатай шинэ хяналт нэмж зөвлөж байна. Традицийн Жишээ нь, аж ахуйн нэгжүүд нь строгой урьдчилан сэргийлэх хяналт хийх ёстой Бүтээгдэхүүний талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаар AI, агенттыг байнгын хянаж, дараах зайлсхийхыг туршиж байх ёстой. Энэ үйл ажиллагаа нь эрсдэлгүй байх болно. Нөхцөл . using test agents Традицийн agents work at speed companies may struggle to keep up 4. Enabling end-user responsibility Өнгөрсөн, эцсийн хэрэглэгчид - энэ нь AI-ийн агенттыг ашиглах, хэрэглэдэг хүмүүст - анхааралтай болгохын тулд компаниуд: (Информацийн агентлын хүчин чадал, хязгаарлалт) болон (Хэрэглэгчийн хэрэглэгчдийн зөв хэрэглээг, үйлчлүүлэгчдийн хяналтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаархи сургалтын талаар transparency education UC Berkeley’s Agentic AI framework UC Berkeley-ийн агенттын AI бүтэц Арванхоёрдугаар сарын 2026, нэг баг UC Berkeley-ийн Long-Term Cybersecurity төв нь Risk Framework нь . IMDA-ийг харьцуулахад харьцуулагддаг. Агентүүдээр өгдөг буй эрсдэл нэмэгдэж байгаа бөгөөд энэ нь "хэвчлэхийн тулд хязгаарлагдмал зорилго, зөвшөөрөлгүй чадварын эскалаци, ресурсны худалдан авах, болон бусад үйл явдал, гэх мэт авто-репликац, эсвэл шуудангийн эсрэг". Эдгээр "Хэвийн, загварын төвөгтэй ризик менежментийн арга замыг цуглуулах, систем түвшин удирдлагын шаардлага". судалгааны Agentic AI Risk-Management Стандарт Profile broadly reflecting NIST AI Risk Management Framework (AI RMF) unique challenges UC Berkeley-ийн бүтэц нь ялангуяа Гэсэн хэдий ч, авторууд хэлж, энэ нь политикчдын болон регулирууд "аж үйлдлийн AI системүүд нь тэргүүлэх ризик менежментийн үйл явцыг харьцуулахад боловсруулсан, үнэлгээсэн, ашиглаж байгаа эсэх" ашиглаж болно. single- or multi-agentic AI systems developers and deployers Agentic AI risks IDMA-г харьцуулахад, харьцуулалт нь илүү өргөн ризик: Дискриминацийн болон токсикоз, жижиглэнгийн хоолой, ягаан туяаны агуулгыг хуваалцах, агентлын хандах, чанарын, чанарын янз бүрийн харьцуулалт. Зохиогчийн эрх, аюулгүй байдал, хувийн эсвэл хязгаарлагдмал өгөгдлийн хязгаарлагдмал хуваалцах, өгөгдлийн хязгаарлагдмал байдал, үр дүнтэй харьцуулалтгүй үр дүнг зэрэг. Хязгаарлалт, ялангуяа халюцинац, нэг агент нь хязгаарлалт олборлолт бусад агентд ашиглаж байгаа үед. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Эрэгтэй-компьютерийн интеракци, гэх мэт эрэгтэй хяналт багассан, нийгмийн итгэмжлэгдсэн үйл ажиллагаа, хэрэглэгчдийн мэдрэмж, агентлын үйл явцыг асуултуулах хэцүү байдаг. Хэрэглээний хяналтын хатуу, хяналтын суулгах, хурдан гүйцэтгэлийн хяналтын болон хариултын хатуу, шуудангийн механизмыг багасгах үйл ажиллагаа. Социо-экологийн болон байгаль орчинд үр нөлөө, агенттын хүчин чадалтай хандах байгаль орчинд байгаль орчинд, колектив ажилтнуулалт, томъёо эдийн засгийн болон байгаль орчинд нөлөө. AI системийн аюулгүй байдал, алдаа, хязгаарлалт, автономын репликаци, алдаа, илрүүлэх, тайлан, зорилготой төлөвлөгөө, бодит дэлхий даяар нөлөө, хязгаарлагдмал хүний хяналт зэрэг. Focus on human control IMDA гэх мэт, UC Berkeley-ийн стандарт нь ихэвчлэн Үүнээс гадна: enhance human oversight Хүний хяналтын болон ач холбогдолтой байдал (ямар чансаалтууд, ач холбогдолтой тодорхойлолт, интервенцийн хяналтын тоног төхөөрөмж, эскалацийн хоорондын механизмыг агуулсан) Системийн түвшний ризик үнэлгээ (осолтгүй олон агентын интеракци, тоног төхөөрөмжийн хэрэглээ, байгаль орчны хандалтанд ашигтай) Өнгөрсөн хяналтын болон дараах суурилуулалтын хяналт (агент ач холбогдол нь цаг хугацаа, контекст хооронд боловсруулсан байж болно) Аюулгүй байдал, хадгалах (агентүүд нь одоогийн үнэлгээний техникийн хязгаарлалт нь итгэмжлэгдсэн биш юм) Үзүүлэлт, документын (системны хязгаарлалт, хязгаарлалт, ризик арилжааны шийдэл нь сонирхолтой хүмүүст явах) Зохиогчийн эрх © Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. , энэ нь "организацийн болон юрисдикцийг хооронд зөвлөгөөг хармонизац боломжийг хязгаарладаг". Дараа нь, bкомплекс олон системийн үйл ажиллагаа, нэмэгдсэн автономийг хүчтэй хүний хяналтыг хангахын тулд хязгаарлагдмал байдаг. Эцэст нь, олон эрчим хүчний метрик нь бага боловсруулсан байна, ялангуяа "хүргэлзүүлсэн үйл явц, илрүүлэлттэй тохиргоог, урт хугацааны шүршүүрийн талаар". widely vary and are inconsistently applied across the world Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан. Зохиогчийн эрх хуулиар хамгаалагдсан NIST design Үүнээс гадна, framework дизайн Agentic AI-ийн үйл явдлыг 4 үндсэн функцийг хамардаг: Гэрэлтүүлэг, Map, Measure, and Manage. Энэ нь авторууд нь компаниудад ризик менежментийн үйл явцыг мэддэг бүтэц дээр хэрэглэхэд тусалдаг бөгөөд энэ нь тохиромжтой бүтэц бий болгодог. . overlaps that of NIST AI RMF consistent with existing practices More Agentic AI frameworks Дэлгэрэнгүй Agentic AI Frameworks IMDA болон UC Berkeley-ийн frameworks нь сүүлийн үеийн бичсэн боловч . AI-ийн ач холбогдолтой эрсдлийг шийдэхийн тулд үйл явц, үйл явц тайлбарласан янз бүрийн бусад загваруудтай харьцуулалтууд байдаг. Үүнээс гадна тэдний 4-ийг үзнэ үү. not the only Agentic AI governance programmes to be proposed Agentsafe Арванхоёрдугаар сарын 2025 онд ирланд IBM-ийн гурван мэргэжилтнүүд А LLM дээр суурилсан агенттын систем. Ажлын tool-agnostic governance framework Үнэндээ, Agentsafe "MIT AI Risk Repository-ийг агент-специфийн эрсдлийн хувьд тохиромжтой техникийн болон албан ёсны механизмын бүтэцтэй бүтэцтэй төрөл бүрийн эрсдлийн бүтэцтэй харьцуулахад үйл ажиллагаа явуулдаг. , өндөр үр нөлөөтэй үйл ажиллагаа нь хүний хяналттай, систем, аюулгүй байдал, найдвартай байдал, системийн аюулгүй байдал агуулсан урьдчилан сэргийлэх үйл явц дээр суурилсан үнэлдэг. Зохиогчийн эрх хуулиар хамгаалагдсан. , үр дүн шинжилгээ, метрик, орнуудад ризик холбох методик санал болгож байна. constraints to risky behaviours assurance through evidence and auditability Agentsafe нь а Энэ нь байгалийн өргөтгөл АИ-ийн техникийн удирдлага нь Агентик АИ-ийн салбарт. Энэ нь нэрийн принцип дээр суурилсан (ач холбогдолтой байдал, байлгах, аюулгүй байдал), олон улсын стандартын дагуу структурын эрчим хүчний удирдлагын үйл явцыг загвартай бөгөөд Агентик АИ-ийн хоёр гол асуултуудыг шийдэх боломжийг олгодог: Нөхцөл . very promising framework Традицийн timely containment effective human oversight AAGATE Арванхоёрдугаар сарын 2025, илүү техникийн харьцуулалтаар, 11 аж ахуйн нэгжчид, судлаачид, аж үйлдвэрийн мэргэжилтнүүд санал болгож байна , "NIST AI RMF-д харьцуулагдсан Агент AI-ийн удирдлагын платформ" гэж тодорхойлогдсон. "Традицийн AppSec болон Compliance хэрэгслүүд deterministic програм хангамжийг зориулагдсан бөгөөд импровизацийн чадвартай автодирекцийн аргументийн систем биш юм." Гарын авлага Agentic AI Governance Assurance & Trust Engine (AAGATE) Үнэлгээ Эдгээр хязгаарлахын тулд, AAGATE (Govern, Map, Measure, Manage), "Бидгээр RMF функцийг зориулсан мэргэшсэн аюулгүй байдлын бүтэц, Map нь Agentic AI Threat Modeling MAESTRO бүтэц, OWASP-ийн AIVSS болон SEI-ийн SSVC-ийн SSVC-ийн гибрид, Cloud Security Alliance-ийн Agentic AI Red Teaming Guide for Manage" -ийг нэгтгэсэн. Зохиогчийн эрх хуулиар хамгаалагдсан. operationalises the above-mentioned NIST AI RMF principles Та AAGATE-ийг харьцуулахад харьцуулахад үзнэ үү . Cloud аюулгүй байдлын альянс NVIDIA’s Agentic AI risk framework Арваннэгдүгээр 2025 нь Agentic AI-ийн аюулгүй байдал, аюулгүй байдал хэвлэхэд үзсэн Эмэгтэйчүүдийн групп болон Цюрих дээр суурилсан AI компани . Framework нь , хүний хяналттай, "контекстуал эрсдлийн олборлолт, үнэлгээ, багасгахад тусалдаг". Баримтлал NVIDIA Lakera novel idea of using auxiliary AI models and agents In a nutshell, the risk framework involves four actors: Глобал Contextualized Safety Agent, бүх үйлчлүүлэгчдэд систем хооронд бодлого, ризик хязгаарлалт, эскалацийн нөхцөл байдал, бүрэн үзүүлэлт, аудиторуудтай тохируулна. Local Contextualized Attacker Агент, энэ нь тавтай морилно ууны эрсдлийг харахын тулд системийг реактив, контекст мэдэгдэж байгаа давуу талтай, харуулсан төмөр баг болгон ажилладаг. Local Contextualized Defender Агент, тогтвортой цаг хугацааны дотор хамгаалах хэрэглэдэг, хамгийн бага онцлогдсон, хэрэгсэл хэрэглээг баталгаажуулах, аюулгүйгүй үйл явцыг агуулдаг. Local Evaluator Агент, аюулгүй байдал, найдвартай байдал, хязгаарлалт хэмнэх агентлын үйл явцыг хянах, алармуудыг идэвхжүүлэхийн тулд. The framework operates in two phases: 1. Risk Discovery and Evaluation. Энэ нь сангийн хайрцагтай байгаль орчинд ажилладаг бөгөөд статик туршилтанд харьцуулахгүй шинэчлэгдсэн эрсдлийг илрүүлэх зорилготой юм. Хэвлэсэн хакердсан арилжааны хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакердсан хакерд Эдүүлбэр 2: Тавтай морилно уу, үргэлжлүүлэн хяналт. Энэ систем нь үйлдвэрлэлд энэ хяналтыг хэрэглэдэг. Систем нь хамгийн бага тохируулгатай хандалтанд хандах, тоног төхөөрөмжийн дуудлагаг баталгаажуулах, гардуулаг ашиглах, найдвартай үйл ажиллагаа явуулж байна. Судалгааны бүрэлдэхүүн хэсэг нь үргэлжлүүлэн системийн үйл явцыг урьдчилан сэргийлэх траекторийг, урьдчилан тохируулсан эрсдлийн хязгаарлалттай харьцуулах, хэрэгцээний тохиолдолд анхаарал хандах, хүн амралттай. Энэ систем нь аюулгүй байдал нь үйл явцыг өөрчлөх, өөрчлөх контекстууд, шинэчлэгдсэн эрсдлийг хангах адаптив, үргэлжлүүлэн удирдлагын үйл явц юм. Agentic Risk & Capability (ARC) Framework GovTech Сингапур-ийн AI Practice-ийн Responsible AI баг дээр бичсэн Нөхцөл , техникийн удирдлагын хөтөлбөр "Агентик AI системд аюулгүй байдал, аюулгүй байдлын эрсдлийг идентичлэх, үнэлгээх, багасгах". GitHub нь Agentic Risk & Capability (ARC) framework Үзүүлэлт нь, баг нь AI-ийн ажилтнууд гурван гол домонд ангилах чадварыг боловсруулсан чадварыг төвлөрсөн таксономийг боловсруулсан: Когнитив хүчин чадал (результац, төлөвлөгөө, суралцах, шийдэл хийх) Холбоо барих чадвар (агентүүд хэрхэн мэдэгдэх, харилцаа холбоо, байгаль орчинд эсвэл хүн орчинд нөлөөлж) Аж үйлдлийн хүчин чадал (аж үйлдлийн ажилчид аюулгүй, үр ашигтай үйл ажиллагаа явуулж байна уу) Тэд түүнчлэн шинж чанарыг тодорхой ризиктай холбох ризик жагсаалт үйлдвэрлэдэг: Component Risks (систем модулиудд хязгаарлалт эсвэл хязгаарлалт) Дизайн эрсдэл (архитектурын, логик, эсвэл шийдэл хоолой асуудал) хүчин чадалтай эрсдэл (агентын хүчин чадалтай эрсдэл, шагнал хакердах) Дараа нь бүх ризик нь тодорхой техникийн хяналтыг (гардрэйл, бодлого, хяналтын) харьцуулахын тулд харьцуулахад харьцуулагддаг. Энэ нь хяналтын баг туслахын тулд ямар ч хяналтыг хэрэглэдэг гэж үздэг. Дэлгэрэнгүй . GitHub нь Getting ahead of the singularity Singularity-ийн өмнө Бид нэн даяар байна Гэсэн хэдий ч, бидний AI-ийн ажилтнууд юу вэ гэж өөрчилсөн мэдрэмжийг - өөрсдийн хуманоидын роботүүд нь бидний сонголтуудын үед биднийг эвдэх болно - бидний анхны нь хэзээ ч эвдэх талаар анхааралтай байна. horrors of the AI singularity Одоогийн байдлаар, эдгээр эрсдэл нь иррационалтай бөгөөд зөв контекстд байрлуулах ёстой. Компани, физик хүмүүст зориулсан. Глобал гаралтын бүтэц нь Agentic AI-ийн байлгахын тулд энд байна гэж нэрлэдэг. Потенциал эрсдэл нь найдвартай байдаг, зарим үйлчлүүлэгч нь ажиллаж байна. . AI agents bringing as many benefits as potential dangers address them proactively
