اس سال، ٹیکنالوجی میں، ایجنٹک AI کی آمد کے ساتھ شروع ہوا. 2026 میں دو ماہ سے کم، AI بحث پہلے سے ہی ہو چکی ہے. ان کی صلاحیتوں، اور کاروباری اداروں کے لئے ان کے فوائد. رات بھر اور سائنسی فائنل سکرینز، ایک زیادہ پروزاک سوالات کی ایک سیٹ پیدا ہوتا ہے. صرف چند نام کرنے کے لئے: حکومتی خطرات کے کاموں کو مشینوں پر قبضہ کرنے، انسانی کام کی طاقت پر اثر، بڑھتی ہوئی ضروریات . hijacked by AI agents Crustafarian مذہب human control and oversight جیسا کہ میں کسی بھی قسم کی تکنیکی ہائپ کے لئے حساس ہوں، میں اس کہانی کو قبول نہیں کروں گا جو کرسمس کے اختتام تک آئی اے ایجنٹوں کو سیارے پر قبضہ کرنے کے لئے دیکھتا ہے. لیکن کمپنیوں کو کام کے جریان کو بہتر بنانے کے لئے آئی اے ایجنٹوں کو انسٹال کرنے کی امکان کا تجربہ کر رہا ہے. ان حلوں میں بڑھتی ہوئی دلچسپی ایجنٹک آئی اے حکمرانی کے فریم ورک کی فراہمی کی طرف سے تصدیق کی جاتی ہے. سنگاپور کے ایجنٹک AI حکمرانی پر ابتدائی قدم جنوری 2026 میں، سنگاپور کے Infocomm میڈیا کی ترقی کے حکام ("IMDA") نے اس کی رپورٹ جاری کی. سب سے پہلے، (محتمل) فریم ورک اس بات کو تسلیم کرتا ہے کہ ایجنٹوں کے "سخی ڈیٹا تک رسائی اور ان کے ماحول میں تبدیلیاں کرنے کی صلاحیت" ایک مکمل طور پر نئے خطرے کے پروفائل کو بڑھاتا ہے. کیونکہ ایجنٹ مالی معاملات کو انجام دے سکتے ہیں یا ذاتی ڈیٹا بیس کو تبدیل کر سکتے ہیں، ان ممکنہ خطرات کی حد کو کم نہیں کیا جا سکتا. ایجنٹک AI حکمرانی کے فریم ورک risk of outcomes becoming more unpredictable ایجنٹک AI حکمرانی کے فریم ورک سنگاپور کا نمونہ حکومت کو دوبارہ لکھنے کے بارے میں نہیں بلکہ مثال کے طور پر، انصاف اور شفافیت کے اصول اب بھی کسی بھی وقت سے زیادہ لاگو ہوتے ہیں، اور انسانی ذمہ داری، انسانی نگرانی اور کنٹرول بھی، جو AI کی زندگی کے سائیکل میں مسلسل لاگو کیا جانا چاہئے، ممکنہ حد تک. adapting AI considerations and translating them for agents Agentic AI risks سنگاپور کے فریم ورک کو تسلیم کیا جاتا ہے کہ ایجنٹک AI کے خطرات اس سے بہت مختلف نہیں ہیں. LLM سے متعلق خطرات (SQL اور پروپٹ انجکشن، ہالووینشن، پیشہ ورانہ، ڈیٹا چوری، وغیرہ). ایک ایجنٹ ایک کام کو مکمل کرنے کے لئے ایک غلط منصوبہ بنا کر، یا بعد میں ایک مرحلے میں، عمل کے دوران، غیر موجود آلات کو بلاتا ہے یا ان کو منفی طریقے سے بلاتا ہے. روایتی the way they manifest themselves خطرے اس سے بھی زیادہ ہیں جب ایجنٹ ایک دوسرے کے ساتھ بات چیت کرتے ہیں. ایک ایجنٹ کی غلطی ایک کاسڈنگ اثر پیدا کرسکتی ہے، اگر جیسا کہ اوپر ذکر کیا گیا ہے، پیچیدہ بات چیت غیر متوقع نتائج اور کارروائیوں کی زنجیر میں غیر متوقع بوتلوں کی وجہ سے ہوسکتی ہے. wrong output is passed on to other agents اس نمونہ میں پانچ کلید، ممکنہ طور پر : harmful categories of risks غلط کارروائی. ایک AI ایجنٹ کو تصور کریں جو انسانی آپریٹرز کے لئے آئی ٹی واقعات کو بڑھانے میں ناکام ہوسکتا ہے کیونکہ پتہ چلتا ہے کہ غیر معمولی پہلے سے طے شدہ درجنوں کے مطابق نہیں ہے. غیر مجاز کارروائی: یہ خطرہ ایک ایجنٹ کی طرف سے ترتیب دیا جاتا ہے جو اس کی اجازت کی حد سے باہر کام کرتا ہے. پیشہ ورانہ یا غیر منصفانہ اقدامات. ہم پیشہ ورانہ کے بارے میں جانتے ہیں کیونکہ یہ روایتی AI، خاص طور پر بائنری درجہ بندی ماڈل کے ساتھ ایک عام مسئلہ ہے. یہاں دلیل ایک ہی ہے: ایک ایجنٹ کے بارے میں سوچو جو ایک پیشہ ورانہ ملازمت کا فیصلہ کرتا ہے. اعداد و شمار کی خلاف ورزی: ایک کلاسیکی سکرین یہ ہے کہ ایجنٹس غیر متوقع طور پر حساس معلومات کو ظاہر کر سکتے ہیں، اس کی شناخت کے بغیر، یا خفیہ اداکاروں کی طرف سے سیکورٹی کی خلاف ورزی جو ایجنٹس کے ذریعے ذاتی معلومات تک رسائی حاصل کرسکتے ہیں. یہ خطرہ اس واقعے سے منسلک ہوتا ہے جہاں دوسرے نظاموں کے ساتھ بات چیت کرنے والے ایک ایجنٹ کی غلطی کی کارروائی پھیلا جاتا ہے، معلومات یا کارروائیوں کے بہاؤ کو روکتا ہے (مثال کے طور پر، غلطی سے ایک پیداوار کوڈ بیس کو حذف). Governance model IMDA کے ایجنٹک AI حکمرانی ماڈل چار پائلٹس پر مبنی ہے. 1. Assessing risks upfront بنیادی طور پر، اس مرحلے میں شامل ہے ایجنٹ کی تعمیر کے لئے، اور . determining risks and use cases designing a risk control system استعمال کے واقعات کا تعین کرنے کے لئے مرکزی ہے خطرے کی شناخت، بیان کیا جاتا ہے کہ اور اس ماڈل میں AI ایجنٹوں کے ممکنہ اثرات کو متاثر کرنے والے عوامل کی ایک سیریز کی وضاحت کی جاتی ہے (مطابق ڈومین، حساس اعداد و شمار اور بیرونی نظام تک رسائی، ایجنٹوں کی کارروائیوں کی وسیع پیمانے پر اور قابل رجوع ممکنہ) اور احتمال (آپریشن کی سطح، کام کی پیچیدگی). IMDA کے نقطہ نظر میں، خطرے کے ماڈلنگ خطرے کی تشخیص کو مکمل کرتا ہے، کیونکہ یہ شناخت کرتا ہے. عام دھمکیوں کو ذہن میں زہریلا، آلے کا غلط استعمال، اور خصوصیات کا منافع ہوسکتا ہے. impact likelihood potential external attack scenarios اس کا مطلب یہ ہے کہ پالیسیوں، عملوں اور پروٹوکولوں کو تیار کرنا ہے جو آلات اور سسٹموں تک رسائی، ان کی تنصیب کی سطح، اور اثر کے علاقے کے لحاظ سے ایجنٹوں کی حدوں کو واضح طور پر بیان کرتے ہیں (مثال کے طور پر، محدود نیٹ ورک اور اعداد و شمار تک رسائی کے ساتھ "اپنی ذات کے ماحولوں" میں ایجنٹوں کو ڈسپلے کرنا، خاص طور پر جب وہ کوڈ کی پیروی جیسے اعلی خطرناک کاموں کو انجام دیتے ہیں). ایجنٹوں کی شناختی مینجمنٹ اور رسائی کنٹرول کا مسئلہ پیچیدہ ہے، کیونکہ موجودہ انسانوں کے لئے ڈیزائن شدہ تصدیق کے نظام آسانی سے AI ایجنٹوں کی طرح پیچیدہ نظاموں میں ترجمہ نہیں کرتے ہیں. . a mix of traditional identity access and human supervision is required 2. Making humans truly accountable تیسری پائلٹ کے مسائل تنظیم کے اندر اور باہر، اور اس کی اجازت دیتا ہے IMDA کی بنیادی شرط یہ ہے کہ تنظیموں اور افراد اپنے ایجنٹوں کے اعمال کے لئے ذمہ دار رہیں. establishing clear responsibilities meaningful human oversight تنظیم کے اندر، ذمہ داریوں کو بیان کیا جانا چاہئے: a) اس کے علاوہ، ایجنٹوں کے اعلی سطح کے مقاصد، حدود، اور مجموعی حکمرانی نقطہ نظر کو مقرر کرنا؛ (ب) ، ایجنٹ کی ضروریات، ڈیزائن، کنٹرول، محفوظ انضمام اور نگرانی کی وضاحت کرنا شامل ہے؛ (ج) (۱) اس کے علاوہ، بنیادی سیکورٹی گارڈل اور سیکورٹی ٹیسٹ کے طریقوں کو قائم کرنا۔ (۲) غیر ملکی کھلاڑیوں میں، مثال کے طور پر، ماڈل ڈویلپرز یا ایجنٹ AI فراہم کرنے والے شامل ہوسکتے ہیں، اور ان کے لئے، تنظیم کو واضح ذمہ داریوں کو مقرر کرنا چاہئے. key decision makers product teams cybersecurity team users انسانوں کی اہمیت کو پورا کرنے کے لئے تین طریقوں کی ضرورت ہے: 1. مثال کے طور پر، ہائی سٹاک یا غیر قابل رجوع اقدامات (بھارت ذہنی اعداد و شمار یا دائمی طور پر اعداد و شمار کو حذف) یا بیرونی اور غیر معمولی رویے (آپ کے مقاصد سے باہر کام کرنے والے ایجنٹ). مثال کے طور پر، انسانوں کو عام ناکامی کے طریقوں کی شناخت کرنے اور روایتی طور پر انسانی کنٹرول کے طریقوں کا تجزیہ کرنے کے لئے تربیت دیتے ہیں. . define action boundaries requiring human approval continued effectiveness of human oversight real-time alert monitoring 3. Implementing technical and control processes سب سے اوپر کے LLM سے متعلق تکنیکی کنٹرول، تیسرے پائلٹ کی سفارش کرتا ہے کہ تمام زندگی کے سائیکل کے دوران ایجنٹک AI کی نوکری کی طرف سے ضروری نئے کنٹرول شامل کریں. روایتی مثال کے طور پر، کمپنیوں کو سخت ڈپازٹنگ سے پہلے کنٹرول قائم کرنا چاہئے. کمپنیوں کو ایجنٹوں کی جانچ پڑتال کرتے وقت ایک مجموعی نقطہ نظر لے جانا چاہئے، نئے خطرات، کام کے بہاؤ، اور ڈیٹا سیٹز کے درمیان حقیقی ماحولوں کا تجزیہ کرتے ہوئے، اور پیمانے پر ٹیسٹ کے نتائج کا تجزیہ کرتے ہوئے. AI، ایجنٹوں کو مسلسل نگرانی اور ڈپازٹنگ کے بعد ٹیسٹ کیا جانا چاہئے، تاکہ انسان حقیقی وقت میں مداخلت کرسکتے ہیں اور جہاں ضرورت ہو تو ڈبگ. اور . using test agents روایتی agents work at speed companies may struggle to keep up 4. Enabling end-user responsibility آخر میں، حتمی صارفین کی ذمہ داری اور ذمہ داری کو یقینی بنانے کے لئے - یعنی وہ لوگ جو AI ایجنٹ کا استعمال کریں گے اور ان پر اعتماد کریں گے - کمپنیوں کو توجہ دینا چاہئے: (آپ کی صلاحیتوں اور محدودیتوں کو بیان کرنے کے لئے) اور تنظیموں کو ان صارفین کے لئے شفافیت پر توجہ مرکوز کرسکتے ہیں جو ان کے ایجنٹوں کے ساتھ بات چیت کرتے ہیں (مستقبل صارفین، جیسے کسٹمر سروس یا HR ایجنٹ) اور ان صارفین کے لئے تربیت پر توجہ مرکوز کرسکتے ہیں جو ان کے کام کے عمل میں ان کے ایجنٹس کو شامل کرتے ہیں (مستقبل صارفین، جیسے کوڈنگ مددگار). transparency education UC Berkeley’s Agentic AI framework UC Berkeley کے ایجنٹک AI فریم ورک فروری 2026ء میں، ایک گروپ UC Berkeley's Center for Long-Term Cybersecurity کی رپورٹ ایک خطرے کی فہرست آئی ایم ڈی اے کے طور پر، رپورٹ میں ایجنٹوں کی طرف سے داخل ہونے والی بڑھتی ہوئی خطرات کو تسلیم کیا گیا تھا، جس میں شامل ہے "مناطقتی مقصد کی پیروی، غیر مجاز خصوصیات کی تشدید یا وسائل کی خریداری، اور دیگر رویے، جیسے خود کی ریپولیشن یا بندنگ کے خلاف مزاحمت". "ملکاتی، ماڈل پر مبنی خطرے کے انتظام کے نقطہ نظر کو پیچیدہ اور نظام کی سطح پر حکمرانی کی ضرورت ہے." محققین Agentic AI خطرے کے انتظام کے معیار کے پروفائل broadly reflecting NIST AI Risk Management Framework (AI RMF) unique challenges UC Berkeley کے فریم ورک کو واضح طور پر ڈیزائن کیا گیا تھا تاہم، مصنفین کا کہنا ہے کہ، یہ سیاستدانوں اور ریگولیٹرز کی طرف سے بھی استعمال کیا جا سکتا ہے، "یہ اندازہ کرنے کے لئے کہ کیا ایجنٹک AI سسٹموں کو ڈیزائن کیا گیا ہے، ارزیابی کیا گیا ہے، اور اہم خطرے کے انتظام کے طریقوں کے مطابق تعمیر کیا گیا ہے." single- or multi-agentic AI systems developers and deployers Agentic AI risks IDMA کے مقابلے میں، کاغذ ایک وسیع رینج خطرے کی شناخت کرتا ہے: اختلافات اور زہریلا، ان میں پیغامات کے لنک، زہریلا مواد کی پھیلاؤ، اور اجزاء کی دستیابی، معیار اور صلاحیت میں اختلافات شامل ہیں. رازداری اور سیکورٹی، جس میں ذاتی یا حساس ڈیٹا کی غیر متوقع کھولنے، ڈیٹا پھیلاؤ، اور اس کے نتیجے میں غلط نتائج شامل ہیں. غلط معلومات، خاص طور پر جب ایک ایجنٹ سے ہالووینشن اور غلط outputs دوسرے ایجنٹوں کی طرف سے دوبارہ استعمال کیا جاتا ہے. براہ راست کھلاڑیوں اور غلط استعمال، پیچیدہ حملوں، خود کار طریقے سے غلط استعمال، بڑے پیمانے پر نمائش، دھوکہ دہی، اور منظم اثر انداز کی کمپنیاں کو آسان بنانے سمیت. انسانی اور کمپیوٹر کے تعامل، جیسے انسانی نگرانی میں کمی، سماجی طور پر یقین دہانی کرنے والے رویے، اور صارفین کو ایجنٹ کے رویے کو سمجھنے یا جھگڑا کرنے میں مشکل. کنٹرول کے نقصانات، جس میں نگرانی کے متغیر، تیزی سے کام کرنے کی نگرانی اور ردعمل سے بڑھ کر، اور رویے شامل ہیں جو بند کرنے یا روکنے کے میکانیزم کو نقصان پہنچاتے ہیں. سماجی اور اقتصادی اور ماحولیاتی نقصان، ایجنٹ کی صلاحیتوں تک رسائی میں اختلافات، مجموعی ناکامی، اور بڑے پیمانے پر اقتصادی اور ماحولیاتی اثرات سمیت. AI نظام کی حفاظت، ناکامیوں، اور محدودیتوں، شامل طور پر خود کار طریقے سے ردعمل، غلطی، دھوکہ، تعاون، مقاصد کی طرف سے ڈھانچے کی منصوبہ بندی، حقیقی دنیا کے اثرات، اور کافی انسانی نگرانی. Focus on human control IMDA کی طرح، UC Berkeley کے معیار بنیادی طور پر پر توجہ مرکوز کریں: enhance human oversight انسانی کنٹرول اور ذمہ داری (بھی واضح کرداروں اور ذمہ داریوں، واضح کرداروں کے تعینات، مداخلت کنٹرول پوائنٹس، تعمیرات کے راستے، اور بند کرنے کے میکانیزم سمیت) نظام کی سطح کے خطرے کا اندازہ (خاص طور پر متعدد ایجنٹ کے تعامل، آلے کا استعمال، اور ماحول تک رسائی کے لئے مفید) مسلسل نگرانی اور تنصیب کے بعد کی نگرانی (آج کے دوران اور کنکٹیکٹس کے درمیان ایجنٹک رویے میں ترقی ہوسکتا ہے) دفاعی گہرائی اور کنٹینر (آپ کی موجودہ تجزیہ تکنیکوں کی محدودیتوں کی وجہ سے غیر قابل اعتماد اداروں کے طور پر ایجنٹس کا علاج) شفافیت اور دستاویزات (صارفین کو نظام کی حدود، محدودیتوں اور خطرات کو کم کرنے کے فیصلے کو واضح طور پر مطلع کرنا) مصنفین کو ان کے اپنے معیار کی محدودیتوں کو تسلیم کرتے ہیں. سب سے پہلے، ایجنٹک AI ٹیکسونومیشنز دوسرا، پیچیدہ multi-systems کے رویے اور بڑھتی ہوئی اتھارٹی کو مضبوط انسانی کنٹرول اور ذمہ داری کی صحیح توثیق کو یقینی بنانے کے لئے مشکل بناتا ہے. آخر میں، بہت سے خطرات میٹرک کم ترقی میں رہتے ہیں، خاص طور پر "اصل ہونے والے رویے، دھوکہ دہی کی توازن، اور طویل مدتی نقصان کے بارے میں". widely vary and are inconsistently applied across the world اس وجہ سے، مصنفین کو خبردار کرتے ہیں، اس مضمون میں "بھارت کے نقطہ نظر کو قبول کرتا ہے، بحالی کی فرضیتوں، layered safeguards، اور مسلسل دوبارہ تجزیہ کرنے پر توجہ مرکوز کرتا ہے". ایک سٹیٹک حکمرانی چیک لسٹ کے بجائے، یہ "ایک زندہ فریم ورک کے طور پر دیکھا جانا چاہئے جس میں ایجنٹک AI تحقیق، تنصیب کے طریقوں، اور حکمرانی معیار کے ساتھ ساتھ ترقی کرنا چاہئے." NIST design جیسا کہ اوپر ذکر کیا گیا ہے، ڈیزائن کی فہرست ، چار بنیادی افعال کے ارد گرد ایجنٹک AI کی کوششوں کی ساخت: حکومت، نقشہ، پیمائش، اور انتظام. یہ مصنفین کی طرف سے ایک عمدہ فیصلہ ہے کہ کمپنیوں کو خطرات کے انتظام کے طریقوں کو ایک ساخت پر لاگو کرنے میں مدد ملتی ہے جس سے وہ واقف ہیں اور ایک فریم ورک بناتا ہے جو ہے. . overlaps that of NIST AI RMF consistent with existing practices More Agentic AI frameworks زیادہ ایجنٹک AI فریم ورک IMDA اور UC Berkeley کے فریم ورک کو حال ہی میں شائع کیا گیا ہے لیکن وہ مختلف دیگر ماڈلوں کا حوالہ دیتے ہیں جو AI ایجنٹوں کی طرف سے پیدا ہونے والے خطرات کو حل کرنے کے عمل اور طریقوں کو بیان کرتے ہیں. not the only Agentic AI governance programmes to be proposed Agentsafe دسمبر 2025 میں، تین آئرلائی آئی بی ایم کے ماہرین نے ایک مضمون شائع کیا جس میں پیش کیا گیا تھا کہ میں A LLM پر مبنی ایجنٹک نظام کے لئے. ایجنسی tool-agnostic governance framework عملی طور پر، Agentsafe "MIT AI Risk Repository کو انحصار شدہ خطرے کی اقسام کو ایک ساختہ تکنیکی اور تنظیماتی میکانیزموں کی ایک سیٹ میں نقشہ کرکے" کام کرتا ہے، جو ایجنٹ مخصوص خطرے کے مطابق ہے. انسانی نگرانی کے لئے اعلی اثرات کی کارروائیوں کو بڑھاتا ہے، اور پیشگی توسیع کے واقعات پر مبنی نظام کا اندازہ لگاتا ہے، جس میں سیکورٹی، رازداری، انصاف اور سسٹم کی حفاظت شامل ہے. ، ایک طریقہ کار فراہم کرتا ہے جو خطرات کو ٹیسٹ، میٹرک اور provenance سے منسلک کرتا ہے. constraints to risky behaviours assurance through evidence and auditability ایجنسیوں کی طرح لگتا ہے کہ ایک ایک قدرتی توسیع کے ساتھ یہ اخلاقی اصولوں پر مبنی ہے (انحصار، شفافیت، اور سیکورٹی)، بین الاقوامی معیاروں کے مطابق ساختہ خطرے کے انتظام کے عملوں کی طرف سے شکل میں ہے، اور بین الاقوامی AI کے دو اہم چیلنجز کو حل کرنے کے لئے ممکنہ طور پر لگتا ہے: اور . very promising framework روایتی timely containment effective human oversight AAGATE نومبر 2025 میں، واضح طور پر تکنیکی جانب سے، 11 کاروباری، محققین اور صنعت کے ماہرین نے ایک رپورٹ شائع کی. پیش کرتے ہوئے ، "NIST AI RMF-aligned governance platform for Agentic AI" کے طور پر بیان کیا گیا ہے. یہ "پیدا شدہ AppSec اور مطابقت کے اوزار deterministic سافٹ ویئر کے لئے ڈیزائن کیا گیا تھا، خود ہدایت کی وجہ سے سوچنے کے نظام improvisation کے قابل نہیں ہیں." کاغذ Agentic AI Governance Assurance & Trust Engine (AAGATE) فرضیت اس دھوپ کو ختم کرنے کے لئے، AAGATE (جبل، نقشہ، پیمائش، انتظام) ، ہر RMF فہرست کے لئے مخصوص سیکورٹی فریم ورکز کو شامل کرتے ہوئے: نقشے کے لئے ایجنٹک AI دھمکی ماڈلنگ MAESTRO فریم ورک، OWASP کے AIVSS اور SEI کے SSVC for Measure کے ایک ہائبرڈ، اور Cloud Security Alliance کے ایجنٹک AI Red Teaming Guide for Manage. operationalises the above-mentioned NIST AI RMF principles آپ AAGATE پر شائع کردہ ایک سادہ خلاصہ دیکھ سکتے ہیں . کلاؤڈ سیکورٹی اتحاد NVIDIA’s Agentic AI risk framework نومبر 2025 بھی ایک ایجنٹک AI کی حفاظت اور سیکورٹی کا شائع کیا گیا تھا ایک گروپ ماہرین کی طرف سے اور زوریچ پر مبنی AI کمپنی اس فریم ورک میں شامل ہے انسانوں کی نگرانی کے تحت، "کائنات کے خطرے کی دریافت، تجزیہ، اور ہٹانے میں مدد کرنے کے لئے". فریم ورک NVIDIA Lakera novel idea of using auxiliary AI models and agents In a nutshell, the risk framework involves four actors: Global Contextualized Safety Agent، جو تمام ایجنٹوں پر نظام بھر کی پالیسیوں، خطرات کی حدیں، اور تعمیرات کے قوانین کو مقرر اور لاگو کرتا ہے، مکمل قابل بصیرت اور اکاؤنٹنگ کے ساتھ. Local Contextualized Attacker Agent، جو ایک داخلہ سرخ ٹیم کے طور پر کام کرتا ہے، موجودہ خطرات کی سطح پر حقیقی اور کنٹیکٹ مشہور حملوں کے ساتھ نظام کو چیک کرتا ہے. Local Contextualized Defender Agent، جو چلانے کے وقت بینڈ میں تحفظات کو لاگو کرتا ہے، کم از کم خصوصیات کو نافذ کرتا ہے، آلے کے استعمال کی تصدیق کرتا ہے، اور غیر محفوظ رویے کو شامل کرتا ہے. مقامی تجزیہ کار ایجنٹ، جس میں ایجنٹ کے رویے کو نگرانی کرتا ہے تاکہ سیکورٹی، قابل اعتماد، اور اختلافات کا اندازہ لگایا جاسکتا ہے، خبروں اور حکمرانی کارروائیوں کو روکتا ہے. The framework operates in two phases: مرحلہ 1: خطرے کا پتہ لگانا اور ارزیابی. یہ ایک sandboxed ماحول میں ہوتا ہے اور اس کے لئے ڈیزائن کیا گیا ہے کہ پیدا ہونے والے خطرے کو پتہ لگانا ہے جو سٹیٹک ٹیسٹ میں ظاہر نہیں ہوتا ہے. ایک داخلہ حملہ آور مخالف حملوں (مجرم انجکشن، زہریلا وصولی ڈیٹا، یا غیر محفوظ آلے کی چھاپہ) کی نمائش کر سکتے ہیں، جبکہ ایک evaluer محفوظ، قابل اعتماد، اور پالیسی کے مطابق ہونے کا اندازہ کرنے کے لئے مکمل execution ٹریکز کی نگرانی کرتا ہے. مرحلہ 2: داخلہ ہٹانے اور مسلسل نگرانی. یہ مینوفیکچرنگ میں ان کنٹرولز کو لاگو کرتا ہے. سسٹم کے اندر بینڈ دفاع کے ساتھ چلتا ہے جو کم از کم وجوہات تک رسائی کو یقینی بناتا ہے، آلہ کالز کی تصدیق کرتا ہے، گارڈرایلز کو لاگو کرتا ہے، اور حقیقی وقت میں غیر محفوظ رویے کو شامل کرتا ہے. ایک نگرانی اجزاء منتظر راستے اور پہلے سے طے شدہ خطرے کی حدوں کے مقابلے میں سسٹم کے رویے کو مسلسل ارزیابی کرتا ہے، جب ضروری ہو تو ایڈجسٹنگ یا انسانی تعمیرات کو روکتا ہے. Agentic Risk & Capability (ARC) Framework GovTech سنگاپور کے AI Practice میں ذمہ دار AI ٹیم نے شائع کیا کے ، ایک تکنیکی حکمرانی پروگرام "ایک ایجنٹک AI سسٹموں میں سیکورٹی اور سیکورٹی کے خطرے کی شناخت، اندازہ اور کم کرنے کے لئے". GitHub کے Agentic Risk & Capability (ARC) framework دلچسپ بات یہ ہے کہ، ٹیم نے ایک صلاحیت پر مبنی ٹیکسنگ تیار کی جس میں AI ایجنٹس کو تین بنیادی ڈومینوں میں تقسیم کیا جاتا ہے: شناختی صلاحیتوں (تصویر، منصوبہ بندی، سیکھنے، اور فیصلہ کرنے) بات چیت کی صلاحیت (جیسا کہ ایجنٹ ماحول یا انسانوں کو کیسے دیکھتے ہیں، بات چیت کرتے ہیں اور متاثر کرتے ہیں) آپریٹنگ کی صلاحیت (آپ کے ایجنٹوں کو محفوظ اور مؤثر طریقے سے کام کرتے ہیں) انہوں نے بھی ایک خطرے ریکارڈ تیار کیا جس میں صلاحیتوں کو مخصوص خطرات سے منسلک کیا گیا تھا: اجزاء کے خطرات (سسٹم ماڈیولوں میں ناکامیاں یا زخمیاں) ڈیزائن کے خطرے (اژیکٹیکل، منطق، یا فیصلے کے لنک کے مسائل) صلاحیت کی مخصوص خطرات (آج کی صلاحیتوں سے متعلق خطرات، پاداش ہیکنگ) ہر خطرہ کو کم کرنے کے لئے اس کے بعد مخصوص تکنیکی کنٹرولز (گارڈرایلز، پالیسی، نگرانی) پر نقشہ کیا جاتا ہے، براہ راست خطرہ کنٹرول کی پیروی کی اجازت دیتا ہے. یہ حکومتی ٹیموں کو دیکھنے میں مدد ملتی ہے کہ ہر صلاحیت اور خطرے کے لئے کس کنٹرول کو لاگو کیا جاتا ہے. مزید جانیں . GitHub کے Getting ahead of the singularity Singularity کے مقابلے میں ہم اس سے بہت دور ہیں تاہم، یہ کوئی تعجب نہیں ہے کہ AI ایجنٹ واقعی کیا ہیں - پیچیدہ سافٹ ویئر کے نظام کے مقابلے میں انسانی روبوٹ جو ہمارے خواب میں ہمیں ہلاک کرنے کے لئے تیار ہیں - ہمیں پہلے کے مقابلے میں آخری کے بارے میں فکر کرنے کی طرف بڑھاتا ہے. horrors of the AI singularity موجودہ وقت میں، یہ خوف غیر منطقی ہیں اور ان کو صحیح کنکشن میں ڈال دیا جانا چاہئے. عالمی سطح پر پیدا ہونے والے حکمرانی فریم ورک اس بات کا اشارہ کرتے ہیں کہ ایجنٹک AI یہاں رہنے کے لئے ہے، ممکنہ خطرات یقینی طور پر حقیقی ہیں، اور کچھ کھلاڑیوں کو اس کے لئے کام کر رہے ہیں. . AI agents bringing as many benefits as potential dangers address them proactively
