هذا العام، في مجال التكنولوجيا، بدأ مع انخفاض العلامة التجارية الذكية.في ما لا يقل عن شهرين إلى عام 2026، فإن محادثة الذكاء الاصطناعي قد تم بالفعل. ومهاراتها، وفوائدها للشركات. على مدى الليل والصور العلمية، تظهر مجموعة من الأسئلة أكثر إثارة للجدل، ليتم تحديد بعضها البعض: المخاطر الإدارية من إرسال المهام إلى الآلات، وتأثيرها على القوة العاملة البشرية، وتزايد الحاجة إلى . hijacked by AI agents الديانات الكروية human control and oversight نظرًا لأنني ألجأ إلى أي شكل من أشكال التحرك التكنولوجي، لن أترك إلى القصص التي ترى العاملين في مجال الذكاء الاصطناعي يسيطرون على الكوكب في وقت لاحق من عيد الميلاد. ولكن الشركات حقًا تبحث عن إمكانية تنفيذ العاملين في مجال الذكاء الاصطناعي لتحسين تدفقات العمل. خطوات سنغافورة مبكرة على إدارة الأجهزة الذكية في يناير من عام 2026، أصدرت هيئة تطوير وسائل الإعلام (Infocomm Media Development Authority) في سنغافورة (IMDA). أولاً، يعترف البنية التحتية (المتفردة) بأن "الوصول إلى البيانات الحساسة والقدرة على إجراء تغييرات على بيئتهم" يشكل نموذجاً جديداً من المخاطر. نظرًا لأن العمال قد يقومون بتنفيذ عمليات مالية أو تغيير قواعد البيانات التي تحتوي على البيانات الشخصية، لا يمكن تقليل حجم هذه المخاطر المحتملة. Agentic AI governance framework risk of outcomes becoming more unpredictable إطار إدارة العمليات لا يتعلق نموذج سنغافورة بإعادة كتابة الإدارة ولكن على سبيل المثال، لا تزال مبادئ العدالة والشفافية تستدعي أكثر من أي وقت مضى. adapting AI considerations and translating them for agents Agentic AI risks يدرك إطار سنغافورة أن مخاطر الذكاء الاصطناعي العامل ليست مختلفة تماما عن المخاطر ذات الصلة بالبرمجيات (التنبؤات SQL و SQL ، والتعليقات ، والخلافات ، والخروج من البيانات ، وما إلى ذلك). يمكن للخاطف أن يلقي خططًا خاطئة لإكمال مهمة، أو في مرحلة ما بعدها، أثناء تنفيذها، من خلال إدخال الأدوات غير موجودة أو إدخالها بطريقة مفرطة. التقليدية the way they manifest themselves إن المخاطر أعلى حتى عندما تتفاعل العناصر مع بعضها البعض. كما ذكرت أعلاه، قد تؤدي التفاعلات المعقدة إلى النتائج غير المتوقعة والخلافات غير المتوقعة في سلسلة العمليات. wrong output is passed on to other agents يتم تحديد الخمسة الخمسة الخمسة الخمسة الخمسة الخمسة، وربما : harmful categories of risks التحرك الخطير: تخيل وكيل الذكاء الاصطناعي لا يقترب من توسيع حوادث تكنولوجيا المعلومات إلى العملاء البشريين لأن التحرك الذي تم اكتشافه لا يتوافق مع الحدود المحددة سابقا. الإجراءات غير المسموح بها: يتم تشكيل هذه المخاطر من خلال إجراء إجراءات خارج نطاقها المسموح بها. ندرك أن هذا هو مشكلة شائعة مع الذكاء الاصطناعي التقليدي، وخاصة أنماط التخصيص الثنائي. انتهاكات البيانات هي السيناريو الكلاسيكي حيث يمكن للشركاء إبلاغ المعلومات ذات الصلة بطريقة غير مشروعة ، دون التعرف على أنها ذات الصلة ، أو انتهاك أمن من قبل المسؤولين الخبيثين الذين يحصلون على الوصول إلى معلومات خاصة من خلال شركاء. هذه المخاطر تتعلق بالانتهاء من العمل غير المشروع الذي اتخذته من قبل عامل يتفاعل مع أنظمة أخرى يتناسى ، مما يؤدي إلى إلغاء تدفق المعلومات أو العمليات (على سبيل المثال ، إزالة بطاقة الإنتاج بطريقة خاطئة). Governance model يعتمد نموذج إدارة الذكاء الاصطناعي من IMDA على أربعة قوائم. 1. Assessing risks upfront وبالتالي فإن هذه الخطوة تشمل لخدمة المراقبين، و . determining risks and use cases designing a risk control system الرئيسية في تحديد حالات الاستخدام هي تحديد المخاطر، والتي يتم وصفها كعملية و وتظهر النماذج سلسلة من العوامل التي تؤثر على التأثير المحتمل للشركات الذكية (المناطق التنفيذية، والتوصل إلى البيانات الحساسة والمنظمات الخارجية، والوسيلة والتوصل إلى إصلاحات العمليات للشركات) وواقعية (الدرجة من الاستقلالية للشركات، والتفكير في تعقيد المهام). قد تشمل التهديدات الشائعة إدمان الذاكرة، واستخدام أدوات خاطئة، وتفكيك المزايا. impact likelihood potential external attack scenarios وهذا يعني إنشاء السياسات والتوجيهات والبروتوكولات التي تشير إلى الحد الأدنى للشركات من حيث الوصول إلى الأدوات والأنظمة، ودرجة الاستقلالية، ومدى تأثيرها (على سبيل المثال، توزيع شركات في "البيئات الذكية" مع الوصول إلى الشبكة والبيانات المحددة، خاصة عندما يتم تنفيذ المهام ذات المخاطر العالية مثل تنفيذ الكود). . a mix of traditional identity access and human supervision is required 2. Making humans truly accountable العنصر الثاني يتعلق بالقلق داخل و خارج المنظمة، و تتيح المبادئ الأساسية في IMDA هي أن المنظمات والأفراد لا تزال مسؤولة عن أفعال شركائهم. establishing clear responsibilities meaningful human oversight ويجب أن يتم تحديد المسؤوليات داخل المنظمة: (أ) بما في ذلك تحديد الأهداف والحدود على المستوى العالي للموظفين، والتصديق العام على الإدارة؛ بما في ذلك تحديد متطلبات العاملين، والتصميم، والسيطرة، والتنفيذ الآمن والتحكم. (بما في ذلك إنشاء قواعد أمنية أساسية ووسائل اختبار أمنية) يمكن أن تشمل الأطراف الخارجية، على سبيل المثال، تطوير النماذج أو مكاتب الذكاء الاصطناعي، وبذلك ينبغي على المنظمة وضع مسؤوليات واضحة. key decision makers product teams cybersecurity team users التخطيط الاستراتيجي يتطلب ثلاثة أبعاد: الأول: يجب على الشركات ، مثل العمليات الكبيرة أو غير قابلة للتجديد (تعديل البيانات الحساسة أو إزالة البيانات بشكل دائم) أو السلوك الخارجي وغير الطبيعي (الشركاء الذين يعملون خارج نطاقهم). على سبيل المثال، من خلال تدريب البشر على تحديد طرق الفشل المعتادة والتحقق من ممارسات التحكم البشرية بشكل منتظم. . define action boundaries requiring human approval continued effectiveness of human oversight real-time alert monitoring 3. Implementing technical and control processes على أعلى مستوى من تتعلق السيطرة الفنية ذات الصلة باللغة الإنجليزية، يوصي القاعدة الثالثة بإضافة السيطرة الجديدة المطلوبة من إصدارات Agentic AI على مدى دورة الحياة. التقليدية على سبيل المثال، يجب على الشركات إدخال مراقبة صارمة قبل التطبيق. يجب على الشركات اتخاذ نهجًا شاملًا عند اختبار الموارد، بما في ذلك تقييم المخاطر الجديدة، وتطورات العمل، والبيئات الإيجابية عبر مجموعة البيانات، وتقييم نتائج الاختبار على نطاق واسع. ويجب مراقبة العمالة الذاتية باستمرار وتجهيزها بعد التطوير، بحيث يمكن للإنسان التدخل في الوقت الحقيقي والتحكم عند الحاجة. و . using test agents التقليدية agents work at speed companies may struggle to keep up 4. Enabling end-user responsibility وأخيرًا، لضمان المسؤولية والمسؤولية للمستخدمين النهائيين، أي الذين يستخدمون وكأنهم يعتمدون على أجهزة الذكاء الاصطناعي، يجب على الشركات التركيز على: (تقرير القدرات والحدود للموظفين) و (تدريب المستخدمين على استخدام ومراقبة المنشطات بشكل صحيح) قد تركز المنشطات على الشفافية للمستخدمين الذين يتفاعلون مع المنشطات (المستخدمين الخارجيين، مثل خدمة العملاء أو المنشطات المهنية) وتدريب المستخدمين الذين يتكاملون مع المنشطات في عملياتهم العملية (المستخدمين المحليين، مثل المساعدين في التدوين). transparency education UC Berkeley’s Agentic AI framework برنامج UC Berkeley Agentic AI في شهر فبراير عام 2016، قام مجموعة من نشرت صحيفة UC Berkeley Center for Long-Term Cybersecurity تقريراً إطار المخاطر كما هو الحال مع IMDA، اعتبرت الدراسة المخاطر المتزايدة التي يقدمها العاملون، بما في ذلك "البحث عن الأهداف غير المرغوب فيها، والتقدم غير المرغوب فيه في المزايا أو الحصول على الموارد، وغيرها من السلوكيات، مثل التعبير الذاتي أو الامتناع عن الانسحاب". "تعقيد اتجاهات إدارة المخاطر التقليدية المتقدمة التي تركز على النماذج وتطلب الإدارة على مستوى النظام". الباحثين نموذج تقنيات إدارة المخاطر broadly reflecting NIST AI Risk Management Framework (AI RMF) unique challenges وقد تم تصميم UC Berkeley بشكل واضح ومع ذلك ، يقول المؤلفون ، يمكن أيضاً استخدامها من قبل ممثلي السياسات والمؤسسات التنظيمية "للتقييم ما إذا كانت أنظمة الذكاء الاصطناعي المساعدة قد تم تصميمها وتقييمها وتشغيلها وفقًا لممارسات إدارة المخاطر الرائدة". single- or multi-agentic AI systems developers and deployers Agentic AI risks مقارنة مع IDMA، يحدد الكتاب مجموعة واسعة من المخاطر: التمييز والاكسسوارات، بما في ذلك أساليب التردد، وتوزيع المحتوى السلبي، والانقسامات في الوصول والجودة والقدرة على العوامل. الخصوصية والسلامة، بما في ذلك الكشف غير المرغوب فيه عن البيانات الشخصية أو الخصوصية، والهروب من البيانات، والنتائج المترتبة عليها. المعلومات الخاطئة ، وخاصة عندما يتم استخدامه من قبل العاملين الآخرين من قبل العلامات الخاطئة. الأطراف الخبيثة واستخدامها الخبيث، بما في ذلك إجراء أسهل من الهجمات المعقدة، واستخدامها الخبيث التلقائي، والتلاعب الجماعي، والتدخل المشترك. التفاعل الإنساني مع الكمبيوتر، مثل انخفاض الرؤية البشرية، وممارسة التفكير الاجتماعي، ومشاكل المستخدمين في فهم أو التنازل عن سلوك العاملين. فقدان السيطرة، بما في ذلك تدمير مراقبة، والتنفيذ السريع يتجاوز مراقبة الاستجابة، وممارسات تؤثر على آليات التوقف أو التخفيف. الأضرار الاقتصادية والاجتماعية والاجتماعية والبيئية، بما في ذلك عدم المساواة في الوصول إلى القدرات العاملة، والتهديد الجماعي، والتأثيرات الاقتصادية والبيئية الكبيرة. أمن أنظمة الذكاء الاصطناعي، والتغييرات، والحدود، بما في ذلك التعديلات الذكية، والتعديلات، والتجسس، والتخطيط المستهدف، والتأثيرات في العالم الحقيقي، والتحكم البشري غير كاف. Focus on human control كما هو الحال مع IMDA ، فإن معايير UC Berkeley تهدف أساسا إلى ثم التركيز على: enhance human oversight السيطرة البشرية والمسؤولية (الدورات والمسؤوليات واضحة، بما في ذلك تعريفات واضحة للمسؤولية، ومواقع التحكم في التدخل، والمسارات التقدمية، والمعدات التوقفية) تقييم المخاطر على مستوى النظام (وهي مفيدة بشكل خاص في التفاعلات متعددة الأطراف، واستخدام الأدوات، والاستفادة من البيئة) مراقبة مستمرة ومراقبة بعد التطبيق (يُمكن أن تتطور السلوك العملي في الوقت والمجالات المختلفة) الدفاع العميق والتخفيف (تعامل العمال مع المؤسسات غير الموثوق بها بسبب الحد الأدنى من تقنيات التقييم الحالية) الشفافية والتوثيق (تواصل واضح من حدود النظام والحدود والقرارات على تقليل المخاطر إلى الأطراف المعنية) ويؤكد المؤلفون على الحد الأدنى للمستندات الخاصة بهم، أولاً، تخصيصات الذكاء الاصطناعي. وبالتالي فإن السلوك المتكامل بين العديد من الأنظمة وتزايد الاستقلالية يجعل من الصعب ضمان التحكم البشري القوي والتصديق الصحيح للمسؤولية، وفي النهاية، لا يزال العديد من معيارات المخاطر غير المتقدمة، وخاصة “بالرغم من السلوكيات الناشئة، والتوازن الخاطئ، والضرر على المدى الطويل”. widely vary and are inconsistently applied across the world لهذا السبب، ويؤكد المؤلفون، فإن الكتاب يستند إلى "قاعدة احتياطية، تركز على الاعتقادات الاحترامية، والضمانات المتوسطة، والتقييم المستمر". بدلاً من قائمة تحديد الإدارة المعتادة، ينبغي النظر إليها كإطار حي يهدف إلى تطور جنباً إلى جنب مع البحوث المساعدة في الذكاء الاصطناعي، والممارسات التنفيذية، والقواعد الإدارية. NIST design وكما ذكرنا أعلاه ، فإن تصميم ويعد هذا القرار قراراً ملموساً من قبل المؤلفين لمساعدة الشركات في تطبيق إجراءات إدارة المخاطر على هيكل يعرفونه ويعرفونه ويعرفونه ويعرفونه. . overlaps that of NIST AI RMF consistent with existing practices More Agentic AI frameworks المزيد من المبادرات المشتركة وقد تم نشرها مؤخرا برامج IMDA و UC Berkeley ولكنها هناك إشارات إلى العديد من النماذج الأخرى التي تشير إلى العمليات والتوجيهات لمواجهة المخاطر التي يخلقها العاملون في الذكاء الاصطناعي. not the only Agentic AI governance programmes to be proposed Agentsafe في ديسمبر 2025, أصدرت ثلاثة خبراء إيرلنديين في IBM دراسة تفيد بأن و a للأنظمة المساعدة على أساس LLM. الوكالة tool-agnostic governance framework في الممارسة العملية، Agentsafe "تصنيع مخزون المخاطر الذكية في MIT من خلال تخصيص فئات المخاطر الخاطئة إلى مجموعة متكاملة من الآليات التقنية والتنظيمية"، مخصصة لمخاطر محددة. تزايد عمليات التأثير على مراقبة البشر، وتقييم الأنظمة بناءً على سيناريوات الحوادث قبل الاستخدام، بما في ذلك الأمن، خصوصية، العدالة، والسلامة النظامية. ويقدم طريقة تصل إلى المخاطر مع اختبارات ومقدرات وأصلها. constraints to risky behaviours assurance through evidence and auditability يبدو أن المفوضية هي وبالتالي، فإن التوسع الطبيعي لل ويستند إلى المبادئ الأخلاقية (المسؤولية والشفافية والسلامة)، وتشكل من خلال عمليات إدارة المخاطر المعمول بها مع المعايير الدولية، ويبدو أن لها القدرة على حل التحديات الرئيسية لشركة Agenttic AI: و . very promising framework التقليدية timely containment effective human oversight AAGATE في نوفمبر 2025، على الجانب التقني أكثر تعقيدا، أصدرت 11 من المبتكرين والباحثين والخبراء الصناعيين ونصت على وتحديداً، يُعرف باسم "مبادرة إدارة NIST AI RMF-aligned for Agentic AI". وأوضح أن “أدوات AppSec التقليدية والتوافق كانت مصممة للبرمجيات التحقيقية، وليس أنظمة التفكير الذاتية قادرة على التفكير”. الورق Agentic AI Governance Assurance & Trust Engine (AAGATE) القبول من أجل إغلاق هذه الفجوة، أودي (إدارة، خريطة، قياس، إدارة) ، والتي تضم "مرافق أمنية متخصصة لكل وظيفة RMF: إطار AGENTIC AI Threat Modeling MAESTRO for Map ، وهي مزيج من AIVSS من OWASP و SSVC من SEI for Measure ، ومصطلح AGENTIC AI Red Teaming Guide for Manage من اتحاد أمن الكمبيوتر المحلي لإدارة". operationalises the above-mentioned NIST AI RMF principles يمكنك رؤية خلاصة بسيطة من AAGATE نشر على . اتحاد أمن الضوء NVIDIA’s Agentic AI risk framework وفي نوفمبر 2025، شهدت أيضا إطلاق برنامج Agenttic AI Safety and Security. من خلال مجموعة من الخبراء من شركة تقع في زوريخ وتشمل الإطار إدخال وتهدف هذه المبادرة إلى "مساعدة في اكتشاف المخاطر المحيطة بالواقع والتقييم والتخفيف". إطار NVIDIA Lakera novel idea of using auxiliary AI models and agents In a nutshell, the risk framework involves four actors: المفوض الأمني العالمي الذي يحدد ويحقق السياسات في جميع أنحاء النظام والحدود المخاطر والقواعد التوسعية في جميع المفوضين، مع رؤية وشفافية كاملة. المهاجم المحلي المتصل، الذي يعمل كجماعة قذرة متكاملة، ويبحث في النظام مع الهجمات الواقعية والواقعية على سطح المخاطر الناشئة. Agent Defender Local Contextualized ، الذي يطبق الحماية في قاعدة في وقت التشغيل ، ويحقق أقل من الحقوق ، ويحقق استخدام الأداة ، ويحتوي على سلوك غير آمن. المشترك المحلي، الذي يراقب سلوك المشترك لتقييم السلامة والموثوقية والتردد، مما يفعله إشارات وإجراءات الإدارة. The framework operates in two phases: المرحلة الأولى: اكتشاف المخاطر وتقييمها. يحدث في بيئة منخفضة الصخور ويهدف إلى اكتشاف المخاطر الناشئة التي لا تظهر في الاختبارات الإستراتيجية. قد يحاول المهاجم المدمج التعبير عن هجمات المنافسة (الخلاص السريع، البيانات المشتعلة للتحقق أو سلسلة أدوات غير آمنة) في حين يراقب التقييم إشارات التنفيذ الكاملة لتقييم السلامة، والموثوقية، والتوافق مع السياسات. المرحلة الثانية: التخفيف المدمج والتحكم المستمر. يطبق هذا التحكم في الإنتاج. يتم تشغيل النظام مع حماية في النطاق التي تمنع الوصول إلى الأقل أهمية، وتحديد الدعوات الأدوات، وتطبيق مراقبة، وتحتوي على سلوك غير آمن في الوقت الحقيقي. يقيس عنصر التحكم بشكل مستمر سلوك النظام ضد الطرق المتوقعة والحدود المحددة للمخاطر، وتشغيل الإشعارات أو تشديد البشرية عند الحاجة. يضمن هذا النظام أن الأمن هو عملية إدارة متكاملة ومستمرة تتعلق بالمخاطر المتعلقة بالمخاطر، والتناقضات المتغيرة، والتهديدات الجديدة. Agentic Risk & Capability (ARC) Framework فريق الذكاء الاصطناعي المسؤول في ممارسة الذكاء الاصطناعي في GovTech سنغافورة نشر على الأو ويهدف البرنامج إلى تحديد وتقييم وتقليل مخاطر السلامة والأمن في أنظمة الذكاء الاصطناعي العملي. Github Agentic Risk & Capability (ARC) framework من المثير للاهتمام، فقد تطور فريق العمل تصنيفًا متكاملًا يهدف إلى القدرة على تصنيف العاملين في الذكاء الاصطناعي في ثلاثة مجالات رئيسية: القدرات المعرفية (التخطيط والتخطيط والتعلم والتخطيط) القدرة على التفاعل (كيف تتعرف العاملين على وتواصل وتأثير البيئة أو البشر) القدرة التشغيلية (ما إذا كان العاملين يعملون بشكل آمن وفعال) كما تم إنشاء محفظة من المخاطر تتصل بإمكانيات بالخطر المحدد: مخاطر المكونات (الخطأ أو الضعف في وحدات النظام) مخاطر التصميم (المعمارية أو المنطق أو مشكلات حوافز القرار) المخاطر ذات الصلة بالقدرة (خطرات تنشأ من قدرات العميل، هروب المكافآت) ثم يتم تشكيل كل من المخاطر إلى مراقبة تقنية محددة (الحماية والسياسات والمراقبة) لتقليلها، مما يتيح الفرصة لمراقبة المخاطر بشكل مباشر. تعلم المزيد على . Github Getting ahead of the singularity الذهاب إلى الوحدة نحن بعيدون جدا عن ومع ذلك، ليس من المستغرب أن تصورنا المتغير عن ما هي أجهزة الذكاء الاصطناعي حقاً - أنظمة البرمجيات المعقدة على عكس الروبوتات الرومانسية المستعدة لتدميرنا في نومنا - يدفعنا إلى التفكير في هذا الأخير بدلاً من الأول. horrors of the AI singularity في الوقت الحاضر، هذه الخوفات غير منطقية ويجب وضعها في السياق المناسب. إن إطار الإدارة المتطور في جميع أنحاء العالم يشير إلى أن Agentic AI هو هنا للبقاء، والمخاطر المحتملة هي على الأرجح واقعية، وبعض الأطراف تعمل على تحقيق ذلك. . AI agents bringing as many benefits as potential dangers address them proactively
