今年は、テクノロジーでは、Agentic AIの成長とともに始まりました。2026年に2カ月未満で、AIの議論はすでに始まっています。 彼らの能力、そして彼らの企業の利点. エージェントの間で発明 夜間およびサイエンスフィクションのシナリオでは、よりプロザイックな質問のセットが浮上します. いくつかの名前を挙げる:マシンにタスクを委任することのガバナンスリスク、人間の労働力への影響、必要性の増加 . hijacked by AI agents クルスタファリア宗教 human control and oversight 私はテクノロジーのヒープのいかなる形にもアレルギーがあるので、クリスマスまでにAIエージェントが惑星を支配するという話に屈しないが、企業はAIエージェントを導入してワークフローを最適化する可能性を探求している。 シンガポールのAgenttic AI Governanceの早期動き 2026年1月、シンガポールのInfocomm Media Development Authority(IMDA)が発表した。 まず、(ボランティア)フレームワークは、エージェントの「機密データへのアクセスと環境に変更を加える能力」が、まったく新しいリスクプロフィールを引き起こすことを認めている。 エージェントが金融取引を行うか、個人データを含むデータベースを変更する可能性があるため、これらの潜在的なリスクの規模は最小化することはできません。 Agentic AI ガバナンス フレームワーク risk of outcomes becoming more unpredictable Agentic AI ガバナンス フレームワーク シンガポールのモデルは、統治の書き換えではなく、 たとえば、公平性と透明性の原則はこれまで以上に適用され続け、可能な限りAIのライフサイクルを通じて継続的に実施されるべき人間の責任、人間の監督、および制御も同様です。 adapting AI considerations and translating them for agents Agentic AI risks シンガポールの枠組みは、Agentic AIのリスクは、 LLMに関連するリスク(SQLおよびプロンプト注入、幻覚、偏見、データ漏洩など) エージェントは、任務を完了するための間違った計画を立てたり、あるいはその後の段階で、実行中に、存在しないツールを呼び出したり、偏見的な方法で呼び出したりすることによって幻覚を起こすことがあります。 伝統 the way they manifest themselves エージェントが互いに相互作用する場合、リスクはさらに高くなります. A mistake by one agent can produce a cascading effect. 上記のように、複雑な相互作用は、予測不能な結果と行動の連鎖における予期せぬボトルネックにつながる可能性があります。 wrong output is passed on to other agents モデルは5つのキーを特定し、潜在的に : harmful categories of risks 誤った行動. AI エージェントが、検出された異常が事前定義された限界に合わないため、IT インシデントを人間のオペレーターにエスカレートしないことを想像してください. Depending on the context, the wrong action may cause system compromise. このリスクは、エージェントが許可範囲外のアクションを行うことによって設定されます。 偏見あるいは不公平な行動 私たちは偏見に慣れているので、これは伝統的なAI、特にバイナリ分類モデルの頻繁な問題です。 データ侵害 典型的なシナリオは、エージェントが機密情報を無意識に開示しているか、それらを機密情報として認識しないか、またはエージェントを通じてプライベート情報にアクセスする悪意のあるエージェントによるセキュリティ侵害である場合です。 このリスクは、他のシステムと相互作用するエージェントが行った不当なアクションが、情報またはアクションの流れを妨げる(例えば、生産コードベースを誤って削除する)拡散した場合を指します。 Governance model IMDAのAgentic AIガバナンスモデルは、4つの柱に基づいています。 1. Assessing risks upfront 基本的に、このステップは、 エージェント配備のため、そして . determining risks and use cases designing a risk control system 使用事例の決定の中心は、リスクの識別であり、その機能として説明される。 そして モデルは、AIエージェントの潜在的な影響(展開領域、機密データおよび外部システムへのアクセス、エージェントの行動の範囲および可逆性)および確率(エージェントの自律性レベル、タスクの複雑さ)に影響する一連の要因を示しています。 一般的な脅威は、メモリ中毒、ツールの誤用、特権の妥協です。 impact likelihood potential external attack scenarios 次の論理的なステップは、エージェントの限界と許可を定義することです。これは、エージェントがツールやシステムへのアクセスの限界、自律性のレベル、影響領域(たとえば、ネットワークやデータへのアクセスが制限されている「自己管理環境」にエージェントを展開することにより、特にコードの実行などのリスクが高いタスクを実行している場合)を明確に示すポリシー、手順、プロトコルを作成することです。 . a mix of traditional identity access and human supervision is required 2. Making humans truly accountable 第2の柱の懸念 組織内外で、そして、 IMDAの基本的な前提は、組織や個人がその代理人の行動に責任を負うことである。 establishing clear responsibilities meaningful human oversight 組織内では、責任を定義すべきである:a) エージェントの高レベルの目標、限界、および総合的なガバナンスアプローチの設定を含む。 エージェントの要件、設計、制御、安全な実施および監視を定義することを含む。 基本的なセキュリティガードラインとセキュリティテスト手順の確立を含む。 エージェントの責任ある使用を確保し、関連するポリシーを遵守することを含む。外部の関係者は、たとえばモデル開発者やエージェントAIプロバイダーを含む可能性があり、これらに対して、組織は明確な責任を定めるべきである。 key decision makers product teams cybersecurity team users 意義ある人間の監視を設計するには、3つの措置が必要である。 例えば、高い賭けや不可逆的な行動(機密データを編集するか、データを永久に削除する)や、外部的で非典型的な行動(その範囲を超えて行動する代理人)など。 例えば、一般的な失敗モードを特定し、人間のコントロール実践を定期的に監査するように人間を訓練することによって。 . define action boundaries requiring human approval continued effectiveness of human oversight real-time alert monitoring 3. Implementing technical and control processes トップ of the LLM関連の技術コントロール、第3の柱は、ライフサイクルを通じてAgentic AIの新機能に必要な新しいコントロールを追加することを推奨します。 伝統 例えば、企業は厳格な展開前制御を導入すべきである。 企業は、エージェントをテストする際に、新しいリスク、ワークフロー、データセット全体の現実的な環境を評価し、テスト結果を規模で評価することを含む、包括的なアプローチを取るべきです。 AI、エージェントは継続的に監視され、展開後にテストされなければならないので、人間がリアルタイムで介入し、必要に応じてデバッグすることができます。 そして . using test agents 伝統 agents work at speed companies may struggle to keep up 4. Enabling end-user responsibility 最後に、AIエージェントを使用し、依存するエージェントであるエンドユーザーの責任と責任を確保するために、企業は、 (エージェントの能力と限界を伝える)および 組織は、エージェント(顧客サービスやHRエージェントなど)と対話するユーザー(外部ユーザー)の透明性や、エージェントを作業プロセスに統合するユーザー(コードアシスタントなど)の教育に焦点を当てることができる。 transparency education UC Berkeley’s Agentic AI framework UC BerkeleyのAgentic AIフレームワーク 2026年2月、一団の UCバークレー長期サイバーセキュリティセンターが発表 リスク枠組み IMDAと同様に、この論文は、エージェントによって導入されるリスクの増加を認識し、「意図しない目標追求、不正な特権の拡大や資源の取得、および自己複製や閉鎖への抵抗などの他の行動」を含む。 「従来のモデル中心のリスク管理アプローチを複雑にし、システムレベルのガバナンスを要求する」と述べた。 研究者 Agentic AI Risk-Management Standards プロフィール broadly reflecting NIST AI Risk Management Framework (AI RMF) unique challenges UC Berkeleyのフレームワークは、明示的に、 しかし、著者らによると、それはまた、政策立案者や規制当局によって「代理人工知能システムが主要なリスク管理慣行に沿って設計され、評価され、展開されているかどうかを評価するために使用することができる」としている。 single- or multi-agentic AI systems developers and deployers Agentic AI risks IDMAと比較すると、この論文はより幅広いリスクを特定しています: 差別と毒性、フィードバックループ、有毒なコンテンツの拡散、および薬物の可用性、品質および能力の差異を含む。 プライバシーとセキュリティ、個人データまたは機密データの意図せぬ開示、データ漏洩、および結果としての不一致の結果を含む。 誤った情報、特に、あるエージェントからの幻覚や誤った出力が他のエージェントによって再利用される場合。 複雑な攻撃のより簡単な実行、自動的な誤用、大量操作、詐欺、および調整された影響力キャンペーンを含む悪意のある行為者と誤用。 人間とコンピュータの相互作用、例えば、人間の監視の減少、社会的に説得力のある行動、およびユーザーがエージェントの行動を理解したり、それに反論するのに困難である。 監視の破壊、監視と反応を超える迅速な執行、および停止または抑制メカニズムを損なう行動を含むコントロールの喪失。 エージェント能力へのアクセスの不平等、集団的弱体化、大規模な経済的および環境的影響を含む社会経済的および環境的損害。 AIシステムの安全性、失敗、および制限、自動複製、誤差、欺瞞、合意、目標駆動計画、現実世界の影響、および不十分な人間の監視を含む。 Focus on human control IMDAと同様に、UCバークレーの基準は主に に焦点を当てる: enhance human oversight 人間のコントロールと責任(明確な役割と責任、役割の明確な定義、介入チェックポイント、エスカレーション経路、シャットダウンメカニズムを含む) システムレベルのリスク評価(特に複数のエージェントの相互作用、ツールの使用、環境へのアクセスに役立つ) 継続的なモニタリングおよび展開後の監視(代理行動は時間と文脈を越えて進化する可能性があります) 防衛の深さと抑制(現行の評価技術の限界により、エージェントを信頼できない団体として扱う) 透明性と文書化(システムの限界、制限、およびリスク緩和決定を関係者に明確に伝える) 著者は、独自の基準の限界を認めている。第一に、Agentic AIタクソノミー 二つ目は、複雑な複数のシステムの行動と自律性の向上により、強力な人間のコントロールと責任の適切な割り当てを確保することが困難になります。 widely vary and are inconsistently applied across the world このため、著者らは警告するように、この論文は「保守的な仮定、層の保護、継続的な再評価」を強調する「予防的なアプローチ」を採用し、静的な統治チェックリストの代わりに「代理人AIの研究、展開の実践、および統治の規範とともに進化することを目指す生きた枠組み」と見なすべきである。 NIST design 上記のとおり、フレームワークの設計 これは、4つのコア機能(Government、Map, Measure、Manage)を中心に、Agentic AIの取り組みを構築し、企業が知っている構造にリスク管理手順を適用し、その枠組みを構築するのを助けるための著者の意図的な決定です。 . overlaps that of NIST AI RMF consistent with existing practices More Agentic AI frameworks More Agentic AI Frameworks IMDAとUCバークレーのフレームワークは最近発表されていますが、 AIエージェントによるリスクに対処するプロセスや手順を概要するさまざまな他のモデルへの参照があります。 not the only Agentic AI governance programmes to be proposed Agentsafe 2025年12月、アイルランドのIBMの3人の専門家が論文を発表。 「A」 LLMベースのエージェントシステム セキュリティ tool-agnostic governance framework 実際には、Agentsafeは「MIT AI Risk Repository を、アブストラクトなリスクカテゴリーを、エージェント特有のリスクに合わせた、構造化された技術的および組織的メカニズムにマッピングすることによって操作化します。 , 人間の監視に大きな影響を及ぼす行動を拡大し、セキュリティ、プライバシー、公平性、およびシステム安全を含む、展開前の事件シナリオに基づいてシステムを評価する。 リスクをテスト、メトリック、および出身地に結びつける方法論を提供します。 constraints to risky behaviours assurance through evidence and auditability エージェントセーフはA 自然の延長は、 AIは倫理的原則(責任、透明性、安全性)に基づき、国際基準に沿った構造化されたリスク管理プロセスによって形作られ、Agentic AIの2つの主要な課題に対処する可能性を秘めているようだ。 そして . very promising framework 伝統 timely containment effective human oversight AAGATE 2025年11月、より技術的な面で、11人の起業家、研究者、業界の専門家が発表しました。 を提案する , defined as a “NIST AI RMF-aligned governance platform for Agentic AI”. この論文は、 「従来のAppSecとコンプライアンスツールは、自己指向の推論システムではなく、決定的なソフトウェアのために設計された」と述べた。 紙 Agentic AI Governance Assurance & Trust Engine (AAGATE) 仮定 このギャップを満たすために、AAGATE (Govern, Map, Measure, Manage) は、各 RMF 機能のための「専門的なセキュリティ フレームワーク」を統合し、「OWASP の AIVSS および SEI の SSVC for Measure のハイブリッド、および Cloud Security Alliance の「Agentic AI Red Teaming Guide for Manage」をマスターするための Agentic AI Threat Modeling MAESTRO フレームワークです。 operationalises the above-mentioned NIST AI RMF principles You can have a look at a simplified summary of AAGATE published on the . クラウドセキュリティアライアンス NVIDIA’s Agentic AI risk framework 2025年11月には、Agentic AIのセキュリティとセキュリティの公表も行われました。 ある専門家のグループから チューリッヒに拠点を置く企業 この枠組みは、The Framework introduces the 「環境リスクの発見、評価、軽減の手助け」を目的としています。 枠組み NVIDIA Lakera novel idea of using auxiliary AI models and agents In a nutshell, the risk framework involves four actors: グローバルなコンテキスト化されたセキュリティエージェント(Global Contextualized Safety Agent)は、システム全体のポリシー、リスク値、およびエスカレーションルールをすべてのエージェントで設定し、実施し、完全な可視性と監査能力を有します。 ローカルコンテキスト化攻撃エージェント(Local Contextualized Attacker Agent)は、組み込まれたレッドチームとして機能し、現実的で文脈意識的な攻撃でシステムを調査し、新たなリスクを表面化します。 Local Contextualized Defender Agent は、ランタイムで帯域内保護を適用し、最小限の特権を強制し、ツールの使用を検証し、不安全な行動を含む。 局所評価エージェントは、エージェントの行動を監視し、セキュリティ、信頼性、および偏差を測定し、警告やガバナンスアクションを引き起こします。 The framework operates in two phases: 段階1:リスク発見および評価. サンドボックス環境で行われ、静的テストで現れないリスクを発見するように設計されています. 組み込まれた攻撃者は、敵対攻撃をシミュレートすることができます(即時注入、毒の回収データ、または不安全なツールチェーン)、評価者はセキュリティ、信頼性、およびポリシーの遵守を測定するために完全な実行痕跡を監視します. 目標は、脆弱性の識別、リスク値の評価、および展開前の防御コントロールの設計です。 段階2:組み込まれた緩和と継続的なモニタリング 生産にこれらのコントロールを適用します。 システムは、最小特権アクセスを強制し、ツール呼び出しを検証し、警備を適用し、リアルタイムで不安全な行動を含みます。 モニタリングコンポーネントは、予想された軌道と事前に定義されたリスクの限界に反してシステムの行動を継続的に評価し、必要に応じて警告を引き起こし、または人間のエスカレーションを起こします。 このシステムは、安全性が行動の流れ、状況の変化、および新興の脅威に対処する適応性、継続的な管理プロセスであることを保証します。 Agentic Risk & Capability (ARC) Framework GovTechシンガポールのAI実践の責任あるAIチームが発表 THE テクニカル・ガバナンス・プログラム「エージェント・AI・システムにおけるセキュリティ・セキュリティ・リスクの識別、評価、軽減」 GitHub Agentic Risk & Capability (ARC) framework 興味深いことに、チームはAIエージェントを3つの主なドメインに分類する能力中心の分類を開発しました。 認知能力(推論、計画、学習、意思決定) 相互作用能力(エージェントがどのように環境や人間に感知し、コミュニケーションし、影響を与えるか) 操作能力(エージェントが安全かつ効率的にアクションを実行するかどうか) 彼らはまた、特定のリスクと能力を結びつけるリスクレジストリを作成しました。 コンポーネントリスク(システムモジュールの故障または脆弱性) 設計リスク(アーキテクチャ、論理、または決定ループの問題) 能力特有のリスク(エージェントの能力から生じる脅威、報酬ハッキング) それぞれのリスクは、それを軽減するために、特定の技術的コントロール(ガードレイル、ポリシー、モニタリング)にマッピングされ、リスクコントロールの直接的な追跡性を提供します。 Find out more on . GitHub Getting ahead of the singularity ユニークさより先へ We are a long way from the しかし、AIエージェントが本当に何であるか、複雑なソフトウェアシステムと、私たちの睡眠中に私たちを滅ぼす準備ができているヒューマノイドロボットとは対照的に、私たちの感覚が変わったことは驚くことではありません。 horrors of the AI singularity 現在、これらの恐怖は不合理であり、適切な文脈に置かねばならない。 グローバルに発展するガバナンスフレームワークは、Agentic AIが残るためにここにいるというシグナルであり、潜在的なリスクは確実に現実的であり、一部の関係者が取り組んでいます。 . AI agents bringing as many benefits as potential dangers address them proactively
