深夜のレッドチームの練習で、研究者らは クライアントの自律的なブラウザベースのAIエージェントがCTOの認証情報を偶然に漏らした。 内部のGitHubの問題ページに隠されていたエージェントは、 最近使われているオープンソースのフレームワーク 種子ラウンドで1700万ドル、VCの世界でタイトルを作り続けている。 観る デヴ・デイ ブラウザ利用 上げる このコンセプトの迅速な証明は、より深い問題を暴露しました。 ベンチャー資本は、LLMエージェントをより速く、より有能にするためにレースに浸透し続ける一方で、セキュリティは後で考えるものである。 今日、自律的なブラウザベースのエージェントはすでにプライベートインボックス、ブックホテルにアクセスし、財務記録を調和しています。 ほとんどのエンタープライズAIエージェントは、それらをツール(例えば、外部データを取得するインターフェイス)として使用します。 しかし、その成長を促進する業界自体は、設計の前提ではなく機能アドオンとしてセキュリティを扱っています。 によると、 現在、大手企業の82%が、少なくとも1つのAIエージェントを生産ワークフローで運用しており、2028年までに13億人のエンタープライズエージェントユーザーが使用される見通しだ。 市場研究者 How Hackers Exploit Enterprise AI Agents ハッカーがエンタープライズAIエージェントを利用する方法 企業向けAgentic AIセキュリティとガバナンスの主要なプロバイダーの1つであるZenity Labsは、 大手企業がクライアントサービスリクエストを処理し、サポートチケットを処理し、内部CRMシステムにアクセスし、さまざまなビジネスワークフローを実行するために展開する、3000を超える公開アクセス可能なMS Copilot Studioエージェント。 発見 会社の調査は、完全な攻撃の連鎖を明らかにした。 OSINT テクニックが使用され、公開された Copilot Studio エージェントをマッピングし、識別しました。 エージェントの処理ロジックを操作するために慎重に設計されたプロンプトと電子メールを製造。 エージェントは人間の相互作用なしに拉致され、本質的にエンタープライズシステムへの自動化されたバックドアとなった。 攻撃者は、CRMデータベース全体を落とし、敏感な内部ツールを暴露し、適切なガードレールが欠けていたエージェントワークフローの脆弱性を悪用することができる。 reconnaissance weaponization compromise exfiltration Copilot Studioのエージェントのセキュリティは失敗したため、柔らかい限界、すなわち脆弱で表面レベルの保護(すなわち、技術的コントロールなしでAIに何をすべきか、何をすべきでないかに関する指示)に過度に依存していたが、エージェントは「正当な顧客のみを助ける」という指示を受けたが、そのようなルールは回避しやすかった。悪意のある入力をフィルタリングするために設計されたプロンプトシールドは無効であったが、システムメッセージが「許容可能な行動」を示すことは、設計された攻撃を止めるためにほとんどなかった。批判的に言えば、エージェントを供給する入力源の技術的検証はなかった。 これとその他のエンタープライズAIエージェントのゼロクリックエクスペリエンスは、Black Hat USA 2025で示されました。 AIエージェントが自律的であるほど、セキュリティリスクが高くなります。 . the more autonomous the AI agent, the higher the security risk 独立して行動し始めると、ほとんどの組織が知らない攻撃の表面になる。 複数の情報源によると、多くのエンタープライズAIエージェントはセキュリティの取に敏感である。例えば、Salesforceのアインシュタインプラットフォームはかつて顧客通信を攻撃者によって制御された電子メールアカウントにリダイレクトするために操作されていた。 ハッキング攻撃は、ライトを消し、ライトを開き、ボイラーを開始しました - すべて住民からの命令なしで。 制御 From AI Browsers to Enterprise Backdoors AIブラウザからエンタープライズバックドアへ A 新 by Guardio finds that AI browsers, such as Perplexity's または ブラウザ会社から、詐欺および機密データの偶然の開示に敏感であるため、彼らはまだ偽と本物のサイトおよびリンクを区別することができない。 研究 星 デイ ガーディオが実施した複数のコントロールされたテストで、AIブラウザエージェントは、詐欺的な計画によってどれほど簡単に操作できるかを示し、実際のユーザーをリスクにさらした。 最初の実験では、エージェントがオンラインで購入する方法を調べた。テスターは偽のウォルマートウェブサイトを開き、コメットは詐欺の警告を引き起こすことなくそれをロードした。エージェントはタスクを完璧に完了し、Apple Watchを購入しました。さらに興味深いことに、ブラウザは自動的に支払い詳細と配送アドレスを記入し、サイトが詐欺であることを示す明確な赤旗にもかかわらず。 別のテストは電子メールの機能に焦点を当てた。研究者らは、悪意のあるリンクを含むウェルズ・ファーゴのメッセージとして隠蔽されたフィッシングメールを送った。コメットはそれを銀行からの正当な要請として解釈し、直ちにクリックした。 第三のエクスペリットは、より微妙なリスクを強調した:ウェブサイトに直接埋め込まれた隠されたプロンプト. これらの見えない指示は、AIエージェントによってユーザーの知識なしに実行され、攻撃者が悪意のあるファイルをダウンロードしたり機密情報を漏らしたりするなどの望ましくないアクションを強制することができます。 ガーディオの研究者は、関心のある傾向を強調しています: AIブラウザの開発者は現在、強力なセキュリティよりもユーザー体験を優先しています。 developers of AI browsers currently prioritize user experience over robust security. 実際には、これはセキュリティメカニズムがしばしばGoogleのセーフブラウジングなどの第三者のツールに低下することを意味します - 現代のAI駆動の脅威に対してしばしば不十分なソリューションです。 How to Give Agentic AI a Security-First Mandate エージェントAIにセキュリティーファースト・マンダートを与える方法 The takeaway is clear: systems that interpret and act on live web content must be built on a . "security-first" architecture and hard boundaries, i.e., actual technical controls that can't be bypassed through prompt manipulation 研究者 「8桁の金額を代理スタートアップに送信する投資家は、現在、セキュリティに資源の等しい割合を割り当てなければならない。 で、 そして、 機能性への経済的注入だけではもはや不十分であり、セキュリティは建築の基本原則とならなければならない。 ストレス threat modeling formal verification continuous stress testing このようなソリューションをパイロット化する企業にとって、これは新たな基準を設定します。代理システムは孤立的に動作するべきです:プランナー、実行者、および認証モジュールは、署名されたメッセージとサイズ制限されたメッセージを通じてのみコミュニケーションする独立した、相互に信頼できるプロセスとして存在しなければなりません。 セキュリティコントロールは、日常のエンジニアリングルーチンの一部にもなります: 敵対的なHTML注入とジャイルブレイクプロンプトは、任意の単一の失敗ブロックリリースで、CI/CDパイプラインに直接組み込まれるべきです。 同時に、サプライヤーは、従来のソフトウェア・ビルズ・オブ・マテリアル(SBOM)よりも多くのものを提供する必要があります。 彼らは、攻撃者がエージェントが脅かされた場合にどのようなデータ、役割、および許可を得るかを明確に示すリスクマップを公開することができるはずです。 個々のリスクと、より広範な社会的影響の両方についての透明性を求める。 AIリスク管理枠組み(AI-RMF) 最終的に、重要インフラの展開は規制のストレステストを受けるべきである。銀行業界と同様に、レッドチームによる独立した評価は、高いレベルの調査結果を公表する義務が伴い、米国とEUの国際慣行への信頼と調和の前提条件となる。 そうでなければ、代理人AIの採用のペースは、すぐにリスクを管理する能力を上回るだろう。
