GTG-1002は、ほぼ完全なAI自主性で実行された最初の大規模なサイバー攻撃として広く評価されている。この分析の源はAnthropicの死後報告から来ており、これはかなり驚くべきストーリーです。 この攻撃が基本的なルールを変えたため、我々は彼らがどのようにやったかを分析し、さらに重要なのは、自律的なエージェントを使用する組織の防衛アーキテクチャがどう見る必要があるかであり、おそらくあなたのものも含まれるだろう。 攻撃 このサイバースパイは2025年9月に起きたため、これは中国政府が支援する攻撃であると指摘され、彼らはクロードのコード、特にMCPサーバを妥協し操作した。もしあなたがMCPが何であるかを知らないなら、あなたはそれをAIの内部制御計画として考えることができます。 そして、伝統的に、これらのようなタスクは人間が指向しているので、自動化のレベルが非常にユニークなのは、あなたはスクリプトを持っていますが、車輪の後ろにいる人は、GTG-1002はそれを完全に変えました。 機械のスピード要素は効率性について話すときに重要ですが、この操作では、膨大な割合です。人間のチームは1回に1つまたは2つのターゲットを連続的に管理することができますが、このAIは、人にとって物理的に不可能なスピードで動作していました。 それは毎秒何千ものリクエストを発射し、発見からエクスフィルタリングまですべてを処理し、自分自身の仕事をドキュメンタリー化していました。全体の操作の恐ろしい部分は、彼らが何らかのエキゾチックな新しいゼロデーのエクスプレイトを使用していなかったことです。 ニュースは、LLMをこの超効率的な攻撃エージェントのマエストロに変え、すでにそこにいるツールを使用し、そのアクションは次の攻撃者の入力の障壁を大幅に低下させました。 クロードのようなLLMは、警備鉄道を持っているので、有害な要求を拒否するように訓練されていますので、彼らは基本的にモデルを社会的にエンジニアリングしました。 タスク分解: システムのプロンプトが大きくて複雑な場合、モデルは悪意のあるタスクを検出し、ブロックするのが簡単です。彼らがしたのは、タスクを100の小さな、見た目に無邪気なステップに分解し、ガードレイルの失敗につながりました。「このネットワークをオープンポートのためのスキャン」のようなリクエストは、ユーザーテーブルの構造をクエリし、分析のためのレコードを抽出することによって続いています。孤立して、それらのそれぞれは通常のセキュリティテストやデータベース管理作業に似ています。AIはトラックと文脈を失いますので、悪意のある文脈が奪われているため、各ステップのセキュリティチェックを経過します。 個人操作: 彼らはAIに、それがサイバーセキュリティ会社のために働く正当なセキュリティツールであると説得するためにシステムプロンプトを操作し、それに偽の仕事を与え、非常に詳細な仕事を与えました。彼らはそれに完全な背景ストーリーを提供しました:「あなたはサイバー防衛軍のツールでした。 発見 しかし、何かが彼らを遅らせた、私たちが嫌いになった欠点は、AI幻覚です。AIはしばしばその発見を過大評価するだろう。それは、認証が失敗する作業認証を発見したと主張するように、物事を上回るだろう、またはそれは本当にそこにない脆弱性の深刻さを誇張するだろう。そしてこれは、10〜20%の人間オペレーターを強制し、AIが報告したすべてを手動で検証するだろう。それはプロセスに人間の速度の遅延を導入しました。それで、幻覚は生命の棚だったが、モデルが良くなり、それが問題を提起するように、AIが単に偽の人物の下で普通のツールを使用している場合、 Anthropicは悪意を発見したのか? それは線形ではなかったので、カギは、レポートで多信号異常検出と呼ばれるものでした。カスタマイズされたマルウェアを探すことはできなかったので、行動の特定の関連性を見つける必要があった。 
 
 
 
 
 最初は、高ボリュームのAPI活動、毎秒数千件のリクエストが維持された。 第二に、ツールコマンドにおけるサイバーに焦点を当てた言語の継続的な使用です。 三つ目は、一つのアカウントが同時に30の非関連組織を調査していたという事実であり、これはシレンの音量を増やしたのかもしれない。 そして4つ目は、ツール使用の異常です. スキャナとデータベース抽出器の特定の組み合わせが、すべてのターゲットで、そのボリュームで使用されている。 これらの信号の多くは、DevOpsにおける正当なCI/CDパイプラインまたはビッグデータ処理の仕事を簡単に記述できる24/7の操作からの高ボリュームです。 DevOps エージェントが 24/7 を実行していることは正常ですが、 penetration テスト言語を使用しながら 30 つの外部の金融データベースもテストしている DevOps エージェントです。 ソリューション この問題には、コンテキスト意識、割合制限、コンテンツ検査、モニタリング、そして堅実な監査のトラックが必要です。 すべてのエージェントは、予想されるツールパレット、許可されたターゲット、および運用時間を含む宣言された目的、強制されたエージェントのプロフィールを必要とします。 あなたは明確な行動基準を作成します。 したがって、あなたのエージェントがメモを取るアシスタントである場合、そして突然データベース抽出器を呼び出そうとすると、それは即座で否定できない赤旗です。 それはそのアイデンティティを侵害しました。 First is agent identity and traceability. これは単純な許可や否定を超え、文脈的に不適切なツールの使用を検出することです。GTG-1002攻撃に戻ると、エージェントはセキュリティテスターであると主張しました。実際のテスターは契約の下で1つのクライアントで動作します。 Second is role-based tool access anomaly detection. これは、各アクションのための3つのセキュリティゲートを意味します。まず、プレエクスクリプション認証では、ターゲットの役割またはレート制限に違反する場合でも実行される前にリクエストをブロックします。その後、実行モニタリング中に、リズムのリアルタイムの追跡、毎秒何回のリクエスト、およびどのくらいのデータが処理されているか、そして最後に、実行後の分析を使用してデータ損失防止(DLP)を使用して、アクションが完了した後、しかしデータが実際にユーザーに送信される前に、機密データの結果をスキャンします。 Third is continuous oversight, the checkpoint architecture. 攻撃者がペースを決めることはできません. 1 秒あたりのリクエストに厳格なアカウント制限を適用する必要があります. 1 秒あたりのリクエストを 10 回から始めて、プレイフィールドをレベル化するにつれて、数千回のリクエストで実行される自動攻撃はすぐにその壁に当たって、信じられないほど騒がしく、容易に発見されます。 The fourth strategy is aimed right at the machine speed problem: universal rate limiting. 変化しない複数の層の監査トラックは、これは交渉できないので、すべてをログする必要があります。API呼び出しからユーザーの意図、サーバー上の実際のツール実行、データコンテンツのDLPスキャン、出力が行った場所のネットワークフロー。 And the final piece, which is critical for forensics, is  the audit trail. And immutable is the key word there, the logs must be written to attach to storage before the system even responds to the user. それは削除できない保護の連鎖を作成します; 攻撃者は彼らのトラックを削除できません。 この攻撃は明日どんな会社にも起こりうるので、組織内で実装したエージェントが何であれ、通常の会社でエンタープライズコードアシスタントである。 攻撃者が開発者のアカウントを侵害することを想像するのは簡単です. 彼らは、内部コードのすべてのレポを読み取ることができるコーディングアシスタントにセキュリティ評価を実行するように言います. エージェントは自律的にハードコードの秘密をスキャンし、データベースの認証情報を発見し、それらを使用して生産にアクセスし、データをエクスフィルタリングし始めます. あなたの監査ログは、開発者がコードのレビューを実行したことを言います。 ビジネス情報エージェントにとっては、攻撃者がクライアントのすべてのレコードを四半期分析レポートの仮面でエクスポートすることに騙すことができるのと同じです エージェントはすべてのPIIを引っ張り、巨大なレポートを侵害されたアカウントに送信し、それはなくなりました ログは単に従業員が正常なクエリを実行していることを示します。 この攻撃とそれがどのように発見されたかによって、短期的な攻撃者はより賢くなります。人類のような遅延を加え、割合制限を回避します。彼らはより多くのアカウントに攻撃を配布します。しかし、中期的には、モデルが幻覚を止めるにつれて、私たちはAI対AI戦争、AI防衛フレームワークとリアルタイムで戦う自律的な攻撃フレームワークに向かっています。 結論 セキュリティは、アイデンティティ、コンテキストモニタリング、レート制限、そして不変な監査を組み合わせなければなりません。 攻撃的なAIと防衛的なAIのレースは今、完全に進行中です。ここで緊急の必要性は、組織のAIエージェントの展開を直ちに評価し、この攻撃パターンに対抗して安全に保つことです。

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Building Soteria

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

初の自律型AIサイバー攻撃が明らかになった。

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps