LLMjackingとは? 大きな言語モデルの急速な増加は、ハッカーに攻撃するための新しい、収益性の高い方法を与えました。LLMジャッキングは、悪用のために自己ホスティングのLLMインフラストラクチャの違法なハイジャックであり、直ちに脅威です。 ," 複雑な計画は、暴露されたLLMとモデルコンテキストプロトコルエンドポイントのインターネットを検索し、それらをコントロールし、暗黒ウェブ市場で盗まれたリソースを販売する。 奇妙なバザール作戦 この記事では、LLMjackingがどのように機能するか、どのような弱点を活用しているか、そして最も重要なことは、あなたが今現在使用できるコードレベルのソリューションで、この増加する脅威から自社ホストのLLMを保護することができます。 「LLMジャッキング攻撃の解剖学」The Anatomy of a LLMjacking Attack LLMジャッキングは単なる単一の実行ではなく、複雑で多段階的な操作であり、これらの攻撃の背後にあるメカニズムを理解することは、これらの攻撃に対する効果的な防御策を策定する最初の段階です。 ステップ1:スキャン 自動的に動作するボットは、常にインターネット上で人気のある自己ホスティングのLLMフレームワークにリンクされているオープンポートとサービスを探しています。 
 
 
 
 Ollama インスタンスのデフォルトポートは 11434 です。 これには、LiteLLMまたはFastChatで作成されたAPIが含まれ、標準開発ポート(8000)で動作します。 非認証モデルコンテキスト プロトコル サーバーは、AI エージェントがこれを行うための標準的な方法を提供することによって、さまざまなツールやデータ ソースと作業を容易にします。 ステップ2:Validation 潜在的なターゲットが特定されると、エンティティのインフラストラクチャは、たとえば「silver.inc」が8時間以内にエンドポイントを評価する。 
 
 
 
 
 各モデルのそれぞれの機能とともに既存のモデルの包括的なリストを作成します。 応答の有用性と迅速性を評価する。 エンドポイントがレート制限を実装しているか、または追加のセキュリティ対策を持っているかを確認します。 内部システム内のサイドナビゲーションの潜在的な経路を探る。 ステップ3:貨幣化 検証済みエンドポイントは、「The Unified LLM API Gateway」に追加され、30以上の異なるLLMへのアクセスを提供する市場で、すべてハイジャックされたインフラストラクチャで実行されています。このプラットフォームはオランダの弾道防御インフラストラクチャでホストされ、DiscordとTelegramチャンネルを通じて販売されています。 LLMジャッキング攻撃の財務的およびセキュリティの影響は深刻です。大規模なモデルで推測を実行すると、コンピューティングの高コストのせいで、膨大なクラウド請求に迅速に加算することができます。また、ハイジャックされたLLMがリクエスト拡大の生成または機能呼び出しを通じて機密性の高い内部データにアクセスできる場合、データが盗まれる確率は非常に高いです。 問題の起源:デフォルトで不安全な展開 LLMjackingがうまく機能する主な理由は、多くの自己ホスティングのLLMフレームワークがローカル、シングルユーザ開発のために作成され、生産やウェブ曝露環境のためのデフォルトでは安全ではありません。 Ollama は自分のコンピュータで LLM を実行するための最良のツールの 1 つです Ollama は、あなたが http://localhost:11434 にアクセスするときにログインする必要がないように設定されています。これは地元の開発にとって有意義ですが、そのポートが意図的にまたは誤ってインターネットに開かれるとすぐに、それは大きなセキュリティの穴になります。 良いニュースは、これらの問題は、あなたが正しい方法で物事を行う場合に修正することができるということです. 次の部分では、あなたがあなたの自己ホストLLMインフラストラクチャを保護するためにできる具体的なことについて話します。 自社ホストLLMをより安全にするための有用なガイド あなたはあなたの自己ホストのLLMインフラストラクチャを保護するために防衛の深いアプローチを使用する必要があります. あなたは単にあなたのサーバーの前にファイアウォールを置くことはできません; あなたはバックの各層にセキュリティコントロールを追加する必要があります. これらはあなたがする必要がある最も重要なことです。 1. Never show raw endpoints: the power of the reverse proxy (決して原始エンドポイントを表示しないでください:逆プロキシのパワー) あなたの自己ホスティングのLLMを安全に保つためにできる最も重要なことは、原始的な、認証されていないエンドポイントがインターネットで見られることを決して許さないことです。あなたは常にあなたのLLMサービスの前に NginxやCaddyのような逆プロキシを置くべきです。 オリンマをNGINXとAPIキー認証で保護する方法 Ollama は、独自のコンピュータで LLM を実行するための素晴らしい方法ですが、Ollama インスタンスに API キー認証の一層を追加するために Nginx を使用する方法です。 まず、有効な API キーを保持するためのファイルを作成する必要があります. In this case, we will call it apikeys.txt: # apikeys.txt
my-secret-api-key-1
another-valid-key
 次に、 Nginx を逆プロキシとして機能するように設定し、入力するリクエストの権限ヘッダーに有効な API キーを確認する必要があります。 
# /etc/nginx/sites-available/ollama.conf A map to see if the API key you gave is valid.

    default 0; "Bearer my-secret-api-key-1" 1; "Bearer another-valid-key" 1;

server { listen 80; server_name your-llm-domain.com; 

    location / {
        # If the API key is not valid, return 401 'Unauthorized' and reject requests.

        # Proxy requests to the Ollama backend proxy_pass http://localhost:11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;
        
        # Raise the timeout for inference requests that take a long time to process. proxy_read_timeout 300s; proxy_connect_timeout 75s; 
    }
}
 これは2つの重要なことを行います: 
 
 
 マップ指令で $api_key_valid と呼ばれる変数を構築します. This variable will be set to 1 based on the Authorization header having a valid key; otherwise is set to 0. この変数は、有効なキーを持つ権限ヘッダーに基づいて 1 に設定されます。 場所ブロック内の $api_key_valid の値を確認します. リクエストが 0 である場合、401 エラーが許可されていないことを意味します. リクエストが許可されていない場合、リクエストはOllama バックエンドにプロキシを通過します. この設定により、Ollama インスタンスへのすべてのリクエストには、Autorization ヘッダーに有効な API キーが含まれる必要があります。 curl http://your-llm-domain.com/api/generate \-H "Authorization: Bearer my-secret-api-key-1" \
-d '{ "model": "llama2", "prompt": "Why is the sky blue?" }'
 2. MCP が安全であることを確認する モデルコンテキスト プロトコルは、AI エージェントを作るための素晴らしい方法ですが、それらをより安全にすることができます。 攻撃者は、MCP サーバーが保護されていない場合に MCP サーバーが使用するために設定されているツールや API にあなたの LLM やすべてのツールにアクセスできます。 ネットワークレベルでの孤立化 MCP サーバーは、可能な限り、公共のインターネットに直接接続されないでください。 クライアントの数が少ない場合、VPN やその他のネットワークレベルの制御を使用してアクセスを制限してください。 セキュリティ グループまたはネットワーク ポリシーを使用して、クラウドにデプロイするときに承認されたサービスのみが MCP サーバーと話せるようにしてください。 認証と認証 MCP では、どの認証方法を使用するかを指定しませんので、自分で選ぶ必要があります。 少なくとも、すべてのリクエストで推測できないユニークな API キーが必要です。 プライバシーを維持する必要がある場合は、OAuth 2.0 または相互 TLS のような強力な認証方法を使用することを考えてください。 また、クライアントがどのツールを使用できるかを制御するには、詳細な許可モデルを使用する必要があります. For example, you could have a "read-only" client that can only use tools that give you information and a "read-writing" client that can use tools that change data. 入力と出力の清掃 他のウェブアプリケーションからの入力を信頼しないように、あなたは決してクライアントからの入力を信頼するべきではありません。注入攻撃を停止するには、注意深く清掃し、あなたのMCPサーバへのすべての入力をチェックする必要があります。 3. Rate Limiting Work をうまく行う 料金制限は、サービス拒否攻撃や、Operation Bizarre Bazaarで発生したリソース乱用から保護するための良い方法です。クライアントが指定された期間内に提出できるリクエストの数を制限することは、単一の悪意のあるアクターがシステムを過剰に負荷させたり、大幅なコストを発生させる可能性を防ぐために役立ちます。 利率制限を実施するためのさまざまな戦略があります: 
 
 
 
 Per-IP Rate Limiting: 個々の IP アドレスから生じるリクエストの量を規制します。実装は簡単ですが、分散攻撃に対して効果がありませんし、NAT の背後で動作するユーザーを不当に罰せることがあります。 API キーに基づく割合制限の実施は、より効率的な戦略であることが証明され、このようにしてユーザー間のリソースの公平な配分を保証し、不正行為者を特定し、ブロックすることを容易にします。 トークンベースの料金制限:LLMの文脈では、要求の頻度とは異なり、生産されたトークンの量に基づいて料金制限を実施することは、一般的により論理的です。 生産システムでは、スライドウィンドウカウンターを持つRedisなどのより強力でスケーラブルなソリューション、またはflask-limiterのような専用レート制限ライブラリを使用したいと思います。 追加セキュリティのベストプラクティス 前述の主な防御に加えて、以下のセキュリティ対策を実施することを検討します。 すべてのアクセス活動を監視し、ドキュメントする。 すべての API リクエストの包括的な記録を保持し、使用された API キー、起源 IP アドレス、要求されたモデル、生成されたトークンの合計数を文書化します。これにより、異常な行動を特定し、潜在的なセキュリティ問題を調査するのに役立ちます。 ルーチンセキュリティ評価 外部攻撃表面を定期的にスキャンして、オープンなサービスを特定します. nmap やクラウドネイティブのセキュリティスキャナなどのツールを使用して、攻撃者による潜在的な取の前に誤って構成されたエンドポイントを特定します。 利用制限の設定 割引制限を実装することに加えて、各APIキーに対して厳格な使用制限を設定することが推奨されます. たとえば、毎月100万トークンを割り当てることができます. This provides an additional layer of security to prevent the misuse of resources. あなたのソフトウェアを更新 あなたのLLMフレームワーク、反転プロキシ、およびオペレーティングシステムを常にアップグレードして、既知の脆弱性を修正してください。 結論:安全を第一に置く時が来た。 LLMjackingの増加はAIコミュニティを目覚めさせるべきである。我々はもはやセキュリティを無視する余裕がない。我々はAIができることの限界を引き続き押し上げる必要があるが、我々はまた、セキュリティを第一に置き、攻撃に耐えられるシステムを作らなければならない。 Operation Bizarre Bazaarキャンペーンは、攻撃者が積極的に弱いLLMインフラストラクチャを広範囲で検索し、使用していることを示しています。良いニュースは、この記事の防衛 - 逆プロキシの後ろにあなたのLLMを置くこと、強力な認証と権限の使用、および厳格な割合制限の実施 - は、多くの作業を必要としないよく知られているセキュリティ対策です。 私たちはAIシステムを安全にするために必要なツールを持っています。私たち、最前線で働くエンジニアや開発者は、それらを使用する必要がある人です。あなたは今日のこれらのステップを取ってあなたのAIインフラストラクチャを安全に保つことができます。

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

LLMjackingは、自己ホスティングAIインフラストラクチャに対する高額な新たな脅威として現れる

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

ワークフローを10倍に向上させる方法: 必須アプリ17選

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps