Qu’est ce que le LLMjacking ? La montée rapide des grands modèles linguistiques a donné aux pirates un moyen nouveau et rentable d'attaquer. LLMjacking, qui est le piratage illégal de l'infrastructure LLM auto-hébergée à des fins malveillantes, est une menace immédiate. ," un plan compliqué qui recherche sur Internet les endpoints exposés LLM et Model Context Protocol, les contrôle et vend les ressources volées sur les marchés du dark web.Il y a eu plus de 35 000 sessions d'attaques, avec une moyenne de 972 attaques par jour. Opération Bizarre Bazaar Cet article va en grand détail sur la façon dont LLMjacking fonctionne, quelles faiblesses il profite, et surtout, les solutions au niveau du code que vous pouvez utiliser en ce moment pour protéger vos LLM auto-hébergés de cette menace croissante. L'anatomie d'une attaque LLMjacking LLMjacking n’est pas seulement un exploit singulier, mais plutôt une opération complexe, multi-étape caractérisée par une approche systématique.Comprendre les mécanismes derrière ces attaques constitue la phase initiale dans la formulation de défenses efficaces contre eux. Étape 1 : scan Les robots qui fonctionnent automatiquement recherchent toujours des ports ouverts et des services qui sont liés aux cadres LLM auto-hébergés populaires sur Internet. 
 
 
 
 Le port par défaut pour les instances Ollama est 11434. Vous pouvez accéder aux APIs compatibles avec OpenAI via le web. Ceux-ci comprennent ceux fabriqués avec LiteLLM ou FastChat, qui fonctionnent sur des ports de développement standard tels que 8000. Les serveurs de protocole de contexte de modèle non authentifiés facilitent le travail des agents d’IA avec différents outils et sources de données en leur fournissant un moyen standard de le faire. Étape 2 : Validation Une fois qu'une cible potentielle est identifiée, l'infrastructure d'une entité, par exemple, "silver.inc" évalue le point final dans les 8 heures, voire moins. 
 
 
 
 
 Créer un inventaire complet des modèles existants ainsi que de leurs fonctionnalités respectives. Évaluer l’utilité et la rapidité des réponses. Vérifiez si le point final met en œuvre une limitation de taux ou dispose de mesures de sécurité supplémentaires. Explorez les voies potentielles pour la navigation latérale au sein des systèmes internes. Étape 3 : Monétisation Des endpoints validés sont ajoutés à "The Unified LLM API Gateway", un marché qui offre un accès à plus de 30 LLM différents - tous fonctionnant sur une infrastructure piratée. Cette plate-forme est hébergée sur une infrastructure à l'abri des balles aux Pays-Bas et commercialisée via les canaux Discord et Telegram. Les implications financières et de sécurité d'une attaque LLMjacking sont sévères. Exécuter des inferences sur de grands modèles peut rapidement s'ajouter à d'énormes factures cloud en raison du coût élevé de l'informatique. De plus, si le LLM piraté peut atteindre des données internes sensibles via la génération augmentée par la récupération ou l'appel de fonction, les chances que les données soient volées sont très élevées. Source du problème : Déploiements non sécurisés par défaut La principale raison pour laquelle LLMjacking fonctionne si bien est que de nombreux cadres LLM auto-hébergés sont conçus pour le développement local, unique utilisateur et ne sont pas sécurisés par défaut pour les environnements de production ou exposés au web. Jetez un coup d'oeil à Ollama, qui est l'un des meilleurs outils pour exécuter des LLM sur votre propre ordinateur. Ollama est configuré de sorte que vous n'avez pas à vous connecter lorsque vous allez à http://localhost:11434. Cela a du sens pour le développement local, mais dès que ce port est ouvert à l'internet, soit par intention ou par erreur, il devient un gros trou de sécurité. La bonne nouvelle est que ces problèmes peuvent être résolus si vous faites les choses correctement. Dans la prochaine partie, nous allons parler des choses spécifiques que vous pouvez faire pour protéger votre infrastructure LLM auto-hébergée. Un guide utile pour rendre votre LLM autonome plus sûr Vous devez utiliser une approche de défense en profondeur pour protéger votre infrastructure LLM auto-hébergée. Vous ne pouvez pas simplement mettre un pare-feu devant votre serveur; vous devez ajouter des contrôles de sécurité à chaque couche de la pile. Ne jamais montrer les endpoints bruts: le pouvoir du proxy inverse La chose la plus importante que vous pouvez faire pour garder votre LLM autonome en sécurité est de ne jamais laisser le point final brut et non authentifié être vu par Internet. Vous devriez toujours mettre un proxy inverse, comme Nginx ou Caddy, devant votre service LLM au lieu de cela. Cela ajoute une couche importante de sécurité, telle que l'authentification, le cryptage TLS et la limitation des taux. Comment protéger Ollama avec l'authentification de la clé Nginx et API Ollama est un excellent moyen d'exécuter des LLM sur votre propre ordinateur, mais vous ne devriez pas le mettre sur le web. Voici comment utiliser Nginx pour ajouter une couche d'authentification de clé API à votre instance Ollama. Pour commencer, vous devez créer un fichier pour conserver vos clés API valides. Dans ce cas, nous l'appellerons apikeys.txt: # apikeys.txt
my-secret-api-key-1
another-valid-key
 Ensuite, vous devrez configurer Nginx pour agir en tant que proxy inverse et vérifier une clé API valide dans l'en-tête d'autorisation des demandes entrantes. 
# /etc/nginx/sites-available/ollama.conf A map to see if the API key you gave is valid.

    default 0; "Bearer my-secret-api-key-1" 1; "Bearer another-valid-key" 1;

server { listen 80; server_name your-llm-domain.com; 

    location / {
        # If the API key is not valid, return 401 'Unauthorized' and reject requests.

        # Proxy requests to the Ollama backend proxy_pass http://localhost:11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;
        
        # Raise the timeout for inference requests that take a long time to process. proxy_read_timeout 300s; proxy_connect_timeout 75s; 
    }
}
 Cela fait deux choses importantes : 
 
 
 Il construit une variable appelée $api_key_valid avec la directive de la carte. Cette variable sera définie à 1 en fonction de l'en-tête d'autorisation ayant une clé valide; autrement, elle est définie à 0. Il examine la valeur de $api_key_valid dans le bloc d'emplacement. Si la demande est 0, une erreur 401 non autorisée signifie qu'elle n'est pas autorisée. Cette configuration signifie que chaque demande à votre instance Ollama doit inclure une clé API valide dans l’en-tête Autorisation : curl http://your-llm-domain.com/api/generate \-H "Authorization: Bearer my-secret-api-key-1" \
-d '{ "model": "llama2", "prompt": "Why is the sky blue?" }'
 Assurez-vous que le MCP est sûr Le protocole de contexte de modèle est un excellent moyen de créer des agents d'IA, mais il les rend également moins sûrs. Les attaquants peuvent entrer dans vos LLM et tout outil ou API que le serveur MCP est configuré pour utiliser s'il n'est pas protégé. Isolation au niveau du réseau Votre serveur MCP ne devrait pas être directement connecté à l'Internet public chaque fois que cela est possible. Si seulement un petit nombre de clients ont besoin de pouvoir y accéder, utilisez un VPN ou d'autres contrôles au niveau du réseau pour limiter l'accès. Utilisez des groupes de sécurité ou des politiques de réseau pour vous assurer que seuls les services approuvés peuvent parler à votre serveur MCP lorsque vous le déployez dans le cloud. Authentication et autorisation MCP ne dit pas quelle méthode d'authentification utiliser, vous devez donc en choisir une vous-même. Vous devriez au moins avoir besoin d'une clé API unique qui ne peut pas être devinée pour chaque demande. Si vous avez besoin de garder les choses plus privées, pensez à utiliser une méthode d'authentification plus forte comme OAuth 2.0 ou TLS mutuel. Vous devriez également utiliser un modèle de permission en grains fins pour contrôler les clients qui peuvent utiliser les outils.Par exemple, vous pourriez avoir un client « à lire seulement » qui ne peut utiliser que des outils qui vous donnent des informations et un client « à lire et à écrire » qui peut utiliser des outils qui changent les données. Nettoyage des entrées et des sorties Vous ne devriez jamais faire confiance aux entrées du client, tout comme vous ne devriez pas faire confiance aux entrées de toute autre application web. Pour arrêter les attaques d'injection, vous devriez nettoyer soigneusement et vérifier toutes les entrées vers votre serveur MCP. Faire le taux de limitation du travail bien La limitation des tarifs est un bon moyen de se protéger contre les attaques de déni de service et l'abus de ressources qui se sont produits dans Operation Bizarre Bazaar. Limiter le nombre de demandes qu'un client peut faire dans un délai spécifié sert de protection contre le potentiel qu'un seul acteur malveillant surcharge votre système ou supporte des coûts importants. Différentes stratégies existent pour la mise en œuvre de la limitation des taux: 
 
 
 
 Per-IP Rate Limiting: Régule le volume des demandes provenant d'une adresse IP individuelle. Bien qu'il soit simple à mettre en œuvre, il peut s'avérer inefficace contre les attaques distribuées et pourrait injustement pénaliser les utilisateurs opérant derrière un NAT. La mise en œuvre de la limitation des taux basée sur la clé API s’avère être une stratégie plus efficace, garantissant ainsi une répartition équitable des ressources entre les utilisateurs et facilitant l’identification et le blocage des individus abusifs. Limitation du taux basé sur les jetons: Dans le contexte des LLM, il est généralement plus logique d'appliquer une limitation du taux basée sur la quantité de jetons produits, au lieu de la fréquence des demandes. Dans un système de production, vous voudriez utiliser une solution plus robuste et évolutive, telle que Redis avec compteurs de fenêtres glissantes, ou une bibliothèque dédiée de limitation de taux comme le flacon-limiter. Les meilleures pratiques de sécurité supplémentaires Outre les défenses primaires décrites ci-dessus, envisagez de mettre en œuvre les mesures de sécurité suivantes : Surveiller et documenter toutes les activités d’accès. Maintenir des registres complets de toutes les demandes d'API, documentant la clé API utilisée, l'adresse IP d'origine, le modèle demandé et le nombre total de jetons générés.Cela aidera à identifier les comportements inhabituels et à enquêter sur les problèmes de sécurité potentiels.Pour faciliter l'analyse, implémenter un système de journalisation centralisé tel que ELK Stack ou Splunk. Évaluations de sécurité de routine Utilisez des outils tels que nmap ou des scanners de sécurité natives au cloud pour identifier les endpoints mal configurés avant d’être exploités par les attaquants. Établir des contraintes d’utilisation En plus de la mise en œuvre de la limitation des taux, il est conseillé d’établir des limites d’utilisation strictes pour chaque clé API. Par exemple, il est possible d’allouer une limite de 1 million de jetons par clé sur une base mensuelle. Gardez votre logiciel à jour Assurez-vous de maintenir vos cadres LLM, proxy inversés et systèmes d'exploitation mis à jour à tout moment pour corriger les vulnérabilités connues. Conclusion : il est temps de mettre la sécurité en premier. La montée du LLMjacking devrait réveiller la communauté de l'IA. Nous ne pouvons plus nous permettre d'ignorer la sécurité. Nous devons continuer à pousser les limites de ce que l'IA peut faire, mais nous devons également mettre la sécurité en premier et faire des systèmes qui peuvent résister aux attaques. La campagne d'Opération Bizarre Bazaar montre que les attaquants recherchent activement et utilisent l'infrastructure LLM faible à grande échelle.La bonne nouvelle est que les défenses dans cet article - mettre votre LLM derrière un proxy inverse, utiliser une authentification et une autorisation solides et appliquer une limitation stricte des taux - sont toutes des mesures de sécurité bien connues qui ne nécessitent pas beaucoup de travail à mettre en place. Nous avons les outils dont nous avons besoin pour sécuriser les systèmes d'IA. Nous, les ingénieurs et les développeurs qui travaillent en première ligne, sommes ceux qui ont besoin de les utiliser. Vous pouvez garder votre infrastructure d'IA sécurisée en prenant ces mesures aujourd'hui.

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

LLMjacking apparaît comme une nouvelle menace coûteuse pour l'infrastructure d'IA auto-hébergée

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps