Co je LLMjacking? Rychlý vzestup velkých jazykových modelů dal hackerům nový a ziskový způsob útoku. LLMjacking, což je nelegální únos samo-hostované infrastruktury LLM pro špatné účely, je bezprostřední hrozbou. ," komplikovaný plán, který vyhledává internet pro vystavené LLM a Model Context Protocol koncové body, převezme kontrolu nad nimi a prodá ukradené zdroje na dark web trzích. Operace Bizarní bazar Tento článek jde do velkého detailu o tom, jak LLMjacking funguje, jaké slabiny využívá a co je nejdůležitější, řešení na úrovni kódu, která můžete použít právě teď, abyste ochránili své vlastní LLM před touto rostoucí hrozbou. Anatomie LLMjacking útoku LLMjacking není pouhým jediným exploitem, ale spíše složitou, vícestupňovou operací charakterizovanou systematickým přístupem.Pochopení mechanismů za těmito útoky představuje počáteční fázi při formulování účinné obrany proti nim. Fáze 1: Skenování Roboty, které pracují automaticky, vždy hledají otevřené porty a služby, které jsou propojeny s populárními samohostitelnými rámcovými programy LLM na internetu. 
 
 
 
 Výchozí port pro instance Ollama je 11434. Můžete přistupovat k rozhraním API kompatibilním s OpenAI prostřednictvím webu.Tyto rozhraní zahrnují rozhraní LiteLLM nebo FastChat, které fungují na standardních rozvojových portech, jako je 8000. Neautentifikované servery Model Context Protocol usnadňují agentům AI práci s různými nástroji a zdroji dat tím, že jim poskytují standardní způsob, jak to udělat. Fáze 2: Validace Jakmile je identifikován potenciální cíl, infrastruktura entity, řekněme, "silver.inc" vyhodnocuje koncový bod do 8 hodin nebo dokonce méně. 
 
 
 
 
 Vytvořte komplexní inventuru stávajících modelů spolu s jejich příslušnými funkcemi. Vyhodnoťte užitečnost a rychlost odpovědí. Zkontrolujte, zda koncový bod implementuje omezení sazeb nebo má dodatečná bezpečnostní opatření. Prozkoumejte potenciální cesty pro boční navigaci uvnitř interních systémů. Fáze 3: Monetizace Validované koncové body jsou přidány do „Unified LLM API Gateway“, trhu, který nabízí přístup k více než 30 různým LLM – všechny běží na unesené infrastruktuře. Tato platforma je hostována na kulkově odolné infrastruktuře v Nizozemsku a prodává se prostřednictvím kanálů Discord a Telegram. Zákazníci platí prostřednictvím kryptoměny nebo aplikace pro usnadnění platby, aby získali přístup k těmto ukradeným zdrojům. Finanční a bezpečnostní důsledky útoku LLMjacking jsou závažné. Spuštění závěru na velkých modelech může rychle přidat až k obrovským cloudovým účtům kvůli vysokým nákladům na výpočetní techniky. Také, pokud se unesený LLM může dostat k citlivým vnitřním datům prostřednictvím generace nebo funkčního volání, pravděpodobnost, že budou data ukradena, je velmi vysoká. Zdroj problému: nasazení, které jsou ve výchozím nastavení nebezpečné Hlavním důvodem, proč LLMjacking funguje tak dobře, je to, že mnoho samohostitelných rámců LLM je určeno pro místní vývoj pro jednoho uživatele a nejsou ve výchozím nastavení bezpečné pro produkční nebo webové prostředí. Podívejte se na Ollama, který je jedním z nejlepších nástrojů pro spuštění LLM na vašem vlastním počítači. Ollama je nastaven tak, abyste se nemuseli přihlásit, když jdete na http://localhost:11434. To má smysl pro místní rozvoj, ale jakmile je tento port otevřen pro internet, ať už záměrně nebo omylem, stává se velkou bezpečnostní dírou. Dobrou zprávou je, že tyto problémy lze opravit, pokud děláte věci správným způsobem.V další části budeme hovořit o konkrétních věcech, které můžete udělat, abyste ochránili svou infrastrukturu LLM. Užitečný průvodce, jak udělat svůj vlastně hostitelský LLM bezpečnější Musíte použít obranný hloubkový přístup k ochraně vaší samo-hostované LLM infrastruktury. Nemůžete jen umístit firewall před svým serverem; musíte přidat bezpečnostní ovládací prvky do každé vrstvy hromady. Nikdy neukazujte surové koncové body: síla reverzního proxy Nejdůležitější věc, kterou můžete udělat, aby vaše self-hosted LLM v bezpečí, je nikdy nenechat surový, neautentifikovaný koncový bod vidět na internetu. Měli byste vždy dát reverzní proxy, jako Nginx nebo Caddy, před vaší LLM služby místo. Jak chránit Ollama pomocí ověřování klíčů Nginx a API Ollama je skvělý způsob, jak spustit LLM na svém vlastním počítači, ale neměli byste jej umístit na web. Toto je způsob, jak použít Nginx k přidání vrstvy autentizace klíče API do vašeho případu Ollama. Chcete-li začít, musíte vytvořit soubor, který bude uchovávat platné klíče API. V tomto případě budeme nazývat apikeys.txt: # apikeys.txt
my-secret-api-key-1
another-valid-key
 Dále budete muset konfigurovat Nginx tak, aby fungoval jako reverzní proxy a zkontrolovat platný klíč API v hlavičce Autorizace příchozích požadavků. 
# /etc/nginx/sites-available/ollama.conf A map to see if the API key you gave is valid.

    default 0; "Bearer my-secret-api-key-1" 1; "Bearer another-valid-key" 1;

server { listen 80; server_name your-llm-domain.com; 

    location / {
        # If the API key is not valid, return 401 'Unauthorized' and reject requests.

        # Proxy requests to the Ollama backend proxy_pass http://localhost:11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;
        
        # Raise the timeout for inference requests that take a long time to process. proxy_read_timeout 300s; proxy_connect_timeout 75s; 
    }
}
 To dělá dvě důležité věci: 
 
 
 Konstruuje proměnnou s názvem $api_key_valid s mapovou směrnicí. Tato proměnná bude nastavena na 1 na základě hlavičky oprávnění, která má platný klíč; jinak je nastavena na 0. Hledá hodnotu $api_key_valid v bloku umístění. Pokud je žádost 0, chyba 401 Neoprávněná znamená, že není povolena. Toto nastavení znamená, že každá žádost k vaší instance Ollama musí obsahovat platný klíč API v hlavičce Autorizace: curl http://your-llm-domain.com/api/generate \-H "Authorization: Bearer my-secret-api-key-1" \
-d '{ "model": "llama2", "prompt": "Why is the sky blue?" }'
 Ujistěte se, že MCP je bezpečný Modelový kontextový protokol je skvělý způsob, jak vytvořit agenty AI, ale také je činí méně bezpečnými. Útočníci se mohou dostat do vašich LLM a jakýchkoli nástrojů nebo API, které je server MCP nastaven k použití, pokud není chráněn. Izolace na úrovni sítě Váš server MCP by neměl být připojen přímo k veřejnému internetu, kdykoli je to možné.Pokud k němu potřebuje přístup jen malý počet klientů, použijte VPN nebo jiné ovládací prvky na úrovni sítě k omezení přístupu.Používejte bezpečnostní skupiny nebo síťové zásady, abyste se ujistili, že pouze schválené služby mohou komunikovat s vaším serverem MCP, když jej nasadíte do cloudu. Autentifikace a autorizace MCP neříká, kterou metodu ověřování použít, takže si musíte vybrat sami. Minimálně byste měli potřebovat jedinečný klíč API, který nelze odhadnout pro každou žádost. Pokud potřebujete udržet věci soukromější, přemýšlejte o použití silnější metody ověřování, jako je OAuth 2.0 nebo vzájemný TLS. Měli byste také použít model oprávnění s jemným zrnkem k ovládání, které klienty mohou používat, které nástroje. Například můžete mít klient „pouze pro čtení“, který může používat pouze nástroje, které vám poskytují informace, a klient „čtení a psaní“, který může používat nástroje, které mění data. Čištění vstupu a výstupu Nikdy byste neměli důvěřovat vstupu od klienta, stejně jako byste neměli důvěřovat vstupu z jiné webové aplikace. Chcete-li zastavit injekční útoky, měli byste pečlivě vyčistit a zkontrolovat všechny vstupy na váš server MCP. 3. dělat rychlost omezení práce dobře Omezení sazby je dobrým způsobem, jak se chránit před útoky odmítnutí služby a zneužíváním zdrojů, ke kterým došlo v operaci Bizarre Bazaar. Omezení počtu požadavků, které může klient provést ve stanoveném časovém rámci, slouží jako ochrana před možným přetížením vašeho systému jediným škodlivým subjektem nebo vzniknutím značných nákladů. Existují různé strategie pro implementaci limitování sazeb: 
 
 
 
 Omezení rychlosti IP: Reguluje objem požadavků pocházejících z jednotlivé IP adresy.Ačkoli je jednoduché implementovat, může se ukázat jako neúčinné proti distribuovaným útokům a může nespravedlivě potrestat uživatele, kteří pracují za NAT. Implementace limitu rychlosti založeného na klíči API se ukázala jako efektivnější strategie, která zaručuje spravedlivé rozdělení zdrojů mezi uživatele a usnadňuje identifikaci a blokování zneužívajících jedinců. Token-Based Rate Limiting: V kontextu LLM je obecně logické provádět limitování sazeb založené na množství vyrobených tokenů, na rozdíl od frekvence žádostí. Ve výrobním systému byste chtěli použít robustnější a škálovatelnější řešení, jako je Redis s posuvnými počítadly oken, nebo specializovanou knihovnu omezující rychlost, jako je flask-limiter. Dodatečné bezpečnostní osvědčené postupy Kromě výše uvedených primárních obran, zvažte zavedení následujících bezpečnostních opatření: Monitorovat a dokumentovat všechny aktivity přístupu. Udržujte komplexní záznamy o všech požadavcích API, dokumentujte použitý klíč API, původní IP adresu, požadovaný model a celkový počet generovaných tokenů.To pomůže při identifikaci neobvyklého chování a vyšetřování potenciálních bezpečnostních problémů. Rutinní bezpečnostní hodnocení Použijte nástroje jako nmap nebo cloud-native bezpečnostní skenery k identifikaci nesprávně nakonfigurovaných koncových bodů před potenciálním zneužíváním útočníky. Stanovení omezení používání Kromě zavedení limitu sazby je vhodné stanovit přísné limity použití pro každý klíč API. Například je možné přidělit limit 1 milion tokenů na klíč měsíčně. Udržujte svůj software aktuální Ujistěte se, že vaše rámce LLM, reverzní proxy a operační systémy jsou neustále aktualizovány, aby se vyřešily známé zranitelnosti. Závěr: Je čas dát bezpečí na prvním místě. Vzestup LLMjacking by měl probudit komunitu AI. Už si nemůžeme dovolit ignorovat bezpečnost. Musíme nadále tlačit hranice toho, co může AI dělat, ale musíme také dát bezpečnost na prvním místě a vytvořit systémy, které mohou odolat útokům. Dobrou zprávou je, že obrany v tomto článku - umístění vašeho LLM za reverzní proxy, použití silné autentizace a autorizace a vynucování přísného omezení sazeb - jsou všechna dobře známá bezpečnostní opatření, která nevyžadují mnoho práce. Máme nástroje, které potřebujeme k tomu, aby byly systémy AI bezpečné. My, inženýři a vývojáři, kteří pracují v popředí, jsme ti, kteří je potřebují používat. Můžete udržet svou infrastrukturu AI bezpečnou a zabezpečenou tím, že dnes podniknete tyto kroky.

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Tento zvuk je produkován v původním jazyce příběhu!

LLMjacking vzniká jako nákladná nová hrozba pro samoobslužnou infrastrukturu AI

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps