Wat is LLMjacking? De snelle opkomst van Large Language Models heeft hackers een nieuwe en winstgevende manier gegeven om aan te vallen. LLMjacking, dat is de illegale ontvoering van zelfhosted LLM-infrastructuur voor slechte doeleinden, is een onmiddellijke bedreiging. ," een ingewikkeld plan dat het internet zoekt naar blootgestelde LLM en Model Context Protocol eindpunten, neemt de controle over hen, en verkoopt de gestolen middelen op dark web marktplaatsen.Er zijn meer dan 35.000 aanval sessies geweest, met een gemiddelde van 972 aanvallen per dag. Operatie Bizarre Bazaar Dit artikel gaat in grote details over hoe LLMjacking werkt, welke zwakke punten het benut, en het belangrijkste, de oplossingen op code-niveau die u nu kunt gebruiken om uw zelf gehost LLM's te beschermen tegen deze groeiende bedreiging. De anatomie van een LLMjacking-aanval LLMjacking is niet alleen een enkele exploit, maar eerder een complexe, multi-stage operatie gekenmerkt door een systematische aanpak. Stap 1: Scan Bots die automatisch werken zijn altijd op zoek naar open poorten en diensten die zijn gekoppeld aan populaire zelf gehost LLM frameworks op het internet. 
 
 
 
 De standaardpoort voor Ollama-instanties is 11434. U kunt toegang krijgen tot OpenAI-compatibele APIs via het web. Deze omvatten die gemaakt met LiteLLM of FastChat, die werken op standaardontwikkelingsports zoals 8000. Niet-geauthenticeerde Model Context Protocol-servers maken het voor AI-agenten gemakkelijker om met verschillende hulpmiddelen en gegevensbronnen te werken door een standaard manier te bieden om dit te doen. Fase 2: Validatie Zodra een potentieel doelwit is geïdentificeerd, evalueert de infrastructuur van een entiteit, laten we zeggen, "silver.inc" het eindpunt binnen 8 uur of zelfs minder. 
 
 
 
 
 Bouw een uitgebreid inventaris van de bestaande modellen samen met hun respectieve functionaliteiten. Beoordelen van het nut en de snelheid van de antwoorden. Controleer of het eindpunt tariefbeperkingen implementeert of aanvullende beveiligingsmaatregelen heeft. Ontdek mogelijke wegen voor laterale navigatie binnen interne systemen. Fase 3: Monetarisatie Gevalideerde eindpunten worden toegevoegd aan "The Unified LLM API Gateway", een marktplaats die toegang biedt tot meer dan 30 verschillende LLM's - allemaal op gehackte infrastructuur. Dit platform wordt gehost op kogelvrije infrastructuur in Nederland en wordt verkocht via Discord en Telegram-kanalen. klanten betalen via cryptocurrency of een betalingsfaciliterende applicatie om toegang te krijgen tot deze gestolen middelen. De financiële en veiligheidseffecten van een LLMjacking-aanval zijn ernstig. Het uitvoeren van inferenties op grote modellen kan snel toevoegen tot enorme cloudrekeningen vanwege de hoge kosten van computing. Ook, als de gehackte LLM gevoelige interne gegevens kan krijgen door middel van opsporing-vergrote generatie of functionele oproep, de kans dat gegevens worden gestolen is zeer hoog. Bron van het probleem: implementaties die standaard onveilig zijn De belangrijkste reden waarom LLMjacking zo goed werkt, is dat veel zelf gehost LLM-frameworks zijn gemaakt voor lokale, single-user-ontwikkeling en niet standaard veilig zijn voor productie- of web-expose-omgevingen. Neem een kijkje op Ollama, dat is een van de beste hulpmiddelen voor het uitvoeren van LLM's op uw eigen computer. Ollama is zo ingesteld dat u niet hoeft in te loggen wanneer u naar http://localhost:11434. Dit is logisch voor lokale ontwikkeling, maar zodra die poort is geopend voor het internet, hetzij opzettelijk of per ongeluk, het wordt een groot beveiligingsgat. Het goede nieuws is dat deze problemen kunnen worden opgelost als je dingen op de juiste manier doet.In het volgende deel zullen we praten over de specifieke dingen die je kunt doen om je zelf gehost LLM-infrastructuur te beschermen. Een nuttige gids om uw zelf gehost LLM veiliger te maken Je moet een defensie-in-diepte benadering gebruiken om je zelf gehost LLM infrastructuur te beschermen.Je kunt niet alleen een firewall voor je server plaatsen; je moet beveiligingscontroles toevoegen aan elke laag van de stack.Dit zijn de belangrijkste dingen die je moet doen. Toon nooit ruwe eindpunten: de kracht van de omgekeerde proxy Het belangrijkste dat u kunt doen om uw zelf gehost LLM veilig te houden, is nooit toestaan dat het ruwe, niet-geauthenticeerde eindpunt door het internet wordt gezien. U moet altijd een omgekeerde proxy, zoals Nginx of Caddy, plaatsen voor uw LLM-service in plaats daarvan. Dit voegt een belangrijke laag beveiliging toe, zoals authenticatie, TLS-encryptie en tariefbeperking. Hoe Ollama te beschermen met Nginx en API-sleutelauthenticatie Ollama is een geweldige manier om LLM's op je eigen computer uit te voeren, maar je moet het niet op het web plaatsen. Om te beginnen moet u een bestand maken om uw geldige API-toets in te houden. # apikeys.txt
my-secret-api-key-1
another-valid-key
 Vervolgens moet u Nginx configureren om te fungeren als een omgekeerde proxy en controleren op een geldige API-sleutel in de Autorisatie-header van inkomende verzoeken. 
# /etc/nginx/sites-available/ollama.conf A map to see if the API key you gave is valid.

    default 0; "Bearer my-secret-api-key-1" 1; "Bearer another-valid-key" 1;

server { listen 80; server_name your-llm-domain.com; 

    location / {
        # If the API key is not valid, return 401 'Unauthorized' and reject requests.

        # Proxy requests to the Ollama backend proxy_pass http://localhost:11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;
        
        # Raise the timeout for inference requests that take a long time to process. proxy_read_timeout 300s; proxy_connect_timeout 75s; 
    }
}
 Dit doet twee belangrijke dingen: 
 
 
 Het bouwt een variabele genaamd $api_key_valid met de kaartrichtlijn. Deze variabele wordt ingesteld op 1 op basis van de autorisatieheader met een geldige sleutel; anders wordt deze ingesteld op 0. Het kijkt naar de waarde van $api_key_valid in het locatieblok. Als het verzoek 0 is, betekent een 401 Onbevoegde fout dat het niet is toegestaan. Deze configuratie betekent dat elk verzoek naar uw Ollama-instantie een geldige API-sleutel in de Autorisatie-kop moet bevatten: curl http://your-llm-domain.com/api/generate \-H "Authorization: Bearer my-secret-api-key-1" \
-d '{ "model": "llama2", "prompt": "Why is the sky blue?" }'
 Zorg ervoor dat MCP veilig is Het Model Context Protocol is een geweldige manier om AI-agenten te maken, maar het maakt ze ook minder veilig. Aanvallers kunnen uw LLM's en alle hulpmiddelen of API's die de MCP-server is ingesteld om te gebruiken gebruiken als het niet wordt beschermd. Isolatie op netwerkniveau Uw MCP-server mag niet direct verbonden zijn met het openbare internet wanneer dat mogelijk is.Als slechts een klein aantal klanten toegang tot het internet nodig heeft, gebruikt u een VPN of andere netwerkcontroles om de toegang te beperken.Gebruik beveiligingsgroepen of netwerkbeleid om ervoor te zorgen dat alleen goedgekeurde diensten met uw MCP-server kunnen praten wanneer u het in de cloud implementeert. Authenticatie en autorisatie MCP zegt niet welke authenticatiemethode u moet gebruiken, dus u moet er zelf een kiezen. U moet tenminste een unieke API-sleutel nodig hebben die niet voor elk verzoek kan worden geraden. Als u dingen privé moet houden, denk dan aan het gebruik van een sterkere authenticatiemethode zoals OAuth 2.0 of wederzijds TLS. U kunt bijvoorbeeld een "lees-only" -client hebben die alleen hulpmiddelen kan gebruiken die u informatie geven en een "read-write" -client die hulpmiddelen kan gebruiken die gegevens wijzigen. Het opruimen van input en output U moet nooit de input van de client vertrouwen, net zoals u de input van een andere webapp niet moet vertrouwen. om injectie-aanvallen te stoppen, moet u zorgvuldig schoonmaken en alle input naar uw MCP-server controleren. Maak de snelheid van het beperken van het werk goed Het beperken van tarieven is een goede manier om te beschermen tegen dienstenweigering-aanvallen en het misbruik van middelen die zich hebben voorgedaan in Operation Bizarre Bazaar. Het beperken van het aantal verzoeken dat een klant binnen een bepaald tijdsbestek kan doen, dient als bescherming tegen het potentieel dat een enkele kwaadaardige speler uw systeem overbelast of aanzienlijke kosten kan oplopen. Er bestaan verschillende strategieën voor de implementatie van tariefbeperkingen: 
 
 
 
 Per-IP Rate Limiting: Reguleert het volume van verzoeken die afkomstig zijn van een individueel IP-adres.Hoewel eenvoudig te implementeren, kan het ineffectief blijken tegen gedistribueerde aanvallen en gebruikers die achter een NAT opereren, oneerlijk kunnen straffen. Het implementeren van tariefbeperkingen op basis van de API-sleutel blijkt een efficiëntere strategie te zijn, waardoor een eerlijke verdeling van middelen tussen gebruikers wordt gewaarborgd en de identificatie en blokkering van misbruikers wordt vergemakkelijkt. Token-Based Rate Limiting: In de context van LLMs is het over het algemeen logischer om tariefbeperking te implementeren op basis van de hoeveelheid geproduceerde tokens, in tegenstelling tot de frequentie van verzoeken. In een productiesysteem zou je graag een robuuster en schaalbaarere oplossing willen gebruiken, zoals Redis met schuifvenster tellen, of een speciale bibliotheek voor tariefbeperkingen zoals flask-limiter. Extra beveiligingsbest practices Naast de eerder beschreven primaire verdedigingen, overweeg je de volgende veiligheidsmaatregelen te implementeren: Toezicht houden en documenteren van alle toegangsactiviteiten. Behoud uitgebreide records van alle API-verzoeken, documentatie van de gebruikte API-sleutel, het oorspronkelijke IP-adres, het aangevraagde model en het totale aantal gegenereerde tokens.Dit zal helpen bij het identificeren van ongewoon gedrag en het onderzoeken van mogelijke beveiligingsproblemen. Routine beveiligingsbeoordelingen Gebruik tools zoals nmap of cloud-native beveiligingsscanners om verkeerd geconfigureerde eindpunten te identificeren vóór mogelijke exploitatie door aanvallers. Gebruiksbeperkingen vaststellen Naast het implementeren van tariefbeperkingen, is het raadzaam om strikte gebruikslimieten voor elke API-sleutel vast te stellen.Bijvoorbeeld is het mogelijk om een limiet van 1 miljoen tokens per sleutel maandelijks toe te wijzen. Houd uw software up-to-date Zorg ervoor dat uw LLM-frameworks, reverse proxies en besturingssystemen altijd worden bijgewerkt om bekende kwetsbaarheden op te lossen. Conclusie: Het is tijd om veiligheid op de eerste plaats te zetten. De opkomst van LLMjacking zou de AI-gemeenschap moeten ontwaken.We kunnen ons niet langer veroorloven om beveiliging te negeren.We moeten de grenzen van wat AI kan doen blijven duwen, maar we moeten ook beveiliging op de eerste plaats zetten en systemen maken die aanvallen kunnen weerstaan. Het goede nieuws is dat de verdedigingen in dit artikel – het plaatsen van uw LLM achter een omgekeerde proxy, het gebruik van sterke authenticatie en autorisatie, en het handhaven van strenge tariefbeperkingen – allemaal bekende beveiligingsmaatregelen zijn die niet veel werk in werking brengen. We hebben de tools die we nodig hebben om AI-systemen veilig te maken. Wij, de ingenieurs en ontwikkelaars die aan de voorzijde werken, zijn degenen die ze moeten gebruiken. U kunt uw AI-infrastructuur veilig en veilig houden door deze stappen vandaag te nemen.

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Deze audio wordt geproduceerd in de originele taal van het verhaal!

LLMjacking verschijnt als een kostbare nieuwe bedreiging voor zelfhosted AI-infrastructuur

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps