Ano ang LLMjacking? Ang mabilis na pag-unlad ng Large Language Models ay nagbibigay ng mga hackers ng isang bagong at kapangyarihan na paraan sa pag-atake. LLMjacking, na kung saan ay ang ilegal na pag-host ng self-hosted LLM infrastructure para sa mga malusog na propesyon, ay isang iminungkahi. Maraming mga tao sa komunidad ng seguridad ay nagsasalita tungkol dito. ," isang kumplikado na plano na paghahanap sa internet para sa exposed LLM at Model Context Protocol endpoints, makakuha ng kontrol sa mga ito, at i-sale ang mga inilathala na mga resource sa dark web marketplaces. Mayroong higit sa 35,000 session ng pag-atake, na may isang average ng 972 mga pag-atake bawat araw. Ang pag-atake na ito ay hindi lamang isang teorya; ito ay isang malinaw at kasalukuyang pangangailangan para sa anumang organisasyon na gumagamit ng kanyang sarili LLM infrastructure. Mga pahinang tumuturo sa Bizarre Bazaar Ang artikulong ito ay lumabas sa maraming detalye tungkol sa kung paano gumagana ang LLMjacking, kung ano ang mga kakayahan na ginagamit nito, at ang pinaka-karaniwang, ang mga solusyon sa layunin ng code na maaari mong gamitin ngayon upang protektahan ang iyong self-hosted LLM mula sa ito na nagkakahalaga. Ang Anatomy ng isang LLMJacking Attack Ang LLMjacking ay hindi lamang isang single exploit, ngunit mas isang kompleksong, multi-stage operation na inihahanda sa pamamagitan ng isang systematic approach. Pag-unawa ng mga mekanismo sa ilalim ng mga pag-atake na ito ay ang unang phase sa formulating effective defenses laban sa mga ito. Pagkakaiba 1: Scan Ang mga bots na gumagana automatically ay palagi sa paghahanap para sa mga open port at mga serbisyo na may link sa mga popular na self-hosted LLM frameworks sa internet. 
 
 
 
 Ang default port para sa mga instansya ng Ollama ay 11434. Walang mga pagpapatupad sa seguridad. Maaari mong i-access ang OpenAI-compatible APIs sa pamamagitan ng web. Ang mga ito ay kabilang ang mga ginawa sa LiteLLM o FastChat, na gumagana sa mga standard development port tulad ng 8000. Ang mga unauthenticated Model Context Protocol servers ay nagbibigay-daan ng isang standard na paraan para sa mga agente ng AI na magtrabaho sa iba't ibang mga tool at mga source ng data. Pagkakaiba 2: Validation Kapag ang isang potensyal na target ay nakilala, ang infrastructure ng isang entity, ibig sabihin, "silver.inc" evaluates ang endpoint sa loob ng 8 oras o kahit na mas mababa. 
 
 
 
 
 Gumawa ng isang komprehensibong inventory ng mga kasalukuyang mga modelo kasama ang kanilang respective functionalities. I-evaluate ang usefulness at timeliness ng mga reaksyon. I-verify kung ang endpoint ay nagtatrabaho ng rate limitation o may mga karagdagang mga pagsusuri ng seguridad. I-explore ang mga potensyal na paraan para sa lateral navigation sa loob ng mga internal systems. Pagkakaiba 3: Monetization Ang mga validated endpoints ay idinagdag sa "The Unified LLM API Gateway," isang marketplace na nag-aalok ng access sa higit sa 30 iba't ibang LLMs - ang lahat ay gumagana sa hijacked infrastructure. Ang platform na ito ay naka-host sa bulletproof infrastructure sa Netherlands at na-market sa pamamagitan ng Discord at Telegram channels. Ang mga financial at seguridad na implikasyon ng isang LLMjacking attack ay malaki. Ang pag-unlad ng inference sa mga malaking mga modelo ay maaaring mabilis na sumali hanggang sa malaking cloud bills dahil sa mataas na gastos ng pag-computing. Halimbawa, kung ang hijacked LLM ay maaaring makakuha ng sensitibo na internal data sa pamamagitan ng retrieval-augmented generation o function calling, ang mga pagkakataon ng data na inilathala ay napaka-high. Sa katapusan, isang hacked LLM endpoint ay maaaring gamitin bilang base para sa paglipat sa iyong network. Source of the Problem: Mga deployments na hindi sigurado sa default Ang pangunahing dahilan na gumagana ng LLMjacking ay napaka-host na maraming self-hosted LLM frameworks ay ginawa para sa local, single-user development at hindi safe sa default para sa produksyon o web-exposed environments. The same tools that have made powerful AI available to everyone have also made it easier for people who are not careful to get hacked. Tingnan ang Ollama, na isa sa mga pinakamahusay na mga tool para sa pagganap ng mga LLM sa iyong computer. Ollama ay itinatag upang hindi mo kailangang i-login kapag pumunta sa http://localhost:11434. Ito ay makakalimutan para sa lokal na pag-unlad, ngunit kapag ang port ay buksan sa internet, o sa kasalanan o sa kasalanan, ito ay naging isang pangunahing security hole. Ang maliliit na negosyo sa mga sumusunod na sektor ay kinakailangan: pagproseso ng produktong agrikultural ( Ang isang useful guide upang gumawa ng iyong self-hosted LLM higit pa sa seguridad Kailangan mo upang gamitin ang isang defense-in-depth approach upang protektahan ang iyong self-hosted LLM infrastructure. Huwag ka lamang mag-set ng isang firewall sa harap ng iyong server; kailangan mo upang ilipat ang mga kontrol ng seguridad sa bawat layer ng stack. Ito ay ang mga pangunahing bagay na kailangan mong gawin. Huwag magpakita ng raw endpoints: ang kapangyarihan ng reverse proxy Ang pinaka-karaniwang bagay na maaari mong gawin upang i-host ang iyong self-hosted LLM ay hindi magbibigay ng raw, hindi-authenticated endpoint na makita sa internet. Kailangan mo kaming lumikha ng isang reverse proxy, tulad ng Nginx o Caddy, sa harap ng iyong serbisyo ng LLM sa halip. Ito ay nagpapakita ng isang mahalagang layer ng seguridad, tulad ng authentication, TLS encryption, at rate limiting. Paano Mag-proteksyon ng Ollama sa Nginx at API Key Authentication Ollama ay isang mahusay na paraan upang i-execute ang LLMs sa iyong computer, ngunit hindi mo dapat ilagay ito sa web. Ito ay kung paano gamitin ang Nginx upang magdagdag ng isang layer ng API key authentication sa iyong Ollama instance. Upang magsimula, kailangan mo upang lumikha ng isang file upang matatagpuan ang iyong karaniwang API keys sa. Sa kaso na ito, kami ay tinatawag na ito apikeys.txt: # apikeys.txt
my-secret-api-key-1
another-valid-key
 Pagkatapos, kailangan mong i-configure ang Nginx upang maging isang reverse proxy at i-check para sa isang karaniwang API key sa Authorization header ng mga sumusunod na mga pangangailangan. Narito ang isang sample ng ng ng Nginx configuration file: 
# /etc/nginx/sites-available/ollama.conf A map to see if the API key you gave is valid.

    default 0; "Bearer my-secret-api-key-1" 1; "Bearer another-valid-key" 1;

server { listen 80; server_name your-llm-domain.com; 

    location / {
        # If the API key is not valid, return 401 'Unauthorized' and reject requests.

        # Proxy requests to the Ollama backend proxy_pass http://localhost:11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;
        
        # Raise the timeout for inference requests that take a long time to process. proxy_read_timeout 300s; proxy_connect_timeout 75s; 
    }
}
 Ito ay gumagana ng dalawang importante na bagay: 
 
 
 Nag-construct ng isang variable na tinatawag na $api_key_valid na may direktibo ng mapa. Ang variable na ito ay i-set sa 1 batay sa authorization header na may isang valid na key; sa halip ay i-set sa 0. Nagtanong ito sa halaga ng $api_key_valid sa block ng lokasyon. Kung ang request ay 0, isang 401 Unauthorized error ay nangangahulugan na hindi ito pinatay. Kung hindi, ang request ay pumapasok sa pamamagitan ng isang proxy sa Ollama backend. Ang setting na ito ay nangangahulugan na ang lahat ng mga request sa iyong Ollama instance ay dapat magkaroon ng isang valid na API key sa Authorization header: curl http://your-llm-domain.com/api/generate \-H "Authorization: Bearer my-secret-api-key-1" \
-d '{ "model": "llama2", "prompt": "Why is the sky blue?" }'
 Maging sigurado na ang MCP ay safe Ang Model Context Protocol ay isang mahusay na paraan upang gumawa ng mga agente ng AI, ngunit ito ay nagbibigay-daan din sila ng mas mababa sa seguridad. Ang mga tagumpay ay maaaring makakuha ng sa iyong LLMs at anumang mga tool o API na ang MCP server ay itinatag upang gamitin kung ito ay hindi protektahan. Upang protektahan ang isang MCP server, kailangan mong gamitin ang higit sa isang layer ng seguridad: Isolasyon sa level ng network Ang iyong MCP server ay hindi kailangang mag-connect sa public internet kapag posible. Kung kailangan lamang ng isang maliit na bilang ng mga client upang makakuha ng access sa ito, gamitin ang isang VPN o iba pang network-level controls upang limit ang access. Gamitin ang mga grupo ng seguridad o network policies upang matugunan na lamang ang mga approved services ay maaaring makipag-usap sa iyong MCP server kapag i-deploy ito sa cloud. Authentication at Autorization Ang MCP ay hindi nagsasabi kung ano ang paraan ng authentication upang gamitin, kaya kailangan mo upang piliin ang isa sa iyong sarili. Kailangan mo sa halimbawa ng isang natatanging API key na hindi maaaring ipagpahiwatig para sa bawat pangangailangan. Kung kailangan mo upang i-private ang mga bagay, tingnan ang paggamit ng isang mas malakas na paraan ng authentication tulad ng OAuth 2.0 o mutual TLS. Halimbawa, maaari mong magkaroon ng isang "only-read" client na maaaring gamitin lamang ng mga tool na nagbibigay sa iyo ng impormasyon at isang "read-writing" client na maaaring gamitin ng mga tool na i-change data. Paglalarawan ng Input at Output Hindi mo kailangang i-confide ang input mula sa client, tulad ng hindi mo kailangang i-confide ang input mula sa anumang iba pang web app. Upang i-stop ang injection attacks, dapat mong malinis at i-check ang lahat ng input sa iyong MCP server. Makakakuha ng rate limiting trabaho na maganda Ang limitasyon ng rate ay isang mahusay na paraan upang protektahan laban sa denial-of-service attacks at ang abuse ng mga resource na nangyari sa Operation Bizarre Bazaar. Ang limitasyon ng halaga ng mga request na ang isang client ay maaaring gawin sa loob ng isang itinatag na panahon ay gumagana bilang isang safeguard laban sa potensyal na para sa isang single malicious actor upang overload ang iyong sistema o magkaroon ng malaking gastos. Ang iba't ibang mga strategies ay mayroon para sa implementation ng rate limiting: 
 
 
 
 Per-IP Rate Limiting: I-regulate ang halaga ng mga request na nagsisimula mula sa isang individual na IP address. Habang simpleng i-implementate, ito ay maaaring magiging ineffective laban sa distributed mga pag-atake at maaaring unfairly penalize ang mga gumagamit na nagtatrabaho sa ilalim ng isang NAT. Ang pag-implementasyon ng rate limiting batay sa API key ay isang mas efficient na estratehiya. Ito ay nagbibigay ng garantiya ng katulad na paghahatid ng mga resource sa pagitan ng mga gumagamit at mapagkukunan sa identification at blocking ng abusive individuals. Token-Based Rate Limiting: Sa konteksto ng LLMs, ito ay karaniwang mas logic na i-implementate rate limiting batay sa halaga ng tokens na itinatag, hindi sa frequency ng mga request. Sa isang produksyon system, nais mong gamitin ang isang mas robust at scalable solusyon, tulad ng Redis na may sliding window counters, o isang dedicated rate-limiting library tulad ng flask-limiter. Mga Best Practices sa Security Karamihan sa mga pangunahing defenses na inihahanda sa itaas, i-consider ang implementation ng mga sumusunod na seguridad: Panatilihin at mag-document ang lahat ng mga aktibidad ng access. Panatilihin ang isang komprehensibong record ng lahat ng mga requests ng API, documenting ang API key na ginagamit, ang originating IP address, ang requested model, at ang kabuuang bilang ng mga token na nilikha. Mga Routine Security Assessment Periodically i-scan ang iyong external attack surface upang i-identify ang mga open services. Gamitin ang mga tool tulad ng nmap o cloud-native security scanners upang i-identify ang mga malang-configured endpoints bago ang potensyal na pag-exploitation ng mga attacker. Ipasok ang mga limitasyon sa paggamit Karamihan sa pag-implementasyon ng rate limiting, ito ay nais na itinatag ng mga katangian ng paggamit para sa bawat API key. Halimbawa, maaari mong ibahagi ng isang limitasyon ng 1 milyong tokens bawat key sa isang buwan. Ito ay nagbibigay ng isang karagdagang layer ng seguridad upang mapalayo ang abuso ng mga resource. I-update ang iyong software Pumunta sa iyong LLM frameworks, reverse proxies, at operating systems upgraded sa lahat ng oras upang patch na kilala. Konklusyon: Ito ay oras upang i-set ang seguridad sa unang lugar. Ang pagdiriwang ng LLMjacking ay dapat bumubuo ang komunidad ng AI. Hindi tayo maaaring mag-alala ng seguridad. Kailangan namin upang patuloy na bumubuo ang mga limitasyon ng kung ano ang maaaring gawin ng AI, ngunit kailangan natin din upang i-set ang seguridad sa unang lugar at lumikha ng mga sistema na maaaring tumakbo sa mga pag-atake. Ang mahusay na balita ay na ang mga defenses sa artikulong ito—putting ang iyong LLM sa ilalim ng isang reverse proxy, gumagamit ng malakas na authentication at autorization, at ipatupad ng karaniwang rate limitasyon—are lahat na kilala na mga pagsusuri ng seguridad na hindi nangangailangan ng maraming trabaho upang ilagay. Kami ay may mga tool na kailangan nating gawin ang mga sistema ng AI na masaya. Kami, ang mga engineer at developer na nagtrabaho sa mga pangunahing linya, ay ang mga taong kailangan upang gamitin ang mga ito. Maaari mong matatagpuan ang iyong AI infrastructure na masaya at masaya sa pamamagitan ng pagkuha ng mga patakaran na ito ngayon.

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Ang LLMjacking ay nagpapakita bilang isang mahalagang bagong pangangasiwa sa self-hosted AI infrastructure

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

COVID-19: We Need More Than Data, We Need Insights!

Hosting a DNS domain on the blockchain

State of the Noonion: The Year of Profitability and Product Renaissance

Getting intimate with Ethereum tokens

COVID-19: We Need More Than Data, We Need Insights!

Hosting a DNS domain on the blockchain

State of the Noonion: The Year of Profitability and Product Renaissance

Getting intimate with Ethereum tokens

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps