¿Qué es LLMjacking? El rápido crecimiento de los modelos de idiomas grandes ha dado a los hackers una nueva y rentable manera de atacar. LLMjacking, que es el secuestro ilegal de la infraestructura de LLM auto-hostada para malos propósitos, es una amenaza inmediata. ," un complejo plan que busca en Internet los endpoints de LLM y Model Context Protocol expuestos, toma el control de ellos y vende los recursos robados en los mercados de la web oscura.Han habido más de 35.000 sesiones de ataque, con una media de 972 ataques por día.Esta amenaza no es sólo una teoría; es un peligro claro y presente para cualquier organización que use su propia infraestructura LLM. Operación Bizarro Bazaar Este artículo va en gran detalle sobre cómo funciona LLMjacking, qué debilidades aprovecha, y lo más importante, las soluciones a nivel de código que puede usar ahora para proteger sus LLMs auto-hostados de esta amenaza creciente. La anatomía de un ataque de LLMjacking El LLMjacking no es sólo una explotación singular, sino más bien una operación compleja y multietapa caracterizada por un enfoque sistemático. Etapa 1: Escaneo Los bots que funcionan automáticamente siempre están buscando puertos y servicios abiertos que estén vinculados a los populares marcos de LLM auto-hostados en Internet. 
 
 
 
 El puerto predeterminado para las instancias de Ollama es 11434. Puedes acceder a las APIs compatibles con OpenAI a través de la web. Estas incluyen aquellas hechas con LiteLLM o FastChat, que funcionan en puertos de desarrollo estándar como 8000. Los servidores de Protocolo de Contexto de Modelo no autenticados facilitan que los agentes de IA trabajen con diferentes herramientas y fuentes de datos al proporcionarles una forma estándar de hacerlo. Etapa 2: Validación Una vez que se identifica un objetivo potencial, la infraestructura de una entidad, por ejemplo, "silver.inc" evalúa el punto final en 8 horas o menos. 
 
 
 
 
 Construir un inventario completo de los modelos existentes junto con sus respectivas funcionalidades. Evaluar la utilidad y rapidez de las respuestas. Verificar si el punto final implementa la limitación de la tasa o posee medidas de seguridad adicionales. Explorar posibles vías para la navegación lateral dentro de los sistemas internos. Fase 3: Monetización Los endpoints validados se añaden a "The Unified LLM API Gateway", un mercado que ofrece acceso a más de 30 LLM diferentes, todo funcionando en una infraestructura secuestrada.Esta plataforma está alojada en una infraestructura a prueba de balas en los Países Bajos y se comercializa a través de los canales Discord y Telegram. Las implicaciones financieras y de seguridad de un ataque de LLMjacking son severas. Ejecutar inferencias en modelos grandes puede sumarse rápidamente a enormes facturas en la nube debido al alto coste de la computación. Además, si el LLM secuestrado puede llegar a datos internos sensibles a través de la generación aumentada de búsqueda o la llamada de funciones, las posibilidades de que los datos sean robados son muy altas. La fuente del problema: implementaciones que son inseguras por defecto La principal razón por la que LLMjacking funciona tan bien es que muchos marcos de LLM auto-hostados se hacen para el desarrollo local de un solo usuario y no son seguros por defecto para entornos de producción o web-expuestos. Echa un vistazo a Ollama, que es una de las mejores herramientas para ejecutar LLMs en tu propio ordenador. Ollama está configurado para que no tengas que iniciar sesión cuando vas a http://localhost:11434. Esto tiene sentido para el desarrollo local, pero tan pronto como ese puerto está abierto a Internet, ya sea intencionalmente o por error, se convierte en un gran agujero de seguridad. La buena noticia es que estos problemas se pueden corregir si haces las cosas de la manera correcta.En la próxima parte, hablaremos de las cosas específicas que puedes hacer para proteger tu infraestructura de LLM auto-hostada. Una guía útil para hacer que su LLM autogestionado sea más seguro Usted necesita usar un enfoque de defensa en profundidad para proteger su infraestructura LLM auto-hostada. No puede simplemente poner un firewall delante de su servidor; usted necesita agregar controles de seguridad a cada capa de la pila. Estas son las cosas más importantes que necesita hacer. Nunca muestres los endpoints crudos: el poder del proxy inverso Lo más importante que puede hacer para mantener su LLM auto-hostado seguro es nunca dejar que el punto final crudo, no autenticado sea visto por Internet. Siempre debe poner un proxy reverso, como Nginx o Caddy, delante de su servicio LLM en su lugar. Esto añade una capa importante de seguridad, como la autenticación, la encriptación TLS y la limitación de la tasa. Cómo proteger Ollama con Nginx y API Key Authentication Ollama es una gran manera de ejecutar LLMs en su propio ordenador, pero no debe ponerlo en la web. Esta es la forma de usar Nginx para agregar una capa de autenticación de clave de API a su instancia Ollama. Para empezar, necesita crear un archivo para mantener sus claves de API válidas. En este caso, lo llamaremos apikeys.txt: # apikeys.txt
my-secret-api-key-1
another-valid-key
 A continuación, tendrá que configurar Nginx para actuar como un proxy reverso y verificar una clave de API válida en el encabezado de Autorización de las solicitudes entrantes. 
# /etc/nginx/sites-available/ollama.conf A map to see if the API key you gave is valid.

    default 0; "Bearer my-secret-api-key-1" 1; "Bearer another-valid-key" 1;

server { listen 80; server_name your-llm-domain.com; 

    location / {
        # If the API key is not valid, return 401 'Unauthorized' and reject requests.

        # Proxy requests to the Ollama backend proxy_pass http://localhost:11434; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme;
        
        # Raise the timeout for inference requests that take a long time to process. proxy_read_timeout 300s; proxy_connect_timeout 75s; 
    }
}
 Esto hace dos cosas importantes: 
 
 
 Construye una variable llamada $api_key_valid con la directiva del mapa. Esta variable se establece en 1 basándose en el encabezado de autorización que tenga una clave válida; de lo contrario se establece en 0. Busca el valor de $api_key_valid en el bloque de ubicación. Si la solicitud es 0, un error 401 No autorizado significa que no está permitido. Esta configuración significa que cada solicitud a su instancia de Ollama debe incluir una clave de API válida en el encabezado de autorización: curl http://your-llm-domain.com/api/generate \-H "Authorization: Bearer my-secret-api-key-1" \
-d '{ "model": "llama2", "prompt": "Why is the sky blue?" }'
 Asegurarse de que el MCP es seguro El Protocolo de Contexto Modelo es una gran manera de hacer agentes de IA, pero también los hace menos seguros. Los atacantes pueden entrar en sus LLM y cualquier herramienta o API que el servidor MCP esté configurado para usar si no está protegido. Aislamiento a nivel de red Su servidor MCP no debe estar directamente conectado a la Internet pública siempre que sea posible.Si solo un pequeño número de clientes necesita poder acceder a ella, use una VPN u otros controles de nivel de red para limitar el acceso.Use grupos de seguridad o políticas de red para asegurarse de que sólo los servicios aprobados puedan hablar con su servidor MCP cuando lo implementa en la nube. Autenticación y Autorización MCP no dice qué método de autenticación utilizar, por lo que tiene que elegir uno por sí mismo. Debes, al menos, requerir una clave de API única que no se pueda adivinar para cada solicitud. Si necesita mantener las cosas más privadas, piense en usar un método de autenticación más fuerte como OAuth 2.0 o TLS mutuo. También debe usar un modelo de permisos de grano fino para controlar qué clientes pueden usar qué herramientas.Por ejemplo, puede tener un cliente "sólo para leer" que solo puede usar herramientas que le dan información y un cliente "leer-escribir" que puede usar herramientas que cambian los datos. Limpiar la entrada y la salida Nunca debe confiar en la entrada del cliente, al igual que no debe confiar en la entrada de cualquier otra aplicación web.Para detener los ataques de inyección, debe limpiar cuidadosamente y comprobar toda la entrada a su servidor MCP. Hacer que la tasa de limitación del trabajo bien Limitar las tarifas es una buena manera de proteger contra los ataques de denegación de servicio y el abuso de recursos que ocurrió en Operation Bizarre Bazaar. Limitar la cantidad de solicitudes que un cliente puede hacer dentro de un período de tiempo especificado sirve como una salvaguardia contra el potencial de que un único actor malicioso sobrecargue su sistema o incurra en costes significativos. Existen diferentes estrategias para la implementación de la limitación de tasas: 
 
 
 
 Limitación de la tasa de IP: Regula el volumen de solicitudes que provienen de una dirección IP individual.Aunque es fácil de implementar, puede resultar ineficaz contra los ataques distribuidos y podría penalizar injustamente a los usuarios que operan detrás de un NAT. Implementar la limitación de la tasa basada en la clave de la API resulta ser una estrategia más eficiente, garantizando así una distribución equitativa de los recursos entre los usuarios y facilitando la identificación y el bloqueo de las personas abusivas. Limitación de la tasa basada en tokens: En el contexto de los LLM, generalmente es más lógico implementar la limitación de la tasa basada en la cantidad de tokens producidos, en lugar de la frecuencia de las solicitudes. En un sistema de producción, usted desea usar una solución más robusta y escalable, como Redis con contadores de ventanas deslizantes, o una biblioteca dedicada de limitación de tasa como el limitador de botella. Mejores prácticas de seguridad adicionales Además de las defensas primarias descritas anteriormente, considere implementar las siguientes medidas de seguridad: Monitorizar y documentar todas las actividades de acceso. Mantenga registros completos de todas las solicitudes de API, documentando la clave de API utilizada, la dirección IP de origen, el modelo solicitado y el número total de tokens generados.Esto ayudará a identificar el comportamiento inusual e investigar posibles problemas de seguridad.Para facilitar el análisis, implementa un sistema de registro centralizado como ELK Stack o Splunk. Evaluaciones de seguridad de rutina Utilice herramientas como nmap o escáneres de seguridad nativos de la nube para identificar terminales mal configurados antes de que los atacantes puedan explotarlos. Establecer restricciones de uso Además de implementar la limitación de la tasa, es aconsejable establecer límites de uso estrictos para cada clave de API. Por ejemplo, es posible asignar un límite de 1 millón de tokens por clave en una base mensual. Mantenga su software actualizado Asegúrese de mantener sus frameworks de LLM, proxies reversos y sistemas operativos actualizados en todo momento para corregir las vulnerabilidades conocidas. Conclusión: Es hora de poner la seguridad primero. El ascenso del LLMjacking debería despertar a la comunidad de la IA. Ya no podemos permitirnos ignorar la seguridad.Tenemos que seguir empujando los límites de lo que la IA puede hacer, pero también necesitamos poner la seguridad primero y hacer sistemas que puedan resistir los ataques. La campaña de Operation Bizarre Bazaar muestra que los atacantes están buscando activamente y usando infraestructuras de LLM débiles en gran escala.La buena noticia es que las defensas en este artículo -poner su LLM detrás de un proxy reverso, usando una autenticación y autorización fuertes, y imponer una restricción de tasa estricta - son todas medidas de seguridad bien conocidas que no requieren mucho trabajo para poner en marcha. Tenemos las herramientas que necesitamos para hacer que los sistemas de IA estén seguros.Nosotros, los ingenieros y desarrolladores que trabajan en la primera línea, somos los que necesitan usarlos.Puedes mantener tu infraestructura de IA segura tomando estos pasos hoy.También protegerán tu negocio de la creciente amenaza de LLMjacking.

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Este audio es producido en el idioma original de la historia!

LLMjacking emerge como una nueva amenaza costosa para la infraestructura de IA auto-hostada

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Telegram: el puente de Crypto Island hacia el continente

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Telegram: el puente de Crypto Island hacia el continente

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps