Lo que comenzó como una promesa de acceso democratizado a la IA a través de los proveedores de nube se ha convertido en una experiencia frustrante de rendimiento degradado, censura agresiva y costes impredecibles. El costo oculto del rendimiento de la nube AI Los proveedores de inteligencia artificial en la nube han desarrollado un patrón preocupante: el lanzamiento con un rendimiento excepcional para atraer suscriptores y luego degradar gradualmente la calidad del servicio. los usuarios de OpenAI informaron que GPT-4o ahora "responde muy rápidamente, pero si el contexto y las instrucciones se están ignorando para proporcionar respuestas rápidas, entonces la herramienta no es usable". Una técnica en la que los proveedores agrupan varias solicitudes de usuario juntas para mejorar la eficiencia de la GPU, haciendo que las solicitudes individuales esperen hasta 4 veces más a medida que crecen los tamaños de los lotes. Token batching La degradación del rendimiento se extiende más allá de simples retrasos. El batchamiento estático obliga a todas las secuencias en un lote a completarse juntas, lo que significa que su consulta rápida espera la larga generación de otra persona. Incluso el "batchamiento continuo" introduce una sobrecarga que ralentiza las solicitudes individuales. los proveedores de nube optimizan el rendimiento global a expensas de su experiencia, un compromiso que tiene sentido para su modelo de negocio pero devasta la experiencia del usuario. Censura: cuando la seguridad se vuelve inútil Las pruebas revelan que Google Gemini se niega a responder a 10 de las 20 preguntas controvertidas pero legítimas, más que cualquier competidor. Las aplicaciones para los sobrevivientes de agresiones sexuales se bloquean como "contenido inseguro". Las conversaciones históricas de rol de repente dejan de funcionar después de las actualizaciones. Las aplicaciones de soporte de salud mental desencadenan filtros de seguridad. Claude de Anthropic se ha convertido en "borderline inútil" según los usuarios frustrados por la fuerte censura que bloquea los casos legítimos de uso. La ventaja local Con el hardware adecuado, la inferencia local alcanza 1900+ tokens/segundo—10-100x más rápido de tiempo a primer token que los servicios en la nube. Usted mantiene el control completo sobre las versiones del modelo, evitando las actualizaciones no deseadas que rompen los flujos de trabajo. No hay filtros de censura que bloqueen el contenido legítimo. No hay límites de tasa que interrumpan su trabajo. No hay facturas de sorpresa de los picos de uso. Durante cinco años, las suscripciones en la nube cuestan $1,200+ para el acceso básico y 10x más para las suscripciones avanzadas. Y los precios de los proveedores de IA están creciendo y los límites se vuelven más estrictos, mientras que una inversión de hardware de una vez proporciona un uso ilimitado con solo limitaciones físicas de hardware Requisitos de hardware: Construye su Powerhouse de IA Comprender los tamaños y la cuantización del modelo La clave para el éxito de la auto-hosting reside en ajustar los modelos a sus capacidades de hardware. Las técnicas modernas de cuantización comprimen los modelos sin pérdida significativa de calidad: La cuantización reduce la precisión de los pesos del modelo desde su representación de punto flotante original a los formatos de bits más bajos.Piensa en ello como comprimir una imagen de alta resolución —estás negociando algunos detalles para tamaños de archivos dramáticamente más pequeños.En las redes neuronales, esto significa almacenar cada parámetro usando menos bits, lo que reduce directamente el uso de la memoria y acelera la inferencia. What is Quantization? Sin cuantización, incluso los modelos de lenguaje modestos serían inaccesibles para la mayoría de los usuarios.Un modelo de parámetro 70B con plena precisión requiere de 140 GB de memoria, más allá de la mayoría de las GPU de consumo.La cuantización democratiza la IA al hacer que los modelos potentes funcionen en el hardware cotidiano, permitiendo la implementación local, reduciendo los costes de la nube y mejorando la velocidad de inferencia a través de patrones de acceso de memoria más eficientes. Why Quantization Matters 
 
 
 
 
 FP16 (Full Precision): calidad del modelo original, requisitos máximos de memoria Quantización de 8 bits: reducción del 50% de la memoria, impacto mínimo en la calidad Quantización de 4 bits: ~75% de reducción de memoria, ligera compensación de calidad 2-bit Quantization: ~87.5% reducción de memoria, notable degradación de calidad Para un modelo de parámetro 7B, esto se traduce en 14GB (FP16), 7GB (8-bit), 3.5GB (4-bit), o 1,75GB (2-bit) de memoria requerida. Modelos de código abierto populares y sus requisitos Small Models (1.5B-8B parameters): 
 
 
 
 Qwen3 4B/8B: La última generación con modos de pensamiento híbrido. Qwen3-4B supera a muchos modelos 72B en tareas de programación. Requiere ~3-6GB en cuantización de 4 bits DeepSeek-R1 7B: Excelentes capacidades de razonamiento, 4 GB de RAM mínimo Mistral Small 3.1 24B: El modelo más reciente de Apache 2.0 con capacidades multimodales, ventana de contexto de 128K y rendimiento de 150 tokens por segundo. Medium Models (14B-32B parameters): 
 
 
 
 
 GPT-OSS 20B: primer modelo abierto de OpenAI desde 2019, Apache 2.0 licenciado. arquitectura MoE con parámetros activos de 3.6B proporciona rendimiento o3-mini. Se ejecuta en RTX 4080 con 16GB de VRAM Qwen3 14B/32B: modelos densos con capacidades de modo de pensamiento. Qwen3-14B coincide con el rendimiento de Qwen2.5-32B mientras es más eficiente DeepSeek-R1 14B: óptimo en RTX 3070 Ti/4070 Mistral Small 3.2: Última actualización con mejor seguimiento de instrucciones y repetición reducida Large Models (70B+ parameters): 
 
 
 
 
 
 Llama 3.3 70B: ~35GB en cuantización de 4 bits, requiere doble RTX 4090 o A100 DeepSeek-R1 70B: 48GB de VRAM recomendado, alcanzable con 2x RTX 4090 GPT-OSS 120B: modelo abierto líder de OpenAI con parámetros activos de 5.1B a través de 128-expert MoE. Matiza el rendimiento o4-mini, se ejecuta en H100 (80GB) o 2-4x RTX 3090s Qwen3-235B-A22B: modelo MoE flagship con parámetros activos 22B, competitivo con o3-mini DeepSeek-R1 671B: El gigante que requiere 480GB + VRAM o configuraciones especializadas Modelos de codificación especializados: Small Coding Models (1B-7B active parameters): 
 
 
 
 Qwen3-Coder 30B-A3B: Modelo MoE con sólo parámetros activos 3.3B. Contexto nativo 256K (1M con YaRN) para tareas a escala de repositorio. Se ejecuta en RTX 3060 12GB en cuantización de 4 bits Qwen3-Coder 30B-A3B-FP8: cuantización oficial de 8 bits que mantiene el rendimiento del 95% +. Requiere 15GB de VRAM, óptimo para RTX 4070/3080 Unsloth Qwen3-Coder 30B-A3B: cuantizaciones dinámicas con llamada de herramientas fija. Q4_K_M funciona en 12GB, Q4_K_XL en 18GB con mejor calidad Large Coding Models (35B+ active parameters): 
 
 
 
 Qwen3-Coder 480B-A35B: Modelo de agente flagship con 35B activo a través de 160-expert MoE. Llega al 61,8% en SWE-Bench, comparable a Claude Sonnet 4. Requiere 8x H200 o 12x H100 con plena precisión Qwen3-Coder 480B-A35B-FP8: Memoria oficial de 8 bits reducida a 250 GB. Se ejecuta en 4x H100 80GB o 4x A100 80GB Unsloth Qwen3-Coder 480B-A35B: Q2_K_XL en 276GB ejecuta en 4x RTX 4090 + 180GB de RAM. IQ1_M en 150GB factible en 2x RTX 4090 + 100GB de RAM Configuración de hardware por presupuesto Budget Build (~$2,000): 
 
 
 
 
 Procesador AMD Ryzen 7 7700X 64GB de memoria RAM DDR5-5600 PowerColor RX 7900 XT 20GB o RTX 3090 usado Manejando cómodamente modelos de hasta 14B Performance Build (~$4,000): 
 
 
 
 
 Procesador AMD Ryzen 9 7900X 128GB de memoria RAM DDR5-5600 RTX 4090 24GB Ejecuta los modelos 32B de manera eficiente, los modelos 70B más pequeños con descarga Professional Setup (~$8,000): 
 
 
 
 
 Procesadores Dual Xeon/EPYC 256 GB de RAM 2x RTX 4090 o RTX A6000 Mantiene los modelos 70B a velocidades de producción Mac Options: 
 
 
 
 MacBook M1 Pro 36GB: Excelente para modelos 7B-14B, ventaja de memoria unificada Mac Mini M4 64GB: cómodo con modelos 32B Mac Studio M3 Ultra 512GB: La opción final — ejecuta DeepSeek-R1 671B a 17-18 tokens/sec por ~$10,000 Para los modelos ultra grandes, los sistemas AMD EPYC ofrecen un valor excepcional.Un sistema EPYC 7702 de $ 2.500 con 512GB-1TB DDR4 entrega 3.5-8 tokens/sec en DeepSeek-R1 671B, más lento que las GPUs pero mucho más asequible para modelos de este tamaño. The AMD EPYC Alternative: Esta configuración puede ejecutar DeepSeek-R1 671B a 3.5-4.25 tokens/segundo: The $2,000 EPYC Build (Digital Spaceport Setup): 
 
 
 
 
 
 
 
 CPU: AMD EPYC 7702 (64 núcleos) - $650, o actualización a EPYC 7C13/7V13 - $599-735 Tarjeta madre: MZ32-AR0 (16 ranuras DIMM, soporte 3200MHz) - $500 Memoria: 16x 32GB DDR4-2400 ECC (512GB total) - $400, o 16x 64GB para 1TB - $800 Almacenamiento: 1TB Samsung 980 Pro NVMe - $75 Refrigeración: Corsair H170i Elite Capellix XT - $170 PSU: 850W (solo CPU) o 1500W (futura expansión de GPU) - $80-150 Caso: Rack frame - $ 55 : ~$2,000 para 512GB, ~$2,500 para la configuración de 1TB Total Cost Performance Results: 
 
 
 
 
 DeepSeek-R1 671B Q4: 3.5-4.25 tokens por segundo Ventana de contexto: 16K+ compatible Power Draw: 60W inactivos, 260W cargados Ancho de banda de memoria: Critical – DDR4-3200 más rápido mejora significativamente el rendimiento Esta configuración demuestra que los modelos masivos pueden ejecutarse a un precio asequible en sistemas de sólo CPU, lo que hace que la IA fronteriza sea accesible sin requerimientos de GPU.La capacidad de doble socket y el soporte de memoria masivo hacen que EPYC sea ideal para modelos que excedan los límites de VRAM de GPU. Fuente: Digital Spaceport - Cómo ejecutar Deepseek R1 671b completamente localmente en un servidor EPYC de $ 2000 Digital Spaceport - Cómo ejecutar Deepseek R1 671b completamente localmente en un servidor EPYC de $ 2000 Instalación de software: desde la instalación hasta la producción Ollama: La Fundación Ollama se ha convertido en el estándar de facto para la implementación de modelos locales, ofreciendo simplicidad sin sacrificar el poder. Installation: # Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh

# Windows: Download installer from ollama.com/download
 Essential Configuration: # Optimize for performance
export OLLAMA_HOST="0.0.0.0:11434"        # Enable network access
export OLLAMA_MAX_LOADED_MODELS=3         # Concurrent models
export OLLAMA_NUM_PARALLEL=4              # Parallel requests
export OLLAMA_FLASH_ATTENTION=1           # Enable optimizations
export OLLAMA_KV_CACHE_TYPE="q8_0"        # Quantized cache

# Download models
ollama pull qwen3:4b
ollama pull qwen3:8b
ollama pull mistral-small3.1
ollama pull deepseek-r1:7b
 Para configuraciones multi-GPU, ejecute instancias separadas de Ollama: Running Multiple Instances: # GPU 1
CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST="0.0.0.0:11434" ollama serve

# GPU 2
CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST="0.0.0.0:11435" ollama serve
 Exo.labs: Magia de la Inferencia Distribuida Exo.labs permite ejecutar modelos masivos en múltiples dispositivos, incluso mezclar MacBooks, PC y Raspberry Pis. Installation: git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .
 Simplemente corriendo en cada dispositivo de su red. Se descubren automáticamente y distribuyen el cálculo de modelos. Una configuración con 3x Macs M4 Pro alcanza 108,8 tokens/segundo en Llama 3.2 3B, una mejora de 2,2x sobre el rendimiento de un solo dispositivo. Usage: exo Opciones de GUI proporciona la mejor experiencia como ChatGPT: Open WebUI docker run -d -p 3000:8080 --gpus=all \
  -v ollama:/root/.ollama \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:ollama
 Acceso a para una interfaz completa con soporte RAG, gestión multiusuario y sistema de plugins. http://localhost:3000 Ofrece la experiencia de escritorio más sencilla: GPT4All 
 
 
 
 
 
 Descarga de gpt4all.io para Windows, macOS o Linux Instalación de un solo clic con detección automática de Ollama Modelo de navegador y gestor de descargas Ideal para principiantes que desean una aplicación nativa de escritorio Soporte para chat de documentos locales y plugins Ofrece una potente interfaz enfocada al desarrollo: AI Studio 
 
 
 
 
 
 
 
 Comparación de modelos múltiples y capacidades de prueba Espacio de trabajo avanzado de ingeniería rápida Gestión y pruebas de endpoints de API Análisis de rendimiento y benchmarking Soporta Ollama, LocalAI y backends personalizados Ideal para desarrolladores e investigadores de IA Las características incluyen ramificación de conversaciones, plantillas de prompt y opciones de exportación Excelente para aplicaciones creativas e interacciones basadas en personajes, ofreciendo una amplia personalización para roles y escenarios de escritura creativa. SillyTavern Acceso remoto con Tailscale: tu IA en todas partes Uno de los aspectos más poderosos de la auto-hosting de la IA es la capacidad de acceder a sus modelos desde cualquier lugar, manteniendo la privacidad completa. Tailscale VPN hace esto trivialmente fácil al crear una red segura entre todos sus dispositivos. Configurar Tailscale para el acceso remoto a AI Install Tailscale on your AI server: # Linux/macOS
curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up

# Windows: Download from tailscale.com/download
 Configure Ollama for network access: # Set environment variable to listen on all interfaces
export OLLAMA_HOST="0.0.0.0:11434"
ollama serve
 (laptop, teléfono, tableta) utilizando la misma cuenta. Todos los dispositivos aparecen automáticamente en su red de mesh privada con direcciones IP únicas (típicamente rango 100.x.x.x). Install Tailscale on client devices Check your server's Tailscale IP: tailscale ip -4
# Example output: 100.123.45.67
 Access from any device on your Tailnet: 
 
 
 
 Interfaz web: http://100.123.45.67:3000 (Open WebUI) API Endpoint: http://100.123.45.67:11434/v1/chat/completions Aplicaciones móviles: Configure el punto final de Ollama a su IP Tailscale Configuración de Tailscale Para acceder a toda su red: Enable subnet routing # On AI server
sudo tailscale up --advertise-routes=192.168.1.0/24
# Replace with your actual subnet
 Para HTTPS con certificados automáticos: Use Tailscale Serve # Expose Open WebUI with HTTPS
tailscale serve https / http://localhost:3000
 Esto crea una URL pública como accesible sólo a su red Tailscale. https://your-machine.your-tailnet.ts.net Configuración de acceso móvil Para dispositivos iOS y Android: 
 
 
 
 Instalar la app de la App Store/Play Store Entrar con la misma cuenta Install compatible apps:
 
 
 
 
 : Enchanted, Mela, or any OpenAI-compatible client iOS : Ollama Android app, or web browser Android Configure la aplicación para usar su Tailscale IP: http://100.123.45.67:11434 Las mejores prácticas de seguridad Tailscale proporciona seguridad por defecto a través de su red de redes cifradas, sin necesidad de configuración de firewall adicional!La belleza de Tailscale es que: 
 
 
 
 
 Encripta automáticamente todo el tráfico utilizando WireGuard Sólo permite los dispositivos autenticados en su red Crea conexiones aisladas que eluden completamente tu router Impide el acceso no autorizado desde Internet Dado que el tráfico de Tailscale está cifrado y sólo está disponible para sus dispositivos autenticados, su servidor Ollama permanece completamente privado incluso cuando se accede de forma remota. Con Tailscale, tu IA auto-hostada se vuelve verdaderamente portátil: accede a tus modelos con plena privacidad, ya sea que estés en una cafetería, viajes o trabajes desde otro lugar. Flujos de trabajo de agentes: la IA que realmente funciona Goose desde el bloque Goose transforma sus modelos locales en asistentes de desarrollo autónomos capaces de construir proyectos enteros. Installation: curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash
 Configuration for Ollama: goose configure
# Select: Configure Providers → Custom → Local
# Base URL: http://localhost:11434/v1
# Model: qwen3:8b
 Goose sobresale en migraciones de código, optimización de rendimiento, generación de pruebas y flujos de trabajo de desarrollo complejos. A diferencia de la completación de código simple, planifica y ejecuta tareas de desarrollo enteras de forma autónoma. Crush desde el encanto Para los entusiastas de terminales, Crush proporciona un glamuroso agente de codificación de IA con integración IDE profunda. Installation: brew install charmbracelet/tap/crush  # macOS/Linux
# or
npm install -g @charmland/crush
 (en el ) de : Ollama Configuration .crush.json {
  "providers": {
    "ollama": {
      "type": "openai",
      "base_url": "http://localhost:11434/v1",
      "api_key": "ollama",
      "models": [{
        "id": "qwen3:8b",
        "name": "Qwen3 8B",
        "context_window": 32768
      }]
    }
  }
}
 N8n AI Kit de arranque Para la automatización visual del flujo de trabajo, el kit autogestionado n8n combina todo lo necesario: git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git
cd self-hosted-ai-starter-kit
docker compose --profile gpu-nvidia up
 Acceso al editor de flujo de trabajo visual en con más de 400 integraciones y plantillas de IA pre-construidas. http://localhost:5678/ Inferencia a escala corporativa: la configuración de 50 millones de tokens / hora Para las organizaciones que requieren un rendimiento extremo, los límites del auto-hosting se extienden mucho más allá de los servidores caseros tradicionales, por ejemplo @nisten setup en X. 
 
 
 
 Modelo: Qwen3-Coder-480B (480B parámetros, 35B arquitectura MoE activa) Hardware: 4x Nvidia H200 Producción: 50 millones de tokens / hora (alrededor de $ 250 / hora si se utiliza Sonnet) Análisis de costos Initial Investment: 
 
 
 
 Establecimiento presupuestario: ~$2,000 Configuración de rendimiento: ~$4,000 Configuración profesional: ~$9000 Operational Costs: 
 
 
 
 
 Electricidad: 50-200 dólares al mes Cero fuegos artificiales Sin límites de uso Previsión completa de costes Los usuarios pesados recuperan la inversión en 3-6 meses.Los usuarios moderados rompen incluso en un año.La libertad de los límites de tasa, la censura y la degradación del rendimiento? Break-even Timeline: Conclusión El auto-hosting de la IA ha evolucionado: Comience pequeño con una única GPU y Ollama. Experimente con diferentes modelos. Añade capacidades de agencia. Aumentar según sea necesario. Lo más importante, disfrute de la libertad de la IA que funciona exactamente como lo necesita – sin compromisos, sin censura, sin sorpresas. Vaya de la curiosidad experimental a la necesidad práctica. La combinación de poderosos modelos de código abierto, ecosistemas de software maduro y hardware accesible crea una oportunidad sin precedentes para la independencia de la IA. Ya sea que esté frustrado con las limitaciones de la nube, preocupado por la privacidad o simplemente desee un rendimiento consistente, el camino hacia la IA auto-hostada es más claro que nunca. Enlaces a los artículos relevantes sobre auto-hosting: 
 
 
 
 
 
 Ingo Eichhorst y su hermosa configuración, foto de la que usé para este artículo: https://ingoeichhorst.medium.com/building-a-wall-mounted-and-wallet-friendly-ml-rig-0683a7094704 Digital Spaceport EPYC rig: https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ Show Me Your Rig thread on LocalLLaMa subreddit: https://www.reddit.com/r/LocalLLaMA/comments/1fqwler/show_me_your_ai_rig/ Ben Arent AI homelab: https://benarent.co.uk/blog/ai-homelab/ Cluster de Exo Labs con 5 Mac Studio: https://www.youtube.com/watch?v=Ju0ndy2kwlw

Read My Stories

About me

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Get Free Unlimited IP Geo Data With IPinfo Lite

¿Cuánto cuesta auto-hostar AI? he construido un sistema para averiguar

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps