Сколько стоит самохостинг AI? я построил систему, чтобы узнать

То, что началось как обещание демократизированного доступа к ИИ через облачных провайдеров, превратилось в разочаровывающий опыт деградации производительности, агрессивной цензуры и непредсказуемых затрат. Скрытые затраты на облачные ИИ Пользователи OpenAI сообщили, что GPT-4o теперь «отвечает очень быстро, но если контекст и инструкции игнорируются, чтобы обеспечить быстрые ответы, то инструмент не может быть использован». Техника, при которой провайдеры группируют несколько запросов пользователей вместе для повышения эффективности GPU, заставляя отдельные запросы ждать до 4 раз дольше по мере увеличения размеров партий. Token batching Ухудшение производительности выходит за рамки простых задержек. Статическое патронирование вынуждает все последовательности в паре завершить вместе, а это означает, что ваш быстрый запрос ждет долгого поколения кого-то еще. Даже «непрерывное патронирование» вводит перегрузку, которая замедляет индивидуальные запросы. Цензура: когда безопасность становится ненужной Тестирование показывает, что Google Gemini отказывается отвечать на 10 из 20 спорных, но законных вопросов — больше, чем у любого конкурента. Приложения для лиц, переживших сексуальное насилие, блокируются как «безопасный контент». Исторические ролевые разговоры внезапно прекращают работу после обновлений. Приложения для поддержки психического здоровья запускают фильтры безопасности. Клод Антропика стал «пограничным бесполезным», согласно пользователям, разочарованным сильной цензурой, которая блокирует случаи законного использования. Местное преимущество Самостоятельно размещенный ИИ полностью устраняет эти разочарования. При правильном оборудовании локальное вывод достигает 1900+ токенов в секунду — 10-100 раз быстрее, чем время-на-первое, чем облачные сервисы. Вы поддерживаете полный контроль над версиями моделей, предотвращая нежелательные обновления, которые нарушают рабочие процессы. Нет цензурных фильтров, блокирующих легитимный контент. Нет лимитов тарифов, прерывающих вашу работу. Нет неожиданных счетов от пиков использования. В течение пяти лет подписки на облако стоят $1,200+ для базового доступа и 10 раз больше для продвинутых подписок. И цены поставщиков ИИ растут, а ограничения становятся более строгими, в то время как одно Требования к оборудованию: Построение вашего AI Powerhouse Понимание размеров моделей и их количественного определения Ключ к успеху самохостинга заключается в том, что модели соответствуют вашим возможностям оборудования.Современные методы квантизации сжимают модели без значительной потери качества: Квантизация уменьшает точность весов моделей от их первоначального представления плавающей точки до более низких битовых форматов. Подумайте об этом, как о сжатии изображения с высоким разрешением — вы торгуете некоторыми деталями для значительно меньших размеров файлов. В нейронных сетях это означает хранение каждого параметра с использованием меньшего количества битов, что напрямую уменьшает использование памяти и ускоряет вывод. What is Quantization? Без квантизации даже скромные языковые модели были бы недоступны для большинства пользователей. 70B-модель параметров с полной точностью требует 140 ГБ памяти — за пределами большинства потребительских GPU. Квантизация демократизирует ИИ, делая мощные модели, работающие на повседневном оборудовании, позволяя локальное развертывание, снижая затраты на облако и улучшая скорость вывода через более эффективные модели доступа к памяти. Why Quantization Matters FP16 (Full Precision): качество оригинальной модели, максимальные требования к памяти 8-битная квантизация: ~50% уменьшение памяти, минимальное воздействие на качество 4-битная квантизация: ~75% уменьшение памяти, небольшое сокращение качества 2-битная квантизация: ~87.5% уменьшение памяти, заметное ухудшение качества Для модели параметров 7B это означает 14 ГБ (FP16), 7 ГБ (8-бит), 3,5 ГБ (4-бит) или 1,75 ГБ (2-бит) необходимой памяти. Популярные модели с открытым исходным кодом и их требования Small Models (1.5B-8B parameters): Qwen3 4B/8B: последнее поколение с гибридными режимами мышления. Qwen3-4B превосходит многие модели 72B по программированию задач. DeepSeek-R1 7B: отличные возможности рассуждения, минимум 4 ГБ оперативной памяти Mistral Small 3.1 24B: новейшая модель Apache 2.0 с мультимодальными возможностями, контекстным окном 128K и производительностью 150 токенов в секунду. Medium Models (14B-32B parameters): GPT-OSS 20B: первая открытая модель OpenAI с 2019 года, Apache 2.0 лицензирована. Архитектура MoE с активными параметрами 3.6B обеспечивает мини-производительность o3. работает на RTX 4080 с 16 ГБ VRAM Qwen3 14B/32B: плотные модели с возможностями режима мышления. Qwen3-14B соответствует производительности Qwen2.5-32B, будучи более эффективным DeepSeek-R1 14B: Оптимальный для RTX 3070 Ti/4070 Mistral Small 3.2: Последнее обновление с улучшенными инструкциями и уменьшенным повторением Large Models (70B+ parameters): Llama 3.3 70B: ~35 ГБ в 4-битной квантификации, требуется двойная RTX 4090 или A100 DeepSeek-R1 70B: рекомендуется 48 ГБ VRAM, достижимо с 2х RTX 4090 GPT-OSS 120B: флагманская открытая модель OpenAI с активными параметрами 5.1B через 128-expert MoE. Совпадает с мини-производительностью o4, работает на одном H100 (80GB) или 2-4x RTX 3090s Qwen3-235B-A22B: флагманская модель MoE с активными параметрами 22B, конкурентоспособная с o3-mini DeepSeek-R1 671B: гигант, требующий 480 ГБ + VRAM или специализированных настроек Специализированные модели кодирования: Small Coding Models (1B-7B active parameters): Qwen3-Coder 30B-A3B: Модель MoE только с активными параметрами 3.3B. Натуральный контекст 256K (1M с YaRN) для задач в масштабе репозиторий. Запускается на RTX 3060 12GB в 4-битной квантизации Qwen3-Coder 30B-A3B-FP8: официальная 8-битная квантизация, поддерживающая 95%+ производительности. Требуется 15 ГБ VRAM, оптимальный для RTX 4070/3080 Unsloth Qwen3-Coder 30B-A3B: динамические квантификации с фиксированным вызовом инструментов. Q4_K_M работает на 12 ГБ, Q4_K_XL на 18 ГБ с лучшим качеством Large Coding Models (35B+ active parameters): Qwen3-Coder 480B-A35B: флагманская модель агента с активностью 35B через 160-expert MoE. Достигает 61,8% на SWE-Bench, сопоставимый с Claude Sonnet 4. Требует 8x H200 или 12x H100 при полной точности Qwen3-Coder 480B-A35B-FP8: Официальная 8-битная уменьшающая память до 250 ГБ. Работает на 4x H100 80GB или 4x A100 80GB Unsloth Qwen3-Coder 480B-A35B: Q2_K_XL при 276GB работает на 4x RTX 4090 + 180GB RAM. IQ1_M при 150GB возможен на 2x RTX 4090 + 100GB RAM Конфигурации аппаратного обеспечения по бюджету Budget Build (~$2,000): Процессор AMD Ryzen 7 7700X 64 ГБ DDR5-5600 RAM PowerColor RX 7900 XT 20GB или использованный RTX 3090 Удобно управляет моделями до 14Б Performance Build (~$4,000): Обзор AMD Ryzen 9 7900X 128 ГБ DDR5-5600 РАМ RTX 4090 24 ГБ Эффективно запускает 32B-модели, более мелкие 70B-модели с разгрузкой Professional Setup (~$8,000): Процессоры Dual Xeon/EPYC 256 ГБ + RAM 2 x RTX 4090 или RTX A6000 Управляет моделями 70B на скорости производства Mac Options: MacBook M1 Pro 36 ГБ: отлично подходит для моделей 7B-14B, преимущество единой памяти Mac Mini M4 64GB: удобный с 32B-моделями Mac Studio M3 Ultra 512 ГБ: Последний вариант — работает DeepSeek-R1 671B при 17-18 токенах/сек за ~10 000 долларов Для ультрабольших моделей системы AMD EPYC предлагают исключительную ценность. ~2500$ система EPYC 7702 с 512GB-1TB DDR4 обеспечивает 3,5-8 токенов в секунду на DeepSeek-R1 671B — медленнее, чем GPU, но намного более доступно для моделей этого размера. The AMD EPYC Alternative: Эта конфигурация может запускать DeepSeek-R1 671B при 3,5-4,25 токена в секунду: The $2,000 EPYC Build (Digital Spaceport Setup): Процессор: AMD EPYC 7702 (64 ядра) - $650, или обновление до EPYC 7C13/7V13 - $599-735 Материнская плата: MZ32-AR0 (16 слотов DIMM, поддержка 3200 МГц) - $500 Память: 16x 32GB DDR4-2400 ECC (512GB в общей сложности) - $400, или 16x 64GB для 1TB - $800 1 ТБ Samsung 980 Pro NVMe - $75 Холодильник: Corsair H170i Elite Capellix XT - $170 PSU: 850 Вт (только CPU) или 1500 Вт (будущее расширение GPU) - $80-150 Case: Rack frame - $55 : ~2 000 долларов за 512 Гб, ~2 500 долларов за 1 Тб конфигурации Total Cost Performance Results: DeepSeek-R1 671B Q4: 3.5-4.25 токенов в секунду Контекстное окно: поддерживается 16K+ Мощность: 60 Вт, заряженный 260 Вт Ширина полосы памяти: критическая — более быстрая DDR4-3200 значительно улучшает производительность Эта установка доказывает, что массивные модели могут работать по доступным ценам на системах только с CPU, что делает граничный ИИ доступным без требований к GPU. Источник: Digital Spaceport - Как запустить Deepseek R1 671b полностью локально на сервере EPYC за $2000 Как запустить Deepseek R1 671b полностью локально на сервере EPYC за $2000 Настройка программного обеспечения: от установки до производства Оллама: Фонд Оллама стал де-факто стандартом для локального развертывания моделей, предлагая простоту, не жертвуя властью. Installation: # Linux/macOS curl -fsSL https://ollama.com/install.sh | sh # Windows: Download installer from ollama.com/download Essential Configuration: # Optimize for performance export OLLAMA_HOST="0.0.0.0:11434" # Enable network access export OLLAMA_MAX_LOADED_MODELS=3 # Concurrent models export OLLAMA_NUM_PARALLEL=4 # Parallel requests export OLLAMA_FLASH_ATTENTION=1 # Enable optimizations export OLLAMA_KV_CACHE_TYPE="q8_0" # Quantized cache # Download models ollama pull qwen3:4b ollama pull qwen3:8b ollama pull mistral-small3.1 ollama pull deepseek-r1:7b Для установки нескольких GPU запускайте отдельные инстанции Ollama: Running Multiple Instances: # GPU 1 CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST="0.0.0.0:11434" ollama serve # GPU 2 CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST="0.0.0.0:11435" ollama serve Название: Exo.labs: Distributed Inference Magic Exo.labs позволяет запускать массивные модели на нескольких устройствах — даже смешивая MacBooks, ПК и Raspberry Pis. Installation: git clone https://github.com/exo-explore/exo.git cd exo pip install -e . Просто бегать на каждом устройстве в вашей сети. Они автоматически обнаруживают друг друга и распространяют вычисления моделей. Настройка с 3х M4 Pro Macs достигает 108,8 токенов в секунду на Llama 3.2 3B — улучшение в 2,2 раза по сравнению с производительностью одного устройства. Usage: exo GUI опции предоставляет лучший ChatGPT-подобный опыт: Open WebUI docker run -d -p 3000:8080 --gpus=all \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ ghcr.io/open-webui/open-webui:ollama Доступ к для полнофункционального интерфейса с поддержкой RAG, многопользовательским управлением и системой плагинов. http://localhost:3000 Предлагает самый простой десктопный опыт: GPT4All Скачать из gpt4all.io для Windows, macOS или Linux Одноклассная установка с автоматическим обнаружением Ollama Встроенный браузер и менеджер загрузки Идеально подходит для начинающих, которые хотят иметь собственное десктопное приложение Поддерживает локальный чат документов и плагины обеспечивает мощный ориентированный на развитие интерфейс: AI Studio Многомодельное сравнение и тестирование возможностей Современное инженерное рабочее пространство Управление конечными точками API и тестирование Модель анализа производительности и бенчмаркинг Поддерживает Ollama, LocalAI и персонализированные резервные устройства Идеально подходит для разработчиков и исследователей Функции включают разветвление разговоров, запросы на шаблоны и варианты экспорта отличается для творческих приложений и взаимодействий на основе персонажей, предлагая обширную настройку для ролевых игр и сценариев творческого письма. SillyTavern Удаленный доступ с Tailscale: ваш ИИ везде Одним из самых мощных аспектов самохостинга ИИ является возможность доступа к вашим моделям из любого места при сохранении полной конфиденциальности. Tailscale VPN облегчает это, создавая безопасную сеть между всеми вашими устройствами. Настройка Tailscale для удаленного AI-доступа Install Tailscale on your AI server: # Linux/macOS curl -fsSL https://tailscale.com/install.sh | sh sudo tailscale up # Windows: Download from tailscale.com/download Configure Ollama for network access: # Set environment variable to listen on all interfaces export OLLAMA_HOST="0.0.0.0:11434" ollama serve (ноутбук, телефон, планшет) используя одну и ту же учетную запись.Все устройства автоматически появляются в вашей частной сетевой сети с уникальными IP-адресами (обычно диапазон 100.x.x.x). Install Tailscale on client devices Check your server's Tailscale IP: tailscale ip -4 # Example output: 100.123.45.67 Access from any device on your Tailnet: Интерфейс веб-сайта: http://100.123.45.67:3000 (Open WebUI) API конечная точка: http://100.123.45.67:11434/v1/chat/completions Мобильные приложения: настройте конечный пункт Ollama на свой IP Tailscale Развитая конфигурация Tailscale Чтобы получить доступ ко всей домашней сети: Enable subnet routing # On AI server sudo tailscale up --advertise-routes=192.168.1.0/24 # Replace with your actual subnet Для HTTPS с автоматическими сертификатами: Use Tailscale Serve # Expose Open WebUI with HTTPS tailscale serve https / http://localhost:3000 Это создает публичный URL, как доступны только для вашей сети Tailscale. https://your-machine.your-tailnet.ts.net Настройка мобильного доступа Для iOS/Android устройств: Установите приложение Tailscale из App Store/Play Store Зарегистрироваться с одним и тем же аккаунтом Install compatible apps: : Enchanted, Mela, or any OpenAI-compatible client iOS : Ollama Android app, or web browser Android Настройте приложение для использования вашего Tailscale IP: http://100.123.45.67:11434 Безопасность лучшие практики Tailscale обеспечивает безопасность по умолчанию через свою зашифрованную сеть - никакой дополнительной конфигурации брандмауэра не требуется! Автоматически шифрует весь трафик с помощью WireGuard Разрешает только аутентифицированные устройства в вашей сети Создает изолированные соединения, которые полностью обходят ваш маршрутизатор Предотвращает несанкционированный доступ с общественного интернета Поскольку трафик Tailscale шифрован и доступен только вашим аутентифицированным устройствам, ваш сервер Ollama остается полностью частным даже при удаленном доступе. С Tailscale ваш автономный ИИ становится по-настоящему портативным — доступ к вашим моделям с полной конфиденциальностью, будь вы в кафе, путешествуя или работая из другого места. Агентские рабочие процессы: ИИ, который действительно работает Гуси из блока Goose превращает ваши локальные модели в автономных помощников по разработке, способных строить целые проекты. Installation: curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash Configuration for Ollama: goose configure # Select: Configure Providers → Custom → Local # Base URL: http://localhost:11434/v1 # Model: qwen3:8b Goose отличается миграцией кода, оптимизацией производительности, генерированием тестов и сложными рабочими процессами разработки.В отличие от простого заполнения кода, он планирует и выполняет все задачи разработки автономно. Crush от Charm Для энтузиастов терминала Crush предоставляет гламурный агент кодирования ИИ с глубокой интеграцией IDE. Installation: brew install charmbracelet/tap/crush # macOS/Linux # or npm install -g @charmland/crush (на ) : Ollama Configuration .crush.json { "providers": { "ollama": { "type": "openai", "base_url": "http://localhost:11434/v1", "api_key": "ollama", "models": [{ "id": "qwen3:8b", "name": "Qwen3 8B", "context_window": 32768 }] } } } Новый n8n AI Starter Kit Для визуальной автоматизации рабочих процессов набор n8n сочетает в себе все необходимое: git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git cd self-hosted-ai-starter-kit docker compose --profile gpu-nvidia up Доступ к редактору визуального рабочего процесса на с 400+ интеграциями и предварительно построенными шаблонами ИИ. http://localhost:5678/ Введение в корпоративном масштабе: 50 миллионов токенов/часовой настройки Для организаций, требующих экстремальной производительности, границы самохостинга выходят далеко за пределы традиционных домашних серверов, например @nisten setup на X. Модель: Qwen3-Coder-480B (480B параметры, 35B активная архитектура MoE) Устройство: 4x NVIDIA H200 Выход: 50 миллионов токенов в час (около $250 в час при использовании Sonnet) Анализ затрат Initial Investment: Бюджетная настройка: ~ $2,000 Настройка производительности: ~$4000 Профессиональная установка: ~9000 $ Operational Costs: Электричество: 50-200 долларов в месяц Нулевые огневые тарифы Нет ограничений на использование Полная предсказуемость затрат Тяжелые пользователи восстанавливают инвестиции за 3-6 месяцев. Умеренные пользователи прекращают даже в течение года.Свобода от лимитов ставки, цензуры и ухудшения производительности? Break-even Timeline: Заключение Самохостинг ИИ развилсяStart small with a single GPU and Ollama. Experiment with different models. Add agentic capabilities. Scale as needed. Most importantly, enjoy the freedom of AI that works exactly as you need it to — no compromises, no censorship, no surprises. Go from experimental curiosity to practical necessity.The combination of powerful open-source models, mature software ecosystems, and accessible hardware creates an unprecedented opportunity for AI independence.Whether you are frustrated with cloud limitations, concerned about privacy, or simply want consistent performance, the path to self-hosted AI is clearer than ever. Ссылки на соответствующие статьи о самохостинге: Инго Эйхорст и его красивая установка, фото которой я использовал для этой статьи: https://ingoeichhorst.medium.com/building-a-wall-mounted-and-wallet-friendly-ml-rig-0683a7094704 Digital Spaceport EPYC rig: https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ Show Me Your Rig thread on LocalLLaMa subreddit: https://www.reddit.com/r/LocalLLaMA/comments/1fqwler/show_me_your_ai_rig/ Ben Arent AI homelab: https://benarent.co.uk/blog/ai-homelab/ Кластер Exo Labs с 5 Mac Studio: https://www.youtube.com/watch?v=Ju0ndy2kwlw