Скільки коштує самохостинг AI? я побудував систему, щоб дізнатися

Те, що почалося як обіцянка демократизованого доступу до штучного інтелекту через постачальників хмар, перетворилося на розчаровуючий досвід деградації продуктивності, агресивної цензури та непередбачуваних витрат. Приховані витрати на продуктивність в хмарі Користувачі OpenAI повідомили, що GPT-4o тепер «дуже швидко реагує, але якщо контекст і інструкції ігноруються, щоб надати швидкі відповіді, то інструмент не може бути використаний». Техніка, при якій провайдери групують кілька запитів користувачів разом для ефективності GPU, що призводить до того, що окремі запити чекають до 4 разів довше, коли збільшуються розміри партій. Token batching Погіршення продуктивності виходить за рамки простих затримок. Статичне партіювання змушує всі послідовності в партії завершуватися разом, а це означає, що ваш швидкий запит чекає на довге покоління іншого. Навіть "постійне партіювання" вводить навантаження, яке сповільнює індивідуальні запити. Цензура: коли безпека стає невикористаною Тестування показує, що Google Gemini відмовляється відповідати на 10 з 20 суперечливих, але законних питань - більше, ніж будь-який конкурент. Заявки для пережитих сексуальних нападів блокуються як "небезпечний контент". Історичні рольові розмови раптово перестають працювати після оновлень. додатки підтримки психічного здоров'я запускають фільтри безпеки. Клод Антропіка став "пограничним безцінним" згідно з користувачами, розчарованими важкою цензурою, яка блокує законні випадки використання. Місцеві переваги Self-hosted AI повністю усуває ці розчарування. При правильному обладнанні, локальне висновок досягає 1900+ токенів/секунду — 10-100 разів швидше часу-на-перше токенів, ніж хмарні сервіси. Ви підтримуєте повний контроль над версіями моделей, запобігаючи небажаним оновленням, які порушують робочі потоки. Немає цензурних фільтрів, що блокують законний контент. Немає лімітів ставки, що переривають вашу роботу. Немає сюрпризів рахунків від пиків використання. Протягом п'яти років підписки на хмарні послуги коштують $1,200+ для базового доступу і 10 разів більше для розширених підписів. І ціни постачальників Вимоги до обладнання: Будівництво вашого AI Powerhouse Розуміння розмірів моделі та кількісності Ключ до успіху самохостингу полягає в тому, що моделі відповідають вашим можливостям.Сучасні методи квантування стискають моделі без значної втрати якості: Квантизація зменшує точність ваг моделей від їхнього оригінального представлення плаваючої точки до нижчих бітових форматів. Думайте про це як про стиснення зображення високої роздільної здатності — ви торгуєте деякими деталями для значно менших розмірів файлів. У нейронних мережах це означає зберігання кожного параметра за допомогою меншого числа бітів, що безпосередньо зменшує використання пам'яті і прискорює висновок. What is Quantization? Без квантування навіть скромні мовні моделі були б недоступні для більшості користувачів. 70B-модель параметрів з повною точністю вимагає 140 ГБ пам'яті, що перевищує більшість споживчих GPU. Квантизація демократизує AI, роблячи потужні моделі, що працюють на щоденному обладнанні, дозволяючи локальне розгортання, знижуючи витрати на хмарне обладнання та покращуючи швидкість висновку завдяки більш ефективним шаблонам доступу до пам'яті. Why Quantization Matters FP16 (повна точність): оригінальна якість моделі, максимальні вимоги до пам'яті 8-розрядна квантизація: ~50% зменшення пам'яті, мінімальний вплив на якість 4-розрядна квантизація: ~75% зменшення пам'яті, невелика якість компромісу 2-розрядна квантизація: ~87.5% зменшення пам'яті, помітне зниження якості Для моделі параметрів 7B це перекладається на 14 ГБ (FP16), 7 ГБ (8-біт), 3,5 ГБ (4-біт) або 1,75 ГБ (2-біт) необхідної пам'яті. Популярні моделі з відкритим джерелом та їхні вимоги Small Models (1.5B-8B parameters): Qwen3 4B/8B: останнє покоління з гібридними режимами мислення. Qwen3-4B перевершує багато моделей 72B на програмуванні завдань. DeepSeek-R1 7B: відмінні можливості міркування, мінімум 4 ГБ оперативної пам'яті Mistral Small 3.1 24B: Найновіша модель Apache 2.0 з мультимодальними можливостями, вікном контексту 128K та продуктивністю 150 токенів на секунду. Medium Models (14B-32B parameters): GPT-OSS 20B: перша відкрита модель OpenAI з 2019 року, Apache 2.0 отримав ліцензію. архітектура MoE з активними параметрами 3.6B забезпечує міні-виробництво o3. Запускається на RTX 4080 з 16 ГБ VRAM Qwen3 14B/32B: щільні моделі з можливостями режиму мислення. Qwen3-14B відповідає показникам Qwen2.5-32B, будучи більш ефективним DeepSeek-R1 14B: Оптимальний на RTX 3070 Ti/4070 Mistral Small 3.2: Останнє оновлення з поліпшеною інструкцією і зменшеним повторенням Large Models (70B+ parameters): Llama 3.3 70B: ~35 ГБ в 4-бітній квантизації, потрібен подвійний RTX 4090 або A100 DeepSeek-R1 70B: Рекомендовано 48 ГБ VRAM, можливо з 2х RTX 4090 GPT-OSS 120B: флагманська відкрита модель OpenAI з активними параметрами 5.1B через 128-експерт MoE. Збігається з міні-виконанням o4, працює на одному H100 (80GB) або 2-4x RTX 3090s Qwen3-235B-A22B: флагманська модель MoE з активними параметрами 22B, конкурентна з o3-mini DeepSeek-R1 671B: гігант, що вимагає 480 ГБ + VRAM або спеціалізованих налаштувань Спеціалізовані моделі кодування: Small Coding Models (1B-7B active parameters): Qwen3-Coder 30B-A3B: Модель MoE з тільки активними параметрами 3.3B. Натуральний контекст 256K (1M з YaRN) для завдань масштабного сховища. Запускається на RTX 3060 12GB в 4-бітній квантизації Qwen3-Coder 30B-A3B-FP8: Офіційна 8-розрядна квантизація, що підтримує 95% + продуктивності. Вимагає 15 ГБ VRAM, оптимальний для RTX 4070/3080 Unsloth Qwen3-Coder 30B-A3B: Динамічні квантування з фіксованим викликом інструментів. Q4_K_M працює на 12 ГБ, Q4_K_XL на 18 ГБ з кращою якістю Large Coding Models (35B+ active parameters): Qwen3-Coder 480B-A35B: флагманська модель агента з 35B активним через 160-експерт MoE. Досягає 61,8% на SWE-Bench, порівнянний з Claude Sonnet 4. Qwen3-Coder 480B-A35B-FP8: Офіційна 8-бітна зменшення пам'яті до 250 ГБ. Запускається на 4x H100 80GB або 4x A100 80GB Unsloth Qwen3-Coder 480B-A35B: Q2_K_XL при 276GB працює на 4x RTX 4090 + 180GB RAM. IQ1_M при 150GB можливий на 2x RTX 4090 + 100GB RAM Конфігурації обладнання за бюджетом Budget Build (~$2,000): Процесор AMD Ryzen 7 7700X 64 ГБ DDR5-5600 RAM PowerColor RX 7900 XT 20GB або використаний RTX 3090 Зручно обробляє моделі до 14Б Performance Build (~$4,000): Створення AMD Ryzen 9 7900X 128 ГБ DDR5-5600 RAM RTX 4090 24 ГБ Ефективно працює 32B моделі, менші 70B моделі з розвантаженням Professional Setup (~$8,000): Процесор Dual Xeon/EPYC 256 ГБ RAM 2 x RTX 4090 або RTX A6000 Розробка моделей 70B на виробничих швидкостях Mac Options: MacBook M1 Pro 36 ГБ: відмінно підходить для моделей 7B-14B, єдина перевага пам'яті Mac Mini M4 64GB: зручний для 32B моделей Mac Studio M3 Ultra 512GB: Останній варіант — працює DeepSeek-R1 671B при 17-18 токенах/сек за ~10 000 доларів Система EPYC 7702 з 512 ГБ-1 ТБ DDR4 забезпечує 3,5-8 токенів на секунду на DeepSeek-R1 671B - повільніше, ніж GPU, але набагато доступніше для моделей цього розміру. The AMD EPYC Alternative: Ця конфігурація може виконувати DeepSeek-R1 671B при швидкості 3.5-4.25 токенів в секунду: The $2,000 EPYC Build (Digital Spaceport Setup): Процесор: AMD EPYC 7702 (64 ядра) - $650, або оновлення до EPYC 7C13/7V13 - $599-735 материнська плата: MZ32-AR0 (16 слотів DIMM, підтримка 3200 МГц) - $ 500 Пам'ять: 16x 32GB DDR4-2400 ECC (512GB в цілому) - $400, або 16x 64GB для 1TB - $800 Зберігання: 1 ТБ Samsung 980 Pro NVMe - $75 Теги: Corsair H170i Elite Capellix XT PSU: 850W (тільки для процесора) або 1500W (майбутнє розширення GPU) - $80-150 Примітка: Rack frame - $55 : ~2 000 доларів за 512 ГБ, ~2 500 доларів за 1 ТБ конфігурації Total Cost Performance Results: DeepSeek-R1 671B Q4: 3.5-4.25 токенів в секунду Контекстне вікно: підтримка 16K+ Потужність: 60 Вт, завантажений 260 Вт Ширина діапазону пам'яті: критична — швидше DDR4-3200 значно покращує продуктивність Це встановлення доводить, що масивні моделі можуть працювати доступно на системах, що використовують тільки процесори, роблячи граничний інтелектуальний інтелект доступним без вимог GPU. Джерело: Digital Spaceport - Як запустити Deepseek R1 671b повністю локально на сервері EPYC за $ 2000 Як запустити Deepseek R1 671b повністю локально на сервері EPYC за $ 2000 Налаштування програмного забезпечення: від установки до виробництва Вікісховище: The Foundation Оллама став де-факто стандартом для розгортання локальних моделей, пропонуючи простоту, не жертвуючи владою. Installation: # Linux/macOS curl -fsSL https://ollama.com/install.sh | sh # Windows: Download installer from ollama.com/download Essential Configuration: # Optimize for performance export OLLAMA_HOST="0.0.0.0:11434" # Enable network access export OLLAMA_MAX_LOADED_MODELS=3 # Concurrent models export OLLAMA_NUM_PARALLEL=4 # Parallel requests export OLLAMA_FLASH_ATTENTION=1 # Enable optimizations export OLLAMA_KV_CACHE_TYPE="q8_0" # Quantized cache # Download models ollama pull qwen3:4b ollama pull qwen3:8b ollama pull mistral-small3.1 ollama pull deepseek-r1:7b Для установки декількох GPU запускайте окремі інстанції Ollama: Running Multiple Instances: # GPU 1 CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST="0.0.0.0:11434" ollama serve # GPU 2 CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST="0.0.0.0:11435" ollama serve Докладніше: Exo.labs: Distributed Inference Magic Exo.labs дозволяє запускати масивні моделі на декількох пристроях - навіть змішуючи MacBooks, ПК і Raspberry Pis. Installation: git clone https://github.com/exo-explore/exo.git cd exo pip install -e . Просто бігати На кожному пристрої у вашій мережі вони автоматично виявляють один одного і розподіляють обчислення моделей. Налаштування з 3x M4 Pro Macs досягає 108,8 токенів/секунду на Llama 3.2 3B — 2,2x поліпшення у порівнянні з продуктивністю одного пристрою. Usage: exo GUI варіанти надає найкращий ChatGPT-подібний досвід: Open WebUI docker run -d -p 3000:8080 --gpus=all \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ ghcr.io/open-webui/open-webui:ollama Доступ до для повнофункціонального інтерфейсу з підтримкою RAG, управлінням багатьма користувачами та системою плагінів. http://localhost:3000 Найпростіший десктопний досвід: GPT4All Завантажити з gpt4all.io для Windows, macOS або Linux Інсталяція з одним кліком з автоматичним виявленням Ollama Вбудований браузер і менеджер завантажень Ідеально підходить для початківців, які хочуть мати надійний десктопний додаток Підтримка локального документового чату та плагінів забезпечує потужний інтерфейс, орієнтований на розвиток: AI Studio Можливості порівняння та тестування багатьох моделей Розширений робочий простір швидкої інженерії API Endpoint Management та тестування Модельний аналіз та бенчмаркінг Підтримка Ollama, LocalAI та індивідуальних бак-ендів Ідеально підходить для розробників та дослідників Функції включають розповсюдження розмов, запропоновані шаблони та варіанти експорту відрізняється творчими додатками та взаємодією на основі персонажів, пропонуючи широку персоналізацію для рольових іграшок та сценаріїв творчого написання. SillyTavern Віддалений доступ з Tailscale: ваш AI всюди Одним з найпотужніших аспектів самохостингу AI є можливість отримати доступ до ваших моделей з будь-якого місця, зберігаючи при цьому повну конфіденційність. Налаштування Tailscale для віддаленого доступу AI Install Tailscale on your AI server: # Linux/macOS curl -fsSL https://tailscale.com/install.sh | sh sudo tailscale up # Windows: Download from tailscale.com/download Configure Ollama for network access: # Set environment variable to listen on all interfaces export OLLAMA_HOST="0.0.0.0:11434" ollama serve (ноутбук, телефон, планшет) використовуючи той самий обліковий запис.Всі пристрої автоматично з'являються у вашій приватній сітці з унікальними IP-адресами (зазвичай діапазон 100.x.x.x). Install Tailscale on client devices Check your server's Tailscale IP: tailscale ip -4 # Example output: 100.123.45.67 Access from any device on your Tailnet: Інтерфейс веб-сайту: http://100.123.45.67:3000 (Відкрити WebUI) API кінцева точка: http://100.123.45.67:11434/v1/chat/completions Мобільні додатки: Налаштуйте кінцевий пункт Ollama на IP-адресу Tailscale Розширена конфигурація Tailscale Щоб отримати доступ до всієї домашньої мережі: Enable subnet routing # On AI server sudo tailscale up --advertise-routes=192.168.1.0/24 # Replace with your actual subnet Для HTTPS з автоматичними сертифікатами: Use Tailscale Serve # Expose Open WebUI with HTTPS tailscale serve https / http://localhost:3000 Це створює публічний URL як доступний тільки для вашої мережі Tailscale. https://your-machine.your-tailnet.ts.net Налаштування мобільного доступу Для iOS/Android пристроїв: Завантажити App Store / Play Store Зареєструйтеся з одним і тим же рахунком Install compatible apps: : Enchanted, Mela, or any OpenAI-compatible client iOS : Ollama Android app, or web browser Android Налаштуйте додаток для використання IP-адреси Tailscale: http://100.123.45.67:11434 Найкраща практика безпеки Tailscale надає захист за замовчуванням через свою зашифровану мережу — ніякої додаткової конфігурації брандмауерів не потрібно! Автоматично шифрує весь трафік за допомогою WireGuard Дозволяє тільки автентифікованим пристроям у вашій мережі Створює ізольовані підключення, які повністю обходять ваш маршрутизатор Забороняється несанкціонований доступ з громадського інтернету Оскільки трафік Tailscale зашифрований і доступний тільки вашим автентифікованим пристроям, ваш сервер Ollama залишається повністю приватним навіть при віддаленому доступі. За допомогою Tailscale ваш автономний інтелектуальний інтелект стає по-справжньому портативним — доступ до ваших моделей з повною конфіденційністю, незалежно від того, перебуваєте ви в кафе, подорожуєте чи працюєте з іншого місця. Агентські робочі процеси: AI, який насправді працює Гуси з блоку Goose перетворює ваші локальні моделі на автономних помічників з розробки, здатних будувати цілі проекти. Installation: curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash Configuration for Ollama: goose configure # Select: Configure Providers → Custom → Local # Base URL: http://localhost:11434/v1 # Model: qwen3:8b Goose відрізняється переміщенням коду, оптимізацією продуктивності, генерацією тестів та складними робочими потоками розробки. На відміну від простого завершення коду, він планує і виконує всі завдання розробки автономно. Crush від Charm Для ентузіастів терміналу Crush надає гламурний агент кодування AI з глибокою інтеграцією IDE. Installation: brew install charmbracelet/tap/crush # macOS/Linux # or npm install -g @charmland/crush (від ) : Ollama Configuration .crush.json { "providers": { "ollama": { "type": "openai", "base_url": "http://localhost:11434/v1", "api_key": "ollama", "models": [{ "id": "qwen3:8b", "name": "Qwen3 8B", "context_window": 32768 }] } } } n8n AI Стартер Кіт Для візуальної автоматизації робочого процесу, набір n8n для самохостингу поєднує в собі все необхідне: git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git cd self-hosted-ai-starter-kit docker compose --profile gpu-nvidia up Доступ до редактора візуального робочого процесу на з більш ніж 400 інтеграціями та попередньо побудованими шаблонами AI. http://localhost:5678/ Висновок корпоративного масштабу: налаштування 50 мільйонів токенів / годин Для організацій, що вимагають екстремальної продуктивності, межі самохостингу виходять далеко за межі традиційних домашніх серверів, наприклад @nisten setup на X. Модель: Qwen3-Coder-480B (480B параметри, 35B активна MoE архітектура) Апаратне забезпечення: 4x NVIDIA H200 Вихід: 50 мільйонів токенів на годину (близько $ 250 на годину при використанні Sonnet) Аналіз витрат Initial Investment: Бюджетне планування: ~2000 доларів Налаштування продуктивності: ~ $ 4000 Професійний налаштування: ~ $ 9000 Operational Costs: Електроенергія: 50-200 доларів на місяць нульова вартість пожежі Немає обмежень на використання Повна передбачуваність витрат Важкі користувачі відновлюють інвестиції за 3-6 місяців. Помірні користувачі розірвають навіть протягом року. Break-even Timeline: Висновок Self-hosting AI еволюціонувавStart small з одним GPU і Ollama. Експериментуйте з різними моделями. Додайте можливості агентів. Масштабуйте за необхідністю. Найголовніше, насолоджуйтеся свободою AI, яка працює точно так, як вам це потрібно – без компромісів, без цензури, без сюрпризів. Переходьте від експериментальної цікавості до практичної необхідності. Комбінація потужних моделей з відкритим кодом, зрілих програмних екосистем та доступного обладнання створює безпрецедентну можливість для незалежності AI. Незалежно від того, чи розчаровані ви обмеженнями в хмарі, чи турбуєтеся про конфіденційність, або просто хочете послідовної продуктивності, шлях до самохостинного AI яскра Посилання на відповідні статті про самохостинг: Ingo Eichhorst і його прекрасний налаштування, фото якого я використав для цієї статті: https://ingoeichhorst.medium.com/building-a-wall-mounted-and-wallet-friendly-ml-rig-0683a7094704 Digital Spaceport EPYC rig: https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ Show Me Your Rig thread on LocalLLaMa subreddit: https://www.reddit.com/r/LocalLLaMA/comments/1fqwler/show_me_your_ai_rig/ Ben Arent AI homelab: https://benarent.co.uk/blog/ai-homelab/ Exo Labs кластер з 5 Mac Studio: https://www.youtube.com/watch?v=Ju0ndy2kwlw