Ajo që filloi si një premtim i qasjes së demokratizuar të AI nëpërmjet ofruesve të cloud është kthyer në një përvojë frustruese të performancës së degraduar, censurës agresive dhe kostove të paparashikueshme. Kostoja e fshehur e performancës së cloud AI Përdoruesit e OpenAI raportuan se GPT-4o tani “përgjigjet shumë shpejt, por nëse konteksti dhe udhëzimet injorohen për të siguruar përgjigje të shpejta, atëherë mjeti nuk mund të përdoret”. Një teknikë ku ofruesit grupojnë kërkesat e shumë përdoruesve së bashku për efikasitetin e GPU-së, duke shkaktuar që kërkesat individuale të presin deri në 4 herë më gjatë pasi madhësia e batch rritet. Token batching Degradimi i performancës shtrihet përtej vonesave të thjeshta. Batching statik detyron të gjitha sekuencat në një batch për të përfunduar së bashku, që do të thotë se pyetja juaj e shpejtë pret për gjenerimin e dikujt tjetër të gjatë. Edhe "batching i vazhdueshëm" paraqet mbivlerësim që ngadalëson kërkesat individuale. ofruesit e cloud optimizojnë për kalimin e përgjithshëm në kurriz të përvojës suaj - një kompromis që ka kuptim për modelin e tyre të biznesit, por shkatërron përvojën e përdoruesit. Censura: Kur siguria bëhet e papërdorshme Testimi zbulon se Google Gemini refuzon të përgjigjet në 10 nga 20 pyetjet e diskutueshme, por legjitime – më shumë se çdo konkurrent. Aplikimet për të mbijetuarit e sulmeve seksuale bllokohen si "përmbajtje e pasigurt". Bisedimet historike të roleplay-it papritmas ndalojnë punën pas përditësimeve. Aplikimet e mbështetjes së shëndetit mendor shkaktojnë filtra të sigurisë. Claude i Anthropic është bërë " kufiri i padobishëm" sipas përdoruesve të frustruar nga censura e rëndë që bllokon rastet e përdorimit legjitim. Avantazhi lokal Vetë-hosted AI eliminon plotësisht këto frustrime. Me hardware të duhur, inferencë lokale arrin 1900+ token / sekondë—10-100x më të shpejtë kohë-në-shkurt se shërbimet cloud. Ju mbani kontroll të plotë mbi versionet e modelit, duke parandaluar përditësimet e padëshiruara që thyejnë rrjedhën e punës. Nuk ka filtra censurë bllokojnë përmbajtjen legjitime. Nuk ka kufizime të normës ndërprerë punën tuaj. Nuk ka faturime surprizë nga pikat e përdorimit. Për më shumë se pesë vjet, abonimet cloud kushtojnë $1,200+ për qasje bazë dhe 10x më shumë për abonime të avancuara. Dhe furnizuesit e AI janë duke u rritur çmimet dhe kufizimet bëhen më të rrepta Kërkesat e Hardware: Ndërtimi i fuqisë tuaj AI Kuptimi i madhësive të modelit dhe kuantizimit Çelësi i suksesit të vetë-hosting qëndron në përshtatjen e modeleve me aftësitë tuaja hardware. teknikat moderne të kuantizimit kompresojnë modelet pa humbje të konsiderueshme të cilësisë: Kantizimi zvogëlon saktësinë e peshave të modelit nga paraqitja e tyre origjinale e pikës fluturuese në formatet më të ulëta bit. Mendoni për këtë si kompresimin e një imazhi me rezolucion të lartë - ju jeni duke tregtuar disa detaje për madhësi fotografi dramatikisht më të vogla. Në rrjetet neurale, kjo do të thotë ruajtjen e çdo parametri duke përdorur më pak bit, e cila direkt zvogëlon përdorimin e kujtesës dhe përshpejton inferencën. What is Quantization? Pa kuantizimin, edhe modelet modeste të gjuhës do të ishin të paarritshme për shumicën e përdoruesve.Një model parametër 70B me saktësi të plotë kërkon 140GB të kujtesës – përtej shumicës së GPU-ve të konsumatorëve. Why Quantization Matters 
 
 
 
 
 FP16 (Përsosmëri e plotë): Cilësia e modelit origjinal, kërkesat maksimale të kujtesës 8-bit Quantization: ~50% reduktim i kujtesës, ndikim minimal në cilësi 4-bit Quantization: ~75% reduktim i kujtesës, kompromis i vogël i cilësisë 2-bit Quantization: ~87.5% reduktim i kujtesës, degradim i dukshëm i cilësisë Për një model parametër 7B, kjo përkthehet në 14GB (FP16), 7GB (8-bit), 3.5GB (4-bit), ose 1.75GB (2-bit) e kujtesës së nevojshme. Modelet popullore me burim të hapur dhe kërkesat e tyre Small Models (1.5B-8B parameters): 
 
 
 
 Qwen3 4B/8B: Gjenerata e fundit me mënyra hibrid të të menduarit. Qwen3-4B tejkalon shumë modele 72B në detyrat e programimit. Kërkon ~3-6GB në kuantizimin 4-bit DeepSeek-R1 7B: Mundësi të shkëlqyera arsyetimi, 4GB RAM minimum Mistral Small 3.1 24B: Modeli më i ri i Apache 2.0 me aftësi multimodale, dritare kontekstuale 128K dhe performancë 150 token / sek. Medium Models (14B-32B parameters): 
 
 
 
 
 GPT-OSS 20B: Modeli i parë i hapur i OpenAI që nga viti 2019, Apache 2.0 i licencuar. Arkitektura MoE me parametrat aktivë 3.6B ofron performancë o3-mini. Drejtohet në RTX 4080 me 16GB VRAM Qwen3 14B/32B: Modelet e dendura me aftësi të mënyrës së të menduarit. Qwen3-14B përputhet me performancën e Qwen2.5-32B ndërsa është më efikase DeepSeek-R1 14B: Optimale në RTX 3070 Ti/4070 Mistral Small 3.2: Përditësimi i fundit me udhëzime të përmirësuara dhe përsëritje të reduktuara Large Models (70B+ parameters): 
 
 
 
 
 
 Llama 3.3 70B: ~35GB në kuantizimin 4-bit, kërkon RTX të dyfishtë 4090 ose A100 DeepSeek-R1 70B: 48GB VRAM rekomanduar, i arritshëm me 2x RTX 4090 GPT-OSS 120B: modeli flagship i hapur i OpenAI me parametra aktivë 5.1B përmes 128-ekspert MoE. Përputhet me performancën mini o4, punon në H100 të vetme (80GB) ose 2-4x RTX 3090s Qwen3-235B-A22B: Modeli flagship MoE me parametrat aktive 22B, konkurrues me o3-mini DeepSeek-R1 671B: Gjiganti që kërkon 480GB+ VRAM ose konfigurime të specializuara Modelet e kodimit të specializuar: Small Coding Models (1B-7B active parameters): 
 
 
 
 Qwen3-Coder 30B-A3B: Modeli MoE me vetëm parametra aktivë 3.3B. Konteksti i lindur 256K (1M me YaRN) për detyrat e shkallës së depozitave. Drejtohet në RTX 3060 12GB në kuantizimin 4-bit Qwen3-Coder 30B-A3B-FP8: Kuantifikimi zyrtar 8-bit duke ruajtur 95% + performancë. Kërkon 15GB VRAM, optimale për RTX 4070/3080 Unsloth Qwen3-Coder 30B-A3B: Kuantizime dinamike me thirrje fikse të mjeteve. Q4_K_M funksionon në 12GB, Q4_K_XL në 18GB me cilësi më të mirë Large Coding Models (35B+ active parameters): 
 
 
 
 Qwen3-Coder 480B-A35B: Modeli flagship agjent me 35B aktiv përmes 160-ekspert MoE. Arritje 61.8% në SWE-Bench, krahasueshme me Claude Sonnet 4. Kërkon 8x H200 ose 12x H100 me saktësi të plotë Qwen3-Coder 480B-A35B-FP8: Zyrtare 8-bit reduktimin e kujtesës në 250GB. Running në 4x H100 80GB ose 4x A100 80GB Unsloth Qwen3-Coder 480B-A35B: Q2_K_XL në 276GB funksionon në 4x RTX 4090 + 180GB RAM. IQ1_M në 150GB është e mundur në 2x RTX 4090 + 100GB RAM Konfigurimi i pajisjeve sipas buxhetit Budget Build (~$2,000): 
 
 
 
 
 Procesorë AMD Ryzen 7 7700X 64GB DDR5-5600 RAM PowerColor RX 7900 XT 20GB ose RTX 3090 të përdorur Përdorni modele deri në 14B në mënyrë të rehatshme Performance Build (~$4,000): 
 
 
 
 
 Fjalë kyçe Ryzen 9 7900X 128GB RAM DDR5-5600 RTX 4090 24GB në dispozicion Përdor modelet 32B në mënyrë efikase, modelet më të vogla 70B me shkarkim Professional Setup (~$8,000): 
 
 
 
 
 Procesorë Dual Xeon / EPYC 256GB dhe më shumë RAM 2x RTX 4090 ose RTX A6000 Menaxhimi i modeleve 70B në shpejtësi prodhimi Mac Options: 
 
 
 
 MacBook M1 Pro 36GB: E shkëlqyer për modelet 7B-14B, avantazhi i kujtesës së unifikuar Mac Mini M4 64GB: I përshtatshëm me modelet 32B Mac Studio M3 Ultra 512GB: Opsioni përfundimtar – ekzekuton DeepSeek-R1 671B në 17-18 token / sek për ~$10,000 Për modelet ultra të mëdha, sistemet AMD EPYC ofrojnë vlerë të jashtëzakonshme.Sistemi ~2,500 EPYC 7702 me 512GB-1TB DDR4 jep 3.5-8 token / sek në DeepSeek-R1 671B - më i ngadalshëm se GPUs por shumë më i përballueshëm për modelet e kësaj madhësie. The AMD EPYC Alternative: Kjo konfigurim mund të drejtojë DeepSeek-R1 671B në 3.5-4.25 token / sekondë: The $2,000 EPYC Build (Digital Spaceport Setup): 
 
 
 
 
 
 
 
 CPU: AMD EPYC 7702 (64 bërthama) - $650, ose përmirësimi në EPYC 7C13/7V13 - $599-735 Motherboard: MZ32-AR0 (16 slots DIMM, mbështetje 3200MHz) - $ 500 Memorie: 16x 32GB DDR4-2400 ECC (512GB total) - $ 400, ose 16x 64GB për 1TB - $ 800 Storage: 1TB Samsung 980 Pro NVMe - $75 Ftohje: Corsair H170i Elite Capellix XT - $170 PSU: 850W (vetëm CPU) ose 1500W (për zgjerimin e GPU-së në të ardhmen) - $80-150 Case: Rack kornizë - $ 55 : ~$2,000 për 512GB, ~$2,500 për konfigurimin 1TB Total Cost Performance Results: 
 
 
 
 
 DeepSeek-R1 671B Q4: 3.5-4.25 tokenë / sekondë Kontekst Window: 16K+ mbështetur Furnizimi me energji elektrike: 60W, 260W i ngarkuar Bandwidth i kujtesës: Kritike – DDR4-3200 më i shpejtë përmirëson ndjeshëm performancën Ky konfigurim provon se modelet masive mund të funksionojnë në mënyrë të përballueshme në sisteme vetëm me CPU, duke e bërë AI kufitare të arritshme pa kërkesat e GPU. Burimi: Digital Spaceport - Si të ekzekutoni Deepseek R1 671b plotësisht lokalisht në një server EPYC $ 2000 Digital Spaceport - Si të ekzekutoni Deepseek R1 671b plotësisht lokalisht në një server EPYC $ 2000 Instalimi i softuerit: nga instalimi në prodhim Ollama: Fondacioni Ollama është bërë standardi de facto për vendosjen e modelit lokal, duke ofruar thjeshtësi pa sakrifikuar fuqinë. Installation: # Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh

# Windows: Download installer from ollama.com/download
 Essential Configuration: # Optimize for performance
export OLLAMA_HOST="0.0.0.0:11434"        # Enable network access
export OLLAMA_MAX_LOADED_MODELS=3         # Concurrent models
export OLLAMA_NUM_PARALLEL=4              # Parallel requests
export OLLAMA_FLASH_ATTENTION=1           # Enable optimizations
export OLLAMA_KV_CACHE_TYPE="q8_0"        # Quantized cache

# Download models
ollama pull qwen3:4b
ollama pull qwen3:8b
ollama pull mistral-small3.1
ollama pull deepseek-r1:7b
 Për konfigurimet multi-GPU, ekzekutoni instancat e ndara Ollama: Running Multiple Instances: # GPU 1
CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST="0.0.0.0:11434" ollama serve

# GPU 2
CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST="0.0.0.0:11435" ollama serve
 Exo.labs: Inferencë e shpërndarë Magjike Exo.labs mundëson drejtimin e modeleve masive në shumë pajisje – madje edhe përzierjen e MacBooks, PC dhe Raspberry Pis. Installation: git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .
 Vetëm vrapim në çdo pajisje në rrjetin tuaj. Ata automatikisht zbulojnë njëri-tjetrin dhe shpërndajnë llogaritjen e modelit. Një konfigurim me 3x M4 Pro Macs arrin 108.8 token / sekondë në Llama 3.2 3B – një përmirësim 2.2x mbi performancën e një pajisje të vetme. Usage: exo GUI opsionet ofron përvojën më të mirë ChatGPT-like: Open WebUI docker run -d -p 3000:8080 --gpus=all \
  -v ollama:/root/.ollama \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:ollama
 Qasja në për një ndërfaqe të plotë me mbështetje për RAG, menaxhimin e shumë përdoruesve dhe sistemin e plugins. http://localhost:3000 Ofron përvojën më të thjeshtë desktop: GPT4All 
 
 
 
 
 
 Shkarko nga gpt4all.io për Windows, macOS ose Linux Instalimi me një klik me zbulim automatik Ollama Shfletuesi i integruar i modelit dhe menaxheri i shkarkimeve E përsosur për fillestarët që duan një aplikacion native desktop Mbështet chatin lokal të dokumenteve dhe plugins ofron një ndërfaqe të fuqishme të fokusuar në zhvillim: AI Studio 
 
 
 
 
 
 
 
 Mundësitë e krahasimit dhe testimit të modeleve të shumta Hapësira e Punës së Inxhinierisë së Avancuar Menaxhimi dhe testimi i Endpoint API Analiza e performancës dhe benchmarking Mbështet Ollama, LocalAI dhe backend-et e personalizuara Ideale për zhvilluesit dhe hulumtuesit e AI Karakteristikat përfshijnë ndarjen e bisedës, templates prompt dhe opsionet e eksportit përsoset për aplikacionet krijuese dhe ndërveprimet e bazuara në karakter, duke ofruar personalizim të gjerë për roleplay dhe skenarë krijues të shkrimit. SillyTavern Qasja e largët me Tailscale: AI juaj kudo Një nga aspektet më të fuqishme të vetë-hosting AI është aftësia për të hyrë në modelet tuaja nga kudo duke ruajtur privatësinë e plotë. Tailscale VPN e bën këtë shumë të lehtë duke krijuar një rrjet të sigurt mes të gjitha pajisjeve tuaja. Konfigurimi i Tailscale për qasje të largët AI Install Tailscale on your AI server: # Linux/macOS
curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up

# Windows: Download from tailscale.com/download
 Configure Ollama for network access: # Set environment variable to listen on all interfaces
export OLLAMA_HOST="0.0.0.0:11434"
ollama serve
 (laptop, telefon, tabletë) duke përdorur të njëjtin llogari. të gjitha pajisjet automatikisht shfaqen në rrjetin tuaj privat me adresa unike IP (zakonisht 100.x.x.x gamë). Install Tailscale on client devices Check your server's Tailscale IP: tailscale ip -4
# Example output: 100.123.45.67
 Access from any device on your Tailnet: 
 
 
 
 Web interface: http://100.123.45.67:3000 (Open WebUI) API Endpoint: http://100.123.45.67:11434/v1/chat/completions Aplikacionet Mobile: Konfiguroni Endpoint Ollama në IP-në tuaj Tailscale Konfigurimi i avancuar i Tailscale Për të hyrë në të gjithë rrjetin tuaj në shtëpi: Enable subnet routing # On AI server
sudo tailscale up --advertise-routes=192.168.1.0/24
# Replace with your actual subnet
 Për HTTPS me certifikata automatike: Use Tailscale Serve # Expose Open WebUI with HTTPS
tailscale serve https / http://localhost:3000
 Kjo do të krijojë një URL publike si në dispozicion vetëm në rrjetin tuaj Tailscale. https://your-machine.your-tailnet.ts.net Mbështetje Mobile Access Për pajisjet iOS/Android: 
 
 
 
 Instaloni aplikacionin Tailscale nga App Store / Play Store Regjistrohu me të njëjtin llogari Install compatible apps:
 
 
 
 
 : Enchanted, Mela, or any OpenAI-compatible client iOS : Ollama Android app, or web browser Android Konfiguroni aplikacionin për të përdorur Tailscale IP tuaj: http://100.123.45.67:11434 Praktikat më të mira të sigurisë Tailscale siguron sigurinë e parazgjedhur nëpërmjet rrjetit të saj të koduar të rrjetit – nuk nevojitet konfigurimi shtesë i firewall! 
 
 
 
 
 Krijon automatikisht të gjithë trafikun duke përdorur WireGuard Lejo vetëm pajisjet e autentifikuara në rrjetin tuaj Krijon lidhje të izoluar që e kalojnë plotësisht routerin tuaj Parandalimi i qasjes së paautorizuar nga interneti publik Meqenëse trafiku i Tailscale është i koduar dhe i arritshëm vetëm për pajisjet tuaja të autentifikuara, serveri juaj Ollama mbetet plotësisht privat edhe kur është i arritshëm në distancë. Me Tailscale, AI-ja juaj e vetë-hostuar bëhet me të vërtetë portative – qasje në modelet tuaja me privatësi të plotë nëse jeni në një kafene, duke udhëtuar ose duke punuar nga një vend tjetër. Lëvizjet e punës të agjencive: AI që me të vërtetë punon Goose nga blloku Goose transformon modelet tuaja lokale në asistentë të pavarur të zhvillimit të aftë për të ndërtuar projekte të tëra. Installation: curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash
 Configuration for Ollama: goose configure
# Select: Configure Providers → Custom → Local
# Base URL: http://localhost:11434/v1
# Model: qwen3:8b
 Goose përsoset në migrimin e kodit, optimizimin e performancës, gjenerimin e testimeve dhe rrjedhat e punës të zhvillimit kompleks.Në kundërshtim me përfundimin e kodit të thjeshtë, planifikon dhe ekzekuton detyrat e tërë të zhvillimit në mënyrë autonome. Crush nga Charm Për entuziastët e terminalit, Crush ofron një agjent të mrekullueshëm të kodimit AI me integrim të thellë IDE. Installation: brew install charmbracelet/tap/crush  # macOS/Linux
# or
npm install -g @charmland/crush
 (Në ) në : Ollama Configuration .crush.json {
  "providers": {
    "ollama": {
      "type": "openai",
      "base_url": "http://localhost:11434/v1",
      "api_key": "ollama",
      "models": [{
        "id": "qwen3:8b",
        "name": "Qwen3 8B",
        "context_window": 32768
      }]
    }
  }
}
 Fjalë kyçe n8n AI starter kit Për automatizimin vizual të rrjedhës së punës, kit i vetë-hostuar n8n kombinon gjithçka që ju nevojitet: git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git
cd self-hosted-ai-starter-kit
docker compose --profile gpu-nvidia up
 Shkarkoni Visual Workflow Editor në me më shumë se 400 integrime dhe templates të para-bërë të AI. http://localhost:5678/ Inferencë në shkallë të korporatave: Setup 50 milion token / orë Për organizatat që kërkojnë performancë ekstreme, kufijtë e vetë-hosting shtrihen përtej serverëve tradicionalë në shtëpi, për shembull @nisten setup në X. 
 
 
 
 Modeli: Qwen3-Coder-480B (480B parametrat, 35B arkitekturë aktive MoE) Fjalë kyçe: nVidia H200 Produkti: 50 milion token / orë (rreth $ 250 / orë nëse përdorni Sonnet) Analiza e kostos Initial Investment: 
 
 
 
 Buxheti: 2 mijë dollarë Përditësimi i performancës: ~$4,000 Vendosja profesionale: ~ $ 9000 Operational Costs: 
 
 
 
 
 Energjia elektrike: 50-200 dollarë në muaj Shpenzime zero zjarri Pa kufizime të përdorimit parashikueshmëria e plotë e kostos Përdoruesit e rëndë rifitojnë investimet në 3-6 muaj. Përdoruesit e moderuar thyejnë edhe brenda një viti.Liria nga kufizimet e normës, censura dhe degradimi i performancës? Break-even Timeline: Konkludimi Vetë-hosting AI ka evoluarStart i vogël me një GPU të vetme dhe Ollama. Eksperimentoni me modele të ndryshme. Shtoni aftësi agjentike. Shkalla sipas nevojës. Më e rëndësishmja, gëzoni lirinë e AI-së që punon pikërisht ashtu siç ju nevojitet – pa kompromise, pa censurë, pa surpriza. Shkoni nga kurioziteti eksperimental në domosdoshmëri praktike. Kombinimi i modeleve të fuqishme me burim të hapur, ekosistemeve të softuerëve të pjekur dhe pajisjeve të arritshme krijon një mundësi të paparë për pavarësinë e AI-së. Nëse jeni të frustruar me kufizimet e cloud-it, shqetësoheni për privatësinë, ose thjesht dëshironi performancë të qëndrueshme, rr Lidhjet me artikujt përkatës në lidhje me vetë-hosting: 
 
 
 
 
 
 Ingo Eichhorst dhe konfigurimi i tij i bukur, foto e të cilit kam përdorur për këtë artikull: https://ingoeichhorst.medium.com/building-a-wall-mounted-and-wallet-friendly-ml-rig-0683a7094704 Digital Spaceport EPYC rig: https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ Show Me Your Rig thread on LocalLLaMa subreddit: https://www.reddit.com/r/LocalLLaMA/comments/1fqwler/show_me_your_ai_rig/ Ben Arent AI homelab: https://benarent.co.uk/blog/ai-homelab/ Exo Labs klaster me 5 Mac Studio: https://www.youtube.com/watch?v=Ju0ndy2kwlw

Read My Stories

About me

Kjo audio është prodhuar në gjuhën origjinale të tregimit!

Sa kushton vetë-hosting AI? unë ndërtova një sistem për të gjetur

About Author

KOMENTE

VARUR TAGS

KY ARTIKU U PARAQIT NË

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps