Ono što je počelo kao obećanje demokratiziranog pristupa AI-u putem pružatelja usluga u oblaku pretvorilo se u frustrirajuće iskustvo degradiranih performansi, agresivne cenzure i nepredvidivih troškova. Skriven trošak Cloud AI performansi Korisnici OpenAI-a izvijestili su da GPT-4o sada "odgovara vrlo brzo, ali ako se kontekst i upute ignoriraju kako bi se pružili brzi odgovori, onda alat nije koristan". Tehnika u kojoj pružatelji usluga grupiraju više korisničkih zahtjeva zajedno za učinkovitost GPU-a, što uzrokuje da pojedinačni zahtjevi čekaju do 4 puta duže kako se veličina serije povećava. Token batching Degradacija performansi prelazi jednostavno odgađanje. Static batching prisiljava sve sekvence u seriji da se završe zajedno, što znači da vaša brza upita čeka dugotrajnu generaciju nekoga drugog. Čak i "kontinuirano batching" uvodi overhead koji usporava pojedinačne zahtjeve. pružatelji usluga u oblaku optimiziraju ukupni prijenos na štetu vašeg iskustva – kompromis koji ima smisla za njihov poslovni model, ali uništava korisničko iskustvo. Cenzura: Kada sigurnost postane neupotrebljiva Testiranje otkriva da Google Gemini odbija odgovoriti na 10 od 20 kontroverznih, ali legitimnih pitanja – više nego bilo koji konkurent. Aplikacije za preživjele od seksualnog napada blokiraju se kao "nesigurni sadržaj". Povijesni razgovori o ulogu odjednom prestaju raditi nakon ažuriranja. Aplikacije za podršku mentalnom zdravlju pokreću sigurnosne filtre. Anthropicov Claude postao je "granični beskoristan" prema korisnicima frustriranim teškom cenzurom koja blokira legitimne slučajeve korištenja. Lokalna prednost Self-hosted AI potpuno eliminira ove frustracije. Uz odgovarajući hardver, lokalni zaključak postiže 1900+ žetona/sekund—10-100x brže od vremena do prvog žetona od usluga u oblaku. Održavate potpunu kontrolu nad verzijama modela, sprečavajući neželjene ažuriranja koje prekidaju tokove rada. Bez cenzure filteri blokiraju legitimni sadržaj. Bez ograničenja stope prekidaju vaš rad. Bez iznenađenja računi od vrhunaca korištenja. Više od pet godina, pretplate u oblaku koštaju 1.200+ dolara za osnovni pristup i 10x više za napredne pretplate. I AI pružatelji cijene rastu i ograničenja postaju stroža i stroža, dok jednokratno hardversko ulaganje pruža neograničeno korištenje s samo fizi Hardverski zahtjevi: Izgradite svoju AI snagu Razumijevanje veličina modela i kvantifikacija Ključ za samostalni uspjeh leži u usklađivanju modela s vašim hardverskim mogućnostima.Moderne tehnike kvantifikacije komprimiraju modele bez značajnog gubitka kvalitete: Kvantifikacija smanjuje točnost težina modela od njihove izvorne predstavke plutajuće točke do nižih bitnih formata. Razmislite o tome kao što je komprimiranje slike visoke rezolucije - trgovate nekim detaljima za dramatično manje veličine datoteka. What is Quantization? Bez kvantifikacije, čak i skromni jezični modeli bili bi nedostupni većini korisnika. 70B parametarski model s punom preciznošću zahtijeva 140 GB memorije – izvan većine potrošačkih GPU-a. Kvantifikacija demokratizira umjetnu inteligenciju tako što će moćne modele pokrenuti na svakodnevnom hardveru, omogućavajući lokalnu implementaciju, smanjujući troškove u oblaku i poboljšavajući brzinu zaključivanja kroz učinkovitije obrasce pristupa memorije. Why Quantization Matters 
 
 
 
 
 FP16 (Puna preciznost): originalna kvaliteta modela, maksimalni zahtjevi za memorijom 8-bitna kvantifikacija: ~50% smanjenje pamćenja, minimalni utjecaj na kvalitetu 4-bitna kvantifikacija: ~75% smanjenje pamćenja, lagani kompromis kvalitete 2-bitna kvantifikacija: ~87.5% smanjenje pamćenja, primjetna degradacija kvalitete Za model parametara 7B, to se pretvara u 14 GB (FP16), 7 GB (8-bitna), 3.5 GB (4-bitna) ili 1,75 GB (2-bitna) potrebna memorija. Popularni modeli otvorenog koda i njihovi zahtjevi Small Models (1.5B-8B parameters): 
 
 
 
 Qwen3 4B/8B: Najnovija generacija s hibridnim načinima razmišljanja. Qwen3-4B nadmašuje mnoge modele 72B na zadacima programiranja. Zahtijeva ~3-6GB u 4-bitnoj kvantifikaciji DeepSeek-R1 7B: Odlične sposobnosti razmatranja, 4 GB RAM-a Mistral Small 3.1 24B: Najnoviji Apache 2.0 model s multimodalnim mogućnostima, 128K kontekstnom prozorom i 150 tokena/s performansi. Medium Models (14B-32B parameters): 
 
 
 
 
 GPT-OSS 20B: prvi otvoren model OpenAI-a od 2019. godine, licenciran Apache 2.0. MoE arhitektura s 3.6B aktivnim parametrima pruža o3-mini performanse. Qwen3 14B/32B: Gosti modeli s mogućnostima načina razmišljanja. Qwen3-14B odgovara Qwen2.5-32B performansi dok je učinkovitiji DeepSeek-R1 14B: Optimalan na RTX 3070 Ti/4070 Mistral Small 3.2: Najnovija ažuriranja s poboljšanim uputama za slijed i smanjenim ponavljanjem Large Models (70B+ parameters): 
 
 
 
 
 
 Llama 3.3 70B: ~35GB u 4-bitnoj kvantifikaciji, potreban je dvostruki RTX 4090 ili A100 DeepSeek-R1 70B: 48GB VRAM preporučeno, moguće s 2x RTX 4090 GPT-OSS 120B: OpenAI-ov vodeći otvoreni model s 5.1B aktivnim parametrima putem 128-ekspert MoE. U skladu s o4-mini performansi, radi na jednom H100 (80GB) ili 2-4x RTX 3090s Qwen3-235B-A22B: vodeći MoE model s 22B aktivnim parametrima, konkurentan s o3-mini DeepSeek-R1 671B: div koji zahtijeva 480GB + VRAM ili specijalizirane postavke Specijalizirani modeli kodiranja: Small Coding Models (1B-7B active parameters): 
 
 
 
 Qwen3-Coder 30B-A3B: MoE model s samo 3.3B aktivnim parametrima. Native 256K kontekst (1M s YaRN) za zadatke skale skladišta. Radi na RTX 3060 12GB u 4-bitnoj kvantifikaciji Qwen3-Coder 30B-A3B-FP8: Službena 8-bitna kvantifikacija koja održava 95% + performanse. Zahtijeva 15GB VRAM, optimalno za RTX 4070/3080 Unsloth Qwen3-Coder 30B-A3B: Dinamičke kvantifikacije s fiksnim pozivom alata. Q4_K_M radi na 12GB, Q4_K_XL na 18GB s boljom kvalitetom Large Coding Models (35B+ active parameters): 
 
 
 
 Qwen3-Coder 480B-A35B: Flagship agentic model s 35B aktivnim putem 160-ekspert MoE. Postigne 61,8% na SWE-Bench, usporedivo s Claude Sonnet 4. Zahtijeva 8x H200 ili 12x H100 pri punoj preciznosti Qwen3-Coder 480B-A35B-FP8: Službeno 8-bitno smanjenje memorije na 250GB. Radi na 4x H100 80GB ili 4x A100 80GB Unsloth Qwen3-Coder 480B-A35B: Q2_K_XL na 276GB radi na 4x RTX 4090 + 180GB RAM. IQ1_M na 150GB moguće na 2x RTX 4090 + 100GB RAM Konfiguracije hardvera po proračunu Budget Build (~$2,000): 
 
 
 
 
 Procesor AMD Ryzen 7 7700X 64 GB DDR5-5600 RAM PowerColor RX 7900 XT 20GB ili rabljen RTX 3090 Modeli do 14B mogu se udobno rukovati Performance Build (~$4,000): 
 
 
 
 
 Sljedeći članakRyzen 9 7900X 128 GB DDR5-5600 RAM RTX 4090 24 GB Učinkovito upravlja 32B modelima, manjim 70B modelima s iscrpljenjem Professional Setup (~$8,000): 
 
 
 
 
 Dual Xeon/EPYC procesori 256 GB RAM-a 2x RTX 4090 ili RTX A6000 Upravljanje modelima 70B pri proizvodnim brzinama Mac Options: 
 
 
 
 MacBook M1 Pro 36GB: Odličan za modele 7B-14B, jedinstvena prednost memorije Mac Mini M4 64GB: Udobno s 32B modelima Mac Studio M3 Ultra 512GB: Konačna opcija – pokreće DeepSeek-R1 671B na 17-18 žetona/s za ~10.000 dolara Za ultra-velike modele, AMD EPYC sustavi nude iznimnu vrijednost. ~ 2500 $ EPYC 7702 sustav s 512GB-1TB DDR4 isporučuje 3,5-8 žetona / s na DeepSeek-R1 671B - sporije od GPU-a, ali znatno je pristupačnije za modele ove veličine. The AMD EPYC Alternative: Ova konfiguracija može pokrenuti DeepSeek-R1 671B na 3.5-4.25 žetona u sekundi: The $2,000 EPYC Build (Digital Spaceport Setup): 
 
 
 
 
 
 
 
 CPU: AMD EPYC 7702 (64 jezgre) - 650 dolara ili nadogradnja na EPYC 7C13/7V13 - 599-735 dolara Matična ploča: MZ32-AR0 (16 DIMM slotova, 3200MHz podrška) - $ 500 Memorija: 16x 32GB DDR4-2400 ECC (512GB ukupno) - 400 dolara, ili 16x 64GB za 1TB - 800 dolara Skladištenje: 1TB Samsung 980 Pro NVMe - 75 dolara Proizvođač: Corsair H170i Elite Capellix XT PSU: 850W (samo CPU) ili 1500W (buduće proširenje GPU-a) - 80-150 dolara Sljedeći članakRack frame – 55 dolara : ~2 000 USD za 512 GB, ~2 500 USD za konfiguraciju od 1 TB Total Cost Performance Results: 
 
 
 
 
 DeepSeek-R1 671B Q4: 3.5-4.25 žetona po sekundi Kontekstni prozor: 16K+ podržan Napajanje: 60W neaktivno, 260W punjeno Pružina memorije: kritična – brža DDR4-3200 značajno poboljšava performanse Ova postavka dokazuje da masivni modeli mogu pristupačno raditi na CPU-samo sustavima, čineći granice AI dostupnim bez GPU zahtjeva. Izvor: Digital Spaceport - Kako pokrenuti Deepseek R1 671b potpuno lokalno na EPYC poslužitelju od 2000 dolara Kako pokrenuti Deepseek R1 671b potpuno lokalno na EPYC poslužitelju od 2000 dolara Instalacija softvera: od instalacije do proizvodnje Tagovi: Fondacija Ollama je postao de facto standard za lokalnu implementaciju modela, nudeći jednostavnost bez žrtvovanja moći. Installation: # Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh

# Windows: Download installer from ollama.com/download
 Essential Configuration: # Optimize for performance
export OLLAMA_HOST="0.0.0.0:11434"        # Enable network access
export OLLAMA_MAX_LOADED_MODELS=3         # Concurrent models
export OLLAMA_NUM_PARALLEL=4              # Parallel requests
export OLLAMA_FLASH_ATTENTION=1           # Enable optimizations
export OLLAMA_KV_CACHE_TYPE="q8_0"        # Quantized cache

# Download models
ollama pull qwen3:4b
ollama pull qwen3:8b
ollama pull mistral-small3.1
ollama pull deepseek-r1:7b
 Za multi-GPU postavke, pokrenite zasebne instance Ollama: Running Multiple Instances: # GPU 1
CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST="0.0.0.0:11434" ollama serve

# GPU 2
CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST="0.0.0.0:11435" ollama serve
 Sljedeći članakExo.labs: Distributed Inference Magic Exo.labs omogućuje pokretanje masivnih modela na više uređaja - čak i miješanje MacBooks, PC-ova i Raspberry Pis. Installation: git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .
 jednostavno trčanje na svakom uređaju u vašoj mreži. automatski otkrivaju jedni druge i distribuiraju izračun modela. Postavljanje s 3x M4 Pro Macovima postiže 108,8 žetona/sekundu na Llama 3.2 3B-u, što je 2.2x poboljšanje u odnosu na performanse pojedinih uređaja. Usage: exo GUI opcije nudi najbolje ChatGPT-like iskustvo: Open WebUI docker run -d -p 3000:8080 --gpus=all \
  -v ollama:/root/.ollama \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:ollama
 Pristup na za punopravni sučelje s RAG podrškom, multi-user upravljanje i plugin sustav. http://localhost:3000 Nudi najjednostavnije desktop iskustvo: GPT4All 
 
 
 
 
 
 Preuzmite iz gpt4all.io za Windows, macOS ili Linux Instalacija s jednim klikom s automatskim otkrivanjem Ollama Ugrađeni modelni preglednik i upravitelj preuzimanja Savršeno za početnike koji žele native desktop aplikaciju Podržava lokalni dokument chat i dodatke pruža moćan razvojno orijentirani sučelje: AI Studio 
 
 
 
 
 
 
 
 Različite mogućnosti usporedbe modela i testiranja Napredni inženjerski radni prostor API upravljanje i testiranje krajnjih točaka Analiza performansi modela i benchmarking Podržava Ollama, LocalAI i prilagođene backendove Idealno za programere i AI istraživače Funkcije uključuju razdvajanje razgovora, predloške prompt i opcije izvoza odlikuje se kreativnim aplikacijama i interakcijama temeljenima na likovima, nudeći opsežnu prilagodbu za igranje uloga i kreativne scenarije pisanja. SillyTavern Daljinski pristup s Tailscale: vaša AI svugdje Jedan od najmoćnijih aspekata samohostovanja AI je mogućnost pristupa vašim modelima s bilo kojeg mjesta uz održavanje potpune privatnosti. Tailscale VPN to olakšava stvaranjem sigurne mrežne mreže između svih vaših uređaja. Uspostavljanje Tailscale za udaljeni AI pristup Install Tailscale on your AI server: # Linux/macOS
curl -fsSL https://tailscale.com/install.sh | sh
sudo tailscale up

# Windows: Download from tailscale.com/download
 Configure Ollama for network access: # Set environment variable to listen on all interfaces
export OLLAMA_HOST="0.0.0.0:11434"
ollama serve
 (laptop, telefon, tablet) koristeći isti račun. svi se uređaji automatski pojavljuju u vašoj privatnoj mrežnoj mreži s jedinstvenim IP adresama (obično 100.x.x.x raspon). Install Tailscale on client devices Check your server's Tailscale IP: tailscale ip -4
# Example output: 100.123.45.67
 Access from any device on your Tailnet: 
 
 
 
 Web sučelje: http://100.123.45.67:3000 (Open WebUI) API krajnja točka: http://100.123.45.67:11434/v1/chat/completions Mobilne aplikacije: Configure Ollama endpoint to your Tailscale IP Napredna tailscale konfiguracija Za pristup cijeloj kućnoj mreži: Enable subnet routing # On AI server
sudo tailscale up --advertise-routes=192.168.1.0/24
# Replace with your actual subnet
 za HTTPS s automatskim certifikatima: Use Tailscale Serve # Expose Open WebUI with HTTPS
tailscale serve https / http://localhost:3000
 To stvara javni URL kao što je dostupna samo vašoj Tailscale mreži. https://your-machine.your-tailnet.ts.net Mobilni pristup Za iOS/Android uređaje: 
 
 
 
 Instalirajte aplikaciju Tailscale iz trgovine App Store/Play Store Prijavite se s istim računom Install compatible apps:
 
 
 
 
 : Enchanted, Mela, or any OpenAI-compatible client iOS : Ollama Android app, or web browser Android Konfigurirajte aplikaciju kako bi koristila svoj Tailscale IP: http://100.123.45.67:11434 Najbolje sigurnosne prakse Tailscale pruža sigurnost podrazumijevano putem svoje šifrirane mrežne mreže – nema potrebe za dodatnom konfiguracijom požarnog zida! 
 
 
 
 
 Automatski šifriranje cijelog prometa pomoću WireGuard Dopušta samo autentificirane uređaje u vašoj mreži Stvara izolirane veze koje potpuno zaobilaze vaš usmjerivač Sprječavanje neovlaštenog pristupa s javnog interneta Budući da je Tailscale promet šifriran i dostupan samo vašim autentificiranim uređajima, vaš Ollama server ostaje potpuno privatan čak i kada je dostupan na daljinu. Uz Tailscale, vaša samostalna AI postaje istinski prenosiva – pristupite svojim modelima s potpunom privatnošću, bilo da ste u kafiću, putujete ili radite s druge lokacije. Agentički tokovi rada: AI koji stvarno radi Goose iz bloka Goose pretvara vaše lokalne modele u autonomne razvojne asistente sposobne izgraditi cijele projekte. Installation: curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash
 Configuration for Ollama: goose configure
# Select: Configure Providers → Custom → Local
# Base URL: http://localhost:11434/v1
# Model: qwen3:8b
 Goose izvrsno djeluje na migracijama koda, optimizaciji performansi, generaciji testova i složenim razvojnim radnim tokovima.Za razliku od jednostavnog dovršetka koda, samostalno planira i provodi cijele razvojne zadatke. Crush iz šarma Za entuzijaste terminala, Crush pruža glamurozan AI agent za kodiranje s dubokom IDE integracijom. Installation: brew install charmbracelet/tap/crush  # macOS/Linux
# or
npm install -g @charmland/crush
 (na primjeru ) u: Ollama Configuration .crush.json {
  "providers": {
    "ollama": {
      "type": "openai",
      "base_url": "http://localhost:11434/v1",
      "api_key": "ollama",
      "models": [{
        "id": "qwen3:8b",
        "name": "Qwen3 8B",
        "context_window": 32768
      }]
    }
  }
}
 Sljedeći članakN8N AI Starter Kit Za vizualnu automatizaciju toka rada, n8n samostalni set kombinira sve što vam je potrebno: git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git
cd self-hosted-ai-starter-kit
docker compose --profile gpu-nvidia up
 Pristup vizualnom uređivaču radnog toka na s više od 400 integracija i unaprijed izgrađenim AI predlošcima. http://localhost:5678/ Korporativno-skala Inference: 50 milijuna žetona / sat postavljanje Za organizacije koje zahtijevaju ekstremne performanse, granice samozaposlenosti protežu daleko izvan tradicionalnih domaćih poslužitelja, na primjer @nisten setup na X-u. 
 
 
 
 Model: Qwen3-Coder-480B (480B parametri, 35B aktivna MoE arhitektura) Hardver: 4x NVIDIA H200 Izlaznost: 50 milijuna žetona / sat (oko 250 dolara / sat ako koristite Sonnet) Analiza troškova Initial Investment: 
 
 
 
 Proračun: ~ 2 000 USD Nastava performansi: ~ 4 000 $ Profesionalna postavka: ~9000 dolara Operational Costs: 
 
 
 
 
 Električna energija: 50-200 dolara mjesečno Zero vatreni troškovi Nema ograničenja korištenja Potpuna predvidljivost troškova Teški korisnici vraćaju ulaganje u 3-6 mjeseci. Umjereni korisnici prekidaju čak i u roku od godinu dana. Break-even Timeline: Zaključak Self-hosting AI je evoluiraoStart small s jednim GPU-om i Ollama. Eksperimentirajte s različitim modelima. Dodajte agentičke mogućnosti. Širi se prema potrebi. Najvažnije, uživajte u slobodi AI-a koji radi točno onako kako vam je potrebno – bez kompromisa, bez cenzure, bez iznenađenja. Idite od eksperimentalne znatiželje do praktične nužnosti. Kombinacija moćnih modela otvorenog koda, zrelih softverskih ekosustava i pristupačnog hardvera stvara neviđenu priliku za neovisnost AI-a. Bilo da ste frustrirani ograničenjima u oblaku, zabrinuti za privatnost ili jednostavno želite dosljednu performanse, put do self-hosted AI-a je jasniji nego ikad. Poveznice na relevantne članke o self-hostingu: 
 
 
 
 
 
 Ingo Eichhorst i njegova prekrasna postavka, fotografija koju sam koristio za ovaj članak: https://ingoeichhorst.medium.com/building-a-wall-mounted-and-wallet-friendly-ml-rig-0683a7094704 Digital Spaceport EPYC rig: https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ Show Me Your Rig thread on LocalLLaMa subreddit: https://www.reddit.com/r/LocalLLaMA/comments/1fqwler/show_me_your_ai_rig/ Ben Arent AI homelab: https://benarent.co.uk/blog/ai-homelab/ Exo Labs klaster s 5 Mac Studio: https://www.youtube.com/watch?v=Ju0ndy2kwlw

Read My Stories

About me

Ovaj zvuk je proizveden na izvornom jeziku priče!

Koliko košta samostalno pohraniti AI? Izgradio sam sustav kako bih saznao

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps