Ohatrinona no vidin-javatra ho an'ny Self-Host AI? dia namorona rafitra mba hahafantarana

Ny zavatra nanombohan'ny fampanantenana ny fidirana amin'ny AI amin'ny alàlan'ny mpamatsy cloud dia lasa traikefa mahatsiravina amin'ny fampihenana ny fahombiazan'ny fampisehoana, ny fanitsakitsahana mahery vaika, ary ny fandaniana tsy azo antoka. Ny vidin'ny Cloud AI Performance Ny mpampiasa OpenAI dia nitatitra fa ny GPT-4o dia mihazakazaka haingana, fa raha tsy mahita ny fifandraisana sy ny torolàlana mba hanome valiny haingana, dia tsy azo ampiasaina ny fitaovana. " Teknika iray izay mampiroborobo ny mpamatsy maro mpampiasa fangatahana miaraka ho an'ny GPU mahomby, mahatonga ny fangatahana tsirairay miandry hatramin'ny 4x mihoatra rehefa mitombo ny habetsaky ny batch. Token batching Ny fihenjanana ny fahombiazan'ny fampisehoana dia mihoatra noho ny fahatarana tsotra. Ny batching static dia mamporisika ny andian-dahatsoratra rehetra ao amin'ny batch mba hanatanterahana miaraka, midika izany fa ny fanontaniana haingana dia miandry ny famokarana lava ho an'ny hafa. Na izany aza, ny "batching tsy tapaka" dia mamorona overhead izay mampihena ny fangatahana tsirairay. Ny mpamatsy Cloud dia manatsara ny fidirana ankapobeny amin'ny vidin'ny traikefan'ny traikefanao - fifanarahana izay misy dikany amin'ny modely raharaham-barotra azy, fa manimba ny traikefan'ny mpampiasa. Tsindrona: Rehefa tsy azo ampiasaina ny fiarovana Ny fanandramana dia maneho fa ny Google Gemini dia manakana ny hamaly ny fanontaniana 20 amin'ireo fanontaniana mifanohitra nefa ara-drariny - mihoatra noho ny mpifaninana rehetra. Ny fangatahana ho an'ny mpiaro ny herisetra ara-nofo dia voafetra ho toy ny "fitehirizana tsy azo antoka". Ny fifanakalozan-kevitra momba ny anjara-javatra teo aloha dia tsy miasa taorian'ny fanavaozana. Ny fampiharana fanampiana ara-pahasalamana dia manakana ny filtra fiarovana. Ny Claude avy amin'ny Anthropic dia lasa "tsy mampiasa" araka ny mpampiasa mahatsiravina amin'ny fanitsakitsahana mafy izay manakana ny fampiasana ara-drariny. Ny tombony eo an-toerana Miaraka amin'ny fitaovana tsara, ny fanapahan-kevitra ao an-toerana dia mahatratra 1900+ tokens / segondra—10-100x haingana kokoa noho ny fotoana-to-first-token noho ny serivisy cloud. Manana ny fanaraha-maso tanteraka amin'ny dikan'ny modely ianao, manakana ny fanavaozana tsy ilaina izay manimba ny asa. Tsy misy filtra fanaraha-maso manakana votoaty ara-drariny. Tsy misy fetran'ny vidin-javatra manakana ny asanao. Tsy misy fetra mahagaga avy amin'ny fampiasana. Nandritra ny dimy taona, ny fidirana amin'ny cloud dia mandoa $ 1,200+ ho an'ny fidirana fototra ary 10x ho an'ny fanamarihana ambony. Ary ny vidin' Ireo fepetra takiana amin'ny fitaovana: Ny fananganana ny herinaratra AI Fantaro ny habetsaky ny modely sy ny habetsaky ny habetsaky Ny fanalahidy ho an'ny fahombiazana amin'ny fampiantranoana ny tenanao dia ny mifanohitra amin'ny modely amin'ny fahaiza-manao ny fitaovana. Ny teknolojia ny quantization maoderina dia manamafy modely tsy misy fahaverezan'ny kalitao: Ny Quantization dia mampihena ny fahamarinana amin'ny endriky ny modely avy amin'ny fanehoan-kevitra voalohany amin'ny toerana mihodina ho amin'ny endrika bit ambany. Misaotra izany toy ny fanamafisana sary avo lenta - ianao no varotra antsipirihany ho an'ny rakitra kely kokoa. Ao amin'ny tambajotra neuronal, midika izany ny fitehirizana tsirairay amin'ny fampiasana bit kely kokoa, izay mampihena mivantana ny fampiasana fahatsiarovana ary mampitombo ny fanapahan-kevitra. What is Quantization? Raha tsy misy ny fanamafisana, na dia modely fiteny madinika aza dia tsy azo jerena ho an'ny ankamaroan'ny mpampiasa. Ny modely 70B amin'ny marina dia mitaky 140GB amin'ny fahatsiarovana - mihoatra noho ny ankamaroan'ny GPU mpanjifa. Ny fanamafisana dia manamafisana ny AI amin'ny alalan'ny fametrahana modely mahery vaika mihazakazaka amin'ny fitaovana isan'andro, mamela ny fametrahana eo an-toerana, mampihena ny vidin'ny rahona, ary manatsara ny haingam-pandeha amin'ny alalan'ny fomba fidirana amin'ny fahatsiarovana mahomby kokoa. Why Quantization Matters FP16 (Full Precision): Ny kalitaon'ny modely voalohany, ny fitakian'ny fahatsiarovana 8-bit Quantization: ~50% fametrahana fahatsiarovana, ambany fiantraikany amin'ny kalitao 4-bit Quantization: ~75% fametrahana fahatsiarovana, kely kalitao fifanarahana 2-bit Quantization: ~87.5% fametrahana fahatsiarovana, mahatsiravina fahasimbana amin'ny kalitao Ho an'ny modely 7B parameter, dia midika izany fa 14GB (FP16), 7GB (8-bit), 3.5GB (4-bit), na 1.75GB (2-bit) ny fametrahana fitehirizana ilaina. Ny modely malaza amin'ny loharanom-baovao sy ny fepetra takiany Small Models (1.5B-8B parameters): Qwen3 4B/8B: Ny taranaka farany amin'ny fomba fikarohana hybrid. Qwen3-4B dia mihoatra noho ny modely 72B maro amin'ny asa fandaharana. Mitaky ~3-6GB amin'ny 4 bit DeepSeek-R1 7B: Mahatalanjona ny fahaiza-manao, 4GB RAM farafahakeliny Mistral Small 3.1 24B: Ny modely Apache 2.0 vaovao indrindra miaraka amin'ny fahaiza-manao multimodal, varavarankely 128K, ary 150 tokens / sek. Mandeha amin'ny RTX 4090 na 32GB Mac Medium Models (14B-32B parameters): GPT-OSS 20B: Model OpenAI voalohany nanomboka tamin'ny 2019, Apache 2.0 nahazo fahazoan-dalana. Ny rafitra MoE miaraka amin'ny parameter 3.6B dia manome o3-mini-performance. Mandeha amin'ny RTX 4080 amin'ny 16GB VRAM Qwen3 14B/32B: Modely matanjaka miaraka amin'ny fahaiza-manao fomba fikarohana. Qwen3-14B mifanaraka amin'ny fahombiazan'ny Qwen2.5-32B raha mbola mahomby kokoa DeepSeek-R1 14B: Optimal amin'ny RTX 3070 Ti / 4070 Mistral Small 3.2: fanavaozana farany amin'ny fanatsarana ny fampianarana manaraka sy ny fanavaozana ambany Large Models (70B+ parameters): Llama 3.3 70B: ~35GB amin'ny quantization 4-bit, mila RTX 4090 roa na A100 DeepSeek-R1 70B: 48GB VRAM voatendry, azo atao amin'ny 2x RTX 4090 GPT-OSS 120B: Modely malaza OpenAI amin'ny 5.1B ara-toekarena amin'ny alalan'ny 128-expert MoE. Mifanohitra amin'ny o4-mini-fanatanjahan-tena, mihazakazaka amin'ny H100 (80GB) na 2-4x RTX 3090s Qwen3-235B-A22B: Modely MoE mpitarika miaraka amin'ny toetra 22B, mifanentana amin'ny o3-mini DeepSeek-R1 671B: Ny lehibe mitaky 480GB + VRAM na fametrahana manokana Modely manokana ho an'ny coding: Small Coding Models (1B-7B active parameters): Qwen3-Coder 30B-A3B: Modely MoE miaraka amin'ny 3.3B ihany. Native 256K fifandraisana (1M miaraka amin'ny YaRN) ho an'ny asa amin'ny habetsahan'ny trano fonenana. Mihazakazaka amin'ny RTX 3060 12GB amin'ny 4 bit quantization Qwen3-Coder 30B-A3B-FP8: ofisialy 8-bit quantization mitazona 95% + fahaiza-manao. Mitaky 15GB VRAM, tsara indrindra ho an'ny RTX 4070/3080 Unsloth Qwen3-Coder 30B-A3B: Dynamic quantizations miaraka amin'ny fitaovana fikarohana. Q4_K_M mihazakazaka amin'ny 12GB, Q4_K_XL amin'ny 18GB amin'ny kalitao tsara kokoa Large Coding Models (35B+ active parameters): Qwen3-Coder 480B-A35B: Modely malaza miaraka amin'ny 35B miasa amin'ny alalan'ny MoE 160 manam-pahaizana. Mahatratra 61.8% amin'ny SWE-Bench, mitovy amin'ny Claude Sonnet 4. Mitaky 8x H200 na 12x H100 amin'ny fanamafisana tanteraka Qwen3-Coder 480B-A35B-FP8: ofisialin'ny 8 bit amin'ny famerenana ny fahatsiarovana ho 250GB. Mihazakazaka amin'ny 4x H100 80GB na 4x A100 80GB Unsloth Qwen3-Coder 480B-A35B: Q2_K_XL amin'ny 276GB mihazakazaka amin'ny 4x RTX 4090 + 180GB RAM. IQ1_M amin'ny 150GB azo atao amin'ny 2x RTX 4090 + 100GB RAM Hardware fametrahana amin'ny teti-bola Budget Build (~$2,000): AMD Ryzen 7 7700X amin'ny processeur 64GB RAM amin'ny DDR5-5600 PowerColor RX 7900 XT 20GB na RTX 3090 ampiasaina Manara-maso ny modely hatramin'ny 14B mora foana Performance Build (~$4,000): Sary avy amin'ny AMD Ryzen 9 7900X. 128GB RAM amin'ny DDR5-5600 RTX 4090 amin'ny 24GB Mandeha amin'ny modely 32B mahomby, modely 70B madinika miaraka amin'ny fanesorana Professional Setup (~$8,000): Ny processeur Dual Xeon / EPYC dia mifanaraka amin'ny 256GB amin'ny RAM 2x RTX 4090 na RTX A6000 amin'ny lamba Manara-maso ny modely 70B amin'ny haingam-pandeha Mac Options: MacBook M1 Pro 36GB: Tsara ho an'ny modely 7B-14B, tombontsoa amin'ny fametrahana fametrahana Mac Mini M4 64GB: Mahasoa amin'ny modely 32B Mac Studio M3 Ultra 512GB: Ny safidy farany — mihazakazaka amin'ny DeepSeek-R1 671B amin'ny 17-18 tokens / segondra ho ~ $ 10,000 Ny rafitra EPYC 7702 amin'ny 512GB-1TB DDR4 dia manome token 3,5-8 / s amin'ny DeepSeek-R1 671B - lavitra noho ny GPUs fa tena sarobidy kokoa ho an'ny modely amin'ity habeny ity. The AMD EPYC Alternative: Ity famolavolana ity dia afaka mihazakazaka ny DeepSeek-R1 671B amin'ny 3.5-4.25 tokens / segondra: The $2,000 EPYC Build (Digital Spaceport Setup): CPU: AMD EPYC 7702 (64 fototra) - $ 650, na fanavaozana ho an'ny EPYC 7C13/7V13 - $ 599-735 Motherboard: MZ32-AR0 (16 DIMM slots, 3200MHz fanohanana) - $ 500 Memory: 16x 32GB DDR4-2400 ECC (512GB total) - $ 400, na 16x 64GB ho an'ny 1TB - $ 800 Fitehirizana: 1TB Samsung 980 Pro NVMe - $ 75 Corsair H170i Elite Capellix XT amin'ny fihenam-bidy - $170 PSU: 850W (CPU-only) na 1500W (GPU fanitarana ho avy) - $ 80-150 Case: Rack fametrahana - $ 55 : ~$2,000 ho an'ny 512GB, ~$2,500 ho an'ny fametrahana 1TB Total Cost Performance Results: DeepSeek-R1 671B Q4: 3.5-4.25 token / segondra Ny rindrambaiko dia 16K+ Power Draw: 60W tsy misy fiantraikany, 260W nangonina Memory Bandwidth: Critical - haingana kokoa ny DDR4-3200 dia manatsara ny fahombiazan'ny fampisehoana Ity fametrahana ity dia manaporofo fa ny modely lehibe dia afaka mihazakazaka amin'ny rafitra CPU ihany, amin'ny alalan'ny fahafahana miditra amin'ny AI tsy misy fepetra GPU. Ny fahaiza-manao dual-socket sy ny fanohanana ny fametrahana lehibe dia mahatonga ny EPYC ho tsara ho an'ny modely izay mihoatra ny fetran'ny VRAM GPU. Sary avy amin'ny Digital Spaceport - Ahoana ny fomba hanatanterahana Deepseek R1 671b tanteraka amin'ny toerana iray amin'ny mpizara EPYC $ 2000 Digital Spaceport - Ahoana ny fandefasana Deepseek R1 671b tanteraka amin'ny toerana iray amin'ny mpizara EPYC $ 2000 Ny fametrahana rindrambaiko: avy amin'ny fametrahana ka hatramin'ny famokarana Ollama: ny fonosana Ollama dia lasa fitsipika de facto ho an'ny fametrahana modely ao an-toerana, manolotra tsotra tsy manolotra hery. Installation: # Linux/macOS curl -fsSL https://ollama.com/install.sh | sh # Windows: Download installer from ollama.com/download Essential Configuration: # Optimize for performance export OLLAMA_HOST="0.0.0.0:11434" # Enable network access export OLLAMA_MAX_LOADED_MODELS=3 # Concurrent models export OLLAMA_NUM_PARALLEL=4 # Parallel requests export OLLAMA_FLASH_ATTENTION=1 # Enable optimizations export OLLAMA_KV_CACHE_TYPE="q8_0" # Quantized cache # Download models ollama pull qwen3:4b ollama pull qwen3:8b ollama pull mistral-small3.1 ollama pull deepseek-r1:7b Ho an'ny fametrahana GPU maro, mihazakazaka indraindray amin'ny Ollama: Running Multiple Instances: # GPU 1 CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST="0.0.0.0:11434" ollama serve # GPU 2 CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST="0.0.0.0:11435" ollama serve Exo.labs: Distributed Inference Magic amin'ny aterineto Exo.labs dia ahafahana mihazakazaka modely lehibe amin'ny fitaovana maro - na dia mampifangaro MacBooks, PC sy Raspberry Pis aza. Installation: git clone https://github.com/exo-explore/exo.git cd exo pip install -e . Mandeha fotsiny Ao amin'ny fitaovana tsirairay ao amin'ny tambajotrao izy ireo dia mahita ny hafa ary mamoaka solosaina modely. Ny fametrahana miaraka amin'ny Macs M4 Pro 3x dia mahatratra token 108,8 / segondra amin'ny Llama 3.2 3B - fampitomboana 2.2x noho ny fahombiazan'ny fitaovana tsirairay. Usage: exo Ny safidy GUI manome ny traikefa tsara indrindra amin'ny ChatGPT: Open WebUI docker run -d -p 3000:8080 --gpus=all \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ ghcr.io/open-webui/open-webui:ollama Ny fidirana amin'ny ho an'ny interface feno endri-javatra miaraka amin'ny fanohanana ny RAG, ny fitantanana mpampiasa maro ary ny rafitra plug-in. http://localhost:3000 Manolotra ny traikefa tsotra indrindra amin'ny Desktop: GPT4All Download avy amin'ny gpt4all.io ho an'ny Windows, macOS, na Linux Ny fametrahana tsindry iray miaraka amin'ny fametrahana Ollama Ny modely ao amin'ny navigateur sy ny Download Manager Tsara ho an'ny mpikaroka izay te-hampiasa ny desktop. Miaraka amin'ny chat sy plugins amin'ny dokam-barotra Manome interface mahery vaika izay mifantoka amin'ny fampandrosoana: AI Studio Multi-modely fampitahana sy ny fanandramana fahafahana Manatsara ny asa amin'ny injeniera haingana Ny fitantanana sy ny fanandramana ny endpoint API Ny fanadihadiana sy ny benchmarking Manohana ny Ollama, LocalAI, ary ny backend manokana Tsara ho an'ny mpamorona sy ny mpikaroka amin'ny AI Ny endri-javatra dia ahitana ny fifanakalozan-kevitra, ny fangatahana templates, ary ny safidy fanondranana mifanaraka amin'ny fampiharana sy ny fifandraisana mifototra amin'ny karakter, manolotra famolavolana be dia be ho an'ny roll-play sy ny famoronana famoronana. SillyTavern Ny fidirana lavitra amin'ny Tailscale: ny AI any amin'ny toerana rehetra Ny iray amin'ireo lafiny mahery vaika indrindra amin'ny fametrahana ny AI dia ny fahafahana miditra amin'ny modely avy any amin'ny toerana rehetra ary mitazona ny tsiambaratelo tanteraka. Tailscale VPN dia manatsara izany amin'ny alalan'ny famoronana tambajotra azo antoka eo amin'ny fitaovana rehetra. Ny fametrahana Tailscale ho an'ny fidirana lavitra amin'ny AI Install Tailscale on your AI server: # Linux/macOS curl -fsSL https://tailscale.com/install.sh | sh sudo tailscale up # Windows: Download from tailscale.com/download Configure Ollama for network access: # Set environment variable to listen on all interfaces export OLLAMA_HOST="0.0.0.0:11434" ollama serve (laptop, finday, tablet) mampiasa ny kaonty mitovy. Ny fitaovana rehetra dia hita ao amin'ny tambajotra manokana miaraka amin'ny adiresy IP tokana (matetika 100.x.x.x). Install Tailscale on client devices Check your server's Tailscale IP: tailscale ip -4 # Example output: 100.123.45.67 Access from any device on your Tailnet: Web interface: http://100.123.45.67:3000 (Mivoaka ny WebUI) API Endpoint: http://100.123.45.67:11434/v1/chat/completions Mobile Apps: Configure Ollama endpoint amin'ny Tailscale IP Ny fametrahana ny tailscale Mba hahazoana fidirana amin'ny tambajotra an-trano manontolo: Enable subnet routing # On AI server sudo tailscale up --advertise-routes=192.168.1.0/24 # Replace with your actual subnet ho an'ny HTTPS miaraka amin'ny fanamarinana automatique: Use Tailscale Serve # Expose Open WebUI with HTTPS tailscale serve https / http://localhost:3000 Izany dia mamorona URL an-tserasera toy ny azo jerena amin'ny tambajotra Tailscale fotsiny ianao. https://your-machine.your-tailnet.ts.net Ny fidirana amin'ny finday Ho an'ny fitaovana iOS / Android: Ataovy azo antoka ny fametrahana ny app avy amin'ny App Store / Play Store Mifandray amin'ny kaonty mitovy Install compatible apps: : Enchanted, Mela, or any OpenAI-compatible client iOS : Ollama Android app, or web browser Android Ampidiro ny fampiharana mba hampiasa ny Tailscale IP: http://100.123.45.67:11434 Ny fomba fiarovana tsara indrindra Tailscale dia manome fiarovana amin'ny alàlan'ny tambajotran'ny tambajotra voasoratra - tsy ilaina ny fametrahana firewall fanampiny! Ny hatsaran'ny Tailscale dia ny hoe: Tsindrio ny fifamoivoizana rehetra amin'ny WireGuard Afaka mamela fitaovana voamarina ihany ao amin'ny tambajotra Mamorona fifandraisana miavaka izay mandositra ny router tanteraka Manakana ny fidirana tsy nahazoan-dalana avy amin'ny aterineto Satria ny fifamoivoizana Tailscale dia voasoratra ary azo jerena amin'ny fitaovana voamarina ihany, ny mpizara Ollama dia mbola miafina tanteraka, na dia azo jerena avy any ivelany aza. Tsy misy fandefasana port, tsy misy fametrahana VPS, tsy misy fitsipika sarotra momba ny firewall - fotsiny ny fifandraisana azo antoka, mivantana avy amin'ny fitaovana. Miaraka amin'ny Tailscale, ny AI anao dia lasa tena portable - miditra amin'ny modely miaraka amin'ny tsiambaratelo tanteraka na ianao ao amin'ny kafe, mandeha, na miasa avy any amin'ny toerana hafa. Agent Workflows: AI izay tena miasa Goose avy amin'ny Block Goose dia manova ny modely eo an-toerana ho lasa mpiara-miasa amin'ny fampandrosoana izay afaka mamorona tetikasa manontolo. Installation: curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash Configuration for Ollama: goose configure # Select: Configure Providers → Custom → Local # Base URL: http://localhost:11434/v1 # Model: qwen3:8b Goose dia mahatalanjona amin'ny famindrana ny code, ny fanatsarana ny vokatra, ny famokarana fitsapana ary ny dingana fampandrosoana sarotra. Tsy toy ny famaranana code tsotra, dia manomana sy mitarika asa fampandrosoana manontolo amin'ny maha-izy azy. Tsindrio avy amin'ny Charm Ho an'ny mpankafy terminal, ny Crush dia manome mpamatsy ny AI miaraka amin'ny integration IDE. Installation: brew install charmbracelet/tap/crush # macOS/Linux # or npm install -g @charmland/crush Ny Ny : Ollama Configuration .crush.json { "providers": { "ollama": { "type": "openai", "base_url": "http://localhost:11434/v1", "api_key": "ollama", "models": [{ "id": "qwen3:8b", "name": "Qwen3 8B", "context_window": 32768 }] } } } Ny N8N dia ny Starter Kit. Ho an'ny fanatanterahana ny asa fanatanterahana, ny kit n8n dia mampifandray ny zavatra rehetra ilaina: git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git cd self-hosted-ai-starter-kit docker compose --profile gpu-nvidia up Afaka miditra amin'ny Visual Workflow Editor miaraka amin'ny integrations 400+ sy ny templates AI efa voatahiry. http://localhost:5678/ Corporate-scale Inference: ny 50 tapitrisa token / ora fametrahana Ho an'ny fikambanana izay mitaky fahombiazan'ny fahombiazana, ny fetran'ny self-hosting dia mihoatra lavitra noho ny serivisy an-trano mahazatra, ohatra @nisten fametrahana amin'ny X. Modely: Qwen3-Coder-480B (480B parameters, 35B Active MoE architecture) Ny fitaovana dia 4x NVidia H200. Output: 50 tapitrisa token / ora (raha $ 250 / ora raha mampiasa Sonnet) Ny fandalinana vola Initial Investment: Ny vidin'ny vidin-tsolika dia ~$2,000 Performance fametrahana: ~ $4,000 Professional fametrahana: ~ $ 9000 Operational Costs: Ny vidin'ny herinaratra: $ 50-200 / volana Tsy misy vidin'ny afo Tsy misy fetra ny fampiasana Ny vidin'ny vidin-javatra rehetra Ny mpampiasa matanjaka dia miverina amin'ny fampiasam-bola ao anatin'ny 3-6 volana. Ny mpampiasa matanjaka dia miverina na dia ao anatin'ny taona iray aza. Ny fahalalahana amin'ny fetran'ny tahan'ny, ny censorship, ary ny fihenjanana ny vokatra? tsy misy vidiny. Break-even Timeline: Ny famaranana Amin'ny ankapobeny, ny fahalalahana amin'ny AI izay miasa araka izay ilainao - tsy misy fifanarahana, tsy misy fanadihadiana, tsy misy fanantenana. Mandehana avy amin'ny fikarohana ara-pihetseham-po ho amin'ny zava-misy. Ny fiaraha-miasa amin'ny modely avo lenta mahery vaika, rafitra rindrambaiko matanjaka ary fitaovana azo jerena dia mamorona fahafahana tsy manam-paharoa ho an'ny fahaleovantenan'ny AI. Na dia mahatsiravina amin'ny fetran'ny rahona ianao, manahy ny fiainana manokana ianao, na te-handeha amin'ny fahombiazan'ny fahombiazan'ny, dia mazava kokoa noho ny tsy mbola nisy. Link ho an'ny lahatsoratra manan-danja momba ny self-hosting: Ingo Eichhorst sy ny fametrahana tsara tarehy, sary izay nampiasaiko ho an'ity lahatsoratra ity: https://ingoeichhorst.medium.com/building-a-wall-mounted-and-wallet-friendly-ml-rig-0683a7094704 Digital Spaceport EPYC rafitra: https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ Show Me Your Rig thread on LocalLLaMa subreddit: https://www.reddit.com/r/LocalLLaMA/comments/1fqwler/show_me_your_ai_rig/ Ben Arent AI homelab: https://benarent.co.uk/blog/ai-homelab/ Exo Labs cluster amin'ny 5 Mac Studio: https://www.youtube.com/watch?v=Ju0ndy2kwlw