كم تكلفة إرسال الذكاء الاصطناعي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي

ما بدأ كخطوة لتنمية الوصول إلى الذكاء الاصطناعي من خلال مزودي الهواتف النقالة أصبحت تجربة ناجعة من التكلفة المفقودة، والرقابة العدوانية، والضرائب غير المسبوقة. تكلفة خفية للقدرة الذكية على الضوء وقد تم تطوير نموذجًا مضحكًا لشركات صناعة الذكاء الاصطناعي في الهواتف المحمولة: إطلاقًا من خلال أداء استثنائي لتلبية احتياجات المستخدمين، ثم تخفيف جودة الخدمة تدريجيًا.إن مستخدمي OpenAI ذكرت أن GPT-4o الآن "ترد على بسرعة كبيرة، ولكن إذا تم تجاهل السياق والتوجيهات من أجل توفير الاستجابة السريعة، فإن الأداة لا يمكن استخدامها". تقنية تستخدمها الموردين لتجميع طلبات المستخدمين المتعددة معاً من أجل كفاءة GPU، مما يجعل الطلبات الفردية تنتظر ما يصل إلى 4 مرات أطول مع زيادة حجم الملفات. Token batching تزداد انخفاض الأداء إلى حد كبير من التوقعات البسيطة. تفرض التحويلات القصيرة جميع الترتيبات في مجموعة لإكمالها معا، مما يعني أن طلبك السريع ينتظر إنتاج شخص آخر لفترة طويلة. حتى "التحويلات القصيرة المتواصلة" تتوفر على التقييمات التي تبطئ الطلبات الفردية. التخطيط: عندما تصبح الأمن غير قابلة للاستخدام تظهر الاختبارات أن Google Gemini يرفض الإجابة على 10 من 20 من الأسئلة المتناقضة ولكنها قانونية - أكثر من أي منافس آخر. يلجأ التطبيقات للخطر الجنسي للمرضى الذين يعانون من "المحتوى غير آمن". تتوقف محادثات التمثيل التاريخي عن العمل بعد التحديثات. يلجأ التطبيقات المساعدة في الصحة العقلية إلى مساعدات أمنية. أصبحت Claude من Anthropic "الخلفية غير مفيدة" وفقا للمستخدمين المزعجين مع السيطرة الكبيرة التي تمنع حالات الاستخدام القانونية. الفوائد المحلية يلجأ الذكاء الاصطناعي الذكاء الاصطناعي إلى إزالة هذه الانزعاجات تماما. مع الأجهزة المناسبة، يكتسب التفكير المحلي 1900+ توقيع / ثانية—10-100 مرة أسرع من الوقت إلى أول توقيع من خدمات الشبكة العنكبوتية. يمكنك الحفاظ على السيطرة الكاملة على إصدارات النماذج، مما يمنع التحديثات غير المرغوب فيها التي تنتهك تدفقات العمل. لا ملفات التقييم تمنع المحتوى المنطقي. لا حدود سعرية تمنع عملك. لا رسوم مفاجئة من ارتفاع الاستخدام. على مدى خمس سنوات، تكلفة التسجيلات في الشبكة العنكبوتية 1200+ للاتصال الأساسية و 10 مرات أكثر للتحميلات المتقدمة. و متطلبات الأجهزة: بناء قوة AI الخاص بك فهم حجم النماذج ومعدلاتها يقع مفتاح النجاح في استضافة الذكاء الاصطناعي في تكييف النماذج مع قدرتك على الأجهزة الذكية. يقلل الكمية من دقة وزن النماذج من عرضها الأصلي من نقطة التفتيش إلى نموذجات بطاقة أقل.فكر في ذلك كجزء من ضغط صورة معالجة عالية - أنت تداول بعض التفاصيل لقطاعات ملفات صغيرة بشكل كبير.في الشبكات العصبية، وهذا يعني تخزين كل النماذج باستخدام أقل من بطاقة، مما يقلل بشكل مباشر استخدام الذاكرة وتسريع التفكير. What is Quantization? دون قياس الكميات، حتى نموذج لغة معقولة ستكون غير متوفرة للعديد من المستخدمين.بمعدل المواد 70B مع دقة كاملة يحتاج إلى 140 جيجابايت من الذاكرة - أكثر من معظم GPU المستخدمة.قياس الكميات يمكنه دمج الذكاء الاصطناعي من خلال جعل النماذج القوية تعمل على الأجهزة اليومية، مما يتيح تطويرها على المستوى المحلي، وتقليل تكاليف الشبكة، وتحسين سرعة التفكير من خلال نموذج الوصول إلى الذاكرة أكثر كفاءة. Why Quantization Matters FP16 (العدالة الكاملة): جودة النماذج الأصلية، متطلبات الذاكرة المطلوبة 8-bit Quantization: تخفيض ± 50% من الذاكرة، التأثير الأدنى على الجودة 4-bit Quantization: ~75٪ تخفيض الذاكرة، قليلا التوازن الجودة 2-bit Quantization: ~87.5% تخفيض الذاكرة، تدهور الجودة قابل للجدل بالنسبة إلى نموذج النموذج 7B، فإن هذا يؤدي إلى 14 جيجابايت (FP16)، 7 جيجابايت (8-بيت)، 3.5 جيجابايت (4-بيت) أو 1.75 جيجابايت (2-بيت) من الذاكرة المطلوبة. نموذجات مصدر مفتوح شعبية واحتياجاتها Small Models (1.5B-8B parameters): Qwen3 4B/8B: النسخة الأخيرة من أجهزة التفكير المناعي. Qwen3-4B يتجاوز العديد من النماذج 72B في مهام البرمجة. يتطلب ~3-6GB في الكميات 4 بطاقة DeepSeek-R1 7B: القدرة على التفكير الجيد، 4 جيجابايت RAM على الأقل Mistral Small 3.1 24B: أحدث نموذج Apache 2.0 مع القدرات المتعددة الأبعاد، نافذة الاتصال 128K، والقدرة على إنتاج 150 نقطة / ثانية. يعمل على RTX واحد 4090 أو 32GB Mac Medium Models (14B-32B parameters): GPT-OSS 20B: أول نموذج مفتوح لـ OpenAI منذ عام 2019، ويسمح بتحرير Apache 2.0.تصنيع MoE مع إمكانيات فعالة 3.6B يوفر أداء O3-mini.تعمل على RTX 4080 مع 16 جيجابايت VRAM Qwen3 14B/32B: النماذج المرتفعة مع القدرة على التفكير. Qwen3-14B يتوافق مع أداء Qwen2.5-32B في حين أنها أكثر كفاءة DeepSeek-R1 14B: مثالي على RTX 3070 Ti/4070 Mistral Small 3.2: التحديث الأخير مع تحسين الإرشادات وتقليل التكرار Large Models (70B+ parameters): Llama 3.3 70B: ~35 جيجابايت في عدد 4 بطاقات ، يحتاج إلى RTX 4090 أو A100 مزدوجة DeepSeek-R1 70B: 48 جيجابايت VRAM الموصى بها، ويمكن الوصول إليها مع 2x RTX 4090 GPT-OSS 120B: نموذجًا مفتوحًا من OpenAI مع المعايير النشطة 5.1B من خلال MoE 128 متخصص. Qwen3-235B-A22B: نموذج MoE الرائد مع المعايير النشطة 22B، تنافسية مع o3-mini DeepSeek-R1 671B: الكوميديا التي تتطلب 480GB + VRAM أو إعدادات متخصصة النماذج المخصصة للكود: Small Coding Models (1B-7B active parameters): Qwen3-Coder 30B-A3B: نموذج MoE مع مكونات فعالة فقط من 3.3B. محطات 256K الأصلية (1M مع YaRN) للأنشطة على نطاق المختبرات. يعمل على RTX 3060 12GB في عدد 4 بطاقة Qwen3-Coder 30B-A3B-FP8: قياس الكميات الرسمي على 8 بطاقات يحافظ على 95٪ من أداء. يحتاج إلى 15 جيجابايت VRAM، ويفضل RTX 4070/3080 Unsloth Qwen3-Coder 30B-A3B: الكميات الديناميكية مع إرسال أداة ثابتة. Q4_K_M يعمل على 12GB، Q4_K_XL على 18GB مع نوعية أفضل Large Coding Models (35B+ active parameters): Qwen3-Coder 480B-A35B: نموذج متكامل مع 35B فعال من خلال MoE 160 متخصص. يكتسب 61.8% على SWE-Bench، مقارنة مع Claude Sonnet 4. يتطلب 8x H200 أو 12x H100 مع الحد الأدنى Qwen3-Coder 480B-A35B-FP8: 8 بطاقة رسمية لتقليل الذاكرة إلى 250GB. يعمل على 4x H100 80GB أو 4x A100 80GB Unsloth Qwen3-Coder 480B-A35B: Q2_K_XL في 276GB يعمل على 4x RTX 4090 + 180GB RAM. IQ1_M في 150GB ممكن على 2x RTX 4090 + 100GB RAM تصميم المعدات من خلال ميزانية Budget Build (~$2,000): معالج AMD Ryzen 7 7700X 64 جيجابايت DDR5-5600 RAM PowerColor RX 7900 XT 20GB أو RTX 3090 المستخدمة يمكن التعامل مع النماذج حتى 14B بسهولة Performance Build (~$4,000): أودي Ryzen 9 7900X 128 جيجابايت DDR5-5600 RAM RTX 4090 24 جيجابايت يعمل نموذج 32B بشكل فعال، نموذج 70B الصغير مع إزالة Professional Setup (~$8,000): معالج Dual Xeon / EPYC 256 جيجابايت + RAM RTX 4090 و RTX A6000 التعامل مع طرازات 70B في سرعات الإنتاج Mac Options: ماك بوك M1 Pro 36 جيجابايت: رائع بالنسبة إلى النماذج 7B-14B، مزايا الذاكرة المشتركة Mac Mini M4 64GB: الراحة مع طرازات 32B Mac Studio M3 Ultra 512GB: الخيار النهائي – يعمل DeepSeek-R1 671B في 17-18 طنا / ثانية ل ~ 10،000 $ يقدم نظام EPYC 7702 بـ 2500 دولارًا مع 512GB-1TB DDR4 3.5-8 طن / ثانية على DeepSeek-R1 671B - أبطأ من GPUs ولكن أكثر تكلفة للعديد من النماذج هذا الحجم. The AMD EPYC Alternative: هذا التكوين يمكن أن يقوم بتشغيل DeepSeek-R1 671B في 3.5-4.25 طنا / ثانية: The $2,000 EPYC Build (Digital Spaceport Setup): CPU: AMD EPYC 7702 (64 الكور) - 650 دولار أو تحديث إلى EPYC 7C13/7V13 - 599-735 دولار منصة الأم: MZ32-AR0 (16 سلاسل DIMM، دعم 3200MHz) - 500 دولار الذاكرة: 16 × 32 جيجابايت DDR4-2400 ECC (512 جيجابايت مجموع) - 400 دولار، أو 16 × 64 جيجابايت ل 1TB - 800 دولار تخزين: 1TB Samsung 980 Pro NVMe - 75 دولار Corsair H170i Elite Capellix XT - 170 دولار PSU: 850W (حوالي CPU فقط) أو 1500W (إضافة GPU المستقبلية) - 80-150 دولار الحالة: Rack Frame - $ 55 : ~2000 دولار لل 512 جيجابايت، ~2500 دولار للتحكم في 1TB Total Cost Performance Results: DeepSeek-R1 671B Q4: 3.5-4.25 أسهم / ثانية النوافذ المستقبلية: دعم 16K + الطاقة: 60W غالبا، 260W مجهز حجم بطاقة الذاكرة: أسرع DDR4-3200 يعزز الأداء بشكل كبير ويثبت هذا الإعداد أن النماذج الكبيرة يمكن أن تعمل بأسعار معقولة على أنظمة CPU-only، مما يجعل AI الحدود متاحة دون متطلبات GPU. المصدر: Digital Spaceport - كيفية تشغيل Deepseek R1 671b بشكل محلي تماما على خادم EPYC $ 2000 Digital Spaceport - كيفية تشغيل Deepseek R1 671b بشكل محلي تماما على خادم EPYC $ 2000 إعداد البرامج: من الإعداد إلى الإنتاج أونلاين: مؤسسة أصبحت Ollama نموذجًا حقيقيًا لتشغيل النماذج المحلية ، مما يتيح البساطة دون تضحية القوة. Installation: # Linux/macOS curl -fsSL https://ollama.com/install.sh | sh # Windows: Download installer from ollama.com/download Essential Configuration: # Optimize for performance export OLLAMA_HOST="0.0.0.0:11434" # Enable network access export OLLAMA_MAX_LOADED_MODELS=3 # Concurrent models export OLLAMA_NUM_PARALLEL=4 # Parallel requests export OLLAMA_FLASH_ATTENTION=1 # Enable optimizations export OLLAMA_KV_CACHE_TYPE="q8_0" # Quantized cache # Download models ollama pull qwen3:4b ollama pull qwen3:8b ollama pull mistral-small3.1 ollama pull deepseek-r1:7b بالنسبة لتحديثات مجموعة كبيرة من GPU ، قم بتشغيل إشكالات Ollama منفصلة: Running Multiple Instances: # GPU 1 CUDA_VISIBLE_DEVICES=0 OLLAMA_HOST="0.0.0.0:11434" ollama serve # GPU 2 CUDA_VISIBLE_DEVICES=1 OLLAMA_HOST="0.0.0.0:11435" ollama serve Exo.labs: Distributed Inference Magic إصدار يسمح Exo.labs بتشغيل النماذج الكبيرة على العديد من الأجهزة - حتى مع مزيج MacBooks وPC و Raspberry Pis. Installation: git clone https://github.com/exo-explore/exo.git cd exo pip install -e . مجرد تدريب في كل جهاز في الشبكة الخاصة بك.إنهم يكتشفون تلقائيًا بعضهم البعض وتوزيع حسابات النماذج.إجراء تثبيت مع أجهزة ماك 3x M4 Pro يصل إلى 108.8 تريبلًا في الثانية على Llama 3.2 3B، وهو تحسين 2.2 في أداء جهاز واحد. Usage: exo خيارات GUI يوفر أفضل تجربة مثل ChatGPT: Open WebUI docker run -d -p 3000:8080 --gpus=all \ -v ollama:/root/.ollama \ -v open-webui:/app/backend/data \ --name open-webui \ ghcr.io/open-webui/open-webui:ollama الوصول إلى لمواصفات كاملة مع دعم RAG، إدارة المستخدمين متعددة، و نظام الملفات. http://localhost:3000 يقدم تجربة Desktop الأكثر سهولة: GPT4All تحميل من gpt4all.io لـ Windows، macOS، أو Linux تثبيت بضغط واحد مع اكتشاف Ollama تلقائي متصفح متصفح متصفح متصفح متصفح متصفح متصفح متصفح متصفح متصفح متصفح متصفح متصفح متصفح مثالي للمبتدئين الذين يرغبون في تطبيق desktop الأصلية يدعم الدردشة المستندة المحلية والملفات يوفر رابطًا متكاملًا متكاملًا: AI Studio القدرة على تقييم وتقييم العديد من النماذج مساحة العمل الهندسية المتقدمة إدارة و اختبار API Endpoint تحليل الأداء و Benchmarking يدعم Ollama، LocalAI، وملفات الخلفية المخصصة مثالية للمطورين والباحثين عن AI وتشمل الميزات التجزئة التفاعلية، والتعليقات، وإمكانيات التصدير. يمتاز بتطوير التطبيقات الإبداعية والتفاعلات المرتبطة بالشخصية ، مما يتيح تخصيصًا واسعًا لمشاريع اللعب والكتب الإبداعية. SillyTavern الوصول عن بعد مع Tailscale: AI الخاص بك في كل مكان واحدة من أقوى جوانب استضافة الذكاء الاصطناعي هو القدرة على الوصول إلى النماذج من أي مكان مع الحفاظ على خصوصيتك الكاملة. Tailscale VPN يجعل هذا سهلاً كبيراً عن طريق إنشاء شبكة شبكة آمنة بين جميع الأجهزة الخاصة بك. إعداد Tailscale للاتصال عن بعد Install Tailscale on your AI server: # Linux/macOS curl -fsSL https://tailscale.com/install.sh | sh sudo tailscale up # Windows: Download from tailscale.com/download Configure Ollama for network access: # Set environment variable to listen on all interfaces export OLLAMA_HOST="0.0.0.0:11434" ollama serve جميع الأجهزة تظهر تلقائيا في شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة شبكة Install Tailscale on client devices Check your server's Tailscale IP: tailscale ip -4 # Example output: 100.123.45.67 Access from any device on your Tailnet: رابط الويب: http://100.123.45.67:3000 (فتح رابط الويب) نقطة انطلاق API: http://100.123.45.67:11434/v1/chat/completions تطبيقات الهواتف المحمولة: تعيين نقطة انطلاق Ollama إلى IP Tailscale الخاص بك تصميم Tailscale Advanced للتوصل إلى الشبكة المنزلية بأكملها: Enable subnet routing # On AI server sudo tailscale up --advertise-routes=192.168.1.0/24 # Replace with your actual subnet لـ HTTPS مع شهادات تلقائية: Use Tailscale Serve # Expose Open WebUI with HTTPS tailscale serve https / http://localhost:3000 هذا يخلق URL عام مثل: يمكن الوصول إليها فقط إلى شبكة Tailscale الخاصة بك. https://your-machine.your-tailnet.ts.net إعدادات الوصول المحمول على أجهزة iOS / Android: تثبيت التطبيق Tailscale من App Store / Play Store التسجيل مع نفس الحساب Install compatible apps: : Enchanted, Mela, or any OpenAI-compatible client iOS : Ollama Android app, or web browser Android قم بتحديد التطبيق لاستخدام IP Tailscale الخاص بك: http://100.123.45.67:11434 أفضل الممارسات الأمنية توفر Tailscale أمانًا أساسًا من خلال الشبكة المحمولة - لا تحتاج إلى تكوين حوض النار إضافيًا! التشفير تلقائيا لجميع حركة المرور باستخدام WireGuard يسمح فقط للأجهزة المؤهلة في الشبكة الخاصة بك يخلق اتصالات منفصلة تمنع روتيرك بالكامل منع الوصول غير المصرح به من الإنترنت العامة وبما أن حركة Tailscale يتم تشفيرها وتتوفر فقط على الأجهزة التي تم تصديقها، لا يبقى خادم Ollama الخاص بك خاصًا تمامًا حتى عندما يتم الوصول إليها عن بعد.لا توجيه البوابة، لا تثبيت VPS، لا قواعد جدار النار المعقدة - فقط اتصالات آلة إلى آلة آمنة مباشرة. مع Tailscale، أصبحت AI الخاص بك المختصة بنفسك مرئية حقاً، ويمكنك الوصول إلى النماذج الخاصة بك مع خصوصية كاملة، سواء كنت في مكتبة القهوة أو في رحلة أو العمل من مكان آخر. تدفقات العمل العاملة: AI التي تعمل بالفعل زهرة من بلاك تعمل Goose على تحويل النماذج المحلية الخاصة بك إلى مساعدات تطوير مستقلة قادرة على بناء مشاريع كاملة. Installation: curl -fsSL https://github.com/block/goose/releases/download/stable/download_cli.sh | bash Configuration for Ollama: goose configure # Select: Configure Providers → Custom → Local # Base URL: http://localhost:11434/v1 # Model: qwen3:8b يمتلك Goose القدرة على نقل الكود، والقدرة على تحسين الأداء، والإنتاج الاختياري، والعملات التطويرية المعقدة، بدلاً من إكمال الكود البسيط، فإنه يخطط ويقوم بتنفيذ وظائف التطوير بأكملها بشكل مستقل. Crush من الجمال بالنسبة للمحترفين ، يوفر Crush عامل تشفير الذكاء الاصطناعي الممتاز مع التكامل العميق IDE. Installation: brew install charmbracelet/tap/crush # macOS/Linux # or npm install -g @charmland/crush ( ) ) : Ollama Configuration .crush.json { "providers": { "ollama": { "type": "openai", "base_url": "http://localhost:11434/v1", "api_key": "ollama", "models": [{ "id": "qwen3:8b", "name": "Qwen3 8B", "context_window": 32768 }] } } } n8n AI كيت ستار بالنسبة لتصنيع تدفقات العمل المرئي، يضم مجموعة n8n ذاتية الاستضافة كل ما تحتاجه: git clone https://github.com/n8n-io/self-hosted-ai-starter-kit.git cd self-hosted-ai-starter-kit docker compose --profile gpu-nvidia up الوصول إلى إعداد تدفق العمل المرئي في مع 400+ التكاملات وملفات AI مسبقة. http://localhost:5678/ الإفصاح على نطاق الشركات: 50 مليون توقيع / ساعة For organizations requiring extreme performance, the boundaries of self-hosting extend far beyond traditional home servers, for example @nisten setup on X. نموذج: Qwen3-Coder-480B (480B الحدائق، 35B الأكاديمية MoE النشطة) جهاز الكمبيوتر: Nvidia H200 إنتاج: 50 مليون طن / ساعة (حوالي 250 دولار / ساعة إذا كنت تستخدم Sonnet) تحليل تكلفة Initial Investment: إعداد الميزانية: ~$2,000 إعداد الأداء: ~4000 $ الإعداد المهني: ~9000 $ Operational Costs: الكهرباء: 50-200 دولار / شهر سعر الحرائق 0 لا حدود للاستخدام التوقعات الكاملة للكلفة يستفيد المستخدمون الضخمون من الاستثمار في 3-6 أشهر. يستغرق المستخدمون المعتدلون حتى في عام. Break-even Timeline: النتيجة لقد تم تطوير AI الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذكي الذ روابط إلى المقالات ذات الصلة حول الاستضافة الذاتية: Ingo Eichhorst وتصميمه الجميل ، الصورة التي استخدمت لهذا المقال: https://ingoeichhorst.medium.com/building-a-wall-mounted-and-wallet-friendly-ml-rig-0683a7094704 كاميرا إلكترونية: https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/ Show Me Your Rig thread on LocalLLaMa subreddit: https://www.reddit.com/r/LocalLLaMA/comments/1fqwler/show_me_your_ai_rig/ بيرن Arent AI homelab: https://benarent.co.uk/blog/ai-homelab/ Exo Labs مجموعة مع 5 Mac Studio: https://www.youtube.com/watch?v=Ju0ndy2kwlw