الحد الأدنى من الأسعار والمجموعة: API LLM الخاص بك لديه الحد الأدنى من السرعة (حتى لو لم يكن منتجك) يمكنك إرسال ميزة ، وتتزايد حركة المرور ، وبطبيعة الحال ، تبدأ طبقتك LLM في العودة. مثل إرسال تذاكر السيارات. 429s الأخبار السيئة: الحد الأدنى من أسعار الفائدة أمر لا مفر منه. أخبار جيدة : - عادةً من قبل الإشعارات الكبيرة، والاتصالات المضطربة، والتصميمات الناتجة عن النتائج التي لا يمكن تحديدها على الصعيد الكلي. most LLM “rate limit incidents” are self-inflicted هذه المقالة هي كتاب مثير للاهتمام: 
 
 
 
 - التعرف على المشاكل المرتبطة بالبرمجة ، تجنب أدوات الفشل المعتادة، و تحويل الأسئلة دون تحويل إجاباتك إلى صبغة. 1) الثلاثة الحدود التي تحققت حقا (وماذا تعني) تُسمّى الموردين المختلفين الأشياء بشكل مختلف، ولكن الميكانيكا متواضعة: 1.1 نافذة المقارنة (مكسيمات لكل طلب) إذا كنت يزيد من نافذة النموذج، فإن طلب الفشل على الفور. input + output الأعراض : 
 
 
 “تجاوز مدة الحوار المحددة” “تتسبب رسالتك في X Tokens...” اقرأ : 
 
 تقسيم البيانات أو تقسيم البيانات. 1.2 RPM (طلبات كل دقيقة) يمكنك أن تكون تحت الحد الأدنى من العلامة التجارية و لا تزال تتحرك إذا تم إلغاء الكثير من المكالمات. الأعراض : 
 
 
 “تقليص التكلفة الواردة على طلبات لكل دقيقة” HTTP 429 اقرأ : 
 
 الكل في الجانب العملي، الشوارع، و Backoff. 1.3 الحد الأقصى لـ TPM / Token throughput الحد الأدنى من التدابير الإنسانية في (ITPM/OTPM) ، كما يصف جينسيون الورق لكل دقيقة كميزة مهمة. RPM + input tokens/minute + output tokens/minute الأعراض : 
 
 
 “الحد الأقصى للمستخدمة عن العملات في الدقيقة” 429 + Retry-After headers (Anthropic يدعو هذا) اقرأ : 
 
 تخفيض الأسهم، وتعديل بشكل فعال، أو طلب مكافأة أعلى. 2) الأكثر شيوعًا "الحد الأقصى" نموذج الفشل 2.1 "الحديث عن إمكانية قيادة جميعها" ضد النماذج أنت تتطلب: 
 
 
 
 
 
 
 استخراج التصنيف إعادة كتابة شهادة التصميم منطق الأعمال ...في طلب واحد ، ثم تتساءل لماذا يستخدم تيموما. إذا كنت بحاجة إلى منطق متعددة الخطوات، استخدم (الإشارات الصغيرة مع النتائج المتوسطة المختلطة). Split the workflow Prompt Chaining 2.2 حركة المرور المضطربة (المسيطر على RPM) عملات Cron ، التحديثات ، النقرات المستخدمة ، إطلاقات Webhook - كل شيء يتناسب في أسوأ لحظة ممكنة. إذا قمت بإرسال طلبات مثل سلاح كهربائي ، فسوف يستجيب المورد الخاص بك مثل المضاربة. 2.3 النتائج غير الهيكلية = تحليل تكلفة إذا كانت النتائج "Kinda JSON-ish" ، فستصبح معالجك معالج بدوام كامل. جعل النموذج النموذج أو قائمة ثابتة. - معالجة التصميم كدستور. strict JSON 3) ملف الحفاظ على البقاء على قيد الحياة (توافقية، عملية، مفرطة) 3.1 الجانب المفاجئ: تخفيف التوترات دون فقدان إشارة 
 
 
 
 إزالة التوترات التسويقية (لا تحتاج النماذج إلى قصة أصل شركتك). تحويل الحمام المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس المكرس. ترغب في الأماكن على الأسطورة (“المواد = 316 الفولاذ المقاوم للصدأ” يضرب الفقرة). إعادة كتابة الدعوات الصغيرة التي عادة ما تخزين 30-50% Before (chatty): 
 
 نحن علامة المنزل الذكية التي تأسست في عام 2010 ... يرجى كتابة 3 خطوط التسويق ... نحن علامة المنزل الذكية التي تأسست في عام 2010 ... يرجى كتابة 3 خطوط التسويق ... After (dense + precise): 
 
 "تصنيف 3 خطوط تجارية إلكترونية بريطانية. المنتج: الضوء الذكي. المواد=الصواريخ البلاستيكية. الميزات=3 درجة حرارة الألوان. الجمهور=منزلك." "تصنيف 3 خطوط تجارية إلكترونية بريطانية. المنتج: الضوء الذكي. المواد=الصواريخ البلاستيكية. الميزات=3 درجة حرارة الألوان. الجمهور=منزلك." 3.2 الجانب الطلبي: التوقف مثل البالغ إذا كان المورد قد عاد Anthropic يعود بشكل واضح إلى Retry-After على 429s. Retry-After استخدام Backoff + Jitter: 
 
 
 
 
 محاولة 1: 1s محاولة 2: 2–3s محاولة 3: 4–6s ثم فشل بطريقته 3.3 الجانب الإستراتيجي: الجانب + كفارات التعاقد إذا كان حسابك يدعم 10 طلبات متتالية ، لا تقوم بتشغيل 200 كرواتيا و "الطموح". استخدام : 
 
 
 
 عمل في الشارع إشارة إلى المنافسة الحد الأدنى من RPM / TPM 4) التجميل: أسرع الطريقة لتقليل المكالمات، تكلفة، و 429s بوتين يعني : . one API request handles multiple independent tasks يعمل بشكل أفضل عندما تكون المهام: 
 
 
 
 نفس النوع (على سبيل المثال، 20 غطاء المنتج) مستقل (لا خطوة تعتمد على آخر) نفس خطة الإنتاج لماذا يساعد 
 
 
 
 كميات أقل من الرحلات عبر الإنترنت أقل من الطلبات = أقل ضغط RPM المزيد من التوقعات كما أن صفحات أسعار OpenAI تشمل بشكل واضح صفحة "مبلغ API سعر" للعديد من النماذج. (وهو لا يعني "العديد هو مجانًا"، ولكنها إشارة قوية إلى أن النظم البيئية تتوقع هذا النموذج.) 5) الطريقة التي لا تنتهي إليك نموذج يظل متاح تحت الضغط. 5.1 استخدام مجموعات المهام + خطة استجابة JSON صارمة SYSTEM: You output valid JSON only. No Markdown. No commentary.
​
USER:
You will process multiple tasks. 
Return a JSON array. Each item must be:
{
  "task_id": <int>,
  "title": <string>,
  "bullets": [<string>, <string>, <string>]
}
​
Rules:
- UK English spelling
- Title ≤ 12 words
- 3 bullets, each ≤ 18 words
- If input is missing: set title="INSUFFICIENT_DATA" and bullets=[]
​
TASKS:
### TASK 1
product_name: Insulated smart mug
material: 316 stainless steel
features: temperature alert, 7-day battery
audience: commuters
​
### TASK 2
product_name: Wireless earbuds
material: ABS shock-resistant
features: ANC, 24-hour battery
audience: students
 هذه الفقرة "INSUFFICIENT_DATA" هي حراسة حياتك. 6) تطوير Python: Batch → Call → Parse (على الحدود) أدناه نموذجًا حديثًا يمكنك التكيف معه (تختلف SDK الموردين ، لذلك معالجة ذلك كما لا توجد حزمة من الضمانات). structure import json
import random
import time
from typing import Any, Dict, List, Tuple
​
MAX_RETRIES = 4
​
def backoff_sleep(attempt: int, retry_after: float | None = None) -> None:
    if retry_after is not None:
        time.sleep(retry_after)
        return
    base = 2 ** attempt
    jitter = random.random()
    time.sleep(min(10, base + jitter))
​
def build_batch_prompt(tasks: List[Dict[str, str]]) -> str:
    header = (
        "You output valid JSON only. No Markdown. No commentary.\n\n"
        "Return a JSON array. Each item must be:\n"
        "{\n  \"task_id\": <int>,\n  \"title\": <string>,\n  \"bullets\": [<string>, <string>, <string>]\n}\n\n"
        "Rules:\n"
        "- UK English spelling\n"
        "- Title ≤ 12 words\n"
        "- 3 bullets, each ≤ 18 words\n"
        "- If input is missing: set title=\"INSUFFICIENT_DATA\" and bullets=[]\n\n"
        "TASKS:\n"
    )
​
    blocks = []
    for t in tasks:
        blocks.append(
            f"### TASK {t['task_id']}\n"
            f"product_name: {t.get('product_name','')}\n"
            f"material: {t.get('material','')}\n"
            f"features: {t.get('features','')}\n"
            f"audience: {t.get('audience','')}\n"
        )
    return header + "\n".join(blocks)
​
def parse_json_strict(text: str) -> List[Dict[str, Any]]:
    # Hard fail if it's not JSON. This is intentional.
    return json.loads(text)
​
def call_llm(prompt: str) -> Tuple[str, float | None]:
    """Return (text, retry_after_seconds). Replace with your provider call."""
    raise NotImplementedError
​
def run_batch(tasks: List[Dict[str, str]]) -> List[Dict[str, Any]]:
    prompt = build_batch_prompt(tasks)
​
    for attempt in range(MAX_RETRIES):
        try:
            raw_text, retry_after = call_llm(prompt)
            return parse_json_strict(raw_text)
        except json.JSONDecodeError:
            # Ask the model to repair formatting in a second pass (or log + retry)
            prompt = (
                "Fix the output into valid JSON only. Preserve meaning.\n\n"
                f"BAD_OUTPUT:\n{raw_text}"
            )
            backoff_sleep(attempt)
        except Exception as e:
            # If your SDK exposes HTTP status + retry-after, use it here
            backoff_sleep(attempt)
            last_error = e
​
    raise RuntimeError(f"Batch failed after retries: {last_error}")
 ما الذي تغير مع “الشخصيات الكلاسيكية”؟ 
 
 
 
 نحن نتعامل مع JSON كمرحلة صعبة. نحن نتعامل مع تصحيح الملفات بشكل واضح (وحتما نحتفظ بسعر رخيص). نحن نقوم بتركيز منطق التردد حتى تتصرف كل مكالمة بطريقة مماثلة. كيفية اختيار حجم البطاقة (القانون يدرك الجميع بطريقة صعبة) حجم البطارية محدودة من قبل: 
 
 
 
 
 نافذة المقارنة (max Tokens per request) TPM الوصول ردود الفعل على الاستقرار التسامح في الأعمال التجارية الخاصة بك ل "العديد من الفشل" أداة فعالة: 
 
 
 
 بدءًا من 10 - 20 أجزاء لكل حصة استخدام تكنولوجيا Token increase until you see:
 
 
 
 
 
 output format drift, or timeouts / latency spikes, or context overflow risk ويحافظ دائما على . max batch token budget 8) "المتطلبات الرياضية" بدون أرقام الخيال تغير الأسعار، تغير الأسعار، تغير النماذج لذلك ، بدلاً من تشفير قيمة القنابل القديمة لكل 1K ، تحدد تكلفة باستخدام صفحة أسعار الشركة الحالية. OpenAI يُعرض أسعار الفوركس على صفحات أسعار API. Anthropic يُعلن أيضًا أسعار وثيقة عن أسعار الحد الأدنى. تقييم تكلفة مفيدة: cost ≈ (input_tokens * input_price + output_tokens * output_price) / 1,000,000
 ثم تحسين التعديلات التي تسيطر عليها: 
 
 
 
 تقييمات input tokens تقييمات تقييم تقييمات تقليل عدد المكالمات (الملف) 9 – المخاطر التي تواجه الحمل (و كيف لا تتحرك) المخاطر 1: واحد من العناصر السيئة يدمج العنصر “INSUFFICIENT_DATA” إلغاء كل مهمة. Fix: المخاطر 2: يتم إلغاء إزالة الملفات JSON صارم، خطوة إصلاح، والتسجيل. Fix: المخاطر الثالثة: البطاقة كبيرة جداً تقييم التقييم + تقييم التقييم. Fix: المخاطر الرابعة: محاولات "إبداعية" لتجنب العقوبات إذا كنت بحاجة إلى المزيد من القدرة، طلب حدات أعلى ومتابعة شروط المورد. Fix: أخذ النهائي الحد الأدنى من الأسعار ليست أعداء. أنها نظام الإشادة المبكر الخاص بك التي: 
 
 
 
 الطريقة السريعة هي طويلة جدا، حركة المرور مجهولة جداً ، أو تصميمك يفترض أن يكون "الإمداد غير المحدود". إذا كنت تتعامل مع الإشعارات مثل تكلفة الدفع (إلى غيرها من الأسئلة)، وإضافة النتائج، والعديد مثل البالغين، سوف تحصل على: 
 
 
 
 أقل من 429 تكلفة أقل نظام يزداد معدلًا دون أدب هذا كل اللعبة.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

تم إنتاج هذا الصوت باللغة الأصلية للقصة!

الحد الأدنى من أسعار الفائدة والمجموعة: كيفية منع API LLM الخاص بك من التدفئة

About Author

تعليقات

شنق العلامات

تم تقديم هذه المقالة في

Related Stories

30 Top Blockchain Development Companies in 2019

Aria Coin Achieves 3000% Growth, Pioneering a Galactic-Themed Crypto Ecosystem

How to Use No-Code Machine Learning to Optimize your HackerNoon Articles

Top 4 Hiring Trends for Mobile App Developers in 2018

30 Top Blockchain Development Companies in 2019

Aria Coin Achieves 3000% Growth, Pioneering a Galactic-Themed Crypto Ecosystem

How to Use No-Code Machine Learning to Optimize your HackerNoon Articles

Top 4 Hiring Trends for Mobile App Developers in 2018

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps