Prompt Rate Limits & Batching: உங்கள் LLM API ஒரு வேகம் அளவு உள்ளது (உங்கள் தயாரிப்பு இல்லை என்றால் கூட) You ship a feature, your traffic spikes, and suddenly your LLM layer begins returning நீங்கள் ஒரு அம்சத்தை அனுப்ப, உங்கள் பயணங்கள் செக்ஸ், மற்றும் எப்போதும் உங்கள் LLM layer திரும்ப தொடங்குகிறது ஏனெனில், கார் ஓட்டுநர்களின் எண்ணிக்கை குறைந்து வருகிறது. 429s தவறான தகவல்கள்: விலையுயர்ந்த விலையுயர்ந்தது நல்ல தகவல் : பொதுவாக, மிகப்பெரிய மாதிரிகள், அழிந்த பயணங்கள், மற்றும் விளைவு அட்டவணைகள் மூலம், இது விகிதத்தில் விசாரிக்க முடியாதவை. most LLM “rate limit incidents” are self-inflicted இந்த கட்டுரை ஒரு Practical Playbook ஆகும்: 
 
 
 
 விரைவில் வெளியாகும் அறிக்கையில், தவறான நடவடிக்கைகளை எடுப்பதற்கும், உங்கள் கேள்விகளுக்கு பதிலளிக்க முடியாது, உங்கள் கேள்விகளுக்கு பதிலளிக்க முடியாது. 1) நீங்கள் உண்மையில் அடைந்த மூன்று அளவுகள் (அவர்கள் என்ன சொல்கிறார்கள்) ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்றும் கூறுகிறார்கள். 1.1 kontekst window (max tokens per request) உன் இறுதியாக, வடிவமைப்பு முடிவுகள் வெளியாகும் போது, இறுதியாக, வடிவமைப்பு முடிவுகள் வெளியாகும். input + output அறிகுறிகள் : 
 
 
 “Maximum context length exceeded” (தொடர்பு நீளம் அதிகரித்துள்ளது) “உங்கள் வசனங்கள் X டாக்டர்களை ஏற்படுத்தியது...” சரித்திரம் : 
 
 சில பேர் result, analysis data தப்பு அப்படீங்கிறாங்க. RPM (Requests Per Minute - நிமிடத்திற்கு தேவைகள்) You can be under token limits and still get throttled if you burst too many calls. Gemini explicitly documents RPM as a core dimension. அறிகுறிகள் : 
 
 
 “கடந்த நிமிடத்தில் தேவைப்படும் விகிதங்கள்” ஹைதராபாத் 429 சரித்திரம் : 
 
 காவல்துறையினர், காவல்துறையினர் மற்றும் Backoff 1.3 TPM / Token throughput அளவுகள் Anthropic measures rate limits மின்சாரம் (ITPM/OTPM) Gemini அப்படித்தான் token-per-minute ஒரு முக்கிய அம்சமாக விளக்குகிறது. RPM + input tokens/minute + output tokens/minute அறிகுறிகள் : 
 
 
 “Token Usage Per Minute” என்கிறார். 429 + Retry-After header (Anthropic இதனை அழைக்கிறது) சரித்திரம் : 
 
 குறைக்க டாக்டர்கள், பட்ஜெட்டை எளிதாக, அல்லது அதிக அளவிலான கூடுதல் தேவை. 2) The Most Common “Prompt Limit” Failure Patterns (இந்தியாவின் மிகப்பெரிய விழிப்புணர்வு) 2.1 “One urp to rule them all” anti-pattern (ஒருவர் அவர்களை அனைவரையும் கட்டுப்படுத்தும்) நீ கேட்கிறாய் : 
 
 
 
 
 
 
 extraction விளைவு Classification ஒப்பந்தம் மீண்டும் எழுத Validation ஒப்பந்தம் formatபடுதல் வணிக logic ...ஒரு தேவை, மற்றும் பின்னர் நீங்கள் ஏன் டாக்டர் பயன்பாடு செக்ஸ் கேட்கிறது. நீங்கள் Multi-Step Logic தேவை என்றால், நீங்கள் (Small prompts with structured intermediate outputs) (சிறிய மாத்திரைகள் அமைக்கப்பட்ட இறுதி வெளியீடுகள்) Split the workflow Prompt Chaining 2.2 Bursty Traffic (The Silent RPM Killer) Cron jobs, retries, user clicks, webhook bursts - எல்லாமே சிறந்த நிமிடத்தில் ஒப்பிடும். உங்கள் வாடிக்கையாளர் ஒரு துப்பாக்கி போன்ற தேவைகளை அனுப்பினால், உங்கள் வழங்குநர் ஒரு தீவிரவாதி போன்ற பதிலளிக்கும். 2.3 Unstructured output = கடினமான பேஸ்புக் உங்கள் வெளியீடு "Kinda JSON-ish" என்றால், உங்கள் டாக்டர் ஒரு முழு நேர சிகிச்சையாளர் ஆகும். வடிவமைப்பு model output ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்றும் கூறுகிறார்கள். strict JSON 3) Rate Limit Survival Kit (Compliant, Practical, Boring) 3.1 Prompt-side: அறிகுறிகள் இழக்க இல்லாமல் குழப்பங்கள் 
 
 
 
 Remove marketing fluff (models don't need your company origin story) (உங்கள் நிறுவனத்தின் ஆராய்ச்சியாளர்களுக்கு உபகரணங்கள் தேவையில்லை) Repeated boilerplate to a short “policy block” என்று மாற்றவும். “Material=316 stainless steel” (சிறுப்பு = 316 stainless steel) ஒரு சிறிய ஆலோசனை மீண்டும் எழுத, இது பொதுவாக 30-50% சேமிக்கிறது Before (chatty): 
 
 “We are a smart home brand founded in 2010... please write 3 marketing lines...” “We are a smart home brand founded in 2010... please write 3 marketing lines...” After (dense + precise): 
 
 “Write 3 UK e-commerce lines. Product: smart bulb. Material=PC flame-retardant. Feature=3 colour temperatures. Audience=living room.” “Write 3 UK e-commerce lines. Product: smart bulb. Material=PC flame-retardant. Feature=3 colour temperatures. Audience=living room.” 3.2 Request-side: Backoff ஒரு வயது போன்ற விற்பனையாளர் திரும்பினால் இதன் பின்னணியில், 429 சதவிகிதம் மீட்கப்பட்டுள்ளன. Retry-After Exponential Backoff + Jitter பயன்படுத்தவும்: 
 
 
 
 
 முயற்சி 1: 1s முயற்சி 2: 2–3s முயற்சி 3: 4–6s தீபாவளியை அழகாக 3.3 System-side: காலம் + concurrency caps உங்கள் கணக்கு 10 தொடர் தேவைகளை ஆதரிக்கிறது என்றால், 200 coroutines மற்றும் "hope" ஐ இயக்க வேண்டாம். பயன்பாடு : 
 
 
 
 ஒரு வேலையை கட்டி ஒலிப்பதிவுகள் கிடைக்க பெறும்Contact for Competition RPM / TPM இன் விகிதம் 4) Batching: தொலைபேசி, செலவு, மற்றும் 429களை குறைக்க சிறந்த வழி Batching என்று சொல்வார்கள்: . one API request handles multiple independent tasks அது வேலைகள் போது சிறந்தது: 
 
 
 
 அதே வகையான (எனவே, 20 தயாரிப்பு blurbs) Independent (No step depends on another) (ஒரு விதத்தில் மற்றொரு விதத்தை அடைய முடியாது) அதே வடிவமைப்பு ஏன் உதவுகிறது 
 
 
 
 Reduce network round-trips விவகாரங்கள் Minimum RPM Pressure - குறைந்த RPM அழுத்தம் மேலும் Predictable மேலும்: OpenAI’s pricing pages explicitly include a “Batch API price” column for several models. (This doesn’t mean “batching is free”, but it’s a strong hint the ecosystem expects this pattern.) 5) The Batching Prompt Template that Doesn’t Fall Separate (பொதுவாக வெளியிடப்படாது) இதோ ஒரு வடிவமைப்பு, அச்சுறுத்தலின் கீழ் படிப்படியாக இருக்கும். 5.1 Task Blocks + A Strict JSON Response Scheme பயன்படுத்தவும் SYSTEM: You output valid JSON only. No Markdown. No commentary.
​
USER:
You will process multiple tasks. 
Return a JSON array. Each item must be:
{
  "task_id": <int>,
  "title": <string>,
  "bullets": [<string>, <string>, <string>]
}
​
Rules:
- UK English spelling
- Title ≤ 12 words
- 3 bullets, each ≤ 18 words
- If input is missing: set title="INSUFFICIENT_DATA" and bullets=[]
​
TASKS:
### TASK 1
product_name: Insulated smart mug
material: 316 stainless steel
features: temperature alert, 7-day battery
audience: commuters
​
### TASK 2
product_name: Wireless earbuds
material: ABS shock-resistant
features: ANC, 24-hour battery
audience: students
 அந்த “INSUFFICIENT_DATA” clause is your lifesaver. one broken task should not poison the entire batch. 6) Python Implementation: Batch → Call → Parse (With Guardrails) கீழே நீங்கள் மாற்ற முடியும் ஒரு modern-ish மாதிரி உள்ளது (தொடர்பு SDKs மாறுகின்றன, எனவே அதை சிகிச்சை இது ஒரு copy-paste guarantee ஆகும். structure import json
import random
import time
from typing import Any, Dict, List, Tuple
​
MAX_RETRIES = 4
​
def backoff_sleep(attempt: int, retry_after: float | None = None) -> None:
    if retry_after is not None:
        time.sleep(retry_after)
        return
    base = 2 ** attempt
    jitter = random.random()
    time.sleep(min(10, base + jitter))
​
def build_batch_prompt(tasks: List[Dict[str, str]]) -> str:
    header = (
        "You output valid JSON only. No Markdown. No commentary.\n\n"
        "Return a JSON array. Each item must be:\n"
        "{\n  \"task_id\": <int>,\n  \"title\": <string>,\n  \"bullets\": [<string>, <string>, <string>]\n}\n\n"
        "Rules:\n"
        "- UK English spelling\n"
        "- Title ≤ 12 words\n"
        "- 3 bullets, each ≤ 18 words\n"
        "- If input is missing: set title=\"INSUFFICIENT_DATA\" and bullets=[]\n\n"
        "TASKS:\n"
    )
​
    blocks = []
    for t in tasks:
        blocks.append(
            f"### TASK {t['task_id']}\n"
            f"product_name: {t.get('product_name','')}\n"
            f"material: {t.get('material','')}\n"
            f"features: {t.get('features','')}\n"
            f"audience: {t.get('audience','')}\n"
        )
    return header + "\n".join(blocks)
​
def parse_json_strict(text: str) -> List[Dict[str, Any]]:
    # Hard fail if it's not JSON. This is intentional.
    return json.loads(text)
​
def call_llm(prompt: str) -> Tuple[str, float | None]:
    """Return (text, retry_after_seconds). Replace with your provider call."""
    raise NotImplementedError
​
def run_batch(tasks: List[Dict[str, str]]) -> List[Dict[str, Any]]:
    prompt = build_batch_prompt(tasks)
​
    for attempt in range(MAX_RETRIES):
        try:
            raw_text, retry_after = call_llm(prompt)
            return parse_json_strict(raw_text)
        except json.JSONDecodeError:
            # Ask the model to repair formatting in a second pass (or log + retry)
            prompt = (
                "Fix the output into valid JSON only. Preserve meaning.\n\n"
                f"BAD_OUTPUT:\n{raw_text}"
            )
            backoff_sleep(attempt)
        except Exception as e:
            # If your SDK exposes HTTP status + retry-after, use it here
            backoff_sleep(attempt)
            last_error = e
​
    raise RuntimeError(f"Batch failed after retries: {last_error}")
 “Classic” Snippets என்ன மாற்றம்? 
 
 
 
 JSON ஒரு கடினமான ஒப்பந்தம். We handle format repair explicitly (and keep it cheap) (நாம் வடிவமைப்பு சரிசெய்ய தெளிவாக செயல்படுகிறோம்). ஒவ்வொரு அழைப்பும் அதே வழியில் செயல்படுவதற்கான Backoff Logic ஐ நாம் அமைத்துள்ளோம். 7) How to Choose Batch Size (The Rule Everybody Learns the Hard Way) பெட்ஸ் அளவு குறைந்துள்ளது: Batch size is limited by: 
 
 
 
 
 விண்டோஸ் (max tokens per request) TPM பயிற்சி Response Parsing நிலையம் “One batch failed” என்பதற்கு உங்கள் வணிக ஆதரவு ஒரு சுவாரஸ்யமான விஞ்ஞானி: 
 
 
 
 10 - 20 பொருட்களால் தொடங்குதல் TOKEN பயன்பாடு increase until you see:
 
 
 
 
 
 output format drift, or timeouts / latency spikes, or context overflow risk எப்போதும் ஒரு . max batch token budget 8) “Cost Math” - Fantasy Numbers இல்லாமல் மாற்றம் – மாற்றம் – மாற்றம் – மாற்றம் – மாற்றம் – மாற்றம் எனவே, பழைய per-1K டாக்டர் மதிப்புகளை கடினமாக குறியீடு செய்வதில், வழங்குநரின் தற்போதைய செலவு பக்கத்தைப் பயன்படுத்தி செலவை கணக்கிடுங்கள். OpenAI அதன் API pricing pages-ல் token-per-pricing-ஐ வெளியிடுகிறது.Anthropic மேலும் pricing and documents rate limit layers-ஐ வெளியிடுகிறது. ஒரு பயனுள்ள செலவு மதிப்பீடு: cost ≈ (input_tokens * input_price + output_tokens * output_price) / 1,000,000
 பின்னர் நீங்கள் கட்டுப்படுத்தும் மாற்றங்களை மேம்படுத்தவும்: 
 
 
 
 டாக்டர்கள் input tokens டேவிட் டேவிட் டேவிட் தொலைபேசி எண்ணிக்கை குறைக்க (batch) 9) பட்ஜெட்டின் அச்சுறுத்தல்கள் (And How to Not Get Burnt) Risk 1: One bad item ruins the batch - ஒரு தவறான பொருள் பெட்டியை அழித்து விடுகிறது “Insufficient_DATA” என்ற பெயரில் வேலை கிடைக்கும். Fix: Risk 2: Output Format Drift-ஐ அழித்துவிடும் சரியான JSON, Repair Step, மற்றும் Logging. Fix: Risk 3: Batch too big → context overflow (பொதுவாக மிகப்பெரிய) TOKEN BUDGETING + AUTO-SPLIT Fix: Risk 4: “Creative” attempts to bypass quotas (தொடர்புகளை சுட்டிக்காட்ட முயற்சிகள்) தேவை: ஒரு வெற்று மதிப்பு இருக்கிறது என்றால், வடிவம் மின்னஞ்சல் அனுப்பி, உறுப்பு errorClass சேர்க்க வேண்டாம். Fix: இறுதி எடை விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் விரைவில் 
 
 
 
 விரைவில் நீண்ட காலமாகும். பயணம் மிகவும் மோசமானது, அல்லது உங்கள் நிறுவனம் “Infinite throughput” என்று கருதுகிறது. நீங்கள் payloads (அல்ல prose), add pacing, and batch like an adult-up போன்ற பரிந்துரைகளை செயல்படுத்தினால், நீங்கள் பெறுவீர்கள்: 
 
 
 
 மொத்தம் 429 சிறிய செலவு ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்று கூறுகிறார்கள். இதுதான் முழு விளையாட்டு.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

இந்த ஆடியோ கதையின் அசல் மொழியில் தயாரிக்கப்பட்டது!

Prompt Rate Limits & Batching: உங்கள் LLM API ஐ கீழே விழுந்து நிறுத்துவது எப்படி

About Author

கருத்துகள்

ஹேங் டேக்குகள்

இந்த கட்டுரையில் வழங்கப்பட்டது

Related Stories

This Black Friday & Holiday Season, HackerNoon Has Your Tech Marketing Covered 🎁 💚

Meet Augment Code: HackerNoon Company of the Week

Meet Starknet: HackerNoon Company of the Week

This Black Friday & Holiday Season, HackerNoon Has Your Tech Marketing Covered 🎁 💚

Meet Augment Code: HackerNoon Company of the Week

Meet Starknet: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps