Prompt Rate Limits & Batching: Jou LLM API het 'n spoedbeperking (selfs as jou produk nie) Jy stuur 'n funksie, jou verkeer spike, en skielik jou LLM laag begin terugkeer Dit is soos om parkeerkaartjies uit te gee. 429s Die slegte nuus: tariefgrense is onvermydelik. Die goeie nuus: —gewoonlik deur oormatige prompts, ontploffde verkeer en output formate wat onmoontlik is om op skaal te parseer. most LLM “rate limit incidents” are self-inflicted Hierdie artikel is 'n praktiese speelboek vir: 
 
 
 
 verstaan van spoedverwante throttles, vermy die algemene mislukkingsmodi, en om vrae te batteer sonder om jou antwoorde in soep te verander. 1) Die drie limiete wat jy eintlik geraak het (en wat hulle beteken) Verskeie verskaffers noem dinge anders, maar die meganika is konsekwent: 1.1 konteks venster (max tokens per versoek) As jou die model konteks venster, die versoek misluk onmiddellik. input + output Die simptome: 
 
 
 “Maximum kontekslengte oorskry” “Jou boodskappe het gelei tot X-tokens...” Die Fix: 
 
 verkorteer, opsom, of chunk data. 1.2 RPM (verzoeke per minuut) Jy kan onder token limiete wees en nog steeds getref word as jy te veel oproepe uitbreek. Gemini dokumenteer uitdruklik RPM as 'n kerndimensie. Die simptome: 
 
 
 “Rate limit bereik vir versoek per minuut” Hoofstuk 429 Die Fix: 
 
 Kliënt-kant pacing, reëls en back-off. 1.3 TPM / Token deurvoer limiete Antropiese maatreëls grense Gemini beskryf ook token-per-minuut as 'n sleuteldimensie. RPM + input tokens/minute + output tokens/minute Die simptome: 
 
 
 “Rate limiet bereik vir token gebruik per minuut” 429 + Retry-After header (Anthropic roep dit uit) Die Fix: 
 
 verminder tokens, batch doeltreffend, of vra hoër quota. 2) Die mees algemene "Prompt Limit" mislukkingspatrone 2.1 Die "een spoed om hulle almal te regeer" anti-patroon Jy vra vir: 
 
 
 
 
 
 
 Ekstraktiewe Klassifikasie Omskryf Validasie Formateer Zaklike logika ...in 'n enkele versoek, en dan wonder jy hoekom token gebruik spike. As jy meervoudige logika nodig het, gebruik (Kleine prompts met gestruktureerde tussenuitkomste). Split the workflow Prompt Chaining 2.2 Bursty verkeer (die stilte RPM moordenaar) Cron-geleenthede, herhalings, gebruikersklikke, webhook-uitbarstings - alles in die ergste moontlike minuut. As u kliënt versoekings stuur soos 'n masjienwapen, sal u verskaffer reageer soos 'n bouncer. 2.3 Ongestruktureerde output = duur parsing As jou uitvoer "kinda JSON-ish" is, word jou parser 'n voltijds terapeut. Maak die model output of 'n vaste tabel. Behandel die formaat as 'n kontrak. strict JSON 3) Rate Limit Survival Kit (Compliant, Praktiese, Saai) 3.1 Prompt-side: krimp tokens sonder om die signaal te verloor 
 
 
 
 Verwyder bemarkingsfluff (modelle benodig nie jou maatskappy se oorspronklike storie nie). Omskep herhaalde boilerplate in 'n kort "beleidblok" en hergebruik dit. Verkies velde oor prose (“materiaal = 316 roestvrij staal” verslaan 'n paragraaf). 'N Kleine prompt herskryf wat gewoonlik 30-50% spaar Before (chatty): 
 
 “Ons is 'n slim huis merk wat in 2010 gestig is ... skryf asseblief 3 bemarkingslyn...” “Ons is 'n slim huis merk wat in 2010 gestig is ... skryf asseblief 3 bemarkingslyn...” After (dense + precise): 
 
 “Skryf 3 UK e-handelslynne. produk: slim lamp. materiaal=pc-vlamretardant. funksie=3 kleur temperatuur. gehoor = woonkamer.” “Skryf 3 UK e-handelslynne. produk: slim lamp. materiaal=pc-vlamretardant. funksie=3 kleur temperatuur. gehoor = woonkamer.” 3.2 Vraag-kant: agteruitgaan soos 'n volwassene As die verskaffer terugkom Antropiese terugkeer uitdruklik Retry-After op 429s. Retry-After Gebruik eksponensiële backoff + jitter: 
 
 
 
 
 Versoek 1: 1s Versoek 2: 2–3s Versoek 3: 4–6s dan misluk gracieus 3.3 Stelselkant: reeks + concurrent caps As jou rekening 10 gelyktydige versoekings ondersteun, moet jy nie 200 coroutines en "hop" hardloop nie. Gebruik van: 
 
 
 
 'n Arbeidshoof 'n Semaphore vir mededinging en 'n koersbeperker vir RPM / TPM 4) Batching: Die vinnigste manier om oproepe, koste en 429s te sny Batching beteken: . one API request handles multiple independent tasks Dit werk die beste wanneer die take: 
 
 
 
 dieselfde tipe (bv. 20 produk blurbs) onafhanklik (geen stap hang af van 'n ander) dieselfde output skema Waarom dit help 
 
 
 
 Minder netwerk rond-trips minder vrae → laer RPM druk Meer voorspelbare deurvoer Ook: OpenAI se pryse bladsye sluit uitdruklik 'n "Batch API prys" kolom vir verskeie modelle. (Dit beteken nie "batching is gratis", maar dit is 'n sterk aanduiding dat die ekosisteem hierdie patroon verwag.) 5) Die Batching Prompt Template wat nie afval nie Hier is 'n formaat wat onder druk leesbaar bly. 5.1 Gebruik taakblokke + 'n streng JSON reaksie skema SYSTEM: You output valid JSON only. No Markdown. No commentary.
​
USER:
You will process multiple tasks. 
Return a JSON array. Each item must be:
{
  "task_id": <int>,
  "title": <string>,
  "bullets": [<string>, <string>, <string>]
}
​
Rules:
- UK English spelling
- Title ≤ 12 words
- 3 bullets, each ≤ 18 words
- If input is missing: set title="INSUFFICIENT_DATA" and bullets=[]
​
TASKS:
### TASK 1
product_name: Insulated smart mug
material: 316 stainless steel
features: temperature alert, 7-day battery
audience: commuters
​
### TASK 2
product_name: Wireless earbuds
material: ABS shock-resistant
features: ANC, 24-hour battery
audience: students
 Die klause “INSUFFICIENT_DATA” is jou lewensredder. Een gebroke taak moet nie die hele batch vergiftig nie. 6) Python implementasie: batch → oproep → parse (met guardrails) Hieronder is 'n moderne patroon wat jy kan aanpas (providers SDK's verskil, so behandel dit as nie 'n kopie-paste waarborg nie). structure import json
import random
import time
from typing import Any, Dict, List, Tuple
​
MAX_RETRIES = 4
​
def backoff_sleep(attempt: int, retry_after: float | None = None) -> None:
    if retry_after is not None:
        time.sleep(retry_after)
        return
    base = 2 ** attempt
    jitter = random.random()
    time.sleep(min(10, base + jitter))
​
def build_batch_prompt(tasks: List[Dict[str, str]]) -> str:
    header = (
        "You output valid JSON only. No Markdown. No commentary.\n\n"
        "Return a JSON array. Each item must be:\n"
        "{\n  \"task_id\": <int>,\n  \"title\": <string>,\n  \"bullets\": [<string>, <string>, <string>]\n}\n\n"
        "Rules:\n"
        "- UK English spelling\n"
        "- Title ≤ 12 words\n"
        "- 3 bullets, each ≤ 18 words\n"
        "- If input is missing: set title=\"INSUFFICIENT_DATA\" and bullets=[]\n\n"
        "TASKS:\n"
    )
​
    blocks = []
    for t in tasks:
        blocks.append(
            f"### TASK {t['task_id']}\n"
            f"product_name: {t.get('product_name','')}\n"
            f"material: {t.get('material','')}\n"
            f"features: {t.get('features','')}\n"
            f"audience: {t.get('audience','')}\n"
        )
    return header + "\n".join(blocks)
​
def parse_json_strict(text: str) -> List[Dict[str, Any]]:
    # Hard fail if it's not JSON. This is intentional.
    return json.loads(text)
​
def call_llm(prompt: str) -> Tuple[str, float | None]:
    """Return (text, retry_after_seconds). Replace with your provider call."""
    raise NotImplementedError
​
def run_batch(tasks: List[Dict[str, str]]) -> List[Dict[str, Any]]:
    prompt = build_batch_prompt(tasks)
​
    for attempt in range(MAX_RETRIES):
        try:
            raw_text, retry_after = call_llm(prompt)
            return parse_json_strict(raw_text)
        except json.JSONDecodeError:
            # Ask the model to repair formatting in a second pass (or log + retry)
            prompt = (
                "Fix the output into valid JSON only. Preserve meaning.\n\n"
                f"BAD_OUTPUT:\n{raw_text}"
            )
            backoff_sleep(attempt)
        except Exception as e:
            # If your SDK exposes HTTP status + retry-after, use it here
            backoff_sleep(attempt)
            last_error = e
​
    raise RuntimeError(f"Batch failed after retries: {last_error}")
 Wat het verander teen die “klassieke” snippets? 
 
 
 
 Ons behandel JSON as 'n harde kontrak. Ons hanteer formaat herstel uitdruklik (en hou dit goedkoop). Ons sentraliser backoff logika sodat elke oproep op dieselfde manier gedra. 7) Hoe om batch grootte te kies (Die reël almal leer die harde manier) Batch grootte word beperk deur: 
 
 
 
 
 konteks venster (max tokens per versoek) TPM deurvoer Reaksies op stabiliteit jou besigheidstoleransie vir "one batch failed" Die praktyk van heuristiek: 
 
 
 
 Begin met 10-20 items per batch Die gebruik van tokens increase until you see:
 
 
 
 
 
 output format drift, or timeouts / latency spikes, or context overflow risk Hou altyd 'n . max batch token budget 8) “Cost Math” sonder fantasie getalle Die pryse verander, die modelle verander. Dus, in plaas van hard-coding ou per-1K token waardes, bereken die koste met behulp van die verskaffer se huidige pryse bladsy. OpenAI publiseer per-token pryse op sy API-pryse bladsye. Anthropic publiseer ook pryse en dokumente tarief limiet vlakke. 'N Nuttige koste estimator cost ≈ (input_tokens * input_price + output_tokens * output_price) / 1,000,000
 Optimaliseer die variabele wat jy beheer: 
 
 
 
 Skakel invoer tokens Beperk output tokens Verminder die aantal oproepe (batch) Die risiko's van batching (en hoe om nie te verbrand nie) Risiko 1: Een slegte item ruïneer die batch “INSUFFICIENT_DATA” fallback per taak. Fix: Risiko 2: output formaat drift breek parsing streng JSON, herstel stap, en logging. Fix: Risiko 3: batch te groot → konteks oorstroom Teken begroting + outomatiesplitsing. Fix: Risiko 4: “kreatiewe” pogings om kwotas te omseil As jy meer kapasiteit nodig het, vra hoër limiete en volg die verskaffersvoorwaardes. Fix: Die finale neem Rate limiete is nie die vyand nie. Hulle is jou vroeë waarskuwingstelsel wat: 
 
 
 
 die spoed is te lank, Die verkeer is te hard, of jou argitektuur veronderstel “onbeperkte deurvoer”. As jy prompts behandel soos payloads (nie prose nie), voeg pacing by en batch soos 'n volwassene, sal jy kry: 
 
 
 
 Meer as 429 Laer koste en 'n stelsel wat skale sonder drama Dit is die hele spel.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Prompt Rate Limits & Batching: Hoe om jou LLM API te stop van smelting

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

"What If ... I didn't Do It?"

Thinking for the 21st century

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

"What If ... I didn't Do It?"

Thinking for the 21st century

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps