Prompt Rate Limits & Batching: Vaše LLM API má omezení rychlosti (i když váš produkt ne) Odesíláte funkci, váš provoz vrcholí a najednou se vrstva LLM začne vracet Je to jako vydávat parkovací lístky. 429s Špatná zpráva: úrokové sazby jsou nevyhnutelné. A ta dobrá zpráva: - obvykle příliš velkými poptávkami, výbušným provozem a výstupními formáty, které nelze analyzovat v měřítku. most LLM “rate limit incidents” are self-inflicted Tento článek je praktickou hračkou pro: 
 
 
 
 pochopení prompt-souvisejících throttles, vyhnout se běžným způsobům selhání a Shromažďování žádostí bez přeměny vašich odpovědí na polévku. 1) Tři limity, které skutečně zasáhnete (a co znamenají) Různí poskytovatelé nazývají věci jinak, ale mechanika je konzistentní: 1.1 Kontextové okno (max žetony na žádost) Pokud váš Pokud překročí okno kontextu modelu, žádost okamžitě selže. input + output Příznaky : 
 
 
 Maximální délka kontextu překročena „Vaše zprávy vedly k X tokenům...“ Nastavení : 
 
 Zkrácení, shrnutí nebo zkrácení dat. 1.2 RPM (požadavky za minutu) Můžete být pod limitem tokenů a stále se dostanete, pokud vypustíte příliš mnoho hovorů. Gemini explicitně dokumentuje RPM jako jádrovou dimenzi. Příznaky : 
 
 
 „Hranice dosažená pro žádosti za minutu“ HTTP 429 Nastavení : 
 
 Zákaznický pacing, fronty a backoff. 1.3 Limity TPM / tokenového průtoku Antropická omezení míry Gemini podobně popisuje token-per-minute jako klíčovou dimenzi. RPM + input tokens/minute + output tokens/minute Příznaky : 
 
 
 „Hranice rychlosti dosažená pro použití tokenů za minutu“ 429 + Retry-After header (Anthropic to volá ven) Nastavení : 
 
 snížit tokeny, efektivně batchovat nebo požadovat vyšší kvóty. 2) Nejčastější "Prompt Limit" vzorce selhání 2.1 „Jeden naléhavě vládnout jim všem“ anti-pattern Vy žádáte o: 
 
 
 
 
 
 
 extrakce Klasifikace Přepisování Validace Formátování Obchodní logika ... v jedné žádosti, a pak se ptáte, proč token použití špičky. Pokud potřebujete vícestupňovou logiku, použijte (Malé prompty se strukturovanými průběžnými výstupy). Split the workflow Prompt Chaining Bursty Traffic (tichý RPM zabiják) Cron jobs, retries, uživatelské kliknutí, webhook výbuchy – vše se vyrovná v nejhorší možné minutě. Pokud váš klient odesílá požadavky jako strojní zbraň, váš poskytovatel bude reagovat jako odpůrce. 2.3 Nestrukturovaný výstup = drahé analýzy Pokud je váš výstup „kinda JSON-ish“, váš analyzátor se stane terapeutem na plný úvazek. Vytvořte modelový výstup nebo pevnou tabulku. zacházet s formátem jako se smlouvou. strict JSON 3) Rate Limit Survival Kit (kompatibilní, praktické, nudné) 3.1 Prompt-side: Zkrácení tokenů bez ztráty signálu 
 
 
 
 Odstraňte marketingový tok (modely nepotřebují příběh o původu vaší společnosti). Přeměňte opakované kotle na krátký „politický blok“ a znovu jej použijte. Upřednostňujte pole před prózou („materiál = 316 nerezová ocel“ porazí odstavec). Malý poptávkový přepis, který obvykle ušetří 30-50% Before (chatty): 
 
 „Jsme inteligentní domácí značka založená v roce 2010 ... napište prosím 3 marketingové linky...“ „Jsme inteligentní domácí značka založená v roce 2010 ... napište prosím 3 marketingové linky...“ After (dense + precise): 
 
 „Napsat 3 UK e-commerce linky. Výrobek: chytrá žárovka. Materiál=PC zpomalující plamen. Funkce=3 barevné teploty. Publikum=obývací pokoj.“ „Napsat 3 UK e-commerce linky. Výrobek: chytrá žárovka. Materiál=PC zpomalující plamen. Funkce=3 barevné teploty. Publikum=obývací pokoj.“ 3.2 Request-Side: Backoff jako dospělý Pokud se dodavatel vrátí Anthropic výslovně vrací Retry-After na 429s. Retry-After Použijte exponenciální backoff + jitter: 
 
 
 
 
 Zkouška 1: 1s Pokus 2: 2–3s Zkouška 3: 4–6s Neúspěšně zkrachoval 3.3 Systémová strana: čela + konkurenční čepice Pokud váš účet podporuje 10 souběžných požadavků, nevykonávejte 200 korutiny a „naději“. Používejte : 
 
 
 
 Pracovní židle Semifinále pro konkurenci a rychlostní limit pro RPM/TPM 4) Batching: Nejrychlejší způsob, jak snížit hovory, náklady a 429s Batching znamená: . one API request handles multiple independent tasks Nejlépe funguje, když jsou úkoly: 
 
 
 
 stejný typ (např. 20 produktových blurbs) nezávislý (žádný krok nezávisí na jiném) Stejná výstupní schéma Proč pomáhá 
 
 
 
 Méně síťových okruhů méně požadavků → nižší RPM tlak Více předvídatelný průchod Také: Ceníkové stránky OpenAI explicitně zahrnují sloupec „Cena API baterie“ pro několik modelů. (To neznamená, že „batching je zdarma“, ale je to silný náznak, že ekosystém očekává tento vzor.) 5) Batching Prompt šablona, která se nerozpadne Zde je formát, který zůstává čitelný pod tlakem. 5.1 Použití bloků úloh + přísná schéma odpovědí JSON SYSTEM: You output valid JSON only. No Markdown. No commentary.
​
USER:
You will process multiple tasks. 
Return a JSON array. Each item must be:
{
  "task_id": <int>,
  "title": <string>,
  "bullets": [<string>, <string>, <string>]
}
​
Rules:
- UK English spelling
- Title ≤ 12 words
- 3 bullets, each ≤ 18 words
- If input is missing: set title="INSUFFICIENT_DATA" and bullets=[]
​
TASKS:
### TASK 1
product_name: Insulated smart mug
material: 316 stainless steel
features: temperature alert, 7-day battery
audience: commuters
​
### TASK 2
product_name: Wireless earbuds
material: ABS shock-resistant
features: ANC, 24-hour battery
audience: students
 Tato klauzule „INSUFFICIENT_DATA“ je vaším záchranářem. Jeden zlomený úkol by neměl otrávit celou dávku. 6) Implementace Pythonu: Batch → Call → Parse (S Guardrails) Níže je moderní vzor, který můžete přizpůsobit (provozovatelské SDK se liší, takže jej zacházejte jako není zárukou kopírování). structure import json
import random
import time
from typing import Any, Dict, List, Tuple
​
MAX_RETRIES = 4
​
def backoff_sleep(attempt: int, retry_after: float | None = None) -> None:
    if retry_after is not None:
        time.sleep(retry_after)
        return
    base = 2 ** attempt
    jitter = random.random()
    time.sleep(min(10, base + jitter))
​
def build_batch_prompt(tasks: List[Dict[str, str]]) -> str:
    header = (
        "You output valid JSON only. No Markdown. No commentary.\n\n"
        "Return a JSON array. Each item must be:\n"
        "{\n  \"task_id\": <int>,\n  \"title\": <string>,\n  \"bullets\": [<string>, <string>, <string>]\n}\n\n"
        "Rules:\n"
        "- UK English spelling\n"
        "- Title ≤ 12 words\n"
        "- 3 bullets, each ≤ 18 words\n"
        "- If input is missing: set title=\"INSUFFICIENT_DATA\" and bullets=[]\n\n"
        "TASKS:\n"
    )
​
    blocks = []
    for t in tasks:
        blocks.append(
            f"### TASK {t['task_id']}\n"
            f"product_name: {t.get('product_name','')}\n"
            f"material: {t.get('material','')}\n"
            f"features: {t.get('features','')}\n"
            f"audience: {t.get('audience','')}\n"
        )
    return header + "\n".join(blocks)
​
def parse_json_strict(text: str) -> List[Dict[str, Any]]:
    # Hard fail if it's not JSON. This is intentional.
    return json.loads(text)
​
def call_llm(prompt: str) -> Tuple[str, float | None]:
    """Return (text, retry_after_seconds). Replace with your provider call."""
    raise NotImplementedError
​
def run_batch(tasks: List[Dict[str, str]]) -> List[Dict[str, Any]]:
    prompt = build_batch_prompt(tasks)
​
    for attempt in range(MAX_RETRIES):
        try:
            raw_text, retry_after = call_llm(prompt)
            return parse_json_strict(raw_text)
        except json.JSONDecodeError:
            # Ask the model to repair formatting in a second pass (or log + retry)
            prompt = (
                "Fix the output into valid JSON only. Preserve meaning.\n\n"
                f"BAD_OUTPUT:\n{raw_text}"
            )
            backoff_sleep(attempt)
        except Exception as e:
            # If your SDK exposes HTTP status + retry-after, use it here
            backoff_sleep(attempt)
            last_error = e
​
    raise RuntimeError(f"Batch failed after retries: {last_error}")
 Co se změnilo ve srovnání s „klasickými“ snippety? 
 
 
 
 JSON považujeme za tvrdou smlouvu. Opravy formátů zpracováváme výslovně (a udržujeme je levné). Centralizujeme logiku zpětného volání tak, aby se každý hovor choval stejným způsobem. Jak si vybrat velikost šarže (Pravidlo, které se každý naučí těžkou cestou) Velikost baterie je omezena: 
 
 
 
 
 kontextové okno (max tokenů na žádost) TPM průchod Reakce Parsing stabilita Vaše obchodní tolerance pro „one batch failed“ Jedná se o praktickou heuristiku: 
 
 
 
 Začněte s 10–20 položkami na dávku Použití tokenů increase until you see:
 
 
 
 
 
 output format drift, or timeouts / latency spikes, or context overflow risk Vždy se držte a . max batch token budget 8) „Cost Math“ bez fantasy čísel Ceny se mění, modely se mění. Takže namísto tvrdého kódování starých hodnot tokenů na 1K, vypočtěte náklady pomocí aktuální cenové stránky poskytovatele. Společnost OpenAI zveřejňuje na svých stránkách API ceny za tokeny. Anthropic také zveřejňuje úrovně limitů cen a dokumentů. Užitečný odhad nákladů: cost ≈ (input_tokens * input_price + output_tokens * output_price) / 1,000,000
 Poté optimalizujte proměnné, které ovládáte: 
 
 
 
 Shrnutí vstupních tokenů Omezení tokenů Snížení počtu hovorů (batch) Rizika páření (a jak se nespálit) Riziko 1: Jedna špatná položka ničí partii „Insufficient_DATA“ zpětná vazba na úkol. Fix: Riziko 2: Výstupní formát drift přerušuje analýzu JSON, opravy kroků a záznamů. Fix: Riziko 3: příliš velká dávka → kontextový přetížení Rozpočtový token + automatické rozdělení. Fix: Riziko 4: „kreativní“ pokusy o obcházení kvót Pokud potřebujete více kapacity, požádejte o vyšší limity a dodržujte podmínky poskytovatele. Fix: Závěrečný Take Limitní sazby nejsou nepřítelem. Jsou vaším systémem včasného varování, který: 
 
 
 
 Rychlost je příliš dlouhá, Doprava je příliš rušná, nebo vaše architektura předpokládá „neomezený průtok“. Pokud zacházíte s poptávkami, jako jsou výplatní zátěže (nikoli próza), přidejte tempo a dávku jako dospělý, dostanete: 
 
 
 
 Méně než 429 Nižší náklady a systém, který se mění bez dramatu To je celá hra.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Tento zvuk je produkován v původním jazyce příběhu!

Prompt Rate Limits & Batching: Jak zastavit váš LLM API od tavení dolů

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps