Prompt Rate Limits & Batching: Jūsu LLM API ir ātruma ierobežojums (pat ja jūsu produkts nav) Jūs nosūtāt funkciju, jūsu datplūsma pieaug, un pēkšņi jūsu LLM slānis sāk atgriezties Tas ir kā izdot autostāvvietas biļetes. 429s Sliktā ziņa: likmju ierobežojumi ir neizbēgami. Labās ziņas : —parasti pārmērīgi lieliem ielūgumiem, plosītai satiksmei un izejas formātiem, kurus nav iespējams analizēt mērogā. most LLM “rate limit incidents” are self-inflicted Šis raksts ir praktiska spēļu grāmata: 
 
 
 
 izprast ātri saistītos throttles, izvairīties no kopējiem neveiksmju veidiem, un Sēžot pieprasījumus, nepārvēršot savas atbildes par zupu. Trīs robežas, kuras jūs faktiski sasniedzat (un ko tās nozīmē) Dažādi pakalpojumu sniedzēji lietas sauc atšķirīgi, bet mehānika ir konsekventa: 1.1 Konteksta logs (maksimāli žetoni uz pieprasījumu) Ja jūsu pārsniedz modeļa konteksta logu, pieprasījums nekavējoties neizdodas. input + output Simptomi : 
 
 
 Maksimālais konteksta garums pārsniegts “Jūsu ziņojumi izraisīja X zīmes...” Fiksē : 
 
 saīsināt, apkopot vai sagriezt datus. 1.2 RPM (pieprasījumi minūtē) Jūs varat būt zem žetonu robežām un joprojām kļūt pārsteigts, ja jūs izraisāt pārāk daudz zvanu. Simptomi : 
 
 
 “Pieprasījumu apjoma ierobežojums minūtē” HTTP tīkls 429 Fiksē : 
 
 Klientu puses pacing, rindas un backoff. 1.3 TPM / Token caurlaidības ierobežojumi Antropoloģisko pasākumu likmes ierobežojumi (ITPM/OTPM). Gemini līdzīgi apraksta token-per-minute kā atslēgvārdu dimensiju. RPM + input tokens/minute + output tokens/minute Simptomi : 
 
 
 “Rates limits sasniegts par tokenu izmantošanu minūtē” 429 + Retry-After virsraksts (Anthropic to izsauc) Fiksē : 
 
 samazināt zīmes, batšu efektīvi, vai pieprasīt augstāku kvotu. 2) Visbiežāk sastopamie “Prompt Limit” neveiksmju modeļi 2.1 “viena kārta, lai valdītu pār visiem” anti-pattern Jūs lūdzat par: 
 
 
 
 
 
 
 ekstrakcija Klasifikācija Pārrakstīt Validācija Formatēšana Biznesa loģika ...vienā pieprasījumā, un tad jūs domājat, kāpēc tokenu izmantošana pieaug. Ja jums ir nepieciešama vairāku soļu loģika, izmantojiet (Mazie prompts ar strukturētiem starpposma izejiem). Split the workflow Prompt Chaining Bursty satiksme (klusais RPM slepkava) Cron darbavietas, atkārtojumi, lietotāja klikšķi, webhook uzliesmojumi - viss sakrīt sliktākajā iespējamajā minūtē. Ja jūsu klients nosūta pieprasījumus kā mašīnbūvi, jūsu pakalpojumu sniedzējs atbildēs kā atriebējs. 2.3 Nestrukturēts iznākums = dārga analīze Ja jūsu iznākums ir "kinda JSON-ish", jūsu analizators kļūst par pilna laika terapeitu. Izveidojiet modeļa izeju vai fiksētu tabulu. apstrādājiet formātu kā līgumu. strict JSON 3) Rate Limit izdzīvošanas komplekts (atbilstošs, praktisks, garlaicīgs) 3.1 Prompt-side: sašaurināt žetonus, nezaudējot signālu 
 
 
 
 Izdzēsiet mārketinga plūsmu (modeliem nav nepieciešama jūsu uzņēmuma izcelsmes vēsture). Pārveidojiet atkārtotu katla plāksni uz īsu “policijas bloku” un atkārtoti izmantojiet to. Dod priekšroku laukiem pret prozu (“materiāls = 316 nerūsējošais tērauds” pārspēj vienu punktu). Neliels ielūgums pārrakstīt, kas parasti ietaupa 30-50% Before (chatty): 
 
 “Mēs esam viedās mājas zīmols, kas dibināts 2010. gadā ... lūdzu, rakstiet 3 mārketinga līnijas...” “Mēs esam viedās mājas zīmols, kas dibināts 2010. gadā ... lūdzu, rakstiet 3 mārketinga līnijas...” After (dense + precise): 
 
 “Rakstīt 3 Lielbritānijas e-komercijas līnijas. Produkts: gudra spuldze. Materiāls=PC liesmas palēninātājs. Funkcija=3 krāsu temperatūras. Audience=dzīvojamā istaba.” “Rakstīt 3 Lielbritānijas e-komercijas līnijas. Produkts: gudra spuldze. Materiāls=PC liesmas palēninātājs. Funkcija=3 krāsu temperatūras. Audience=dzīvojamā istaba.” 3.2 Pieprasījuma puse: atpakaļ kā pieaugušais Ja piegādātājs atgriežas Anthropic skaidri atgriež Retry-After uz 429s. Retry-After Izmantojiet eksponenciālo backoff + jitter: 
 
 
 
 
 Mēģinājums 1: 1s Mēģinājums 2: 2–3s Mēģinājums 3: 4–6 s Pēc tam graciozā veidā 3.3 Sistēmas puse: rindas + konkurences vāciņi Ja jūsu konts atbalsta 10 vienlaicīgus pieprasījumus, neizmantojiet 200 korutīnus un "cerību". Izmantojiet : 
 
 
 
 Darba ķēde Semifināls konkurencei un likmes ierobežotājs RPM/TPM 4) Batching: ātrākais veids, kā samazināt zvanus, izmaksas un 429s Batching nozīmē: . one API request handles multiple independent tasks Tas vislabāk darbojas, ja uzdevumi ir: 
 
 
 
 tāda paša veida (piemēram, 20 produktu blurbs) Neatkarīgs (neviens solis nav atkarīgs no cita) Tāda pati iznākuma shēma Kāpēc tas palīdz 
 
 
 
 Mazāk tīkla braucienu Mazāk pieprasījumu → zemāks RPM spiediens Vairāk prognozējams pārsniegums Arī: OpenAI cenu lapās skaidri ietilpst vairāku modeļu “Batch API cena” kolonna. (Tas nenozīmē, ka “batching ir bez maksas”, bet tas ir spēcīgs norādījums, ka ekosistēma sagaida šo modeli.) 5) Batching Prompt veidnes, kas neietilpst Šeit ir formāts, kas paliek skaidrs zem spiediena. 5.1 Izmantojiet uzdevumu blokus + stingru JSON atbildes shēmu SYSTEM: You output valid JSON only. No Markdown. No commentary.
​
USER:
You will process multiple tasks. 
Return a JSON array. Each item must be:
{
  "task_id": <int>,
  "title": <string>,
  "bullets": [<string>, <string>, <string>]
}
​
Rules:
- UK English spelling
- Title ≤ 12 words
- 3 bullets, each ≤ 18 words
- If input is missing: set title="INSUFFICIENT_DATA" and bullets=[]
​
TASKS:
### TASK 1
product_name: Insulated smart mug
material: 316 stainless steel
features: temperature alert, 7-day battery
audience: commuters
​
### TASK 2
product_name: Wireless earbuds
material: ABS shock-resistant
features: ANC, 24-hour battery
audience: students
 Šī klauzula “INSUFFICIENT_DATA” ir jūsu glābējs. viens bojāts uzdevums nedrīkst saindēt visu partiju. 6) Python īstenošana: Batch → Call → Parse (Ar guardrails) Zemāk ir mūsdienīgs shēma, kuru varat pielāgot (pakalpojumu sniedzēju SDK atšķiras, tāpēc izturēties pret to kā , nevis kopiju pastu garantiju). structure import json
import random
import time
from typing import Any, Dict, List, Tuple
​
MAX_RETRIES = 4
​
def backoff_sleep(attempt: int, retry_after: float | None = None) -> None:
    if retry_after is not None:
        time.sleep(retry_after)
        return
    base = 2 ** attempt
    jitter = random.random()
    time.sleep(min(10, base + jitter))
​
def build_batch_prompt(tasks: List[Dict[str, str]]) -> str:
    header = (
        "You output valid JSON only. No Markdown. No commentary.\n\n"
        "Return a JSON array. Each item must be:\n"
        "{\n  \"task_id\": <int>,\n  \"title\": <string>,\n  \"bullets\": [<string>, <string>, <string>]\n}\n\n"
        "Rules:\n"
        "- UK English spelling\n"
        "- Title ≤ 12 words\n"
        "- 3 bullets, each ≤ 18 words\n"
        "- If input is missing: set title=\"INSUFFICIENT_DATA\" and bullets=[]\n\n"
        "TASKS:\n"
    )
​
    blocks = []
    for t in tasks:
        blocks.append(
            f"### TASK {t['task_id']}\n"
            f"product_name: {t.get('product_name','')}\n"
            f"material: {t.get('material','')}\n"
            f"features: {t.get('features','')}\n"
            f"audience: {t.get('audience','')}\n"
        )
    return header + "\n".join(blocks)
​
def parse_json_strict(text: str) -> List[Dict[str, Any]]:
    # Hard fail if it's not JSON. This is intentional.
    return json.loads(text)
​
def call_llm(prompt: str) -> Tuple[str, float | None]:
    """Return (text, retry_after_seconds). Replace with your provider call."""
    raise NotImplementedError
​
def run_batch(tasks: List[Dict[str, str]]) -> List[Dict[str, Any]]:
    prompt = build_batch_prompt(tasks)
​
    for attempt in range(MAX_RETRIES):
        try:
            raw_text, retry_after = call_llm(prompt)
            return parse_json_strict(raw_text)
        except json.JSONDecodeError:
            # Ask the model to repair formatting in a second pass (or log + retry)
            prompt = (
                "Fix the output into valid JSON only. Preserve meaning.\n\n"
                f"BAD_OUTPUT:\n{raw_text}"
            )
            backoff_sleep(attempt)
        except Exception as e:
            # If your SDK exposes HTTP status + retry-after, use it here
            backoff_sleep(attempt)
            last_error = e
​
    raise RuntimeError(f"Batch failed after retries: {last_error}")
 Kas mainījās pret “klasiskajiem” snippetiem? 
 
 
 
 Mēs apstrādājam JSON kā cietu līgumu. Mēs apstrādājam formāta remontu skaidri (un saglabājam to lētu). Mēs centralizējam atpakaļsaišu loģiku, lai katrs zvans darbotos vienādi. Kā izvēlēties partijas izmēru (Visi mācās grūti) Batch izmērs ir ierobežots ar: 
 
 
 
 
 konteksta logs (maksimāli žetoni uz pieprasījumu) TPM caurlaidība Atbildes par stabilitāti Jūsu uzņēmuma iecietība pret “vienu partiju neizdevās” Praktiskā evaņģēlija apraksts: 
 
 
 
 Sāciet ar 10–20 priekšmetiem vienā partijā Mērķtiecīga izmantošana increase until you see:
 
 
 
 
 
 output format drift, or timeouts / latency spikes, or context overflow risk Un vienmēr saglabājiet . max batch token budget 8) “Cost Math” bez fantāzijas numuriem Cenas mainās, modeļi mainās. Tātad, tā vietā, lai kodētu senās per-1K zīmes vērtības, aprēķiniet izmaksas, izmantojot piegādātāja pašreizējo cenu lapu. OpenAI publicē cenu par tokenu savās API cenu lapās. Anthropic publicē arī cenu un dokumentu tarifu limitu līmeņus. Noderīgs izmaksu aprēķins: cost ≈ (input_tokens * input_price + output_tokens * output_price) / 1,000,000
 Pēc tam optimizējiet pārmaiņas, kuras jūs kontrolējat: 
 
 
 
 Shrink ievades žetoni Ierobežot iznākumu tokens Samazināt zvanu skaitu (batšu) 9) Batching riski (un kā nedrīkst sadedzināt) 1. risks: viens slikts priekšmets sabojā partiju “INSUFFICIENT_DATA” atgriešanās pa uzdevumiem. Fix: 2. risks: izejas formāta drifts pārtrauc analizēšanu Stingra JSON, remonta posms un ierakstīšana. Fix: 3. risks: pārāk liela partija → konteksta pārplūde Tiek veikta budžeta + auto sadalīšana. Fix: 4. risks: “Radoši” mēģinājumi apiet kvotas Ja jums ir nepieciešama lielāka jauda, pieprasiet augstākus ierobežojumus un ievērojiet pakalpojumu sniedzēja noteikumus. Fix: Nobeiguma ņemšana Cenu ierobežojumi nav ienaidnieks.Tās ir jūsu agrīnās brīdināšanas sistēma, kas: 
 
 
 
 ātrums ir pārāk garš, satiksme ir pārāk plūstoša, vai jūsu arhitektūra pieņem “neierobežotu caurlaidību”. Ja jūs ārstējat uzaicinājumus, piemēram, payloads (neprosa), pievienojiet pacing un partiju kā pieaugušo, jūs saņemsiet: 
 
 
 
 Mazāk nekā 429 Zemākas izmaksas Un sistēma, kas mērojas bez drāmas Tāda ir visa spēle.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Šis audio ir izveidots stāsta oriģinālvalodā!

Prompt Rate Limits & Batching: Kā pārtraukt jūsu LLM API no kausēšanas

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps