Промітні обмеження тарифів та паркування: ваш API LLM має обмеження швидкості (навіть якщо ваш продукт цього не робить) Ви відправляєте функцію, ваш трафік зростає, і раптом ваш шар LLM починає повертатися Це як видача паркувальних квитків. 429s Погані новини: обмеження ставок є неминучими. І хороші новини: — зазвичай через занадто великі прописки, вибухливий трафік і вихідні формати, які неможливо проаналізувати в масштабі. most LLM “rate limit incidents” are self-inflicted Ця стаття є практичною книгою для: 
 
 
 
 розпізнавання швидких зв’язків, уникнення загальних режимів невдачі, а також Використовуйте відповіді, не перетворюючи їх на суп. Три межі, які ви насправді потрапили (і що вони означають) Різні постачальники називають речі по-різному, але механіка є послідовною: 1.1 Контекстне вікно (максимум токенів на запит) Якщо ваш Якщо вихід виходить за рамки контекстного вікна моделі, запит не вдається відразу. input + output Симптоми : 
 
 
 «Максимальна довжина контексту перевищена» «Ваші повідомлення привели до X токенів...» Фіксовано : 
 
 Скоротити, підсумовувати або розбивати дані. 1.2 RPM (запити в хвилину) Ви можете перебувати за межами токенів і все одно отримувати занепокоєння, якщо ви вимкнете занадто багато дзвінків. Симптоми : 
 
 
 «Досягнутий ліміт для запитів за хвилину» HTTP 429 Фіксовано : 
 
 Пасінг на стороні клієнта, черги і назад. 1.3 Межі пропускної здатності TPM / Token Антропогенні обмеження в Близнюки подібно описують токен-на-хвилину як ключовий вимір. RPM + input tokens/minute + output tokens/minute Симптоми : 
 
 
 «Ліміт тарифів досягнутий за використання токенів за хвилину» 429 + Retry-After header (Anthropic викликує це) Фіксовано : 
 
 зменшити токенів, партії ефективно, або запросити більш високу квоту. 2) Найбільш поширені шаблони несправностей "Prompt Limit" 2.1 «Один поклик керувати ними усіма» антипатерн Ви просите про: 
 
 
 
 
 
 
 Екстракція Класифікація Переписання Валідація Форматизація Бізнес логіка ...в одному запиті, а потім ви запитуєтеся, чому використання токенів зростає. Якщо вам потрібна багатоступінчаста логіка, використовуйте (невеликі пробки з структурованими проміжними вихідними). Split the workflow Prompt Chaining 2.2 Бурсти трафік (тихий вбивця RPM) Cron jobs, retries, кліки користувачів, webhook bursts — все вирівнюється в найгіршу можливу хвилину. Якщо ваш клієнт надсилає запити, як рушницю, ваш провайдер відповість, як відступник. 2.3 Неструктурований вихід = дорогий аналіз Якщо ваш вихід «Kinda JSON-ish», ваш аналізатор стає терапевтом повного робочого часу. Зробіть вихід моделі або фіксовану таблицю. Розглядати формат як договір. strict JSON 3) Набір для виживання за межами тарифів (Compliant, Practical, Boring) 3.1 Помітна сторона: скорочення токенів без втрати сигналу 
 
 
 
 Видалення маркетингового потоку (моделі не потребують історії походження вашої компанії). Перетворюйте повторювану котельну плиту на короткий «блок політики» і повторно використовуйте його. Віддайте перевагу полям над прозою («матеріал = 316 нержавіючої сталі» перевершує абзац). Невеликий проміжок перепису, який зазвичай заощаджує 30-50% Before (chatty): 
 
 «Ми - бренд розумного будинку, заснований в 2010 році... будь ласка, напишіть 3 маркетингові лінії...» «Ми - бренд розумного будинку, заснований в 2010 році... будь ласка, напишіть 3 маркетингові лінії...» After (dense + precise): 
 
 «Напишіть 3 лінії електронної комерції у Великобританії. Продукт: розумна лампа. Матеріал=затримка вогню ПК. Функція=3 колірні температури. аудиторія=живе приміщення». «Напишіть 3 лінії електронної комерції у Великобританії. Продукт: розумна лампа. Матеріал=затримка вогню ПК. Функція=3 колірні температури. аудиторія=живе приміщення». 3.2 Запрошення сторони: Backoff як дорослий Якщо постачальник повертається Anthropic експлицитно повертає Retry-After на 429s. Retry-After Використовуйте експоненціальний Backoff + Jitter: 
 
 
 
 
 Спроба 1: 1с Спроба 2: 2–3 с Спроба 3: 4–6 с Невдало графічно 3.3 Системний бік: черга + капелюхи конкуренції Якщо ваш обліковий запис підтримує 10 одночасних запитів, не запускайте 200 корутин і «надії». Використовуйте : 
 
 
 
 Робочий хвіст Семафор для конкуренції і обмежувач швидкості для RPM / TPM 4) Батінг: найшвидший спосіб скоротити виклики, вартість і 429 Батьківщина означає: . one API request handles multiple independent tasks Найкраще працює, коли завдання: 
 
 
 
 один і той же тип (наприклад, 20 продуктів) Незалежність (ні один крок не залежить від іншого) Така ж схема випуску Чому це допомагає 
 
 
 
 Менше мережевих круглих поїздок менше запитів → нижчий тиск RPM Більш передбачуваний прохід Також: сторінки ціноутворення OpenAI явно включають колону "Ціна API для ряду" для декількох моделей. (Це не означає, що "бачення безкоштовне", але це сильний натяк на те, що екосистема очікує цього шаблону.) 5) Шаблон Batching Prompt, який не розпадається Ось формат, який залишається зрозумілим під тиском. 5.1 Використання блоків завдань + сувора схема відповіді JSON SYSTEM: You output valid JSON only. No Markdown. No commentary.
​
USER:
You will process multiple tasks. 
Return a JSON array. Each item must be:
{
  "task_id": <int>,
  "title": <string>,
  "bullets": [<string>, <string>, <string>]
}
​
Rules:
- UK English spelling
- Title ≤ 12 words
- 3 bullets, each ≤ 18 words
- If input is missing: set title="INSUFFICIENT_DATA" and bullets=[]
​
TASKS:
### TASK 1
product_name: Insulated smart mug
material: 316 stainless steel
features: temperature alert, 7-day battery
audience: commuters
​
### TASK 2
product_name: Wireless earbuds
material: ABS shock-resistant
features: ANC, 24-hour battery
audience: students
 Цей клауз "INSUFFICIENT_DATA" є вашим рятувальником. Одна зламана задача не повинна отруїти всю партію. 6) Розробка Python: Batch → Call → Parse (With Guardrails) Нижче наведено сучасний шаблон, який ви можете адаптувати (SDK провайдера варіюються, тому розглядайте його як не є гарантією копіювання пасти). structure import json
import random
import time
from typing import Any, Dict, List, Tuple
​
MAX_RETRIES = 4
​
def backoff_sleep(attempt: int, retry_after: float | None = None) -> None:
    if retry_after is not None:
        time.sleep(retry_after)
        return
    base = 2 ** attempt
    jitter = random.random()
    time.sleep(min(10, base + jitter))
​
def build_batch_prompt(tasks: List[Dict[str, str]]) -> str:
    header = (
        "You output valid JSON only. No Markdown. No commentary.\n\n"
        "Return a JSON array. Each item must be:\n"
        "{\n  \"task_id\": <int>,\n  \"title\": <string>,\n  \"bullets\": [<string>, <string>, <string>]\n}\n\n"
        "Rules:\n"
        "- UK English spelling\n"
        "- Title ≤ 12 words\n"
        "- 3 bullets, each ≤ 18 words\n"
        "- If input is missing: set title=\"INSUFFICIENT_DATA\" and bullets=[]\n\n"
        "TASKS:\n"
    )
​
    blocks = []
    for t in tasks:
        blocks.append(
            f"### TASK {t['task_id']}\n"
            f"product_name: {t.get('product_name','')}\n"
            f"material: {t.get('material','')}\n"
            f"features: {t.get('features','')}\n"
            f"audience: {t.get('audience','')}\n"
        )
    return header + "\n".join(blocks)
​
def parse_json_strict(text: str) -> List[Dict[str, Any]]:
    # Hard fail if it's not JSON. This is intentional.
    return json.loads(text)
​
def call_llm(prompt: str) -> Tuple[str, float | None]:
    """Return (text, retry_after_seconds). Replace with your provider call."""
    raise NotImplementedError
​
def run_batch(tasks: List[Dict[str, str]]) -> List[Dict[str, Any]]:
    prompt = build_batch_prompt(tasks)
​
    for attempt in range(MAX_RETRIES):
        try:
            raw_text, retry_after = call_llm(prompt)
            return parse_json_strict(raw_text)
        except json.JSONDecodeError:
            # Ask the model to repair formatting in a second pass (or log + retry)
            prompt = (
                "Fix the output into valid JSON only. Preserve meaning.\n\n"
                f"BAD_OUTPUT:\n{raw_text}"
            )
            backoff_sleep(attempt)
        except Exception as e:
            # If your SDK exposes HTTP status + retry-after, use it here
            backoff_sleep(attempt)
            last_error = e
​
    raise RuntimeError(f"Batch failed after retries: {last_error}")
 Що змінилося проти «класичних» снайперів? 
 
 
 
 Ми розглядаємо JSON як жорсткий контракт. Ми обробляємо ремонт формату явно (і тримаємо його дешевим). Ми централізуємо логіку Backoff, щоб кожен дзвінок поводився однаково. Як вибрати розмір партії (правило, яке кожен вчиться важким шляхом) Розмір партії обмежується: 
 
 
 
 
 контекстне вікно (макс токенів на запит) Пропускна здатність TPM Реалізація параметрів стабільності Ваші бізнес-толерантність до "одна партія провалилася" Практична евхаристична практика: 
 
 
 
 Починати з 10-20 предметів за партію Використання токенів increase until you see:
 
 
 
 
 
 output format drift, or timeouts / latency spikes, or context overflow risk Завжди тримайте в . max batch token budget 8) «Математичні витрати» без фантастичних чисел Ціни змінюються, моделі змінюються. Отже, замість жорсткого кодування стародавніх значень токенів на 1K, розрахуйте вартість за допомогою поточної сторінки ціноутворення провайдера. OpenAI публікує ціноутворення за токеном на своїх сторінках з ціноутворення API. Anthropic також публікує ціноутворення та документальні рівні обмеження тарифів. Корисний розрахунок витрат: cost ≈ (input_tokens * input_price + output_tokens * output_price) / 1,000,000
 Тоді оптимізуйте змінні, які ви контролюєте: 
 
 
 
 Вхідні токени Shrink Обмеження випуску токенів Зменшення кількості дзвінків (бач) Ризики паркування (і як не загорітися) Ризик 1: один поганий предмет руйнує партію «Insufficient_DATA» відновлюється за завданням. Fix: Ризик 2: формат вихідного дрейфу перериває аналіз Строгий JSON, етап ремонту та реєстрація. Fix: Ризик 3: партія занадто велика → контекстний надлишок Бюджетування + авторозподіл. Fix: Ризик 4: «креативні» спроби обійти квоти Якщо вам потрібно більше потужності, запитуйте більш високі межі і дотримуйтесь умов постачальника. Fix: Останній Take Тарифні межі не є ворогом. Вони є вашою системою раннього попередження, яка: 
 
 
 
 Швидкість занадто довга, Трафік занадто бурхливий, або ваша архітектура передбачає «нескінченну пропускну здатність». Якщо ви будете ставитися до запрошень, як до заробітної плати (не проза), додати темп і партію, як дорослий, ви отримаєте: 
 
 
 
 Кількість 429 Нижчі витрати І система, яка масштабується без драми Ось і вся гра.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Це аудіо створено мовою оригіналу історії!

Помітні обмеження тарифів та батареї: як зупинити API LLM від розплавлення

About Author

КОМЕНТАРІ

ПОВІСИТИ БИРКИ

ЦЯ СТАТТЯ БУЛА ПРЕДСТАВЛЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps