Limitaciones de tarifas rápidas y lotes: su API LLM tiene un límite de velocidad (incluso si su producto no lo hace) Usted envía una característica, sus picos de tráfico, y de repente su capa LLM comienza a regresar Como si fuera la entrega de entradas de aparcamiento. 429s La mala noticia: los límites de tasa son inevitables. La buena noticia: - generalmente por prompts excesivamente grandes, tráfico explosivo y formatos de salida que son imposibles de analizar a escala. most LLM “rate limit incidents” are self-inflicted Este artículo es un libro práctico para: 
 
 
 
 comprensión de los throttles rápidos, evitar los modos de fracaso comunes, y Hacer batidos de solicitudes sin convertir sus respuestas en sopa. 1) Los tres límites que realmente golpeas (y lo que significan) Diferentes proveedores llaman las cosas de manera diferente, pero las mecánicas son consistentes: 1.1 Ventana de contexto (max tokens por solicitud) Si tu Si se excede la ventana de contexto del modelo, la solicitud fallará inmediatamente. input + output Los síntomas: 
 
 
 “La longitud máxima de contexto ha sido excedida” “Tus mensajes resultaron en X tokens...” y fija: 
 
 resumir, resumir o recortar datos. 1.2 RPM (Pedidos por minuto) Usted puede estar por debajo de los límites de token y todavía se cae en la boca si se rompen demasiadas llamadas. Gemini documenta explícitamente RPM como una dimensión central. Los síntomas: 
 
 
 “Limite de tarifas alcanzadas para solicitudes por minuto” HTTP 429 y fija: 
 
 Pacing de lado del cliente, colas y backoff. 1.3 Limitaciones de tráfico de TPM / Token Los límites de las medidas antropogénicas en Gemini también describe token-per-minuto como una dimensión clave. RPM + input tokens/minute + output tokens/minute Los síntomas: 
 
 
 “Limite de tasa alcanzado por uso de token por minuto” 429 + Retry-After header (Anthropic llama esto fuera) y fija: 
 
 Reducir los tokens, batir de manera eficiente o solicitar una cuota más alta. 2) Los patrones de fracaso más comunes "Prompt Limit" 2.1 El “uno prompt a regirlos a todos” anti-patrón Usted pide por: 
 
 
 
 
 
 
 extracción Clasificación Reescritura Validación Formato Lógica de negocios ...en una sola solicitud, y luego te preguntas por qué el uso de token aumenta. Si necesita una lógica de varios pasos, utilice (Prompts pequeños con salidas intermedias estructuradas). Split the workflow Prompt Chaining El tráfico burst (el asesino silencioso de RPM) Cron empleos, retries, clics de usuarios, brotes de webhook - todo se alinea en el peor minuto posible. Si su cliente envía solicitudes como un arma mecánica, su proveedor responderá como un reboteador. 2.3 Producto no estructurado = análisis costoso Si tu salida es “kinda JSON-ish”, tu analista se convierte en un terapeuta a tiempo completo. Hacer el modelo de salida o una tabla fija. Tratar el formato como un contrato. strict JSON 3) Rate Limit Survival Kit (Compliant, Practical, Aburrido) 3.1 Prompt-side: recortar tokens sin perder la señal 
 
 
 
 Eliminar el flujo de marketing (los modelos no necesitan la historia de origen de su empresa). Convertir la placa de calentamiento repetida en un corto "bloco de política" y reutilizarla. Prefiere los campos sobre la prosa (“material = 316 acero inoxidable” bate un párrafo). Una pequeña promesa de reescribir que generalmente ahorra 30-50% Before (chatty): 
 
 “Somos una marca de hogar inteligente fundada en 2010... por favor escriba 3 líneas de marketing...” “Somos una marca de hogar inteligente fundada en 2010... por favor escriba 3 líneas de marketing...” After (dense + precise): 
 
 “Escribe 3 líneas de comercio electrónico del Reino Unido. Producto: bombilla inteligente. Material=PC retardante de la llama. Característica=3 temperaturas de color. Audiencia=habitación.” “Escribe 3 líneas de comercio electrónico del Reino Unido. Producto: bombilla inteligente. Material=PC retardante de la llama. Característica=3 temperaturas de color. Audiencia=habitación.” 3.2 Página de solicitud: Backoff como un adulto Si el proveedor regresa Anthropic explicitamente devuelve Retry-After en 429s. Retry-After Utilización de backoff + jitter exponencial: 
 
 
 
 
 Intento 1: 1s Intento 2: 2–3s Intento 3: 4–6s Fracasó graciosamente 3.3 Lado del sistema: cola + capas de concurrencia Si su cuenta admite 10 solicitudes simultáneas, no ejecute 200 coroutines y "esperanza". Uso de: 
 
 
 
 Trabajo en cola Un semáforo para la competencia y un límite de tasa para RPM/TPM Batching: la forma más rápida de cortar llamadas, costo y 429 Batch significa: . one API request handles multiple independent tasks Lo mejor es cuando las tareas son: 
 
 
 
 El mismo tipo (por ejemplo, 20 blurbs de producto) independiente (ningún paso depende de otro) El mismo esquema de producción Por qué ayuda 
 
 
 
 Menos redes redondas Menos requerimientos, menor presión RPM Un paso más previsible También: las páginas de precios de OpenAI incluyen explícitamente una columna de "precio de API de batch" para varios modelos. (Esto no significa "batching es gratis", pero es una fuerte indicio de que el ecosistema espera este patrón.) 5) El modelo de prompt de batch que no se separa Aquí está un formato que permanece lisible bajo presión. 5.1 Uso de bloques de tareas + un esquema de respuesta JSON estricto SYSTEM: You output valid JSON only. No Markdown. No commentary.
​
USER:
You will process multiple tasks. 
Return a JSON array. Each item must be:
{
  "task_id": <int>,
  "title": <string>,
  "bullets": [<string>, <string>, <string>]
}
​
Rules:
- UK English spelling
- Title ≤ 12 words
- 3 bullets, each ≤ 18 words
- If input is missing: set title="INSUFFICIENT_DATA" and bullets=[]
​
TASKS:
### TASK 1
product_name: Insulated smart mug
material: 316 stainless steel
features: temperature alert, 7-day battery
audience: commuters
​
### TASK 2
product_name: Wireless earbuds
material: ABS shock-resistant
features: ANC, 24-hour battery
audience: students
 Esa cláusula “INSUFFICIENT_DATA” es tu salvador de vidas. Una tarea quebrada no debería envenenar a todo el lote. Implementación de Python: Batch → Call → Parse (Con Guardrails) A continuación se muestra un patrón moderno que puede adaptarse (los SDK del proveedor varían, por lo que tratarlo como , no una copia-pasta de garantía). structure import json
import random
import time
from typing import Any, Dict, List, Tuple
​
MAX_RETRIES = 4
​
def backoff_sleep(attempt: int, retry_after: float | None = None) -> None:
    if retry_after is not None:
        time.sleep(retry_after)
        return
    base = 2 ** attempt
    jitter = random.random()
    time.sleep(min(10, base + jitter))
​
def build_batch_prompt(tasks: List[Dict[str, str]]) -> str:
    header = (
        "You output valid JSON only. No Markdown. No commentary.\n\n"
        "Return a JSON array. Each item must be:\n"
        "{\n  \"task_id\": <int>,\n  \"title\": <string>,\n  \"bullets\": [<string>, <string>, <string>]\n}\n\n"
        "Rules:\n"
        "- UK English spelling\n"
        "- Title ≤ 12 words\n"
        "- 3 bullets, each ≤ 18 words\n"
        "- If input is missing: set title=\"INSUFFICIENT_DATA\" and bullets=[]\n\n"
        "TASKS:\n"
    )
​
    blocks = []
    for t in tasks:
        blocks.append(
            f"### TASK {t['task_id']}\n"
            f"product_name: {t.get('product_name','')}\n"
            f"material: {t.get('material','')}\n"
            f"features: {t.get('features','')}\n"
            f"audience: {t.get('audience','')}\n"
        )
    return header + "\n".join(blocks)
​
def parse_json_strict(text: str) -> List[Dict[str, Any]]:
    # Hard fail if it's not JSON. This is intentional.
    return json.loads(text)
​
def call_llm(prompt: str) -> Tuple[str, float | None]:
    """Return (text, retry_after_seconds). Replace with your provider call."""
    raise NotImplementedError
​
def run_batch(tasks: List[Dict[str, str]]) -> List[Dict[str, Any]]:
    prompt = build_batch_prompt(tasks)
​
    for attempt in range(MAX_RETRIES):
        try:
            raw_text, retry_after = call_llm(prompt)
            return parse_json_strict(raw_text)
        except json.JSONDecodeError:
            # Ask the model to repair formatting in a second pass (or log + retry)
            prompt = (
                "Fix the output into valid JSON only. Preserve meaning.\n\n"
                f"BAD_OUTPUT:\n{raw_text}"
            )
            backoff_sleep(attempt)
        except Exception as e:
            # If your SDK exposes HTTP status + retry-after, use it here
            backoff_sleep(attempt)
            last_error = e
​
    raise RuntimeError(f"Batch failed after retries: {last_error}")
 ¿Qué cambió frente a los “clásicos” snippets? 
 
 
 
 Tratamos JSON como un contrato duro. Tratamos la reparación de formato explícitamente (y lo mantenemos barato). Centralizamos la lógica de retroceso para que cada llamada se comporte de la misma manera. Cómo elegir el tamaño del lote (La regla que todo el mundo aprende de la manera difícil) El tamaño del batch está limitado por: 
 
 
 
 
 Ventana de contexto (max tokens por solicitud) Transmisión TPM Respuesta a la estabilidad La tolerancia de su negocio para "un lote fallido" Un heurístico práctico: 
 
 
 
 Comienza con 10-20 artículos por lote Utilización de Token increase until you see:
 
 
 
 
 
 output format drift, or timeouts / latency spikes, or context overflow risk Siempre manteniendo una . max batch token budget 8) “Cost Math” sin números de fantasía Los precios cambian, los modelos cambian. Así que en lugar de codificar los antiguos valores de token por 1K, calcule el coste utilizando la página de precios actual del proveedor. OpenAI publica los precios por token en sus páginas de precios de API. Anthropic también publica los niveles de precios y los límites de precios de documentos. Un estimador de costes útil: cost ≈ (input_tokens * input_price + output_tokens * output_price) / 1,000,000
 Optimiza las variables que controlas: 
 
 
 
 Shrink tokens de entrada Condiciones de salida Tokens Reducir el número de llamadas (batch) Riesgos del batch (y cómo no quemarse) Riesgo 1: Un elemento malo arruina el lote “INSUFFICIENT_DATA” fallback por tarea. Fix: Riesgo 2: Drift de formato de salida rompe el parsing Estricto JSON, paso de reparación y registro. Fix: Riesgo 3: Batch demasiado grande → Context Overflow Presupuesto de token + auto-splitting. Fix: Riesgo 4: intentos “creativos” para eludir las cuotas Si necesita más capacidad, solicite límites más altos y siga los términos del proveedor. Fix: Toma final Los límites de precios no son el enemigo. Son su sistema de advertencia temprana que: 
 
 
 
 Las promesas son demasiado largas, El tráfico está demasiado estropeado, o su arquitectura asume “permeabilidad infinita”. Si trata las promesas como las cargas de pago (no la prosa), agrega el ritmo y el lote como un adulto, obtendrá: 
 
 
 
 Más de 429 Costos más bajos y un sistema que escala sin drama Eso es todo el juego.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Este audio es producido en el idioma original de la historia!

Límites de tarifa prompt & Batching: Cómo detener su API LLM de derretirse

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Telegram: el puente de Crypto Island hacia el continente

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Telegram: el puente de Crypto Island hacia el continente

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps