Fue emocionante despertar a este tuit: cuando una de las compañías de IA más grandes e influyentes apuesta por su Pero ¿qué es? ¿por qué lo usan? y ¿deberías considerar esto para tus aplicaciones de IA? Tecnología Estoy asumiendo que el público aquí ya está familiarizado con los conceptos básicos de la IA generativa.Lo que es menos obvio, sin embargo, es cómo el ritmo de lanzamiento de nuevos modelos sobrepasa incluso a los usuarios más sabios, sin mencionar el sueño de un sistema mágico para orientar con precisión las consultas a través de este ecosistema explosivo. ¿Por qué no podemos tener este sistema mágico: porque el rendimiento es altamente subjetivo, especialmente en escenarios donde estás tratando de alinear un LLM con tus procesos comerciales o flujos de trabajo. Tomemos un ejemplo de Digits, una plataforma de fintech que automatiza las consultas de transacciones: Para los controles de balance de rutina, un modelo ligero como Claude 4.5 Haiku proporciona respuestas factuales en menos de 50 palabras; perfecto para boletos de soporte de alto volumen, sensibles al tiempo, donde la brevedad atrapa la elaboración. Pero para las escalas de disputa que involucran el fraude potencial, el mismo modelo cae plano (para ellos) sobre la empatía, sonando robótico y separado. Aquí, recorriendo a una respuesta más matizada como el modelo GPT-5, ajustado a Hasta la fecha, la mayoría de los sistemas de enrutamiento de LLM existentes se optimizan para el rendimiento académico de referencia, como o — que no reflejan los juicios confusos, subjetivos y específicos de tareas que los usuarios y desarrolladores hacen en aplicaciones del mundo real. En el mundo real, se trata menos de puntuaciones de referencia y más de cosas como la precisión específica del dominio, la velocidad y el ajuste de preferencias. , un modelo de enrutamiento ligero (1.5B parámetro) que le permite capturar Preferencias para las decisiones de enrutamiento de modelos MMLU GPQA Archivo de Router tuya Archivo de Router ‍ Define categorías intuitivas como “reserva de viajes” o “edición de imágenes”, y Arch-Router dirige cada consulta al modelo que ha encontrado para que funcione mejor – basado en su propia experiencia y evaluación. A diferencia de los enfoques rígidos de referencia, Arch-Router es transparente, adaptable a nuevos modelos, y rápido –clocking en a sólo 50ms por decisión de enrutamiento – mientras superando incluso LLMs propietarios como Claude Sonnet 3.7 y GPT-4o en nuestras evaluaciones de datos de conversación real. ‍ What is Arch-Router? Como desarrolladores, solo usted realmente sabe qué LLM funciona mejor para su caso de uso a través de innumerables intentos y errores.. ofrece un nuevo enfoque para el enrutamiento de LLM, centrándose en las preferencias prácticas y subjetivas, como la experiencia del dominio (finanzas, codificación, medicina) o acciones específicas (resumen, generación de imágenes). Eso hace dos cosas: Preference-aligned routing routing policy ‍ Divide el espacio de consulta en políticas a nivel de dominio (por ejemplo, finanzas, medicina) y, cuando sea necesario, el nivel de acción de grano más fino (por ejemplo, “resumir”, “generar SQL”). Mapar cada política al modelo exacto en el que confía para ese fragmento de trabajo. ‍ LLM es un modelo de 1.5 billones de parámetros construido en torno a este marco alineado con preferencias. En lugar de codificar reglas duras o depender de un router de caja negra, usted entrega a Arch-Router su política de enrutamiento y hace el resto. A pesar de su tamaño compacto, el modelo supera a los LLMs propietarios más grandes de las familias GPT-4o, Claude y Gemini. bajo mientras que los LLMs competidores suelen gastar aproximadamente 1 s sólo para elegir una ruta (como se muestra en la Figura 1).El resultado: exactitud de última generación a una fracción del costo de latencia y implementación. Archivo de Router 50ms (p50),  75ms (p99) Archivo de Router ‍ How does it work? Arch-Router introduce dos conceptos clave: Dominio: la categoría temática de alto nivel o tema de una solicitud (por ejemplo, legal, de salud, de programación). Acción: el tipo específico de operación que el usuario desea realizar (por ejemplo, resumen, generación de código, reserva de cita, traducción). Tanto las políticas de dominio como las de acción están asociadas con modelos o variantes de modelo preferidos. En el tiempo de inferencia, Arch-Router analiza la solicitud de entrada para inferir su dominio y acción utilizando similitud semántica, indicadores de tareas y señales contextuales. Performance es rápido y preciso, eligiendo un modelo casi instantáneo (50 ms) mientras puntua más alto que los mejores LLMs propietarios en rendimiento de enrutamiento.. Se alinea con sus preferencias, diferentes individuos o equipos pueden elaborar sus propias políticas de enrutamiento para que cada consulta descienda en el modelo en el que más confían. Y sigue siendo flexible y adaptable: vea un nuevo modelo que desea probar, o añade una tarea a su producto? Simplemente actualice el archivo de política de enrutamiento y lo use —no hay retraining costoso, no hay reconstrucción de tuberías. Arch-Router ‍ 50ms tiempo mediano de enrutamiento (75ms en p99) Speed: : 93,06% de precisión de enrutamiento en la referencia proporcionada Accuracy : $0.00132 por consulta de enrutamiento Cost *: Routers propietarios promedio 1000ms+ tiempo de enrutamiento con hasta $5 por consulta de enrutamiento (GPT-4o) Comparison ‍ Ready to dive deeper? Este post de blog rasca la superficie de qué y cómo usar Arch-Router; la historia completa vive en nuestra pila de código abierto: ‍ Documento de investigación - Metodología detallada, índices de referencia y estudios de ablación Arch-Router Collection - Arch-Router-1.5B de Hugging Face con gguf Arch: un servidor proxy nativo de modelos para agentes: moverse más rápido al descargar el trabajo de suministro en IA y pasar más tiempo modelando los flujos de trabajo de negocios en cualquier lenguaje o marco. Documento de Investigación Colección Arch-Router Archivo ‍ Visite nuestro repositorio para obtener guías de implementación, contribuir a las mejoras o informar sobre cuestiones.Acogemos las contribuciones de la comunidad para avanzar a los agentes basados en LLM. Y hey, si te gusta lo que hemos construido no te olvides de ⭐️ el proyecto.

Hot off the press! This story contains factual information about a recent event.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

Read My Stories

Este audio es producido en el idioma original de la historia!

HuggingFace elige Arch (Router)

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Telegram: el puente de Crypto Island hacia el continente

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

El modelo Bitcoin UTXO, impulsando un ecosistema único

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Telegram: el puente de Crypto Island hacia el continente

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

El modelo Bitcoin UTXO, impulsando un ecosistema único

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps