Es war aufregend, auf diesen Tweet aufzuwachen: Wenn eines der größten und einflussreichsten KI-Unternehmen auf Ihre Aber was ist es? warum benutzen sie es? und sollten Sie dies für Ihre KI-Anwendungen in Betracht ziehen? Technologie Ich nehme an, dass das Publikum hier bereits mit den Kernkonzepten der generativen KI vertraut ist.Was jedoch weniger offensichtlich ist, ist, wie das blisterende Tempo der neuen Modellveröffentlichungen selbst die klügsten Benutzer überwältigt, ganz zu schweigen vom Traum eines magischen Systems, um Abfragen über dieses explodierende Ökosystem genau zu leiten. Warum können wir dieses magische System nicht haben: weil die Leistung sehr subjektiv ist, vor allem in Szenarien, in denen Sie versuchen, ein LLM an Ihre Geschäftsprozesse oder Workflows anzupassen. Nehmen Sie ein Beispiel von Digits, einer fintech-Plattform, die Transaktionsabfragen automatisiert: Für routinemäßige Balance-Checks liefert ein leichtes Modell wie Claude 4.5 Haiku kräftige, faktische Antworten in weniger als 50 Wörtern; perfekt für hochvolumene, zeitempfindliche Supporttickets, in denen Kurzsichtigkeit die Ausarbeitung triumphiert. Aber für Streit eskaliert, die potenzielle Betrug beinhaltet, fällt das gleiche Modell flach (für sie) auf Empathie, klingt robotisch und getrennt. Hier, die Route zu einem mehr Nuancen wie Bis heute optimieren die meisten bestehenden LLM-Routing-Systeme für akademische Benchmark-Performance - wie oder Das spiegelt nicht die störenden, subjektiven und Aufgaben-spezifischen Urteile wider, die Benutzer und Entwickler in realen Anwendungen machen.In der realen Welt geht es weniger um Benchmark-Score und mehr um Dinge wie Domainspezifische Genauigkeit, Geschwindigkeit und Vorlieben. , ein leichtes (1,5B Parameter) Routing-Modell, mit dem Sie Präferenzen für Modellrouting-Entscheidungen MMLU GPQA Der Arch-Router Dein Der Arch-Router ‍ Sie definieren intuitive Kategorien wie „Reisebuchung“ oder „Bildbearbeitung“, und Arch-Router führt jede Abfrage zu dem Modell, das Sie am besten funktioniert haben – basierend auf Ihrer eigenen Erfahrung und Bewertung. Im Gegensatz zu starren benchmark-tuned Ansätzen ist Arch-Router transparent, an neue Modelle anpassbar und schnell – mit nur 50 ms pro Routing-Entscheidung – und übertrifft gleichzeitig sogar proprietäre LLMs wie Claude Sonnet 3.7 und GPT-4o in unseren Bewertungen über reale Gesprächsdaten. ‍ What is Arch-Router? Als Entwickler wissen nur Sie wirklich, welche LLM am besten für Ihren Anwendungsfall durch unzählige Versuche und Fehler funktioniert.. Benchmarks spiegeln nicht Ihre realen Erfahrungen, spezialisierte Aufgaben oder einzigartige Erwartungen wider. bietet einen neuen Ansatz für das LLM-Routing, der sich auf praktische, subjektive Präferenzen konzentriert - wie Domain-Expertise (Finanz, Codierung, Medizin) oder spezifische Aktionen (Summierung, Bildgenerierung). Das macht zwei Dinge: Preference-aligned routing routing policy ‍ Brucht den Abfrage-Raum in Richtlinien auf Domain-Ebene (z. B. Finanzen, Medizin) und bei Bedarf auf der Feinkörner-Aktionsebene (z. B. „Summarize“, „Generate SQL“). Mapp jede Richtlinie auf das genaue Modell, dem Sie für diesen Teil der Arbeit vertrauen. ‍ LLM ist ein 1,5 Milliarden-Parameter-Modell, das um dieses präferenzgerechte Framework errichtet wurde. Anstatt Regeln zu kodieren oder sich auf einen Blackbox-Router zu verlassen, übergeben Sie Arch-Router Ihre Routing-Richtlinie und es macht den Rest. Trotz seiner kompakten Größe übertrifft das Modell größere proprietäre LLMs aus den GPT-4o, Claude und Gemini-Familien. unter Während konkurrierende LLMs in der Regel ungefähr 1 s verbringen, um nur eine Route zu wählen (wie in Abbildung 1 gezeigt). Das Ergebnis: state-of-the-art Genauigkeit bei einem Bruchteil der Latenz- und Bereitstellungskosten. Der Arch-Router 50ms (p50),  75ms (p99) Der Arch-Router ‍ How does it work? Arch-Router führt zwei Schlüsselkonzepte ein: Domain – die thematische Kategorie auf hoher Ebene oder das Thema einer Anfrage (z.B. Recht, Gesundheitswesen, Programmierung). Aktion – die spezifische Art der Aktion, die der Benutzer durchführen möchte (z.B. Zusammenfassung, Code-Generierung, Buchung, Übersetzung). Sowohl die Domain- als auch die Aktionsrichtlinien sind mit bevorzugten Modellen oder Modellvarianten assoziiert.Bei der Schlusszeit analysiert Arch-Router den eingehenden Anruf, um seine Domain und Aktion mithilfe semantischer Ähnlichkeiten, Aufgabenindikatoren und kontextueller Hinweise zu folgen. Performance ist schnell und präzise, wählt ein Modell fast sofort (50 ms) und erzielt gleichzeitig höhere Ergebnisse als die besten proprietären LLMs bei der Routing-Leistung.. Es passt zu Ihren Präferenzen, verschiedene Personen oder Teams können ihre eigenen Routing-Richtlinien erstellen, so dass jede Abfrage auf dem Modell landet, dem sie am meisten vertrauen. Und es bleibt flexibel und anpassungsfähig: Sehen Sie ein neues Modell, das Sie ausprobieren möchten, oder fügen Sie Ihrem Produkt eine Aufgabe hinzu? Arch-Router ‍ 50 ms mediane Routingzeit (75 ms bei p99) Speed: 93.06% Routinggenauigkeit auf dem angegebenen Benchmark Accuracy : $0.00132 pro Routingabfrage Cost * Proprietäre Router durchschnittlich 1000ms+ Routing-Zeit mit bis zu $5 pro Routing-Abfrage (GPT-4o) Comparison ‍ Ready to dive deeper? Dieser Blogbeitrag kratzt die Oberfläche dessen, was und wie Arch-Router zu verwenden ist; die ganze Geschichte lebt in unserem Open-Source-Stack: ‍ Forschungspapier - Detaillierte Methodik, Benchmarks und Ablation Studien Arch-Router Collection - Arch-Router-1.5B von Hugging Face mit gguf Arch: Ein Modell-nativer Proxy-Server für Agenten – bewegen Sie sich schneller, indem Sie die Leitungsarbeit in der KI entladen und mehr Zeit damit verbringen, Business-Workflows in jeder Sprache oder Framework zu modellieren. Forschungspapier Arch-Router Sammlung Arch ‍ Besuchen Sie unser Repository für Implementierungsleitfäden, Verbesserungen beitragen oder Berichtsfragen.Wir begrüßen Community-Beiträge, um LLM-basierte Agenten voranzutreiben. Und hey, wenn Sie das, was wir gebaut haben, mögen, vergessen Sie nicht ⭐️ das Projekt.

Hot off the press! This story contains factual information about a recent event.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

HuggingFace wählt Arch (Router)

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern unsere Remote-Work-Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Wir feiern unsere Remote-Work-Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps