Bu tweet'e uyanmak heyecan vericiydi: en büyük ve en etkili AI şirketlerinden biri sizin için bahis yaparken Ama nedir? neden kullanıyorlar? ve bunu AI uygulamalarınız için göz önünde bulundurmalısınız? Teknoloji LLM'lerin ne olduğuna dair temel bilgileri atlayacağım. Burada seyircinin zaten jeneratif AI'nin temel kavramlarını bildiğini varsayıyorum.Ama daha az belirgin olan şey, yeni model yayınlarının pürüzsüz hızının, en bilgili kullanıcıların bile, bu patlayan ekosistemin üzerinden sorguları doğru bir şekilde yönlendirmek için sihirli bir sistemin hayalini unutmamak. Neden bu sihirli sistemimiz olamaz: performansın son derece subjektif olduğu için, özellikle de iş süreçlerine veya iş akışlarına bir LLM'yi uyum sağlamaya çalıştığınız senaryolarda. İşlem sorularını otomatikleştiren bir fintech platformu olan Digits'ten bir örnek alın: Rutin bilanço kontrolleri için, Claude 4.5 Haiku gibi hafif bir model, 50 kelime altında keskin, gerçekçi yanıtlar sunar; yüksek hacim, zaman duyarlı destek biletleri için mükemmel. Ama olası dolandırıcılık içeren anlaşmazlık artışları için, aynı model empati üzerine (onlar için) düz düşer, robotik ve ayrılır. Burada, GPT-5 gibi daha nüanslı bir model için yönlendirme, daha sıcak, rahatlatıcı bir ton için ayarlanmış (örneğin, "Bu işin nasıl sinir Bugüne kadar, mevcut LLM yönlendirme sistemlerinin çoğu akademik referans performans için optimize edilmiştir - örneğin veya — Bu, kullanıcıların ve geliştiricilerin gerçek dünyada uygulamalarda yaptıkları karmaşık, subjektif ve görevi belirli yargıları yansıtmıyor.Gerçek dünyada, benchmark puanları hakkında daha az şey ve daha çok alan adli doğruluk, hız ve tercih uyumları gibi şeyler. , hafif (1.5B parametre) yönlendirme modeli, kaydetmenizi sağlar Model yönlendirme kararları için tercihler MMLÜ gpca Router Arşivleri senin Router Arşivleri ‍ “Seyahat rezervasyonu” veya “ resim düzenleme” gibi sezgisel kategorileri tanımlarsınız ve Arch-Router, her sorguyu kendi deneyiminiz ve değerlendirmelerinizin temelinde en iyi şekilde çalışacak şekilde bulduğunuz modeli yönlendirir. katı benchmark ayarlı yaklaşımlardan farklı olarak, Arch-Router, yeni modeller için şeffaf, adapte edilebilir ve hızlıdır – her yönlendirme kararı başına sadece 50ms’de – gerçek konuşma veri değerlendirmelerimizde Claude Sonnet 3.7 ve GPT-4o gibi özel LLM’lerin bile üstesinden gelmektedir. ‍ What is Arch-Router? Geliştiriciler olarak, yalnızca hangi LLM'nin sayısız deneme ve hata yoluyla kullanım durumunuz için en iyi şekilde çalıştığını biliyorsunuz.. Benchmarks gerçek dünya deneyiminizi, uzman görevleri veya benzersiz beklentilerinizi yansıtmayacaktır. LLM yönlendirmeye yeni bir yaklaşım sunar, pratik, subjektif tercihlere odaklanır - örneğin alan uzmanlığı (finans, kodlama, tıbbi) veya belirli eylemler (toplamlama, görüntü oluşturma). Bu iki şeyi yapar: Preference-aligned routing routing policy ‍ Soru alanını alan düzeyinde (örneğin, finans, tıbbi) ve gerektiğinde, daha ince yapraklı eylem düzeyinde (örneğin, “şekil”, “SQL oluştur”). Her politikayı, o iş parçası için güveneceğiniz tam model için haritalar. ‍ LLM, bu tercihlerle uyumlu çerçeve etrafında inşa edilen 1.5 milyar parametrelik bir modeldir. Sıkı kodlama kurallarının yerine veya kara kutu yönlendiriciye güvenmek yerine, Arch-Router'a yönlendirme politikasını verir ve gerisini yapar. Kompakt büyüklüğüne rağmen, model, GPT-4o, Claude ve Gemini ailelerinden daha büyük özel LLM'lerin üstesinden gelmektedir. altında Rekabet eden LLM'ler tipik olarak sadece bir rota seçmek için yaklaşık 1 s harcıyor (Şekil 1'de gösterildiği gibi). Sonuç: en son hassasiyet, gecikme ve dağıtım maliyetinin bir parçası. Router Arşivleri 50ms (p50),  75ms (p99) Router Arşivleri ‍ How does it work? Arch-Router iki temel kavram sunar: Domain - bir talep için yüksek düzeyde tematik kategori veya konu (örneğin, yasal, sağlık, programlama). Eylem – Kullanıcının gerçekleştirmek istediği belirli işlem türü (örneğin, özetleme, kod üretimi, rezervasyon randevu, çeviri). Hem alan hem de eylem politikaları tercih edilen modeller veya model varyantları ile ilişkilendirilir. Sonuç zamanında, Arch-Router, semantik benzerlik, görev göstergeleri ve bağlamsel ipuçları kullanarak alanını ve eylemi sonlandırmak için gelen talimatı analiz eder. Performance Hızlı ve hassas, neredeyse anlık (50 ms) bir model seçerken en iyi özel LLM'lere göre yönlendirme performansından daha yüksek puan alır.. Tercihlerinize uyum sağlar, farklı bireyler veya ekipler kendi yönlendirme politikalarını oluşturabilir, böylece her soru en çok güvendiği modelde yer alır. Ve esnek ve adapte edilebilir kalır: denemek istediğiniz yeni bir model görmek veya ürünüze bir görev eklemek ister misiniz? Sadece yönlendirme politikası dosyasını güncelleyin ve kullanın - pahalı bir yeniden eğitim, boru hattı yeniden yapılandırma yok. İşte bazı istatistikler: Arch-Router ‍ 50ms orta yönlendirme süresi (p99'da 75ms) Speed: 93.06% yönlendirme doğruluğu sağlanan benchmark üzerinde Accuracy : Routing sorgusu başına $0.00132 Cost *: Özel yönlendiriciler ortalama 1000ms+ yönlendirme süresi, yönlendirme sorgusu başına 5 $'a kadar (GPT-4o) Comparison ‍ Ready to dive deeper? Bu blog yazısı Arch-Router'ı neyin ve nasıl kullanacağının yüzeyini kırar; tam hikaye açık kaynaklı sızdırmamızda yaşıyor: ‍ Araştırma makalesi - Ayrıntılı metodoloji, referanslar ve ablasyon çalışmaları Arch-Router koleksiyonu - Arch-Router-1.5B from Hugging Face with gguf Arch: Agentler için bir model-native proxy sunucusu - AI'daki kaynaşma işini boşaltarak daha hızlı hareket edin ve herhangi bir dilde veya çerçevede iş iş akışlarını modellemek için daha fazla zaman harcayın. Araştırma Kağıdı Arch-Router Koleksiyonu Arş ‍ Uygulama kılavuzları için depolama alanımızı ziyaret edin, iyileştirmeleri katkıda bulun veya sorunları bildirin. LLM tabanlı ajanları ilerletmek için topluluk katkılarını memnuniyetle karşılıyoruz. Ve hey, inşa ettiğimiz şeyleri beğendiyseniz ⭐️ projesini unutmayın.

Hot off the press! This story contains factual information about a recent event.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

Read My Stories

Bu ses hikayenin orijinal dilinde üretilmiştir!

HuggingFace Arch seçer (Router)

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Telegram: Kripto Adası'nın anakaraya olan köprüsü

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Telegram: Kripto Adası'nın anakaraya olan köprüsü

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps