Ishte emocionuese të zgjoheshim me këtë tweet: kur një nga kompanitë më të mëdha dhe më me ndikim të AI-së bast në Por çfarë është? pse e përdorin atë? dhe a duhet ta konsideroni këtë për aplikacionet tuaja të AI? Teknologji Unë jam duke supozuar se audienca këtu është tashmë i njohur me konceptet themelore të AI gjeneruese. ajo që është më pak e dukshme, megjithatë, është se si ritmi i blistering i lëshimeve të modeleve të reja mbulon edhe përdoruesit më të zgjuar, për të mos përmendur ëndrrën e një sistemi magjik për të drejtuar me saktësi pyetjet në këtë ekosistem shpërthyese. Pse nuk mund të kemi këtë sistem magjik: sepse performanca është shumë subjektive, veçanërisht në skenarët ku ju jeni duke u përpjekur për të rregulluar një LLM me proceset tuaja të biznesit ose rrjedhat e punës. Merrni një shembull nga Digits, një platformë fintech që automatizon pyetjet e transaksioneve: Për kontrollet e bilancit rutinë, një model i lehtë si Claude 4.5 Haiku ofron përgjigje të mprehta, faktike në më pak se 50 fjalë; i përkryer për vëllime të larta, bileta mbështetje të ndjeshme në kohë ku shkurtësia trumbet përpunimin. Por për përshkallëzimin e mosmarrëveshjeve që përfshijnë mashtrimet e mundshme, i njëjti model bie në nivel (për ta) në empati, duke ting Deri më sot, shumica e sistemeve ekzistuese të drejtimit të LLM optimizohen për performancën e referencës akademike - si ose — që nuk pasqyrojnë gjykimet e çrregullta, subjektive dhe specifike të detyrave që përdoruesit dhe zhvilluesit bëjnë në aplikacionet e botës reale.Në botën reale, është më pak për rezultatet e referencës dhe më shumë për gjëra si saktësia specifike e domain-it, shpejtësia dhe përshtatja e preferencave. , një model i lehtë (1.5B parameter) i routing që ju lejon të kapni Preferencat për vendimet e modelit të routing MMU GPQA Routerë Tënde Routerë ‍ Ju definoni kategori intuitive të tilla si "rezervimi i udhëtimit" ose "redaktimi i imazhit", dhe Arch-Router drejton çdo pyetje në modelin që keni gjetur për të punuar më së miri - bazuar në përvojën dhe vlerësimin tuaj. ndryshe nga qasjet rigide të përshtatura me referencë, Arch-Router është transparent, i përshtatshëm për modelet e reja, dhe i shpejtë - duke klikuar në vetëm 50ms për vendim të drejtimit - ndërsa tejkalon edhe LLM-të e pronësisë si Claude Sonnet 3.7 dhe GPT-4o në vlerësimet tona mbi të dhënat reale të bisedës. ‍ What is Arch-Router? Si zhvillues, vetëm ju me të vërtetë e dini se cila LLM punon më së miri për rastin tuaj të përdorimit përmes përpjekjeve dhe gabimeve të panumërta.. ofron një qasje të re për drejtimin LLM, duke u fokusuar në preferencat praktike, subjektive - të tilla si ekspertiza në fushë (financë, kodim, mjekësi) ose veprime specifike (rezumimi, gjenerimi i imazheve). korniza e mbyll atë hendek duke ju lejuar të kodoni konceptin tuaj të "më të mirë". Kjo bën dy gjëra: Preference-aligned routing routing policy ‍ Shpërthen hapësirën e pyetjes në politika në nivelin e domain-it (p.sh., financat, mjekësia) dhe, kur është e nevojshme, në nivelin e veprimit më të hollë (p.sh., "summarize", "generate SQL"). Map çdo politikë në modelin e saktë që ju besoni për atë copë pune. ‍ LLM është një model me 1.5 miliardë parametra i ndërtuar rreth kësaj kornizë të përshtatur me preferencat. Në vend që të kodoni rregullat e vështira ose të mbështeteni në një router me kutinë e zezë, ju dorëzoni me Arch-Router politikën tuaj të routing dhe ajo bën pjesën tjetër. Pavarësisht nga madhësia e saj kompakte, modeli tejkalon LLM-të më të mëdhenj pronësorë nga familjet GPT-4o, Claude dhe Gemini. nën ndërsa LLMs konkurruese zakonisht shpenzojnë përafërsisht 1 s vetëm për të zgjedhur një rrugë (siç tregohet në figurën 1). Routerë 50ms (p50),  75ms (p99) Routerë ‍ How does it work? Arch-Router paraqet dy koncepte kryesore: Domain – kategoria tematike e nivelit të lartë ose tema e një kërkese (p.sh., ligjore, shëndetësore, programimi). Veprimi – lloji i veçantë i veprimit që përdoruesi dëshiron të kryejë (p.sh., përmbledhje, gjenerim kodi, rezervim takimi, përkthim). Të dy domenet dhe politikat e veprimit janë të lidhura me modelet e preferuara ose variantet e modelit. Në kohën e inferencës, Arch-Router analizon thirrjen e hyrjes për të përfunduar domenin dhe veprimin e tij duke përdorur ngjashmërinë semantik, treguesit e detyrave dhe shenjat kontekstuale. Pastaj aplikohet preferencat e udhëzimit të përcaktuara nga përdoruesi për të zgjedhur modelin më të përshtatshëm për të trajtuar kërkesën siç tregohet në figurën 2. Performance është i shpejtë dhe i saktë, duke zgjedhur një model pothuajse të menjëhershëm (50 ms) duke shënuar më shumë se LLM-të më të mira të pronësisë në performancën e routing.. Ajo përputhet me preferencat tuaja, individët ose ekipet e ndryshme mund të krijojnë politikat e tyre të routing në mënyrë që çdo pyetje të mbërrijë në modelin që ata besojnë më së shumti. Dhe mbetet fleksibël dhe i përshtatshëm: shihni një model të ri që dëshironi të provoni, ose shtoni një detyrë në produktin tuaj? thjesht përditësoni skedarin e politikës së routing dhe përdoreni atë - pa trajnime të shtrenjta, pa rindërtimin e tubacionit. Arch-Router ‍ 50ms kohën mesatare të routing (75ms në p99) Speed: 93.06% saktësi e drejtimit në referencën e dhënë Accuracy : $0.00132 për routing query Cost *: Routerët pronësorë mesatarisht 1000ms+ kohë routing me deri në $ 5 për routing query (GPT-4o) Comparison ‍ Ready to dive deeper? Ky blog post gërvisht si dhe çfarë të përdorni Arch-Router; historia e plotë jeton në stack tonë me burim të hapur: ‍ Postimi i kërkimit - Metodologjia e detajuar, referencat dhe studimet e ablacionit Koleksioni Arch-Router - Arch-Router-1.5B nga Hugging Face me gguf Arch: Një model-native proxy server për agjentët - të lëvizin më shpejt duke shkarkuar punën e plumbing në AI dhe të shpenzojnë më shumë kohë modelimin e fluksit të punës të biznesit në çdo gjuhë ose kornizë. Letër kërkimore Koleksioni i Arch-Router arkë ‍ Vizitoni magazinën tonë për udhëzime të zbatimit, kontribuoni përmirësime ose raportojmë çështje.Ne mirëpresim kontributet e komunitetit për të përparuar agjentët e bazuar në LLM. Dhe hey, nëse ju pëlqen ajo që kemi ndërtuar mos harroni për ⭐️ projektin.

Hot off the press! This story contains factual information about a recent event.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

Read My Stories

Kjo audio është prodhuar në gjuhën origjinale të tregimit!

HuggingFace zgjedh Arch (Router)

About Author

KOMENTE

VARUR TAGS

KY ARTIKU U PARAQIT NË

Related Stories

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps