Alat za pozivanje lokalnih AI agenata u C#

Alat je temeljni dio agencijske AI, uz ove osnovne sposobnosti: Dok su jezični modeli izvrsni u razumijevanju i generiranju teksta, alati proširuju svoje sposobnosti tako da im omogućuju interakciju s stvarnim svijetom: pretraživanje mreže za trenutne informacije, izvršavanje koda za izračune, pristupanje bazama podataka, čitanje datoteka ili povezivanje s vanjskim uslugama putem API-ja. Razmislite o alatima kao što su ruke i oči AI agenta. Oni pretvaraju razgovorni sustav u agenta koji može obaviti zadatke premještajem praznine između razmatranja i djelovanja. Kada agent treba provjeriti vrijeme, analizirati preglednik ili poslati e-poštu, on poziva na odgovarajući alat, prima rezultat i uključuje te informacije u svoj odgovor. Zainteresirani za to kako agenti zadržavaju i koriste kontekst tijekom vremena? . Agent sjećanja Zašto su lokalni agenti bili teški Izgradnja AI agenata koji zapravo mogu učiniti stvari lokalno bila je iznenađujuće teška. Modeli koji razumiju kada i kako nazvati vanjske funkcije Privatnost bez slanja podataka u oblak Runtime koji može analizirati pozive na alate, validirati argumente i ubrizgati rezultate Modeli specifični tokovi jer svaki model ima različite formate poziva alata i obrasce interakcije, što zahtijeva prilagođenu logiku za presretanje, ubrizgavanje rezultata i redoslijed djelovanja Sigurnosne kontrole kako bi se spriječili beskonačni krugovi i troškovi Jasna promatranost kako biste znali što vaš agent radi Do sada su većina agentičkih okvira prisiljavala na izbor: snažni agenti zasnovani na oblaku s problemima latencije i privatnosti, ili ograničeni lokalni modeli bez odgovarajuće podrške alatima. Zašto alat koji zove promjene sve Uz LM-Kitove nove mogućnosti pozivanja alata, vaši lokalni agenti mogu: Zemljišni odgovori u stvarnim podacima. Nema više haluciniranih vremenskih prognoza ili deviznih tečajeva. Agenti preuzimaju stvarne API odgovore i mogu citirati izvore. Kompleksni tokovi rada u lancu. Na primjer: provjerite vrijeme, pretvorite temperaturu u preferirane jedinice korisnika, a zatim predložite aktivnosti. Održavajte potpunu privatnost. Sve radi na uređaju. Upite korisnika, argumenti alata i rezultati nikada ne napuštaju svoje strojeve. Tipirane sheme, validirani unos, kontrole politika i odobrenja sprečavaju agente da kradu. Dodajte poslovne API-je, interne baze podataka ili vanjske MCP kataloge kao alate. Model uči kako ih koristiti iz opisa i shema. Što je novo na jedan pogled Modeli odlučuju kada pozvati alate, prosljeđuju strukturirane JSON argove i koriste rezultate kako bi korisnici točno odgovorili. Posebna potpora za protok modela u obiteljima modela kao što su Mistral, GPT-OSS, Qwen, Granite, LLaMA i još mnogo toga, sve kroz jedan runtime. Three ways to add tools: Implement ITool Annotate methods with [LMFunction] Import catalogs from MCP servers Ujedinjeni API koji pokreće lokalne SLM-ove s pravilima, stražarima i događajima za ljudski rad i promatranost u svakoj fazi. Jednostavne funkcije, višestruke funkcije, paralelne funkcije i paralelne višestruke funkcije, odaberite strogu sekvencu ili sigurnu paralelnost. Suvremeni SLM-ovi emitiraju strukturirane pozive na alate. LM-Kit analizira pozive, usmjerava ih na vaše alate i vraća rezultate s korelacijom i jasnim tipovima rezultata za pouzdanu potporu zaključivanju. Kako to funkcionira: Početak Evo cjelovitog primjera rada u manje od 20 redaka: using LMKit.Model; using LMKit.TextGeneration; using LMKit.Agents.Tools; using System.Text.Json; // 1) Load a local model from the catalog var model = LM.LoadFromModelID("gptoss:20b"); // OpenAI GPT-OSS 20B // Optional: confirm tool-calling capability if (!model.HasToolCalls) { /* choose a different model or fallback */ } // 2) Create a multi-turn conversation using var chat = new MultiTurnConversation(model); // 3) Register tools (see three options below) chat.Tools.Register(new WeatherTool()); // 4) Shape the behavior per turn chat.ToolPolicy.Choice = ToolChoice.Auto; // let the model decide chat.ToolPolicy.MaxCallsPerTurn = 3; // guard against loops // 5) Ask a question var reply = chat.Submit("Plan my weekend and check the weather in Toulouse."); Console.WriteLine(reply.Content); Katalog modela uključuje GPT-OSS i mnoge druge obitelji. možete povući imenovanu karticu kao Također možete provjeriti Prije nego što se oslonite na alate. LM.LoadFromModelID gptoss:20b HasToolCalls Vidi se Za pojedinosti Model kataloga dokumentacije Isprobajte ga sada: GitHub sample U uzorku konzole spremne za proizvodnju prikazuje se multi-turn chat s pozivanjem alata (valuta, vrijeme, pretvorba jedinice), pravilima za obradu, povratnim informacijama o napretku i posebnim zapovijedima. Create Multi-Turn Chatbot with Tools in .NET Applications Stvaranje višestrukog chatbota s alatima u .NET aplikacijama Tri načina za dodavanje alata 1) Implementacija ITool (potpuna kontrola) Najbolje kada trebate jasne ugovore i prilagođavanje. Ovaj članak pokazuje kako se primjenjuje Sljedeći članakKako se riješiti problema sa štitnjačom: Kako se riješiti problema sa štitnjačom ( , , ), analizira JSON args, pokreće vašu logiku i vraća strukturirani JSON modelu. ITool Name Description InputSchema public sealed class WeatherTool : ITool { public string Name => "get_weather"; public string Description => "Get current weather for a city. Returns temperature, conditions, and optional hourly forecast."; // JSON Schema defines expected arguments public string InputSchema => """ { "type": "object", "properties": { "city": {"type": "string", "description": "City name (e.g., 'Paris' or 'New York')"} }, "required": ["city"] } """; public async Task InvokeAsync(string arguments, CancellationToken ct = default) { // Parse the model's JSON arguments var city = JsonDocument.Parse(arguments).RootElement.GetProperty("city").GetString(); // Call your weather API var weatherData = await FetchWeatherAsync(city); // Return structured JSON the model can understand var result = new { city, temp_c = weatherData.Temp, conditions = weatherData.Conditions }; return JsonSerializer.Serialize(result); } } // Register it chat.Tools.Register(new WeatherTool()); Potpuna kontrola nad validacijom, async izvršenjem, upravljanjem pogreškama i formatiranjem rezultata. Why use ITool? 2) Anotirajte metode s [LMFunction] (brzo vezanje) Najbolje za brzo prototipiranje i jednostavne sinhronizirane alate. Što radi: Dodaj LM-Kit ih otkriva i otkriva svaku od njih kao , generiranje JSON sheme iz parametara metode. [LMFunction(name, description)] ITool Kako je vezano: reflektirati i vezati s ( ili / ), a zatim registrirajte dobivene alate putem . LMFunctionToolBinder.FromType () FromInstance FromAssembly chat.Tools.Register(...) public sealed class MyDomainTools { [LMFunction("search_docs", "Search internal documentation by keyword. Returns top 5 matches.")] public string SearchDocs(string query) { var results = _documentIndex.Search(query).Take(5); return JsonSerializer.Serialize(new { hits = results }); } [LMFunction("get_user_info", "Retrieve user profile and preferences.")] public string GetUserInfo(int userId) { var user = _database.GetUser(userId); return JsonSerializer.Serialize(user); } } // Automatically scan and register all annotated methods var tools = LMFunctionToolBinder.FromType (); chat.Tools.Register(tools); Sljedeći Članak Manje boilerplate. generira sheme iz tipova parametara i registrira sve u jednoj liniji. Why use [LMFunction]? Vezači Uvoz MCP kataloga (vanjske usluge) Najbolje za povezivanje s ekosustavima alata treće strane putem Modela Kontekstnog protokola. Što radi: Koristi da biste uspostavili JSON-RPC sesiju s MCP serverom, preuzmite njegov katalog alata i prilagodite te alate tako da ih vaš agent može nazvati. mcpklijenti Kako to učiniti: stvaranje (opcionalno postaviti nositelj tokena), a zatim za uvoz kataloga; LM-Kit upravlja , Sljedeći članakPovratak i nastavak sjednice. new McpClient(uri, httpClient) chat.Tools.Register(mcp, overwrite: false) tools/list tools/call using LMKit.Mcp.Client; // Connect to an MCP server var mcp = new McpClient( new Uri("https://mcp.example.com/api"), new HttpClient() ); // Import all available tools from the server int toolCount = chat.Tools.Register(mcp, overwrite: false); Console.WriteLine($"Imported {toolCount} tools from MCP server"); Instantni pristup katalogima kuriranih alata. poslužitelj rješava i preko JSON-RPC; LM-Kit validira sheme lokalno. Why use MCP? tools/list tools/call ovo . McpClient dokumentacija Načini izvršenja koji odgovaraju vašem toku rada Odaberite pravu politiku za svaki razgovor: Jednostavna funkcija Jedan alat, jedan odgovor chat.ToolPolicy.MaxCallsPerTurn = 1; chat.ToolPolicy.Choice = ToolChoice.Required; // force at least one call "What is the weather in Tokyo?" calls Jednom i odgovori. Example: get_weather višestruke funkcije Uređaji lanca sekvencijalno. chat.ToolPolicy.MaxCallsPerTurn = 5; chat.ToolPolicy.Choice = ToolChoice.Auto; "Prenesite 75 stupnjeva na Celzijus, a zatim mi recite trebam li jaknu." Example: Poziva conver_temperature(75, "F", "C") i dobiva 23.9°C Poziva get_weather („current_location”) i dobiva uvjete Sintezira odgovor: "To je 24 ° C i sunčano. lagana jakna bi trebala biti u redu." Paralelne funkcije Koristite više alata istodobno. chat.ToolPolicy.AllowParallelCalls = true; chat.ToolPolicy.MaxCallsPerTurn = 10; "Usporedite vrijeme u Parizu, Londonu i Berlinu." Example: Pozivi get_weather("Paris"), get_weather("London"), get_weather("Berlin") istodobno Čeka na sve rezultate, usporedbe i odgovore Uključite samo ako su vaši alati idempotentni i sigurni. Paralelne višestruke funkcije Kombinacija lanca i paralelizma. Provjerite vrijeme u 3 grada, pretvorite sve vremenske uvjete u Fahrenheit i preporučite koje posjetiti. Example: Paralelno: zabilježi vrijeme za 3 grada Parallel: converts all temperatures Sekvencijalno: preporuke na temelju rezultata ovo Sve opcije uključujući i Podrazumijevanje je konzervativno: paralelno isključeno, max pozivi ograničeni. ToolCallPolicy dokumentacija ToolChoice.Specific ForcedToolName Sigurnost, kontrola i promatranost Političke kontrole Configure safe defaults and per-turn limits. See . ToolCallPolicy dokumentacija chat.ToolPolicy = new ToolCallPolicy { Choice = ToolChoice.Auto, // let model decide MaxCallsPerTurn = 3, // prevent runaway loops AllowParallelCalls = false, // safe default: sequential only // Optional: force a specific tool first // Choice = ToolChoice.Specific, // ForcedToolName = "authenticate_user" }; Čovjek u krugu Pregled, odobravanje ili blokiranje izvršenja alata. , , , . Prijevremeni poziv Posljednji poziv BeforeTokenSampling sjećanje // Approve tool calls before execution chat.BeforeToolInvocation += (sender, e) => { Console.WriteLine($"About to call: {e.ToolCall.Name}"); Console.WriteLine($" Arguments: {e.ToolCall.ArgumentsJson}"); // Block sensitive operations if (e.ToolCall.Name == "delete_user" && !UserHasApproved()) { e.Cancel = true; Console.WriteLine(" Blocked by policy"); } }; // Audit results after execution chat.AfterToolInvocation += (sender, e) => { var result = e.ToolCallResult; Console.WriteLine($"{result.ToolName} completed"); Console.WriteLine($" Status: {result.Type}"); Console.WriteLine($" Result: {result.ResultJson}"); _telemetry.LogToolCall(result); // send to monitoring }; // Override token sampling in real time chat.BeforeTokenSampling += (sender, e) => { if (_needsDeterministicOutput) e.Sampling.Temperature = 0.1f; }; // Control memory injection chat.MemoryRecall += (sender, e) => { Console.WriteLine($"Injecting memory: {e.Text.Substring(0, 50)}..."); // e.Cancel = true; // optionally cancel }; Strukturirani protok podataka Svaki poziv teče kroz tipkovanu cijev za reproduciranje i jasne dnevnike. Ulazni: ToolCall sa stabilnim idom i ArgumentsJson. Izlazak: ToolCallResult s ToolCallId, ToolName, ResultJson i tipom (uspjeh ili pogreška). Pokušajte: Multi-Turn Chat Sample Stvaranje višestrukog chatbota s alatima u .NET aplikacijama Demonstracije Agentički poziv na alat: tijekom razgovora, model može odlučiti nazvati jedan ili više alata kako bi prikupio podatke ili pokrenuo izračune, prenijeti JSON argumente koji odgovaraju potrebama svakog alata , i upotrijebite JSON rezultat svakog alata za proizvodnju utemeljenog odgovora uz očuvanje punog multi-turn konteksta. i upravljaju registarom; ponašanje je oblikovano putem . Purpose: Knjiga LM-Kit.NET InputSchema ITool ToolChoice Why tools in chatbots? Reliable, source-backed answers (weather, FX, conversions, business APIs). Agentic chaining: call several tools in one turn and combine results. Determinizam i sigurnost: tipirane sheme, jasni načini neuspjeha, kontrola politika. Extensibility: implementirati ITool za logiku domena; držati kod audibilan. Učinkovitost: matematika / pogled na alate; držite model usredotočen na razmatranje. Timovi proizvoda i platformi; DevOps i interni alati; B2B aplikacije; edukatori i demovi. Target audience: Aktivni odgovori, determinističke konverzije / citat, multi-turn memorija, jednostavna proširenost. Problem solved: Sample app: Lets you choose a local model (or a custom URI) Registruje tri alata (valuta, vrijeme, konverzija jedinica) Pokreće multi-turn chat gdje model odlučuje kada nazvati alate Prints generation stats (tokens, stop reason, speed, context usage) Key features: Korištenje JSON argumenata Full dialogue memory Povratne informacije o napretku (download/load bars) Posebne zapovijedi: /reset, /continue, /regenerate Više poziva na alate po krugu (i preko kruga) Ugrađeni instrumenti Tool name Purpose Online? Notes convert_currency ECB rates via Frankfurter (latest or historical) plus optional trend Yes No API key; business days; rounding and date support get_weather Open-Meteo current weather plus optional short hourly forecast Yes No API key; geocoding plus metric/us/si convert_units Offline conversions (length, mass, temperature, speed, etc.) No Temperature is non-linear; can list supported units convert_currency Kamatne stope ECB-a preko Frankfurter (posljednje ili povijesne) plus opcijski trend da Nema API ključa; poslovni dani; zaokruživanje i potpora datuma get_weather Open-Meteo trenutna vremenska prognoza plus opcijalna kratkotrajna vremenska prognoza da No API key; geocoding plus metric/us/si convert_units Konverzije izvan mreže (dužina, masa, temperatura, brzina itd.) Ne Temperatura je nelinearna; može popisati podržane jedinice Instrumenti za provedbu : u , , (JSON shema) i Povratak na JSON. ITool Name Description InputSchema InvokeAsync(string json) Extend with your own tool: chat.Tools.Register(new MyCustomTool()); // implements ITool Use unique, stable, lowercase Imena imena. snake_case Supported Models (Pick per Hardware) Mistral Nemo 2407 12.2B (oko 7,7 GB VRAM) Meta Llama 3.1 8B (oko 6 GB VRAM) Google Gemma 3 4B Medium (around 4 GB VRAM) Microsoft Phi-4 Mini 3.82B (around 3.3 GB VRAM) Alibaba Qwen-3 8B (oko 5,6 GB VRAM) Microsoft Phi-4 14.7B (oko 11 GB VRAM) IBM Granite 4 7B (oko 6 GB VRAM) Open-AI GPT-OSS 20B (oko 16 GB VRAM) Or provide a custom model URI (GGUF/LMK) zapovijedi /reset - čisti razgovor /Continue - nastaviti posljednju poruku pomoćnika /regenerate - novi odgovor za ulaz posljednjeg korisnika Primjer brzine "Convert 125 USD to EUR and show a 7-day trend." "Vrijeme u Bjelovaru sljedećih 6 sati (metrično)." "Konvertirati 65 mph na km/h." / "Pisati jedinice tlaka." "Sada 75 ° F do ° C, a zatim 2 km do milja." Politika i ponašanje (brza referenca) Pravilnik o odabiru alata: Privremeno uzorak omogućuje modelu da odluči (ToolChoice.Auto). Možete zahtijevati / zabraniti / prisiliti određeni alat po krugu. Više poziva na alate: Podržava nekoliko poziva na alate po krugu; izlazi se ubrizgavaju natrag u kontekst. Precizni InputSchema plus sažetak Opis poboljšati konstrukciju argumenta. Mreža: Valuta i vrijeme zahtijevaju internet; pretvorba jedinica je van mreže. Greške: Jasne iznimke za nevažeće unose (jedinice, datumi, lokacije). Početak .NET Framework 4.6.2 ili .NET 6.0 Prerequisites: Download: git clone https://github.com/LM-Kit/lm-kit-net-samples.git cd lm-kit-net-samples/console_net/multi_turn_chat_with_tools Run: dotnet build dotnet run Zatim odaberite model ili prilepite prilagođeni URI. Razgovarajte prirodno; pomoćnik će nazvati jedan ili više alata prema potrebi. , , U svakom trenutku. /reset /continue /regenerate Project link: GitHub repozitorij Complete Example: All Three Integration Paths // Load a capable local model var model = LM.LoadFromModelID("gptoss:20b"); using var chat = new MultiTurnConversation(model); // 1) ITool implementation chat.Tools.Register(new WeatherTool()); // 2) LMFunctionAttribute methods var tools = LMFunctionToolBinder.FromType (); chat.Tools.Register(tools); // 3) MCP import var mcp = new McpClient(new Uri("https://mcp.example/api"), new HttpClient()); chat.Tools.Register(mcp); // Safety and behavior chat.ToolPolicy = new ToolCallPolicy { Choice = ToolChoice.Auto, MaxCallsPerTurn = 3, // AllowParallelCalls = true // enable only if tools are idempotent }; // Human-in-the-loop chat.BeforeToolInvocation += (_, e) => { /* approve or cancel */ }; chat.AfterToolInvocation += (_, e) => { /* log results */ }; // Run var answer = chat.Submit( "Find 3 relevant docs for 'safety policy' and summarize."); Console.WriteLine(answer.Content); Why Go Local with LM-Kit? Cloud Agent Frameworks – okviri za agente u oblaku No per-token charges. Run unlimited conversations. Zero API costs: Potpuna privatnost: korisnički podaci nikada ne napuštaju uređaj. GDPR/HIPAA prijateljski. Sub-100ms latentnost: Lokalna inferencija potpuno eliminira mrežne okrugle putovanja. Rad offline: Agenti djeluju bez internetske povezanosti. Scale to millions of requests without throttling. No rate limits: Potpuna kontrola: Vlasnik stakla. bez zaključavanja dobavljača ili API deprekacija. Osnovno prompt inženjerstvo Sigurne sheme tipa: validacija JSON sheme uhvaća loše argumente prije izvršenja. Deterministički rezultati: Jasna stanja uspjeha / pogreške, a ne krhka analiza regexa. Run multiple tools concurrently when safe. Parallel execution: Potpuna promatranost: Strukturirani događaji u svakoj fazi, a ne arheologija. Ugovori koji se mogu testirati: alat za mock, rezultati ubrizgavanja, razgovori za ponavljanje. Granice pogreške: milosrdni neuspjesi s logikom ponovnog rješavanja i zamke. vs. Manual Function Calling Model odlučuje: Agent samostalno odabire alate i argumente, bez krhkih ako/else lanaca. Automatsko lančenje: nekoliko poziva alata po krugu, rezultati se automatski vraćaju. 90% manje boilerplate: Registracija alata jednom, a ne po modelu ili po prompt. Loop prevention, max-calls limits, approval hooks out of the box. Built-in safety: Same code works across Mistral, LLaMA, Qwen, Granite, GPT-OSS. Model-agnostic API: Progresivno poboljšanje: Dodavanje alata bez refaktoriranja logike razgovora. Performance i ograničenja Očekivanja za performanse Overhead invokiranje alata: Oko 2 do 5 ms po pozivu (parsing plus validacija) Mrežni alati: 50 do 500 ms ovisno o API-ju Less than 1 ms Local tools: Model inferencija ostaje primarni faktor latentnosti. zahtjevi Models must support tool calling (check ). HasToolCalls Mrežno ovisni alati zahtijevaju internetsku povezanost. Parallel execution requires thread-safe, idempotent tools. Preporučena GPU memorija: 6 do 16 GB VRAM-a ovisno o veličini modela. Known Limitations Kvaliteta odabira alata ovisi o jasnim opisima i shemama. Složeni objekti u argumentima mogu zbuniti manje modele. Vrlo dugi lanac alata (više od 10 poziva) može nadmašiti kontekstne prozore. Spremni za izgradnju? Clone the sample git clone https://github.com/LM-Kit/lm-kit-net-samples.git cd lm-kit-net-samples/console_net/multi_turn_chat_with_tools Pick your integration approach Need full control? Use ITool Prototyping quickly? Use [LMFunction] Using external catalogs? Use McpClient Replace demo tools with your APIs, databases, or business logic. Add your domain logic Set policies that fit your use case Simple lookups: MaxCallsPerTurn = 1 Complex workflows: with approval hooks MaxCallsPerTurn = 10 On-device. Private. Reliable. Observable. Ship agents that actually work Počnite graditi agencijske tokove rada koji poštuju privatnost korisnika, rade bilo gdje i ostaju pod vašom kontrolom.

Alat za pozivanje lokalnih AI agenata u C#

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps