Инструмент для вызова местных агентов ИИ в C#

Инструменты являются фундаментальной частью агентского ИИ, наряду с этими основными возможностями: В то время как языковые модели преуспевают в понимании и генерировании текста, инструменты расширяют свои возможности, позволяя им взаимодействовать с реальным миром: поиск в Интернете для текущей информации, выполнение кода для расчетов, доступ к базам данных, чтение файлов или подключение к внешним услугам через API. Подумайте о инструментах, таких как руки и глаза агента ИИ. Они преобразуют разговорную систему в агента, который может выполнять задачи, перекрывая разрыв между рассуждениями и действиями. Когда агенту нужно проверить погоду, проанализировать таблицу или отправить электронную почту, он призывает соответствующий инструмент, получает результат и включает эту информацию в свой ответ. Вас интересует, как агенты сохраняют и используют контекст с течением времени? . Агент памяти Почему местные агенты были жесткими Создание агентов ИИ, которые действительно могут делать вещи локально, было удивительно трудно. Модели, которые понимают, когда и как вызывать внешние функции Конфиденциальность без отправки данных в облако Время выполнения, которое может анализировать вызовы инструментов, подтверждать аргументы и вводить результаты Модель-специфические потоки, потому что каждая модель имеет разные форматы вызова инструментов и шаблоны взаимодействия, требующие индивидуальной логики для перехвата, впрыска результатов и порядка действий Контроль безопасности для предотвращения бесконечных кругов и убытков Ясная наблюдательность, чтобы вы знали, что делает ваш агент До сих пор большинство агентских рамок вынуждали выбирать: мощные агенты на основе облака с проблемами задержки и конфиденциальности, или ограниченные локальные модели без надлежащей поддержки инструментов. Почему инструмент, называющий изменениями, меняет все Благодаря новым возможностям вызова инструментов LM-Kit ваши местные агенты могут: Нет больше галлюцинированных прогнозов погоды или обменных курсов. Агенты получают реальные ответы API и могут ссылаться на источники. For example: check the weather, convert temperature to the user's preferred units, then suggest activities. All in one conversational turn. Chain complex workflows. Поддерживайте полную конфиденциальность.Все работает на устройстве.Запросы пользователей, аргументы инструментов и результаты никогда не покидают их машины. Оставайтесь детерминистскими и безопасными.Записанные схемы, валидированные входы, контроль политики и схемы одобрения предотвращают злоумышленников. Добавьте бизнес-API, внутренние базы данных или внешние каталоги MCP в качестве инструментов. Что нового на один взгляд Модели решают, когда вызывать инструменты, передают структурированные аргументы JSON и используют результаты для точного ответа пользователей. Специальная поддержка потоков в таких семействах моделей, как Mistral, GPT-OSS, Qwen, Granite, LLaMA и многое другое, все через один рабочий день. Three ways to add tools: Implement ITool Annotate methods with [LMFunction] Import catalogs from MCP servers Унифицированный API, который запускает локальные SLM с политикой, охраняемыми рельсами и событиями для человека и наблюдаемости на каждом этапе. Все режимы вызова функций поддерживаются.Простая функция, многофункция, параллельная функция и параллельная многофункция, выберите строгое секвенирование или безопасную параллельность. Современные SLM выпускают структурированные вызовы инструментов. LM-Kit анализирует вызовы, маршрутизирует их к вашим инструментам и подает результаты обратно с корреляцией и четкими типами результатов для надежного пути вывода. Как это работает: начинать Вот полный пример работы в 20 строках: using LMKit.Model; using LMKit.TextGeneration; using LMKit.Agents.Tools; using System.Text.Json; // 1) Load a local model from the catalog var model = LM.LoadFromModelID("gptoss:20b"); // OpenAI GPT-OSS 20B // Optional: confirm tool-calling capability if (!model.HasToolCalls) { /* choose a different model or fallback */ } // 2) Create a multi-turn conversation using var chat = new MultiTurnConversation(model); // 3) Register tools (see three options below) chat.Tools.Register(new WeatherTool()); // 4) Shape the behavior per turn chat.ToolPolicy.Choice = ToolChoice.Auto; // let the model decide chat.ToolPolicy.MaxCallsPerTurn = 3; // guard against loops // 5) Ask a question var reply = chat.Submit("Plan my weekend and check the weather in Toulouse."); Console.WriteLine(reply.Content); Каталог моделей включает GPT-OSS и многие другие семейства. позволяет вытащить названную карточку, как Вы также можете проверить Прежде чем полагаться на инструменты. LM.LoadFromModelID gptoss:20b HasToolCalls Смотреть The Для деталей . Модель каталога документации Попробуйте сейчас: GitHub sample Образец готовой к производству консоли демонстрирует многоступенчатый чат с вызовом инструментов (валюта, погода, конверсия единицы), правила для каждого поворота, обратную связь о прогрессе и специальные команды. Create Multi-Turn Chatbot with Tools in .NET Applications Создание многоуровневого чат-бота с помощью инструментов в приложениях .NET Три способа добавить инструменты Внедрение ITool (полный контроль) Лучше всего, когда вам нужны четкие контракты и индивидуальная валидация. Данный снимок демонстрирует реализацию С помощью интерфейса LLM можно напрямую вызвать ваш инструмент. , , ), анализирует JSON args, запускает логику и возвращает структурированный JSON к модели. ITool Name Description InputSchema public sealed class WeatherTool : ITool { public string Name => "get_weather"; public string Description => "Get current weather for a city. Returns temperature, conditions, and optional hourly forecast."; // JSON Schema defines expected arguments public string InputSchema => """ { "type": "object", "properties": { "city": {"type": "string", "description": "City name (e.g., 'Paris' or 'New York')"} }, "required": ["city"] } """; public async Task InvokeAsync(string arguments, CancellationToken ct = default) { // Parse the model's JSON arguments var city = JsonDocument.Parse(arguments).RootElement.GetProperty("city").GetString(); // Call your weather API var weatherData = await FetchWeatherAsync(city); // Return structured JSON the model can understand var result = new { city, temp_c = weatherData.Temp, conditions = weatherData.Conditions }; return JsonSerializer.Serialize(result); } } // Register it chat.Tools.Register(new WeatherTool()); Полный контроль над валидацией, асинхронным выполнением, обработкой ошибок и форматированием результатов. Why use ITool? 2) Анотируйте методы с помощью [LMFunction] (быстрая связь) Лучше всего для быстрого прототипирования и простых синхронных инструментов. Что это такое: Добавить LM-Kit обнаруживает их и раскрывает каждую из них как , генерируя схему JSON из параметров метода. [LMFunction(name, description)] ITool Как это связано: отражать и связывать с (или / ), а затем зарегистрировать полученные инструменты через . LMFunctionToolBinder.FromType () FromInstance FromAssembly chat.Tools.Register(...) public sealed class MyDomainTools { [LMFunction("search_docs", "Search internal documentation by keyword. Returns top 5 matches.")] public string SearchDocs(string query) { var results = _documentIndex.Search(query).Take(5); return JsonSerializer.Serialize(new { hits = results }); } [LMFunction("get_user_info", "Retrieve user profile and preferences.")] public string GetUserInfo(int userId) { var user = _database.GetUser(userId); return JsonSerializer.Serialize(user); } } // Automatically scan and register all annotated methods var tools = LMFunctionToolBinder.FromType (); chat.Tools.Register(tools); Меньше кофейных изделий. → генерирует схемы из типов параметров и регистрирует все в одной строке. Why use [LMFunction]? Взять Импорт каталогов MCP (Внешние услуги) Лучше всего подходит для подключения к экосистемам сторонних инструментов через протокол модели контекста. Что он делает: использует Чтобы установить сеанс JSON-RPC с сервером MCP, возьмите его каталог инструментов и адаптируйте эти инструменты, чтобы ваш агент мог их вызвать. МакКлиент Как это работает: Создать (опционально установить токен носителя), а затем для импорта каталога; LM-Kit управляет , Ремиссии и постоянство сеанса. new McpClient(uri, httpClient) chat.Tools.Register(mcp, overwrite: false) tools/list tools/call using LMKit.Mcp.Client; // Connect to an MCP server var mcp = new McpClient( new Uri("https://mcp.example.com/api"), new HttpClient() ); // Import all available tools from the server int toolCount = chat.Tools.Register(mcp, overwrite: false); Console.WriteLine($"Imported {toolCount} tools from MCP server"); мгновенный доступ к каталогам курируемых инструментов. сервер обрабатывает and через JSON-RPC; LM-Kit валидирует схемы локально. Why use MCP? tools/list tools/call это . Документация mcpclient Режимы выполнения, которые соответствуют вашему рабочему процессу Выберите правильную политику для каждого разговора: Простая функция Один инструмент, один ответ chat.ToolPolicy.MaxCallsPerTurn = 1; chat.ToolPolicy.Choice = ToolChoice.Required; // force at least one call «Какая погода в Токио?» звонит Один раз и ответы. Example: get_weather Многофункциональная Цепные инструменты последовательно. chat.ToolPolicy.MaxCallsPerTurn = 5; chat.ToolPolicy.Choice = ToolChoice.Auto; «Переведи 75 градусов Цельсия, а потом скажи мне, нужна ли мне куртка». Example: Называет convert_temperature(75, «F», «C») и получает 23.9°C Вызывает get_weather («текущее местонахождение») и получает условия Синтезирует ответ: «Это 24°C и солнечно. легкая куртка должна быть хорошей». Параллельная функция Используйте несколько инструментов одновременно. chat.ToolPolicy.AllowParallelCalls = true; chat.ToolPolicy.MaxCallsPerTurn = 10; «Сравните погоду в Париже, Лондоне и Берлине». Example: Вызовы get_weather(«Париж»), get_weather(«Лондон»), get_weather(«Берлин») одновременно В ожидании всех результатов, сравнений и ответов Включите только в том случае, если ваши инструменты являются идеальными и безопасными. Параллельная многофункциональность Сочетание цепи и параллелизма. «Проверьте погоду в трех городах, конвертируйте все времена в Фаренгейт и рекомендуйте, какие именно посетить». Example: Параллельно: погодные условия для 3 городов Параллельно: преобразует все температуры Sequential: рекомендации, основанные на результатах это for all options including и По умолчанию консервативные: параллельно отключены, max звонки ограничены. Документация ToolCallPolicy ToolChoice.Specific ForcedToolName Безопасность, контроль и наблюдаемость Policy Controls Настройка безопасных по умолчанию и пределов на поворот. см. . ToolCallPolicy documentation chat.ToolPolicy = new ToolCallPolicy { Choice = ToolChoice.Auto, // let model decide MaxCallsPerTurn = 3, // prevent runaway loops AllowParallelCalls = false, // safe default: sequential only // Optional: force a specific tool first // Choice = ToolChoice.Specific, // ForcedToolName = "authenticate_user" }; Human in the Loop Обзор, утверждение или блокирование выполнения инструмента. , , , . Предупреждение AfterToolПризыв Предупреждение Мемориал // Approve tool calls before execution chat.BeforeToolInvocation += (sender, e) => { Console.WriteLine($"About to call: {e.ToolCall.Name}"); Console.WriteLine($" Arguments: {e.ToolCall.ArgumentsJson}"); // Block sensitive operations if (e.ToolCall.Name == "delete_user" && !UserHasApproved()) { e.Cancel = true; Console.WriteLine(" Blocked by policy"); } }; // Audit results after execution chat.AfterToolInvocation += (sender, e) => { var result = e.ToolCallResult; Console.WriteLine($"{result.ToolName} completed"); Console.WriteLine($" Status: {result.Type}"); Console.WriteLine($" Result: {result.ResultJson}"); _telemetry.LogToolCall(result); // send to monitoring }; // Override token sampling in real time chat.BeforeTokenSampling += (sender, e) => { if (_needsDeterministicOutput) e.Sampling.Temperature = 0.1f; }; // Control memory injection chat.MemoryRecall += (sender, e) => { Console.WriteLine($"Injecting memory: {e.Text.Substring(0, 50)}..."); // e.Cancel = true; // optionally cancel }; Structured Data Flow Каждый звонок протекает через типированный трубопровод для воспроизводимости и четких журналов. Входящий: ToolCall с стабильным id и ArgumentsJson. Выходящие: ToolCallResult с ToolCallId, ToolName, ResultJson и Type (успех или ошибка). Попробуйте: Образец чата с несколькими поворотами Создание многоуровневого чат-бота с помощью инструментов в приложениях .NET Демонстрация Агентский вызов инструментов: во время разговора модель может решить вызвать один или несколько инструментов для получения данных или выполнения вычислений, передать JSON-аргументы, которые соответствуют требованиям каждого инструмента. , и использовать результат JSON каждого инструмента для получения заземленного ответа при сохранении полного контекста с несколькими поворотами. и управляются реестром; по своему поведению он формируется через . Purpose: Описание LM-Kit.NET InputSchema ITool ToolChoice Why tools in chatbots? Надежные, исходные ответы (погода, FX, конверсии, бизнес API). Агентская цепь: вызовите несколько инструментов в один оборот и объедините результаты. Детерминизм и безопасность: типированные схемы, четкие режимы сбоев, контроль политики. Расширяемость: внедрение ITool для логики домена; сохранение аудита кода. Эффективность: выгрузка математики / взглядов на инструменты; сосредоточение модели на рассуждении. Группы продуктов и платформ; DevOps и внутренние инструменты; приложения B2B; преподаватели и демонстрации. Target audience: Действующие ответы, детерминистские конверсии / цитаты, память с несколькими поворотами, легкая расширяемость. Problem solved: Sample app: Позволяет выбрать локальную модель (или пользовательский URI) Регистрирует три инструмента (валюта, погода, конвертация единиц) Запускает чат с несколькими поворотами, где модель решает, когда вызывать инструменты Статистика генерации (токены, причина остановки, скорость, контекстное использование) Key features: Инструмент для вызова с помощью аргументов JSON Полная диалоговая память Прогресс обратной связи (скачки загрузки / загрузки) Специальные команды: /reset, /continue, /regenerate Многочисленные вызовы инструментов за оборот (и через обороты) Встроенные инструменты Tool name Purpose Online? Notes convert_currency ECB rates via Frankfurter (latest or historical) plus optional trend Yes No API key; business days; rounding and date support get_weather Open-Meteo current weather plus optional short hourly forecast Yes No API key; geocoding plus metric/us/si convert_units Offline conversions (length, mass, temperature, speed, etc.) No Temperature is non-linear; can list supported units convert_currency Цены ЕЦБ через Франкфуртер (последний или исторический) плюс опциональная тенденция Да да Нет ключа API; рабочие дни; поддержка округления и даты get_weather Open-Meteo текущая погода плюс опциональный кратковременный прогноз Да да Нет ключа API; геокодирование плюс метрический/us/si convert_units Конверсии вне сети (длина, масса, температура, скорость и т.д.) No Температура нелинейна; может перечислять поддерживаемые единицы Использование инструментов : → , , (Схема JSON) и Вернуться в JSON. ITool Name Description InputSchema InvokeAsync(string json) Extend with your own tool: chat.Tools.Register(new MyCustomTool()); // implements ITool Уникальный, стабильный и низкий Названия . snake_case Поддерживаемые модели (выбирайте по оборудованию) Mistral Nemo 2407 12.2B (около 7.7 ГБ VRAM) Meta Llama 3.1 8B (around 6 GB VRAM) Google Gemma 3 4B Medium (around 4 GB VRAM) Microsoft Phi-4 Mini 3.82B (около 3,3 ГБ VRAM) Alibaba Qwen-3 8B (около 5.6 ГБ VRAM) Microsoft Phi-4 14.7B (около 11 ГБ VRAM) IBM Granite 4 7B (около 6 ГБ VRAM) Open-AI GPT-OSS 20B (около 16 ГБ VRAM) Или предоставить пользовательскую модель URI (GGUF/LMK) Команды - clear conversation /reset /continue - продолжить последнее сообщение помощника /regenerate - новый ответ для ввода последнего пользователя Пример быстрого «Конвертируйте USD 125 в EUR и покажите 7-дневную тенденцию». "Weather in Toulouse next 6 hours (metric)." «Перевести 65 миль в час в км/ч». / «Единицы давления списка». «Сейчас 75 °F до °C, затем 2 км до миль». Поведение и политика (быстрая ссылка) Политика отбора инструментов: по умолчанию выборка позволяет модели решать (ToolChoice.Auto). Вы можете требовать / запрещать / принуждать конкретный инструмент за оборот. Многочисленные вызовы инструментов: поддерживает несколько вызовов инструментов за оборот; выходы вводятся обратно в контекст. Суть схем: Точная схема ввода плюс краткое описание улучшают конструкцию аргументов. Сеть: Валюта и погода требуют интернета; конвертация единиц является оффлайн. Ошибки: Ясные исключения для недействительных входов (единицы, даты, места). Начать начинать .NET Framework 4.6.2 или .NET 6.0 Prerequisites: Download: git clone https://github.com/LM-Kit/lm-kit-net-samples.git cd lm-kit-net-samples/console_net/multi_turn_chat_with_tools Run: dotnet build dotnet run Затем выберите модель или вставьте пользовательский URI. Беседуйте естественным образом; помощник вызовет один или несколько инструментов по мере необходимости. , , В любое время. /reset /continue /regenerate Project link: Репозиторий GitHub Полный пример: все три пути интеграции // Load a capable local model var model = LM.LoadFromModelID("gptoss:20b"); using var chat = new MultiTurnConversation(model); // 1) ITool implementation chat.Tools.Register(new WeatherTool()); // 2) LMFunctionAttribute methods var tools = LMFunctionToolBinder.FromType (); chat.Tools.Register(tools); // 3) MCP import var mcp = new McpClient(new Uri("https://mcp.example/api"), new HttpClient()); chat.Tools.Register(mcp); // Safety and behavior chat.ToolPolicy = new ToolCallPolicy { Choice = ToolChoice.Auto, MaxCallsPerTurn = 3, // AllowParallelCalls = true // enable only if tools are idempotent }; // Human-in-the-loop chat.BeforeToolInvocation += (_, e) => { /* approve or cancel */ }; chat.AfterToolInvocation += (_, e) => { /* log results */ }; // Run var answer = chat.Submit( "Find 3 relevant docs for 'safety policy' and summarize."); Console.WriteLine(answer.Content); Почему стоит воспользоваться LM-Kit? Название: Cloud Agent Frameworks Нулевая стоимость API: Нет сборов за токен. Запускайте неограниченные разговоры. Полная конфиденциальность: данные пользователя никогда не покидают устройство. GDPR / HIPAA дружелюбный. Local inference eliminates network roundtrips entirely. Sub-100ms latency: Работает оффлайн: Агенты работают без подключения к Интернету. Нет ограничений по ставкам: масштабируйте до миллионов запросов, не забивая. Own the stack. No vendor lock-in or API deprecations. Full control: Инженерия Basic Prompt Engineering Безопасные схемы типа: валидация JSON Schema улавливает плохие аргументы перед выполнением. Детерминистические результаты: четкие состояния успеха/ошибки, а не хрупкое регекс-анализ. Параллельное выполнение: запуск нескольких инструментов одновременно, когда безопасно. Полная наблюдаемость: структурированные события на каждом этапе, а не археология. Тестируемые контракты: инструменты высмеивания, ввод результатов, воспроизведение разговоров. Graceful failures with retry logic and fallbacks. Error boundaries: Мануальная функция Calling Модель решает: агент самостоятельно выбирает инструменты и аргументы, без хрупких if/else цепей. Автомобильная цепочка: несколько вызовов инструментов за раз, результаты возвращаются автоматически. 90% меньше котлов: Зарегистрируйте инструменты один раз, а не по модели или по запросу. Встроенная безопасность: предотвращение замыканий, ограничения максимальных вызовов, схемы одобрения из коробки. Модель-агностический API: тот же код работает в Mistral, LLaMA, Qwen, Granite, GPT-OSS. Прогрессивное усовершенствование: добавление инструментов без переосмысления логики разговора. Перформансы и ограничения Ожидания по результатам Название инструмента сверху: Около 2 до 5 мс за вызов (парасинг плюс валидация) Сетевые инструменты: от 50 до 500 мс в зависимости от API Местные инструменты: менее 1 мс Модель вывода остается основным фактором латентности. Требования Модели должны поддерживать вызов инструментов (проверьте HasToolCalls). Сетевозависимые инструменты требуют подключения к Интернету. Parallel execution requires thread-safe, idempotent tools. Recommended GPU memory: 6 to 16 GB VRAM depending on model size. Известные ограничения Tool selection quality depends on clear descriptions and schemas. Сложные объекты, встроенные в аргументы, могут путать более мелкие модели. Очень длинные цепочки инструментов (более 10 вызовов) могут превышать контекстные окна. Готовы к строительству? Clone the sample git clone https://github.com/LM-Kit/lm-kit-net-samples.git cd lm-kit-net-samples/console_net/multi_turn_chat_with_tools Pick your integration approach Need full control? Use ITool Prototyping quickly? Use [LMFunction] Using external catalogs? Use McpClient Replace demo tools with your APIs, databases, or business logic. Add your domain logic Set policies that fit your use case Simple lookups: MaxCallsPerTurn = 1 Complex workflows: with approval hooks MaxCallsPerTurn = 10 On-device. Private. Reliable. Observable. Ship agents that actually work Start building agentic workflows that respect user privacy, run anywhere, and stay under your control.