Развертывание нескольких локальных агентов ИИ с использованием локальных LLM, таких как Llama2 и Mistral-7b.   «Никогда не отправляйте человека выполнять работу машины»   — Агент Смит   Вы ищете способ создать целую армию организованных ИИ-агентов с помощью Autogen, используя местные LLM вместо платного OpenAi? Тогда вы пришли в нужное место!  LLM в чате — это круто, но действовать в качестве интеллектуального агента — это следующий уровень. А как насчет многих из них? Встречайте последний проект Microsoft   . Autogen  Но есть проблема. Autogen был создан для подключения к OpenAi по умолчанию, что является ограниченным, дорогим и подвергается цензуре/неразумным. Вот почему лучше всего использовать локальный простой LLM, такой как   . Вы также можете использовать любую другую модель по вашему выбору, например   ,   ,   ,   , небо (ваше оборудование) действительно является пределом. Mistral-7B Llama2 Falcon Vicuna Alpaca  Секрет заключается в том, чтобы использовать стиль вывода openai JSON на вашем локальном сервере LLM, например, text-generation-webui от Oobabooga, а затем подключить его к autogen. Это то, что мы строим сегодня.  Обратите внимание, что существуют и другие методы создания плевкового текста llms в формате openai apis, а также привязки python llama.cpp.    0. Получение веб-интерфейса для генерации текста Oobabooga, LLM (Mistral-7b) и Autogen. В этом уроке мы будем:  Настройка расширения формата OpenAi на Oobabooga  Запуск локального LLM-сервера в формате OpenAi  Подключаем его к Autogen  Давайте начнем!    0. Получение Text-Generation-Webui от Oobabooga, LLM (Mistral-7b) и Autogen  Прежде чем продолжить, рекомендуется использовать виртуальную среду при установке пакетов pip. Создайте новый и активируйте его, если хотите.    это хорошо известная программа для размещения LLM на вашем локальном компьютере. Перейдите на     и следуйте инструкциям по установке. Начать очень просто. Вы также можете загрузить   , если используете графический процессор NVIDIA для ускорения. Получение Webui для генерации текста Obbabooga: страницу text-generation-webui CUDA    после загрузки веб-интерфейса для генерации текста, пока не запускайте его. Нам нужно получить степень магистра права, чтобы дать жизнь нашим агентам. Получение LLM (Mistral-7b-Instruct):  Сегодня мы будем изучать   , а именно   , оптимизированную версию модели от TheBloke. Вы можете выбрать оптимизированную модель, идеально подходящую для вашей машины, основываясь на   . Mistral-7B Mistral-7B-instruct-v0.1.Q4_K_S.gguf пояснениях в описании  Вы можете выбрать модели меньшего или большего размера в зависимости от вашего оборудования. Не бойтесь пробовать что-то на своем компьютере, мы здесь занимаемся наукой.  Перейдите на   и возьмите следующее: страницу «Файлы и версии»   config.json    (хорошо работает в большинстве средних настроек)  Mistral-7B-instruct-v0.1.Q4_K_S.gguf  После загрузки перейдите в папку установки text-generation-webui и внутри нее   . Там   с названием вашей модели (или любым другим именем по вашему желанию), например   . Путь будет таким: откройте папку models создайте новую папку «mistral-7b-instruct»   C:/.../text-generation-webui/models/mistral-7b-instruct  Поместите файл   и   в новую папку. config.json model.gguf    :  Чтобы установить многоагентную библиотеку Python для создания Microsoft, просто установите ее с помощью установщика пакетов pip в своем терминале. Получение Автогена   pip install pyautogen     1. Настройка расширения формата OpenAi на Oobabooga  Установив новый веб-интерфейс для генерации текста и загрузив LLM, мы можем продолжить работу над тем, чтобы ваш локальный сервер Oobabooga говорил в формате OpenAi JSON. Вы можете узнать больше о форматах API OpenAi и их функциях в их  .   документация  Чтобы подключить Autogen к нашему локальному серверу, нам нужно будет активировать расширение «openai» в папке расширений text-generation-webui Ooobaboga.  В терминале перейдите в папку   и установите туда необходимые требования: «text-generation-webui/extensions/openai»   pip install -r requirements.txt  2.  Запуск локального сервера LLM в формате OpenAi.  Теперь вернитесь в корневую папку   вашего терминала. Пришло время привести этого ребенка в порядок. /text-generation-webui  Как следует из названия, он предназначался для использования в качестве веб-интерфейса, но вы также можете просто оставить его работающим в качестве сервера для запроса API из других программ, которые вы создаете.  Чтобы загрузить его как локальный сервер и с расширением openai api, используйте следующую команду в соответствии с вашей текущей ОС.    (В моем случае я назвал папку **"**mistral-7b-instruct") Не забудьте изменить параметр «model» на имя папки, которую мы создали ранее в /models.  Окна:   ./start_windows.bat --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Линукс:   ./start_linux.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  МакОС:   ./start_macos.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Мы передаем параметр   для загрузки расширения,   запуск сервера, который мы можем запросить у autogen,   и   , в которых указывается загрузчик для модели и имя папки модели, которую мы создали ранее, с файлом config.json и моделью. файлы gguf. Extensions openai прослушиваем загрузчика модели  Если все пойдет правильно, вы можете увидеть что-то вроде этого:   Webui при обычном запуске работает на порту 7860 вашего локального хоста, но обратите внимание, что наш API-интерфейс, совместимый с OpenAI, также готов к использованию Autogen на нашем локальном хосте по адресу  .   http://127.0.0.1:5001/v1   3. Подключаем его к Autogen  На данный момент у вас уже установлена библиотека autogen, поэтому пришло время импортировать ее и подключить наш LLM-сервер.  Давайте начнем с чего-то простого: с одного агента, взаимодействующего с человеком (вами). Создайте новый каталог в любом месте и добавьте туда новый файл   . Вы также можете переименовать файл по своему усмотрению. autogen.py  Обычно, чтобы просто подключиться к API OpenAi GPT, вы должны запустить файл следующим образом:   import autogen #start importing the autogen lib config_list = [ { 'model': 'gpt-3.5-turbo', 'api_key': 'your openai real key here' } ]  Но чтобы использовать наш работающий локальный сервер, мы инициируем его следующим образом:   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ]  Поскольку для локальной работы вам не нужен настоящий ключ, мы просто используем заполнитель sk-1111….  Далее мы можем настроить агента и пользователя-человека. Прочтите комментарии для лучшего понимания.   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # create an ai AssistantAgent named "assistant" assistant = autogen.AssistantAgent( name="assistant", llm_config={ "seed": 42, # seed for caching and reproducibility "config_list": config_list, # a list of OpenAI API configurations "temperature": 0, # temperature for sampling "request_timeout": 400, # timeout }, # configuration for autogen's enhanced inference API which is compatible with OpenAI API ) # create a human UserProxyAgent instance named "user_proxy" user_proxy = autogen.UserProxyAgent( name="user_proxy", human_input_mode="NEVER", max_consecutive_auto_reply=10, is_termination_msg=lambda x: x.get("content", "").rstrip().endswith("TERMINATE"), code_execution_config={ "work_dir": "agents-workspace", # set the working directory for the agents to create files and execute "use_docker": False, # set to True or image name like "python:3" to use docker }, ) # the assistant receives a message from the user_proxy, which contains the task description user_proxy.initiate_chat( assistant, message="""Create a posting schedule with captions in instagram for a week and store it in a .csv file.""", )  Не забудьте изменить message="…" в ваших первоначальных заказах.  Если вы просто запустите сценарий с сообщением, вы можете увидеть новый каталог под названием «agents-workspace» с файлом .csv,    созданным агентом «вручную».  Теперь давайте перейдем к чему-то более продвинутому.   Несколько агентов с ролями и контекстами.  Это будет работать как «чат-группа», как и любое известное вам приложение для обмена сообщениями. Их контексты (системные сообщения) подскажут им, как вести себя и какой иерархии они должны подчиняться. На этот раз у нас будет:  Два человека: администратор и исполнитель.  Четыре агента: инженер, учёный, планировщик и критик.   import autogen #Use the local LLM server same as before config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # set a "universal" config for the agents agent_config = { "seed": 42, # change the seed for different trials "temperature": 0, "config_list": config_list, "request_timeout": 120, } # humans user_proxy = autogen.UserProxyAgent( name="Admin", system_message="A human admin. Interact with the planner to discuss the plan. Plan execution needs to be approved by this admin.", code_execution_config=False, ) executor = autogen.UserProxyAgent( name="Executor", system_message="Executor. Execute the code written by the engineer and report the result.", human_input_mode="NEVER", code_execution_config={"last_n_messages": 3, "work_dir": "paper"}, ) # agents engineer = autogen.AssistantAgent( name="Engineer", llm_config=agent_config, system_message='''Engineer. You follow an approved plan. You write python/shell code to solve tasks. Wrap the code in a code block that specifies the script type. The user can't modify your code. So do not suggest incomplete code which requires others to modify. Don't use a code block if it's not intended to be executed by the executor. Don't include multiple code blocks in one response. Do not ask others to copy and paste the result. Check the execution result returned by the executor. If the result indicates there is an error, fix the error and output the code again. Suggest the full code instead of partial code or code changes. If the error can't be fixed or if the task is not solved even after the code is executed successfully, analyze the problem, revisit your assumption, collect additional info you need, and think of a different approach to try. ''', ) scientist = autogen.AssistantAgent( name="Scientist", llm_config=agent_config, system_message="""Scientist. You follow an approved plan. You are able to categorize papers after seeing their abstracts printed. You don't write code.""" ) planner = autogen.AssistantAgent( name="Planner", system_message='''Planner. Suggest a plan. Revise the plan based on feedback from admin and critic, until admin approval. The plan may involve an engineer who can write code and a scientist who doesn't write code. Explain the plan first. Be clear which step is performed by an engineer, and which step is performed by a scientist. ''', llm_config=agent_config, ) critic = autogen.AssistantAgent( name="Critic", system_message="Critic. Double check plan, claims, code from other agents and provide feedback. Check whether the plan includes adding verifiable info such as source URL.", llm_config=agent_config, ) # start the "group chat" between agents and humans groupchat = autogen.GroupChat(agents=[user_proxy, engineer, scientist, planner, executor, critic], messages=[], max_round=50) manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=agent_config) # Start the Chat! user_proxy.initiate_chat( manager, message=""" find papers on LLM applications from arxiv in the last week, create a markdown table of different domains. """, ) # to followup of the previous question, use: # user_proxy.send( # recipient=assistant, # message="""your followup response here""", # )  Вот и все, у вас есть новая армия агентов.   Я настоятельно рекомендую углубиться в документацию Autogen, чтобы понять, на что еще способен этот вид автоматизации агентств.  Кроме того, после понимания того, как работает autogen, вы можете использовать его через интерфейс, например  или, возможно, создайте свой собственный на панели управления вашей компании.   автоген-UI  Теперь дело за вами. Управляйте агентами, свободными от ограничений OpenAi, чтобы построить лучшее будущее для нас, людей. Всегда помните, что с большой силой приходит и большая ответственность. Итак, что вы строите дальше?   Этот пост был полностью написан человеком™   Также опубликовано   . здесь

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Read My Stories

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Make resilience your competitive advantage

Beep Beep Bop Bop: как развернуть несколько агентов ИИ с помощью локальных LLM

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Рост криптовалют: создание эффективных образов пользователей

Telegram: мост Крипто-острова на материк

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Рост криптовалют: создание эффективных образов пользователей

Telegram: мост Крипто-острова на материк

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps