Triển khai nhiều tác nhân Ai cục bộ bằng cách sử dụng LLM cục bộ như Llama2 và Mistral-7b.   “Đừng bao giờ cử con người làm công việc của máy móc”   — Đặc vụ Smith   Bạn đang tìm cách xây dựng cả một đội quân gồm các đại lý ai có tổ chức bằng Autogen bằng cách sử dụng LLM cục bộ thay vì OpenAi trả phí? Bạn đã đến đúng nơi rồi đấy!  LLM trò chuyện rất thú vị nhưng việc thực hiện hành động với tư cách là một tác nhân thông minh còn ở cấp độ tiếp theo. Còn nhiều người trong số họ thì sao? Gặp gỡ dự án   mới nhất của Microsoft. Autogen  Nhưng có một vấn đề. Autogen được xây dựng để kết nối với OpenAi theo mặc định, điều này rất hạn chế, tốn kém và bị kiểm duyệt/không có tri giác. Đó là lý do tại sao sử dụng LLM đơn giản cục bộ như   là cách tốt nhất. Bạn cũng có thể sử dụng với bất kỳ model nào khác mà bạn chọn chẳng hạn như   ,   ,   ,   , bầu trời (phần cứng của bạn) thực sự là giới hạn. Mistral-7B Llama2 Falcon Vicuna Alpaca  Bí quyết là sử dụng kiểu đầu ra JSON openai trong máy chủ LLM cục bộ của bạn, chẳng hạn như webui tạo văn bản của Oobabooga, sau đó nối nó với autogen. Đó là những gì chúng tôi đang xây dựng ngày hôm nay.  Lưu ý rằng có các phương pháp khác để tạo văn bản nhổ llms ở định dạng openai apis cũng như các ràng buộc python llama.cpp.    0. Lấy webui tạo văn bản của Oobabooga, LLM (Mistral-7b) và Autogen Trong hướng dẫn này, chúng ta sẽ:  Thiết lập tiện ích mở rộng định dạng OpenAi trên Oobabooga  Khởi động máy chủ LLM cục bộ với định dạng OpenAi  Kết nối nó với Autogen  Bắt đầu nào!    0. Lấy Webui tạo văn bản của Oobabooga, LLM (Mistral-7b) và Autogen  Trước khi tiếp tục, bạn nên sử dụng môi trường ảo khi cài đặt gói pip. Tạo một cái mới và kích hoạt nó nếu bạn muốn.    Đây là một chương trình nổi tiếng để lưu trữ LLM trong máy cục bộ của bạn. Đi tới     và làm theo hướng dẫn cài đặt. Nó rất dễ dàng để bắt đầu. Bạn cũng có thể muốn tải xuống   nếu bạn đang sử dụng gpu NVIDIA để tăng tốc. Tải Webui tạo văn bản của Obbabooga: trang tạo văn bản-webui CUDA    Sau khi tải xuống webui tạo văn bản, đừng vội khởi động nó. Chúng tôi cần có LLM để mang lại sự sống cho các đại lý của mình. Nhận LLM (Mistral-7b-Instruct):  Hôm nay chúng ta sẽ khám phá   , cụ thể là   , một phiên bản được tối ưu hóa của mô hình của TheBloke. Bạn có thể chọn kiểu máy được tối ưu hóa hoàn hảo cho máy của mình dựa trên   . Mistral-7B Mistral-7B-instruct-v0.1.Q4_K_S.gguf phần giải thích trong phần mô tả  Bạn có thể chọn mô hình nhỏ hơn hoặc lớn hơn tùy thuộc vào phần cứng của bạn. Đừng quá sợ hãi khi thử mọi thứ trên máy tính của bạn, chúng tôi đang tạo ra khoa học ở đây.  Đi tới   và lấy thông tin sau: trang Tệp và Phiên bản   config.json    (sẽ chạy tốt trong hầu hết các thiết lập ở giữa)  Mistral-7B-instruct-v0.1.Q4_K_S.gguf  Sau khi tải xuống, hãy đi tới thư mục cài đặt text-gen-webui và bên trong nó   . Trong đó,   với tên model của bạn (hoặc bất kỳ tên nào bạn muốn), chẳng hạn như   . Đường dẫn sẽ như thế này: mở thư mục models tạo một thư mục mới “mistral-7b-instruct”   C:/.../text-generation-webui/models/mistral-7b-instruct  Đặt cả tệp   và   vào thư mục mới. config.json model.gguf    :  Để cài đặt thư viện python tạo đa tác nhân của Microsoft, chỉ cần cài đặt nó bằng trình cài đặt gói pip trong thiết bị đầu cuối của bạn. Bắt Autogen   pip install pyautogen     1. Thiết lập tiện ích mở rộng định dạng OpenAi trên Oobabooga  Sau khi cài đặt webui tạo văn bản hoàn toàn mới của bạn và tải xuống LLM, chúng tôi có thể tiếp tục làm cho máy chủ Oobabooga cục bộ của bạn hoạt động ở định dạng JSON OpenAi. Bạn có thể tìm hiểu thêm về các định dạng và tính năng của API OpenAi trong  .   tài liệu  Để kết nối Autogen với máy chủ cục bộ của chúng tôi, chúng tôi sẽ cần kích hoạt tiện ích mở rộng “openai” trong thư mục tiện ích mở rộng webui tạo văn bản của Ooobaboga.  Trong thiết bị đầu cuối của bạn, hãy chuyển đến thư mục   và trong đó cài đặt các yêu cầu của nó: “text-Generation-webui/extensions/openai”   pip install -r requirements.txt  2.  Khởi động máy chủ LLM cục bộ ở định dạng OpenAi  Bây giờ hãy quay lại thư mục gốc   trong terminal của bạn. Đã đến lúc đưa em bé này dậy và chạy. /text-gen-webui  Đúng như tên gọi, nó được sử dụng như một webui, nhưng bạn cũng có thể giữ nó chạy như một máy chủ để truy vấn apis từ các chương trình khác mà bạn tạo.  Để khởi động nó như một máy chủ cục bộ và với phần mở rộng api openai, hãy sử dụng lệnh sau tùy theo hệ điều hành hiện tại của bạn.    (Trong trường hợp của tôi, tôi đặt tên thư mục là **“**mistral-7b-instruct”) Đừng quên thay đổi tham số “model” thành tên thư mục mà chúng ta đã tạo trước đó tại /models.  Các cửa sổ:   ./start_windows.bat --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Linux:   ./start_linux.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Hệ điều hành Mac:   ./start_macos.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Chúng tôi chuyển tham số   để tải tiện ích mở rộng,   để khởi động máy chủ mà chúng tôi có thể truy vấn từ autogen,   và   sẽ chỉ định trình tải cho mô hình và tên thư mục mô hình mà chúng tôi đã tạo trước đó, với config.json và mô hình. tập tin gguf. openai của tiện ích mở rộng lắng nghe trình tải mô hình  Nếu mọi thứ đều ổn, bạn có thể thấy một cái gì đó như thế này:   Webui đang chạy trên cổng localhost 7860 của bạn như một khởi đầu bình thường, nhưng lưu ý rằng api tương thích OpenAI của chúng tôi cũng sẵn sàng để Autogen sử dụng tại máy chủ cục bộ của chúng tôi tại  .   http://127.0.0.1:5001/v1   3. Kết nối nó với Autogen  Tại thời điểm này, bạn đã cài đặt lib autogen, vì vậy đã đến lúc nhập nó và cắm máy chủ LLM của chúng tôi.  Hãy bắt đầu với điều gì đó đơn giản, một tác nhân duy nhất tương tác với một con người (bạn). Tạo một thư mục mới ở bất cứ đâu bạn muốn và thêm tệp   mới vào đó. Bạn cũng có thể đổi tên tập tin theo ý muốn. autogen.py  Nói chung, chỉ cần kết nối với API của OpenAi GPT, bạn sẽ bắt đầu tệp như thế này:   import autogen #start importing the autogen lib config_list = [ { 'model': 'gpt-3.5-turbo', 'api_key': 'your openai real key here' } ]  Nhưng để sử dụng máy chủ cục bộ đang chạy của chúng tôi, chúng tôi sẽ khởi tạo nó như thế này:   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ]  Vì bạn không cần khóa thực sự để làm việc cục bộ nên chúng tôi chỉ sử dụng trình giữ chỗ sk-1111….  Tiếp theo, chúng ta có thể thiết lập tác nhân và người dùng. Đọc các bình luận để hiểu rõ hơn.   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # create an ai AssistantAgent named "assistant" assistant = autogen.AssistantAgent( name="assistant", llm_config={ "seed": 42, # seed for caching and reproducibility "config_list": config_list, # a list of OpenAI API configurations "temperature": 0, # temperature for sampling "request_timeout": 400, # timeout }, # configuration for autogen's enhanced inference API which is compatible with OpenAI API ) # create a human UserProxyAgent instance named "user_proxy" user_proxy = autogen.UserProxyAgent( name="user_proxy", human_input_mode="NEVER", max_consecutive_auto_reply=10, is_termination_msg=lambda x: x.get("content", "").rstrip().endswith("TERMINATE"), code_execution_config={ "work_dir": "agents-workspace", # set the working directory for the agents to create files and execute "use_docker": False, # set to True or image name like "python:3" to use docker }, ) # the assistant receives a message from the user_proxy, which contains the task description user_proxy.initiate_chat( assistant, message="""Create a posting schedule with captions in instagram for a week and store it in a .csv file.""", )  Hãy nhớ thay đổi tin nhắn=”…” với các đơn đặt hàng ban đầu của bạn.  Nếu chỉ chạy tập lệnh có thông báo, bạn có thể thấy một thư mục mới có tên là “agents-workspace” với tệp .csv trong đó,    được tác nhân tạo “thủ công”.  Bây giờ chúng ta hãy tìm thứ gì đó cao cấp hơn một chút.   Nhiều tác nhân với vai trò và bối cảnh.  Điều này sẽ hoạt động giống như một “nhóm trò chuyện” giống như bất kỳ ứng dụng nhắn tin nào mà bạn biết. Bối cảnh của họ (thông báo hệ thống) sẽ cho họ biết cách ứng xử và thứ bậc mà họ nên tuân theo. Lần này chúng ta sẽ có:  Hai con người: quản trị viên và người thực thi.  Bốn tác nhân: kỹ sư, nhà khoa học, người lập kế hoạch và nhà phê bình.   import autogen #Use the local LLM server same as before config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # set a "universal" config for the agents agent_config = { "seed": 42, # change the seed for different trials "temperature": 0, "config_list": config_list, "request_timeout": 120, } # humans user_proxy = autogen.UserProxyAgent( name="Admin", system_message="A human admin. Interact with the planner to discuss the plan. Plan execution needs to be approved by this admin.", code_execution_config=False, ) executor = autogen.UserProxyAgent( name="Executor", system_message="Executor. Execute the code written by the engineer and report the result.", human_input_mode="NEVER", code_execution_config={"last_n_messages": 3, "work_dir": "paper"}, ) # agents engineer = autogen.AssistantAgent( name="Engineer", llm_config=agent_config, system_message='''Engineer. You follow an approved plan. You write python/shell code to solve tasks. Wrap the code in a code block that specifies the script type. The user can't modify your code. So do not suggest incomplete code which requires others to modify. Don't use a code block if it's not intended to be executed by the executor. Don't include multiple code blocks in one response. Do not ask others to copy and paste the result. Check the execution result returned by the executor. If the result indicates there is an error, fix the error and output the code again. Suggest the full code instead of partial code or code changes. If the error can't be fixed or if the task is not solved even after the code is executed successfully, analyze the problem, revisit your assumption, collect additional info you need, and think of a different approach to try. ''', ) scientist = autogen.AssistantAgent( name="Scientist", llm_config=agent_config, system_message="""Scientist. You follow an approved plan. You are able to categorize papers after seeing their abstracts printed. You don't write code.""" ) planner = autogen.AssistantAgent( name="Planner", system_message='''Planner. Suggest a plan. Revise the plan based on feedback from admin and critic, until admin approval. The plan may involve an engineer who can write code and a scientist who doesn't write code. Explain the plan first. Be clear which step is performed by an engineer, and which step is performed by a scientist. ''', llm_config=agent_config, ) critic = autogen.AssistantAgent( name="Critic", system_message="Critic. Double check plan, claims, code from other agents and provide feedback. Check whether the plan includes adding verifiable info such as source URL.", llm_config=agent_config, ) # start the "group chat" between agents and humans groupchat = autogen.GroupChat(agents=[user_proxy, engineer, scientist, planner, executor, critic], messages=[], max_round=50) manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=agent_config) # Start the Chat! user_proxy.initiate_chat( manager, message=""" find papers on LLM applications from arxiv in the last week, create a markdown table of different domains. """, ) # to followup of the previous question, use: # user_proxy.send( # recipient=assistant, # message="""your followup response here""", # )  Thế đấy, bạn có đội quân đặc vụ mới.   Tôi thực sự khuyên bạn nên tìm hiểu sâu hơn về tài liệu Autogen để hiểu loại tự động hóa đại lý này có thể làm được những gì khác.  Ngoài ra, sau khi hiểu cách thức hoạt động của autogen, bạn có thể muốn sử dụng nó thông qua giao diện như  hoặc có thể tạo trang của riêng bạn trong trang tổng quan của công ty bạn.   autogen-ui  Bây giờ nó thuộc về bạn. Điều phối các tác nhân được tháo gỡ khỏi những hạn chế của OpenAi để xây dựng một tương lai tốt đẹp hơn cho con người chúng ta. Hãy luôn nhớ rằng quyền lực lớn đi kèm với trách nhiệm lớn lao. Vậy tiếp theo bạn sẽ xây dựng cái gì?   Bài đăng này hoàn toàn được viết bởi một con người™   Cũng được xuất bản   . ở đây

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Read My Stories

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Make resilience your competitive advantage

Beep Beep Bop Bop: Cách triển khai nhiều tác nhân AI bằng LLM cục bộ

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

179 Stories To Learn About Reading

72 Stories To Learn About Adam Smith

178 Stories To Learn About Essay

128 Stories To Learn About Charles Dickens

179 Stories To Learn About Reading

72 Stories To Learn About Adam Smith

178 Stories To Learn About Essay

128 Stories To Learn About Charles Dickens

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps