Llama2 や Mistral-7b などのローカル LLM を使用して複数のローカル Ai エージェントを展開します。   「機械の仕事に人間を決して派遣してはいけない」   — エージェント・スミス 有料の OpenAi の代わりにローカル LLM を使用して、Autogen で組織化された AI エージェントの軍隊を構築する方法をお探しですか?それなら、あなたは正しい場所に来ました！ チャット LLM はクールですが、インテリジェント エージェントとしてアクションを起こすのは次のレベルです。それらの多くはどうでしょうか？ Microsoft の最新の プロジェクトを紹介します。 Autogen しかし問題がある。 Autogen は、デフォルトで OpenAi に接続されるように構築されていますが、制限があり、高価で、検閲/非感覚的です。そのため、  のようなシンプルな LLM をローカルで使用することが最善の方法です。   、   、   、  など、お好みの他のモデルでも使用できますが、実際には空 (ハードウェア) に限界はありません。 Mistral-7B Llama2 Falcon Vicuna Alpaca その秘密は、Oababooga の text-generation-webui などのローカル LLM サーバーで openai JSON スタイルの出力を使用し、それを autogen にフックすることです。それが私たちが今日構築しているものです。  llama.cpp python バインディングと同様に、llms が openai apis 形式でテキストを吐き出す方法は他にもあることに注意してください。  0. Oababooga の text-generate-webui、LLM (Mistral-7b)、および Autogen を取得する このチュートリアルでは、次のことを行います: Oababooga で OpenAi 形式拡張機能をセットアップする OpenAi 形式でのローカル LLM サーバーの起動 Autogen にフックする 始めましょう！    0. Oababooga の Text-Generation-Webui、LLM (Mistral-7b)、および Autogen を入手する 続行する前に、pip パッケージをインストールするときに仮想環境を使用することをお勧めします。新しいものを作成し、必要に応じてアクティブ化します。   これは、ローカル マシンで LLM をホストするためのよく知られたプログラムです。  にアクセスし、インストール ガイドに従ってください。始めるのはとても簡単です。高速化のために NVIDIA GPU を使用している場合は、  をダウンロードすることもできます。 Obbabooga のテキスト生成 Webui の入手: text-generation-webui の ページ CUDA   テキスト生成 Webui をダウンロードした後は、まだ開始しないでください。エージェントに命を与えるには、LLM を取得する必要があります。 LLM (Mistral-7b-Instruct) の入手: 今日は、 TheBloke によるモデルの最適化されたバージョンである  、具体的には について調べます。 参考に、お客様のマシンに最適なモデルをお選びいただけます。 Mistral-7B Mistral-7B-instruct-v0.1.Q4_K_S.gguf 説明文を ハードウェアに応じて、より小さいモデルまたはより大きいモデルを選択できます。コンピューターで何かを試すことをあまり恐れないでください。私たちはここで科学を開発しています。   に移動し、以下を取得します。 「ファイルとバージョン」ページ   config.json    (ほとんどの中間セットアップでうまく動作します)  Mistral-7B-instruct-v0.1.Q4_K_S.gguf ダウンロードしたら、text-generation-webui インストール フォルダーに移動し、その中にある 。そこに、  のようなモデルの名前 (または任意の名前) で 。パスは次のようになります。 models フォルダーを開きます 「mistral-7b-instruct」 新しいフォルダーを作成します   C:/.../text-generation-webui/models/mistral-7b-instruct   ファイルと 両方を新しいフォルダーに配置します。 config.json model.gguf の   :  Microsoft のマルチエージェント作成 Python ライブラリをインストールするには、端末の pip パッケージ インストーラーを使用してインストールするだけです。 Autogen の取得   pip install pyautogen   1. Oababooga での OpenAi フォーマット拡張機能のセットアップ 新しい text-generation-webui がインストールされ、LLM がダウンロードされたら、ローカルの Oababooga サーバーが OpenAi JSON 形式で話すように続行できます。 OpenAi API の形式とその機能について詳しくは、「 。 ドキュメンテーション  Autogen をローカル サーバーに接続するには、Ooobaboga の text-generation-webui 拡張機能フォルダーにある「openai」拡張機能をアクティブにする必要があります。 ターミナルで フォルダーに移動し、そこにその要件をインストールします。 「text-generation-webui/extensions/openai」   pip install -r requirements.txt  2.  OpenAi 形式でのローカル LLM サーバーの起動 次に、ターミナルの ルート フォルダーに戻ります。この赤ちゃんを立ち上げて走らせる時が来ました。 /text-generation-webui 名前が示すとおり、WebUI として使用することを目的としていますが、作成した他のプログラムから API をクエリするためのサーバーとして実行し続けることもできます。  openai API 拡張機能を使用してローカル サーバーとして起動するには、現在の OS に応じて次のコマンドを使用します。    (私の場合、フォルダーに **「**mistral-7b-instruct」という名前を付けました) 「model」パラメーターを、前に /models に作成したフォルダー名に変更することを忘れないでください。 ウィンドウズ：   ./start_windows.bat --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Linux:   ./start_linux.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct マックOS：   ./start_macos.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct パラメータを渡して拡張機能をロードし、autogen、 、 からクエリできるサーバーを起動します。モデル ローダーと、config.json とモデルで以前に作成したモデル フォルダー名を指定します。 gguf ファイル。 拡張機能の openai ローダー モデル の すべてがうまくいけば、次のようなものが表示されるかもしれません。   WebUI は通常の開始としてローカルホストのポート 7860 で実行されますが、OpenAI 互換 API はローカル ホストの Autogen でも使用できるようになっていることに注意してください。  。   http://127.0.0.1:5001/v1   3. Autogen にフックする この時点では、autogen lib がすでにインストールされているので、それをインポートして LLM サーバーを接続します。 単一のエージェントが人間 (あなた) と対話するという単純なものから始めましょう。任意の場所に新しいディレクトリを作成し、そこに新しい ファイルを追加します。必要に応じてファイルの名前を変更することもできます。 autogen.py 一般に、単純に OpenAi GPT の API に接続するには、次のようにファイルを開始します。   import autogen #start importing the autogen lib config_list = [ { 'model': 'gpt-3.5-turbo', 'api_key': 'your openai real key here' } ] ただし、実行中のローカル サーバーを使用するには、次のように開始します。   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] ローカルでの作業には実際のキーは必要ないため、sk-1111… プレースホルダーを使用するだけです。 次に、エージェントと人間のユーザーをセットアップできます。理解を深めるためにコメントをお読みください。   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # create an ai AssistantAgent named "assistant" assistant = autogen.AssistantAgent( name="assistant", llm_config={ "seed": 42, # seed for caching and reproducibility "config_list": config_list, # a list of OpenAI API configurations "temperature": 0, # temperature for sampling "request_timeout": 400, # timeout }, # configuration for autogen's enhanced inference API which is compatible with OpenAI API ) # create a human UserProxyAgent instance named "user_proxy" user_proxy = autogen.UserProxyAgent( name="user_proxy", human_input_mode="NEVER", max_consecutive_auto_reply=10, is_termination_msg=lambda x: x.get("content", "").rstrip().endswith("TERMINATE"), code_execution_config={ "work_dir": "agents-workspace", # set the working directory for the agents to create files and execute "use_docker": False, # set to True or image name like "python:3" to use docker }, ) # the assistant receives a message from the user_proxy, which contains the task description user_proxy.initiate_chat( assistant, message="""Create a posting schedule with captions in instagram for a week and store it in a .csv file.""", ) 最初の注文では、必ず message=”…” を変更してください。 メッセージを指定してスクリプトを実行すると、   エージェントによって「手動で」作成された .csv ファイルを含む「agents-workspace」という新しいディレクトリが表示されることがあります。 次に、もう少し高度なことを考えてみましょう。 役割とコンテキストを持つ複数のエージェント。 これは、よく知られているメッセージング アプリと同様、「チャット グループ」のように機能します。彼らのコンテキスト (システム メッセージ) は、どのように行動すべきか、どの階層に従うべきかを教えてくれます。今回は以下のものを用意します。 管理者と実行者の 2 人の人間。  4 人のエージェント: エンジニア、科学者、プランナー、批評家。   import autogen #Use the local LLM server same as before config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # set a "universal" config for the agents agent_config = { "seed": 42, # change the seed for different trials "temperature": 0, "config_list": config_list, "request_timeout": 120, } # humans user_proxy = autogen.UserProxyAgent( name="Admin", system_message="A human admin. Interact with the planner to discuss the plan. Plan execution needs to be approved by this admin.", code_execution_config=False, ) executor = autogen.UserProxyAgent( name="Executor", system_message="Executor. Execute the code written by the engineer and report the result.", human_input_mode="NEVER", code_execution_config={"last_n_messages": 3, "work_dir": "paper"}, ) # agents engineer = autogen.AssistantAgent( name="Engineer", llm_config=agent_config, system_message='''Engineer. You follow an approved plan. You write python/shell code to solve tasks. Wrap the code in a code block that specifies the script type. The user can't modify your code. So do not suggest incomplete code which requires others to modify. Don't use a code block if it's not intended to be executed by the executor. Don't include multiple code blocks in one response. Do not ask others to copy and paste the result. Check the execution result returned by the executor. If the result indicates there is an error, fix the error and output the code again. Suggest the full code instead of partial code or code changes. If the error can't be fixed or if the task is not solved even after the code is executed successfully, analyze the problem, revisit your assumption, collect additional info you need, and think of a different approach to try. ''', ) scientist = autogen.AssistantAgent( name="Scientist", llm_config=agent_config, system_message="""Scientist. You follow an approved plan. You are able to categorize papers after seeing their abstracts printed. You don't write code.""" ) planner = autogen.AssistantAgent( name="Planner", system_message='''Planner. Suggest a plan. Revise the plan based on feedback from admin and critic, until admin approval. The plan may involve an engineer who can write code and a scientist who doesn't write code. Explain the plan first. Be clear which step is performed by an engineer, and which step is performed by a scientist. ''', llm_config=agent_config, ) critic = autogen.AssistantAgent( name="Critic", system_message="Critic. Double check plan, claims, code from other agents and provide feedback. Check whether the plan includes adding verifiable info such as source URL.", llm_config=agent_config, ) # start the "group chat" between agents and humans groupchat = autogen.GroupChat(agents=[user_proxy, engineer, scientist, planner, executor, critic], messages=[], max_round=50) manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=agent_config) # Start the Chat! user_proxy.initiate_chat( manager, message=""" find papers on LLM applications from arxiv in the last week, create a markdown table of different domains. """, ) # to followup of the previous question, use: # user_proxy.send( # recipient=assistant, # message="""your followup response here""", # ) ほら、新しいエージェントの軍隊ができました。   Autogen のドキュメントを詳しく読んで、この種の代理店の自動化で他に何ができるかを理解することを強くお勧めします。 また、autogen が内部でどのように機能するかを理解した後は、次のようなインターフェイスを介して autogen を使用することもできます。 または、会社のダッシュボードで独自のダッシュボードを作成することもできます。   autogenui あとはあなた次第です。 OpenAi の制限から解放されたエージェントを調整して、私たち人間にとってより良い未来を構築します。大きな力には大きな責任が伴うということを常に忘れないでください。それで、次は何を構築しますか?  この投稿は完全に人間によって書かれました™    でも公開されています。 ここ

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

Beep Beep Bop Bop: ローカル LLM を使用して複数の AI エージェントをデプロイする方法

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

ワークフローを10倍に向上させる方法: 必須アプリ17選

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps