Bereitstellung mehrerer lokaler KI-Agenten mithilfe lokaler LLMs wie Llama2 und Mistral-7b.   „Schicken Sie niemals einen Menschen los, um die Arbeit einer Maschine zu erledigen“   – Agent Smith   Suchen Sie nach einer Möglichkeit, mit Autogen eine ganze Armee organisierter KI-Agenten aufzubauen, indem Sie lokale LLMs anstelle des kostenpflichtigen OpenAi verwenden? Dann sind Sie bei uns genau richtig!  Chat-LLMs sind cool, aber als intelligenter Agent aktiv zu werden, ist die nächste Stufe. Was ist mit vielen von ihnen? Lernen Sie das neueste   Projekt von Microsoft kennen. Autogen-  Aber es gibt ein Problem. Autogen wurde für die standardmäßige Anbindung an OpenAi entwickelt, was einschränkend, teuer und zensiert bzw. nicht empfindungsfähig ist. Aus diesem Grund ist die Verwendung eines einfachen LLM vor Ort wie   die beste Lösung. Sie können es auch mit jedem anderen Modell Ihrer Wahl verwenden, z. B.   ,   ,   ,   , der Himmel (Ihre Hardware) ist wirklich die Grenze. Mistral-7B Llama2 Falcon Vicuna Alpaca  Das Geheimnis besteht darin, den OpenAI-JSON-Ausgabestil auf Ihrem lokalen LLM-Server zu verwenden, z. B. Oobaboogas text-generation-webui, und ihn dann mit Autogen zu verknüpfen. Das ist es, was wir heute aufbauen.  Beachten Sie, dass es andere Methoden gibt, um LLMs dazu zu bringen, Text im OpenAI-APIS-Format auszuspucken, beispielsweise die Python-Bindungen llama.cpp.    0. Oobaboogas Textgenerierungs-Webui, ein LLM (Mistral-7b) und Autogen besorgen In diesem Tutorial werden wir:  Einrichten der OpenAi-Formaterweiterung auf Oobabooga  Starten des lokalen LLM-Servers mit dem OpenAi-Format  Anschließen an Autogen  Lass uns anfangen!    0. Holen Sie sich Oobaboogas Text-Generation-Webui, ein LLM (Mistral-7b) und Autogen  Bevor Sie fortfahren, wird empfohlen, bei der Installation von Pip-Paketen eine virtuelle Umgebung zu verwenden. Erstellen Sie ein neues und aktivieren Sie es, wenn Sie möchten.    Dies ist ein bekanntes Programm zum Hosten von LLMs auf Ihrem lokalen Computer. Gehen Sie zur     und folgen Sie der Installationsanleitung. Der Einstieg ist sehr einfach. Möglicherweise möchten Sie   auch herunterladen, wenn Sie zur Beschleunigung eine NVIDIA-GPU verwenden. Obbaboogas Text Generation Webui erhalten: Seite von text-generation-webui CUDA    Nach dem Herunterladen der Webui zur Textgenerierung starten Sie sie noch nicht. Wir brauchen einen LLM, um unseren Agenten Leben einzuhauchen. Ein LLM (Mistral-7b-Instruct) erhalten:  Heute werden wir   erkunden, insbesondere   , eine optimierte Version des Modells von TheBloke. Anhand der   können Sie das optimierte Modell auswählen, das perfekt zu Ihrer Maschine passt. Mistral-7B Mistral-7B-instruct-v0.1.Q4_K_S.gguf Erläuterungen in der Beschreibung  Abhängig von Ihrer Hardware können Sie zwischen kleineren und größeren Modellen wählen. Scheuen Sie sich nicht, Dinge an Ihrem Computer auszuprobieren, denn wir machen hier Wissenschaft.  Gehen Sie zur   und holen Sie sich Folgendes: Seite „Dateien und Versionen“   config.json    (läuft in den meisten mittleren Setups gut)  Mistral-7B-instruct-v0.1.Q4_K_S.gguf  Gehen Sie nach dem Herunterladen zum Installationsordner text-generation-webui und   .   mit dem Namen Ihres Modells (oder einem beliebigen Namen), z. B.   . Der Pfad wird so aussehen: öffnen Sie darin den Ordner models Erstellen Sie dort einen neuen Ordner „mistral-7b-instruct“   C:/.../text-generation-webui/models/mistral-7b-instruct  Platzieren Sie sowohl die Datei   als auch die   im neuen Ordner. config.json Datei model.gguf    :  Um die Python-Bibliothek zur Multiagentenerstellung von Microsoft zu installieren, installieren Sie sie einfach mit dem Pip-Paketinstallationsprogramm in Ihrem Terminal. Autogen erhalten   pip install pyautogen     1. Einrichten der OpenAi-Formaterweiterung auf Oobabooga  Wenn Ihr brandneues Textgenerierungs-Webui installiert und das LLM heruntergeladen ist, können wir damit fortfahren, Ihren lokalen Oobabooga-Server im OpenAi-JSON-Format sprechen zu lassen. Sie können mehr über die OpenAi-API-Formate und deren Funktionen erfahren  .   Dokumentation  Um Autogen mit unserem lokalen Server zu verbinden, müssen wir die Erweiterung „openai“ im Erweiterungsordner „text-generation-webui“ von Ooobaboga aktivieren.  Gehen Sie in Ihrem Terminal zum Ordner   und installieren Sie dort die Anforderungen: „text-generation-webui/extensions/openai“   pip install -r requirements.txt  2.  Starten des lokalen LLM-Servers im OpenAi-Format  Gehen Sie nun zurück zum Stammordner   in Ihrem Terminal. Es ist Zeit, dieses Baby zum Laufen zu bringen. /text-generation-webui  Wie der Name schon sagt, sollte es als WebUI verwendet werden, Sie können es aber auch einfach als Server laufen lassen, um APIs von anderen von Ihnen erstellten Programmen abzufragen.  Um es als lokalen Server und mit der OpenAI-API-Erweiterung zu starten, verwenden Sie den folgenden Befehl entsprechend Ihrem aktuellen Betriebssystem.    (In meinem Fall habe ich den Ordner **„**mistral-7b-instruct“ genannt.) Vergessen Sie nicht, den Parameter „model“ in den Ordnernamen zu ändern, den wir zuvor unter /models erstellt haben.  Windows:   ./start_windows.bat --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Linux:   ./start_linux.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Mac OS:   ./start_macos.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Wir übergeben den Parameter   , um die Erweiterung zu laden,   zu, einen Server zu starten, den wir von Autogen,   und   abfragen können, der den Loader für das Modell und den Namen des Modellordners angibt, den wir zuvor erstellt haben, mit config.json und dem Modell. gguf-Dateien. „extensions openai“ hören Loader Model  Wenn alles richtig läuft, sehen Sie möglicherweise Folgendes:   Das WebUI läuft wie üblich auf Ihrem lokalen Host-Port 7860, aber beachten Sie, dass unsere OpenAI-kompatible API auch für die Verwendung durch Autogen auf unserem lokalen Host bereit ist  .   http://127.0.0.1:5001/v1   3. Anschließen an Autogen  Zu diesem Zeitpunkt ist die Autogen-Bibliothek bereits installiert, es ist also an der Zeit, sie zu importieren und unseren LLM-Server anzuschließen.  Beginnen wir mit etwas Einfachem: einem einzelnen Agenten, der mit einem Menschen (Ihnen) interagiert. Erstellen Sie an einer beliebigen Stelle ein neues Verzeichnis und fügen Sie dort eine neue   Datei hinzu. Sie können die Datei auch beliebig umbenennen. autogen.py-  Um einfach eine Verbindung zur OpenAi GPT-API herzustellen, würden Sie die Datei im Allgemeinen wie folgt starten:   import autogen #start importing the autogen lib config_list = [ { 'model': 'gpt-3.5-turbo', 'api_key': 'your openai real key here' } ]  Aber um unseren laufenden lokalen Server zu verwenden, initiieren wir es wie folgt:   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ]  Da Sie für die lokale Arbeit keinen echten Schlüssel benötigen, verwenden wir lediglich den Platzhalter sk-1111….  Als nächstes können wir den Agenten und den menschlichen Benutzer einrichten. Lesen Sie die Kommentare zum besseren Verständnis.   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # create an ai AssistantAgent named "assistant" assistant = autogen.AssistantAgent( name="assistant", llm_config={ "seed": 42, # seed for caching and reproducibility "config_list": config_list, # a list of OpenAI API configurations "temperature": 0, # temperature for sampling "request_timeout": 400, # timeout }, # configuration for autogen's enhanced inference API which is compatible with OpenAI API ) # create a human UserProxyAgent instance named "user_proxy" user_proxy = autogen.UserProxyAgent( name="user_proxy", human_input_mode="NEVER", max_consecutive_auto_reply=10, is_termination_msg=lambda x: x.get("content", "").rstrip().endswith("TERMINATE"), code_execution_config={ "work_dir": "agents-workspace", # set the working directory for the agents to create files and execute "use_docker": False, # set to True or image name like "python:3" to use docker }, ) # the assistant receives a message from the user_proxy, which contains the task description user_proxy.initiate_chat( assistant, message="""Create a posting schedule with captions in instagram for a week and store it in a .csv file.""", )  Denken Sie daran, message=“…“ bei Ihren ersten Bestellungen zu ändern.  Wenn Sie einfach das Skript mit der Nachricht ausführen, sehen Sie möglicherweise ein neues Verzeichnis namens „agents-workspace“ mit einer CSV-Datei darin,    die „manuell“ vom Agenten erstellt wurde.  Gehen wir nun zu etwas etwas Fortgeschrittenerem über.   Mehrere Agenten mit Rollen und Kontexten.  Dies funktioniert wie eine „Chat-Gruppe“ wie jede Ihnen bekannte Messaging-App. Ihre Kontexte (Systemmeldung) sagen ihnen, wie sie sich verhalten sollen und welcher Hierarchie sie gehorchen sollen. Diesmal haben wir:  Zwei Menschen: der Administrator und der Testamentsvollstrecker.  Vier Agenten: der Ingenieur, der Wissenschaftler, der Planer und der Kritiker.   import autogen #Use the local LLM server same as before config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # set a "universal" config for the agents agent_config = { "seed": 42, # change the seed for different trials "temperature": 0, "config_list": config_list, "request_timeout": 120, } # humans user_proxy = autogen.UserProxyAgent( name="Admin", system_message="A human admin. Interact with the planner to discuss the plan. Plan execution needs to be approved by this admin.", code_execution_config=False, ) executor = autogen.UserProxyAgent( name="Executor", system_message="Executor. Execute the code written by the engineer and report the result.", human_input_mode="NEVER", code_execution_config={"last_n_messages": 3, "work_dir": "paper"}, ) # agents engineer = autogen.AssistantAgent( name="Engineer", llm_config=agent_config, system_message='''Engineer. You follow an approved plan. You write python/shell code to solve tasks. Wrap the code in a code block that specifies the script type. The user can't modify your code. So do not suggest incomplete code which requires others to modify. Don't use a code block if it's not intended to be executed by the executor. Don't include multiple code blocks in one response. Do not ask others to copy and paste the result. Check the execution result returned by the executor. If the result indicates there is an error, fix the error and output the code again. Suggest the full code instead of partial code or code changes. If the error can't be fixed or if the task is not solved even after the code is executed successfully, analyze the problem, revisit your assumption, collect additional info you need, and think of a different approach to try. ''', ) scientist = autogen.AssistantAgent( name="Scientist", llm_config=agent_config, system_message="""Scientist. You follow an approved plan. You are able to categorize papers after seeing their abstracts printed. You don't write code.""" ) planner = autogen.AssistantAgent( name="Planner", system_message='''Planner. Suggest a plan. Revise the plan based on feedback from admin and critic, until admin approval. The plan may involve an engineer who can write code and a scientist who doesn't write code. Explain the plan first. Be clear which step is performed by an engineer, and which step is performed by a scientist. ''', llm_config=agent_config, ) critic = autogen.AssistantAgent( name="Critic", system_message="Critic. Double check plan, claims, code from other agents and provide feedback. Check whether the plan includes adding verifiable info such as source URL.", llm_config=agent_config, ) # start the "group chat" between agents and humans groupchat = autogen.GroupChat(agents=[user_proxy, engineer, scientist, planner, executor, critic], messages=[], max_round=50) manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=agent_config) # Start the Chat! user_proxy.initiate_chat( manager, message=""" find papers on LLM applications from arxiv in the last week, create a markdown table of different domains. """, ) # to followup of the previous question, use: # user_proxy.send( # recipient=assistant, # message="""your followup response here""", # )  Da haben Sie Ihre neue Agentenarmee.   Ich empfehle dringend, tiefer in die Autogen-Dokumentation einzutauchen, um zu verstehen, was diese Art der Agenturautomatisierung sonst noch leisten kann.  Nachdem Sie verstanden haben, wie Autogen unter der Haube funktioniert, möchten Sie es vielleicht auch über eine Schnittstelle wie verwenden  , oder erstellen Sie vielleicht Ihr eigenes im Dashboard Ihres Unternehmens.   Autogen-UI  Jetzt liegt es an Ihnen. Orchestrieren Sie Agenten, die von den OpenAi-Einschränkungen befreit sind, um eine bessere Zukunft für uns Menschen aufzubauen. Denken Sie immer daran, dass mit großer Macht auch große Verantwortung einhergeht. Also, was bauen Sie als nächstes?   Dieser Beitrag wurde vollständig von einem Menschen™ geschrieben   Auch   veröffentlicht. hier

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Make resilience your competitive advantage

Beep Beep Bop Bop: So stellen Sie mehrere KI-Agenten mithilfe lokaler LLMs bereit

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps