Déploiement de plusieurs agents Ai locaux à l'aide de LLM locaux comme Llama2 et Mistral-7b.   "N'envoyez jamais un humain faire le travail d'une machine"   -Agent Smith   Cherchez-vous un moyen de créer toute une armée d'agents d'IA organisés avec Autogen en utilisant des LLM locaux au lieu d'OpenAi payant ? Alors vous êtes venu au bon endroit!  Les LLM de chat sont sympas, mais agir en tant qu'agent intelligent est un niveau supérieur. Qu’en est-il de beaucoup d’entre eux ? Découvrez le dernier projet   de Microsoft. Autogen  Mais il y a un problème. Autogen a été conçu pour être connecté à OpenAi par défaut, ce qui est limitant, coûteux et censuré/non sensible. C'est pourquoi l'utilisation locale d'un simple LLM comme   est la meilleure solution. Vous pouvez également l'utiliser avec n'importe quel autre modèle de votre choix tel que   ,   ,   ,   , le ciel (votre matériel) est vraiment la limite. Mistral-7B Llama2 Falcon Vicuna Alpaca  Le secret est d'utiliser le style de sortie openai JSON sur votre serveur LLM local, tel que le webui de génération de texte d'Oobabooga, puis de le connecter à autogen. C'est ce que nous construisons aujourd'hui.  Notez qu'il existe d'autres méthodes pour faire cracher du texte llms au format openai apis, ainsi que les liaisons python llama.cpp.    0. Obtenir le webui de génération de texte d'Oobabooga, un LLM (Mistral-7b) et Autogen Dans ce tutoriel, nous serons :  Configuration de l'extension du format OpenAi sur Oobabooga  Démarrage du serveur LLM local au format OpenAi  Le connecter à Autogen  Commençons!    0. Obtenir Text-Generation-Webui d'Oobabooga, un LLM (Mistral-7b) et Autogen  Avant de continuer, il est recommandé d'utiliser un environnement virtuel lors de l'installation des packages pip. Créez-en un nouveau et activez-le si vous en avez envie.    il s'agit d'un programme bien connu pour héberger des LLM sur votre machine locale. Rendez-vous sur     et suivez le guide d'installation. Il est très simple de commencer. Vous souhaiterez peut-être également télécharger   si vous utilisez un GPU NVIDIA pour l'accélération. Obtenir le Webui de génération de texte d'Obbabooga : la page de text-generation-webui CUDA    Après avoir téléchargé le webui de génération de texte, ne le démarrez pas tout de suite. Nous avons besoin d'un LLM pour donner vie à nos agents. Obtenir un LLM (Mistral-7b-Instruct) :  Aujourd'hui, nous allons explorer   , plus précisément   , une version optimisée du modèle de TheBloke. Vous pouvez choisir le modèle optimisé parfait pour votre machine en fonction des   . Mistral-7B Mistral-7B-instruct-v0.1.Q4_K_S.gguf explications contenues dans la description  Vous pouvez choisir des modèles plus petits ou plus grands en fonction de votre matériel. N'ayez pas trop peur d'essayer des choses sur votre ordinateur, nous faisons de la science ici.  Accédez à la   et récupérez les éléments suivants : page Fichiers et versions   config.json    (fonctionnera bien dans la plupart des configurations intermédiaires)  Mistral-7B-instruct-v0.1.Q4_K_S.gguf  Une fois téléchargé, dirigez-vous vers le dossier d’installation text-generation-webui et   . Là,   avec le nom de votre modèle (ou n'importe quel nom de votre choix), comme   . Le chemin sera comme ceci : ouvrez à l’intérieur le dossier models créez un nouveau dossier "mistral-7b-instruct"   C:/.../text-generation-webui/models/mistral-7b-instruct  Placez le fichier   et le   dans le nouveau dossier. config.json model.gguf    :  Pour installer la bibliothèque Python de création multi-agents de Microsoft, installez-la simplement à l'aide du programme d'installation du package pip dans votre terminal. Obtenir Autogen   pip install pyautogen     1. Configuration de l'extension du format OpenAi sur Oobabooga  Une fois votre tout nouveau webui de génération de texte installé et le LLM téléchargé, nous pouvons procéder à faire parler votre serveur Oobabooga local au format OpenAi JSON. Vous pouvez en savoir plus sur les formats et les fonctionnalités des API OpenAi dans leur  .   Documentation  Pour connecter Autogen à notre serveur local, nous devrons activer l'extension « openai » dans le dossier d'extensions text-generation-webui d'Ooobaboga.  Dans votre terminal, dirigez-vous vers le dossier   et installez-y ses exigences : « text-generation-webui/extensions/openai »   pip install -r requirements.txt  2.  Démarrage du serveur LLM local au format OpenAi  Revenez maintenant au dossier racine   de votre terminal. Il est temps de remettre ce bébé en marche. /text-generation-webui  Comme son nom l'indique, il est destiné à être utilisé comme webui, mais vous pouvez également le faire fonctionner en tant que serveur pour interroger les API d'autres programmes que vous créez.  Pour le démarrer en tant que serveur local et avec l'extension openai api, utilisez la commande suivante en fonction de votre système d'exploitation actuel.    (Dans mon cas, j'ai nommé le dossier **"**mistral-7b-instruct") N'oubliez pas de remplacer le paramètre « model » par le nom du dossier que nous avons créé précédemment dans /models.  Les fenêtres:   ./start_windows.bat --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Linux :   ./start_linux.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Mac OS :   ./start_macos.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct  Nous passons le paramètre   pour charger l'extension,   pour démarrer un serveur que nous pouvons interroger à partir d'autogen,   et   qui spécifient le chargeur pour le modèle et le nom du dossier modèle que nous avons créé précédemment, avec le config.json et le modèle. fichiers gguf. extensions openai écoutons du chargeur du modèle  Si tout se passe bien, vous pourriez voir quelque chose comme ceci :   Le webui s'exécute sur le port 7860 de votre hôte local comme d'habitude, mais notez que notre API compatible OpenAI est également prête à être utilisée par Autogen sur notre hôte local à l'adresse  .   http://127.0.0.1:5001/v1   3. Le connecter à Autogen  À ce stade, vous avez déjà installé la bibliothèque autogen, il est donc temps de l'importer et de connecter notre serveur LLM.  Commençons par quelque chose de simple, un seul agent interagissant avec un humain (vous). Créez un nouveau répertoire où vous le souhaitez et ajoutez-y un nouveau fichier   . Vous pouvez également renommer le fichier comme vous le souhaitez. autogen.py  Généralement, pour simplement vous connecter à l'API d'OpenAi GPT, vous démarrez le fichier comme ceci :   import autogen #start importing the autogen lib config_list = [ { 'model': 'gpt-3.5-turbo', 'api_key': 'your openai real key here' } ]  Mais pour utiliser notre serveur local en cours d'exécution, nous l'initions comme ceci :   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ]  Comme vous n'avez pas besoin d'une vraie clé pour travailler localement, nous utilisons simplement l'espace réservé sk-1111….  Ensuite, nous pouvons configurer l'agent et l'utilisateur humain. Lisez les commentaires pour une meilleure compréhension.   import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # create an ai AssistantAgent named "assistant" assistant = autogen.AssistantAgent( name="assistant", llm_config={ "seed": 42, # seed for caching and reproducibility "config_list": config_list, # a list of OpenAI API configurations "temperature": 0, # temperature for sampling "request_timeout": 400, # timeout }, # configuration for autogen's enhanced inference API which is compatible with OpenAI API ) # create a human UserProxyAgent instance named "user_proxy" user_proxy = autogen.UserProxyAgent( name="user_proxy", human_input_mode="NEVER", max_consecutive_auto_reply=10, is_termination_msg=lambda x: x.get("content", "").rstrip().endswith("TERMINATE"), code_execution_config={ "work_dir": "agents-workspace", # set the working directory for the agents to create files and execute "use_docker": False, # set to True or image name like "python:3" to use docker }, ) # the assistant receives a message from the user_proxy, which contains the task description user_proxy.initiate_chat( assistant, message="""Create a posting schedule with captions in instagram for a week and store it in a .csv file.""", )  Pensez à changer message="…" avec vos commandes initiales.  Si vous exécutez simplement le script avec le message, vous verrez peut-être un nouveau répertoire appelé « agents-workspace » contenant un fichier .csv,    créé « manuellement » par l'agent.  Passons maintenant à quelque chose d'un peu plus avancé.   Plusieurs agents avec des rôles et des contextes.  Cela fonctionnera comme un « groupe de discussion » comme n’importe quelle application de messagerie que vous connaissez. Leurs contextes (message système) leur diront comment se comporter et à quelle hiérarchie ils doivent obéir. Cette fois nous aurons :  Deux humains : l'administrateur et l'exécuteur testamentaire.  Quatre agents : l'ingénieur, le scientifique, le planificateur et le critique.   import autogen #Use the local LLM server same as before config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # set a "universal" config for the agents agent_config = { "seed": 42, # change the seed for different trials "temperature": 0, "config_list": config_list, "request_timeout": 120, } # humans user_proxy = autogen.UserProxyAgent( name="Admin", system_message="A human admin. Interact with the planner to discuss the plan. Plan execution needs to be approved by this admin.", code_execution_config=False, ) executor = autogen.UserProxyAgent( name="Executor", system_message="Executor. Execute the code written by the engineer and report the result.", human_input_mode="NEVER", code_execution_config={"last_n_messages": 3, "work_dir": "paper"}, ) # agents engineer = autogen.AssistantAgent( name="Engineer", llm_config=agent_config, system_message='''Engineer. You follow an approved plan. You write python/shell code to solve tasks. Wrap the code in a code block that specifies the script type. The user can't modify your code. So do not suggest incomplete code which requires others to modify. Don't use a code block if it's not intended to be executed by the executor. Don't include multiple code blocks in one response. Do not ask others to copy and paste the result. Check the execution result returned by the executor. If the result indicates there is an error, fix the error and output the code again. Suggest the full code instead of partial code or code changes. If the error can't be fixed or if the task is not solved even after the code is executed successfully, analyze the problem, revisit your assumption, collect additional info you need, and think of a different approach to try. ''', ) scientist = autogen.AssistantAgent( name="Scientist", llm_config=agent_config, system_message="""Scientist. You follow an approved plan. You are able to categorize papers after seeing their abstracts printed. You don't write code.""" ) planner = autogen.AssistantAgent( name="Planner", system_message='''Planner. Suggest a plan. Revise the plan based on feedback from admin and critic, until admin approval. The plan may involve an engineer who can write code and a scientist who doesn't write code. Explain the plan first. Be clear which step is performed by an engineer, and which step is performed by a scientist. ''', llm_config=agent_config, ) critic = autogen.AssistantAgent( name="Critic", system_message="Critic. Double check plan, claims, code from other agents and provide feedback. Check whether the plan includes adding verifiable info such as source URL.", llm_config=agent_config, ) # start the "group chat" between agents and humans groupchat = autogen.GroupChat(agents=[user_proxy, engineer, scientist, planner, executor, critic], messages=[], max_round=50) manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=agent_config) # Start the Chat! user_proxy.initiate_chat( manager, message=""" find papers on LLM applications from arxiv in the last week, create a markdown table of different domains. """, ) # to followup of the previous question, use: # user_proxy.send( # recipient=assistant, # message="""your followup response here""", # )  Et voilà, vous avez votre nouvelle armée d'agents.   Je recommande fortement d'approfondir la documentation d'Autogen pour comprendre ce que ce type d'automatisation d'agence est capable de faire d'autre.  De plus, après avoir compris comment fonctionne autogen sous le capot, vous souhaiterez peut-être l'utiliser via une interface telle que  , ou peut-être créez le vôtre dans le tableau de bord de votre entreprise.   autogen-ui  Maintenant, ça ne depent que de toi. Orchestrez des agents libérés des limitations d’OpenAi, pour construire un avenir meilleur pour nous, les humains. N’oubliez jamais qu’un grand pouvoir implique de grandes responsabilités. Alors, que construisez-vous ensuite ?   Cet article a été entièrement écrit par un humain™   Également publié   . ici

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Make resilience your competitive advantage

Beep Beep Bop Bop : Comment déployer plusieurs agents IA à l'aide de LLM locaux

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps