বিপ বিপ বপ বপ: স্থানীয় এলএলএম ব্যবহার করে একাধিক এআই এজেন্ট কীভাবে মোতায়েন করবেন

Llama2 এবং Mistral-7b এর মতো স্থানীয় LLM ব্যবহার করে একাধিক স্থানীয় Ai এজেন্টদের মোতায়েন করা।

"মেশিনের কাজ করার জন্য একজন মানুষকে কখনই পাঠাবেন না"

- এজেন্ট স্মিথ

আপনি কি প্রদত্ত OpenAi এর পরিবর্তে স্থানীয় LLM ব্যবহার করে Autogen এর সাথে সংগঠিত AI এজেন্টদের একটি সম্পূর্ণ বাহিনী তৈরি করার উপায় খুঁজছেন? তারপর আপনি সঠিক জায়গায় এসেছেন!

চ্যাট এলএলএমগুলি দুর্দান্ত, তবে বুদ্ধিমান এজেন্ট হিসাবে পদক্ষেপ নেওয়া পরবর্তী স্তর। তাদের অনেক সম্পর্কে কি? মাইক্রোসফ্টের সর্বশেষ অটোজেন প্রকল্পের সাথে দেখা করুন।

কিন্তু একটি সমস্যা আছে. অটোজেন ডিফল্টরূপে OpenAi এর সাথে সংযুক্ত করার জন্য তৈরি করা হয়েছিল, যা সীমিত, ব্যয়বহুল এবং সেন্সর করা/অ-সংবেদনশীল। এজন্য স্থানীয়ভাবে Mistral-7B এর মতো একটি সাধারণ LLM ব্যবহার করাই সবচেয়ে ভালো উপায়। আপনি আপনার পছন্দের অন্য কোন মডেল যেমন Llama2 , Falcon , Vicuna , Alpaca , আকাশ (আপনার হার্ডওয়্যার) এর সাথেও ব্যবহার করতে পারেন।

গোপনীয়তা হল আপনার স্থানীয় LLM সার্ভারে Oobabooga-এর টেক্সট-জেনারেশন-ওয়েবুই-তে ওপেনই JSON স্টাইলের আউটপুট ব্যবহার করা, তারপর এটিকে অটোজেনে হুক করা। যে আমরা আজ নির্মাণ করছি.

উল্লেখ্য, llama.cpp পাইথন বাইন্ডিং-এর মতো ওপেনাই এপিস ফরম্যাটে llms স্পিট টেক্সট তৈরি করার জন্য অন্যান্য পদ্ধতি রয়েছে।

এই টিউটোরিয়ালে আমরা হব: 0. Oobabooga-এর text-generation-webui, একটি LLM (Mistral-7b) এবং Autogen পাওয়া

1. Oobabooga-এ OpenAi ফর্ম্যাট এক্সটেনশন সেট আপ করা হচ্ছে

2. OpenAi ফরম্যাটের সাথে স্থানীয় LLM সার্ভার শুরু করা হচ্ছে

3. এটি অটোজেনে হুক করা হচ্ছে

   
   

চল শুরু করি!

0. Oobabooga-এর টেক্সট-জেনারেশন-ওয়েবুই, একটি LLM (Mistral-7b) এবং অটোজেন পাওয়া

এগিয়ে যাওয়ার আগে, পিপ প্যাকেজ ইনস্টল করার সময় ভার্চুয়াল পরিবেশ ব্যবহার করার পরামর্শ দেওয়া হয়। একটি নতুন তৈরি করুন এবং যদি আপনার মনে হয় এটি সক্রিয় করুন।

Obbabooga এর টেক্সট জেনারেশন Webui পাওয়া: এটি আপনার স্থানীয় মেশিনে LLM হোস্ট করার জন্য একটি সুপরিচিত প্রোগ্রাম। টেক্সট-জেনারেশন-ওয়েবুই- এর পৃষ্ঠায় যান এবং ইনস্টলেশন গাইড অনুসরণ করুন। এটা শুরু করার জন্য খুব সোজা এগিয়ে. আপনি যদি ত্বরণের জন্য একটি NVIDIA gpu ব্যবহার করেন তবে আপনি CUDA ডাউনলোড করতে চাইতে পারেন।

একটি LLM (Mistral-7b-Instruct): পাঠ্য প্রজন্মের ওয়েবুই ডাউনলোড করার পরে, এটি এখনও শুরু করবেন না। আমাদের এজেন্টদের জীবন দেওয়ার জন্য আমাদের একটি এলএলএম পেতে হবে।

আজ আমরা Mistral-7B অন্বেষণ করব, বিশেষ করে Mistral-7B-instruct-v0.1.Q4_K_S.gguf , TheBloke দ্বারা মডেলটির একটি অপ্টিমাইজ করা সংস্করণ। বর্ণনার ব্যাখ্যার উপর ভিত্তি করে আপনি আপনার মেশিনের জন্য নিখুঁত অপ্টিমাইজ করা মডেলটি বেছে নিতে পারেন।

আপনি আপনার হার্ডওয়্যারের উপর নির্ভর করে ছোট বা বড় মডেল বেছে নিতে পারেন। আপনার কম্পিউটারে জিনিসগুলি চেষ্টা করে দেখতে খুব ভয় পাবেন না, আমরা এখানে বিজ্ঞান তৈরি করছি।

ফাইল এবং সংস্করণ পৃষ্ঠাতে যান এবং নিম্নলিখিতটি ধরুন:

• config.json

• Mistral-7B-instruct-v0.1.Q4_K_S.gguf (বেশিরভাগ মাঝামাঝি সেটআপে ভাল চলবে)

  
  

একবার ডাউনলোড হয়ে গেলে, টেক্সট-জেনারেশন-ওয়েবুই ইনস্টলেশন ফোল্ডারে যান এবং এর ভিতরে মডেল ফোল্ডারটি খুলুন । সেখানে, আপনার মডেলের নামের সাথে একটি নতুন ফোল্ডার তৈরি করুন (অথবা আপনি যে কোনো নাম চান), যেমন "mistral-7b-instruct" । পথটি হবে এরকমঃ

 C:/.../text-generation-webui/models/mistral-7b-instruct

নতুন ফোল্ডারে config.json ফাইল এবং model.gguf উভয়ই রাখুন।

অটোজেন পাওয়া :
মাইক্রোসফটের মাল্টি-এজেন্ট মেকিং পাইথন লাইব্রেরি ইনস্টল করতে আপনার টার্মিনালে পিপ প্যাকেজ ইনস্টলার ব্যবহার করে এটি ইনস্টল করুন।

 pip install pyautogen

1. Oobabooga-এ OpenAi ফরম্যাট এক্সটেনশন সেট আপ করা

আপনার একেবারে নতুন টেক্সট-জেনারেশন-ওয়েবুই ইনস্টল করা এবং LLM ডাউনলোড করার মাধ্যমে, আমরা আপনার স্থানীয় Oobabooga সার্ভারকে OpenAi JSON ফর্ম্যাটে কথা বলার জন্য এগিয়ে যেতে পারি। আপনি OpenAi এপিআই ফরম্যাট সম্পর্কে আরও জানতে পারেন এবং তাদের মধ্যে এটির বৈশিষ্ট্যগুলি দেখতে পারেন ডকুমেন্টেশন .

আমাদের স্থানীয় সার্ভারের সাথে অটোজেনকে হুক করার জন্য, আমাদের ওওবাবোগার টেক্সট-জেনারেশন-ওয়েবুই এক্সটেনশন ফোল্ডারে "ওপেনাই" এক্সটেনশনটি সক্রিয় করতে হবে।

আপনার টার্মিনাল হেডে "টেক্সট-জেনারেশন-ওয়েবুই/এক্সটেনশন/ওপেনাই" ফোল্ডারে এবং সেখানে এর প্রয়োজনীয়তাগুলি ইনস্টল করুন:

 pip install -r requirements.txt

2. OpenAi ফরম্যাটে স্থানীয় LLM সার্ভার শুরু করা

এখন আপনার টার্মিনালে /text-generation-webui রুট ফোল্ডারে ফিরে যান। এই শিশুর উঠার এবং দৌড়ানোর সময় এসেছে।

নাম অনুসারে, এটি একটি ওয়েবুই হিসাবে ব্যবহার করার উদ্দেশ্যে ছিল, তবে আপনি এটিকে সার্ভার হিসাবে চালিয়ে যেতে পারেন আপনার তৈরি করা অন্যান্য প্রোগ্রামগুলি থেকে এপিআই জিজ্ঞাসা করতে।

এটিকে একটি স্থানীয় সার্ভার হিসাবে বুট করতে এবং openai api এক্সটেনশন সহ, আপনার বর্তমান OS অনুযায়ী নিম্নলিখিত কমান্ডটি ব্যবহার করুন।

"মডেল" প্যারামিটার পরিবর্তন করতে ভুলবেন না যে ফোল্ডারের নাম আমরা আগে তৈরি করেছি /models এ। (আমার ক্ষেত্রে আমি ফোল্ডারটির নাম দিয়েছি **"**মিস্ট্রাল-৭বি-নির্দেশ")

উইন্ডোজ:

 ./start_windows.bat --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct

লিনাক্স:

 ./start_linux.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct

ম্যাক অপারেটিং সিস্টেম:

 ./start_macos.sh --extensions openai --listen --loader llama.cpp --model mistral-7b-instruct

আমরা এক্সটেনশন লোড করার জন্য এক্সটেনশন ওপেনই প্যারামিটার পাস করি, একটি সার্ভার শুরু করার কথা শুনি যা আমরা অটোজেন, লোডার এবং মডেল থেকে জিজ্ঞাসা করতে পারি যা মডেলের জন্য লোডার এবং মডেল ফোল্ডারের নাম উল্লেখ করে যা আমরা আগে তৈরি করেছি, config.json এবং মডেল সহ। gguf ফাইল।

সবকিছু ঠিকঠাক থাকলে, আপনি এইরকম কিছু দেখতে পারেন:

ওয়েবুই আপনার লোকালহোস্ট পোর্ট 7860 এ একটি স্বাভাবিক সূচনা হিসাবে চলছে, তবে মনে রাখবেন আমাদের OpenAI সামঞ্জস্যপূর্ণ এপিআই আমাদের স্থানীয় হোস্টে অটোজেন দ্বারা ব্যবহার করার জন্য প্রস্তুত http://127.0.0.1:5001/v1 .

3. অটোজেনে এটি হুক করা

এই মুহুর্তে, আপনি ইতিমধ্যেই অটোজেন lib ইনস্টল করেছেন, তাই এটি আমদানি করার এবং আমাদের LLM সার্ভার প্লাগ করার সময়।

আসুন সহজ কিছু দিয়ে শুরু করি, একজন একক এজেন্ট একজন মানুষের (আপনি) সাথে যোগাযোগ করে। আপনি যেখানে খুশি একটি নতুন ডিরেক্টরি তৈরি করুন এবং সেখানে একটি নতুন autogen.py ফাইল যুক্ত করুন৷ আপনি আপনার ইচ্ছামত ফাইলটির নাম পরিবর্তন করতে পারেন।

সাধারণত OpenAi GPT এর API এর সাথে সংযোগ করতে আপনি ফাইলটি এভাবে শুরু করবেন:

 import autogen #start importing the autogen lib config_list = [ { 'model': 'gpt-3.5-turbo', 'api_key': 'your openai real key here' } ]

কিন্তু আমাদের চলমান স্থানীয় সার্ভার ব্যবহার করতে, আমরা এটিকে এভাবে শুরু করি:

 import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ]

যেহেতু স্থানীয়ভাবে কাজ করার জন্য আপনার একটি আসল কী প্রয়োজন নেই, আমরা শুধু sk-1111… প্লেসহোল্ডার ব্যবহার করছি।

এর পরে, আমরা এজেন্ট এবং মানব ব্যবহারকারী সেটআপ করতে পারি। ভাল বোঝার জন্য মন্তব্য পড়ুন.

 import autogen #start importing the autogen lib config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # create an ai AssistantAgent named "assistant" assistant = autogen.AssistantAgent( name="assistant", llm_config={ "seed": 42, # seed for caching and reproducibility "config_list": config_list, # a list of OpenAI API configurations "temperature": 0, # temperature for sampling "request_timeout": 400, # timeout }, # configuration for autogen's enhanced inference API which is compatible with OpenAI API ) # create a human UserProxyAgent instance named "user_proxy" user_proxy = autogen.UserProxyAgent( name="user_proxy", human_input_mode="NEVER", max_consecutive_auto_reply=10, is_termination_msg=lambda x: x.get("content", "").rstrip().endswith("TERMINATE"), code_execution_config={ "work_dir": "agents-workspace", # set the working directory for the agents to create files and execute "use_docker": False, # set to True or image name like "python:3" to use docker }, ) # the assistant receives a message from the user_proxy, which contains the task description user_proxy.initiate_chat( assistant, message="""Create a posting schedule with captions in instagram for a week and store it in a .csv file.""", )

আপনার প্রাথমিক আদেশের সাথে বার্তা=”…” পরিবর্তন করতে ভুলবেন না।

আপনি যদি বার্তাটি দিয়ে স্ক্রিপ্টটি চালান, তাহলে আপনি সেখানে একটি .csv ফাইল সহ "এজেন্ট-ওয়ার্কস্পেস" নামে একটি নতুন ডিরেক্টরি দেখতে পাবেন, যা এজেন্ট দ্বারা "ম্যানুয়ালি" তৈরি করা হয়েছে।

এখন এর একটু বেশি উন্নত কিছু জন্য যান.
ভূমিকা এবং প্রসঙ্গ সহ একাধিক এজেন্ট।

এটি আপনার পরিচিত যেকোনো মেসেজিং অ্যাপের মতো একটি "চ্যাট গ্রুপ" এর মতো কাজ করবে। তাদের প্রসঙ্গ (সিস্টেম বার্তা) তাদের বলবে কিভাবে আচরণ করতে হবে এবং কোন শ্রেণিবিন্যাস তাদের মেনে চলতে হবে। এই সময় আমাদের থাকবে:

• দুটি মানুষ: প্রশাসক এবং নির্বাহক।
• চারটি এজেন্ট: প্রকৌশলী, বিজ্ঞানী, পরিকল্পনাকারী এবং সমালোচক।

 import autogen #Use the local LLM server same as before config_list = [ { "model": "mistral-instruct-7b", #the name of your running model "api_base": "http://127.0.0.1:5001/v1", #the local address of the api "api_type": "open_ai", "api_key": "sk-111111111111111111111111111111111111111111111111", # just a placeholder } ] # set a "universal" config for the agents agent_config = { "seed": 42, # change the seed for different trials "temperature": 0, "config_list": config_list, "request_timeout": 120, } # humans user_proxy = autogen.UserProxyAgent( name="Admin", system_message="A human admin. Interact with the planner to discuss the plan. Plan execution needs to be approved by this admin.", code_execution_config=False, ) executor = autogen.UserProxyAgent( name="Executor", system_message="Executor. Execute the code written by the engineer and report the result.", human_input_mode="NEVER", code_execution_config={"last_n_messages": 3, "work_dir": "paper"}, ) # agents engineer = autogen.AssistantAgent( name="Engineer", llm_config=agent_config, system_message='''Engineer. You follow an approved plan. You write python/shell code to solve tasks. Wrap the code in a code block that specifies the script type. The user can't modify your code. So do not suggest incomplete code which requires others to modify. Don't use a code block if it's not intended to be executed by the executor. Don't include multiple code blocks in one response. Do not ask others to copy and paste the result. Check the execution result returned by the executor. If the result indicates there is an error, fix the error and output the code again. Suggest the full code instead of partial code or code changes. If the error can't be fixed or if the task is not solved even after the code is executed successfully, analyze the problem, revisit your assumption, collect additional info you need, and think of a different approach to try. ''', ) scientist = autogen.AssistantAgent( name="Scientist", llm_config=agent_config, system_message="""Scientist. You follow an approved plan. You are able to categorize papers after seeing their abstracts printed. You don't write code.""" ) planner = autogen.AssistantAgent( name="Planner", system_message='''Planner. Suggest a plan. Revise the plan based on feedback from admin and critic, until admin approval. The plan may involve an engineer who can write code and a scientist who doesn't write code. Explain the plan first. Be clear which step is performed by an engineer, and which step is performed by a scientist. ''', llm_config=agent_config, ) critic = autogen.AssistantAgent( name="Critic", system_message="Critic. Double check plan, claims, code from other agents and provide feedback. Check whether the plan includes adding verifiable info such as source URL.", llm_config=agent_config, ) # start the "group chat" between agents and humans groupchat = autogen.GroupChat(agents=[user_proxy, engineer, scientist, planner, executor, critic], messages=[], max_round=50) manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=agent_config) # Start the Chat! user_proxy.initiate_chat( manager, message=""" find papers on LLM applications from arxiv in the last week, create a markdown table of different domains. """, ) # to followup of the previous question, use: # user_proxy.send( # recipient=assistant, # message="""your followup response here""", # )

সেখানে আপনি যান, আপনার এজেন্টদের নতুন বাহিনী আছে।

এই ধরনের এজেন্সি অটোমেশন আর কী করতে সক্ষম তা বোঝার জন্য আমি অটোজেন ডকুমেন্টেশনের গভীরে যাওয়ার পরামর্শ দিচ্ছি।

এছাড়াও, কিভাবে অটোজেন হুডের নিচে কাজ করে তা বোঝার পরে আপনি এটি একটি ইন্টারফেসের মাধ্যমে ব্যবহার করতে চাইতে পারেন autogen-ui , অথবা হয়ত আপনার কোম্পানির ড্যাশবোর্ডে আপনার নিজের তৈরি করুন৷

এখন এটা আপনার উপর নির্ভর করে। অর্কেস্ট্রেট এজেন্টরা OpenAi সীমাবদ্ধতা থেকে মুক্ত, আমাদের মানুষের জন্য একটি ভাল ভবিষ্যত গড়ে তুলতে। সর্বদা মনে রাখবেন যে মহান শক্তির সাথে মহান দায়িত্ব আসে। সুতরাং, আপনি পরবর্তী নির্মাণ কি?

এই পোস্টটি সম্পূর্ণরূপে একজন মানুষের দ্বারা লেখা হয়েছে™৷