একজন বিকাশকারী এবং হ্যাকার উভয় হিসাবে LLama2 এর সাথে আমার অভিজ্ঞতা

আমার ব্লগ পোস্টে স্বাগতম যেখানে আমি LLama2 মডেলের সাথে কাজ করার জন্য আমার যাত্রা এবং অন্তর্দৃষ্টি শেয়ার করব। LLama2 একটি চমত্কার AI মডেল যা মেটা দ্বারা তৈরি করা হয়েছে, এবং এটির সক্ষমতাগুলি অন্বেষণ করা উত্তেজনাপূর্ণ যা GPT-3-এর স্মরণ করিয়ে দেয়। এই পোস্টে, আমরা LLama2 এর সেটআপ, পূর্বশর্ত, অ্যাপ্লিকেশন, তাৎপর্য এবং এমনকি কীভাবে আমরা নিজেরা এটিকে প্রশিক্ষিত করতে পারি তার একটি উঁকি সহ LLama2-এর বিভিন্ন দিক নিয়ে আলোচনা করব। LLama2 এর সাথে আমার শেখার অভিজ্ঞতার মধ্য দিয়ে আপনাকে নিয়ে যেতে আমি রোমাঞ্চিত, যা আমার হ্যাকবট প্রকল্পে কাজ করার সময় অর্জিত হয়েছে৷

কভার করার বিষয়

• LLama2 কি?
• কিভাবে শুরু করেছিল?
• আমি কিভাবে HackBot এ এটি ব্যবহার করেছি?
• কিভাবে মডেল প্রশিক্ষণ?
• ক্ষমতা এবং সুবিধা।
• চূড়ান্ত কীনোট।

LLama2 কি?

LLama2 হল একটি অত্যাধুনিক প্রযুক্তি যা মেটা দ্বারা তৈরি করা হয়েছে যা এর হৃদয়ে একটি AI মডেল হিসাবে শ্রেণীবদ্ধ করা হয়েছে। এটিকে একজন খুব বুদ্ধিমান সহকারী হিসাবে ভাবুন যা মানুষের ভাষা বুঝতে পারে এবং অর্থপূর্ণ প্রতিক্রিয়া তৈরি করতে পারে, প্রায় মানুষের মতো। LLama2 এর লক্ষ্য হল মানুষ এবং কম্পিউটারের মধ্যে মিথস্ক্রিয়া সহজ এবং স্বাভাবিকতা উন্নত করা।

আপনি যখন বন্ধুদের সাথে কথা বলেন বা ইমেল রচনা করেন তখন আপনি কীভাবে মৌখিকভাবে নিজেকে প্রকাশ করেন তা বিবেচনা করুন; আপনি যাদের সাথে যোগাযোগ করছেন তারা বুঝতে পারে এবং প্রতিক্রিয়া জানায়। অপারেশনে অনুরূপ, LLama2 প্রচুর পরিমাণে পাঠ্য ডেটা প্রক্রিয়া করতে পারে এবং এটি থেকে শিখতে পারে। এটি LLama2-এর পক্ষে বিভিন্ন কাজে সহায়তা করা সম্ভব করে, যেমন তথ্য সরবরাহ করা এবং প্রশ্নের উত্তর দেওয়া, সেইসাথে বিষয়বস্তু লেখা এবং সমস্যা সমাধানে সহায়তা করা।

LLama2 এর অনন্য বৈশিষ্ট্য হল যে এটি প্রবেশযোগ্যতার কথা মাথায় রেখে তৈরি করা হয়েছে। এটি একটি নমনীয় যন্ত্র থাকার মত যা প্রযুক্তিগত ক্ষমতার বিভিন্ন স্তরের যে কেউ ব্যবহার করতে পারে। LLama2 কৃত্রিম বুদ্ধিমত্তার সম্ভাব্যতা অ্যাক্সেস করার জন্য একটি সহজ পদ্ধতি প্রদান করে, আপনি একজন বিকাশকারী, লেখক, ছাত্র, বা কেউ এতে আগ্রহী কিনা।

সংক্ষেপে, LLama2 সম্ভাবনার একটি ক্ষেত্র তৈরি করে যেখানে কম্পিউটারগুলি মানুষের ভাষার সাথে আরও সহজে এবং কার্যকরভাবে যোগাযোগ করতে পারে। প্রযুক্তির সাথে আপনার মিথস্ক্রিয়া অনেক বেশি ফলপ্রসূ এবং দক্ষ হয়ে ওঠে কারণ এটি এমন একজন ভার্চুয়াল বন্ধু থাকার মতো যে টেক্সট এবং ভাষা জড়িত কার্যকলাপে আপনাকে সাহায্য করার জন্য ক্রমাগত সেখানে থাকে।

কিভাবে শুরু করেছিল?

আপনাকে এগিয়ে নিয়ে যাওয়ার জন্য প্রথম পদক্ষেপগুলি দিয়ে শুরু করা যাক৷ কোডটি কাজ করার জন্য আপনাকে নিম্নলিখিত কাজগুলি বিবেচনা করতে হবে।

আপনার ভাষা নির্বাচন করা:

একটি নির্ভরযোগ্য ভ্রমণ সঙ্গীর জন্য পাইথন ছিল আমার প্রথম পছন্দ। প্রোগ্রামিং সম্প্রদায়ে এর অভিযোজনযোগ্যতা এবং ব্যাপক ব্যবহারের কারণে LLama2 এর সাথে ইন্টারঅ্যাক্ট করার জন্য এটি একটি দুর্দান্ত বিকল্প। আপনি যদি পাইথনের সাথে ইতিমধ্যে পরিচিত হন তবে আপনি ভাল অবস্থায় আছেন।

প্রয়োজনীয় জিনিসগুলি সেট আপ করা:

• HuggingFace অ্যাকাউন্ট এবং লামা সংগ্রহস্থল অ্যাক্সেস:

  শুরু করার জন্য আপনাকে HuggingFace-এ একটি অ্যাকাউন্ট তৈরি করতে হবে, একটি প্ল্যাটফর্ম যেখানে বেশ কয়েকটি AI মডেল এবং টুল রয়েছে। আপনার অ্যাকাউন্ট প্রস্তুত করা হয়েছে তা নিশ্চিত করুন। অতিরিক্তভাবে, আপনি মেটার লামা সংগ্রহস্থলে অ্যাক্সেস অর্জন করে LLama2 এর উপাদানগুলি খুঁজে পেতে পারেন।

  
  

• C/C++ এবং Cmake ইনস্টলেশন: LLama2-এ LLama-cpp নামে একটি উপাদান রয়েছে, যার জন্য আপনার সিস্টেমে C/C++ এবং Cmake ইনস্টল করা প্রয়োজন। এই টুলগুলি LLama-cpp তৈরির জন্য প্রয়োজনীয়, তাই নিশ্চিত করুন যে সেগুলি সেট আপ করা হয়েছে এবং যেতে প্রস্তুত৷

লগ ইন করা এবং প্রস্তুত হওয়া:

• Huggingface-cli লগইন: আপনার HuggingFace অ্যাকাউন্টের বিবরণ হাতে নিয়ে, লগ ইন করতে HuggingFace কমান্ড-লাইন ইন্টারফেস ব্যবহার করুন৷ এই ধাপটি আপনাকে আপনার অ্যাকাউন্ট টোকেন ব্যবহার করে HuggingFace প্ল্যাটফর্মের সাথে সংযুক্ত করে, আপনার প্রয়োজনীয় AI সংস্থানগুলিতে অ্যাক্সেস প্রদান করে৷ টোকেনটি এই ইউআরএল ব্যবহার করে পাওয়া যাবে যদি আপনি একটি জেনারেট না খুঁজে পান।

  
  

  কমান্ডগুলো হল:

   $ huggingface-cli login Token: Your_Token

  
  

• LLama-cpp ইনস্টল করা: Llama-cpp হল llama এবং Python একসাথে কাজ করার জন্য একটি নিম্ন-স্তরের অ্যাক্সেস বাইন্ডার এবং আমাদের আরও নমনীয়তা প্রদান করে।

  
  

  ইনস্টলেশন 2 উপায়ে করা যেতে পারে:

  • সরাসরি পাইথন ইনস্টলেশন:

     pip install llama-cpp-python

  • কম্পাইল বিকল্প: এর জন্য, আপনাকে ব্যাখ্যা করার জন্য মডিউলটির জটিলটির জন্য রিডমি পরীক্ষা করতে হবে: README.md

  
  

• ল্যাংচেইন ইনস্টল করা : ল্যাংচেইন হল একটি উন্মুক্ত কাঠামো যা এলএলএম মডেল অ্যাপ্লিকেশন ডেভেলপমেন্ট সহজ করার উদ্দেশ্যে। আমরা এই কাজের জন্য বিশেষভাবে LLamaCpp , প্রম্পটেম্পলেট , CallbackManager , এবং StreamingStdOutCallbackHandler মডিউলগুলি ব্যবহার করব৷

  
  

  ইনস্টলেশনের জন্য কমান্ড হল:

   pip install langchain pip install langchainplus-sdk

কিভাবে এটি Python কোড ব্যবহার করা হয়?

এখন মূল প্রশ্ন হল এটা কিভাবে ব্যবহার করা হয়?

উত্তর দিতে যে ইন্টিগ্রেশন অংশকে ধাপে ভাগ করা যায়।

• মডেল ডাউনলোড এবং সংজ্ঞা:

  • এই জন্য, আমি HackBot এর কোড উল্লেখ করা হবে.

  • সমস্ত প্রয়োজনীয় মডিউল কল করার পরে আমাদের অবশ্যই মডেলের নাম এবং রেপোর বিষয়ে সিদ্ধান্ত নিতে হবে যা থেকে আমরা এটি ডাউনলোড করতে চাই।

     model_name_or_path = "localmodels/Llama-2-7B-Chat-ggml" model_basename = "llama-2-7b-chat.ggmlv3.q4_0.bin" model_path = hf_hub_download(repo_id=model_name_or_path, filename=model_basename)

    
    

  • উপরের কোডে, ব্যবহৃত লামা মডিউলটি একটি 7b বা একটি 7 বিলিয়ন প্যারামিটার মডেল এবং স্থানীয় মডেল সংস্করণ llama2।

  • তারপর মডেল_পথটিকে মডেলের ডাউনলোড পাথ দ্বারা huggingface ডাউনলোডার দ্বারা উল্লেখ করা হয় যা রেপো থেকে সিস্টেমে llama-2-7b-chat.ggmlv3.q4_0.bin ডাউনলোড করে।

  • পথটি গুরুত্বপূর্ণ কারণ LlamaCpp এটি ব্যবহার করার জন্য মডেল অবস্থান উল্লেখ করবে।

  
  

• একটি ব্যক্তিত্ব এবং একটি প্রম্পট টেমপ্লেট সংজ্ঞায়িত করুন:

   from langchain import PromptTemplate from langchain.callbacks.manager import CallbackManager from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler template = """ persona: {persona} You are a helpful, respectful, and honest cybersecurity analyst. Being a security analyst, you must scrutinize the details provided to ensure they are usable for penetration testing. Please ensure that your responses are socially unbiased and positive. If a question does not make any sense or is not factually coherent. If you don't know the answer to a question, please don't share false information. Keep your answers in English and do not divert from the question. If the answer to the asked question or query is complete, end your answer. Keep the answer accurate and do not skip details related to the query. Give your output in markdown format. """ prompt = PromptTemplate(template=template, input_variables=["persona"]) callback_manager = CallbackManager([StreamingStdOutCallbackHandler()])

  • একজন লামাকে ব্যক্তিগত সহকারী বা সাইবার নিরাপত্তা বিশ্লেষক হিসাবে সংজ্ঞায়িত করার মতো ব্যক্তি হিসাবে ব্যবহার করার জন্য আমাদের একটি বেস টেমপ্লেট দিতে হবে।

  • টেমপ্লেটটি সংজ্ঞায়িত করে যে মডেলটি কী হিসাবে কাজ করবে এবং চূড়ান্ত আউটপুটটি কী হবে তার উপর অনেক প্রভাব ফেলতে পারে তাই এটি অত্যন্ত যত্ন সহকারে লিখতে হবে।

  • তারপর টেমপ্লেট পার্সোনা এবং প্রম্পট টেম্পলেট মডিউল ব্যবহার করে ব্যক্তিত্ব ব্যবহার করে প্রম্পট তৈরি করা হয়।

  • কলব্যাক ম্যানেজার AI এর আউটপুট প্রদর্শন করতে এবং ইনপুট এবং আউটপুট লিঙ্কগুলি পরিচালনা করতে ব্যবহৃত হয়।

    
    

• LlamaCpp মডিউল সংজ্ঞায়িত করুন:

   llm = LlamaCpp( model_path=model_path, input={"temperature": 0.75, "max_length": 3500, "top_p": 1}, callback_manager=callback_manager, max_tokens=3500, n_batch=3500, n_gpu_layers=60, verbose=False, n_ctx=3500, streaming=False, )

  • LlamaCpp মডিউল হল সংযোগকারী মডিউল যা ডাউনলোড করা LLM মডিউলকে লিঙ্ক করে।
  • মডিউলটি কাজ করার জন্য, আমাদের এটিকে মডেল পাথের সাথে লিঙ্ক করতে হবে যা আমরা ডাউনলোডার শুরু করার সময় পূর্ব-নির্ধারিত।
  • সর্বাধিক ইনপুট দৈর্ঘ্য অবশ্যই ইনপুট বিভাগে সংজ্ঞায়িত করা উচিত এবং সর্বাধিক টোকেনগুলিকে অবশ্যই সংজ্ঞায়িত করতে হবে টোকেনগুলি AI এর পাঠ্য বোঝে৷
  • তারপর ব্যাচ, GPU স্তর এবং ctx সংজ্ঞায়িত করা হয় এবং সরাসরি আউটপুট না দেখানোর জন্য স্ট্রিমিং False এ সেট করা হয় এবং যাতে চূড়ান্ত আউটপুট পরিষ্কার রাখার জন্য এটি একটি ভেরিয়েবলের সাথে সংরক্ষণ করা যায়।

এখন এটি বাস্তবায়ন করে, আমরা একটি চ্যাটবট ব্যাকবোন বা একটি সংযোগকারী তৈরি করেছি এবং এটি ব্যবহার করে আমরা এআই মডেলের সাথে একটি সক্রিয় কথোপকথন শুরু করতে পারি।

আমি কিভাবে HackBot এ এটি ব্যবহার করেছি?

হ্যাকবট একটি সাইবারসিকিউরিটি-নির্দিষ্ট চ্যাট বট তৈরি করার জন্য আমার প্রচেষ্টা ছিল এবং এই টুলটিতে ডেটা স্ক্যান, লগ ডেটা বিশ্লেষণ টুল এবং কোড বিশ্লেষণ ক্ষমতার মতো বৈশিষ্ট্য রয়েছে।

• চ্যাট ইন্টারঅ্যাকশন লুপ:

   while True: try: prompt_in = Prompt.ask('> ') # ... except KeyboardInterrupt: pass

  
  

  এই লুপ একটি ইন্টারেক্টিভ পরিবেশ তৈরি করে যেখানে ব্যবহারকারী কমান্ড বা প্রম্পট ইনপুট করতে পারে। কোডটি Prompt.ask('> ') ব্যবহার করে ব্যবহারকারীর ইনপুটের জন্য অপেক্ষা করে এবং প্রোগ্রাম ক্র্যাশ না করে KeyboardInterrupt (Ctrl+C) এর মতো ব্যতিক্রমগুলি পরিচালনা করে। এই লুপ নিশ্চিত করে যে চ্যাটবট প্রতিক্রিয়াশীল থাকে এবং ক্রমাগত ব্যবহারকারীর সাথে যোগাযোগ করতে পারে।

  
  

• ব্যবহারকারীর আদেশ প্রক্রিয়াকরণ:

   if prompt_in == 'quit_bot': quit() elif prompt_in == 'clear_screen': clearscr() pass elif prompt_in == 'bot_banner': # ... elif prompt_in == 'save_chat': # ... elif prompt_in == 'static_code_analysis': # ... elif prompt_in == 'vuln_analysis': # ... elif prompt_in == 'contact_dev': # ... elif prompt_in == 'help_menu': # ... else: # ...

  লুপের মধ্যে, ব্যবহারকারীর ইনপুট বিভিন্ন কমান্ড কীওয়ার্ডের বিরুদ্ধে চেক করা হয়। ইনপুট উপর নির্ভর করে, কোড সংশ্লিষ্ট ক্রিয়া সম্পাদন করে। উদাহরণস্বরূপ, যদি ব্যবহারকারী 'quit_bot' ইনপুট করে, তাহলে প্রোগ্রাম থেকে প্রস্থান করার জন্য quit() ফাংশন বলা হয়। ব্যবহারকারী যদি 'ক্লিয়ার_স্ক্রিন' ইনপুট করে, clearscr() ফাংশন কনসোল স্ক্রীনটি পরিষ্কার করে। অনুরূপ যুক্তি অন্যান্য কমান্ড প্রয়োগ করা হয়.

  
  

• AI প্রতিক্রিয়া তৈরি করা হচ্ছে:

   else: prompt = prompt_in print(Print_AI_out(prompt)) pass

  যদি ব্যবহারকারীর ইনপুট পূর্বনির্ধারিত কোনো কমান্ডের সাথে মেলে না, তবে এটি AI-এর জন্য একটি প্রম্পট হিসাবে বিবেচিত হয়। ইনপুটটি prompt ভেরিয়েবলে বরাদ্দ করা হয় এবং প্রদত্ত প্রম্পটের উপর ভিত্তি করে একটি AI প্রতিক্রিয়া তৈরি করতে Print_AI_out(prompt) ফাংশনটিকে বলা হয়। AI-উত্পন্ন প্রতিক্রিয়া তারপর কনসোলে প্রিন্ট করা হয়।

  
  

• চ্যাটের ইতিহাস সংরক্ষণ করা হচ্ছে:

   def save_chat(chat_history: list[Any, Any]) -> None: f = open('chat_history.json', 'w+') f.write(json.dumps(chat_history)) f.close

  save_chat ফাংশন 'chat_history.json' নামের একটি JSON ফাইলে কথোপকথনের ইতিহাস সংরক্ষণ করার জন্য দায়ী, যার মধ্যে ব্যবহারকারীর প্রম্পট এবং এআই-উত্পাদিত প্রতিক্রিয়া উভয়ই রয়েছে। এই ফাংশনটি chat_history তালিকার ডেটাকে JSON ফরম্যাটে সিরিয়ালাইজ করে এবং ফাইলে লেখে।

  
  

• দুর্বলতা বিশ্লেষণ এবং স্ট্যাটিক কোড বিশ্লেষণ:

   elif prompt_in == 'static_code_analysis': print(Markdown('----------')) language_used = Prompt.ask('Language Used> ') file_path = Prompt.ask('File Path> ') print(Markdown('----------')) print(static_analysis(language_used, file_path)) pass elif prompt_in == 'vuln_analysis': print(Markdown('----------')) scan_type = Prompt.ask('Scan Type > ') file_path = Prompt.ask('File Path > ') print(Markdown('----------')) print(vuln_analysis(scan_type, file_path)) pass

  এই বিভাগগুলি স্ট্যাটিক কোড বিশ্লেষণ এবং দুর্বলতা বিশ্লেষণ করার জন্য ব্যবহারকারীর আদেশগুলি পরিচালনা করে। ব্যবহারকারীকে ব্যবহৃত ভাষা বা স্ক্যানের ধরন এবং একটি ফাইল পাথের মতো তথ্য প্রদান করতে বলা হয়। সংশ্লিষ্ট বিশ্লেষণ ফাংশন ( static_analysis বা vuln_analysis ) তারপর প্রদত্ত ডেটার সাথে কল করা হয় এবং AI এমন প্রতিক্রিয়া তৈরি করে যা বিশ্লেষণের ফলাফল অন্তর্ভুক্ত করে।

  
  

• দুর্বলতা বিশ্লেষণ: vuln_analysis বিভাগে, নিম্নলিখিত কোডটি ব্যবহারকারীকে ইনপুট করার জন্য অনুরোধ করে:

   scan_type = Prompt.ask('Scan Type > ') file_path = Prompt.ask('File Path > ')

  
  

  এখানে, Prompt.ask ফাংশনটি ইন্টারেক্টিভভাবে ব্যবহারকারীকে তথ্যের জন্য জিজ্ঞাসা করতে ব্যবহৃত হয়। ব্যবহারকারীকে স্ক্যানের ধরন এবং বিশ্লেষণ করা প্রয়োজন এমন ডেটার জন্য ফাইল পাথ ইনপুট করার জন্য অনুরোধ করা হয়। এই ইনপুটগুলি দুর্বলতা বিশ্লেষণের জন্য অপরিহার্য। একবার ব্যবহারকারী এই ইনপুটগুলি প্রদান করলে, বিশ্লেষণটি একটি প্রম্পট ব্যবহার করে শুরু করা হয় যা ব্যবহারকারীর ইনপুটকে অন্তর্ভুক্ত করে:

   prompt = f""" **Objective:** You are a Universal Vulnerability Analyzer powered by the Llama2 model. Your main objective is to analyze any provided scan data or log data to identify potential vulnerabilities in the target system or network. You can use the scan type or the scanner type to prepare a better report. **Instructions:** # ... (rest of the instructions) **Input Data:** You will receive the scan file data or log file data in the required format as input. Ensure the data is correctly parsed and interpreted for analysis. **Output Format:** The vulnerability analysis report should be organized as mentioned in the "Comprehensive Report" section. Please perform the vulnerability analysis efficiently, considering the security implications and accuracy, and generate a detailed report that helps users understand the potential risks and take appropriate actions. --- Provide the scan type: {scan_type} Provide the scan data or log data that needs to be analyzed: {file_data} """

  
  

  এই প্রম্পটে, ব্যবহারকারীর দ্বারা প্রকৃত মান ইনপুট দিয়ে {scan_type} এবং {file_data} স্থানধারক প্রতিস্থাপিত হয়। এই গতিশীল প্রম্পটটি তারপরে একটি AI প্রতিক্রিয়া তৈরি করার জন্য LLama2 মডেলে প্রেরণ করা হয় যা প্রদত্ত স্ক্যান প্রকার এবং ফাইল ডেটার উপর ভিত্তি করে বিশ্লেষণ ফলাফল প্রদান করে।

  
  

• স্ট্যাটিক কোড বিশ্লেষণ: একইভাবে, static_code_analysis বিভাগে, কোডটি ব্যবহারকারীকে ইনপুট করার জন্য অনুরোধ করে:

   language_used = Prompt.ask('Language Used> ') file_path = Prompt.ask('File Path> ')

  
  

  ব্যবহারকারীকে ব্যবহৃত প্রোগ্রামিং ভাষা এবং যে কোড বিশ্লেষণ করা প্রয়োজন তার জন্য ফাইল পাথ প্রদান করতে বলা হয়। স্ট্যাটিক কোড বিশ্লেষণ করার জন্য এই ইনপুটগুলি অত্যন্ত গুরুত্বপূর্ণ। ঠিক যেমন দুর্বলতা বিশ্লেষণ বিভাগে, ব্যবহারকারীর ইনপুট অন্তর্ভুক্ত করে একটি প্রম্পট LLama2 মডেলের জন্য তৈরি করা হয়েছে:

   prompt = f""" **Objective:** Analyze the given programming file details to identify and report bugs, vulnerabilities, and syntax errors. Additionally, search for potential exposure of sensitive information such as API keys, passwords, and usernames. **File Details:** - Programming Language: {language_used} - File Name: {file_path} - File Data: {file_data} """

  
  

  এখানে, ব্যবহারকারীর দেওয়া প্রকৃত মান দিয়ে {language_used} এবং {file_path} স্থানধারক প্রতিস্থাপিত হয়। এই গতিশীল প্রম্পটটি তখন একটি AI প্রতিক্রিয়া তৈরি করতে ব্যবহৃত হয় যা ব্যবহারকারীর দ্বারা প্রোগ্রামিং ভাষা এবং ফাইল ডেটা ইনপুটের উপর ভিত্তি করে বিশ্লেষণ ফলাফল উপস্থাপন করে।

  
  

  উভয় ক্ষেত্রেই, গতিশীল প্রম্পট ব্যবহার নিশ্চিত করে যে LLama2-উত্পন্ন প্রতিক্রিয়াগুলি প্রাসঙ্গিকভাবে প্রাসঙ্গিক এবং ব্যবহারকারীর দ্বারা অনুরোধ করা নির্দিষ্ট বিশ্লেষণের জন্য উপযুক্ত।

• যোগাযোগের তথ্য এবং সহায়তা মেনু:

   elif prompt_in == 'contact_dev': console.print(Panel( Align.center( Group(Align.center(Markdown(contact_dev))), vertical="middle", ), title= "Dev Contact", border_style="red" ), style="bold green" ) pass elif prompt_in == 'help_menu': console.print(Panel( Align.center( Group(Align.center(Markdown(help_menu))), vertical="middle", ), title= "Help Menu", border_style="red" ), style="bold green" ) pass

  
  

  এই বিভাগগুলি বিকাশকারীর জন্য যোগাযোগের তথ্য প্রদর্শনের জন্য কমান্ড পরিচালনা করে ( contact_dev ) এবং সহায়তা মেনু তালিকাভুক্ত কমান্ডগুলি ( help_menu )। যখন ব্যবহারকারীরা এই কমান্ডগুলি ইনপুট করে, তখন সংশ্লিষ্ট তথ্য রিচ লাইব্রেরি ব্যবহার করে একটি সুন্দর ফর্ম্যাট করা প্যানেলে প্রদর্শিত হয়।

  
  

• প্রধান ফাংশন সম্পাদন:

   if __name__ == "__main__": main()

  main ফাংশন, যা সমগ্র চ্যাট ইন্টারঅ্যাকশন এবং হ্যান্ডলিং লজিককে অন্তর্ভুক্ত করে, শুধুমাত্র তখনই চালানো হয় যখন স্ক্রিপ্টটি সরাসরি চালানো হয় (মডিউল হিসাবে আমদানি করা হয় না)। এই লাইনটি নিশ্চিত করে যে স্ক্রিপ্টটি চালানো হলে চ্যাটবটের মূল কার্যকারিতা কার্যকর হয়।

আপনি আমার গিথুব রেপো: লিঙ্ক থেকে পুরো চ্যাটবটটি দেখতে এবং চেষ্টা করতে পারেন

কিভাবে মডেল প্রশিক্ষণ?

একটি এআই মডেলের প্রশিক্ষণ একটি রূপান্তরমূলক প্রক্রিয়া যা পরিকল্পনা এবং নির্ভুলতার জন্য আহ্বান করে। প্রক্রিয়াটি সম্পূর্ণ করার জন্য এখানে একটি ধাপে ধাপে নির্দেশিকা রয়েছে।

পূর্বশর্ত :

• টেনসর পাওয়ার: একটি বড় টেনসর প্রক্রিয়াকরণ ক্ষমতা সহ একটি শক্তিশালী সিস্টেম সাফল্যের মঞ্চ তৈরি করবে। নিশ্চিত করুন যে আপনার গিয়ার এআই মডেল প্রশিক্ষণের জন্য প্রয়োজনীয় প্রক্রিয়াকরণ শক্তি পরিচালনা করতে পারে।

  
  

• ডেটাসেট: একটি ডেটাসেট যা AI প্রশিক্ষণ বিন্যাসের সাথে মিলে যায় তা আপনার মডেলের শেখার বক্ররেখাকে ত্বরান্বিত করবে। কার্যকর প্রশিক্ষণ উচ্চ-মানের ডেটার উপর নির্ভর করে, যা মডেলের নির্ভুলতা এবং দক্ষতাকে প্রভাবিত করে।

  
  

• অটোট্রেন অ্যাডভান্সড : কৃত্রিম বুদ্ধিমত্তার জন্য এই প্রয়োজনীয় প্রশিক্ষণ সংস্থানে নিজেকে অ্যাক্সেস দিন। প্রশিক্ষণ পদ্ধতিটি এই প্রোগ্রাম দ্বারা সুবিন্যস্ত করা হয়েছে, যা গুরুত্বপূর্ণ প্রক্রিয়াগুলিকে স্বয়ংক্রিয় করে এবং উত্পাদনশীলতা বাড়ায়।

  
  

প্রশিক্ষণের প্রক্রিয়া:

• ডেটা প্রস্তুতি: নির্ভুলতা এবং অভিন্নতা নিশ্চিত করতে, আপনার ডেটাসেট সংগঠিত করুন এবং প্রিপ্রসেস করুন। পরিষ্কার, সংগঠিত ডেটা থাকা হল সেরা প্রশিক্ষণের ফলাফল পাওয়ার চাবিকাঠি।

  
  

• মডেল ইনিশিয়ালাইজেশন: আপনার প্রারম্ভিক পয়েন্ট হিসাবে ব্যবহার করার জন্য সেরা প্রাক-প্রশিক্ষিত মডেলটি বেছে নিন। কনভারজেন্স ত্বরান্বিত হয় এবং প্রশিক্ষণ প্রক্রিয়া লাফিয়ে-শুরু হয়।

  
  

• ফাইন টিউন: পরামিতিগুলিকে সূক্ষ্ম-টিউন করতে শেখার হার, ব্যাচের আকার এবং অপ্টিমাইজার সেটিংসের মতো হাইপারপ্যারামিটারগুলি সামঞ্জস্য করুন। মডেল কর্মক্ষমতা এবং অভিসার গতি ভারসাম্য করতে, এই পরামিতি সামঞ্জস্য করুন।

  
  

• প্রশিক্ষণের পুনরাবৃত্তি: প্রশিক্ষণ শুরু করতে মডেলের মাধ্যমে ডেটাসেটটি কয়েকবার (যুগ) চালান। মডেলটি প্রতিটি পুনরাবৃত্তির সাথে তার বোঝার উন্নতি করে, ভবিষ্যদ্বাণী করার প্রবণতাকে উন্নত করে।

  
  

• বৈধতা এবং পরীক্ষা: আপনার মডেলের বিকাশকে ক্রমাগত বৈধতা দিতে একটি স্বতন্ত্র বৈধতা ডেটাসেট ব্যবহার করুন। মডেলের সাধারণীকরণের ক্ষমতা নতুন ডেটার বিরুদ্ধে পরীক্ষার মাধ্যমে মূল্যায়ন করা হয়।

  
  

• বিশ্লেষণ এবং পর্যবেক্ষণ: প্রশিক্ষণের মেট্রিক্সের প্রতি গভীর মনোযোগ দিন। ক্ষতির বক্ররেখা, নির্ভুলতার প্রবণতা এবং অন্যান্য মেট্রিক্সের মতো সূচকগুলি মডেলের বিকাশ সম্পর্কে তথ্য সরবরাহ করে।

  
  

• অপ্টিমাইজেশান এবং ফাইন-টিউনিং: পর্যবেক্ষণের ফলাফলের উপর ভিত্তি করে কৌশলগতভাবে হাইপারপ্যারামিটারগুলি সামঞ্জস্য করুন। পছন্দসই কর্মক্ষমতা পেতে, মডেলটিকে পুনরাবৃত্তিমূলকভাবে পরিমার্জন করুন।

  
  

• মূল্যায়ন এবং স্থাপনা: চূড়ান্ত মডেলের একটি পুঙ্খানুপুঙ্খ পরীক্ষা ডেটাসেট মূল্যায়ন পরিচালনা করুন। আপনি যদি ফলাফল নিয়ে খুশি হন, তাহলে প্রশিক্ষিত মডেলটি ব্যবহারিক প্রয়োগে ব্যবহার করুন।

  
  

ডেটাসেট:

ডেটাসেট উভয়ই হতে পারে যা প্রাক-নির্মিত টেক্সট জেনারেশনের নির্দিষ্ট ডেটাসেটের অধীনে হাগিংফেস ডেটাসেটের মতো উপলব্ধ। কাস্টম ডেটাসেটের জন্য নিশ্চিত করুন যে আপনি এই পদক্ষেপগুলি অনুসরণ করুন:

• ডেটাসেটে কমপক্ষে 3টি কলাম থাকতে হবে।
• প্রথম কলামটি অবশ্যই নাম, দ্বিতীয়টি একটি বিবরণ হতে পারে এবং তৃতীয় এবং চূড়ান্তটি অনুরোধ এবং এআই প্রতিক্রিয়া সহ প্রম্পট হতে হবে।

এখানে একটি নমুনা ডেটাসেট বিন্যাস আপনি ব্যবহার করতে পারেন: data.csv

এটি মাত্র 1 প্রকার।

একবার আপনার ডেটাসেট হয়ে গেলে আপনার কাছে কতটা GPU শক্তি আছে এবং আপনার ডেটাসেট কত বড় তার উপর ভিত্তি করে আপনার AI কে প্রশিক্ষণ দেওয়ার সময় সেই অনুযায়ী সঙ্গতিপূর্ণ। এখন আমরা AI প্রশিক্ষণের জন্য huggingface থেকে অটোট্রেন উন্নত মডিউল ব্যবহার করতে পারি।

আমরা এই কমান্ডটি ব্যবহার করে অটোট্রেন-উন্নত ইনস্টল করতে পারি:

 pip install autotrain-advanced

এবং এআই প্রশিক্ষণের জন্য এই আদেশ:

 autotrain llm --train --project_name your_project_name --model TinyPixel/Llama-2-7B-bf16-sharded --data_path your_data_set --use_peft --use_int4 --learning_rate 2e-4 --train_batch_size 2 --num_train_epochs 3 --trainer sft --model_max_length 2048 --push_to_hub --repo_id your_repo_id -

আপনি your_project_name থেকে প্রজেক্ট_নামটি আপনার প্রকৃত প্রকল্পের নামে, TinyPixel/Llama-2-7B-bf16-sharded থেকে লামা মডেলে পরিবর্তন করতে পারেন যেটিকে আপনি প্রশিক্ষণ দিতে আগ্রহী এবং ডেটা_পাথের জন্য . যদি এটি একটি কাস্টম ডেটাসেট বা huggingface/dataset হয় তাহলে ডেটাসেটের রেপো আইডি যদি এটি huggingface থেকে হয়।

আমি একটি Llama মডেল বা যেকোনো LLM মডেলকে প্রশিক্ষিত করার লক্ষ্য রাখি যাকে আমি একটি সম্পূর্ণ সাইবারসিকিউরিটি সহকারী হতে পারি যাতে হ্যাকার হিসাবে আমাদের বেশিরভাগ কাজ স্বয়ংক্রিয়ভাবে করা হয় যা একটি আশীর্বাদ হবে৷

ক্ষমতা এবং সুবিধা

তাই সক্ষমতা সম্পর্কে কথা বলা মেটা লামার জন্য বেশ কয়েকটি বেঞ্চমার্ক সহ গবেষণাপত্র প্রকাশ করেছে। কাগজপত্র অনুসারে, লামা মডেলগুলি 7B থেকে 65B পরামিতিগুলির মধ্যে রয়েছে এবং অন্যান্য বড় ভাষার মডেলগুলির তুলনায় প্রতিযোগিতামূলক কর্মক্ষমতা রয়েছে৷ উদাহরণস্বরূপ, Llama-13B 10 গুণ ছোট হওয়া সত্ত্বেও বেশিরভাগ বেঞ্চমার্কে GPT-3-কে ছাড়িয়ে যায়। Llama-এর 65B-প্যারামিটার মডেল অন্যান্য বৃহৎ ভাষার মডেল যেমন চিনচিলা বা PaLM-540B-এর সাথে প্রতিযোগিতামূলক। কাগজপত্রে আরও উল্লেখ করা হয়েছে যে দীর্ঘ প্রশিক্ষিত একটি ছোট মডেল শেষ পর্যন্ত অনুমানে সস্তা হতে পারে। এটি বলে যে 1T টোকেনের পরেও একটি 7B মডেলের কর্মক্ষমতা উন্নত হতে থাকে। যাইহোক, নথিটি লামা মডেলগুলির মধ্যে পারফরম্যান্সের পার্থক্যের জন্য নির্দিষ্ট সংখ্যাসূচক মান প্রদান করে না।

অন্যান্য উত্সগুলি দাবি করে যে লামা মডেলগুলি GPT মডেলগুলির তুলনায় আরও বহুমুখী এবং দ্রুত এবং এছাড়াও PaLM মডেলগুলি এটিকে ব্যবহারের জন্য সেরা AI মডেলগুলির মধ্যে একটি করে তুলেছে৷ কিন্তু হ্যাকিং বা কোনো নিরাপত্তা-নির্দিষ্ট কাজের জন্য, এটির জন্য প্রচুর প্রশিক্ষণ বা ব্যক্তিগত ইনপুট প্রয়োজন এটির জন্য একটি প্রশিক্ষণ মডেল তৈরি করা সহজ নয় কিন্তু একবার প্রশিক্ষণ দিলে এটি একটি গেম পরিবর্তনকারী হতে পারে।

চূড়ান্ত কীনোটস

• অতুলনীয় দক্ষতা: AI সেই প্রক্রিয়াগুলিকে রূপান্তরিত করেছে যা আগে ঘন্টা সময় লাগত এবং এখন সেকেন্ডে শেষ হয়ে যায়, উত্পাদনশীলতা বৃদ্ধি করে এবং গুরুত্বপূর্ণ সময় মুক্ত করে।
• উন্নত সিদ্ধান্ত গ্রহণ: এআই-চালিত বিশ্লেষণগুলি বুদ্ধিমান ডেটা-চালিত সিদ্ধান্তগুলি অফার করে, বিভিন্ন শৃঙ্খলা জুড়ে নির্ভুলতা এবং দূরদর্শিতা বৃদ্ধি করে।
• ব্যক্তিগতকৃত অভিজ্ঞতা: এআই এমন অভিজ্ঞতা তৈরি করে যা একজন ব্যক্তির পছন্দ অনুযায়ী তৈরি করা হয়, ব্যক্তিগতকৃত পরামর্শ থেকে শুরু করে অভিযোজিত শিক্ষার জন্য প্ল্যাটফর্ম পর্যন্ত।
• স্বয়ংক্রিয় একঘেয়ে ক্রিয়াকলাপ: AI এর নিরবচ্ছিন্ন একীকরণ আরও উদ্ভাবনী এবং কৌশলগত প্রকল্পগুলির জন্য সময় মুক্ত করে।
• উদ্ভাবনী সমাধান: AI স্বাস্থ্যসেবা, পরিবেশ এবং অন্যান্য ক্ষেত্রে উদ্ভাবনকে উৎসাহিত করে, আরও কার্যকরভাবে জটিল সমস্যা মোকাবেলা করে।

কৃত্রিম বুদ্ধিমত্তার জগতে যাত্রা অবিশ্বাস্যভাবে আলোকিত হয়েছে, স্বয়ংক্রিয়তা এবং একীকরণের আশ্চর্যজনক প্রভাব প্রদর্শন করে। বিভিন্ন শিল্পে এর ক্ষমতা দেখার পর আমরা কীভাবে কাজ করি এবং যোগাযোগ করি কীভাবে এআই পরিবর্তন করছে তার জন্য আমার গভীর উপলব্ধি রয়েছে। আমার শেখার অভিজ্ঞতা একটি উদ্ঘাটন হয়েছে, নিয়মিত ক্রিয়াকলাপগুলির নিরবচ্ছিন্ন স্বয়ংক্রিয়তা পর্যবেক্ষণ করা থেকে শুরু করে দৈনন্দিন জীবনে AI এর অন্তর্ভুক্তির অভিজ্ঞতা পর্যন্ত। আমি শিখেছি যে অটোমেশন এবং ইন্টিগ্রেশন কেবল প্রযুক্তিগত ধারণার চেয়ে বেশি কিছু কারণ আমি AI এর জটিলতাগুলি সম্পর্কে আরও শিখছি; বরং, তারা উদ্ভাবনের অনুঘটক হিসেবে কাজ করে। এই নতুন পাওয়া অন্তর্দৃষ্টি দিয়ে, আমি এখন এমন একটি বিশ্ব দেখতে পাচ্ছি যেখানে AI এর দক্ষতা এবং সহযোগিতার উন্নতির সম্ভাবনা সীমাহীন।

সূত্র

• মেটা গবেষণা কাগজ
• YT-ভিডিও ফাইন-টিউনে
• লামা স্থাপনার মাঝারি পোস্ট

পরিচিতি

আপনি LinkedIn এর মাধ্যমে আমার সাথে যোগাযোগ করতে পারেন। আপনার কোন উদ্বেগ থাকলে আপনি নীচে মন্তব্য করতে পারেন।

পড়ার জন্য ধন্যবাদ.