কীভাবে একটি সেন্সরবিহীন এআই মডেল ব্যবহার করবেন এবং আপনার ডেটা দিয়ে এটি প্রশিক্ষণ দেবেন

যেদিন ChatGPT ছিল AI শিল্পে একক সমাধান। LLaMA এবং Gemini-এর মতো নতুন খেলোয়াড়, যথাক্রমে Meta এবং Google দ্বারা তৈরি, মাঠে প্রবেশ করেছে৷ বিভিন্ন সরঞ্জাম এবং বাস্তবায়ন সত্ত্বেও, তারা একটি সাধারণতা ভাগ করে নেয়: তারা বন্ধ-উৎস (এলএলএএমএর কিছু ব্যতিক্রম সহ) এবং বড় প্রযুক্তি সংস্থাগুলির নিয়ন্ত্রণে।

এই নিবন্ধটি এআই শিল্পে একটি নতুন প্রতিযোগীকে অন্বেষণ করে, একটি ওপেন-সোর্স টুল নিয়ে গর্ব করে যা ChatGPT 3.5-কে ছাড়িয়ে যায় এবং স্থানীয়ভাবে চালানো যেতে পারে। আমরা কীভাবে এটিকে সেন্সরবিহীন ব্যবহার করতে হয় এবং কীভাবে এটি আমাদের নিজস্ব ডেটা দিয়ে প্রশিক্ষণ দিতে হয় তাও শিখব।

মিস্ট্রাল 8x7B পেশ করা হচ্ছে

মিস্ট্রাল হল একটি ফরাসি স্টার্টআপ, যা প্রাক্তন মেটা এবং ডিপমাইন্ড গবেষকদের দ্বারা প্রতিষ্ঠিত। তাদের বিস্তৃত জ্ঞান এবং অভিজ্ঞতার সদ্ব্যবহার করে, তারা সফলভাবে US$ 415 মিলিয়ন বিনিয়োগ সংগ্রহ করেছে, যার ফলে মিস্ট্রালের মূল্যায়ন US$ 2 বিলিয়ন হয়েছে।

মিস্ট্রালের দলটি যখন তাদের নতুন মডেল, মিস্ট্রাল 8x7B-তে X-এ একটি টরেন্ট লিঙ্ক ড্রপ করে তখন ট্র্যাকশন লাভ করতে শুরু করে। Apache 2.0 লাইসেন্স অনুসারে, এই মডেলটি শুধুমাত্র LLaMA 2 এবং ChatGPT 3.5 এর চেয়ে বেশি শক্তিশালী নয় বরং সম্পূর্ণ ওপেন সোর্সও।

মিস্ট্রাল পাওয়ার এবং ক্ষমতা

• 32k টোকেনের একটি প্রসঙ্গ পরিচালনা করে।

• ইংরেজি, জার্মান, স্প্যানিশ, ইতালীয় এবং ফরাসি ভাষায় কাজ করে।

• কোড তৈরি করার সময় চমৎকার কর্মক্ষমতা প্রদর্শন করে।

• একটি নির্দেশ-অনুসরণকারী মডেলে রূপান্তরিত হতে পারে।

পরীক্ষায়, মিস্ট্রাল উল্লেখযোগ্য ক্ষমতা প্রদর্শন করেছে, অধিকাংশ বেঞ্চমার্কে LLaMA 2 70B-কে ছাড়িয়ে গেছে এবং অন্যান্য বেঞ্চমার্কে ChatGPT 3.5-এর সাথে মিলেছে বা ছাড়িয়ে গেছে।

স্থানীয়ভাবে মিস্ট্রাল চলছে

পরিসংখ্যান এবং টেবিলের বাইরে চলে যাওয়া, আসুন ব্যবহারিক হতে শুরু করি। প্রথমে, স্থানীয়ভাবে এটি চালানোর জন্য আমাদের একটি টুলের প্রয়োজন হবে: ওল্লামা । MacOS ব্যবহারকারীরা এখানে ফাইলটি ডাউনলোড করতে পারেন। লিনাক্স বা WSL ব্যবহারকারীদের জন্য, আপনার টার্মিনালে নিম্নলিখিত কমান্ডগুলি পেস্ট করুন:

 curl https://ollama.ai/install.sh | sh

তারপরে আমরা স্থানীয়ভাবে LLM চালাতে পারি, কিন্তু আমরা কেবল এলোমেলো প্রশ্নের উত্তর দেওয়ার জন্য একটি AI-এর লক্ষ্য করছি না - এটিই ChatGPT এর জন্য। আমরা একটি সেন্সরবিহীন AI এর জন্য লক্ষ্য করছি যা আমরা আমাদের পছন্দ অনুযায়ী টুইক এবং সূক্ষ্ম-টিউন করতে পারি।

এটি বিবেচনা করে, আমরা ডলফিন-মিস্ট্রাল ব্যবহার করব, মিস্ট্রালের একটি কাস্টম সংস্করণ যা সমস্ত সীমাবদ্ধতা দূর করে। ডলফিন-মিস্ট্রাল কীভাবে এই সীমাবদ্ধতাগুলি সরিয়েছে সে সম্পর্কে আরও জানতে, এর নির্মাতার কাছ থেকে এই নিবন্ধটি দেখুন।

আপনার কম্পিউটারে ওল্লামা চালানো শুরু করতে আপনার টার্মিনালে নিম্নলিখিত কমান্ডটি চালান:

 ollama serve

তারপর, অন্য টার্মিনালে, চালান:

 ollama run dolphin-mistral:latest

প্রাথমিক ডাউনলোড সময়সাপেক্ষ হতে পারে কারণ এর জন্য 26GB ডাউনলোড করতে হবে। একবার ডাউনলোড সম্পূর্ণ হলে, মিস্ট্রাল আপনার ইনপুটের জন্য অপেক্ষা করবে।

মনে রাখবেন, ডলফিন-মিস্ট্রাল চালানোর জন্য যথেষ্ট সিস্টেম রিসোর্স প্রয়োজন, বিশেষ করে RAM।

আপনার নিজের মডেল প্রশিক্ষণ

এখন, আপনি আপনার ডেটা দিয়ে মিস্ট্রাল প্রশিক্ষণের সম্ভাবনা সম্পর্কে ভাবছেন। উত্তর একটি ধ্বনিত হ্যাঁ.

আলিঙ্গন মুখে একটি অ্যাকাউন্ট তৈরি করে শুরু করুন (যদি আপনি ইতিমধ্যে না থাকেন), এবং তারপর একটি নতুন স্থান তৈরি করুন।

অটোট্রেনের জন্য ডকার বেছে নিন

এখান থেকে, আপনি আপনার মডেল নির্বাচন করতে পারেন, আপনার ডেটা আপলোড করতে পারেন এবং প্রশিক্ষণ শুরু করতে পারেন। হার্ডওয়্যারের চাহিদার কারণে একটি হোম কম্পিউটারে একটি মডেলকে প্রশিক্ষণ দেওয়া চ্যালেঞ্জিং হতে পারে।

Hugging Face-এর মতো পরিষেবাগুলি কম্পিউটিং পাওয়ার অফার করে (ফির জন্য), তবে আপনি প্রক্রিয়াটি ত্বরান্বিত করতে Amazon Bedrock বা Google Vertex AI-কেও বিবেচনা করতে পারেন।