बिना सेंसर वाले एआई मॉडल का उपयोग कैसे करें और इसे अपने डेटा के साथ कैसे प्रशिक्षित करें

वे दिन बहुत दूर जा चुके हैं जब चैटजीपीटी एआई उद्योग में एकमात्र समाधान था। मेटा और गूगल द्वारा क्रमशः विकसित एलएलएएमए और जेमिनी जैसे नए खिलाड़ियों ने मैदान में प्रवेश किया है। विभिन्न उपकरणों और कार्यान्वयनों के बावजूद, उनमें एक समानता है: वे बंद-स्रोत हैं (एलएलएएमए के लिए कुछ अपवादों के साथ) और बड़ी तकनीकी कंपनियों के नियंत्रण में हैं।

यह लेख एआई उद्योग में एक नए दावेदार की खोज करता है, जिसमें एक ओपन-सोर्स टूल का दावा किया गया है जो चैटजीपीटी 3.5 से बेहतर प्रदर्शन करता है और इसे स्थानीय स्तर पर चलाया जा सकता है। हम यह भी सीखेंगे कि इसे बिना सेंसर किए कैसे उपयोग किया जाए और इसे अपने डेटा के साथ कैसे प्रशिक्षित किया जाए।

मिस्ट्रल 8x7बी का परिचय

मिस्ट्रल एक फ्रांसीसी स्टार्टअप है, जिसे पूर्व मेटा और डीपमाइंड शोधकर्ताओं द्वारा स्थापित किया गया है। अपने व्यापक ज्ञान और अनुभव का लाभ उठाते हुए, उन्होंने सफलतापूर्वक 415 मिलियन अमेरिकी डॉलर का निवेश जुटाया, जिससे मिस्ट्रल का मूल्यांकन 2 बिलियन अमेरिकी डॉलर हो गया।

मिस्ट्रल की टीम ने तब लोकप्रियता हासिल करना शुरू किया जब उन्होंने एक्स पर अपने नए मॉडल मिस्ट्रल 8x7बी के लिए एक टोरेंट लिंक छोड़ा। Apache 2.0 लाइसेंस के अनुसार, यह मॉडल न केवल LLaMA 2 और ChatGPT 3.5 से अधिक शक्तिशाली है बल्कि पूरी तरह से ओपन-सोर्स भी है।

मिस्ट्रल शक्ति और क्षमताएँ

• 32k टोकन का संदर्भ संभालता है।

• अंग्रेजी, जर्मन, स्पेनिश, इतालवी और फ्रेंच में कार्य।

• कोड जनरेट करते समय उत्कृष्ट प्रदर्शन प्रदर्शित करता है।

• इसे अनुदेश-पालन मॉडल में परिवर्तित किया जा सकता है।

परीक्षणों में, मिस्ट्रल ने उल्लेखनीय शक्ति का प्रदर्शन किया, अधिकांश बेंचमार्क में LLaMA 2 70B को पीछे छोड़ दिया और अन्य बेंचमार्क में ChatGPT 3.5 से मेल खाता या बेहतर प्रदर्शन किया।

मिस्ट्रल को स्थानीय स्तर पर चलाना

आंकड़ों और तालिकाओं से आगे बढ़ते हुए, आइए व्यावहारिक होना शुरू करें। सबसे पहले, हमें इसे स्थानीय स्तर पर चलाने में मदद के लिए एक टूल की आवश्यकता होगी: ओलामा । MacOS उपयोगकर्ता यहां फ़ाइल डाउनलोड कर सकते हैं। Linux या WSL उपयोगकर्ताओं के लिए, निम्नलिखित कमांड को अपने टर्मिनल में पेस्ट करें:

 curl https://ollama.ai/install.sh | sh

फिर हम एलएलएम को स्थानीय स्तर पर चला सकते हैं, लेकिन हम केवल यादृच्छिक प्रश्नों के उत्तर देने के लिए एआई का लक्ष्य नहीं रख रहे हैं - चैटजीपीटी इसी के लिए है। हम एक बिना सेंसर वाले एआई का लक्ष्य रख रहे हैं जिसे हम अपनी प्राथमिकताओं के अनुसार संशोधित और परिष्कृत कर सकें।

इसे ध्यान में रखते हुए, हम डॉल्फ़िन-मिस्ट्रल का उपयोग करेंगे, जो मिस्ट्रल का एक कस्टम संस्करण है जो सभी बाधाओं को दूर करता है। डॉल्फ़िन-मिस्ट्रल ने इन बाधाओं को कैसे दूर किया, इसके बारे में अधिक जानने के लिए इसके निर्माता का यह लेख देखें।

अपने कंप्यूटर पर ओलामा चलाना शुरू करने के लिए अपने टर्मिनल में निम्नलिखित कमांड चलाएँ:

 ollama serve

फिर, दूसरे टर्मिनल में, चलाएँ:

 ollama run dolphin-mistral:latest

प्रारंभिक डाउनलोड में समय लग सकता है क्योंकि इसमें 26GB डाउनलोड करने की आवश्यकता होती है। एक बार डाउनलोड पूरा हो जाने पर, मिस्ट्रल आपके इनपुट का इंतजार करेगा।

याद रखें, डॉल्फ़िन-मिस्ट्रल को चलाने के लिए पर्याप्त सिस्टम संसाधनों, विशेषकर रैम की आवश्यकता होती है।

अपने स्वयं के मॉडल का प्रशिक्षण

अब, आप अपने डेटा के साथ मिस्ट्रल को प्रशिक्षित करने की संभावनाओं के बारे में सोच रहे होंगे। इस जवाब से हां का गुंजायमान हो रहा है।

हगिंग फेस पर एक खाता बनाकर शुरुआत करें (यदि आपने पहले से नहीं किया है), और फिर एक नया स्थान बनाएं।

ऑटोट्रेन के लिए डॉकर चुनें

यहां से, आप अपना मॉडल चुन सकते हैं, अपना डेटा अपलोड कर सकते हैं और प्रशिक्षण शुरू कर सकते हैं। हार्डवेयर मांगों के कारण घरेलू कंप्यूटर पर किसी मॉडल को प्रशिक्षित करना चुनौतीपूर्ण हो सकता है।

हगिंग फेस जैसी सेवाएं कंप्यूटिंग शक्ति (शुल्क के लिए) प्रदान करती हैं, लेकिन आप प्रक्रिया को तेज करने के लिए अमेज़ॅन बेडरॉक या Google वर्टेक्स एआई पर भी विचार कर सकते हैं।