क्यों ओपन सोर्स लैंग्वेज मॉडल सच्चे "ओपन एआई" हैं

2015 में, ए ग़ैर-लाभकारी OpenAI नामक इसका गठन "व्यापक और समान रूप से वितरित" AI बनाने के लिए किया गया था। 2024 तक तेजी से आगे बढ़ते हुए, ओपनएआई ने ट्रांजेक्शनल एपीआई सेवा के पीछे एलएलएम तक पहुंच जमा करते हुए पूर्ण-लाभकारी मोड में बदलाव किया है। हाल ही में, वे एक की तलाश कर रहे हैं 100 अरब डॉलर का मूल्यांकन .

एआई की प्रगति के पिछले दशक में Google, मेटा और ओपनएआई जैसी बड़ी तकनीकी कंपनियों का दबदबा रहा है, जिन्होंने बड़े मालिकाना भाषा मॉडल जारी किए हैं। बार्ड और क्लाउड से लेकर जीपीटी-4 तक, प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में अधिकांश अत्याधुनिक कुछ अनुसंधान प्रयोगशालाओं के हाथों में केंद्रित रहा है।

हालाँकि, एआई का दीर्घकालिक भविष्य विशेष रूप से एपीआई के माध्यम से परोसे जाने वाले अधिक निजी बड़े मॉडलों में नहीं है, बल्कि समुदायों के साथ खुले में निर्मित ओपन-सोर्स भाषा मॉडल में निहित है।

ओपन-सोर्स भाषा मॉडल

हाल के वर्षों में, मुट्ठी भर स्टार्टअप, विश्वविद्यालयों और समर्पित व्यक्तियों ने भाषा मॉडल विकास के इस खुले मॉडल को आगे बढ़ाने में मदद की है।

इस ओपन-सोर्स वंशावली को जारी रखने वाला नवीनतम मॉडल H2O-डेन्यूब-1.8B है। 1.8 बिलियन मापदंडों पर वजन करते हुए, डेन्यूब अन्य सार्वजनिक रूप से उपलब्ध मॉडलों की तुलना में अपने आकार से कई गुना अधिक आश्चर्यजनक क्षमता प्रदर्शित करता है। H2O.ai टीम ने डेन्यूब को पूरी तरह से पारदर्शी तरीके से डिजाइन, प्रशिक्षित और मान्य किया, पूरी रिपोर्ट arXiv पर उपलब्ध है।

पहुंच जमा करने के बजाय, H2O.ai ने डेन्यूब के पूर्ण पैरामीटर और प्रशिक्षण कोड को हगिंगफेस पर खुले तौर पर जारी किया। प्रारंभिक घोषणा के कुछ ही दिनों के भीतर, जिज्ञासु डेवलपर्स ने मॉडल के साथ स्वतंत्र रूप से प्रयोग करना शुरू कर दिया, तेजी से नवाचार पीढ़ी का प्रदर्शन किया जो मालिकाना मॉडल के साथ संभव नहीं था। लिखे जाने तक, संपूर्ण h2o-danube-1.8b-चैट मॉडल को HuggingFace पर 500 से अधिक बार डाउनलोड किया जा चुका है।

h2o के HuggingFace रेपो के सौजन्य से, नीचे दिए गए कोड का पालन करके कोई भी transformers लाइब्रेरी के साथ मॉडल का उपयोग कर सकता है:

 import torch from transformers import pipeline pipe = pipeline( "text-generation", model="h2oai/h2o-danube-1.8b-chat", torch_dtype=torch.bfloat16, device_map="auto", ) # We use the HF Tokenizer chat template to format each message # https://huggingface.co/docs/transformers/main/en/chat_templating messages = [ {"role": "user", "content": "Why is drinking water so healthy?"}, ] prompt = pipe.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, ) res = pipe( prompt, max_new_tokens=256, ) print(res[0]["generated_text"]) # <|prompt|>Why is drinking water so healthy?</s><|answer|> Drinking water is healthy for several reasons: [...]

एच2ओ का मानना है कि खुले तौर पर सहयोग करना एआई तक पहुंच को लोकतांत्रिक बनाने और कुछ लोगों के लिए धन के बजाय कई लोगों के लिए लाभ को अनलॉक करने की दिशा में अंतिम कुंजी है।

अन्य ओपन-सोर्स भाषा मॉडल

ओपन-सोर्स एआई इकोसिस्टम का वैश्विक स्तर पर डेवलपर्स द्वारा साझा मॉडलों पर सहयोग के साथ विस्तार जारी है। H2O-डेन्यूब-1.8B से परे, कई उल्लेखनीय पहलों का उद्देश्य चारदीवारी के भीतर ज्ञान की एकाग्रता को रोकना है।

एमपीटी

स्टार्टअप मोज़ेकएमएल द्वारा विकसित, मशीन प्रोग्रामिंग ट्रांसफार्मर (एमपीटी) में दक्षता में सुधार के लिए मिश्रण-विशेषज्ञों के समानांतरीकरण और संदर्भ लंबाई एक्सट्रपलेशन जैसी तकनीकों को शामिल किया गया है।

फाल्कन

फाल्कन का सबसे बड़ा ओपन-सोर्स एलएलएम 180 बिलियन पैरामीटर वाला जानवर है, जो अन्य कंपनियों से बेहतर प्रदर्शन करता है। एलएलएएमए-2 , स्थिरएलएम , लालपाजामा , और एमपीटी ।

उस आकार में, मॉडल को चलाने के लिए 400 गीगाबाइट उपलब्ध मेमोरी रखने की अनुशंसा की जाती है।

मिस्ट्राल

पूर्व-गूगलर्स और मेटा शोधकर्ताओं द्वारा स्थापित, मिस्ट्रल ने सितंबर 2022 में 7 बिलियन पैरामीटर मिस्ट्रल 7बी मॉडल जारी किया। मिस्ट्रल 7बी नमूना गुणवत्ता में बंद जीपीटी-3 से लगभग मेल खाने वाले खुले मॉडलों के बीच प्रतिस्पर्धी प्रदर्शन हासिल करता है।

विरासत मॉडल

नए लॉन्च किए गए मॉडलों के अलावा, पहले के ओपन-सोर्स मॉडल डेवलपर्स को सशक्त बनाना जारी रखते हैं। OpenAI से GPT2 और EleutherAI से GPT-J दोनों आधुनिक वास्तुकला से पीछे होने के बावजूद ऐतिहासिक महत्व रखते हैं। और बीईआरटी जैसे ट्रांसफॉर्मर ने वैश्विक स्तर पर उत्पादों को सशक्त बनाने वाले एनएलपी के एक पूरे उपवर्ग को जन्म दिया।

लोकतंत्रीकरण की कथा केवल भावुक समुदायों की बदौलत मजबूत होती है जो उदारतापूर्वक अपनी रचनाओं को ज्ञान के सामान्य भंडार में वापस योगदान देते हैं।

एक अधिक न्यायसंगत भविष्य

कई मायनों में, मालिकाना भाषा मॉडल कई असमानताओं को फिर से पैदा करने का जोखिम उठाते हैं जिनसे तकनीकी उद्योग जूझ रहा है। धनी संगठनों के भीतर ज्ञान को केंद्रित करने से छोटी टीमें प्रगति को जल्दी आकार देने से वंचित हो जाती हैं। और बाद में एक बार पूरी तरह से ट्रांजेक्शनल एपीआई के माध्यम से उपलब्ध होने पर एकीकरण अत्यधिक महंगा हो जाता है।

ओपन-सोर्स मॉडल आगे बढ़ने के लिए अधिक न्यायसंगत रास्ता तैयार करने के लिए महत्वपूर्ण हैं। एक जहां एजेंसी वास्तव में ठोस एआई अनुप्रयोगों का निर्माण करने वाले विविध समुदायों के करीब है। प्रगति का लंबा रास्ता केवल तभी न्याय की ओर झुकता है जब लोग प्रौद्योगिकी को नियंत्रित करने की कोशिश करने वाले किसी एक संगठन के बजाय प्रौद्योगिकी के पीछे एकजुट होते हैं।

डेन्यूब और यह खुले प्रतिमान का प्रतिनिधित्व करता है लेकिन एक वैकल्पिक दृष्टि में एक झलक प्रदान करता है। यह अल्पकालिक लाभ या प्रतिष्ठा से प्रेरित नहीं है, बल्कि हर जगह डेवलपर्स को एक-दूसरे के कंधों पर स्वतंत्र रूप से निर्माण करने के लिए सशक्त बनाने से प्रेरित है। मालिकाना काम के लिए हमेशा जगह बनी रहेगी, लेकिन एआई का असली भविष्य खुला है।

समुदाय-संचालित नवाचार

ओपन-सोर्स मॉडल जारी करने से डेवलपर्स और शोधकर्ताओं के एक प्रेरित समुदाय का योगदान मिलता है। खुले में काम करने की यह सहयोगी शैली अद्वितीय अवसरों को खोलती है। तकनीकों को मान्य करने के लिए संगठनों के विशेषज्ञ एक-दूसरे के काम की समीक्षा कर सकते हैं।

शोधकर्ता पहिये का पुनः आविष्कार करने के बजाय आसानी से नए विचारों को दोहरा सकते हैं और उनका विस्तार कर सकते हैं। और सॉफ्टवेयर इंजीनियर ग्राहक पेशकशों में नवाचारों को तेजी से एकीकृत और तैनात कर सकते हैं।

शायद सबसे आशाजनक बात यह है कि खुला प्रतिमान आला समुदायों को विशिष्ट उपयोग के मामलों के लिए मॉडल को अनुकूलित करने के लिए इकट्ठा होने की अनुमति देता है। टीमें चिकित्सा, कानून या वित्त जैसे विशेष विषयों के अनुरूप संस्करण तैयार कर सकती हैं जो सामान्य मॉडल से बेहतर प्रदर्शन करते हैं। फिर ये विशिष्ट मॉडल शेष समुदाय को लाभान्वित करने के लिए वापस साझा किए जाते हैं। समूह मिलकर सामूहिक प्रगति करते हैं जो किसी एक बंद प्रयोगशाला में संभव नहीं है।