821 रीडिंग

यह ओपन-सोर्स लाइब्रेरी कोड की कुछ पंक्तियों में एआई अनुमान को 5-20x तक तेज करती है

द्वारा Nebuly7m2022/04/11

बहुत लंबा; पढ़ने के लिए

नेबुल्वम पुस्तकालय एआई कंप्यूटिंग में तेजी लाने के लिए एक खुला स्रोत उपकरण है। यह आपके एआई मॉडल को इनपुट के रूप में लेता है और एक अनुकूलित संस्करण को आउटपुट करता है जो आपके हार्डवेयर पर 5-20 गुना तेजी से चलता है। रिलीज के दिन 250+ गिटहब सितारों के साथ नेबुल्वम तेजी से लोकप्रिय हो रहा है। पुस्तकालय का लक्ष्य है: गहन शिक्षण मॉडल अज्ञेयवादी। पुस्तकालय को स्थापित करने और अपने मॉडलों को अनुकूलित करने के लिए कोड की कुछ पंक्तियों की आवश्यकता होती है। यह प्रयोग करने में आसान है। यह आपकी मशीन पर स्थानीय रूप से चलता है। सब कुछ स्थानीय रूप से चलता है।

People Mentioned

Companies Mentioned

Coins Mentioned

featured image - यह ओपन-सोर्स लाइब्रेरी कोड की कुछ पंक्तियों में एआई अनुमान को 5-20x तक तेज करती है

नेबुल्वम कैसे काम करता है?

यह आपके एआई मॉडल को इनपुट के रूप में लेता है और एक अनुकूलित संस्करण को आउटपुट करता है जो आपके हार्डवेयर पर 5-20 गुना तेजी से चलता है। दूसरे शब्दों में, नेबुल्वम आपके मॉडल की सटीकता को प्रभावित किए बिना, आपके विशिष्ट मशीन पर आपके मॉडल को निष्पादित करने के सर्वोत्तम संभव तरीके की पहचान करने के लिए कई गहन शिक्षण संकलक का परीक्षण करता है।

और बस। कोड की कुछ ही पंक्तियों में।

और इस ओपन-सोर्स प्रोजेक्ट का समर्थन करने के लिए सभी को बहुत-बहुत धन्यवाद! लाइब्रेरी को रिलीज़ के दिन 250+ जीथब सितारे⭐ मिले, और यह बस आश्चर्यजनक है

अभिविन्यास मानचित्र

आइए नेबुल्वम और एआई ऑप्टिमाइजेशन के बारे में अधिक जानें। हमें कहां से शुरू करना चाहिए? से...

कुछ संदर्भ क्यों कुछ डेवलपर्स एआई और संबंधित नकारात्मक परिणामों का अनुकूलन करते हैं
लाइब्रेरी कैसे काम करती है इसका एक सिंहावलोकन
कुछ उपयोग के मामले , प्रौद्योगिकी प्रदर्शन और बेंचमार्क
पुस्तकालय के पीछे प्रौद्योगिकी का विवरण

या चलिए सीधे लाइब्रेरी की ओर चलते हैं → नेबुल्वम

संदर्भ

अंत में, आर्टिफिशियल इंटेलिजेंस (एआई) को अपनाना तेजी से बढ़ रहा है, हालांकि हम अभी भी इस तकनीक की पूरी क्षमता का दोहन करने से दूर हैं।

दरअसल, आम तौर पर ऐसा होता है कि एआई डेवलपर्स अपना अधिकांश समय डेटा विश्लेषण, डेटा सफाई और मॉडल परीक्षण/प्रशिक्षण पर बहुत सटीक एआई मॉडल बनाने के उद्देश्य से बिताते हैं।

फिर भी... कुछ मॉडल इसे उत्पादन में लाते हैं। यदि वे ऐसा करते हैं, तो दो स्थितियाँ उत्पन्न होती हैं:

एआई मॉडल कुशल डेटा वैज्ञानिकों और महान एआई इंजीनियरों द्वारा विकसित किए जाते हैं, जिनके पास अक्सर क्लाउड, कंपाइलर, हार्डवेयर और सभी निम्न-स्तरीय मामलों का सीमित अनुभव होता है। जब उनके मॉडल तैनात करने के लिए तैयार होते हैं, तो वे पहले GPU या CPU का चयन करते हैं, जिसके बारे में वे क्लाउड या उनकी कंपनी/विश्वविद्यालय सर्वर पर सोच सकते हैं, मॉडल के प्रदर्शन पर गंभीर प्रभाव से अनजान (अर्थात बहुत धीमी और अधिक महंगी कंप्यूटिंग) जो बिना सूचना के कारण होता है हार्डवेयर चयन, खराब क्लाउड इंफ्रास्ट्रक्चर कॉन्फ़िगरेशन, और मॉडल/हार्डवेयर पोस्ट-ट्रेनिंग अनुकूलन की कमी।

अन्य कंपनियों ने इन-हाउस एआई मॉडल विकसित किए हैं जो मजबूती से काम करते हैं। इन कंपनियों के लिए एआई अनुमान महत्वपूर्ण है, इसलिए वे अक्सर हार्डवेयर/क्लाउड इंजीनियरों की एक टीम बनाते हैं जो मॉडल परिनियोजन को अनुकूलित करने के लिए आउट-ऑफ-द-बॉक्स विधियों की तलाश में घंटों बिताते हैं।

क्या आप इन दो समूहों में से एक में आते हैं? तब आपको नेबुल्वम पुस्तकालय में रुचि हो सकती है, और नीचे हम बताते हैं कि क्यों।

पुस्तकालय

नेबुल्वम कैसे काम करता है?

आप पुस्तकालय आयात करते हैं, नेबुल्वम कुछ जादू करता है, और आपका एआई मॉडल 5-20 गुना तेज चलेगा।

और बस। कोड की कुछ ही पंक्तियों में।

नेबुल्वम लाइब्रेरी का लक्ष्य किसी भी डेवलपर को इस शक्तिशाली तकनीक को समझने, स्थापित करने, परीक्षण करने और डिबग करने में घंटों बर्बाद किए बिना गहन शिक्षण संकलक से लाभ उठाने देना है।

रिलीज के दिन 250+ गिटहब सितारों और स्टार्टअप और बड़ी तकनीकी कंपनियों दोनों के सैकड़ों सक्रिय उपयोगकर्ताओं के साथ नेबुल्वम तेजी से लोकप्रिय हो रहा है। पुस्तकालय का लक्ष्य है:

डीप लर्निंग मॉडल अज्ञेयवादी। नेबुल्वम सभी सबसे लोकप्रिय आर्किटेक्चर जैसे ट्रांसफॉर्मर, एलएसटीएम, सीएनएन और एफसीएन का समर्थन करता है।

हार्डवेयर अज्ञेयवादी । पुस्तकालय अब अधिकांश सीपीयू और जीपीयू पर काम करता है और जल्द ही टीपीयू और अन्य गहन शिक्षण-विशिष्ट एएसआईसी का समर्थन करेगा।

फ्रेमवर्क अज्ञेयवादी । नेबुल्वम सबसे व्यापक रूप से उपयोग किए जाने वाले ढांचे (पायटॉर्च, टेन्सरफ्लो और हगिंग फेस) का समर्थन करता है और जल्द ही कई और समर्थन करेगा।

सुरक्षित। सब कुछ आपकी मशीन पर स्थानीय रूप से चलता है।

️ उपयोग में आसान । पुस्तकालय को स्थापित करने और अपने मॉडलों को अनुकूलित करने के लिए कोड की कुछ पंक्तियों की आवश्यकता होती है।

बेहतरीन डीप लर्निंग कंपाइलर्स का लाभ उठाना । ऐसे कई डीएल कंपाइलर हैं जो आपके एआई मॉडल को आपके हार्डवेयर पर चलाने के तरीके को अनुकूलित करते हैं। एक डेवलपर को प्रत्येक मॉडल परिनियोजन पर उन्हें स्थापित करने और उनका परीक्षण करने में कई घंटे लगेंगे। पुस्तकालय यह आपके लिए करता है!

बक्सों का इस्तेमाल करें

कंप्यूटिंग को 5-20x तक तेज करना इतना मूल्यवान क्यों है?

समय बचाने के लिए → अपनी AI सेवाओं में तेजी लाएं और उन्हें रीयल-टाइम बनाएं।

पैसे बचाने के लिए → क्लाउड कंप्यूटिंग लागत कम करें।

ऊर्जा बचाने के लिए → अपनी AI सेवाओं की बिजली की खपत और कार्बन फुटप्रिंट को कम करें।

शायद आप आसानी से समझ सकते हैं कि त्वरित कंप्यूटिंग आपके विशिष्ट उपयोग के मामले को कैसे लाभ पहुंचा सकती है। हम आपको कुछ उपयोग के मामले भी प्रदान करेंगे कि कैसे नेबुल्वम विभिन्न क्षेत्रों में समुदाय में कई लोगों की मदद कर रहा है:

तेज़ कंप्यूटिंग खोज और अनुशंसा इंजन को तेज़ बनाती है, जिससे वेबसाइटों और प्लेटफ़ॉर्म पर अधिक सुखद उपयोगकर्ता अनुभव प्राप्त होता है। इसके अलावा, कई हेल्थटेक कंपनियों और स्वायत्त ड्राइविंग के लिए वास्तविक समय के निकट AI एक सख्त आवश्यकता है, जब धीमी प्रतिक्रिया समय लोगों के जीवन को खतरे में डाल सकता है। लोगों को निर्बाध रूप से बातचीत करने की अनुमति देने के लिए मेटावर्स और गेमिंग उद्योग को भी लगभग शून्य विलंबता की आवश्यकता होती है। क्रिप्टो/एनएफटी/फास्ट ट्रेडिंग जैसे क्षेत्रों में गति भी बढ़त प्रदान कर सकती है।

न्यूनतम प्रयास से लागत कम करना कभी किसी को नुकसान नहीं पहुंचाता है। इसके बारे में समझाने के लिए बहुत कम है।

ग्रीन एआई एक ऐसा विषय है जो समय के साथ और अधिक लोकप्रिय होता जा रहा है। हर कोई जलवायु परिवर्तन के जोखिमों और प्रभावों से अच्छी तरह वाकिफ है और जहां संभव हो वहां ऊर्जा की खपत को कम करना महत्वपूर्ण है। इस मुद्दे के बारे में व्यापक जागरूकता इस बात से परिलक्षित होती है कि किस प्रकार विभिन्न क्षेत्रों में खरीदारी का व्यवहार अधिक स्थिरता की ओर बढ़ रहा है। इसके अलावा, कुछ मामलों में कम बिजली की खपत एक सिस्टम आवश्यकता है, विशेष रूप से IoT/एज उपकरणों पर जो निरंतर बिजली स्रोतों से कनेक्ट नहीं हो सकते हैं।

प्रौद्योगिकी प्रदर्शन

हम सुझाव देते हैं कि Github पर इंस्टॉलेशन निर्देशों का पालन करके तुरंत अपने AI मॉडल पर लाइब्रेरी का परीक्षण करें। यदि इसके बजाय आप पुस्तकालय की क्षमताओं का व्यावहारिक ज्ञान प्राप्त करना चाहते हैं, तो इस लिंक पर नोटबुक देखें जहां आप लोकप्रिय गहन शिक्षण मॉडल पर नेबुल्वम का परीक्षण कर सकते हैं। ध्यान दें कि नोटबुक में अभी भी आपको पुस्तकालय स्थापित करने की आवश्यकता होगी क्योंकि आप अपने मॉडल पर नेबुल्वम का परीक्षण करेंगे, जिसमें कई मिनट लगेंगे। एक बार इसके इंस्टाल हो जाने के बाद, नेबुल्वम आपके मॉडलों को थोड़े समय में अनुकूलित कर देगा।

मानक

हमने प्रमुख विक्रेताओं से लोकप्रिय एआई मॉडल और हार्डवेयर पर नेबुल्वम का भी परीक्षण किया है।

हार्डवेयर: M1 Pro, NVIDIA T4, Intel Xeon, AMD EPYC
एआई मॉडल: कुशलनेट, रेसनेट, स्क्वीज़नेट, बर्ट, GPT2

पहली नज़र में, हम देख सकते हैं कि त्वरण हार्डवेयर-मॉडल कपलिंग में बहुत भिन्न होता है। कुल मिलाकर, पुस्तकालय महान सकारात्मक परिणाम प्रदान करता है, जिनमें से अधिकांश 2 से 30 गुना गति से होते हैं।

संक्षेप में, परिणाम हैं:

नेबुल्वम गैर-अनुकूलित एआई मॉडल को सकारात्मक त्वरण प्रदान करता है

हगिंग फेस मॉडल पर शुरुआती परिणाम खराब (अभी तक सकारात्मक) प्रदर्शन दिखाते हैं। हगिंग फेस के लिए समर्थन अभी जारी किया गया है और भविष्य के संस्करणों में सुधार लागू किए जाएंगे
नेबुल्वम इंटेल हार्डवेयर पर ~2-3x बूस्ट प्रदान करता है। ये परिणाम इंटेल उपकरणों के लिए PyTorch के पहले से ही अत्यधिक अनुकूलित कार्यान्वयन से संबंधित होने की सबसे अधिक संभावना है
NVIDIA मशीनों पर बहुत अच्छा प्रदर्शन
पुस्तकालय Apple M1 चिप्स पर भी शानदार प्रदर्शन प्रदान करता है
और सभी परिदृश्यों में, नेबुल्वम अपने उपयोग में आसानी के लिए बहुत उपयोगी है, जिससे आप इस तकनीक के अध्ययन, परीक्षण और डिबगिंग में घंटों खर्च किए बिना गहन शिक्षण संकलक का लाभ उठा सकते हैं।

नीचे दी गई तालिका गैर-अनुकूलित मॉडल के मिलीसेकंड (एमएस) में प्रतिक्रिया समय और 100 से अधिक प्रयोगों के औसत मूल्य के रूप में विभिन्न मॉडल-हार्डवेयर कपलिंग के लिए अनुकूलित मॉडल दिखाती है। यह नेबुल्वम द्वारा प्रदान किए गए स्पीडअप को भी प्रदर्शित करता है, जहां स्पीडअप को गैर-अनुकूलित मॉडल के प्रतिक्रिया समय पर अनुकूलित मॉडल के प्रतिक्रिया समय के रूप में परिभाषित किया गया है।

प्रयोग के लिए प्रयुक्त हार्डवेयर निम्नलिखित है:

M1 Pro → Apple M1 Pro 16GB RAM
Intel Xeon → EC2 AWS पर इंस्टेंस - t2.large
AMD EPYC → AWS पर EC2 इंस्टेंस - t4a.large
Nvidia T4 → EC2 उदाहरण AWS पर - g4dn.xlarge

तकनीकी

नेबुल्वम अनुमान में एआई मॉडल में तेजी लाने के लिए सर्वश्रेष्ठ डीप लर्निंग कंपाइलर का लाभ उठाता है।

तो डीप लर्निंग कंपाइलर वास्तव में क्या हैं?

एक डीप लर्निंग कंपाइलर आपके मॉडल को इनपुट के रूप में लेता है और इसका एक कुशल संस्करण तैयार करता है जो एक विशिष्ट हार्डवेयर पर मॉडल कंप्यूटेशन ग्राफ को तेजी से चलाता है।

कैसे?

ऐसे कई तरीके हैं, जो सिद्धांत रूप में, हार्डवेयर मेमोरी लेआउट का बेहतर उपयोग करने और हार्डवेयर उपयोग को अनुकूलित करने के लिए तंत्रिका नेटवर्क की गणना को पुनर्व्यवस्थित करने का प्रयास करते हैं।

बहुत ही सरल शब्दों में, संपूर्ण एंड-टू-एंड कंप्यूटेशन ग्राफ़ को अनुकूलित करके, साथ ही ग्राफ़ [ 1 , 2 ] के भीतर ऑपरेटरों (मुख्य रूप से मैट्रिक्स गुणन से संबंधित लूप के लिए) के पुनर्गठन के द्वारा गहन शिक्षण अनुकूलन प्राप्त किया जा सकता है। यहाँ अनुकूलन तकनीकों के कुछ उदाहरण दिए गए हैं:

ऑपरेटर फ्यूजन । यह उस प्रक्रिया को संदर्भित करता है जहां संलयन के लिए योग्य ऑपरेटरों के अनुक्रम को पहले पहचाना जाता है और फिर संबंधित हस्तलिखित कार्यान्वयन के साथ प्रतिस्थापित किया जाता है। फ़्यूज़िंग ऑपरेटर गणना के बेहतर साझाकरण, मध्यवर्ती आवंटन को हटाने की अनुमति देता है, और लूप नेस्ट के संयोजन से और अनुकूलन की सुविधा प्रदान करता है। [ 3 ]
परिमाणीकरण । यह फ़्लोटिंग पॉइंट परिशुद्धता की तुलना में कम बिटविड्थ पर संगणना करने और टेंसरों को संग्रहीत करने की तकनीकों को संदर्भित करता है। एक परिमाणित मॉडल टेंसर पर फ्लोटिंग पॉइंट मानों के बजाय पूर्णांकों के साथ कुछ या सभी संचालन निष्पादित करता है। [ 4, 5 ]
ग्राफ प्रूनिंग । प्रूनिंग से तात्पर्य तंत्रिका नेटवर्क में कुछ मापदंडों को हटाने से है क्योंकि वे बेमानी हैं और आउटपुट में महत्वपूर्ण योगदान नहीं देते हैं, जिसके परिणामस्वरूप एक छोटा, तेज नेटवर्क होता है। [ 6 ]

डीप लर्निंग ऑप्टिमाइज़ेशन विशिष्ट हार्डवेयर-सॉफ़्टवेयर कपलिंग पर बहुत अधिक निर्भर करता है, और विशिष्ट कंपाइलर विशिष्ट कपलिंग पर सबसे अच्छा काम करते हैं। इसलिए प्रत्येक विशिष्ट उपयोग के मामले के लिए बाजार पर कई गहन शिक्षण संकलक के प्रदर्शन को प्राथमिकता देना मुश्किल है और परीक्षण आवश्यक है। यह वही है जो नेबुल्वम करता है, प्रोग्रामर को अनगिनत घंटे बचाता है।

स्वीकृतियाँ

नेबुल्वम के पीछे की टीम पूर्व एमआईटी, ईटीएच और ईपीएफएल लोगों का एक समूह है जो एक साथ मिलकर नेबुली को लॉन्च करते हैं। उन्होंने एआई को और अधिक कुशल बनाने के लिए कई अन्य बेहतरीन तकनीकों के साथ इस ओपन-सोर्स लाइब्रेरी को विकसित किया। आप Nebuly के बारे में इसकी वेबसाइट , लिंक्डइन , ट्विटर या इंस्टाग्राम पर अधिक जानकारी प्राप्त कर सकते हैं।

पुस्तकालय के मुख्य योगदानकर्ता डिएगो फियोरी के लिए कई यश हैं। डिएगो एक जिज्ञासु व्यक्ति है और हमेशा ज्ञान का प्यासा है, जिसे वह उतना ही अच्छा भोजन और शराब का सेवन करना पसंद करता है। वह एक बहुमुखी प्रोग्रामर है, अपने कोड से बहुत ईर्ष्या करता है, और कभी भी अपने कोड को शानदार से कम नहीं दिखने देता। संक्षेप में, डिएगो नेबुली का सीटीओ है।

ओपन-सोर्स समुदाय के लिए भी बहुत-बहुत धन्यवाद, जिसने कई डीएल कंपाइलर विकसित किए हैं जो एआई मॉडल को तेज करने में सक्षम हैं।

और अंत में, उन सभी को बहुत-बहुत धन्यवाद जो नेबुल्वम ओपन-सोर्स समुदाय का समर्थन कर रहे हैं, बग ढूंढ रहे हैं और उन्हें ठीक कर रहे हैं, और एक अत्याधुनिक, इस सुपर-शक्तिशाली एआई त्वरक के निर्माण को सक्षम कर रहे हैं।

संदर्भ

डीप लर्निंग कंपाइलर्स के बारे में पेपर्स और आर्टिकल्स।

[1] चिप ह्यूएन द्वारा मशीन लर्निंग कंपाइलर और ऑप्टिमाइज़र के लिए एक अनुकूल परिचय
[2] द डीप लर्निंग कंपाइलर: मिंगज़ेन ली एंड अल द्वारा एक व्यापक सर्वेक्षण
[3] जेरेड रोश द्वारा गतिशील तंत्रिका नेटवर्क का सैद्धांतिक अनुकूलन
[4] अमीर घोलामी और अल द्वारा कुशल तंत्रिका नेटवर्क अनुमान के लिए परिमाणीकरण विधियों का एक सर्वेक्षण।
[5] लेई माओ द्वारा तंत्रिका नेटवर्क के लिए परिमाणीकरण
[6] ह्यूगो टेसियर द्वारा तंत्रिका नेटवर्क प्रूनिंग 101

नेबुल्वम द्वारा उपयोग किए जाने वाले डीप लर्निंग कंपाइलर का दस्तावेज़ीकरण।