वृहद भाषा मॉडल (एलएलएम) अनुमान अनुकूलन पर प्राइमर: 2. कृत्रिम बुद्धिमत्ता (एआई) त्वरक का परिचय

एआई त्वरक की खोज और बड़े पैमाने पर बड़े भाषा मॉडल (एलएलएम) की तैनाती पर उनका प्रभाव। : इस श्रृंखला में पोस्ट बड़े भाषा मॉडल (एलएलएम) अनुमान अनुकूलन पर प्राइमर: 1. पृष्ठभूमि और समस्या निर्माण (यह पोस्ट) वृहद भाषा मॉडल (एलएलएम) अनुमान अनुकूलन पर प्राइमर: 2. कृत्रिम बुद्धिमत्ता (एआई) त्वरक का परिचय पिछली में, हमने लार्ज लैंग्वेज मॉडल (LLM) इंफ़रेंस की चुनौतियों पर चर्चा की, जैसे कि उच्च विलंबता, गहन संसाधन खपत और स्केलेबिलिटी मुद्दे। इन मुद्दों को प्रभावी ढंग से संबोधित करने के लिए अक्सर सही हार्डवेयर समर्थन की आवश्यकता होती है। यह पोस्ट AI एक्सेलेरेटर पर गहराई से चर्चा करता है - विशेष हार्डवेयर जो LLM इंफ़रेंस सहित AI वर्कलोड के प्रदर्शन को बढ़ाने के लिए डिज़ाइन किया गया है - उनकी वास्तुकला, प्रमुख प्रकार और LLM को बड़े पैमाने पर तैनात करने पर प्रभाव को उजागर करता है। पोस्ट एआई एक्सेलरेटर क्यों? अगर आपने कभी सोचा है कि OpenAI और Google जैसी कंपनियाँ लाखों उपयोगकर्ताओं को एक साथ सेवा देने वाले इन विशाल भाषा मॉडल को कैसे चला पाती हैं, तो इसका रहस्य AI एक्सेलेरेटर नामक विशेष हार्डवेयर में छिपा है। जबकि पारंपरिक CPU सामान्य-उद्देश्य वाले कार्यों को अच्छी तरह से संभालते हैं, वे AI कार्यभार की माँगों के लिए अनुकूलित नहीं हैं। इसके विपरीत, AI एक्सेलेरेटर, AI कार्यों के लिए उद्देश्य-निर्मित होते हैं, जो उच्च गति वाले डेटा एक्सेस, समानांतर प्रसंस्करण क्षमताओं और कम-सटीक अंकगणित के लिए समर्थन प्रदान करते हैं। कम्प्यूटेशन को AI एक्सेलेरेटर में स्थानांतरित करके, संगठन महत्वपूर्ण प्रदर्शन लाभ प्राप्त कर सकते हैं और लागत कम कर सकते हैं, खासकर जब LLM जैसे जटिल मॉडल चला रहे हों। आइए AI एक्सेलेरेटर के कुछ सामान्य प्रकारों और इन कार्यभारों के लिए उनके अनूठे लाभों का पता लगाएं। एआई एक्सेलरेटर के प्रकार AI एक्सेलरेटर कई रूपों में आते हैं, जिनमें से प्रत्येक विशिष्ट AI कार्यों और वातावरण के लिए अनुकूलित होता है। तीन मुख्य प्रकार GPU, TPU और FPGA/ASIC हैं, जिनमें से प्रत्येक में अद्वितीय विशेषताएं और लाभ हैं: ग्राफ़िक्स प्रोसेसिंग यूनिट (GPU) मूल रूप से ग्राफिक्स रेंडरिंग के लिए विकसित, GPU अपनी समानांतर प्रसंस्करण क्षमताओं के कारण डीप लर्निंग कार्यों के लिए एक शक्तिशाली उपकरण बन गए हैं। उनकी वास्तुकला उच्च-थ्रूपुट मैट्रिक्स गणनाओं के लिए उपयुक्त है, जो LLM अनुमान जैसे कार्यों के लिए आवश्यक हैं। GPU विशेष रूप से डेटा केंद्रों में बड़े पैमाने पर प्रशिक्षण और अनुमान के लिए लोकप्रिय हैं। NVIDIA Tesla, AMD Radeon और Intel Xe जैसे GPU का व्यापक रूप से क्लाउड और ऑन-प्रिमाइसेस दोनों वातावरणों में उपयोग किया जा रहा है। टेंसर प्रोसेसिंग यूनिट (टीपीयू) Google ने विशेष रूप से डीप लर्निंग वर्कलोड के लिए TPU विकसित किए हैं, जिसमें TensorFlow-आधारित प्रशिक्षण और अनुमान के लिए अनुकूलन शामिल हैं। TPU को बड़े पैमाने पर AI कार्यों को कुशलतापूर्वक गति देने के लिए डिज़ाइन किया गया है, जो खोज और अनुवाद सहित Google के कई अनुप्रयोगों को शक्ति प्रदान करता है। Google Cloud के माध्यम से उपलब्ध, TPU प्रशिक्षण और अनुमान दोनों के लिए उच्च प्रदर्शन प्रदान करते हैं, जो उन्हें TensorFlow उपयोगकर्ताओं के लिए पसंदीदा विकल्प बनाता है। फील्ड-प्रोग्रामेबल गेट एरेज़ (FPGAs) / एप्लिकेशन-विशिष्ट एकीकृत सर्किट (ASICs) FPGA और ASIC दो अलग-अलग प्रकार के अनुकूलन योग्य त्वरक हैं जो विशिष्ट AI कार्यों का समर्थन करते हैं। FPGAs पुनः प्रोग्राम करने योग्य होते हैं, जो उन्हें विभिन्न AI मॉडल और अनुप्रयोगों के अनुकूल होने की अनुमति देते हैं, जबकि ASIC विशिष्ट कार्यों के लिए उद्देश्य-निर्मित होते हैं, जो उन कार्यभारों के लिए अधिकतम दक्षता प्रदान करते हैं। दोनों प्रकार का उपयोग डेटा केंद्रों और किनारे पर किया जाता है, जहाँ कम विलंबता और उच्च थ्रूपुट महत्वपूर्ण होते हैं। उदाहरणों में इंटेल अरिया और ज़िलिनक्स एल्वियो (FPGAs) और Google के एज TPU (ASICs) शामिल हैं। सीपीयू और एआई एक्सेलरेटर के बीच मुख्य अंतर CPU और AI एक्सेलरेटर की अलग-अलग वास्तुकला उन्हें विभिन्न प्रकार के कार्यभार के लिए उपयुक्त बनाती है। यहाँ कुछ सबसे महत्वपूर्ण विशेषताओं की तुलना दी गई है: : जबकि CPU सामान्य प्रयोजन के प्रोसेसर हैं, AI एक्सेलरेटर AI कार्यभार के लिए अनुकूलित विशेष हार्डवेयर हैं। CPU में आमतौर पर कम कोर होते हैं लेकिन उच्च क्लॉक स्पीड होती है, जो उन्हें त्वरित सिंगल-थ्रेडेड प्रदर्शन की आवश्यकता वाले कार्यों के लिए आदर्श बनाती है। हालाँकि, AI एक्सेलरेटर में समानांतर प्रसंस्करण और उच्च थ्रूपुट के लिए अनुकूलित हजारों कोर होते हैं। आर्किटेक्चर : CPU अक्सर उच्च परिशुद्धता अंकगणित और बड़ी कैश मेमोरी का उपयोग करते हैं, जो सामान्य कंप्यूटिंग कार्यों का समर्थन करता है। इसके विपरीत, AI त्वरक कम परिशुद्धता अंकगणित, जैसे 8-बिट या 16-बिट का समर्थन करते हैं, जिससे सटीकता पर बहुत अधिक समझौता किए बिना मेमोरी फ़ुटप्रिंट और ऊर्जा खपत कम हो जाती है - LLM अनुमान के लिए महत्वपूर्ण। परिशुद्धता और मेमोरी : उच्च तीव्रता वाले एआई कार्यों के लिए डिज़ाइन किए गए, त्वरक सीपीयू की तुलना में प्रति ऑपरेशन काफी कम बिजली की खपत करते हैं, जिससे बड़े पैमाने पर तैनात होने पर लागत बचत और कम पर्यावरणीय प्रभाव दोनों में योगदान मिलता है। ऊर्जा दक्षता संदर्भ: डेविड बी. किर्क और वेन-मेई डब्ल्यू. ह्वू द्वारा मैसिवली पैरेलल प्रोसेसर प्रोग्रामिंग [1] ध्यान दें कि CPU में कम कोर (4-8) होते हैं और डिज़ाइन कम विलंबता और उच्च एकल-थ्रेडेड प्रदर्शन के लिए अनुकूलित होता है। इसके विपरीत, GPU में हज़ारों कोर होते हैं और वे उच्च थ्रूपुट और समानांतर प्रसंस्करण के लिए अनुकूलित होते हैं। यह समानांतर प्रसंस्करण क्षमता GPU को बड़े पैमाने पर AI कार्यभार को कुशलतापूर्वक संभालने की अनुमति देती है। एआई एक्सेलेरेटर की मुख्य विशेषताएं और एलएलएम इंफरेंस पर प्रभाव AI एक्सेलरेटर कई विशेषताओं के साथ बनाए गए हैं जो उन्हें LLM अनुमान जैसे बड़े पैमाने पर AI कार्यभार को संभालने के लिए आदर्श बनाते हैं। प्रमुख विशेषताओं में शामिल हैं: समानांतर प्रसंस्करण एआई एक्सेलरेटर बड़े पैमाने पर समानांतर प्रसंस्करण के लिए डिज़ाइन किए गए हैं, हजारों कोर के साथ उनकी वास्तुकला के लिए धन्यवाद। यह समानांतरता उन्हें LLM अनुमान में आवश्यक गहन मैट्रिक्स गणनाओं को कुशलतापूर्वक संभालने की अनुमति देती है। कई एक्सेलरेटर में विशेष टेंसर कोर भी शामिल हैं, जो मैट्रिक्स गुणन जैसे टेंसर संचालन के लिए अनुकूलित हैं। ये क्षमताएँ AI एक्सेलरेटर को बड़े पैमाने पर LLM कार्यों को संसाधित करते समय CPU की तुलना में काफी तेज़ बनाती हैं। संदर्भ: यंगसुक पार्क, एट अल द्वारा एआई एक्सेलेरेटर पर फाउंडेशन मॉडल का अनुमान अनुकूलन। उच्च बैंडविड्थ मेमोरी एक्सेलरेटर विशेष मेमोरी के साथ आते हैं जो उच्च बैंडविड्थ को सक्षम बनाता है, जिससे उन्हें न्यूनतम विलंबता के साथ बड़े डेटासेट और मॉडल मापदंडों तक पहुंचने की अनुमति मिलती है। यह सुविधा LLM अनुमान के लिए आवश्यक है, जहां इनपुट टेक्स्ट और मॉडल मापदंडों को लोड करने के लिए लगातार डेटा एक्सेस की आवश्यकता होती है। उच्च-बैंडविड्थ मेमोरी डेटा पुनर्प्राप्ति में अड़चन को कम करती है, जिसके परिणामस्वरूप कम विलंबता और बेहतर प्रदर्शन होता है। हाई स्पीड इंटरकनेक्ट बैंडविड्थ AI एक्सेलरेटर मल्टी-डिवाइस सेटअप के भीतर तेज़ डेटा ट्रांसफ़र की सुविधा के लिए हाई-स्पीड इंटरकनेक्ट से लैस हैं। यह कई डिवाइस में LLM इंफ़रेंस को स्केल करने के लिए विशेष रूप से महत्वपूर्ण है, जहाँ एक्सेलरेटर को डेटा को कुशलतापूर्वक संचारित और साझा करने की आवश्यकता होती है। उच्च इंटरकनेक्ट बैंडविड्थ यह सुनिश्चित करता है कि बड़े डेटासेट को डिवाइस में विभाजित किया जा सकता है और बिना किसी रुकावट के एक साथ संसाधित किया जा सकता है। कम परिशुद्धता अंकगणित AI त्वरक का एक और लाभ यह है कि वे कम-सटीक अंकगणित के लिए समर्थन करते हैं, जैसे कि 8-बिट पूर्णांक और 16-बिट फ़्लोटिंग-पॉइंट गणनाएँ। यह मेमोरी उपयोग और ऊर्जा खपत को कम करता है, जिससे AI कार्य अधिक कुशल बनते हैं। LLM अनुमान के लिए, कम-सटीक गणनाएँ अधिकांश अनुप्रयोगों के लिए पर्याप्त सटीकता बनाए रखते हुए तेज़ प्रसंस्करण प्रदान करती हैं। AI त्वरक में डेटा प्रकार का चयन बहुत समृद्ध है। संदर्भ: यंगसुक पार्क, एट अल द्वारा एआई एक्सेलेरेटर पर फाउंडेशन मॉडल का अनुमान अनुकूलन। अनुकूलित लाइब्रेरी और फ्रेमवर्क अधिकांश AI एक्सेलरेटर लोकप्रिय AI फ्रेमवर्क के लिए अनुकूलित लाइब्रेरी के साथ आते हैं, जैसे कि NVIDIA GPU के लिए cuDNN और Google TPU के लिए XLA। ये लाइब्रेरी सामान्य AI संचालन करने के लिए उच्च-स्तरीय API प्रदान करती हैं और विशेष रूप से LLM के लिए अनुकूलन शामिल करती हैं। इन लाइब्रेरी का उपयोग करने से मॉडल विकास, परिनियोजन और अनुमान अनुकूलन में तेज़ी आती है। मापनीयता और ऊर्जा दक्षता एआई एक्सेलरेटर अत्यधिक स्केलेबल होते हैं, जिससे क्लस्टर या डेटा सेंटर में बड़े कार्यभार को कुशलतापूर्वक संभालने के लिए तैनाती की अनुमति मिलती है। उन्हें ऊर्जा-कुशल होने के लिए भी डिज़ाइन किया गया है, जो तुलनीय कार्यों के लिए सीपीयू की तुलना में कम बिजली की खपत करते हैं, जो उन्हें बड़े पैमाने पर एलएलएम इंफ़रेंस जैसे कम्प्यूटेशनल रूप से गहन अनुप्रयोगों के लिए आदर्श बनाता है। यह दक्षता बड़े AI मॉडल चलाने की परिचालन लागत और पर्यावरणीय प्रभाव दोनों को कम करने में मदद करती है। एआई त्वरक में समानता एलएलएम अनुमान के लिए एआई त्वरक की दक्षता को अधिकतम करने के लिए विभिन्न प्रकार की समानांतर तकनीकों को नियोजित किया जाता है: डेटा समांतरता डेटा समानांतरता में इनपुट डेटा को कई बैचों में विभाजित करना और प्रत्येक बैच को समानांतर रूप से संसाधित करना शामिल है। यह AI कार्यभार के लिए उपयोगी है जिसमें बड़े डेटासेट शामिल होते हैं, जैसे कि डीप लर्निंग ट्रेनिंग और इंफ़रेंस। डेटा को कई डिवाइस में वितरित करके, AI एक्सेलेरेटर कार्यभार को तेज़ी से संसाधित कर सकते हैं और समग्र प्रदर्शन में सुधार कर सकते हैं। LLM इंफ़रेंस में डेटा समानांतरता का एक उदाहरण इनपुट टेक्स्ट को बैचों में विभाजित करना और प्रत्येक बैच को एक अलग एक्सेलेरेटर पर संसाधित करना है। मॉडल समांतरता मॉडल समानांतरता में AI मॉडल के घटकों को कई डिवाइस में विभाजित करना शामिल है, जिससे विभिन्न मॉडल भागों की समानांतर प्रोसेसिंग संभव हो पाती है। यह दृष्टिकोण विशेष रूप से बड़े AI मॉडल के लिए महत्वपूर्ण है जो एकल-डिवाइस मेमोरी क्षमता से अधिक होते हैं या कुशल प्रोसेसिंग के लिए वितरित गणना की आवश्यकता होती है। मॉडल समानांतरता का व्यापक रूप से बड़े भाषा मॉडल (LLM) और अन्य डीप लर्निंग आर्किटेक्चर में उपयोग किया जाता है जहाँ मॉडल का आकार एक महत्वपूर्ण बाधा है। मॉडल समांतरता को दो मुख्य तरीकों से क्रियान्वित किया जा सकता है: : अलग-अलग लेयर या घटक डिवाइस में विभाजित होते हैं, जिसमें प्रत्येक डिवाइस एक ही लेयर के भीतर गणना के एक हिस्से को संभालता है। उदाहरण के लिए, ट्रांसफॉर्मर मॉडल में, अटेंशन हेड या फीड-फॉरवर्ड नेटवर्क लेयर को कई डिवाइस में वितरित किया जा सकता है। यह दृष्टिकोण संचार ओवरहेड को कम करता है क्योंकि डिवाइस को केवल लेयर सीमाओं पर सिंक्रोनाइज़ करने की आवश्यकता होती है। इंट्रा-लेयर पैरेललिज्म (टेंसर पैरेललिज्म) : परतों के अनुक्रमिक समूह डिवाइस में वितरित किए जाते हैं, जिससे गणना की पाइपलाइन बनती है। प्रत्येक डिवाइस पाइपलाइन में अगले डिवाइस को परिणाम भेजने से पहले अपनी निर्दिष्ट परतों को संसाधित करता है। यह दृष्टिकोण विशेष रूप से गहरे नेटवर्क के लिए प्रभावी है, लेकिन पाइपलाइन विलंबता का परिचय देता है। अंतर-परत समानांतरता (पाइपलाइन समानांतरता) कार्य समांतरता कार्य समानांतरता में AI कार्यभार को कई कार्यों में विभाजित करना और प्रत्येक कार्य को समानांतर रूप से संसाधित करना शामिल है। यह AI कार्यभार के लिए उपयोगी है जिसमें कई स्वतंत्र कार्य शामिल हैं, जैसे कि स्वायत्त ड्राइविंग। कार्यों को समानांतर रूप से संसाधित करके, AI त्वरक जटिल कार्यों को पूरा करने में लगने वाले समय को कम कर सकते हैं और समग्र प्रदर्शन में सुधार कर सकते हैं। कार्य समानांतरता का उपयोग अक्सर AI त्वरक में ऑब्जेक्ट डिटेक्शन और वीडियो विश्लेषण जैसे कार्यों के लिए किया जाता है। एक LLM पर विचार करें जिसमें 70 बिलियन पैरामीटर हैं जो टेक्स्ट इनपुट के एक बैच को संसाधित करता है: : इनपुट बैच को कई GPU में विभाजित किया जाता है, जिनमें से प्रत्येक इनपुट के एक हिस्से को स्वतंत्र रूप से संसाधित करता है। डेटा समानांतरता : ट्रांसफार्मर मॉडल के ध्यान शीर्ष कई उपकरणों में वितरित किए जाते हैं, जिसमें प्रत्येक उपकरण शीर्षों के एक उपसमूह को संभालता है। टेंसर समानांतरता : ट्रांसफार्मर मॉडल की परतों को अनुक्रमिक समूहों में विभाजित किया जाता है, जिसमें प्रत्येक समूह को पाइपलाइन फैशन में एक अलग डिवाइस द्वारा संसाधित किया जाता है। पाइपलाइन समानांतरता : विभिन्न त्वरक इकाइयों पर एकाधिक स्वतंत्र अनुमान अनुरोधों को एक साथ संसाधित किया जाता है। कार्य समांतरता एआई एक्सेलरेटर में सह-प्रसंस्करण मोड AI एक्सेलरेटर अक्सर भारी कम्प्यूटेशन कार्यों को कम करने के लिए मुख्य CPU के साथ मिलकर काम करते हैं। मुख्य CPU सामान्य उद्देश्य कार्यों के लिए जिम्मेदार है और AI एक्सेलरेटर भारी कम्प्यूटेशन कार्यों के लिए जिम्मेदार हैं। इसे आमतौर पर सह-प्रसंस्करण कहा जाता है। यहाँ एक सरल आरेख है जो दिखाता है कि AI एक्सेलरेटर मुख्य CPU के साथ कैसे काम करते हैं। यहाँ सह-प्रसंस्करण के लिए कुछ संक्षिप्त नामकरण दिया गया है: : मुख्य CPU. यह प्रोग्राम के मुख्य प्रवाह के लिए जिम्मेदार है. यह मुख्य डेटा लोड करके और इनपुट/आउटपुट संचालन को संभालकर कार्य को व्यवस्थित करता है. सह-प्रसंस्करण मोड में, होस्ट प्रक्रिया शुरू करता है, डेटा को AI एक्सेलरेटर में स्थानांतरित करता है, और परिणाम प्राप्त करता है. यह सभी गैर-गणना तर्क को संभालता है और संख्याओं को क्रंच करने का काम AI एक्सेलरेटर पर छोड़ देता है. होस्ट : AI एक्सेलरेटर। वे भारी गणना कार्यों के लिए जिम्मेदार हैं। होस्ट से डेटा प्राप्त करने के बाद, एक्सेलरेटर इसे अपनी विशेष मेमोरी में लोड करता है और मैट्रिक्स गुणन जैसे AI कार्यभार के लिए अनुकूलित समानांतर प्रसंस्करण करता है। एक बार जब यह प्रसंस्करण पूरा कर लेता है, तो यह परिणामों को संग्रहीत करता है और उन्हें वापस होस्ट में स्थानांतरित करता है। डिवाइस एआई एक्सेलरेटर में उभरते रुझान जैसे-जैसे AI कार्यभार जटिलता और पैमाने में बढ़ता जा रहा है, AI त्वरक आधुनिक अनुप्रयोगों की मांगों को पूरा करने के लिए विकसित हो रहे हैं। AI त्वरक के भविष्य को आकार देने वाले कुछ प्रमुख रुझान [3] में शामिल हैं: बुद्धिमान प्रसंस्करण इकाइयाँ (आईपीयू) ग्राफकोर द्वारा विकसित, IPU को जटिल मशीन लर्निंग कार्यों को उच्च दक्षता के साथ संभालने के लिए डिज़ाइन किया गया है। उनकी वास्तुकला समानांतर प्रसंस्करण पर केंद्रित है, जो उन्हें बड़े पैमाने पर AI कार्यभार के लिए उपयुक्त बनाती है। पुनर्संयोज्य डेटा प्रवाह इकाइयाँ (RDUs) सांबानोवा सिस्टम्स द्वारा विकसित, RDU को प्रोसेसर के भीतर डेटा प्रवाह को गतिशील रूप से अनुकूलित करके AI कार्यभार को गति देने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण LLM अनुमान जैसे कार्यों के लिए प्रदर्शन और दक्षता में सुधार करता है। न्यूरल प्रोसेसिंग यूनिट (एनपीयू) एनपीयू डीप लर्निंग और न्यूरल नेटवर्क कार्यों के लिए विशेषीकृत हैं, जो एआई वर्कलोड के अनुरूप कुशल डेटा प्रोसेसिंग प्रदान करते हैं। वे ऑन-डिवाइस एआई क्षमताओं की आवश्यकता वाले उपकरणों में तेजी से एकीकृत हो रहे हैं। निष्कर्ष इस पोस्ट में, हमने LLM अनुमान सहित AI कार्यभार के प्रदर्शन को बढ़ाने में AI त्वरक की भूमिका पर चर्चा की। समानांतर प्रसंस्करण क्षमताओं, उच्च गति वाली मेमोरी और त्वरक की कम-सटीक अंकगणित का लाभ उठाकर, संगठन बड़े पैमाने पर LLM तैनात करते समय महत्वपूर्ण प्रदर्शन लाभ और लागत बचत प्राप्त कर सकते हैं। AI त्वरक की प्रमुख विशेषताओं और प्रकारों को समझना LLM अनुमान को अनुकूलित करने और बड़े पैमाने पर AI परिनियोजन में कुशल संसाधन उपयोग सुनिश्चित करने के लिए आवश्यक है। अगली पोस्ट में, हम AI त्वरक का उपयोग करके बड़े पैमाने पर LLM तैनात करने के लिए सिस्टम अनुकूलन तकनीकों पर चर्चा करेंगे। संदर्भ [1] डेविड बी. किर्क और वेन-मेई डब्ल्यू. ह्वू द्वारा मैसिवली पैरेलल प्रोसेसर प्रोग्रामिंग [2] यंगसुक पार्क, एट अल द्वारा एआई एक्सेलेरेटर पर फाउंडेशन मॉडल का अनुमान अनुकूलन। [3] उभरते एआई/एमएल एक्सेलेरेटर का मूल्यांकन: आईपीयू, आरडीयू, और एनवीआईडीआईए/एएमडी जीपीयू, हांगवु पेंग और अन्य द्वारा।