चिपनेमो: चिप डिजाइन के लिए डोमेन-अनुकूलित एलएलएम: सार और परिचय

लिंक की तालिका

• सार और परिचय
• डेटासेट
• चिपनेमो डोमेन अनुकूलन विधियाँ
• एलएलएम अनुप्रयोग
• मूल्यांकन
• बहस
• संबंधित काम
• निष्कर्ष
• आभार, योगदान और संदर्भ
• अनुबंध

अमूर्त

चिपनेमो का लक्ष्य औद्योगिक चिप डिजाइन के लिए बड़े भाषा मॉडल (एलएलएम) के अनुप्रयोगों का पता लगाना है। सीधे ऑफ-द-शेल्फ वाणिज्यिक या ओपन-सोर्स एलएलएम को तैनात करने के बजाय, हम इसके बजाय निम्नलिखित डोमेन अनुकूलन तकनीकों को अपनाते हैं: कस्टम टोकेनाइजर, डोमेन-अनुकूली निरंतर प्रीट्रेनिंग, डोमेन-विशिष्ट निर्देशों के साथ पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी), और डोमेन-अनुकूलित पुनर्प्राप्ति मॉडल। हम चिप डिजाइन के लिए तीन चयनित एलएलएम अनुप्रयोगों पर इन विधियों का मूल्यांकन करते हैं: एक इंजीनियरिंग सहायक चैटबॉट, ईडीए स्क्रिप्ट जनरेशन, और बग सारांश और विश्लेषण। हमारे परिणाम बताते हैं कि ये डोमेन अनुकूलन तकनीकें तीन मूल्यांकित अनुप्रयोगों में सामान्य-उद्देश्य आधार मॉडल पर महत्वपूर्ण एलएलएम प्रदर्शन सुधारों को सक्षम करती हैं, जो डिजाइन कार्यों की एक श्रृंखला पर समान या बेहतर प्रदर्शन के साथ 5x मॉडल आकार में कमी को सक्षम करती हैं। हमारे निष्कर्ष यह भी संकेत देते हैं कि हमारे वर्तमान परिणामों और आदर्श परिणामों के बीच अभी भी सुधार की गुंजाइश है। हमारा मानना है कि डोमेन-अनुकूलित एलएलएम दृष्टिकोणों की आगे की जांच भविष्य में इस अंतर को कम करने में मदद करेगी।

I. प्रस्तावना

पिछले कुछ दशकों में, इलेक्ट्रॉनिक डिज़ाइन ऑटोमेशन (EDA) एल्गोरिदम और टूल ने चिप डिज़ाइन उत्पादकता में भारी लाभ प्रदान किया है। मूर के नियम द्वारा प्रदान किए गए ट्रांजिस्टर घनत्व में घातीय वृद्धि के साथ युग्मित, EDA ने अरबों ट्रांजिस्टर के साथ सुविधा संपन्न जटिल SoC डिज़ाइनों के विकास को सक्षम किया है। हाल ही में, शोधकर्ता चिप डिज़ाइन उत्पादकता को और बेहतर बनाने के लिए EDA एल्गोरिदम और चिप डिज़ाइन प्रक्रिया में AI को लागू करने के तरीकों की खोज कर रहे हैं [1] [2] [3]। हालाँकि, कई समय लेने वाले चिप डिज़ाइन कार्य जिनमें प्राकृतिक भाषाओं या प्रोग्रामिंग भाषाओं के साथ इंटरफेस करना शामिल है, अभी भी स्वचालित नहीं किए गए हैं। वाणिज्यिक (ChatGPT, Bard, आदि) और ओपन-सोर्स (Vicuna [4], LLaMA2 [5], आदि) बड़े भाषा मॉडल (LLM) में नवीनतम प्रगति इन भाषा-संबंधी चिप डिज़ाइन कार्यों को स्वचालित करने में मदद करने के लिए एक अभूतपूर्व अवसर प्रदान करती है। वास्तव में, प्रारंभिक शैक्षणिक अनुसंधान [6] [7] [8] ने RTL उत्पन्न करने के लिए LLM के अनुप्रयोगों की खोज की है जो छोटे डिज़ाइन मॉड्यूल में सरल कार्य करने के साथ-साथ EDA टूल के लिए स्क्रिप्ट भी बना सकते हैं।

हमारा मानना है कि एलएलएम में जनरेटिव एआई का उपयोग करके चिप डिज़ाइन उत्पादकता में मदद करने की क्षमता है, ताकि कोड जनरेशन, प्राकृतिक भाषा इंटरफ़ेस के माध्यम से इंजीनियरिंग प्रश्नों के उत्तर, विश्लेषण §समान योगदान और रिपोर्ट जनरेशन, और बग ट्राइएज जैसे कई भाषा से संबंधित चिप डिज़ाइन कार्यों को स्वचालित किया जा सके। इस अध्ययन में, हम इन तीन विशिष्ट एलएलएम अनुप्रयोगों पर ध्यान केंद्रित करते हैं: GPU ASIC और आर्किटेक्चर डिज़ाइन इंजीनियरों के लिए एक इंजीनियरिंग सहायक चैटबॉट, जो आंतरिक HW डिज़ाइनों को समझता है और जटिल डिज़ाइन विषयों को समझाने में सक्षम है; अंग्रेजी में निर्दिष्ट VLSI टाइमिंग विश्लेषण कार्यों के लिए पायथन और Tcl पर आधारित दो डोमेन विशिष्ट उपकरणों के लिए EDA स्क्रिप्ट जनरेशन; आंतरिक बग और समस्या ट्रैकिंग सिस्टम के हिस्से के रूप में बग सारांश और विश्लेषण।

हालाँकि इंटरनेट डेटा की विशाल मात्रा पर प्रशिक्षित सामान्य-उद्देश्य वाले एलएलएम विविध डोमेन में जनरेटिव एआई कार्यों में उल्लेखनीय क्षमताओं का प्रदर्शन करते हैं (जैसा कि बुबेक एट अल द्वारा [9] में प्रदर्शित किया गया है), ब्लूमबर्गजीपीटी [10] और बायोमेडएलएलएम [11] जैसे हालिया काम प्रदर्शित करते हैं कि डोमेन-विशिष्ट एलएलएम मॉडल डोमेन-विशिष्ट कार्यों पर सामान्य-उद्देश्य वाले मॉडल से बेहतर प्रदर्शन कर सकते हैं। हार्डवेयर डिज़ाइन डोमेन में, [6] [12] ने दिखाया कि अतिरिक्त वेरिलॉग डेटा पर फाइन-ट्यून किए गए ओपनसोर्स एलएलएम (कोडजेन [13]) अत्याधुनिक ओपनएआई मॉडल से बेहतर प्रदर्शन कर सकते हैं। एलएलएम को इस तरह से अनुकूलित करना एपीआई के माध्यम से तीसरे पक्ष के एलएलएम को मालिकाना चिप डिज़ाइन डेटा भेजने से जुड़े सुरक्षा जोखिमों से भी बचा जाता है। डोमेन-विशिष्ट मॉडल को लागत-प्रभावी ढंग से प्रशिक्षित करने के लिए, हम इसके बजाय निम्नलिखित तकनीकों को संयोजित करने का प्रस्ताव करते हैं: डोमेन-अनुकूलित टोकेनाइज़र के साथ फाउंडेशन मॉडल के डोमेन-एडेप्टिव प्रीट्रेनिंग (डीएपीटी) [14], सामान्य और डोमेन विशिष्ट निर्देशों का उपयोग करके मॉडल संरेखण, और प्रशिक्षित डोमेन-अनुकूलित पुनर्प्राप्ति मॉडल के साथ पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) [15]।

जैसा कि चित्र 1 में दिखाया गया है, हमारा दृष्टिकोण एक आधारभूत आधारभूत मॉडल से शुरू करना है और उसके बाद DAPT लागू करना है, उसके बाद सुपरवाइज्ड फ़ाइन-ट्यूनिंग (SFT) लागू करना है। DAPT, जिसे इन-डोमेन डेटा के साथ निरंतर प्रीट्रेनिंग के रूप में भी जाना जाता है, बायोमेडिकल और कंप्यूटर विज्ञान प्रकाशनों, समाचारों और समीक्षाओं जैसे क्षेत्रों में प्रभावी साबित हुआ है। हमारे मामले में, हम अपने डोमेन-विशिष्ट प्री-ट्रेनिंग डेटासेट को मालिकाना हार्डवेयर-संबंधित कोड (जैसे सॉफ़्टवेयर, RTL, सत्यापन टेस्टबेंच, आदि) और प्राकृतिक भाषा डेटासेट (जैसे हार्डवेयर विनिर्देश, दस्तावेज़ीकरण, आदि) के संग्रह से बनाते हैं। हम कच्चे डेटासेट को साफ करते हैं और प्रीप्रोसेस करते हैं, फिर डोमेन-विशिष्ट डेटा के साथ एक फाउंडेशन मॉडल को निरंतर-प्रशिक्षित करते हैं। हम परिणामी मॉडल को ChipNeMo कहते हैं

फाउंडेशन मॉडल। DAPT प्री-ट्रेनिंग में इस्तेमाल किए जाने वाले टोकन के एक अंश पर किया जाता है, और यह बहुत सस्ता है, इसके लिए केवल कुछ हज़ार GPU घंटों की आवश्यकता होती है। जैसा कि सेक्शन V में वर्णित है, हम पाते हैं कि यह दृष्टिकोण हमारे उपयोग के मामलों के लिए LoRA [16] जैसी पैरामीटर कुशल प्रशिक्षण (PEFT) तकनीकों की तुलना में अधिक प्रभावी है।

एलएलएम टोकेनाइजर एलएलएम प्रशिक्षण के लिए टेक्स्ट को टोकन के अनुक्रम में परिवर्तित करते हैं। डोमेन-विशिष्ट टोकेनाइजर डोमेन-विशिष्ट शब्दों जैसे कि RTL में सामान्य रूप से पाए जाने वाले कीवर्ड के लिए नियमों और पैटर्न को तैयार करके टोकेनाइजेशन दक्षता में सुधार करता है। DAPT के लिए, हम नए डोमेन-विशिष्ट टोकेनाइजर को स्क्रैच से फिर से प्रशिक्षित नहीं कर सकते, क्योंकि यह फाउंडेशन मॉडल को अमान्य बना देगा। ChipNeMo को फाउंडेशन मॉडल द्वारा उपयोग किए जाने वाले प्रीट्रेन्ड जनरल-पर्पस टोकेनाइजर तक सीमित करने के बजाय, हम इसके बजाय प्री-ट्रेन्ड टोकेनाइजर को अपने चिप डिज़ाइन डेटासेट में अनुकूलित करते हैं, केवल डोमेन-विशिष्ट शब्दों के लिए नए टोकन जोड़ते हैं।

चिपनेमो फाउंडेशन मॉडल पूर्णता मॉडल हैं जिन्हें चैट जैसे कार्यों के अनुकूल होने के लिए सुपरवाइज्ड-फाइन-ट्यूनिंग (SFT) की आवश्यकता होती है। हम चिपनेमो फाउंडेशन मॉडल पर SFT करने के लिए मल्टी-टर्न चैट के लिए बड़े पैमाने पर सार्वजनिक रूप से उपलब्ध सामान्य-उद्देश्य चैट निर्देश डेटासेट का उपयोग करते हैं, साथ ही डोमेन-विशिष्ट निर्देश डेटासेट की एक छोटी मात्रा का उपयोग करते हैं, जो चिपनेमो चैट मॉडल का उत्पादन करता है। हम देखते हैं कि चिप डिजाइन डोमेन में क्वेरीज़ के साथ चिपनेमो फाउंडेशन मॉडल को संरेखित करने के लिए सामान्य उद्देश्य चैट निर्देश डेटासेट वाला SFT पर्याप्त है। हमने कार्य-विशिष्ट SFT निर्देश डेटा की एक छोटी मात्रा भी जोड़ी, जो संरेखण को और बेहतर बनाती है। हमने बेस फाउंडेशन मॉडल के रूप में उपयोग किए जाने वाले LLaMA2 मॉडल के वेरिएंट के आधार पर कई चिपनेमो फाउंडेशन और चैट मॉडल को प्रशिक्षित किया।

इंजीनियरिंग असिस्टेंट चैटबॉट एप्लिकेशन पर प्रदर्शन को बेहतर बनाने के लिए, हम रिट्रीवल ऑगमेंटेड जेनरेशन (RAG) का भी लाभ उठाते हैं। RAG LLM को उपयोगकर्ता प्रश्नों के लिए सटीक संदर्भ देने के लिए एक ओपन-बुक दृष्टिकोण है। यह उपयोगकर्ता क्वेरी दिए जाने पर प्रतिक्रिया पीढ़ी को बढ़ाने के लिए अपने डेटा स्टोर से प्रासंगिक इन-डोमेन ज्ञान को पुनः प्राप्त करता है। यह विधि मॉडल को किसी विशेष प्रश्न के संदर्भ में ग्राउंड करने में महत्वपूर्ण सुधार दिखाती है। महत्वपूर्ण रूप से हमने डोमेन डेटा के साथ एक प्रीट्रेन्ड रिट्रीवल मॉडल को फ़ाइनट्यून करते समय रिट्रीवल हिट दर में महत्वपूर्ण सुधार देखा। इससे मॉडल की गुणवत्ता में और भी सुधार हुआ।

हम एलएलएम को चिप डिजाइन डोमेन में अनुकूलित करने से संबंधित निम्नलिखित योगदान और निष्कर्षों पर प्रकाश डालते हैं:

• हम तीन उपयोग-मामलों पर डोमेन-अनुकूलित एलएलएम प्रभावशीलता का प्रदर्शन करते हैं: एक इंजीनियरिंग सहायक चैटबॉट, ईडीए टूल स्क्रिप्ट जनरेशन, और बग सारांश और विश्लेषण। हम विशेषज्ञ मूल्यांकन के आधार पर इंजीनियरिंग सहायक चैटबॉट प्रतिक्रियाओं के लिए 10 में से 7.4 अंक के पैमाने पर स्कोर प्राप्त करते हैं, ईडीए स्क्रिप्ट जनरेशन में 50% से अधिक शुद्धता प्राप्त करते हैं, और सारांश और असाइनमेंट पहचान कार्यों के लिए 7 में से 4 से 5 अंक के पैमाने पर विशेषज्ञ मूल्यांकन रेटिंग प्राप्त करते हैं।

• डोमेन-अनुकूलित चिपनेमो मॉडल बहुविकल्पीय डोमेन-विशिष्ट ऑटोइवल बेंचमार्क और अनुप्रयोगों के लिए मानव मूल्यांकन दोनों पर मूल्यांकित सभी वेनिला एलएलएम से नाटकीय रूप से बेहतर प्रदर्शन करता है।

• ऐसे कार्यों के लिए जहां मॉडल के लिए प्रॉम्प्ट संदर्भ से पाठ उत्पन्न करना संभव है (जैसे कि RAG हिट्स के साथ चैट, सारांशीकरण, प्रदान किए गए दस्तावेज़ के साथ कोड जनरेशन), डोमेन-अनुकूलन एक अत्याधुनिक LLaMA2 70B मॉडल और एक बहुत छोटे 13B मॉडल के बीच के अंतर को बंद कर देता है (एक छोटी वृद्धिशील प्रशिक्षण लागत कम अनुमान लागत के लिए 5x पैरामीटर कटौती को सक्षम बनाती है)।

• अनुकूलित टोकेनाइजर्स अनुप्रयोगों पर प्रभावशीलता को नुकसान पहुंचाए बिना DAPT टोकन की संख्या को 3.3% तक कम कर देते हैं।

• अतिरिक्त 1.1K डोमेन-विशिष्ट निर्देशों पर SFT, इंजीनियरिंग सहायक चैटबॉट, EDA स्क्रिप्ट निर्माण, तथा बग सारांशीकरण और विश्लेषण में क्रमशः 10-बिंदु स्केल में से 0.33, 18% शुद्धता और 7-बिंदु स्केल में से 0.79 तक अनुप्रयोगों की दक्षता में उल्लेखनीय सुधार करता है।

• डोमेन-विशिष्ट डेटा के साथ हमारे चिपनेमो रिट्रीवल मॉडल को फाइन-ट्यूनिंग करने से पूर्व-प्रशिक्षित अत्याधुनिक रिट्रीवर की तुलना में रिट्रीवर हिट दर में 30% सुधार होता है, जिसके परिणामस्वरूप आरएजी प्रतिक्रियाओं की समग्र गुणवत्ता में सुधार होता है।

पेपर को इस प्रकार व्यवस्थित किया गया है। अनुभाग II डोमेन ज्ञान सत्यापन के लिए हमारे डेटासेट और ऑटो मूल्यांकन बेंचमार्क का वर्णन करता है। अनुभाग III डोमेन अनुकूलन और अनुकूलित टोकेनाइज़र, DAPT, SFT और RAG सहित उपयोग की जाने वाली प्रशिक्षण विधियों की रूपरेखा प्रस्तुत करता है। अनुभाग IV प्रत्येक एप्लिकेशन और प्रायोगिक सेटअप का विवरण प्रदान करता है। अनुभाग V प्रत्येक एप्लिकेशन के लिए मानव मूल्यांकन सहित प्रायोगिक परिणामों का वर्णन करता है। अनुभाग VI ChipNeMo सीमाओं और भविष्य के कार्यों पर चर्चा करता है। अनुभाग VII चिप डिज़ाइन के लिए LLM को लक्षित करने वाले प्रासंगिक LLM विधियों और अन्य कार्यों का वर्णन करता है। अंत में, अतिरिक्त मॉडल प्रशिक्षण विवरणों और एप्लिकेशन उपयोग-मामलों द्वारा उत्पन्न पाठ के उदाहरणों के साथ पूर्ण परिणाम परिशिष्ट में चित्रित किए गए हैं।