चिपनेमो: चिप डिजाइन के लिए डोमेन-अनुकूलित एलएलएम: संबंधित कार्य

लिंक की तालिका

• सार और परिचय
• डेटासेट
• चिपनेमो डोमेन अनुकूलन विधियाँ
• एलएलएम अनुप्रयोग
• मूल्यांकन
• बहस
• संबंधित काम
• निष्कर्ष
• आभार, योगदान और संदर्भ
• अनुबंध

VII. संबंधित कार्य

कई डोमेन में महत्वपूर्ण मात्रा में मालिकाना डेटा होता है जिसका उपयोग डोमेन-विशिष्ट एलएलएम को प्रशिक्षित करने के लिए किया जा सकता है। एक दृष्टिकोण एक डोमेन विशिष्ट नींव मॉडल को स्क्रैच से प्रशिक्षित करना है, उदाहरण के लिए, वित्त के लिए ब्लूमबर्गजीपीटी [10], बायोमेड के लिए बायोमेडएलएलएम [11] और विज्ञान के लिए गैलेक्टिका [38]। इन मॉडलों को आमतौर पर कच्चे डोमेन डेटा के 100 बी टोकन से अधिक पर प्रशिक्षित किया गया था। दूसरा दृष्टिकोण डोमेन-अनुकूली प्रीट्रेनिंग (डीएपीटी) [14] है जो अतिरिक्त कच्चे डोमेन डेटा पर प्रीट्रेन्ड फाउंडेशन मॉडल को प्रशिक्षित करना जारी रखता है। यह बायोमेडिकल, कंप्यूटर विज्ञान प्रकाशन, समाचार और समीक्षा जैसे डोमेन में डोमेन-विशिष्ट कार्यों पर मामूली प्रदर्शन बढ़ावा दिखाता है। एक उदाहरण में, [39] ने तकनीकी सामग्री डेटासेट पर एक नींव मॉडल को जारी रखा और कई मात्रात्मक तर्क कार्यों पर अत्याधुनिक प्रदर्शन हासिल किया।

रिट्रीवल ऑगमेंटेड जेनरेशन (आरएजी) एलएलएम को सटीक जानकारी उत्पन्न करने और ज्ञान-गहन एनएलपी कार्यों को बेहतर बनाने के लिए अप-टू-डेट जानकारी निकालने में मदद करता है [40]। यह देखा गया है कि आरएजी वाले छोटे मॉडल आरएजी के बिना बड़े मॉडल से बेहतर प्रदर्शन कर सकते हैं [41]। रिट्रीवल विधियों में टीएफ-आईडीएफ या बीएम25 [42] जैसी विरल रिट्रीवल विधियां शामिल हैं, जो शब्द सांख्यिकीय जानकारी का विश्लेषण करती हैं और उच्च आयामी विरल वेक्टर के साथ मेल खाने वाले दस्तावेज़ ढूंढती हैं। [43] [44] जैसी सघन रिट्रीवल विधियां रिट्रीवल डेटासेट पर फाइन-ट्यूनिंग के साथ या उसके बिना बड़े कॉर्पस पर प्रीट्रेन्ड रिट्रीवल मॉडल द्वारा उत्पन्न एम्बेडिंग स्पेस पर मेल खाने वाले दस्तावेज़ ढूंढती हैं। रिट्रीवल मॉडल को स्टैंडअलोन [43] [44] [45] या भाषा मॉडल के साथ संयुक्त रूप से प्रशिक्षित किया जा सकता है [46] [41]। इसके अलावा, यह दिखाया गया है कि ऑफ-द-शेल्फ सामान्य प्रयोजन पुनर्प्राप्तिकर्ता बिना किसी और फाइनट्यूनिंग के बेसलाइन भाषा मॉडल में काफी सुधार कर सकते हैं [47]। RAG को कोडिंग दस्तावेज़ों से पुनर्प्राप्त करके कोड जनरेशन कार्य करने के लिए भी प्रस्तावित किया गया है [48]।

फाउंडेशन मॉडल पूर्णता मॉडल हैं, जिनमें सीमित चैट और निर्देश अनुसरण क्षमताएं होती हैं। इसलिए, संबंधित चैट मॉडल को प्रशिक्षित करने के लिए फाउंडेशन मॉडल पर मॉडल संरेखण प्रक्रिया लागू की जाती है। निर्देश फ़ाइन-ट्यूनिंग [20] और मानव फ़ीडबैक (RLHF) से सुदृढीकरण सीखना [36] दो सामान्य मॉडल संरेखण तकनीकें हैं। निर्देश फ़ाइन-ट्यूनिंग निर्देश डेटासेट का उपयोग करके एक फ़ाउंडेशन मॉडल को और प्रशिक्षित करता है। RLHF एक रिवॉर्ड मॉडल को प्रशिक्षित करने के लिए डेटासेट को लेबल करने के लिए मानव फ़ीडबैक का लाभ उठाता है और प्रशिक्षित रिवॉर्ड मॉडल को देखते हुए मॉडल को और बेहतर बनाने के लिए सुदृढीकरण सीखने को लागू करता है। RLHF आमतौर पर निर्देश फ़ाइन-ट्यूनिंग की तुलना में अधिक जटिल और संसाधन-खपत वाला होता है। इसलिए, हाल के अध्ययनों में DPO [49] और SteerLM [50] जैसे सरल तरीकों से इस ओवरहेड को कम करने का भी प्रस्ताव है।

शोधकर्ताओं ने चिप डिजाइन समस्याओं पर एलएलएम लागू करना शुरू कर दिया है। डेव [51] जैसे शुरुआती कार्यों ने पहली बार एक भाषा मॉडल (जीपीटी-2) के साथ अंग्रेजी से वेरिलॉग उत्पन्न करने की संभावना का पता लगाया। उस काम के बाद, [6] ने दिखाया कि गिटहब और वेरिलॉग पाठ्यपुस्तकों से एकत्र किए गए वेरिलॉग डेटासेट पर फाइन-ट्यून्ड ओपन-सोर्स एलएलएम (कोडजेन) ने 17 वेरिलॉग प्रश्नों पर कोड-डेविंची-002 जैसे अत्याधुनिक ओपनएआई मॉडल से बेहतर प्रदर्शन किया। [12] ने 150 से अधिक समस्याओं के साथ एक बेंचमार्क प्रस्तावित किया और दिखाया कि पूर्व प्रशिक्षित भाषा मॉडल की वेरिलॉग कोड जनरेशन क्षमता को एलएलएम द्वारा उत्पन्न सिंथेटिक समस्या-कोड जोड़े के साथ बूटस्ट्रैपिंग द्वारा पर्यवेक्षित फाइन-ट्यूनिंग के साथ बेहतर बनाया जा सकता है। चिपईडीए [8] ने ईडीए टूल स्क्रिप्ट बनाने के लिए एलएलएम का उपयोग करने का प्रस्ताव दिया। इसने यह भी प्रदर्शित किया कि फाइन-ट्यून्ड एलएलएएमए2 70बी मॉडल इस कार्य पर जीपीटी-4 मॉडल से बेहतर प्रदर्शन करता है।