एलएलएम के लिए वाक्यविन्यास त्रुटि-मुक्त और सामान्यीकरण योग्य उपकरण का उपयोग: निष्कर्ष और संदर्भ

लिंक की तालिका

• सार और परिचय
• संबंधित कार्य
• ToolDec: परिमित-स्थिति डिकोडिंग के माध्यम से LLM टूल का उपयोग
• प्रयोग: ToolDec वाक्यविन्यास त्रुटियों को समाप्त करता है
• प्रयोग: ToolDec सामान्यीकृत उपकरण चयन को सक्षम करता है
• निष्कर्ष और संदर्भ
• अनुबंध

6। निष्कर्ष

यह पेपर TOOLDEC प्रस्तुत करता है, जो एक नया डिकोडिंग एल्गोरिदम है जिसे बाहरी उपकरणों को एकीकृत करके और यह सुनिश्चित करके कि उनका आह्वान वाक्यविन्यास-त्रुटि-मुक्त है, बड़े भाषा मॉडल (LLM) को बढ़ाने के लिए डिज़ाइन किया गया है। TOOLDEC, टूल डॉक्यूमेंटेशन और API सिग्नेचर से निर्मित एक परिमित-स्थिति मशीन द्वारा निर्देशित, टूल कॉल के व्याकरण को सटीक रूप से प्रस्तुत करता है, जो मौजूदा मॉडल में गलत टूल कॉल और अनदेखे टूल के खराब सामान्यीकरण जैसे प्रचलित मुद्दों को संबोधित करता है।

प्रयोगों से पता चलता है कि TOOLDEC उपकरण से संबंधित वाक्यविन्यास त्रुटियों को समाप्त करता है, सटीकता में सुधार करता है, और विभिन्न बेंचमार्क में अनुमान लगाने में लगने वाले समय को बचाता है। यह अतिरिक्त फाइन-ट्यूनिंग डेटा के बिना कई डोमेन में अनदेखे उपकरणों को सामान्यीकृत करने की क्षमता भी प्रदर्शित करता है। TOOLDEC द्वारा की गई प्रगति अतिरिक्त प्रशिक्षण डेटा के बिना उपकरणों और अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए अनुकूलनीय अधिक परिष्कृत मॉडल विकसित करने में अनुसंधान के लिए रास्ते खोलती है, जिससे जटिल समस्याओं के व्यापक स्पेक्ट्रम को हल करने में सक्षम अधिक बहुमुखी और मजबूत LLM बनते हैं।

वाक्यविन्यास त्रुटियों को दूर करने में TOOLDEC की सफलता अर्थपूर्ण सटीकता और टूल कॉल की प्रासंगिक प्रासंगिकता पर ध्यान केंद्रित करने वाले अनुसंधान को प्रेरित कर सकती है। इससे ऐसे मॉडल बन सकते हैं जो टूल को अधिक प्रभावी ढंग से लागू, समझ और लाभ उठा सकते हैं, जिससे LLM की समग्र समस्या-समाधान क्षमताओं में वृद्धि होगी।

प्रतिक्रिया दें संदर्भ

पीटर एंडरसन, बसुरा फर्नांडो, मार्क जॉनसन और स्टीफन गोल्ड। निर्देशित ओपन वोकैबुलरी इमेज कैप्शनिंग विथ कंस्ट्रेन्टेड बीम सर्च। 2017 कॉन्फ्रेंस ऑन एम्पिरिकल मेथड्स इन नेचुरल लैंग्वेज प्रोसेसिंग की कार्यवाही में, पृष्ठ 936-945, कोपेनहेगन, डेनमार्क, सितंबर 2017। कम्प्यूटेशनल भाषाविज्ञान के लिए एसोसिएशन। doi: 10.18653/v1/D17-1098। URL https://aclanthology.org/D17-1098।

सेबेस्टियन बोरग्यूड, आर्थर मेन्श, जॉर्डन हॉफमैन, ट्रेवर कै, एलिजा रदरफोर्ड, केटी मिलिकन, जॉर्ज बीएम वैन डेन ड्रिसचे, जीन-बैप्टिस्ट लेस्पियू, बोगदान डैमोक, ऐडन क्लार्क, आदि। खरबों टोकन से पुनर्प्राप्त करके भाषा मॉडल में सुधार करना। मशीन लर्निंग पर अंतर्राष्ट्रीय सम्मेलन में, पृष्ठ 2206-2240। पीएमएलआर, 2022।

टॉम ब्राउन, बेंजामिन मान, निक राइडर, मेलानी सुब्बियाह, जेरेड डी कपलान, प्रफुल्ल धारीवाल, अरविंद नीलकांतन, प्रणव श्याम, गिरीश शास्त्री, अमांडा एस्केल, आदि। भाषा मॉडल बहुत कम सीखने वाले होते हैं। तंत्रिका सूचना प्रसंस्करण प्रणालियों में प्रगति, 33:1877–1901, 2020।

वेन्हू चेन, ज़ुएगुआंग मा, झिन्यी वांग, और विलियम डब्ल्यू कोहेन। विचारों को प्रेरित करने का कार्यक्रम: संख्यात्मक तर्क कार्यों के लिए तर्क से गणना को अलग करना। arXiv ई-प्रिंट, पृष्ठ arXiv–2211, 2022।

जेसन आइज़नर। संभाव्य परिमित-अवस्था ट्रांसड्यूसर के लिए पैरामीटर अनुमान। कम्प्यूटेशनल भाषाविज्ञान संघ की 40वीं वार्षिक बैठक की कार्यवाही में, पृष्ठ 1-8, 2002।

एडवर्ड फ्रेडकिन। ट्राई मेमोरी। एसीएम के संचार, 3(9):490–499, 1960।

लुयु गाओ, अमन मदान, शुयान झोउ, उरी अलोन, पेंगफेई लियू, यिमिंग यांग, जेमी कैलन और ग्राहम न्यूबिग। पाल: प्रोग्राम-एडेड लैंग्वेज मॉडल। मशीन लर्निंग पर अंतर्राष्ट्रीय सम्मेलन में, पृष्ठ 10764-10799। पीएमएलआर, 2023।

तन्मय गुप्ता और अनिरुद्ध केम्भवी। विज़ुअल प्रोग्रामिंग: बिना प्रशिक्षण के कंपोज़िशनल विज़ुअल रीजनिंग। ArXiv, abs/2211.11559, 2022।

केल्विन गुऊ, केंटन ली, ज़ोरा तुंग, पनुपोंग पासुपत और मिंगवेई चांग। रिट्रीवल ऑगमेंटेड लैंग्वेज मॉडल प्री-ट्रेनिंग। मशीन लर्निंग पर अंतर्राष्ट्रीय सम्मेलन में, पृष्ठ 3929-3938। पीएमएलआर, 2020।

शिबो हाओ, तियानयांग लियू, जेन वांग, और झीटिंग हू। टूलकेंगप्ट: टूल एम्बेडिंग के माध्यम से बड़े पैमाने पर उपकरणों के साथ जमे हुए भाषा मॉडल को बढ़ाना। arXiv प्रीप्रिंट arXiv:2305.11554, 2023।

क्रिस होकैम्प और क्यून लियू। ग्रिड बीम सर्च का उपयोग करके अनुक्रम निर्माण के लिए लेक्सिकली कंस्ट्रेन्ट डिकोडिंग। एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स की 55वीं वार्षिक बैठक की कार्यवाही में (वॉल्यूम 1: लॉन्ग पेपर्स), पीपी. 1535-1546, वैंकूवर, कनाडा, जुलाई 2017। एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स। doi: 10.18653/v1/P17-1141. URL https://aclanthology.org/P17-1141.

जान-क्रिस्टोफ़ कालो और लिआंड्रा फ़िचटेल। कामेल: भाषा मॉडल में मल्टीटोकन इकाइयों के साथ ज्ञान विश्लेषण। स्वचालित ज्ञान आधार निर्माण, 2022।

ली ली, वू चौ, वेई झोउ और मिन लुओ। नेटवर्किंग अनुप्रयोगों के लिए रेस्ट एपीआई के डिज़ाइन पैटर्न और विस्तारशीलता। IEEE ट्रांजेक्शन ऑन नेटवर्क एंड सर्विस मैनेजमेंट, 13(1):154–167, 2016।

ज़िमिंग लू, पीटर वेस्ट, रोवन ज़ेलर्स, रोनन ले ब्रास, चंद्र भगवतुला और येजिन चोई। न्यूरोलॉजिक डिकोडिंग: प्रेडिकेट लॉजिक कंस्ट्रेंट के साथ (अन) सुपरवाइज्ड न्यूरल टेक्स्ट जेनरेशन। एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स के उत्तरी अमेरिकी अध्याय के 2021 सम्मेलन की कार्यवाही में: मानव भाषा प्रौद्योगिकी, पीपी. 4288–4299, 2021।

ज़िमिंग लू, सीन वेलेक, पीटर वेस्ट, लिवेई जियांग, जुंगो कसाई, डैनियल खशाबी, रोनन ले ब्रास, लियानहुई किन, यंगजे यू, रोवन ज़ेलर्स, एट अल. न्यूरोलॉजिक ए* एस्क्यू डिकोडिंग: लुकअहेड ह्यूरिस्टिक्स के साथ कंस्ट्रेन्ड टेक्स्ट जेनरेशन। एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स: ह्यूमन लैंग्वेज टेक्नोलॉजीज के उत्तरी अमेरिकी अध्याय के 2022 सम्मेलन की कार्यवाही में, पृष्ठ 780-799, 2022।

ग्रेगोइरे मियालोन, रॉबर्टो डेस ´ `ı, मारिया लोमेली, क्रिस्टोफ़ोरोस नालम्पेंटिस, राम पासुनुरु, रॉबर्टा रेलियानू, बैपटिस्ट रोज़ियर, टिमो शिक, जेन द्विवेदी-यू, असली सेलिकिल्माज़, आदि। संवर्धित `भाषा मॉडल: एक सर्वेक्षण। arXiv प्रीप्रिंट arXiv:2302.07842, 2023।

निंग मियाओ, हाओ झोउ, लिली मौ, रुई यान और लेई ली। सीजीएमएच: मेट्रोपोलिस-हेस्टिंग्स सैंपलिंग द्वारा बाध्य वाक्य निर्माण। आर्टिफिशियल इंटेलिजेंस पर एएएआई सम्मेलन की कार्यवाही में, खंड 33, पृष्ठ 6834-6842, 2019।

रीइचिरो नाकानो, जैकब हिल्टन, सुचिर बालाजी, जेफ वू, लॉन्ग ओयांग, क्रिस्टीना किम, क्रिस्टोफर हेसे, शांतनु जैन, विनीत कोसाराजू, विलियम सॉन्डर्स, आदि। वेबजीपीटी: मानव प्रतिक्रिया के साथ ब्राउज़र-सहायता प्राप्त प्रश्न-उत्तर। arXiv प्रीप्रिंट arXiv:2112.09332, 2021।

लॉन्ग ओयांग, जेफ़री वू, जू जियांग, डिओगो अल्मेडा, कैरोल वेनराइट, पामेला मिशकिन, चोंग झांग, संधिनी अग्रवाल, कैटरीना स्लैमा, एलेक्स रे, आदि। मानवीय प्रतिक्रिया के साथ निर्देशों का पालन करने के लिए भाषा मॉडल को प्रशिक्षित करना। न्यूरल सूचना प्रसंस्करण प्रणाली में प्रगति, 35: 27730–27744, 2022।

आरोन पेरिसी, याओ झाओ, और नोआह फिडेल। टैल्म: टूल संवर्धित भाषा मॉडल। arXiv प्रीप्रिंट arXiv:2205.12255, 2022।

युजिया किन, शिहाओ लियांग, यिनिंग ये, कुनलुन झू, लैन यान, याक्सी लू, यांकाई लिन, शिन कांग, जियानगरू तांग, बिल कियान, आदि। टूलम: 16000+ वास्तविक दुनिया एपीआई में महारत हासिल करने के लिए बड़े भाषा मॉडल की सुविधा प्रदान करना। arXiv प्रीप्रिंट arXiv:2307.16789, 2023.

पुष्पेंद्रे रस्तोगी, रयान कॉटरेल और जेसन आइजनर। तंत्रिका संदर्भ के साथ परिमित-अवस्था पारगमन को महत्व देना। एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स के उत्तरी अमेरिकी अध्याय के 2016 सम्मेलन की कार्यवाही में: मानव भाषा प्रौद्योगिकी, पृष्ठ 623-633, 2016।

टिमो शिक, जेन द्विवेदी-यू, रॉबर्टो डेस, रॉबर्टा रेलियानू, मारिया लोमेली, ल्यूक ज़ेटलमॉयर, निकोला कैनसेडा और थॉमस सियालोम। टूलफ़ॉर्मर: भाषा मॉडल खुद को टूल का उपयोग करना सिखा सकते हैं। arXiv प्रीप्रिंट arXiv:2302.04761, 2023।

योंगलियांग शेन, काइताओ सोंग, जू टैन, डोंगशेंग ली, वेइमिंग लू और यूएटिंग झुआंग। हगिंगजीपीटी: हगिंग फेस, 2023 में चैटजीपीटी और उसके दोस्तों के साथ एआई कार्यों को हल करना।

यिफान सोंग, वेइमिन ज़ियोन, दावेई झू, वेनहाओ वू, हान क़ियान, मिंगबो सोंग, हैलियांग हुआंग, चेंग ली, के वांग, रोंग याओ, ये तियान और सुजियान ली। रेस्टग्प्ट: बड़े भाषा मॉडल को वास्तविक दुनिया के रेस्टफुल एपीआई के साथ जोड़ना, 2023।

ह्यूगो टूवरन, थिबॉट लावरिल, गौटियर इज़ाकार्ड, ज़ेवियर मार्टिनेट, मैरी-ऐन लाचॉक्स, टिमोथी लैक्रोइक्स, बैप्टिस्ट रोज़ियर, नमन गोयल, एरिक हैम्ब्रो, फैसल अज़हर, ऑरेलियन रोड्रिग्ज, आर्मंड जौलिन, एडौर्ड ग्रेव और गिलियूम लैम्पल। लामा: ओपन एंड एफिशिएंट फाउंडेशन लैंग्वेज मॉडल, 2023।

शुन्यु याओ, जेफरी झाओ, डियान यू, नान डू, इजाक शफरान, कार्तिक नरसिम्हन और युआन काओ। रिएक्ट: भाषा मॉडल में तर्क और अभिनय का समन्वय, 2023।

लियानमिन झेंग, वेई-लिन चियांग, यिंग शेंग, सियुआन झुआंग, झांगहाओ वू, योंगहाओ झुआंग, ज़ी लिन, झुओहान ली, दाचेंग ली, एरिक। पी ज़िंग, हाओ झांग, जोसेफ ई. गोंजालेज, और आयन स्टोइका। एमटी-बेंच और चैटबॉट एरिना के साथ एलएलएम-एज-ए-जज का निर्णय, 2023।