एलएलएम के लिए वाक्यविन्यास त्रुटि-मुक्त और सामान्यीकरण योग्य उपकरण का उपयोग: संबंधित कार्य

लिंक की तालिका

• सार और परिचय
• संबंधित कार्य
• ToolDec: परिमित-स्थिति डिकोडिंग के माध्यम से LLM टूल का उपयोग
• प्रयोग: ToolDec वाक्यविन्यास त्रुटियों को समाप्त करता है
• प्रयोग: ToolDec सामान्यीकृत उपकरण चयन को सक्षम करता है
• निष्कर्ष और संदर्भ
• अनुबंध

2। संबंधित कार्य

भाषा मॉडल को उपकरणों का उपयोग करने के लिए ठीक करना। भाषा मॉडल को ऐसे उपकरणों का उपयोग करने के लिए ठीक किया जा सकता है, जिनमें डेटा के साथ इंटरलीविंग टेक्स्ट और उपकरण का उपयोग शामिल है। पहले के अध्ययनों में भाषा मॉडल को ठीक करके रिट्रीवल मॉड्यूल (बोर्गेउड एट अल., 2022; गुउ एट अल., 2020) या सर्च इंजन (नाकानो एट अल., 2021) जैसे एकल उपकरण का उपयोग करने के लिए कहा गया है। उपकरण-संवर्धित भाषा मॉडल में हाल की प्रगति जो कई उपकरणों का उपयोग करती है (शिक एट अल., 2023; पेरिसी एट अल., 2022) भी QA मॉडल, अनुवाद मॉडल, कैलकुलेटर और खोज इंजन सहित उपकरणों का उपयोग करने के लिए भाषा मॉडल को ठीक करती है। ToolkenGPT (हाओ एट अल., 2023) उपकरणों का प्रतिनिधित्व करने के लिए कई विशेष टोकन का उपयोग करने का प्रस्ताव करता है और केवल टोकन के एम्बेडिंग को ट्यून करता है ताकि नए उपकरण को अपनाना अधिक कुशल हो सके। हालाँकि, उपकरण के उपयोग के लिए फ़ाइन-ट्यूनिंग दृष्टिकोणों को अभी भी नए डेटा और अतिरिक्त फ़ाइन-ट्यूनिंग की आवश्यकता होती है ताकि मॉडल को नए उपकरणों के अनुकूल बनाया जा सके। हम तालिका 1 में परिमित-अवस्था डिकोडिंग और पिछले दो प्रतिमानों के बीच अंतर सूचीबद्ध करते हैं।

उपकरण उपयोग के लिए संदर्भ में सीखना। भाषा मॉडल संदर्भ में उदाहरणों (ब्राउन एट अल., 2020) से सीख सकते हैं और निर्देशों का पालन कर सकते हैं (ओयांग एट अल., 2022)। इससे प्रॉम्प्ट में उपकरणों के विवरण को आसानी से डालना और भाषा मॉडल से उनका उपयोग करने के लिए कहना संभव हो जाता है। हाल के कार्यों ने समस्याओं को हल करने के लिए न्यूरल मॉडल (शेन एट अल., 2023), RESTful API (किन एट अल., 2023; सॉन्ग एट अल., 2023), प्रोग्राम इंटरप्रिटर्स (चेन एट अल., 2022; गाओ एट अल., 2023) और कई अन्य उपकरणों का उपयोग करने के लिए इस संभावना का उपयोग किया है। संदर्भ में सीखने के लिए नए उपकरणों का उपयोग करने के लिए अतिरिक्त मॉडल ट्यूनिंग की आवश्यकता नहीं होती है। हालाँकि, नए उपकरणों का विवरण और दस्तावेज़ीकरण अभी भी प्रॉम्प्ट में होना चाहिए, जो गणना लागत को बढ़ाता है और मॉडल के लिए कार्य के बारे में वास्तव में तर्क करने के लिए संदर्भ बजट को सीमित करता है।

विवश डिकोडिंग और परिमित-स्थिति मशीनें। पिछली विवश डिकोडिंग विधियाँ मुख्य रूप से शाब्दिक बाधाओं पर ध्यान केंद्रित करती हैं (एंडरसन एट अल., 2017)। वे परिमित-स्थिति मशीनों (एंडरसन एट अल., 2017) के साथ शाब्दिक रूप से विवश डिकोडिंग के बड़े खोज स्थान को कम करते हैं, समान उम्मीदवारों (होकैम्प और लियू, 2017) को एक साथ समूहीकृत करते हैं, और बेहतर खोज एल्गोरिदम (मियाओ एट अल., 2019; लू एट अल., 2021; 2022) का उपयोग करते हैं। हालाँकि, शाब्दिक बाधाएँ टूल कॉल को विनियमित करने के लिए पर्याप्त अभिव्यंजक नहीं हैं। जबकि परिमित-स्थिति मशीनों को प्राकृतिक भाषा में नरम बाधाओं से निपटने के लिए भारित और संभाव्य होना चाहिए (आइसनर, 2002; रस्तोगी एट अल., 2016), वाक्यविन्यास टूल कॉल के लिए बाधाएँ कठोर बाधाएँ हैं जो FSM के लिए बहुत आसान हैं। इसलिए, हम एक वैध टूल कॉल की वाक्यविन्यास संबंधी बाध्यताओं को पूरा करने के लिए TOOLDEC का प्रस्ताव करते हैं।