नई मल्टी-एलएलएम रणनीति भावना विश्लेषण में सटीकता बढ़ाती है

लिंक की तालिका

सार और परिचय

संबंधित कार्य

भावना विश्लेषण के लिए एलएलएम वार्ता

प्रयोगों

पृथक्करण अध्ययन

निष्कर्ष और संदर्भ

अमूर्त

भावना विश्लेषण के लिए एक मानक प्रतिमान एक एकल एलएलएम पर निर्भर रहना है और संदर्भ-आधारित शिक्षण के ढांचे के तहत एक ही दौर में निर्णय लेना है। इस ढांचे में मुख्य नुकसान यह है कि एक एकल एलएलएम द्वारा उत्पन्न एकल-बारी आउटपुट सही निर्णय नहीं दे सकता है, ठीक वैसे ही जैसे मनुष्यों को कभी-कभी चीजों को सही करने के लिए कई प्रयासों की आवश्यकता होती है। यह भावना विश्लेषण के कार्य के लिए विशेष रूप से सच है जहां इनपुट में जटिल भाषाई घटना (जैसे, खंड रचना, विडंबना, आदि) को संबोधित करने के लिए गहन तर्क की आवश्यकता होती है।

इस मुद्दे को संबोधित करने के लिए, यह पेपर भावना विश्लेषण के लिए एक बहु-एलएलएम वार्ता रूपरेखा प्रस्तुत करता है। इस रूपरेखा में तर्क के साथ निर्णय प्रदान करने के लिए एक तर्क-युक्त जनरेटर, जनरेटर की विश्वसनीयता का मूल्यांकन करने के लिए एक स्पष्टीकरण-व्युत्पन्न विभेदक शामिल है। जनरेटर और विभेदक तब तक दोहराते हैं जब तक कि आम सहमति नहीं बन जाती। प्रस्तावित रूपरेखा ने स्वाभाविक रूप से उपर्युक्त चुनौती को संबोधित किया, क्योंकि हम दो एलएलएम की पूरक क्षमताओं को लेने में सक्षम हैं, उन्हें सुधार के लिए एक-दूसरे को मनाने के लिए तर्क का उपयोग करने दें।

भावना विश्लेषण बेंचमार्क (एसएसटी-2, मूवी रिव्यू, ट्विटर, येल्प, अमेज़न, आईएमडीबी) की एक विस्तृत श्रृंखला पर किए गए प्रयोगों से प्रस्तावित दृष्टिकोण की प्रभावशीलता प्रदर्शित होती है: यह सभी बेंचमार्कों में आईसीएल बेसलाइन की तुलना में लगातार बेहतर प्रदर्शन करता है, और यहां तक कि ट्विटर और मूवी रिव्यू डेटासेट पर पर्यवेक्षित बेसलाइन से भी बेहतर प्रदर्शन करता है।

1 परिचय

भावना विश्लेषण (पैंग और ली, 2008; गो एट अल., 2009; मास एट अल., 2011ए; झांग और लियू, 2012; बैक्सीनेला एट अल., 2010; मेधात एट अल., 2014; बख्शी एट अल., 2016; झांग एट अल., 2018) का उद्देश्य पाठ के एक हिस्से द्वारा व्यक्त की गई राय की ध्रुवता को निकालना है। बड़े भाषा मॉडल (एलएलएम) में हालिया प्रगति (ब्राउन एट अल., 2020; ओयांग एट अल., 2022; टूव्रोन एट अल., 2023ए, बी; अनिल एट अल., 2023; ज़ेंग एट अल., 2022बी; ओपनएआई, 2023; बाई एट अल., 2023) कार्य को हल करने के लिए एक नया द्वार खोलती है (लू एट अल., 2021; कोजिमा एट अल., 2022; वांग एट अल., 2022बी; वेई एट अल., 2022बी; वान एट अल., 2023; वांग एट अल., 2023; सन एट अल., 2023बी, ए; लाइटमैन एट अल., 2023 संदर्भ-आधारित शिक्षण (आईसीएल) के प्रतिमान के अनुसार, एलएलएम केवल कुछ प्रशिक्षण उदाहरणों के साथ पर्यवेक्षित शिक्षण रणनीतियों (लिन एट अल., 2021; सन एट अल., 2021; फान और ओगुनबोना, 2020; दाई एट अल., 2021) के तुलनीय प्रदर्शन प्राप्त करने में सक्षम हैं।

मौजूदा दृष्टिकोण जो भावना विश्लेषण के लिए एलएलएम का उपयोग करते हैं, आमतौर पर एक एकल एलएलएम पर निर्भर करते हैं, और आईसीएल के तहत एक ही दौर में निर्णय लेते हैं। यह रणनीति निम्नलिखित नुकसान से ग्रस्त है: एकल एलएलएम द्वारा उत्पन्न एकल-बारी आउटपुट सही प्रतिक्रिया नहीं दे सकता है: जिस तरह कभी-कभी मनुष्यों को चीजों को सही करने के लिए कई प्रयासों की आवश्यकता होती है, उसी तरह एलएलएम को सही निर्णय लेने से पहले कई दौर लग सकते हैं। यह भावना विश्लेषण के कार्य के लिए विशेष रूप से सच है, जहां एलएलएम को आमतौर पर इनपुट वाक्य में जटिल भाषाई घटना (जैसे, खंड रचना, विडंबना, आदि) को संबोधित करने के लिए तर्क प्रक्रिया को स्पष्ट करने की आवश्यकता होती है।

इस मुद्दे को संबोधित करने के लिए, इस पत्र में, हम भावना विश्लेषण के लिए एक बहु-एलएलएम वार्ता रणनीति का प्रस्ताव करते हैं। प्रस्तावित रणनीति का मूल एक जनरेटर-विभेदक ढांचा है, जहाँ एक एलएलएम भावना निर्णय लेने के लिए जनरेटर (जी) के रूप में कार्य करता है, जबकि दूसरा एक विभेदक (डी) के रूप में कार्य करता है, जिसे पहले एलएलएम से उत्पन्न आउटपुट की विश्वसनीयता का मूल्यांकन करने का काम सौंपा जाता है। प्रस्तावित विधि तीन पहलुओं पर नवाचार करती है: (1) तर्क-प्रधान जनरेटर (जी): एक एलएलएम जो एक संरचित तर्क श्रृंखला का पालन करता है, जनरेटर के आईसीएल को बढ़ाता है जबकि विभेदक को इसकी वैधता का मूल्यांकन करने के लिए सबूत और अंतर्दृष्टि प्रदान करता है; (2) स्पष्टीकरण-व्युत्पन्न विभेदक (डी); अन्य एलएलएम अपने निर्णयों के लिए मूल्यांकन के बाद तर्क प्रदान करने के लिए डिज़ाइन किए गए हैं; (3) वार्ता: दो एलएलएम जनरेटर और विभेदक की भूमिका निभाते हैं, और आम सहमति तक पहुँचने तक वार्ता करते हैं।

चित्र 1: एक जनरेटर (G) और एक विभेदक (D) द्वारा बातचीत के माध्यम से आम सहमति प्राप्त करने का चित्रण। प्रत्येक राउंड में एक उपयोगकर्ता संकेत और G या D में से किसी एक की प्रतिक्रिया शामिल होती है। विशेष रूप से, एक उपयोगकर्ता संकेत में चार तत्व शामिल होते हैं: एक कार्य विवरण, कुछ शॉट प्रदर्शन (संक्षेप में इसे संक्षिप्त करें), एक इनपुट और अंतिम मोड़ से एक प्रतिक्रिया (यदि लागू हो)। G या D की प्रतिक्रियाएँ इस कथन से शुरू होती हैं कि इनपुट में सकारात्मक भावना है, उसके बाद तर्क दिया जाता है।

यह रणनीति दो एलएलएम की सामूहिक क्षमताओं का उपयोग करती है और मॉडल को अपूर्ण प्रतिक्रियाओं को सुधारने के लिए चैनल प्रदान करती है, और इस प्रकार स्वाभाविक रूप से इस समस्या का समाधान करती है कि एक एकल एलएलएम अपने पहले प्रयास में सही निर्णय नहीं दे सकता है।

इस कार्य के योगदान को इस प्रकार संक्षेपित किया जा सकता है: 1) हम इस बारे में एक नया परिप्रेक्ष्य प्रदान करते हैं कि कैसे बहु-एलएलएम वार्ता से भावना विश्लेषण को लाभ मिल सकता है। 2) हम एक जेनरेटर-डिस्क्रिमिनेटर रोल-स्विचिंग डिसीजनमेकिंग फ्रेमवर्क प्रस्तुत करते हैं जो भावना वर्गीकरणों को पुनरावृत्त रूप से उत्पन्न और मान्य करने के माध्यम से बहु-एलएलएम सहयोग को सक्षम बनाता है। 3) हमारे अनुभवजन्य निष्कर्ष प्रस्तावित दृष्टिकोण की प्रभावकारिता के लिए सबूत पेश करते हैं: भावना विश्लेषण बेंचमार्क (एसएसटी-2, मूवी रिव्यू, ट्विटर, येल्प, अमेज़ॅन, आईएमडीबी) की एक विस्तृत श्रृंखला पर प्रयोग प्रदर्शित करते हैं कि प्रस्तावित विधि लगातार सभी बेंचमार्क में आईसीएल बेसलाइन की तुलना में बेहतर प्रदर्शन करती है, और यहां तक कि ट्विटर और मूवी रिव्यू डेटासेट पर पर्यवेक्षित बेसलाइन से भी बेहतर प्रदर्शन करती है।