भावना संभाव्यता सदिशों का अनुमान लगाना: भावना उद्घाटित करने वाले टेल प्रॉम्प्ट के साथ LLM से पूछताछ करना

लिंक की तालिका

• सार और परिचय
• एलएलएम से भावनात्मक जानकारी प्राप्त करने वाले संकेत के साथ पूछताछ करना
• अमेज़न समीक्षाओं की भावना का पीसीए विश्लेषण
• भविष्य का कार्य
• निष्कर्ष
• आभार और संदर्भ

2. एलएलएम से भावना उजागर करने वाले संकेत के साथ पूछताछ करना

इस काम में हमने फेसबुक के ओपन सोर्स LlaMa2 7 बिलियन वेट LLM को कोर इंजन के रूप में इस्तेमाल किया [2]। एक LLM का उपयोग करना आवश्यक था जो प्रॉम्प्ट के बाद कच्ची टोकन संभावनाओं तक पहुंच की अनुमति देता हो। मॉडल 32 गीगाबाइट रैम वाले मैक स्टूडियो पर चला। हार्डवेयर और मॉडल के इस संयोजन के साथ नीचे दिए गए इमोशन डिक्शनरी में इमोशन डिस्क्रिप्टर की संभावनाओं की गणना करने में 2 मिनट लगे।

2.1. भावना शब्दकोश

अंग्रेजी भाषा में कई शब्द हैं और इन शब्दों के उचित संदर्भों में उपयोग के उदाहरण देने वाला एक व्यापक साहित्य है। एलएलएम के उद्देश्यों के लिए, यह एक शब्द का संदर्भ है जो इसका अर्थ बताता है। एक पाठक किसी अपरिचित शब्द का अर्थ उस संदर्भ के माध्यम से निकालेगा जिसमें वे उस शब्द का उपयोग पाते हैं, बशर्ते वे संदर्भ को समझें। उदाहरण के तौर पर, 'शॉटगन ने खरगोश को चकरा दिया।' दिखाता है कि संदर्भ द्वारा अर्थ को कैसे नियंत्रित किया जा सकता है। टेल प्रॉम्प्ट द्वारा बनाया गया संदर्भ शब्दों के एक संबद्ध वर्ग का पक्षधर होगा। इस पेपर में विस्तृत प्रयोग के लिए भावना वर्णनकर्ताओं को प्राप्त करने के लिए निम्नलिखित टेल प्रॉम्प्ट का उपयोग किया गया था, 'इसे पढ़कर मुझे महसूस होता है'। यह संभावना है कि विशिष्ट भावना को प्राप्त करने वाले टेल प्रॉम्प्ट वर्णनकर्ता के विशिष्ट उपवर्गों का पक्ष लेंगे, लेकिन इसका अध्ययन इस पेपर के दायरे से बाहर है।

निम्नलिखित शब्दों को भावना वर्णनकर्ताओं का एक व्यापक नमूना प्रदान करने के लिए चुना गया था।

स्वीकृति, प्रशंसा, आराधना, स्नेह, भय, आंदोलन, पीड़ा, आक्रामक, अलार्म, चिंतित, अलगाव, विस्मय, दुविधा, मनोरंजन, क्रोध, पीड़ा, परेशान, प्रत्याशित, चिंतित, उदासीनता, आशंका, अभिमानी, मुखर, चकित, सावधानी, आकर्षण, घृणा, भय, चकित, हतप्रभ, कड़वा, कड़वा मिठास, आनंद, ऊब, बेशर्म, चिंतन, शांत, लापरवाह, लापरवाह, देखभाल, दान, निर्लज्ज, प्रसन्नता, क्लॉस्ट्रोफोबिक, बलपूर्वक, आरामदायक, आत्मविश्वास, भ्रम, अवमानना, सामग्री, साहस, कायरता, क्रूरता, जिज्ञासा, निंदक, चकित, निराशा, प्रसन्न, हतोत्साहित, उदास, इच्छा, निराशा, दृढ़, निराशा, अविश्वास, असमंजस, बेचैनी, असंतोष, असंतुष्ट, घृणा, हतोत्साहित, नापसंद, निराशा, व्याकुलता, संकट, परेशान प्रमुख, संदेह, खौफ, प्रेरित, अचंभित, उत्सुकता, परमानंद, उल्लास, शर्मिंदगी, सहानुभूति, मंत्रमुग्ध, आनंद, प्रबुद्ध, ऊब, उत्साह, ईर्ष्या, बोध, उल्लास, हताश, उत्साह, अपेक्षा, मोह, डर, परतदार, केंद्रित, स्नेह, मित्रता, डर, निराश, रोष, उल्लास, उदासी, उदासी, कृतज्ञता, लालच, शोक, चिड़चिड़ापन, चिड़चिड़ापन, अपराध, खुशी, नफरत, घृणा, असहाय, घर की याद, उम्मीद, निराशाजनक, भयभीत, मेहमाननवाज़ी, अपमान, विनम्रता, चोट, उन्माद, आलस्य, अधीर, उदासीनता, आक्रोश, मोह, क्रोधित, असुरक्षा, व्यावहारिक, अपमानित, रुचि, साज़िश, चिढ़, अलग, ईर्ष्या, प्रसन्नता, खुशी, उल्लास, दयालु, आलसी, पसंद, घृणा, अकेला, लालसा, दीवाना, प्यार, वासना, पागल उदासी, दुखी, कंजूसी, उलझा हुआ, शील, मूडी, अपमानित, रहस्यमय, बुरा, मिचली, नकारात्मक, उपेक्षा, घबराहट, उदासीन, सुन्न, जिद्दी, अपमानित, आशावादी, आक्रोश, अभिभूत, घबराया हुआ, पागल, जुनून, धैर्य, चिंतन, उलझन, दृढ़ता, निराशावाद, दया, प्रसन्न, आनंद, विनम्रता, सकारात्मक, अधिकार जताने वाला, शक्तिहीन, गर्व, हैरान, क्रोध, जल्दबाज, परेशान, अफसोस, अस्वीकृत, आराम, राहत, अनिच्छुक, पश्चाताप, नाराजगी, इस्तीफा, बेचैनी, घृणा, निर्दयी, उदासी, संतुष्टि, डरा हुआ, शैडेनफ्रॉयड, तिरस्कार, आत्म-देखभाल, आत्म-दयालु, आत्मविश्वासी, आत्म-चेतना, आत्म-घृणा, आत्म-प्रेरित, आत्म-दया, आत्म-सम्मान, आत्म-समझ, भावुकता, शांति, शर्म, बेशर्म, हैरान, आत्मसंतुष्ट, दुख, द्वेष, तनावग्रस्त, मजबूत, जिद्दी, अटका हुआ, विनम्र, पीड़ित, उदास, आश्चर्य, दुविधा, संदिग्ध, सहानुभूति, कोमलता, तनाव, आतंक, कृतज्ञता, रोमांचित, थका हुआ, सहनशीलता, पीड़ा, विजयी, परेशान, विश्वास, अनिश्चितता, कमज़ोर, बेचैनी, दुखी, घबराया हुआ, अस्थिर, अनिश्चित, परेशान, प्रतिशोधी, दुष्ट, सतर्कता, असुरक्षित, कमज़ोर, दुःख, चिंतित, योग्य, क्रोध।

शब्दों का यह सेट किसी भी तरह से पूर्ण या निर्णायक होने का इरादा नहीं रखता है। भावना विवरणकों तक वापसी को सीमित किए बिना टेल प्रॉम्प्ट का उपयोग करने से सामान्य अस्पष्ट प्रतिक्रियाएँ मिलती हैं जिन्हें भावना रूप में निकालना आसान नहीं होता है।

2.1.1. भावना संभाव्यता वेक्टर का अनुमान लगाना

LlaMa2 [2] को इस तरह से जारी किया गया है कि डेवलपर्स को प्रॉम्प्ट के जवाब में लौटाए गए अनुमानित टोकन वज़न तक पहुँचने की अनुमति मिले। LlaMa2 में आंतरिक शब्दावली का आकार लगभग 30,000 टोकन है। इसका मतलब यह है कि जब LlaMa 2 किसी अनुक्रम में अगले टोकन की संभावना का अनुमान लगाता है तो संभावना वेक्टर में 30,000 तत्व होंगे। भावना वर्णनकर्ता सूची में कुछ शब्द एक से अधिक टोकन से बने होते हैं, जिस स्थिति में आगे की सशर्त संभावनाओं का उपयोग किया जाता है।

चित्र 2.1.1, अमेज़न समीक्षा पाठ के लिए टेल प्रॉम्प्ट द्वारा प्राप्त भावना शब्दकोष के शब्दों पर मापित प्रायिकता वितरण दिखाता है, 'मैंने फिटबिट इंस्पायर 2 के बारे में बहुत सारी नकारात्मक समीक्षाएं पढ़ीं, मैंने एक मौका लिया और आशा की कि मैंने जो ऑर्डर किया वह उन महान लोगों में से एक होगा जो काम करते हैं। दुर्भाग्य से ऐसा नहीं था। मैंने इसे खोला, चार्ज किया, ऐप डाउनलोड किया। सूरज डूबने से पहले मैंने इसे पहनकर सैर की। मेरे फ़ोन में Google फ़िट ऐप है जो मेरे कदमों को भी ट्रैक करता है। फ़ोन मेरी जींस की जेब में था। जब मैं घर पहुंचा तो मैंने दोनों की तुलना की, Google फ़िट ने कहा 4,458 कदम, फिटबिट ने कहा 1,168। स्पष्ट रूप से फिटबिट कलाई की गति के साथ काम करता है फिर मैं वॉटर लॉक फीचर के अलावा कुछ भी स्क्रॉल नहीं कर पाया। स्टॉपवॉच पर वापस जाने के लिए मुझे वॉटर लॉक चालू करना पड़ा। फिर साइड बटन काम करना बंद कर दिया। मेरे पास यह कुल 5 घंटे तक रहा। मैंने इसे पैक किया और अमेज़न रिटर्न शुरू किया। मुझे पूरा रिफंड मिला। बहुत निराशाजनक।'

एक पुस्तक की 50 अमेज़न समीक्षाओं का पाठ https://www.amazon.com/dp/B000WM9UK2 से उधार लिया गया था। समीक्षाएँ अधिकांशतः अनुकूल थीं। उदाहरण समीक्षा पाठ में शामिल हैं: 'द चिल्ड्रन ऑफ़ हूरिन अनुग्रह के साथ मिश्रित एक महान त्रासदी है। शुरुआत में वंशावली अभिलेखों को पढ़ना मुश्किल हो सकता है, लेकिन कहानी बहुत जल्दी गति पकड़ लेती है। मैंने कहानी को केवल चार सितारे दिए क्योंकि पहले कुछ अध्याय कठिन थे, ठीक वैसे ही जैसे मैथ्यू ने अपने सुसमाचार की शुरुआत में मसीह की वंशावली लिखी थी। हालाँकि ऐसे अभिलेख दोनों में महत्वपूर्ण हैं, फिर भी उन्हें पढ़ना मुश्किल है। मैं अभी भी निश्चित रूप से इस पुस्तक की अनुशंसा करूँगा, हालाँकि, यह अच्छे पुरुषों और महिलाओं पर बुरी शक्तियों के भयानक प्रभावों को दर्शाती है, और फिर भी, हमें दुखद अंत की परवाह किए बिना बुराई का विरोध करना जारी रखना चाहिए। यह बहुत कुछ बताता है कि टॉल्किन की दुनिया में, दिनों के अंत में जब मोर्गोथ वापस आता है, तो यह टूरिन, एक आदमी होता है, जो उसे हमेशा के लिए खत्म कर देता है। इस जीवन में शैतान जिन लोगों को सबसे अधिक नष्ट करता है, वे ही अंततः उसे मृत्यु का झटका देंगे, जैसा कि प्रकाशितवाक्य कहता है, "उन्होंने मेम्ने के लहू के कारण और अपनी 'शहादत' [गवाही, साक्ष्य] के वचन के कारण उस पर जय पाई," जो टूरिन के समान हैं, या पवित्रशास्त्र में, जो अय्यूब के समान हैं।'

चित्र 2.1.2 सभी 50 संसाधित समीक्षाओं के लिए भावना वैक्टर दिखाता है। उत्पाद खरीदने से अनुभव की जाने वाली 10 सबसे संभावित भावनाएँ थीं: उदास, दयालु, उदासीन, थका हुआ, निराश, अकेला, आशा, शांत, आलसी, आत्मविश्वास।