paint-brush
আবেগ সম্ভাবনা ভেক্টর অনুমান করুন: একটি আবেগ এলিসিটিং টেইল প্রম্পটের সাথে এলএলএমকে জিজ্ঞাসাবাদ করাদ্বারা@textmodels
452 পড়া
452 পড়া

আবেগ সম্ভাবনা ভেক্টর অনুমান করুন: একটি আবেগ এলিসিটিং টেইল প্রম্পটের সাথে এলএলএমকে জিজ্ঞাসাবাদ করা

দ্বারা Writings, Papers and Blogs on Text Models5m2024/05/10
Read on Terminal Reader

অতিদীর্ঘ; পড়তে

এই কাগজটি দেখায় কিভাবে LLMs (বড় ভাষা মডেল) [5, 2] পাঠ্যের একটি অংশের সাথে যুক্ত মানসিক অবস্থার সারাংশ অনুমান করতে ব্যবহার করা যেতে পারে।
featured image - আবেগ সম্ভাবনা ভেক্টর অনুমান করুন: একটি আবেগ এলিসিটিং টেইল প্রম্পটের সাথে এলএলএমকে জিজ্ঞাসাবাদ করা
Writings, Papers and Blogs on Text Models HackerNoon profile picture
0-item

এই কাগজটি CC 4.0 লাইসেন্সের অধীনে arxiv-এ উপলব্ধ।

লেখক:

(1) D.Sinclair, Imense Ltd, এবং ইমেল: [email protected];

(2) WTPye, Warwick University, এবং ইমেল: [email protected]

লিঙ্কের টেবিল

2. ইমোশন এলিসিটিং টেইল প্রম্পট দিয়ে এলএলএমকে জিজ্ঞাসাবাদ করা

এই কাজে আমরা ফেসবুকের ওপেন সোর্স LlaMa2 7 বিলিয়ন ওজনের LLM কে কোর ইঞ্জিন হিসেবে ব্যবহার করেছি [2]। একটি LLM ব্যবহার করা প্রয়োজন যা একটি প্রম্পটের পরে কাঁচা টোকেন সম্ভাবনাগুলিতে অ্যাক্সেসের অনুমতি দেয়। মডেলটি একটি ম্যাক স্টুডিওতে 32 গিগাবাইট র‍্যাম সহ চালানো হয়েছিল। হার্ডওয়্যার এবং মডেলের এই সংমিশ্রণে নীচে দেওয়া আবেগের অভিধানে আবেগ বর্ণনাকারীদের সম্ভাব্যতা গণনা করতে 2 মিনিট সময় লেগেছে।

2.1। আবেগ অভিধান

ইংরেজি ভাষা অনেক শব্দ এবং একটি বিস্তৃত সাহিত্যের সাথে আশীর্বাদপূর্ণ যা উপযুক্ত প্রসঙ্গে এই শব্দগুলির ব্যবহারের উদাহরণ প্রদান করে। এলএলএম-এর উদ্দেশ্যে, এটি একটি শব্দের প্রসঙ্গ যা এর অর্থ বোঝায়। একজন পাঠক একটি অপরিচিত শব্দের অর্থ অনুমান করবে যে প্রেক্ষাপটে তারা ব্যবহৃত শব্দটি খুঁজে পায়, তবে তারা প্রসঙ্গটি বুঝতে পারে। একটি উদাহরণ হিসাবে, 'শটগান খরগোশ discombobulated.' দেখায় কিভাবে প্রসঙ্গ দ্বারা অর্থ নিয়ন্ত্রণ করা যায়। একটি টেইল প্রম্পট দ্বারা তৈরি প্রসঙ্গটি শব্দের একটি যুক্ত শ্রেণির পক্ষে হবে। এই গবেষণাপত্রে বিস্তারিত পরীক্ষার জন্য নিম্নলিখিত টেইল প্রম্পটটি আবেগ বর্ণনাকারীকে বের করার জন্য ব্যবহার করা হয়েছিল, 'এটি পড়া আমাকে অনুভব করে'। এটি সম্ভবত যে নির্দিষ্ট আবেগ প্রকাশকারী লেজ প্রম্পটগুলি বর্ণনাকারীর নির্দিষ্ট সাব ক্লাসের পক্ষে থাকবে তবে এটি অধ্যয়ন করা এই কাগজের সুযোগের বাইরে।


নিম্নলিখিত শব্দগুলি আবেগ বর্ণনাকারীদের একটি বিস্তৃত নমুনা প্রদানের জন্য বেছে নেওয়া হয়েছিল।


গ্রহণ, প্রশংসা, আরাধনা, স্নেহ, ভয়, আন্দোলন, যন্ত্রণা, আক্রমনাত্মক, শঙ্কা, শঙ্কিত, বিচ্ছিন্নতা, বিস্ময়, দ্বিধা, বিনোদন, রাগ, যন্ত্রণা, বিরক্তিকর প্রত্যাশা, উদ্বিগ্ন, উদাসীনতা, আশংকা, অহংকারী, দৃঢ়তা, বিস্মিত, আকর্ষণ , ঘৃণা, বিস্ময়, বিস্মিত, বিভ্রান্ত, তিক্ত, তিক্ত মাধুর্য, আনন্দ, উদাস, নির্লজ্জ, ব্রুডিং, শান্ত, উদাসীন, উদাসীন, যত্নশীল, দাতব্য, গালিগালাজ, প্রফুল্লতা, ক্লাস্ট্রোফোবিক, জবরদস্ত, আরামদায়ক, আত্মবিশ্বাসী, বিভ্রান্তি, অবজ্ঞা, বিষয়বস্তু সাহস, কাপুরুষ, নিষ্ঠুরতা, কৌতূহল, নিষ্ঠুরতা, স্তব্ধ, হতাশা, আনন্দিত, হতাশাগ্রস্ত, বিষণ্ণ, ইচ্ছা, হতাশা, দৃঢ়প্রতিজ্ঞ, হতাশা, অবিশ্বাস, অস্বস্তি, অস্বস্তি, অসন্তুষ্টি, অসন্তুষ্ট, বিরক্তি, অসন্তুষ্ট, অপছন্দ, অপছন্দ, অপছন্দ অসন্তুষ্টি, বিক্ষিপ্ততা, যন্ত্রণা, বিরক্ত, প্রভাবশালী, সন্দেহ, ভয়, চালিত, মূক, আগ্রহ, পরমানন্দ, উচ্ছ্বাস, বিব্রত, সহানুভূতি, মন্ত্রমুগ্ধ, উপভোগ, আলোকিত, এননুই, উত্সাহ, হিংসা, এপিফ্যানি, উচ্ছ্বাস, উচ্ছ্বাস, আশাবাদী মুগ্ধতা, ভয়, ফ্লেকি, ফোকাসড, স্নেহ, বন্ধুত্ব, ভীতি, হতাশা, ক্রোধ, উল্লাস, বিষণ্ণতা, গ্লানি, কৃতজ্ঞতা, লোভ, শোক, কৃপণতা, কৃপণতা, অপরাধবোধ, সুখ, ঘৃণা, ঘৃণা, অসহায়, গৃহহীনতা, আশা, আশাহীন আতঙ্কিত, অতিথিপরায়ণ, অপমান, নম্রতা, আঘাত, হিস্টিরিয়া, অলসতা, অধৈর্য, উদাসীনতা, ক্ষিপ্ত, মোহ, ক্ষুব্ধ, নিরাপত্তাহীনতা, অন্তর্দৃষ্টিপূর্ণ, অপমানিত, আগ্রহ, কৌতূহলী, বিরক্ত, বিচ্ছিন্ন, ঈর্ষা, উল্লাস, আনন্দ, আনন্দ পছন্দ, ঘৃণা, একাকী, আকাঙ্ক্ষা, লোপি, প্রেম, লালসা, উন্মাদ, বিষণ্ণ, কৃপণ, কৃপণতা, মিশ্রিত, বিনয়, মেজাজ, ক্ষিপ্ত, রহস্যময়, কদর্য, বমিভাব, নেতিবাচক, অবহেলা, স্নায়বিক, নস্টালজিক, অসাড়, অপ্রতিরোধ্য, বিক্ষুব্ধ , আশাবাদী, ক্ষোভ, অভিভূত, আতঙ্কিত, প্যারানয়েড, আবেগ, ধৈর্য, চিন্তাভাবনা, বিভ্রান্ত, অধ্যবসায়, হতাশাবাদ, করুণা, সন্তুষ্ট, আনন্দ, ভদ্রতা, ইতিবাচক, অধিকারী, শক্তিহীন, গর্ব, বিভ্রান্ত, রাগ, ক্ষুব্ধ, ক্ষুব্ধ, বিরক্ত , শিথিল, স্বস্তি, অনিচ্ছুক, অনুশোচনা, বিরক্তি, পদত্যাগ, অস্থিরতা, বিদ্রোহ, নির্মম, দুঃখ, সন্তুষ্টি, ভীত, শ্যাডেনফ্রিউড, অবজ্ঞা, আত্ম-যত্নশীল, আত্ম-সহানুভূতিশীল, আত্মবিশ্বাসী, স্ব-সচেতন, স্ব-সমালোচক, - ঘৃণা, স্ব-প্রণোদিত, আত্ম-মমতা, আত্মমর্যাদাশীল, আত্ম-বোঝা, আবেগপ্রবণতা, নির্মলতা, লজ্জা, নির্লজ্জ, হতবাক, স্মুগ, দুঃখ, ক্ষোভ, চাপ, দৃঢ়, একগুঁয়ে, আটকে থাকা, বশ্যতা, কষ্ট, বিষণ্ণতা, বিস্ময় , সাসপেন্স, সন্দেহজনক, সহানুভূতি, কোমলতা, উত্তেজনা, সন্ত্রাস, কৃতজ্ঞতা, রোমাঞ্চিত, ক্লান্ত, সহনশীলতা, যন্ত্রণা, বিজয়ী, অস্থির, বিশ্বাস, অনিশ্চয়তা, অবমূল্যায়িত, অস্বস্তি, অসুখী, অস্থির, অস্থির, অনিশ্চিত, বিচলিত, প্রতিহিংসাপরায়ণ, প্রতিহিংসাপরায়ণ , দুর্বল, দুর্বল, হায়, চিন্তিত, যোগ্য, ক্রোধ।


শব্দের এই সেটটি কোনোভাবেই সম্পূর্ণ বা নির্দিষ্ট হওয়ার উদ্দেশ্যে নয়। আবেগ বর্ণনাকারীদের কাছে ফিরে আসাকে সীমাবদ্ধ না করে টেইল প্রম্পট ব্যবহার করা সাধারণ ওয়াফেল প্রতিক্রিয়াগুলিকে প্রকাশ করে যা অনুভূতির ফর্ম বের করার জন্য সোজা নয়।

2.1.1। আবেগ সম্ভাব্যতা ভেক্টর অনুমান

LlaMa2 [২] এমনভাবে প্রকাশ করা হয়েছে যাতে ডেভেলপাররা প্রম্পটের প্রতিক্রিয়ায় ফিরে আসা আনুমানিক টোকেন ওজন অ্যাক্সেস করতে পারে। LlaMa2-এর অভ্যন্তরীণ শব্দভান্ডারের আকার প্রায় 30,000 টোকেন রয়েছে৷ এর মানে হল যে যখন LlaMa 2 একটি ক্রমানুসারে পরবর্তী টোকেনের সম্ভাব্যতা অনুমান করে সম্ভাব্যতা ভেক্টরে 30,000 উপাদান থাকবে। আবেগ বর্ণনাকারী তালিকার কিছু শব্দ একাধিক টোকেন দিয়ে তৈরি যে ক্ষেত্রে ফরোয়ার্ড কন্ডিশনাল সম্ভাব্যতা ব্যবহার করা হয়।


চিত্র 2.1.1 অ্যামাজন পর্যালোচনা পাঠ্যের জন্য টেল প্রম্পট দ্বারা উদ্ভূত আবেগ অভিধান থেকে শব্দের উপর স্কেল করা সম্ভাব্যতা বন্টন দেখায়, 'আমি Fitbit inspire 2 সম্পর্কে অনেক নেতিবাচক পর্যালোচনা পড়েছি, আমি একটি সুযোগ নিয়েছি এবং আশা করেছি যে আমি অর্ডার করেছি। কাজ যে মহান বেশী এক হবে. দুর্ভাগ্যবশত, যে ক্ষেত্রে ছিল না. আমি এটি আনপ্যাক করেছি, এটি চার্জ করেছি, অ্যাপটি ডাউনলোড করেছি। সূর্য অস্ত যাওয়ার আগে আমি এটি নিয়ে হাঁটলাম। আমার ফোনে Google Fit অ্যাপ আছে যা আমার পদক্ষেপগুলিও ট্র্যাক করে। ফোনটা আমার জিন্সের পকেটে ছিল। যখন আমি বাড়ি ফিরেছিলাম তখন আমি দুটির তুলনা করেছিলাম, Google Fit বলেছিল 4,458টি ধাপ, Fitbit বলেছিল 1,168টি। স্পষ্টতই ফিটবিট কব্জির গতির সাথে কাজ করে যা আশেপাশে একজন ওয়াকারকে ঠেলে দেওয়ার সময় আমার কাছে নেই। আমি ম্যানুয়ালটি ডাউনলোড করেছি এবং লক্ষ্য করেছি যে আপনি এটি একটি ক্লিপে রাখতে পারেন (এটি অন্তর্ভুক্ত ছিল না)। এটা আমার জন্য কাজ করবে। তাই আমি বিভিন্ন বৈশিষ্ট্যের মাধ্যমে স্ক্রোল করতে শুরু করেছি ব্যতীত আমি তাদের সবগুলি স্ক্রোল করতে পারিনি। স্ক্রল করার সময় আমি অবশ্যই স্টপওয়াচটি চালু করেছি। আমি এটা বন্ধ করতে পারিনি. তারপর আমি ওয়াটার লক ফিচার ছাড়া আর কিছুই স্ক্রোল করতে পারিনি। স্টপওয়াচে ফিরে যাওয়ার জন্য আমাকে জলের লক চালু করতে হয়েছিল। তারপর পাশের বোতামগুলি কাজ করা বন্ধ করে দেয়। আমি এটা মোট 5 ঘন্টা ছিল. আমি এটা প্যাক আপ এবং Amazon রিটার্ন শুরু. আমি একটি সম্পূর্ণ ফেরত পেয়েছিলাম. খুবই হতাশাজনক.'


চিত্র 1: একটি Amazon পর্যালোচনা থেকে স্কেল করা আবেগ অভিধান সম্ভাবনার উদাহরণ। অভিধানের শব্দগুলো বর্ণানুক্রমিকভাবে সাজানো হয়েছে।


একটি বইয়ের 50টি অ্যামাজন পর্যালোচনার পাঠ্যটি https://www.amazon.com/dp/B000WM9UK2 থেকে ধার করা হয়েছে৷ পর্যালোচনাগুলি বেশিরভাগ অংশের জন্য অনুকূল ছিল। উদাহরণ পর্যালোচনা পাঠ্য অন্তর্ভুক্ত: 'হুরিনের শিশুরা অনুগ্রহের সাথে মিশ্রিত একটি দুর্দান্ত ট্র্যাজেডি। শুরুতে বংশানুক্রমিক রেকর্ডগুলি পাওয়া কঠিন হতে পারে, তবে গল্পটি খুব দ্রুত গতি অর্জন করে। প্রথম কয়েকটি অধ্যায়ের অসুবিধার কারণে আমি গল্পটিকে কেবল চারটি তারা দিয়েছি, অনেকটা ম্যাথিউ এর গসপেলের শুরুতে খ্রিস্টের বংশের মতো। যদিও এই ধরনের রেকর্ডগুলি উভয় ক্ষেত্রেই গুরুত্বপূর্ণ তবে সেগুলি অতিক্রম করা কঠিন। আমি এখনও অবশ্যই এই বইটির সুপারিশ করব, যদিও, এটি ভাল পুরুষ এবং মহিলাদের উপর অশুভ শক্তির ভয়ঙ্কর প্রভাবগুলিকে চিত্রিত করে, এবং তবুও, দুঃখজনক পরিণতি যাই হোক না কেন আমাদের অবশ্যই মন্দকে প্রতিরোধ করতে হবে। এটা খুবই বলা যায় যে টলকিয়েনের জগতে, দিন শেষে যখন মরগোথ ফিরে আসে, এটি তুরিন, একজন মানুষ, যে তাকে একবারের জন্য শেষ করে দেয়। এই জীবনে শয়তান যাদেরকে সবচেয়ে বেশি ধ্বংস করে তারাই শেষ পর্যন্ত তার মৃত্যু ঘা মোকাবেলা করবে, যেমন উদ্ঘাটন বলে, "তারা মেষশাবকের রক্তে এবং তাদের 'শহীদ' [সাক্ষী, সাক্ষ্য] শব্দের দ্বারা তাকে পরাস্ত করেছিল," যারা তুরিনের মত, বা শাস্ত্রে, যারা জবের মত।'


চিত্র 2: একটি বইয়ের 50টি অ্যামাজন পর্যালোচনার জন্য আবেগ বর্ণনাকারী সম্ভাব্যতার সুপারপজিশন।


চিত্র 2.1.2 সমস্ত 50টি প্রক্রিয়াকৃত পর্যালোচনার জন্য আবেগ ভেক্টর দেখায়। পণ্য কেনার সময় সবচেয়ে সম্ভাব্য 10টি আবেগের অভিজ্ঞতা হল: বিষণ্ণ, সদয়, নস্টালজিক, ক্লান্ত, আশাহীন, একাকী, আশা, শান্ত, অলস, আত্মবিশ্বাসী।