নতুন মাল্টি-এলএলএম কৌশল সেন্টিমেন্ট বিশ্লেষণে নির্ভুলতা বাড়ায়

লিঙ্কের টেবিল

বিমূর্ত এবং ভূমিকা

সম্পর্কিত কাজ

সেন্টিমেন্ট বিশ্লেষণের জন্য এলএলএম আলোচনা

পরীক্ষা-নিরীক্ষা

অ্যাবলেশন স্টাডিজ

উপসংহার এবং রেফারেন্স

বিমূর্ত

অনুভূতি বিশ্লেষণের জন্য একটি আদর্শ দৃষ্টান্ত হল একটি একক এলএলএম-এর উপর নির্ভর করা এবং প্রসঙ্গ শিক্ষার কাঠামোর অধীনে একটি একক রাউন্ডে সিদ্ধান্ত নেওয়া। এই কাঠামোটি মূল অসুবিধার সম্মুখীন হয় যে একটি একক LLM দ্বারা উত্পন্ন একক-টার্ন আউটপুট নিখুঁত সিদ্ধান্ত প্রদান করতে পারে না, ঠিক যেমন মানুষের মাঝে মাঝে জিনিসগুলি ঠিক করার জন্য একাধিক প্রচেষ্টার প্রয়োজন হয়। এটি অনুভূতি বিশ্লেষণের কাজটির জন্য বিশেষভাবে সত্য যেখানে ইনপুটে জটিল ভাষাগত ঘটনা (যেমন, ধারা রচনা, বিড়ম্বনা, ইত্যাদি) মোকাবেলার জন্য গভীর যুক্তির প্রয়োজন হয়।

এই সমস্যাটির সমাধান করার জন্য, এই কাগজটি সেন্টিমেন্ট বিশ্লেষণের জন্য একটি মাল্টি-এলএলএম আলোচনার কাঠামো প্রবর্তন করে। ফ্রেমওয়ার্কটিতে একটি যুক্তিযুক্ত জেনারেটর রয়েছে যা যুক্তি সহ সিদ্ধান্ত প্রদান করে, জেনারেটরের বিশ্বাসযোগ্যতা মূল্যায়ন করার জন্য একটি ব্যাখ্যা প্রাপ্ত বৈষম্যকারী। জেনারেটর এবং বৈষম্যকারী একটি ঐক্যমত্যে পৌঁছানো পর্যন্ত পুনরাবৃত্তি করে। প্রস্তাবিত কাঠামোটি স্বাভাবিকভাবেই উপরে উল্লিখিত চ্যালেঞ্জ মোকাবেলা করেছে, যেহেতু আমরা দুটি এলএলএম-এর পরিপূরক ক্ষমতা গ্রহণ করতে সক্ষম, তাদের সংশোধনের জন্য একে অপরকে রাজি করাতে যুক্তি ব্যবহার করতে হবে।

সেন্টিমেন্ট অ্যানালাইসিস বেঞ্চমার্কের বিস্তৃত পরিসরে পরীক্ষা (SST-2, মুভি রিভিউ, Twitter, yelp, amazon, IMDB) প্রস্তাবিত পদ্ধতির কার্যকারিতা প্রদর্শন করে: এটি ধারাবাহিকভাবে সমস্ত বেঞ্চমার্ক জুড়ে ICL বেসলাইনের চেয়ে ভাল পারফরম্যান্স দেয়, এমনকি উচ্চতর পারফরম্যান্সও টুইটার এবং চলচ্চিত্র পর্যালোচনা ডেটাসেটে তত্ত্বাবধান করা বেসলাইন।

1। পরিচিতি

সেন্টিমেন্ট বিশ্লেষণ (Pang and Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang and Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2014 Zhang et al., 2018) লেখার একটি অংশ দ্বারা প্রকাশিত মতামতের পোলারিটি বের করার লক্ষ্য। বড় ভাষার মডেলে সাম্প্রতিক অগ্রগতি (LLMs) (Brown et al., 2020; Ouyang et al., 2022; Touvron et al., 2023a,b; Anil et al., 2023; Zeng et al., 2022b; OpenAI, 2023 ; বাই এট আল।, 2023) টাস্কের সমাধানের জন্য একটি নতুন দরজা খুলুন (Lu et al., 2021; Kojima et al., 2022; Wang et al., 2022b; Wei et al., 2022b; Wan et al. , 2023; 2023; আইসিএল), এলএলএমগুলি তত্ত্বাবধানে থাকা শেখার কৌশলগুলির (লিন এট আল।, 2021; সান এট আল।, 2021; ফান এবং ওগুনবোনা, 2020; দাই এট আল।, 2021) তুলনীয় পারফরম্যান্স অর্জন করতে সক্ষম হয় শুধুমাত্র অল্প সংখ্যক প্রশিক্ষণের উদাহরণ সহ .

বিদ্যমান পন্থা যা সেন্টিমেন্ট বিশ্লেষণের জন্য এলএলএম ব্যবহার করে সাধারণত একটি একক এলএলএম-এর উপর নির্ভর করে এবং আইসিএল-এর অধীনে একটি একক রাউন্ডে সিদ্ধান্ত নেয়। এই কৌশলটি নিম্নলিখিত অসুবিধাগুলি ভোগ করে: একটি একক LLM দ্বারা উত্পন্ন একক-টার্ন আউটপুট নিখুঁত প্রতিক্রিয়া প্রদান নাও করতে পারে: ঠিক যেমন মানুষের মাঝে মাঝে জিনিসগুলি সঠিক করার জন্য একাধিক প্রচেষ্টার প্রয়োজন হয়, একটি LLM সঠিক সিদ্ধান্ত নেওয়ার আগে এটি একাধিক রাউন্ড নিতে পারে। অনুভূতি বিশ্লেষণের কাজটির জন্য এটি বিশেষভাবে সত্য, যেখানে LLM-কে সাধারণত ইনপুট বাক্যে জটিল ভাষাগত ঘটনা (যেমন, ক্লজ কম্পোজিশন, বিড়ম্বনা ইত্যাদি) মোকাবেলা করার জন্য যুক্তির প্রক্রিয়াটি স্পষ্ট করতে হয়।

এই সমস্যাটির সমাধান করার জন্য, এই কাগজে, আমরা অনুভূতি বিশ্লেষণের জন্য একটি বহু-LLM আলোচনার কৌশল প্রস্তাব করি। প্রস্তাবিত কৌশলটির মূল হল একটি জেনারেটর-বৈষম্যকারী কাঠামো, যেখানে একটি LLM জেনারেটর (G) হিসাবে সেন্টিমেন্ট সিদ্ধান্তগুলি তৈরি করতে কাজ করে, অন্যটি একটি বৈষম্যকারী (D) হিসাবে কাজ করে, যা থেকে উৎপন্ন আউটপুটের বিশ্বাসযোগ্যতা মূল্যায়নের দায়িত্ব দেওয়া হয়। প্রথম এলএলএম। প্রস্তাবিত পদ্ধতিটি তিনটি দিকে উদ্ভাবন করে: (1) যুক্তিযুক্ত জেনারেটর (G): একটি LLM যা একটি কাঠামোগত যুক্তি চেইন মেনে চলে, বৈষম্যকারীকে এর বৈধতা মূল্যায়ন করার জন্য প্রমাণ এবং অন্তর্দৃষ্টি দেওয়ার সময় জেনারেটরের ICL বৃদ্ধি করে; (2) ব্যাখ্যা-প্রাপ্ত বৈষম্যকারী (D); অন্যান্য LLM এর বিচারের জন্য মূল্যায়ন-পরবর্তী যুক্তি প্রদানের জন্য ডিজাইন করা হয়েছে; (3) আলোচনা: দুটি এলএলএম জেনারেটর এবং বৈষম্যকারীর ভূমিকা হিসাবে কাজ করে এবং একটি ঐক্যমত্যে না পৌঁছানো পর্যন্ত আলোচনা সম্পাদন করে।

এই কৌশলটি দুটি এলএলএম-এর সম্মিলিত ক্ষমতাকে কাজে লাগায় এবং অপূর্ণ প্রতিক্রিয়াগুলি সংশোধন করার জন্য মডেলের জন্য চ্যানেল সরবরাহ করে এবং এইভাবে স্বাভাবিকভাবেই এই সমস্যাটির সমাধান করে যে একটি একক এলএলএম তার প্রথম চেষ্টায় সঠিক সিদ্ধান্ত নিতে পারে না।

এই কাজের অবদানগুলি নিম্নরূপ সংক্ষিপ্ত করা যেতে পারে: 1) আমরা একটি অভিনব দৃষ্টিভঙ্গি প্রদান করি যে কীভাবে সেন্টিমেন্ট বিশ্লেষণ বহু-এলএলএম আলোচনা থেকে উপকৃত হতে পারে। 2) আমরা একটি জেনারেটর-ডিসক্রিমিনেটর রোল-স্যুইচিং ডিসিশনমেকিং ফ্রেমওয়ার্ক প্রবর্তন করি যা পুনরাবৃত্তভাবে জেনারেট করা এবং সেন্টিমেন্ট শ্রেণীকরণের মাধ্যমে মাল্টি-এলএলএম সহযোগিতা সক্ষম করে। 3) আমাদের অভিজ্ঞতামূলক অনুসন্ধানগুলি প্রস্তাবিত পদ্ধতির কার্যকারিতার প্রমাণ দেয়: বিস্তৃত অনুভূতি বিশ্লেষণ বেঞ্চমার্কের উপর পরীক্ষাগুলি (SST-2, মুভি রিভিউ, টুইটার, yelp, amazon, IMDB) প্রমাণ করে যে প্রস্তাবিত পদ্ধতিটি ধারাবাহিকভাবে ভাল পারফরম্যান্স দেয় সমস্ত বেঞ্চমার্ক জুড়ে আইসিএল বেসলাইন, এমনকি টুইটার এবং মুভি পর্যালোচনা ডেটাসেটে তত্ত্বাবধান করা বেসলাইন থেকেও উচ্চতর পারফরম্যান্স।