paint-brush
নতুন মাল্টি-এলএলএম কৌশল সেন্টিমেন্ট বিশ্লেষণে নির্ভুলতা বাড়ায়দ্বারা@textmodels
1,799 পড়া
1,799 পড়া

নতুন মাল্টি-এলএলএম কৌশল সেন্টিমেন্ট বিশ্লেষণে নির্ভুলতা বাড়ায়

দ্বারা Writings, Papers and Blogs on Text Models4m2024/05/20
Read on Terminal Reader

অতিদীর্ঘ; পড়তে

সেন্টিমেন্ট বিশ্লেষণের জন্য একটি মাল্টি-এলএলএম নেগোসিয়েশন ফ্রেমওয়ার্ক একক-পালা সীমাবদ্ধতা অতিক্রম করে, সিদ্ধান্তগুলিকে পুনরাবৃত্তিমূলকভাবে পরিমার্জন করতে একটি জেনারেটর-বৈষম্যকারী মডেল ব্যবহার করে। এই পদ্ধতিটি টুইটার এবং চলচ্চিত্র পর্যালোচনা সহ বিভিন্ন বেঞ্চমার্ক জুড়ে কর্মক্ষমতা উন্নত করে।
featured image - নতুন মাল্টি-এলএলএম কৌশল সেন্টিমেন্ট বিশ্লেষণে নির্ভুলতা বাড়ায়
Writings, Papers and Blogs on Text Models HackerNoon profile picture
0-item

লেখক:

(1) Xiaofei Sun, Zhejiang University;

(2) Xiaoya Li, Shannon.AI এবং Bytedance;

(3) Shengyu Zhang, Zhejiang বিশ্ববিদ্যালয়;

(4) শুহে ওয়াং, পিকিং বিশ্ববিদ্যালয়;

(5) ফেই উ, ঝেজিয়াং বিশ্ববিদ্যালয়;

(6) Jiwei Li, Zhejiang University;

(7) Tianwei Zhang, Nanyang প্রযুক্তি বিশ্ববিদ্যালয়;

(8) Guoyin Wang, Shannon.AI এবং Bytedance.

লিঙ্কের টেবিল

বিমূর্ত এবং ভূমিকা

সম্পর্কিত কাজ

সেন্টিমেন্ট বিশ্লেষণের জন্য এলএলএম আলোচনা

পরীক্ষা-নিরীক্ষা

অ্যাবলেশন স্টাডিজ

উপসংহার এবং রেফারেন্স

বিমূর্ত

অনুভূতি বিশ্লেষণের জন্য একটি আদর্শ দৃষ্টান্ত হল একটি একক এলএলএম-এর উপর নির্ভর করা এবং প্রসঙ্গ শিক্ষার কাঠামোর অধীনে একটি একক রাউন্ডে সিদ্ধান্ত নেওয়া। এই কাঠামোটি মূল অসুবিধার সম্মুখীন হয় যে একটি একক LLM দ্বারা উত্পন্ন একক-টার্ন আউটপুট নিখুঁত সিদ্ধান্ত প্রদান করতে পারে না, ঠিক যেমন মানুষের মাঝে মাঝে জিনিসগুলি ঠিক করার জন্য একাধিক প্রচেষ্টার প্রয়োজন হয়। এটি অনুভূতি বিশ্লেষণের কাজটির জন্য বিশেষভাবে সত্য যেখানে ইনপুটে জটিল ভাষাগত ঘটনা (যেমন, ধারা রচনা, বিড়ম্বনা, ইত্যাদি) মোকাবেলার জন্য গভীর যুক্তির প্রয়োজন হয়।


এই সমস্যাটির সমাধান করার জন্য, এই কাগজটি সেন্টিমেন্ট বিশ্লেষণের জন্য একটি মাল্টি-এলএলএম আলোচনার কাঠামো প্রবর্তন করে। ফ্রেমওয়ার্কটিতে একটি যুক্তিযুক্ত জেনারেটর রয়েছে যা যুক্তি সহ সিদ্ধান্ত প্রদান করে, জেনারেটরের বিশ্বাসযোগ্যতা মূল্যায়ন করার জন্য একটি ব্যাখ্যা প্রাপ্ত বৈষম্যকারী। জেনারেটর এবং বৈষম্যকারী একটি ঐক্যমত্যে পৌঁছানো পর্যন্ত পুনরাবৃত্তি করে। প্রস্তাবিত কাঠামোটি স্বাভাবিকভাবেই উপরে উল্লিখিত চ্যালেঞ্জ মোকাবেলা করেছে, যেহেতু আমরা দুটি এলএলএম-এর পরিপূরক ক্ষমতা গ্রহণ করতে সক্ষম, তাদের সংশোধনের জন্য একে অপরকে রাজি করাতে যুক্তি ব্যবহার করতে হবে।


সেন্টিমেন্ট অ্যানালাইসিস বেঞ্চমার্কের বিস্তৃত পরিসরে পরীক্ষা (SST-2, মুভি রিভিউ, Twitter, yelp, amazon, IMDB) প্রস্তাবিত পদ্ধতির কার্যকারিতা প্রদর্শন করে: এটি ধারাবাহিকভাবে সমস্ত বেঞ্চমার্ক জুড়ে ICL বেসলাইনের চেয়ে ভাল পারফরম্যান্স দেয়, এমনকি উচ্চতর পারফরম্যান্সও টুইটার এবং চলচ্চিত্র পর্যালোচনা ডেটাসেটে তত্ত্বাবধান করা বেসলাইন।

1। পরিচিতি

সেন্টিমেন্ট বিশ্লেষণ (Pang and Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang and Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2014 Zhang et al., 2018) লেখার একটি অংশ দ্বারা প্রকাশিত মতামতের পোলারিটি বের করার লক্ষ্য। বড় ভাষার মডেলে সাম্প্রতিক অগ্রগতি (LLMs) (Brown et al., 2020; Ouyang et al., 2022; Touvron et al., 2023a,b; Anil et al., 2023; Zeng et al., 2022b; OpenAI, 2023 ; বাই এট আল।, 2023) টাস্কের সমাধানের জন্য একটি নতুন দরজা খুলুন (Lu et al., 2021; Kojima et al., 2022; Wang et al., 2022b; Wei et al., 2022b; Wan et al. , 2023; 2023; আইসিএল), এলএলএমগুলি তত্ত্বাবধানে থাকা শেখার কৌশলগুলির (লিন এট আল।, 2021; সান এট আল।, 2021; ফান এবং ওগুনবোনা, 2020; দাই এট আল।, 2021) তুলনীয় পারফরম্যান্স অর্জন করতে সক্ষম হয় শুধুমাত্র অল্প সংখ্যক প্রশিক্ষণের উদাহরণ সহ .


বিদ্যমান পন্থা যা সেন্টিমেন্ট বিশ্লেষণের জন্য এলএলএম ব্যবহার করে সাধারণত একটি একক এলএলএম-এর উপর নির্ভর করে এবং আইসিএল-এর অধীনে একটি একক রাউন্ডে সিদ্ধান্ত নেয়। এই কৌশলটি নিম্নলিখিত অসুবিধাগুলি ভোগ করে: একটি একক LLM দ্বারা উত্পন্ন একক-টার্ন আউটপুট নিখুঁত প্রতিক্রিয়া প্রদান নাও করতে পারে: ঠিক যেমন মানুষের মাঝে মাঝে জিনিসগুলি সঠিক করার জন্য একাধিক প্রচেষ্টার প্রয়োজন হয়, একটি LLM সঠিক সিদ্ধান্ত নেওয়ার আগে এটি একাধিক রাউন্ড নিতে পারে। অনুভূতি বিশ্লেষণের কাজটির জন্য এটি বিশেষভাবে সত্য, যেখানে LLM-কে সাধারণত ইনপুট বাক্যে জটিল ভাষাগত ঘটনা (যেমন, ক্লজ কম্পোজিশন, বিড়ম্বনা ইত্যাদি) মোকাবেলা করার জন্য যুক্তির প্রক্রিয়াটি স্পষ্ট করতে হয়।


এই সমস্যাটির সমাধান করার জন্য, এই কাগজে, আমরা অনুভূতি বিশ্লেষণের জন্য একটি বহু-LLM আলোচনার কৌশল প্রস্তাব করি। প্রস্তাবিত কৌশলটির মূল হল একটি জেনারেটর-বৈষম্যকারী কাঠামো, যেখানে একটি LLM জেনারেটর (G) হিসাবে সেন্টিমেন্ট সিদ্ধান্তগুলি তৈরি করতে কাজ করে, অন্যটি একটি বৈষম্যকারী (D) হিসাবে কাজ করে, যা থেকে উৎপন্ন আউটপুটের বিশ্বাসযোগ্যতা মূল্যায়নের দায়িত্ব দেওয়া হয়। প্রথম এলএলএম। প্রস্তাবিত পদ্ধতিটি তিনটি দিকে উদ্ভাবন করে: (1) যুক্তিযুক্ত জেনারেটর (G): একটি LLM যা একটি কাঠামোগত যুক্তি চেইন মেনে চলে, বৈষম্যকারীকে এর বৈধতা মূল্যায়ন করার জন্য প্রমাণ এবং অন্তর্দৃষ্টি দেওয়ার সময় জেনারেটরের ICL বৃদ্ধি করে; (2) ব্যাখ্যা-প্রাপ্ত বৈষম্যকারী (D); অন্যান্য LLM এর বিচারের জন্য মূল্যায়ন-পরবর্তী যুক্তি প্রদানের জন্য ডিজাইন করা হয়েছে; (3) আলোচনা: দুটি এলএলএম জেনারেটর এবং বৈষম্যকারীর ভূমিকা হিসাবে কাজ করে এবং একটি ঐক্যমত্যে না পৌঁছানো পর্যন্ত আলোচনা সম্পাদন করে।


চিত্র 1: একটি জেনারেটর (G) এবং একটি বৈষম্যকারী (D) একটি আলোচনার মাধ্যমে ঐকমত্য অর্জনের একটি চিত্র৷ প্রতিটি রাউন্ডে একটি ব্যবহারকারীর প্রম্পট এবং G বা D থেকে একটি প্রতিক্রিয়া থাকে। বিশেষত, একটি ব্যবহারকারীর প্রম্পটে চারটি উপাদান থাকে: একটি টাস্কের বিবরণ, কয়েকটি শট প্রদর্শন (সংক্ষেপে এটিকে সংক্ষেপে বলুন), একটি ইনপুট এবং শেষ টার্ন থেকে একটি প্রতিক্রিয়া (যদি গ্রহণযোগ্য). G বা D থেকে প্রতিক্রিয়াগুলি এমন বিবৃতি দিয়ে শুরু হয় যে ইনপুটটিতে ইতিবাচক অনুভূতি রয়েছে, যার পরে যুক্তি রয়েছে৷


এই কৌশলটি দুটি এলএলএম-এর সম্মিলিত ক্ষমতাকে কাজে লাগায় এবং অপূর্ণ প্রতিক্রিয়াগুলি সংশোধন করার জন্য মডেলের জন্য চ্যানেল সরবরাহ করে এবং এইভাবে স্বাভাবিকভাবেই এই সমস্যাটির সমাধান করে যে একটি একক এলএলএম তার প্রথম চেষ্টায় সঠিক সিদ্ধান্ত নিতে পারে না।


এই কাজের অবদানগুলি নিম্নরূপ সংক্ষিপ্ত করা যেতে পারে: 1) আমরা একটি অভিনব দৃষ্টিভঙ্গি প্রদান করি যে কীভাবে সেন্টিমেন্ট বিশ্লেষণ বহু-এলএলএম আলোচনা থেকে উপকৃত হতে পারে। 2) আমরা একটি জেনারেটর-ডিসক্রিমিনেটর রোল-স্যুইচিং ডিসিশনমেকিং ফ্রেমওয়ার্ক প্রবর্তন করি যা পুনরাবৃত্তভাবে জেনারেট করা এবং সেন্টিমেন্ট শ্রেণীকরণের মাধ্যমে মাল্টি-এলএলএম সহযোগিতা সক্ষম করে। 3) আমাদের অভিজ্ঞতামূলক অনুসন্ধানগুলি প্রস্তাবিত পদ্ধতির কার্যকারিতার প্রমাণ দেয়: বিস্তৃত অনুভূতি বিশ্লেষণ বেঞ্চমার্কের উপর পরীক্ষাগুলি (SST-2, মুভি রিভিউ, টুইটার, yelp, amazon, IMDB) প্রমাণ করে যে প্রস্তাবিত পদ্ধতিটি ধারাবাহিকভাবে ভাল পারফরম্যান্স দেয় সমস্ত বেঞ্চমার্ক জুড়ে আইসিএল বেসলাইন, এমনকি টুইটার এবং মুভি পর্যালোচনা ডেটাসেটে তত্ত্বাবধান করা বেসলাইন থেকেও উচ্চতর পারফরম্যান্স।


এই কাগজটি CC 4.0 লাইসেন্সের অধীনে arxiv-এ উপলব্ধ


L O A D I N G
. . . comments & more!

About Author

Writings, Papers and Blogs on Text Models HackerNoon profile picture
Writings, Papers and Blogs on Text Models@textmodels
We publish the best academic papers on rule-based techniques, LLMs, & the generation of text that resembles human text.

আসে ট্যাগ

এই নিবন্ধটি উপস্থাপন করা হয়েছে...