সেন্টিমেন্ট এনালাইসিস চ্যালেঞ্জ কাটিয়ে উঠতে মাল্টি-এলএলএম ফ্রেমওয়ার্কের শক্তি

লিঙ্কের টেবিল

বিমূর্ত এবং ভূমিকা

সম্পর্কিত কাজ

সেন্টিমেন্ট বিশ্লেষণের জন্য এলএলএম আলোচনা

পরীক্ষা-নিরীক্ষা

অ্যাবলেশন স্টাডিজ

উপসংহার এবং রেফারেন্স

2 সম্পর্কিত কাজ

2.1 অনুভূতি বিশ্লেষণ

সেন্টিমেন্ট বিশ্লেষণ (Pang and Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang and Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2014 Zhang et al., 2018) হল একটি কাজ যার লক্ষ্য একটি প্রদত্ত পাঠ্যের সামগ্রিক অনুভূতির পোলারিটি (যেমন, ইতিবাচক, নেতিবাচক, নিরপেক্ষ) নির্ধারণ করা। পূর্ববর্তী কাজগুলি প্রায়শই কাজটিকে একটি দ্বি-পদক্ষেপের সমস্যা হিসাবে আনুষ্ঠানিক করে তোলে: (1) RNNs ব্যবহার করে বৈশিষ্ট্যগুলি বের করুন (Socher et al., 2013; Qian et al., 2016; Peled and Reichart, 2017; Wang et al., 2016b; Guggilla et al., 2016; Vo and Zhang, 2015), CNNs (Kalchbrenner et al., 2014; Wang et al., 2016a; Guan et al., 2016; Yu and Jiang, 2016; Mishra et al., 2017), pretrain ভাষার মডেল (লিন এট আল।, 2021; সান এট আল।, 2021; ফান এবং ওগুনবোনা, 2020; ডাই এট আল।, 2021), ইত্যাদি; এবং (2) একটি প্রাক-সংজ্ঞায়িত সংবেদনশীল লেবেল প্রাপ্তির জন্য একটি শ্রেণীবিভাগে নিষ্কাশিত বৈশিষ্ট্যগুলিকে ফিড করুন৷

সাম্প্রতিক বছরগুলিতে, ইন-কনটেক্সট লার্নিং (ICL) দুর্দান্ত সাফল্য অর্জন করেছে এবং NLP কাজের দৃষ্টান্ত পরিবর্তন করেছে। অনেক কাজ আইসিএলকে সেন্টিমেন্ট এনালাইসিস টাস্কের সাথে খাপ খাইয়ে নেয়: কিন এট আল। (2023b); সান এট আল। (2023a) সেন্টিমেন্ট এনালাইসিস টাস্কে ChatGPT এর পারফরম্যান্স উন্নত করার জন্য একটি সিরিজের কৌশল প্রস্তাব করে; ফেই এট আল। (2023) একটি থ্রিহপ যুক্তি কাঠামো প্রস্তাব করুন, যা অন্তর্নিহিত দৃষ্টিভঙ্গি, মতামত এবং অবশেষে অন্তর্নিহিত অনুভূতি বিশ্লেষণ কাজের জন্য অনুভূতির পোলারিটি প্ররোচিত করে;ƒ ঝাং এট আল। (2023d) দেখতে পান যে LLMগুলি বাইনারি সেন্টিমেন্ট শ্রেণীবিভাগের টাস্কে সন্তোষজনক কর্মক্ষমতা অর্জন করতে পারে, তবে তারা আরও জটিল কাজগুলিতে (যেমন, সূক্ষ্ম-দানাযুক্ত অনুভূতি বিশ্লেষণ) তত্ত্বাবধান করা বেসলাইনের সাথে কম পারফর্ম করে যার জন্য গভীর বোঝার বা কাঠামোগত অনুভূতির তথ্য প্রয়োজন।

2.2 বৃহৎ ভাষার মডেল এবং প্রেক্ষাপটে শিক্ষা

লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs) (Wang et al., 2022a; Zhang et al., 2023b) হল স্ব-তত্ত্বাবধানে শেখার কৌশল সহ বিশাল লেবেলবিহীন টেক্সট কর্পোরার উপর প্রশিক্ষিত মডেল। মডেল আর্কিটেকচারের উপর ভিত্তি করে, LLM গুলিকে তিন প্রকারে শ্রেণীবদ্ধ করা যেতে পারে: (1) শুধুমাত্র এনকোডার মডেল, যাতে একটি টেক্সট এনকোডার থাকে এবং ইনপুট উপস্থাপনা তৈরি করে, যেমন BERT (Devlin et al., 2018) এবং এর রূপগুলি (Lan et al., 2018) আল।, 2019; ক্লার্ক এট আল।, 2020; (2) শুধুমাত্র ডিকোডার মডেল, যেগুলির একটি ডিকোডার আছে এবং GPT-সিরিজ মডেলের মতো ইনপুট টেক্সটে শর্তযুক্ত টেক্সট তৈরি করে (Radford et al., 2019; Brown et al., 2020; Keskar et al., 2019; Radford et al. ., 2019, Ouyang et al., 2022a. , 2023 ওপেনএআই, 2023); এবং (3) এনকোডার-ডিকোডার মডেল, যেগুলির একজোড়া এনকোডার-ডিকোডার রয়েছে এবং ইনপুট উপস্থাপনার উপর শর্তযুক্ত পাঠ্য তৈরি করে, যেমন T5 (Raffel et al., 2020) এবং এর রূপগুলি (Lewis et al., 2019; Xue et al., 2020)।

GPT-3 (Brown et al., 2020) দিয়ে শুরু করে, LLM গুলি উদীয়মান ক্ষমতা দেখিয়েছে (Wei et al., 2022a) এবং ইনকনটেক্সট লার্নিং (ICL) এর মাধ্যমে NLP কাজগুলি সম্পন্ন করেছে, যেখানে LLMগুলি কয়েকটি টীকাযুক্ত উদাহরণের উপর শর্তযুক্ত লেবেল-ইনটেনসিভ টেক্সট তৈরি করে গ্রেডিয়েন্ট আপডেট। সাহিত্যের অনেক গবেষণা এনএলপি কাজগুলিতে আইসিএল পারফরম্যান্সের উন্নতির জন্য কৌশল প্রস্তাব করে। লি এবং লিয়াং (2021); শেভালিয়ার এট আল। (2023); মু এট আল। (2023) অবিচ্ছিন্ন স্থানে প্রম্পট অপ্টিমাইজ করুন। লিউ এট আল। (2021a); ওয়ান এট আল। (2023); ঝাং এট আল। (2023a) প্রদর্শনী হিসাবে একটি পরীক্ষা ইনপুটের নিকটতম প্রতিবেশীদের পুনরুদ্ধার করতে ট্রেন সেটের মাধ্যমে অনুসন্ধান করুন৷ ঝাং এট আল। (2022b); সান এট আল। (2023b); ইয়াও এট আল। (2023) একটি টাস্ককে কয়েকটি সাবটাস্কে বিভক্ত করুন এবং LLM-জেনারেটেড রিজনিং চেইনে শর্তযুক্ত চূড়ান্ত উত্তরের দিকে ধাপে ধাপে সমাধান করুন। সান এট আল। (2023a); ওয়াং এট আল। (2023) একটি নতুন রাউন্ড প্রম্পটিং পরিচালনা করে LLM-এর ফলাফল যাচাই করার প্রস্তাব; লিউ এট আল। (2021b); ফেং এট আল। (2023) প্রাকৃতিক ভাষা জ্ঞানের বিবৃতি তৈরি করতে এবং প্রম্পটে বাহ্যিক জ্ঞানের বিবৃতি একত্রিত করতে LLM ব্যবহার করুন।

2.3 এলএলএম সহযোগিতা

LLM সহযোগিতায় একাধিক LLM একটি নির্দিষ্ট কাজ সমাধানের জন্য একসাথে কাজ করা জড়িত। বিশেষত, টাস্কটি বেশ কয়েকটি মধ্যবর্তী কাজগুলিতে পচনশীল হয় এবং প্রতিটি এলএলএমকে একটি মধ্যবর্তী কাজ স্বাধীনভাবে সম্পূর্ণ করার জন্য বরাদ্দ করা হয়। এই মধ্যবর্তী ফলাফলগুলিকে একীভূত বা সংক্ষিপ্ত করার পরে প্রদত্ত কাজটি সমাধান করা হয়। এলএলএম সহযোগিতা পদ্ধতি এলএলএম-এর ক্ষমতাকে কাজে লাগাতে পারে, জটিল কাজে পারফরম্যান্স উন্নত করতে পারে এবং জটিল সিস্টেম তৈরি করতে সক্ষম করে। শিন এট আল। (2023); সান এট আল। (2023a); Gero et al. (2023); ওয়াং এবং লি (2023); চেন এট আল। (2023b) সহায়ক কাজগুলি (যেমন, প্রতিফলন, যাচাইকরণের কাজগুলি) তৈরি করুন এবং সহায়ক টাস্কের ফলাফল উল্লেখ করে মূল কাজের প্রতিক্রিয়া সংশোধন করুন। তালেবিরাদ এবং নাদিরি (2023); হং এট আল। (2023); কিয়ান এট আল। (2023) LLM-কে চরিত্রগত প্রোফাইল (যেমন, প্রজেক্ট ম্যানেজার, সফ্টওয়্যার ইঞ্জিনিয়ার) বরাদ্দ করুন এবং আচরণ অ্যানিমেশনের মাধ্যমে চরিত্র-নির্দিষ্ট কাজগুলিতে কর্মক্ষমতা বৃদ্ধি করুন। লি এট আল। (2022); জেং এট আল। (2022a); চেন এট আল। (2023a); Du et al. (2023); লিয়াং এট আল। (2023) একটি বিতর্ক কৌশল ব্যবহার করুন যেখানে একাধিক ভিন্ন এলএলএম প্রদত্ত কাজের জন্য তাদের নিজস্ব প্রতিক্রিয়া প্রস্তাব করে এবং একটি সাধারণ চূড়ান্ত উত্তর না পাওয়া পর্যন্ত একাধিক মোড় নিয়ে বিতর্ক করে। এছাড়া শেন এট আল। (2023); গাও এট আল। (2023); Ge et al. (2023); ঝাং এট আল। (2023c); হাও এট আল। (2023) টাস্ক কন্ট্রোলার হিসাবে একজন এলএলএম নিয়োগ করুন, যা প্রদত্ত কাজের জন্য একটি পরিকল্পনা তৈরি করে, বাস্তবায়নের জন্য বিশেষজ্ঞ মডেল নির্বাচন করে এবং মধ্যবর্তী পরিকল্পিত কাজগুলির প্রতিক্রিয়াগুলিকে সংক্ষিপ্ত করে। অন্যান্য LLM টাস্ক এক্সিকিউটর হিসাবে কাজ করে, তাদের দক্ষতার ক্ষেত্রে মধ্যবর্তী কাজগুলি সম্পন্ন করে।