Sức mạnh của các khung Multi-LLM trong việc vượt qua các thách thức về phân tích tình cảm

Bảng liên kết

Tóm tắt và giới thiệu

Công việc có liên quan

Đàm phán LLM để phân tích tình cảm

Thí nghiệm

Nghiên cứu cắt bỏ

Kết luận và tài liệu tham khảo

2 công việc liên quan

2.1 Phân tích tình cảm

Phân tích tình cảm (Pang và Lee, 2008; Go và cộng sự, 2009; Maas và cộng sự, 2011a; Zhang và Liu, 2012; Baccianella và cộng sự, 2010; Medhat và cộng sự, 2014; Bakshi và cộng sự, 2016; Zhang và cộng sự, 2018) là một nhiệm vụ nhằm xác định tính phân cực tình cảm tổng thể (ví dụ: tích cực, tiêu cực, trung tính) của một văn bản nhất định. Công việc trước đây thường chính thức hóa nhiệm vụ này thành một vấn đề gồm hai bước: (1) trích xuất các tính năng bằng RNN (Socher và cộng sự, 2013; Qian và cộng sự, 2016; Peled và Reichart, 2017; Wang và cộng sự, 2016b; Guggilla và cộng sự, 2016; Võ và Zhang, 2015), CNNs (Kalchbrenner và cộng sự, 2014; Wang và cộng sự, 2016a; Guan và cộng sự, 2016; Yu và Jiang, 2016; Mishra và cộng sự, 2017), được huấn luyện trước mô hình ngôn ngữ (Lin và cộng sự, 2021; Sun và cộng sự, 2021; Phan và Ogunbona, 2020; Dai và cộng sự, 2021), v.v; và (2) đưa các tính năng được trích xuất vào một bộ phân loại để lấy nhãn tình cảm được xác định trước.

Trong những năm gần đây, học tập trong ngữ cảnh (ICL) đã đạt được thành công lớn và thay đổi mô hình nhiệm vụ NLP. Nhiều công trình điều chỉnh ICL cho nhiệm vụ phân tích tình cảm: Qin et al. (2023b); Sun và cộng sự. (2023a) đề xuất một loạt chiến lược nhằm cải thiện hiệu suất của ChatGPT trong nhiệm vụ phân tích tình cảm; Fei và cộng sự. (2023) đề xuất một khung lý luận ba bước, tạo ra khía cạnh, quan điểm ngầm và cuối cùng là sự phân cực tình cảm cho nhiệm vụ phân tích tình cảm ngầm;ƒ Zhang et al. (2023d) nhận thấy rằng LLM có thể đạt được hiệu suất thỏa đáng trong nhiệm vụ phân loại tình cảm nhị phân, nhưng chúng hoạt động kém hơn so với đường cơ sở được giám sát đối với các nhiệm vụ phức tạp hơn (ví dụ: phân tích tình cảm chi tiết) đòi hỏi sự hiểu biết sâu hơn hoặc thông tin tình cảm có cấu trúc.

2.2 Mô hình ngôn ngữ lớn và học tập trong ngữ cảnh

Các mô hình ngôn ngữ lớn (LLM) (Wang và cộng sự, 2022a; Zhang và cộng sự, 2023b) là các mô hình được đào tạo trên kho văn bản khổng lồ không có nhãn với các kỹ thuật học tập tự giám sát. Dựa trên kiến trúc mô hình, LLM có thể được phân loại thành ba loại: (1) mô hình chỉ bộ mã hóa, chứa bộ mã hóa văn bản và tạo ra các biểu diễn đầu vào, chẳng hạn như BERT (Devlin et al., 2018) và các biến thể của nó (Lan et al. cộng sự, 2019; Liu và cộng sự, 2019; Sun và cộng sự, 2020; Clark và cộng sự, 2020; (2) các mô hình chỉ dành cho bộ giải mã, có bộ giải mã và tạo văn bản dựa trên văn bản đầu vào giống như các mô hình dòng GPT (Radford và cộng sự, 2019; Brown và cộng sự, 2020; Keskar và cộng sự, 2019; Radford và cộng sự ., 2019; Chowdhery và cộng sự, 2022; Ouyang và cộng sự, 2022; Zhang và cộng sự, 2022a; Peng và cộng sự, 2022; , 2023; OpenAI, 2023); và (3) các mô hình bộ mã hóa-giải mã, có một cặp bộ mã hóa-giải mã và tạo văn bản dựa trên biểu diễn đầu vào, chẳng hạn như T5 (Raffel et al., 2020) và các biến thể của nó (Lewis et al., 2019; Xue et al., 2019; Xue et al. cộng sự, 2020).

Bắt đầu với GPT-3 (Brown và cộng sự, 2020), LLM đã thể hiện các khả năng mới nổi (Wei và cộng sự, 2022a) và hoàn thành các nhiệm vụ NLP thông qua học tập không ngữ cảnh (ICL), trong đó LLM tạo ra văn bản chuyên sâu về nhãn dựa trên một số ví dụ được chú thích mà không cần cập nhật độ dốc. Nhiều nghiên cứu trong tài liệu đề xuất các chiến lược cải thiện hiệu suất ICL trong các nhiệm vụ NLP. Li và Liang (2021); Chevalier và cộng sự. (2023); Mu và cộng sự. (2023) tối ưu hóa lời nhắc trong không gian liên tục. Lưu và cộng sự. (2021a); Vạn và cộng sự. (2023); Zhang và cộng sự. (2023a) tìm kiếm trong tập tàu để lấy k hàng xóm gần nhất của đầu vào thử nghiệm làm minh họa. Zhang và cộng sự. (2022b); Sun và cộng sự. (2023b); Yao và cộng sự. (2023) phân tách một nhiệm vụ thành một số nhiệm vụ phụ và giải quyết chúng từng bước để đạt được câu trả lời cuối cùng dựa trên chuỗi lý luận do LLM tạo ra. Sun và cộng sự. (2023a); Vương và cộng sự. (2023) đề xuất xác minh kết quả của LLM bằng cách tiến hành một vòng nhắc nhở mới; Lưu và cộng sự. (2021b); Phong và cộng sự. (2023) sử dụng LLM để tạo ra các câu kiến thức bằng ngôn ngữ tự nhiên và tích hợp các câu kiến thức bên ngoài vào lời nhắc.

2.3 Sự hợp tác LLM

Sự hợp tác LLM bao gồm nhiều LLM làm việc cùng nhau để giải quyết một nhiệm vụ nhất định. Cụ thể, nhiệm vụ được phân tách thành một số nhiệm vụ trung gian và mỗi LLM được giao để hoàn thành một nhiệm vụ trung gian một cách độc lập. Nhiệm vụ đã cho được giải quyết sau khi tích hợp hoặc tóm tắt các kết quả trung gian này. Phương pháp cộng tác LLM có thể khai thác khả năng của LLM, cải thiện hiệu suất đối với các nhiệm vụ phức tạp và cho phép xây dựng các hệ thống phức tạp. Shinn và cộng sự. (2023); Sun và cộng sự. (2023a); Gero và cộng sự. (2023); Vương và Lý (2023); Chen và cộng sự. (2023b) xây dựng các nhiệm vụ phụ trợ (ví dụ: nhiệm vụ phản ánh, xác minh) và sửa đổi phản hồi cho nhiệm vụ ban đầu dựa trên kết quả của nhiệm vụ phụ trợ. Talebirad và Nadiri (2023); Hồng và cộng sự. (2023); Qian và cộng sự. (2023) chỉ định các hồ sơ đặc trưng (ví dụ: người quản lý dự án, kỹ sư phần mềm) cho LLM và đạt được mức tăng hiệu suất trong các nhiệm vụ dành riêng cho nhân vật thông qua hoạt ảnh hành vi. Li và cộng sự. (2022); Zeng và cộng sự. (2022a); Chen và cộng sự. (2023a); Du và cộng sự. (2023); Liang và cộng sự. (2023) sử dụng chiến lược tranh luận trong đó nhiều LLM khác nhau đề xuất câu trả lời của riêng họ cho nhiệm vụ nhất định và tranh luận nhiều lượt cho đến khi nhận được câu trả lời chung cuối cùng. Ngoài ra, Shen và cộng sự. (2023); Gao và cộng sự. (2023); Ge và cộng sự. (2023); Zhang và cộng sự. (2023c); Hảo và cộng sự. (2023) sử dụng một LLM làm người kiểm soát nhiệm vụ, đưa ra kế hoạch cho nhiệm vụ nhất định, chọn mô hình chuyên gia để thực hiện và tóm tắt phản hồi của các nhiệm vụ được lập kế hoạch trung gian. Các LLM khác đóng vai trò là người thực thi nhiệm vụ, hoàn thành các nhiệm vụ trung gian trong lĩnh vực chuyên môn của họ.