paint-brush
감정 분석 과제를 극복하는 다중 LLM 프레임워크의 힘~에 의해@textmodels
288 판독값

감정 분석 과제를 극복하는 다중 LLM 프레임워크의 힘

너무 오래; 읽다

감정 분석의 최근 발전은 생성자-판별자 모델이 반복적으로 결정을 개선하는 다중 LLM 협업을 활용합니다. 이 접근 방식은 복잡한 언어 문제를 해결하고 기존 ICL 방법 및 감독 기준을 능가하여 정확성을 향상시킵니다.
featured image - 감정 분석 과제를 극복하는 다중 LLM 프레임워크의 힘
Writings, Papers and Blogs on Text Models HackerNoon profile picture
0-item

저자:

(1) 절강대학교(Zhejiang University)의 Xiaofei Sun;

(2) Xiaoya Li, Shannon.AI 및 Bytedance;

(3) 저장대학교 장성우(Shengyu Zhang);

(4) 북경대학교 왕 슈헤(Shuhe Wang);

(5) 절강대학교 페이 우(Fei Wu);

(6) 저장대학교 Jiwei Li;

(7) 난양 기술 대학교의 Tianwei Zhang;

(8) Guoyin Wang, Shannon.AI 및 Bytedance.

링크 표

초록 및 소개

관련된 일

감정 분석을 위한 LLM 협상

실험

절제 연구

결론 및 참고자료

2 관련 업무

2.1 감성 분석

감정 분석(Pang and Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang and Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2016; Zhang et al., 2018)은 주어진 텍스트의 전반적인 정서 극성(예: 긍정적, 부정적, 중립)을 결정하는 것을 목표로 하는 작업입니다. 이전 연구에서는 종종 이 작업을 2단계 문제로 공식화했습니다. (1) RNN을 사용하여 특징 추출(Socher et al., 2013; Qian et al., 2016; Peled and Reichart, 2017; Wang et al., 2016b; Guggilla et al. al., 2016; Vo 및 Zhang, 2015), CNN(Kalchbrenner 등, 2014; Wang 등, 2016a; Guan 등, 2016; Yu 및 Jiang, 2016; Mishra 등, 2017) 언어 모델(Lin et al., 2021; Sun et al., 2021; Phan and Ogunbona, 2020; Dai et al., 2021) 등 (2) 미리 정의된 감성 라벨을 얻기 위해 추출된 특징을 분류기에 공급합니다.


최근 몇 년 동안 상황 내 학습(ICL)은 큰 성공을 거두며 NLP 작업의 패러다임을 바 꾸었습니다. 많은 연구에서 감정 분석 작업에 ICL을 적용했습니다: Qin et al. (2023b); Sunet al. (2023a)는 감정 분석 작업에 대한 ChatGPT의 성능을 향상시키기 위한 일련의 전략을 제안합니다. Feiet al. (2023)은 암시적 감정 분석 작업을 위해 암시적 측면, 의견, 마지막으로 감정 극성을 유도하는 3홉 추론 프레임워크를 제안합니다. (2023d)은 LLM이 이진 감정 분류 작업에서 만족스러운 성능을 달성할 수 있지만 더 깊은 이해나 구조화된 감정 정보가 필요한 보다 복잡한 작업(예: 세분화된 감정 분석)에서는 지도 기준에 비해 성능이 떨어진다는 사실을 발견했습니다.

2.2 대규모 언어 모델과 상황 내 학습

LLM(대형 언어 모델)(Wang et al., 2022a; Zhang et al., 2023b)은 자기 지도 학습 기술을 사용하여 레이블이 지정되지 않은 대규모 텍스트 말뭉치에 대해 훈련된 모델입니다. 모델 아키텍처를 기반으로 LLM은 세 가지 유형으로 분류될 수 있습니다. (1) 텍스트 인코더를 포함하고 BERT(Devlin et al., 2018) 및 그 변형(Lan et al.)과 같은 입력 표현을 생성하는 인코더 전용 모델 Liu 등, 2019; Sun 등, 2020; Feng 등, 2020, 2021; (2) 디코더가 있고 GPT 시리즈 모델과 같이 입력 텍스트에 따라 조건부 텍스트를 생성하는 디코더 전용 모델(Radford et al., 2019; Brown et al., 2020; Keskar et al., 2019; Radford et al. ., 2019; Ouyang et al., 2022a; Scao et al., 2022b; , 2023; 오픈AI, 2023); (3) 한 쌍의 인코더-디코더가 있고 T5(Raffel et al., 2020) 및 그 변형(Lewis et al., 2019; Xue et al.)과 같이 입력 표현에 따라 조건화된 텍스트를 생성하는 인코더-디코더 모델 al., 2020).


그림 2: 협상 절차 그림. 왼쪽 시연은 턴을 돌린 후 긍정적인 감정에 대한 합의가 이루어진 경우이고, 오른쪽 시연은 두 LLM이 3차례에 걸쳐 합의에 도달하지 못한 경우입니다. 구체적으로 사용자 프롬프트에는 작업 설명, 몇 번의 데모(약어로 줄여서), 입력, 마지막 차례의 응답(해당하는 경우)이라는 네 가지 요소가 포함됩니다. 생성자 또는 판별자의 응답은 입력에 긍정적 또는 부정적 감정이 포함되어 있다는 진술로 시작하고 그 뒤에 근거가 따릅니다.

GPT-3(Brown et al., 2020)부터 LLM은 새로운 기능(Wei et al., 2022a)을 보여줬고 ICL(incontext learning)을 통해 NLP 작업을 완료했습니다. 그라데이션 업데이트. 문헌의 많은 연구에서는 NLP 작업에 대한 ICL 성능을 향상시키기 위한 전략을 제안합니다. 리와 리앙(2021); Chevalieret al. (2023); Muet al. (2023) 연속 공간에서 프롬프트를 최적화합니다. Liu et al. (2021a); Wan et al. (2023); Zhang et al. (2023a) 열차 세트를 검색하여 테스트 입력의 가장 가까운 이웃 k개를 데모로 검색합니다. Zhang et al. (2022b); Sunet al. (2023b); Yaoet al. (2023)은 작업을 몇 가지 하위 작업으로 분해하고 LLM 생성 추론 체인을 조건으로 최종 답변을 향해 단계별로 해결합니다. Sunet al. (2023a); 왕 외. (2023)은 새로운 프롬프트를 실시하여 LLM의 결과를 검증할 것을 제안합니다. Liu et al. (2021b); Feng et al. (2023)은 LLM을 사용하여 자연어 지식 설명을 생성하고 외부 지식 설명을 프롬프트에 통합합니다.

2.3 LLM 협력

LLM 협업에는 주어진 작업을 해결하기 위해 여러 LLM이 함께 작업하는 것이 포함됩니다. 구체적으로 작업은 여러 개의 중간 작업으로 분해되며 각 LLM은 하나의 중간 작업을 독립적으로 완료하도록 할당됩니다. 이러한 중간 결과를 통합하거나 요약한 후 주어진 과제를 해결합니다. LLM 협업 접근 방식은 LLM의 기능을 활용하고 복잡한 작업의 성능을 향상시키며 복잡한 시스템을 구축할 수 있습니다. Shinnet al. (2023); Sunet al. (2023a); Geroet al. (2023); 왕과 리(2023); Chenet al. (2023b) 보조 작업(예: 반영, 검증 작업)을 구성하고 보조 작업의 결과를 참조하여 원래 작업에 대한 응답을 수정합니다. Talebirad 및 Nadiri(2023); 홍 외. (2023); Qianet al. (2023) LLM에 특성화 프로필(예: 프로젝트 관리자, 소프트웨어 엔지니어)을 할당하고 동작 애니메이션을 통해 캐릭터별 작업에 대한 성능 향상을 얻습니다. Li et al. (2022); Zenget al. (2022a); Chenet al. (2023a); Duet al. (2023); Lianget al. (2023)은 여러 다른 LLM이 주어진 작업에 대한 자체 응답을 제안하고 공통 최종 답변을 얻을 때까지 여러 차례에 걸쳐 토론하는 토론 전략을 사용합니다. 게다가 Shen et al. (2023); Gaoet al. (2023); Geet al. (2023); Zhang et al. (2023c); Haoet al. (2023)은 하나의 LLM을 작업 컨트롤러로 사용하여 주어진 작업에 대한 계획을 고안하고 구현을 위한 전문가 모델을 선택하며 중간 계획 작업의 응답을 요약합니다. 다른 LLM은 작업 실행자 역할을 하여 해당 전문 분야의 중간 작업을 완료합니다.


이 문서는 CC 4.0 라이선스에 따라 arxiv에서 볼 수 있습니다.