새로운 다중 LLM 전략으로 감정 분석의 정확성 향상

링크 표

초록 및 소개

관련된 일

감정 분석을 위한 LLM 협상

실험

절제 연구

결론 및 참고자료

추상적인

감정 분석의 표준 패러다임은 단일 LLM에 의존하고 상황 내 학습 프레임워크 하에서 단일 라운드로 결정을 내리는 것입니다. 이 프레임워크는 단일 LLM에서 생성된 단일 회전 출력이 완벽한 결정을 제공하지 못할 수 있다는 주요 단점을 겪고 있습니다. 마치 인간이 문제를 올바르게 해결하기 위해 여러 번 시도해야 하는 경우도 있습니다. 이는 입력의 복잡한 언어 현상(예: 절 구성, 아이러니 등)을 해결하기 위해 깊은 추론이 필요한 감정 분석 작업의 경우 특히 그렇습니다.

이 문제를 해결하기 위해 이 문서에서는 감정 분석을 위한 다중 LLM 협상 프레임워크를 소개합니다. 프레임워크는 근거와 함께 결정을 제공하는 추론 주입 생성기, 생성기의 신뢰성을 평가하기 위한 설명 파생 판별기로 구성됩니다. 생성자와 판별자는 합의에 도달할 때까지 반복합니다. 제안된 프레임워크는 두 LLM의 보완적인 능력을 활용하고 근거를 사용하여 수정을 위해 서로 설득할 수 있기 때문에 앞서 언급한 과제를 자연스럽게 해결했습니다.

광범위한 감정 분석 벤치마크(SST-2, Movie Review, Twitter, yelp, Amazon, IMDB)에 대한 실험은 제안된 접근 방식의 효율성을 보여줍니다. Twitter 및 영화 리뷰 데이터세트의 지도 기준선.

1. 소개

감정 분석(Pang and Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang and Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2016; Zhang et al., 2018)은 텍스트 덩어리에 표현된 의견 극성을 추출하는 것을 목표로 합니다. 대형 언어 모델(LLM)의 최근 발전(Brown 등, 2020; Ouyang 등, 2022; Touvron 등, 2023a,b; Anil 등, 2023; Zeng 등, 2022b; OpenAI, 2023 Bai et al., 2023) 과제 해결을 위한 새로운 문을 열었습니다(Lu et al., 2021; Kojima et al., 2022; Wang et al., 2022b; Wei et al., 2022b; Wan et al. , 2023; Sun et al., 2023b,a; Li et al., 2023; Schick et al., 2023) ICL), LLM은 소수의 훈련 사례만으로 지도 학습 전략(Lin et al., 2021; Sun et al., 2021; Phan and Ogunbona, 2020; Dai et al., 2021)에 필적하는 성능을 달성할 수 있습니다. .

감정 분석을 위해 LLM을 활용하는 기존 접근 방식은 일반적으로 단일 LLM을 사용하고 ICL에 따라 단일 라운드에서 결정을 내립니다. 이 전략에는 다음과 같은 단점이 있습니다. 단일 LLM에서 생성된 단일 회전 출력은 완벽한 응답을 제공하지 못할 수 있습니다. 인간이 때때로 문제를 해결하기 위해 여러 번 시도해야 하는 것처럼 LLM이 올바른 결정을 내리기까지 여러 라운드가 필요할 수 있습니다. 이는 LLM이 일반적으로 입력 문장의 복잡한 언어 현상(예: 절 구성, 아이러니 등)을 해결하기 위해 추론 프로세스를 명확하게 설명해야 하는 감정 분석 작업의 경우 특히 그렇습니다.

이러한 문제를 해결하기 위해 본 논문에서는 감정 분석을 위한 다중 LLM 협상 전략을 제안합니다. 제안된 전략의 핵심은 생성자-판별자 프레임워크입니다. 여기서 하나의 LLM은 감정 결정을 생성하는 생성자(G) 역할을 하고, 다른 LLM은 생성된 출력의 신뢰성을 평가하는 임무를 맡은 판별자(D) 역할을 합니다. 첫 번째 LLM. 제안된 방법은 세 가지 측면에서 혁신합니다. (1) 추론 주입 생성기(G): 구조화된 추론 체인을 준수하는 LLM으로 생성기의 ICL을 향상시키는 동시에 판별자에게 유효성을 평가하기 위한 증거와 통찰력을 제공합니다. (2) 설명 유도 판별기(D); 판단에 대한 사후 평가 근거를 제공하도록 설계된 기타 LLM (3) 협상: 두 개의 LLM이 생성자와 판별자의 역할을 하며 합의가 이루어질 때까지 협상을 수행합니다.

이 전략은 두 LLM의 집합적 능력을 활용하고 모델이 불완전한 응답을 수정할 수 있는 채널을 제공함으로써 단일 LLM이 첫 번째 시도에서 올바른 결정을 내릴 수 없는 문제를 자연스럽게 해결합니다.

이 작업의 기여는 다음과 같이 요약될 수 있습니다. 1) 감정 분석이 다중 LLM 협상을 통해 어떻게 이점을 얻을 수 있는지에 대한 새로운 관점을 제공합니다. 2) 감정 분류를 반복적으로 생성하고 검증하여 다중 LLM 협업을 가능하게 하는 생성자-판별자 역할 전환 의사결정 프레임워크를 소개합니다. 3) 경험적 결과는 제안된 접근 방식의 효율성에 대한 증거를 제공합니다. 광범위한 정서 분석 벤치마크(SST-2, Movie Review, Twitter, yelp, amazon, IMDB)에 대한 실험은 제안된 방법이 지속적으로 더 나은 성능을 제공한다는 것을 보여줍니다. 모든 벤치마크에 걸쳐 ICL 기준을 적용했으며 Twitter 및 영화 리뷰 데이터 세트의 감독 기준보다 우수한 성능을 제공했습니다.