향상된 감정 분석 결정을 위해 두 개의 LLM 활용

링크 표

초록 및 소개

관련된 일

감정 분석을 위한 LLM 협상

실험

절제 연구

결론 및 참고자료

3 감정 분석을 위한 LLM 협상

3.1 개요

이 섹션에서는 감정 분석을 위한 다중 LLM 협상 프레임워크를 자세히 설명합니다. 두 개의 LLM이 답변 생성기 및 판별기 역할을 합니다. 우리는 생성자와 판별자 사이의 상호작용을 협상이라고 부릅니다. 합의에 도달하거나 최대 협상 횟수를 초과할 때까지 협상이 반복됩니다. 그림은 그림 1과 2에 나와 있습니다.

3.2 추론 주입 생성기

생성기는 대규모 언어 모델로 구성됩니다. 우리는 단계별 추론 체인과 테스트 입력의 정서 극성에 대한 결정을 생성하는 것을 목표로 프롬프트를 통해 ICL 패러다임을 기반으로 하는 답변 생성기에 질문합니다.

프롬프트는 작업 설명, 데모, 테스트 입력이라는 세 가지 요소로 구성됩니다. 작업 설명은 작업에 대한 자연어 설명입니다(예: "테스트 입력의 전반적인 감정을 결정하십시오."). 테스트 입력은 테스트 세트의 텍스트 입력입니다(예: "하늘은 파란색입니다."). 데모는 작업의 기차 세트에서 나온 것입니다. 각각은 입력, 추론 체인, 감정적 결정이라는 세 가지 요소로 구성됩니다.

각 테스트 입력에 대해 먼저 열차 세트에서 K개의 가장 가까운 이웃(입력, 감정 결정)을 데모로 검색합니다. 그런 다음 생성기가 추론 체인을 생성하도록 유도하여 데모를 (입력, 추론 프로세스, 감정 결정) 세 가지로 변환합니다. 작업 설명, 데모 및 테스트 입력을 연결한 후 프롬프트를 생성기에 전달하면 단계별 추론 체인과 감상적인 결정으로 응답합니다.

3.3 설명 유도 판별자

판별자는 다른 LLM에 의해 백본화됩니다. 답변 생성 과정이 끝나면 답변 판별자를 사용하여 생성자의 결정이 올바른지 판단하고 합리적인 설명을 제공합니다.

이 목표를 달성하기 위해 먼저 답변 판별자에 대한 프롬프트를 구성합니다. 프롬프트는 작업 설명, 데모, 테스트 입력, 답변 생성기의 응답이라는 네 가지 요소로 구성됩니다. 작업 설명은 작업을 자연어로 설명하는 텍스트입니다(예: "결정이 올바른지 확인하십시오."). 각 데모는 6가지 요소(입력 텍스트, 추론 체인, 감정 결정, 판별자 태도, 판별자 설명, 판별자 결정)로 구성되며 응답 판별자가 입력 텍스트에 대해 감정 결정이 올바른 이유에 대한 설명을 제공하도록 유도하여 구성됩니다.

그런 다음 구문 프롬프트를 사용하여 판별자에게 질문합니다. 답변 판별자는 판별자가 생성자에 동의하는지 여부를 나타내는 태도(즉, 예, 아니오), 판별자가 생성자에 동의/동의하지 않는 이유를 설명하는 설명, 판별자의 결정을 포함하는 텍스트 문자열로 응답합니다. 테스트 입력의 감정.

LLM이 두 개인데 하나가 아닌 이유는 무엇입니까? 단일 LLM을 사용하여 두 가지 역할을 수행하는 대신 생성자와 판별자에 대해 별도로 두 개의 서로 다른 LLM을 사용하는 데는 두 가지 이유가 있습니다. (1) LLM이 잘못된 추론으로 인해 생성자로 실수할 가능성이 더 높습니다. 또한 동일한 모델의 생성자와 판별자가 유사한 근거를 만들 가능성이 높기 때문에 판별자와 동일한 실수를 저지르게 됩니다. (2) 두 개의 별도 모델을 사용함으로써 두 모델의 보완적인 기능을 활용할 수 있습니다.

3.4 역할 전환 협상

두 개의 LLM이 협상으로 끝난 후 역할을 바꾸어 새로운 협상을 시작하도록 요청합니다. 여기서 두 번째 LLM은 생성자 역할을 하고 첫 번째 LLM은 판별자 역할을 합니다. 역할이 바뀌는 두 LLM의 상호 작용을 역할 반전 협상이라고 합니다. 마찬가지로 역할 전환 협상은 합의에 도달하거나 최대 협상 횟수를 초과할 때까지 종료됩니다.

두 협상이 합의로 이어지고 결정이 동일하면 두 결정이 동일하므로 둘 중 하나를 최종 결정으로 선택할 수 있습니다. 협상 중 한쪽이 합의에 이르지 못하고 다른 쪽이 결정에 도달할 경우, 우리는 합의에 도달한 협상 중 결정을 최종 결정으로 선택합니다. 그러나 두 협상이 합의에 도달했지만 결정이 일치하지 않는 경우 아래에 자세히 설명된 대로 추가 언어 모델(LLM)의 지원이 필요합니다."

세 번째 LLM 도입 두 협상의 결정이 일치하지 않는 경우 세 번째 LLM을 도입하고 앞서 언급한 두 LLM 각각과 협상 및 역할 전환 협상을 수행합니다. 그 후, 우리는 6개의 협상 결과를 얻고 이 결과에 대해 투표할 것입니다. 가장 자주 나타나는 결정은 입력 테스트의 감정 극성으로 간주됩니다.