Использование двух программ LLM для улучшения решений по анализу настроений

Таблица ссылок

Аннотация и введение

Связанных с работой

LLM Переговоры по анализу настроений

Эксперименты

Исследования абляции

Заключение и ссылки

3 Переговоры LLM по анализу настроений

3.1 Обзор

В этом разделе мы подробно описываем структуру переговоров с несколькими LLM для анализа настроений: два LLM выступают в качестве генератора ответов и дискриминатора. Мы называем взаимодействие между генератором и дискриминатором переговорами. Переговоры будут повторяться до тех пор, пока не будет достигнут консенсус или не будет превышено максимальное количество ходов переговоров. Иллюстрации показаны на рисунках 1 и 2.

3.2 Генератор, основанный на рассуждениях

В основе генератора лежит большая языковая модель. Мы задаем вопросы генератору ответов на основе парадигмы ICL с помощью подсказок, стремясь сгенерировать пошаговую цепочку рассуждений и принять решение относительно полярности настроений тестовых входных данных.

Подсказки состоят из трех элементов: описания задачи, демонстрации и тестового ввода. Описание задачи — это описание задачи на естественном языке (например, «Пожалуйста, определите общее настроение тестовых входных данных»); тестовый ввод — это текстовый ввод в тестовом наборе (например, «Небо голубое»); демонстрации из комплекта задания. Каждый состоит из трех элементов: входных данных, цепочек рассуждений и сентиментального решения.

Для каждого тестового ввода мы сначала извлекаем K ближайших соседей (входные данные, решение о настроении) из набора поездов в качестве демонстрации. Затем мы преобразуем демонстрации в тройки (входные данные, процесс рассуждения, решение по настроению), предлагая генератору создать цепочку рассуждений. После объединения описания задачи, демонстраций и тестовых входных данных мы пересылаем подсказку генератору, который отвечает пошаговой цепочкой рассуждений и сентиментальным решением.

3.3 Дискриминатор, получающий объяснение

Дискриминатор поддерживается другим LLM. После завершения процесса генерации ответа дискриминатор ответов используется для оценки правильности решения, принятого генератором, и предоставления разумного объяснения.

Для достижения этой цели мы сначала создаем подсказки для дискриминатора ответов. Подсказка состоит из четырех элементов: описания задачи, демонстрации, тестового ввода и ответа генератора ответов. Описание задачи — это фрагмент текста, описывающий задачу на естественном языке (например, «Пожалуйста, определите, правильное ли решение»). Каждая демонстрация состоит из шести элементов: (входной текст, цепочка рассуждений, решение о настроении, отношение дискриминатора, объяснения дискриминатора, решение дискриминатора) и построена путем предложения дискриминатору ответов предоставить объяснения того, почему решение о настроении является правильным для входного текста.

Затем мы запрашиваем дискриминатор с помощью подсказки конструкции. Дискриминатор ответа ответит текстовой строкой, содержащей отношение (т. е. да, нет), которое указывает, согласен ли дискриминатор с генератором, объяснения, объясняющие, почему дискриминатор согласен/не согласен с генератором, а также решение дискриминатора, которое определяет настроение тестового ввода.

Почему два LLM, а не один? Есть две причины использовать два разных LLM отдельно для генератора и дискриминатора, а не использовать один LLM для выполнения двух ролей: (1) Если LLM совершает ошибку в качестве генератора из-за неверных рассуждений, более вероятно, что он также совершит ту же ошибку, что и дискриминатор, поскольку генератор и дискриминатор из одной и той же модели, скорее всего, приведут схожие обоснования; (2) используя две отдельные модели, мы можем воспользоваться дополнительными возможностями двух моделей.

3.4 Переговоры с переменой ролей

После того, как два LLM завершают переговоры, мы просим их поменяться ролями и инициировать новые переговоры, где второй LLM действует как генератор, а первый LLM действует как дискриминатор. Мы называем взаимодействие двух LLM с поменявшимися ролями переговорами по смене ролей. Аналогично, переговоры по смене ролей завершаются до тех пор, пока не будет достигнут консенсус или пока не будет превышено максимальное количество ходов переговоров.

Когда обе переговоры приводят к соглашению и их решения совпадают, мы можем выбрать любое решение в качестве окончательного, поскольку они одинаковы. Если на одной из переговоров не удается достичь консенсуса, а на другой приходит решение, мы выбираем решение переговоров, в результате которых был достигнут консенсус, в качестве окончательного решения. Однако, если обе переговоры достигнут консенсуса, но их решения не совпадут, нам потребуется помощь дополнительной языковой модели (LLM), как будет более подробно объяснено ниже».

Введение третьего LLM. Если решения двух переговоров не совпадают, мы вводим третий LLM и проводим переговоры и переговоры по смене ролей с каждым из двух вышеупомянутых LLM. Впоследствии мы получим 6 результатов переговоров и проголосуем по этим результатам: решение, которое появляется чаще всего, принимается как полярность настроений входного теста.