Сила рамок Multi-LLM в преодолении проблем анализа настроений

Таблица ссылок

Аннотация и введение

Связанных с работой

LLM Переговоры по анализу настроений

Эксперименты

Исследования абляции

Заключение и ссылки

2 Связанные работы

2.1 Анализ настроений

Анализ настроений (Pang and Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang and Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2016; Чжан и др., 2018) — это задача, целью которой является определение общей полярности настроений (например, положительной, отрицательной, нейтральной) данного текста. Более ранние работы часто формализовали задачу как двухэтапную задачу: (1) извлечение признаков с использованием RNN (Socher et al., 2013; Qian et al., 2016; Peled and Reichart, 2017; Wang et al., 2016b; Guggilla et. al., 2016; Vo and Zhang, 2015), CNN (Kalchbrenner et al., 2014; Wang et al., 2016a; Guan et al., 2016; Yu and Jiang, 2016; Mishra et al., 2017), предварительно обученные языковые модели (Lin et al., 2021; Sun et al., 2021; Phan and Ogunbona, 2020; Dai et al., 2021) и др.; и (2) передать извлеченные признаки в классификатор для получения заранее определенной сентиментальной метки.

В последние годы контекстное обучение (ICL) добилось больших успехов и изменило парадигму задач НЛП. Многие работы адаптируют ICL к задаче анализа настроений: Qin et al. (2023б); Сан и др. (2023a) предлагают ряд стратегий для улучшения производительности ChatGPT при выполнении задачи анализа настроений; Фей и др. (2023) предлагают трехступенчатую структуру рассуждения, которая вызывает неявный аспект, мнение и, наконец, полярность настроений для задачи анализа неявных настроений; Чжан и др. (2023d) обнаружили, что LLM могут достичь удовлетворительной производительности в задаче классификации двоичных настроений, но они уступают контролируемому базовому уровню в более сложных задачах (например, детальный анализ настроений), которые требуют более глубокого понимания или структурированной информации о настроениях.

2.2 Большие языковые модели и контекстное обучение

Большие языковые модели (LLM) (Wang et al., 2022a; Zhang et al., 2023b) — это модели, обученные на огромных неразмеченных текстовых корпусах с использованием методов самоконтроля. В зависимости от архитектуры модели LLM можно разделить на три типа: (1) модели только для кодировщиков, которые содержат кодировщик текста и генерируют входные представления, такие как BERT (Devlin et al., 2018) и его варианты (Lan et al., 2018) и его варианты (Lan et al., 2018) и его варианты (Lan et al., 2018). др., 2019; Сан и др., 2020; Кларк и др., 2020; Джоши и др., 2020; (2) модели только для декодера, которые имеют декодер и генерируют текст, обусловленный входным текстом, например модели серии GPT (Radford et al., 2019; Brown et al., 2020; Keskar et al., 2019; Radford et al. ., 2019; Оуян и др., 2022; Скао и др., 2022; Туврон и др., 2023а; , 2023 г.; ОпенАИ, 2023 г.); и (3) модели кодировщика-декодера, которые имеют пару кодер-декодер и генерируют текст в зависимости от входного представления, такие как T5 (Raffel et al., 2020) и его варианты (Lewis et al., 2019; Xue et al., 2020); др., 2020).

Начиная с GPT-3 (Brown et al., 2020), LLM продемонстрировали новые возможности (Wei et al., 2022a) и выполнили задачи НЛП посредством контекстного обучения (ICL), где LLM генерируют текст с большим количеством меток, обусловленный несколькими аннотированными примерами без обновления градиента. Многие исследования в литературе предлагают стратегии улучшения производительности ICL при решении задач НЛП. Ли и Лян (2021 г.); Шевалье и др. (2023 г.); Му и др. (2023) оптимизируют подсказки в непрерывном пространстве. Лю и др. (2021а); Ван и др. (2023 г.); Чжан и др. (2023a) выполните поиск по набору поездов, чтобы найти k ближайших соседей тестового ввода в качестве демонстрации. Чжан и др. (2022б); Сан и др. (2023б); Яо и др. (2023) разбивают задачу на несколько подзадач и решают их шаг за шагом в направлении окончательного ответа, обусловленного цепочками рассуждений, сгенерированными LLM. Сан и др. (2023а); Ван и др. (2023) предлагают проверить результаты LLM, проведя новый раунд подсказок; Лю и др. (2021б); Фэн и др. (2023) используют LLM для создания заявлений о знаниях на естественном языке и интеграции заявлений о внешних знаниях в подсказки.

2.3 Сотрудничество LLM

Сотрудничество LLM предполагает совместную работу нескольких LLM для решения определенной задачи. В частности, задача разбивается на несколько промежуточных задач, и каждому LLM поручено самостоятельно выполнить одну промежуточную задачу. Данная задача решается после интегрирования или суммирования этих промежуточных результатов. Подход к сотрудничеству LLM может использовать возможности LLM, улучшить производительность сложных задач и позволить создавать сложные системы. Шинн и др. (2023 г.); Сан и др. (2023а); Геро и др. (2023 г.); Ван и Ли (2023 г.); Чен и др. (2023b) создают вспомогательные задачи (например, задачи на размышление, проверку) и пересматривают ответ на исходную задачу, ссылаясь на результат вспомогательной задачи. Талебирад и Надири (2023 г.); Хонг и др. (2023 г.); Цянь и др. (2023) назначают профили характеристик (например, менеджер проекта, инженер-программист) LLM и повышают производительность при выполнении задач, специфичных для персонажей, с помощью анимации поведения. Ли и др. (2022 г.); Цзэн и др. (2022а); Чен и др. (2023а); Ду и др. (2023 г.); Лян и др. (2023) используют стратегию дебатов, в которой несколько разных LLM предлагают свои собственные ответы на данную задачу и обсуждают несколько ходов, пока не получат общий окончательный ответ. Кроме того, Шен и др. (2023 г.); Гао и др. (2023 г.); Ге и др. (2023 г.); Чжан и др. (2023в); Хао и др. (2023) используют один LLM в качестве контроллера задач, который разрабатывает план для данной задачи, выбирает экспертные модели для реализации и обобщает ответы промежуточных плановых задач. Другие LLM выступают в качестве исполнителей задач, выполняя промежуточные задачи в своих областях компетенции.