Качественное разнообразие посредством обратной связи с искусственным интеллектом (QDAIF): шаг к автономному творчеству с использованием искусственного интеллекта

Таблица ссылок

Аннотация и введение

Предыстория и сопутствующая работа

Подход

Эксперименты в области творческого письма

Обсуждение и вывод

Приложение

АБСТРАКТНЫЙ

Во многих задачах генерации текста пользователи могут предпочитать не только один ответ, но и широкий спектр высококачественных результатов, из которых можно выбирать. Алгоритмы поиска качественного разнообразия (QD) нацелены на такие результаты путем постоянного улучшения и диверсификации популяции кандидатов. Однако применимость КР к качественным областям, таким как творческое письмо, была ограничена сложностью алгоритмического определения показателей качества и разнообразия. Интересно, что недавние разработки в области языковых моделей (LM) позволили управлять поиском с помощью обратной связи ИИ, при которой LM получают подсказки на естественном языке для оценки качественных аспектов текста. Используя эту разработку, мы вводим качество разнообразия посредством обратной связи с искусственным интеллектом (QDAIF), в котором эволюционный алгоритм применяет LM как для создания вариаций, так и для оценки качества и разнообразия текста-кандидата. При оценке в областях творческого письма QDAIF покрывает большую часть заданного пространства поиска высококачественными образцами, чем контрольные средства, не относящиеся к QD. Кроме того, человеческая оценка творческих текстов, созданных QDAIF, подтверждает разумное согласие между ИИ и человеческой оценкой. Таким образом, наши результаты подчеркивают потенциал обратной связи ИИ для руководства открытым поиском творческих и оригинальных решений, предоставляя рецепт, который, по-видимому, распространяется на многие области и модальности. Таким образом, QDAIF — это шаг к системам искусственного интеллекта, которые могут самостоятельно искать, диверсифицировать, оценивать и совершенствовать, что является одним из основных навыков, лежащих в основе способности человеческого общества к инновациям.[1]

1. ВВЕДЕНИЕ

Человеческие инновации — это не только творческая способность, но и способность оценивать субъективное качество новых идей и артефактов. Великие идеи редко рождаются сразу, из цельной ткани, а скорее постепенно возникают через расходящиеся цепочки проработки и пересмотра (Stanley & Lehman, 2015). Чтобы успешно ориентироваться в таком дереве идей, автор должен оценить, какие шаги в цепочке стоит продолжать дальше. Этот вопрос может быть весьма субъективным, особенно в областях художественного или литературного измерения.

До сих пор, даже если бы ИИ мог предоставить кандидатов, надежда на такую субъективную оценку твердо возлагалась на людей. Однако появившаяся в последние годы технология базовой модели (Боммасани и др., 2021) теперь означает, что модель также может играть роль оценщика, даже если оценка частично субъективна (Мадаан и др., 2023). Таким образом, впервые весь процесс формирования идей, который возвращает разнообразный набор интересных артефактов, в принципе может быть автоматизирован. Этот процесс не может выполняться LM самостоятельно, но требует детального объединения алгоритма поиска с вызовами моделей. В этой статье освещается один из способов реализации этого потенциала: объединить LM с областью качественного разнообразия (QD) (Mouret & Clune, 2015), которая сосредоточена на том, как разрабатывать процессы поиска, которые производят высококачественные решения, охватывающие пространство проектирования. .

Основная идея алгоритмов QD заключается в явном поддержании и поиске высококачественных разнообразных ответов. Обычно такие алгоритмы поиска требуют вручную разработанных показателей разнообразия и качества, а также способа создания значимых вариаций. Однако наиболее интересные и сложные области почти всегда связаны с понятиями производительности, разнообразия и вариаций, которые субъективны или их трудно определить алгоритмически. Расширяя работу, которая генерирует вариации с помощью LM (Lehman et al., 2022; Meyerson et al., 2023) и оценивает качество потенциальных решений с помощью LM (Ahn et al., 2022), мы показываем, что LM также можно использовать для оценки качественные аспекты разнообразия. Таким образом, LM могут реализовывать три основных компонента поиска QD, тем самым создавая мощные новые алгоритмы QD, которые могут следовать за непрерывными достижениями LM, которые мы называем «Качество-разнообразие через обратную связь с искусственным интеллектом» (QDAIF). Такой QDAIF может исследовать и возвращать разнообразные высококачественные ответы на подсказку LM с помощью более интуитивных мер разнообразия без необходимости точной настройки модели (хотя его также можно использовать для самосовершенствования LM путем создания точных настроек). data (Lehman et al., 2022; Chen et al., 2023)), интересное направление для самостоятельного создания эффективных сред обучения с помощью сгенерированных данных в сторону алгоритмов, генерирующих искусственный интеллект (Clune, 2019)).

Мы оцениваем QDAIF по трем направлениям творческого письма: написание мнений, рассказы и поэзия. Идея состоит в том, что в таких творческих областях пользователям часто нравится видеть широкий спектр возможных историй или стихов, из которых они могут выбирать или вдохновляться. Количественные результаты показывают, что QDAIF значительно превосходит существующие базовые показатели. Кроме того, посредством оценки человеком мы наблюдаем четкое соответствие между обратной связью, генерируемой человеком и ИИ, предоставляя эмпирические доказательства того, что обратная связь ИИ обоснована и что метод может работать на практике (т. е. он обеспечивает улучшенное качество и разнообразие, измеренное людьми). В целом, QDAIF приближает нас к моделям искусственного интеллекта, которые могут самостоятельно искать и внедрять инновации, что является одной из ключевых способностей людей, позволяющих им создавать культуру и науку (Stanley et al., 2017).

[1] Страница проекта: https://qdaif.github.io/