«Куросава»: помощник сценариста: эксперименты и оценки

к Teleplay Technology 2m2024/05/23

Слишком долго; Читать

В этой статье исследователи представляют KUROSAWA, инструмент для написания сценариев с искусственным интеллектом для создания сюжетов и сценариев, предназначенный для автоматизации развлекательных медиа.

featured image - «Куросава»: помощник сценариста: эксперименты и оценки

Авторы:

(1) Прерак Ганди, факультет компьютерных наук и инженерии, Индийский технологический институт Бомбей, Мумбаи, [email protected], и эти авторы внесли равный вклад в эту работу;

(2) Вишал Праманик, факультет компьютерных наук и инженерии, Индийский технологический институт Бомбей, Мумбаи, vishalpramanik,[email protected], и эти авторы внесли равный вклад в эту работу;

(3) Пушпак Бхаттачарья, факультет компьютерных наук и инженерии, Индийский технологический институт, Бомбей, Мумбаи.

Таблица ссылок

5. Эксперименты и оценка

Мы настраиваем GPT3 с помощью наших наборов данных (см. приложение A.6 ).

5.1. Создание графика

Мы создали 5 моделей путем точной настройки GPT-3 с нашим набором данных сюжета фильма следующим образом: (i) оригинал (без аннотаций) ( O ): ввод — короткие сюжетные линии, выходные — сюжеты без каких-либо аннотаций, (ii) аннотации . и короткий ввод (AS) : входные короткие сюжетные линии, выходные сюжеты, аннотированные 4-актной структурой, (iii) аннотации и длинный ввод ( AL ): входные длинные, более описательные сюжетные линии, выходные сюжеты, аннотированные 4-актной структурой, (iv) аннотация и короткий ввод с включенными жанрами ( ASG ): ввод коротких сюжетных линий и жанра, выходные сюжеты, аннотированные с 4-актной структурой, (v) аннотация и длинный ввод с включенными жанрами ( ALG ): ввод — длинный и более описательный сюжетные линии вместе с жанром, выходные сюжеты аннотированы 4-актной структурой.

Для автоматической оценки мы используем BLEU (Papineni et al., 2002), Perplexity (Jelinek et al., 1977), ROUGE (Lin, 2004). Мы также используем человеческую оценку в виде пятибалльной шкалы Лайкерта (Ликерт, 1932). Система оценок имеет 1-> Категорически не согласен, 2-> Не согласен, 3-> Нейтрально, 4-> Согласен, 5-> Полностью согласен. Предполагается, что рассказы, написанные человеком, имеют рейтинг 5 по каждой из следующих 5 характеристик: (1) Беглость : грамматическая правильность; (2) Связность : логическое расположение предложений и абзацев; (3) Релевантность : выделены ли ключевые моменты из подсказки в выводе; (4) Привлекательность : мера того, насколько история приятна; (5) Креативность : если результат представил какие-либо новые события, профили персонажей или отношения.

Для создания графиков мы генерируем 50 графиков из 50 тестовых запросов. Мы делим истории на пять групп по 10 человек и назначаем по три оценщика в каждую группу.

Для генерации сцен мы генерируем десять сцен из 10 тестовых подсказок. Мы поручаем пяти оценщикам оценить эти десять историй.