145 чтения

VEATIC: Отслеживание эмоций и аффектов на основе видео в наборе контекстных данных: Подробности аннотации

к Kinetograph: The Video Editing Technology Publication2m2024/05/27

Слишком долго; Читать

В этой статье исследователи представляют набор данных VEATIC для распознавания человеческих эмоций, устраняя ограничения в существующих наборах данных и позволяя делать выводы на основе контекста.

featured image - VEATIC: Отслеживание эмоций и аффектов на основе видео в наборе контекстных данных: Подробности аннотации

Этот документ доступен на arxiv под лицензией CC 4.0.

Авторы:

(1) Чжихан Рен, Калифорнийский университет в Беркли, и эти авторы внесли равный вклад в эту работу (электронная почта: [email protected]);

(2) Джефферсон Ортега, Калифорнийский университет, Беркли, и эти авторы внесли равный вклад в эту работу (электронная почта: [email protected]);

(3) Ифань Ван, Калифорнийский университет в Беркли, и эти авторы внесли равный вклад в эту работу (электронная почта: [email protected]);

(4) Чжимин Чен, Калифорнийский университет, Беркли (электронная почта: [email protected]);

(5) Юнхуэй Го, Техасский университет в Далласе (электронная почта: [email protected]);

(6) Стелла X. Ю, Калифорнийский университет, Беркли и Мичиганский университет, Анн-Арбор (электронная почта: [email protected]);

(7) Дэвид Уитни, Калифорнийский университет, Беркли (электронная почта: [email protected]).

Таблица ссылок

8. Детали аннотации

Всего у нас было 192 участника, которые аннотировали видео в наборе данных VEATIC. Восемьдесят четыре участника аннотировали видео с идентификаторами 0–82. Сто восемь участников аннотировали идентификаторы видео 83–123 до планирования набора данных VEATIC. В частности, пятьдесят один участник аннотировал идентификаторы видео 83–94, двадцать пять участников аннотировали идентификаторы видео 95–97, а 32 участника аннотировали идентификаторы видео 98–123.

Еще одна новинка набора данных VEATIC заключается в том, что он содержит видеоролики с взаимодействующими персонажами и рейтингами отдельных персонажей в одном видео. Это видео с идентификаторами 98–123. Для каждой последовательной видеопары видеокадры абсолютно одинаковы, но непрерывные рейтинги эмоций аннотируются на основе разных выбранных символов. На рисунке 11 показан пример. В этом исследовании мы сначала предлагаем этот процесс аннотирования, поскольку он дает будущим алгоритмам возможность проверить, изучают ли модели эмоции выбранных персонажей, учитывая взаимодействие между персонажами и одну и ту же контекстную информацию. Хороший алгоритм распознавания эмоций должен справиться с этой сложной ситуацией.