Многоуровневое профилирование глубоких сетей, основанных на ситуациях и диалоге: выводы и ссылки

Таблица ссылок

• Аннотация и введение
• Предыстория и сопутствующая работа
• Набор данных ЕМТД
• Предлагаемая методология
• Эксперименты
• Заключение и ссылки

6. Заключение

Эта работа расширяет идею нового целостного подхода к проблеме классификации жанров кино, включающего аффективный и когнитивный уровни, путем рассмотрения множества модальностей, включая ситуацию из кадра, диалоги из речи и метаданные (сюжет фильма и описание). Для продолжения этого исследования мы также создали набор данных EMTD по трейлерам к голливудским английским фильмам, который включает около 2000 трейлеров 5 жанров, а именно: боевик, комедия, ужасы, мелодрама и научная фантастика. Мы экспериментировали с различными архитектурами моделей, как обсуждалось в разделе 5.2, а также проверили нашу окончательную структуру на EMTD и на стандартном LMTD-9 [2], которые достигают значений AU (PRC) 0,92 и 0,82 соответственно. Основная цель нашего исследования — создать надежную основу для классификации жанра фильма по его короткому клипу, то есть трейлеру. Хотя наше исследование включает в себя английскую речь, ее также можно применить к некоторым неанглоязычным трейлерам. Для неанглоязычных моделей наша модель может включать только функции видео, поэтому на основе этого наша архитектура может делать прогнозы.

Для расширения предложенной нами модели также можно включить исследования фонового звука, основанные на вокале. Следовательно, в будущем мы планируем создать структуру, учитывающую бэк-вокал в аудио, наряду с нашей текущей структурой, чтобы лучше извлекать и использовать большинство функций из трейлеров к фильмам. Мы также планируем добавить в наше исследование еще несколько жанров для классификации по нескольким меткам.

7. Ссылки

[1] А. Ханьялич и Л.К. Сюй, «Аффективное представление и моделирование видеоконтента», IEEE Trans. Мультимед., вып. 7, нет. 1, 2005.

[2] Дж. Верманн и Р. К. Баррос, «Извилины во времени для классификации жанров фильмов с несколькими метками», в материалах симпозиума ACM по прикладным вычислениям, 2017, том. Часть F1280, стр. 114–119.

[3] З. Рашид, Ю. Шейх и М. Шах, «Об использовании вычислимых признаков для классификации фильмов», IEEE Trans. Сист. цепей. ВидеоТехнол., вып. 15, нет. 1, стр. 52–64, январь 2005 г.

[4] Л.Х. Чен, Ю.К. Лай и Х.И. Марк Ляо, «Сегментация сцены фильма с использованием фоновой информации», «Распознавание образов», том. 41, нет. 3, 2008.

[5] С. К. Джейн и Р. С. Джейдон, «Классификатор жанров фильмов с использованием нейронной сети», 2009 г.

[6] Л. Канини, С. Бенини и Р. Леонарди, «Аффективная рекомендация фильмов на основе выбранных коннотативных характеристик», IEEE Trans. Сист. цепей. ВидеоТехнол., вып. 23, нет. 4, 2013.

[7] М. Сюй, К. Сюй, X. Хэ, Дж. С. Цзинь, С. Луо и Ю. Жуй, «Иерархический анализ аффективного контента в измерениях возбуждения и валентности», Signal Processing, vol. 93, нет. 8, 2013.

[8] А. Ядав и Д.К. Вишвакарма, «Единая структура глубоких сетей для классификации жанров с использованием трейлера к фильму», Appl. Мягкий компьютер. Дж., вып. 96, 2020.

[9] К. Чорось, «Классификация жанров видео на основе анализа длины агрегированных во времени видеокадров», в «Конспектах лекций по информатике» (включая подсерии «Конспекты лекций по искусственному интеллекту» и «Конспекты лекций по биоинформатике»), 2018, т. 1, с. 11056 LNAI, стр. 509–518.

[10] А. М. Эртугрул и П. Карагоз, «Классификация жанров фильмов на основе сводок сюжетов с использованием двунаправленного LSTM», в материалах 12-й Международной конференции IEEE по семантическим вычислениям, ICSC 2018, 2018, vol. 2018-январь.

[11] Г. Паис, П. Ламберт, Д. Бошен, Ф. Делуль и Б. Ионеску, «Определение жанра анимационного фильма с использованием символического слияния дескрипторов текста и изображения», 2012.

[12] Шахин А., Кшижак А. Жанр: детектор жанров фильмов // Коммуникации в компьютерной и информационной науке, 2020, т. 12. 1178 ТСИС.

[13] Н. Кумар, А. Харикришнан и Р. Шридхар, «Идентификация жанра фильма на основе хэш-векторизатора», в конспектах лекций по электротехнике, 2020, том. 605.

[14] П.Г. Шамбхаркар, П. Тхакур, С. Имадоддин, С. Чаухан и М. Н. Доджа, «Жанровая классификация трейлеров к фильмам с использованием 3D-сверточных нейронных сетей», 2020.

[15] WT Chu и HJ Guo, «Классификация жанров фильмов на основе изображений постеров с глубокими нейронными сетями», 2017.

[16] Г. С. Симойнс, Дж. Верманн, Р. К. Баррос и Д. Д. Руис, «Классификация жанров фильмов с помощью сверточных нейронных сетей», в материалах Международной совместной конференции по нейронным сетям, 2016, том. 2016-октябрь.

[17] Дж. Ли, Л. Денг, Р. Хаеб-Умбах и Ю. Гонг, «Глава 2. Основы распознавания речи», в книге «Надежное автоматическое распознавание речи», Дж. Ли, Л. Денг, Р. Хаеб Умбах, и Ю. Гонг, ред. Оксфорд: Academic Press, 2016, стр. 9–40.

[18] С. Пратт, М. Яцкар, Л. Вейхс, А. Фархади и А. Кембхави, «Обоснованное распознавание ситуаций», в журнале Computer Vision – ECCV 2020, 2020, стр. 314–332.

[19] Б. Бил, Джоран и Лангер, Стефан и Гипп, «TF-IDuF: новая схема взвешивания терминов для моделирования пользователей на основе коллекций личных документов пользователей», Proc. iКонференция 2017, 2017.

[20] Дж. Верманн, Р. К. Баррос, Г. С. Симоэс, Т. С. Паула и Д. Д. Руис, «(Глубокое) обучение на основе фреймов», 2017.

[21] Д.П. Кингма и Дж.Л. Ба, «Адам: метод стохастической оптимизации», 2015.

[22] Э. Фиш, А. Гилберт и Дж. Вайнбрен, «Переосмысление классификации жанров фильмов с помощью мелкозернистой семантической кластеризации», arXiv Prepr. arXiv2012.02639, 2020.

[23] Ф. Альварес, Ф. Санчес, Г. Эрнандес-Пеньалоса, Д. Хименес, Х. М. Менендес и Г. Сиснерос, «О влиянии визуальных особенностей низкого уровня на классификацию фильмов», PLoS One, vol. 14, нет. 2, 2019.

[24] Дж. Верманн, М. А. Лопес и Р. К. Баррос, «Внимание к классификации жанров фильмов с несколькими метками на основе синопсиса», 2018.

[25] Дж. Верманн и Р. К. Баррос, «Классификация жанров кино: подход с несколькими метками, основанный на свертках во времени», Appl. Мягкий компьютер. Дж., вып. 61, 2017.