Durum ve Diyaloğa Dayalı Derin Ağların Çok Düzeyli Profilinin Oluşturulması: Sonuç ve Referanslar

Bağlantı Tablosu

• Özet ve Giriş
• Arka Plan ve İlgili Çalışmalar
• EMTD Veri Kümesi
• Önerilen yöntem
• Deneyler
• Sonuç ve Referanslar

6. Sonuç

Bu çalışma, çerçevedeki durum, konuşmadaki diyaloglar ve meta-veri (film konusu ve açıklaması) dahil olmak üzere birden fazla yöntemi dikkate alarak duygusal ve bilişsel düzeyleri içeren film türü sınıflandırma problemine yeni bir bütünsel yaklaşım fikrini genişletmektedir. Bu çalışmayı sürdürmek için ayrıca aksiyon, komedi, korku, romantik ve bilim kurgu olmak üzere 5 türden yaklaşık 2000 fragmanı içeren bir Hollywood İngilizcesi film fragmanları veri kümesi EMTD oluşturduk. Bölüm 5.2'de tartışıldığı gibi çeşitli model mimarileriyle deneyler yaptık ve aynı zamanda sırasıyla 0,92 ve 0,82 AU (PRC) değerlerine ulaşan EMTD ve standart LMTD-9 [2] üzerindeki nihai çerçevemizi doğruladık. Çalışmamızın temel amacı, bir film türünü kısa klibi yani fragmanından sınıflandırmak için sağlam bir çerçeve oluşturmaktır. Çalışmamız özellik olarak İngilizce konuşmayı içerse de İngilizce olmayan bazı fragmanlara da uygulanabilmektedir. İngilizce olmayanlar için modelimiz yalnızca video özelliklerini dahil edebilir, dolayısıyla buna dayanarak mimarimiz tarafından tahminler yapılabilir.

Önerilen modelimizin genişletilmesi için vokallere dayalı arka plan ses çalışmaları da dahil edilebilir. Bu nedenle gelecekte, film fragmanlarından çoğu özelliği daha iyi çıkarmak ve kullanmak için mevcut çerçevemizle birlikte sesteki arka plan vokallerini de dikkate alan bir çerçeve oluşturmayı planlıyoruz. Ayrıca çoklu etiket sınıflandırması için çalışmamıza birkaç tür daha eklemeyi planlıyoruz.

7. Referanslar

[1] A. Hanjalic ve LQ Xu, “Duygusal video içeriği gösterimi ve modellemesi,” IEEE Trans. Multimed., cilt. 7, hayır. 1, 2005.

[2] J. Wehrmann ve RC Barros, "Çok etiketli film türü sınıflandırması için zaman içindeki kıvrımlar", ACM Sempozyumu Uygulamalı Hesaplama Bildirileri, 2017, cilt. Bölüm F1280, sayfa 114–119.

[3] Z. Rasheed, Y. Sheikh ve M. Shah, “Film sınıflandırması için hesaplanabilir özelliklerin kullanılması üzerine,” IEEE Trans. Devreler Sist. Video Teknolojisi, cilt. 15, hayır. 1, s. 52–64, Ocak 2005.

[4] LH Chen, YC Lai ve HY Mark Liao, "Arka plan bilgilerini kullanarak film sahnesi bölümlendirmesi", Pattern Recognit., cilt. 41, hayır. 3, 2008.

[5] SK Jain ve RS Jadon, “Sinir ağını kullanan film türleri sınıflandırıcısı” 2009.

[6] L. Canini, S. Benini ve R. Leonardi, “Seçilmiş çağrışımsal özelliklere dayalı filmlerin duygusal önerisi,” IEEE Trans. Devreler Sist. Video Teknolojisi, cilt. 23, hayır. 4, 2013.

[7] M. Xu, C. Xu, X. He, JS Jin, S. Luo ve Y. Rui, “Uyarılma ve değerlik boyutlarında hiyerarşik duygusal içerik analizi,” Sinyal İşleme, cilt. 93, hayır. 8, 2013.

[8] A. Yadav ve DK Vishwakarma, “Film fragmanı kullanılarak tür sınıflandırması için derin ağların birleşik çerçevesi,” Appl. Yumuşak Bilgisayar. J., cilt. 96, 2020.

[9] K. Choroś, "Geçici olarak birleştirilmiş video çekimlerinin uzunluk analizine dayalı video türü sınıflandırması", Bilgisayar Bilimleri Lecture Notes (Lecture Notes in Artificial Intelligence ve Lecture Notes in Bioinformatics alt serisi dahil), 2018, cilt. 11056 LNAI, s. 509–518.

[10] AM Ertuğrul ve P. Karagöz, “Çift Yönlü LSTM Kullanarak Konu Özetlerinden Film Türü Sınıflandırması”, Bildiriler Kitabı - 12. IEEE Uluslararası Semantik Hesaplama Konferansı, ICSC 2018, 2018, cilt. 2018-Ocak.

[11] G. Païs, P. Lambert, D. Beauchêne, F. Deloule ve B. Ionescu, “Metin ve görüntü tanımlayıcılarının sembolik birleşimini kullanan animasyonlu film türü tespiti” 2012.

[12] A. Shahin ve A. Krzyżak, “Genre-ous: The Movie Genre Detector”, Communications in Computer and Information Science, 2020, cilt. 1178CCIS.

[13] N. Kumar, A. Harikrishnan ve R. Sridhar, “Hash Vectorizer Based Movie Genre Identification”, Lecture Notes in Electrical Engineering, 2020, cilt. 605.

[14] PG Shambharkar, P. Thakur, S. Imadoddin, S. Chauhan ve MN Doja, “3D Evrişimli Sinir Ağlarını Kullanan Film Fragmanlarının Tür Sınıflandırması,” 2020.

[15] WT Chu ve HJ Guo, "Derin sinir ağlarına sahip poster görüntülerine dayalı film türü sınıflandırması" 2017.

[16] GS Simões, J. Wehrmann, RC Barros ve DD Ruiz, “Evrişimli Sinir Ağları ile film türü sınıflandırması”, Sinir Ağları Uluslararası Ortak Konferansı Bildirileri, 2016, cilt. 2016-Ekim.

[17] J. Li, L. Deng, R. Haeb-Umbach ve Y. Gong, "Bölüm 2 - Konuşma tanımanın temelleri", Robust Otomatik Konuşma Tanıma, J. Li, L. Deng, R. HaebUmbach, ve Y. Gong, Eds. Oxford: Academic Press, 2016, s. 9–40.

[18] S. Pratt, M. Yatskar, L. Weihs, A. Farhadi ve A. Kembhavi, “Grounded Situation Recognition”, Bilgisayarla Görme -- ECCV 2020, 2020, s. 314–332.

[19] B. Beel, Joeran ve Langer, Stefan ve Gipp, “TF-IDuF: Kullanıcıların Kişisel Belge Koleksiyonlarına Dayalı Kullanıcı Modellemesi için Yeni Bir Dönem Ağırlıklandırma Şeması,” Proc. iKonferans 2017, 2017.

[20] J. Wehrmann, RC Barros, GS Simoes, TS Paula ve DD Ruiz, “Çerçevelerden (Derin) Öğrenme” 2017.

[21] DP Kingma ve JL Ba, “Adam: A method for stokastik optimizasyon,” 2015.

[22] E. Fish, A. Gilbert ve J. Weinbren, “İnce taneli semantik kümelemeyle film türü sınıflandırmasını yeniden düşünmek,” arXiv Prepr. arXiv2012.02639, 2020.

[23] F. Álvarez, F. Sánchez, G. Hernández-Peñaloza, D. Jiménez, JM Menéndez ve G. Cisneros, “Film sınıflandırmasında düşük seviyeli görsel özelliklerin etkisi üzerine,” PLoS One, cilt. 14, hayır. 2, 2019.

[24] J. Wehrmann, MA Lopes ve RC Barros, "Synopsis tabanlı çok etiketli film türü sınıflandırması için öz dikkat", 2018.

[25] J. Wehrmann ve RC Barros, "Film türü sınıflandırması: Zaman içindeki kıvrımlara dayalı çok etiketli bir yaklaşım", Appl. Yumuşak Bilgisayar. J., cilt. 61, 2017.