VEATIC: Aşinalık ve Eğlence Derecelendirmeler ve Referanslar

Bağlantı Tablosu

• Özet ve Giriş
• İlgili Wok
• VEATIC Veri Kümesi
• Deneyler
• Tartışma
• Çözüm
• Uyaranlar Hakkında Daha Fazla Bilgi
• Ek Açıklama Ayrıntıları
• Aykırı Değer İşleme
• Videolar Arasında Konu Anlaşması
• Aşinalık ve Keyif Derecelendirmeleri ve Referanslar

11. Aşinalık ve Eğlence Derecelendirmeleri

Şekil 13'te gösterildiği gibi katılımcılar arasında her bir video için aşinalık ve keyif derecelendirmeleri toplandı. 0-83 video kimlikleri için aşinalık ve keyif derecelendirmeleri sırasıyla 1-5 ve 1-9 arası bir ölçekte toplandı. 83-123 video kimlikleri için aşinalık ve keyif derecelendirmeleri, VEATIC veri kümesinin planlanmasından önce toplanmış ve farklı bir ölçekte toplanmıştır. 83-97 video kimlikleri için aşinalık ve keyif derecelendirmeleri 0-5 arası bir ölçekte toplandı ve 98-123 video kimlikleri için aşinalık/keyif derecelendirmeleri toplanmadı. Analiz ve görselleştirme amacıyla, 83-97 video kimlikleri için aşinalık ve keyif derecelendirmelerini, 0-83 video kimlikleriyle eşleşecek şekilde sırasıyla 1-5 ve 1-9 olacak şekilde yeniden ölçeklendirdik. Aşinalık değerlerini 0-5'ten 1-5'e yeniden ölçeklendirmek için doğrusal bir dönüşüm gerçekleştirdik, önce verileri 0 ile 1 arasında normalleştirdik, ardından değerleri 4 ile çarpıp 1 ekledik. Keyif değerlerini 0-5'ten 1-5'e yeniden ölçeklendirdik. 1-9'u da aynı şekilde önce 0 ile 1 arasında normalleştirerek, ardından değerleri 8 ile çarparak 1 ekledik. Sonuç olarak 0-97 arası video ID'leri için ortalama aşinalık puanı 1,61 iken ortalama keyif puanı 4,98 oldu.

Referanslar

[1] Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Lucic ve Cordelia Schmid. Vivit: Bir video görüş transformatörü. IEEE/CVF uluslararası bilgisayarlı görme konferansı Bildirileri, sayfalar 6836–6846, 2021.

[2] Hillel Aviezer, Shlomo Bentin, Veronica Dudarev ve Ran R Hassin. Duygusal yüz-bağlam entegrasyonunun otomatikliği. Duygu, 11(6):1406, 2011.

[3] Simon Baron-Cohen, Sally Wheelwright, Jacqueline Hill, Yogini Raste ve Ian Plumb. "Zihni gözlerden okumak" testinin revize edilmiş versiyonu: normal yetişkinlerle ve asperger sendromlu veya yüksek işlevli otizmli yetişkinlerle yapılan bir çalışma. Çocuk Psikolojisi ve Psikiyatrisi ve Müttefik Disiplinler Dergisi, 42(2):241–251, 2001.

[4] Lisa Feldman Barrett ve Elizabeth A. Kensinger. Bağlam, duygu algısı sırasında rutin olarak kodlanır. Psikoloji bilimi, 21(4):595–599, 2010.

[5] Pablo Barros, Nikhil Churamani, Egor Lakomkin, Henrique Siqueira, Alexander Sutherland ve Stefan Wermter. Aman Tanrım-duygu davranışı veri kümesi. 2018 Uluslararası Sinir Ağları Ortak Konferansı (IJCNN), sayfa 1-7. IEEE, 2018.

[6] Margaret M Bradley ve Peter J Lang. İngilizce kelimeler için duyuşsal normlar (yeniden): Kullanım kılavuzu ve duygusal derecelendirmeler. Teknik rapor, Teknik rapor C-1, psikofizyoloji araştırma merkezi. . . , 1999.

[7] Marta Calbi, Francesca Siri, Katrin Heimann, Daniel Barratt, Vittorio Gallese, Anna Kolesnikov ve Maria Alessandra Umilta. Bağlam, yüz ifadelerinin yorumlanmasını nasıl etkiler: “kuleshov etkisi” üzerine kaynak yerelleştirmeli, yüksek yoğunluklu bir eeg çalışması. Bilimsel raporlar, 9(1):1–16, 2019.

[8] Zhimin Chen ve David Whitney. Görünmeyen kişilerin duygusal durumlarının takibi. Ulusal Bilimler Akademisi Bildirileri, 116(15):7559–7564, 2019.

[9] Zhimin Chen ve David Whitney. Çıkarımsal duygusal izleme, bağlama dayalı duygu algısının olağanüstü hızını ortaya koyuyor. Biliş, 208:104549, 2021.

[10] Zhimin Chen ve David Whitney. Çıkarımsal duygu izleme (iet), duygu tanımada bağlamın kritik rolünü ortaya çıkarır. Duygu, 22(6):1185, 2022.

[11] Kyunghyun Cho, Bart Merrienboer, Çağlar Gülcehre, Fethi Bougares, Holger Schwenk ve Yoshua Bengio. İstatistiksel makine çevirisi için rnn kodlayıcı-kod çözücüyü kullanarak ifade temsillerini öğrenme. EMNLP'de, 2014.

[12] Jules Davidoff. Görsel algıdaki farklılıklar: Bireysel göz. Elsevier, 2012. [13] Abhinav Dhall, Roland Goecke, Simon Lucey, Tom Gedeon, ve diğerleri. Filmlerden geniş, zengin açıklamalara sahip yüz ifadesi veritabanlarının toplanması. IEEE multimedya, 19(3):34, 2012.

[14] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, ve diğerleri. Bir görüntü 16x16 kelimeye bedeldir: Ölçekli görüntü tanıma için transformatörler. arXiv ön baskısı arXiv:2010.11929, 2020.

[15] Ellen Douglas-Cowie, Roddy Cowie, Cate Cox, Noam Amir ve Dirk Heylen. Hassas yapay dinleyici: duygusal açıdan renkli konuşmalar oluşturmak için bir tümevarım tekniği. Duygu ve etki araştırmaları için LREC derlem çalıştayında, sayfa 1-4. ELRA Paris, 2008.

[16]Paul Ekman. Temel duygulara yönelik bir argüman. Biliş ve duygu, 6(3-4):169–200, 1992.

[17] Paul Ekman ve Wallace V Friesen. Yüz hareketi kodlama sistemi. Çevresel Psikoloji ve Sözsüz Davranış, 1978.

[18] Zhiyun Gao, Wentao Zhao, Sha Liu, Zhifen Liu, Chengxiang Yang ve Yong Xu. Şizofrenide yüzdeki duygu tanıma. Psikiyatride sınırlar, 12:633717, 2021.

[19] Rohit Girdhar, Joao Carreira, Carl Doersch ve Andrew Zisserman. Video aksiyon transformatör ağı. Bilgisayarlı görme ve örüntü tanıma üzerine IEEE/CVF konferansının Bildirileri, sayfa 244–253, 2019.

[20] Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun. Doğrultucuların derinliklerine inmek: Imagenet sınıflandırmasında insan düzeyindeki performansı aşmak. IEEE uluslararası bilgisayarlı görme konferansı Bildirileri, sayfa 1026–1034, 2015.

[21] Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun. Görüntü tanıma için derin artık öğrenme. Bilgisayarlı görme ve örüntü tanıma üzerine IEEE konferansının Bildirileri, sayfalar 770–778, 2016.

[22] Will E Hipson ve Saif M Mohammad. Film diyaloglarında duygu dinamikleri. PloS one, 16(9):e0256153, 2021. [23] Sepp Hochreiter ve Jurgen Schmidhuber. Uzun kısa süreli ¨ hafıza. Sinirsel hesaplama, 9(8):1735–1780, 1997.

[24] John J Hopfield. Yeni ortaya çıkan kolektif hesaplama yeteneklerine sahip sinir ağları ve fiziksel sistemler. Ulusal Bilimler Akademisi Bildirileri, 79(8):2554–2558, 1982.

[25] Zhao Kaili, Wen-Sheng Chu ve Honggang Zhang. Yüz hareket ünitesi tespiti için derin bölge ve çoklu etiket öğrenme. IEEE Bilgisayarlı Görme ve Örüntü Tanıma Konferansı Bildirileri Kitabı, sayfa 3391–3399, 2016.

[26] Mary Kayyal, Sherri Widen ve James A Russell. Bağlam düşündüğümüzden daha güçlüdür: Bağlamsal ipuçları, değer açısından bile yüz ipuçlarını geçersiz kılar. Duygu, 15(3):287, 2015.

[27] Diederik P. Kingma ve Jimmy Ba. Adam: Stokastik optimizasyon için bir yöntem. arXiv ön baskı arXiv:1412.6980, 2014.

[28] Sander Koelstra, Christian Muhl, Mohammad Soleymani, Jong-Seok Lee, Ashkan Yazdani, Touradj Ebrahimi, Thierry Pun, Anton Nijholt ve Ioannis Patras. Deap: Duygu analizi için bir veritabanı; Fizyolojik sinyaller kullanarak. Duygusal hesaplamada IEEE işlemleri, 3(1):18–31, 2011.

[29] Dimitrios Kollias ve Stefanos Zafeiriou. Aff-wild2: Etki tanıma için aff-wild veritabanının genişletilmesi. arXiv ön baskısı arXiv:1811.07770, 2018.

[30] Dimitrios Kollias ve Stefanos Zafeiriou. İfade, etki, eylem birimi tanıma: Aff-wild2, çok görevli öğrenme ve ark yüzü. arXiv ön baskısı arXiv:1910.04855, 2019.

[31] Jean Kossaifi, Georgios Tzimiropoulos, Sinisa Todorovic ve Maja Pantic. Vahşi doğada değerlik ve uyarılma tahmini için Afew-va veritabanı. Görüntü ve Görme Bilişimi, 65:23–36, 2017.

[32] Ronak Kosti, Jose M Alvarez, Adria Recasens ve Agata Lapedriza. Duygusal veri kümesini kullanarak bağlam tabanlı duygu tanıma. Desen analizi ve makine zekasına ilişkin IEEE işlemleri, 42(11):2755–2766, 2019.

[33] Jiyoung Lee, Seungryong Kim, Sunok Kim, Jungin Park ve Kwanghoon Sohn. Bağlama duyarlı duygu tanıma ağları. IEEE/CVF uluslararası bilgisayarlı görme konferansı Bildirileri, sayfa 10143–10152, 2019.

[34] Tae-Ho Lee, June-Seek Choi ve Yang Seok Cho. Yüzdeki duygu algısının bağlam modülasyonu bireysel farklılığa göre farklılık gösterdi. PLOS bir, 7(3):e32987, 2012.

[35] Yong Li, Jiabei Zeng, Shiguang Shan ve Xilin Chen. Yüz hareket ünitesi tespiti için videolardan kendi kendini denetleyen temsil öğrenimi. IEEE/CVF Bilgisayarla Görme ve Örüntü Tanıma Konferansı Bildirileri, sayfalar 10924–10933, 2019.

[36] Ze Liu, Jia Ning, Yue Cao, Yixuan Wei, Zheng Zhang, Stephen Lin ve Han Hu. Video swin transformatörü. Bilgisayarlı görme ve örüntü tanıma üzerine IEEE/CVF konferansının Bildirileri, sayfa 3202–3211, 2022.

[37] Cheng Luo, Siyang Song, Weicheng Xie, Linlin Shen ve Hatice Güneş. Yüz hareketi birimi tanıma için çok boyutlu kenar özelliği tabanlı au ilişki grafiğinin öğrenilmesi. Otuz Birinci Uluslararası Yapay Zeka Ortak Konferansı Bildirileri, IJCAI-22, sayfa 1239–1246, 2022.

[38] Daniel McDuff, Rana Kaliouby, Thibaud Senechal, May Amr, Jeffrey Cohn ve Rosalind Picard. Affectiva-mit yüz ifadesi veri kümesi (am-beslendi): Toplanan doğal ve spontane yüz ifadeleri. IEEE bilgisayarlı görme ve örüntü tanıma çalıştayları konferansının Bildirileri, sayfa 881–888, 2013.

[39] Gary McKeown, Michel Valstar, Roddy Cowie, Maja Pantic ve Marc Schroder. Semaine veritabanı: Bir kişi ile sınırlı bir temsilci arasındaki duygusal açıdan renkli konuşmaların açıklamalı çok modlu kayıtları. Duygusal hesaplamada IEEE işlemleri, 3(1):5–17, 2011.

[40] Trisha Mittal, Pooja Guhan, Uttaran Bhattacharya, Rohan Chandra, Aniket Bera ve Dinesh Manocha. İfade: Frege ilkesini kullanan bağlama duyarlı çok modlu duygu tanıma. IEEE/CVF Bilgisayarlı Görme ve Örüntü Tanıma Konferansı Bildirileri, sayfalar 14234– 14243, 2020.

[41] MA Nasri, Mohamed Amine Hmani, Aymen Mtibaa, Dijana Petrovska-Delacretaz, M Ben Slima ve A Ben Hamida. Evrişim sinir ağlarına dayalı statik görüntüden yüz duygu tanıma. 2020'de 5. Uluslararası Sinyal ve Görüntü İşleme için İleri Teknolojiler Konferansı (ATSIP), sayfa 1-6. IEEE, 2020.

[42] Erik C Nook, Kristen A Lindquist ve Jamil Zaki. Duygu algısına yeni bir bakış: Kavramlar yüzdeki duygu tanımayı hızlandırır ve şekillendirir. Duygu, 15(5):569, 2015.

[43] Desmond C Ong, Zhengxuan Wu, Zhi-Xuan Tan, Marianne Reddan, Isabella Kahhale, Alison Mattek ve Jamil Zaki. Karmaşık öykülerde duygunun modellenmesi: Stanford duygusal anlatılar veri kümesi. Duygusal Bilgi İşleme İlişkin IEEE İşlemleri, 12(3):579–594, 2019.

[44] Desmond C Ong, Jamil Zaki ve Noah D Goodman. Zihin teorisinde hesaplamalı duygu çıkarımı modelleri: Bir inceleme ve yol haritası. Bilişsel bilimdeki konular, 11(2):338– 357, 2019.

[45] Timea R Partos, Simon J Cropper ve David Rawlings. Benim gördüğümü siz görmüyorsunuz: Görsel uyaranlardan anlam algısındaki bireysel farklılıklar. PloS one, 11(3):e0150615, 2016.

[46] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria ve Rada Mihalcea. Meld: Konuşmalarda duygu tanımaya yönelik çok modlu, çok partili bir veri kümesi. arXiv ön baskı arXiv:1810.02508, 2018.

[47] Jonathan Posner, James A Russell ve Bradley S Peterson. Duygulanımın sirkumplex modeli: Duygusal sinirbilime, bilişsel gelişime ve psikopatolojiye bütünleştirici bir yaklaşım. Gelişim ve psikopatoloji, 17(3):715–734, 2005.

[48] Zhihang Ren, Xinyu Li, Dana Pietralla, Mauro Manassi ve David Whitney. Dermatolojik kararlarda seri bağımlılık. Teşhis, 13(10):1775, 2023.

[49] Fabien Ringeval, Andreas Sonderegger, Juergen Sauer ve Denis Lalanne. Uzaktan işbirlikçi ve duygusal etkileşimlerin recola multimodal külliyatıyla tanışın. 2013'te 10. IEEE uluslararası konferansı ve otomatik yüz ve jest tanıma (FG) üzerine çalıştaylar, sayfa 1-8. IEEE, 2013.

[50] David E Rumelhart, Geoffrey E Hinton, Ronald J Williams, ve diğerleri. Hata yayılımı yoluyla iç temsillerin öğrenilmesi, 1985.

[51] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein ve diğerleri. Imagenet'in büyük ölçekli görsel tanıma mücadelesi. Uluslararası bilgisayarla görme dergisi, 115:211–252, 2015.

[52] James A. Russell. Çevresel bir etki modeli. Kişilik ve sosyal psikoloji dergisi, 39(6):1161, 1980.

[53] James A. Russell. boyutlu bağlamsal bakış açısı. Yüz ifadesinin psikolojisi, sayfa 295, 1997.

[54] Andrey V Savchenko. Hafif sinir ağlarının çok görevli öğrenimine dayalı yüz ifadesi ve nitelik tanıma. 2021'de IEEE 19. Uluslararası Akıllı Sistemler ve Bilişim Sempozyumu (SISY), sayfa 119–124. IEEE, 2021.

[55] Andrey V Savchenko, Lyudmila V Savchenko ve Ilya Makarov. Tek bir yüz ifadesi tanıma sinir ağına dayalı olarak çevrimiçi öğrenmede duyguların ve katılımın sınıflandırılması. Duygusal Bilgi İşleme İlişkin IEEE İşlemleri, 13(4):2132–2143, 2022.

[56] Zhiwen Shao, Zhilei Liu, Jianfei Cai ve Lizhuang Ma. Eklem yüz hareket ünitesi tespiti ve yüz hizalaması için derin uyarlanabilir dikkat. Avrupa Bilgisayarlı Görme Konferansı Bildirileri (ECCV), sayfalar 705–720, 2018.

[57] Jiahui She, Yibo Hu, Hailin Shi, Jun Wang, Qiu Shen ve Tao Mei. Belirsizliğin içine dalın: Gizli dağıtım madenciliği ve yüz ifadesi tanıma için ikili belirsizlik tahmini. Bilgisayarlı görme ve örüntü tanıma üzerine IEEE/CVF konferansının Bildirileri, sayfalar 6248–6257, 2021.

[58] Ian Sneddon, Margaret McRorie, Gary McKeown ve Jennifer Hanratty. Belfast doğal duygu veritabanını tetikledi. Duygusal Bilgi İşleme İlişkin IEEE İşlemleri, 3(1):32–41, 2011.

[59] Mohammad Soleymani, Jeroen Lichtenauer, Thierry Pun ve Maja Pantic. Etki tanıma ve örtülü etiketleme için çok modlu bir veritabanı. Duygusal hesaplamada IEEE işlemleri, 3(1):42–55, 2011.

[60] Paweł Tarnowski, Marcin Kołodziej, Andrzej Majkowski ve Remigiusz J Rak. Yüz ifadelerini kullanarak duygu tanıma. Procedia Bilgisayar Bilimi, 108:1175–1184, 2017.

[61] YI Tian, Takeo Kanade ve Jeffrey F Cohn. Yüz ifadesi analizi için eylem birimlerini tanıma. Desen analizi ve makine zekası üzerine IEEE İşlemleri, 23(2):97–115, 2001.

[62] Vedat Tümen, ¨ Ömer Faruk Söylemez ve Burhan Ergen. ¨ Evrişimsel sinir ağını kullanan bir veri kümesinde yüzdeki duygu tanıma. 2017 Uluslararası Yapay Zeka ve Veri İşleme Sempozyumu (IDAP), sayfa 1-5. IEEE, 2017.

[63] Gaetano Valenza, Antonio Lanata ve Enzo Pasquale Scilingo. Duygusal değerlik ve uyarılmanın tanınmasında doğrusal olmayan dinamiklerin rolü. Duygusal hesaplamada IEEE işlemleri, 3(2):237–249, 2011.

[64] Raviteja Vemulapalli ve Aseem Agarwala. Yüz ifadesi benzerliği için kompakt bir yerleştirme. Bilgisayarlı Görme ve Örüntü Tanıma üzerine IEEE/CVF Konferansı Bildirileri, sayfalar 5683–5692, 2019.

[65] Kannan Venkataramanan ve Haresh Rengaraj Rajamohan. Konuşmadan duygu tanıma. arXiv ön baskısı arXiv:1912.10458, 2019.

[66] Kai Wang, Xiaojiang Peng, Jianfei Yang, Shijian Lu ve Yu Qiao. Büyük ölçekli yüz ifadesi tanıma için belirsizliklerin bastırılması. Bilgisayarlı görme ve örüntü tanıma üzerine IEEE/CVF konferansının Bildirileri, sayfalar 6897–6906, 2020.

[67] Fanglei Xue, Zichang Tan, Yu Zhu, Zhongsong Ma ve Guodong Guo. Video yüz ifadesi tanıma için düzgün tahmin özelliğine sahip kabadan inceye kademeli ağlar. IEEE/CVF Bilgisayarlı Görme ve Örüntü Tanıma Konferansı Bildirileri, sayfalar 2412–2418, 2022.

[68] Seunghyun Yoon, Seokhyun Byun ve Kyomin Jung. Ses ve metin kullanarak çok modlu konuşma duygusu tanıma. 2018'de IEEE Konuşma Dili Teknolojisi Çalıştayı (SLT), sayfalar 112–118. IEEE, 2018.

[69] Stefanos Zafeiriou, Dimitrios Kollias, Mihalis A Nicolaou, Athanasios Papaioannou, Guoying Zhao ve Irene Kotsia. Aff-wild: değerlik ve vahşi doğada uyarılma mücadelesi. IEEE bilgisayarlı görme ve örüntü tanıma çalıştayları konferansının Bildirileri, sayfa 34-41, 2017.

[70] Yuanyuan Zhang, Jun Du, Zirui Wang, Jianshu Zhang ve Yanhui Tu. Konuşma duygularının tanınması için dikkat temelli tamamen evrişimli ağ. 2018 Asya-Pasifik Sinyal ve Bilgi İşleme Derneği Yıllık Zirvesi ve Konferansında (APSIPA ASC), sayfa 1771–1775. IEEE, 2018.

[71] Yuan-Hang Zhang, Rulin Huang, Jiabei Zeng ve Shiguang Shan. M3 f: Vahşi doğada çok modlu sürekli değerlik-uyarılma tahmini. 2020'de 15. IEEE Uluslararası Otomatik Yüz ve Hareket Tanıma Konferansı (FG 2020), sayfa 632–636. IEEE, 2020.