VEATIC: Đánh giá và tham khảo về sự quen thuộc và thích thú

Bảng liên kết

• Tóm tắt và giới thiệu
• Chảo liên quan
• Bộ dữ liệu VEATIC
• Thí nghiệm
• Cuộc thảo luận
• Phần kết luận
• Thông tin thêm về kích thích
• Chi tiết chú thích
• Xử lý ngoại lệ
• Thỏa thuận chủ đề trên các video
• Đánh giá và tài liệu tham khảo về sự quen thuộc và thích thú

11. Đánh giá mức độ quen thuộc và thích thú

Xếp hạng mức độ quen thuộc và thích thú được thu thập cho từng video của những người tham gia, như được hiển thị trong Hình 13. Xếp hạng mức độ quen thuộc và thích thú cho ID video 0-83 được thu thập theo thang điểm tương ứng là 1-5 và 1-9. Xếp hạng mức độ quen thuộc và mức độ thích thú đối với ID video 83-123 đã được thu thập trước khi lập kế hoạch cho bộ dữ liệu VEATIC và được thu thập ở một quy mô khác. Xếp hạng mức độ quen thuộc và thích thú đối với ID video 83-97 được thu thập theo thang điểm từ 0-5 và xếp hạng mức độ quen thuộc/thích thú không được thu thập đối với ID video 98-123. Vì mục đích phân tích và trực quan hóa, chúng tôi đã điều chỉnh lại xếp hạng mức độ quen thuộc và mức độ thích thú cho ID video 83-97 thành 1-5 và 1-9 tương ứng để khớp với ID video 0-83. Để thay đổi tỷ lệ các giá trị quen thuộc từ 0-5 thành 1-5, chúng tôi đã thực hiện một phép biến đổi tuyến tính, trước tiên chúng tôi chuẩn hóa dữ liệu trong khoảng từ 0 đến 1, sau đó nhân các giá trị với 4 và thêm 1. Chúng tôi đã thay đổi tỷ lệ các giá trị thích thú từ 0-5 thành Tương tự từ 1-9 bằng cách trước tiên chuẩn hóa dữ liệu trong khoảng từ 0 đến 1, sau đó chúng tôi nhân các giá trị với 8 và thêm 1. Kết quả là xếp hạng mức độ quen thuộc trung bình là 1,61 trong khi xếp hạng mức độ thích thú trung bình là 4,98 đối với ID video 0-97.

Người giới thiệu

[1] Anurag Arnab, Mostafa Dehghani, Georg Heigold, Chen Sun, Mario Luciˇ c, và Cordelia Schmid. Vivit: Một video biến đổi tầm nhìn. Trong Kỷ yếu của hội nghị quốc tế IEEE/CVF về thị giác máy tính, trang 6836–6846, 2021.

[2] Hillel Aviezer, Shlomo Bentin, Veronica Dudarev và Ran R Hassin. Tính tự động của việc tích hợp khuôn mặt-bối cảnh cảm xúc. Cảm xúc, 11(6):1406, 2011.

[3] Simon Baron-Cohen, Sally Wheelwright, Jacqueline Hill, Yogini Raste và Ian Plumb. Phiên bản sửa đổi của bài kiểm tra “đọc suy nghĩ trong mắt”: một nghiên cứu với người lớn bình thường và người lớn mắc hội chứng asperger hoặc chứng tự kỷ chức năng cao. Tạp chí Tâm lý Trẻ em và Tâm thần học và các Kỷ luật Liên minh, 42(2):241–251, 2001.

[4] Lisa Feldman Barrett và Elizabeth A Kensinger. Bối cảnh được mã hóa thường xuyên trong quá trình nhận thức cảm xúc. Khoa học tâm lý, 21(4):595–599, 2010.

[5] Pablo Barros, Nikhil Churamani, Egor Lakomkin, Henrique Siqueira, Alexander Sutherland và Stefan Wermter. Bộ dữ liệu hành vi cảm xúc trời ơi. Năm 2018 Hội nghị chung quốc tế về mạng thần kinh (IJCNN), trang 1–7. IEEE, 2018.

[6] Margaret M Bradley và Peter J Lang. Chuẩn mực tình cảm cho các từ tiếng Anh (mới): Hướng dẫn sử dụng và xếp hạng tình cảm. Báo cáo kỹ thuật, Báo cáo kỹ thuật C-1, Trung tâm nghiên cứu tâm sinh lý. . . , 1999.

[7] Marta Calbi, Francesca Siri, Katrin Heimann, Daniel Barratt, Vittorio Gallese, Anna Kolesnikov và Maria Alessandra Umilta. Bối cảnh ảnh hưởng như thế nào đến việc diễn giải các biểu cảm trên khuôn mặt: một nghiên cứu eeg mật độ cao về bản địa hóa nguồn về “hiệu ứng kuleshov”. Báo cáo khoa học, 9(1):1–16, 2019.

[8] Zhimin Chen và David Whitney. Theo dõi trạng thái tình cảm của những người vô hình. Kỷ yếu của Viện Hàn lâm Khoa học Quốc gia, 116(15):7559–7564, 2019.

[9] Zhimin Chen và David Whitney. Theo dõi tình cảm bằng suy luận cho thấy tốc độ vượt trội của nhận thức cảm xúc dựa trên ngữ cảnh. Nhận thức, 208:104549, 2021.

[10] Zhimin Chen và David Whitney. Theo dõi cảm xúc suy luận (iet) cho thấy vai trò quan trọng của bối cảnh trong việc nhận dạng cảm xúc. Cảm xúc, 22(6):1185, 2022.

[11] Kyunghyun Cho, Bart Merrienboer, Caglar Gulcehre, Fethi Bougares, Holger Schwenk và Yoshua Bengio. Học cách biểu diễn cụm từ bằng cách sử dụng bộ mã hóa-giải mã rnn để dịch máy thống kê. Trong EMNLP, 2014.

[12] Jules Davidoff. Sự khác biệt trong nhận thức thị giác: Mắt cá nhân. Elsevier, 2012. [13] Abhinav Dhall, Roland Goecke, Simon Lucey, Tom Gedeon, et al. Thu thập cơ sở dữ liệu biểu cảm khuôn mặt lớn, được chú thích phong phú từ phim. IEEE đa phương tiện, 19(3):34, 2012.

[14] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, và những người khác. Một hình ảnh có giá trị 16x16 từ: Máy biến áp để nhận dạng hình ảnh ở quy mô lớn. bản in trước arXiv arXiv:2010.11929, 2020.

[15] Ellen Douglas-Cowie, Roddy Cowie, Cate Cox, Noam Amir và Dirk Heylen. Người nghe nhân tạo nhạy cảm: một kỹ thuật cảm ứng để tạo ra cuộc trò chuyện mang màu sắc cảm xúc. Trong hội thảo LREC về ngữ liệu để nghiên cứu về cảm xúc và ảnh hưởng, trang 1–4. ELRA Paris, 2008.

[16] Paul Ekman. Một cuộc tranh cãi về những cảm xúc cơ bản. Nhận thức và cảm xúc, 6(3-4):169–200, 1992.

[17] Paul Ekman và Wallace V Friesen. Hệ thống mã hóa hành động trên khuôn mặt. Tâm lý Môi trường & Hành vi phi ngôn ngữ, 1978.

[18] Zhiyun Gao, Wentao Zhao, Sha Liu, Zhifen Liu, Chengxiang Yang và Yong Xu. Nhận dạng cảm xúc trên khuôn mặt trong bệnh tâm thần phân liệt. Những ranh giới trong tâm thần học, 12:633717, 2021.

[19] Rohit Girdhar, Joao Carreira, Carl Doersch và Andrew Zisserman. Mạng biến áp hành động video. Trong Kỷ yếu của hội nghị IEEE/CVF về thị giác máy tính và nhận dạng mẫu, trang 244–253, 2019.

[20] Kaiming He, Xiangyu Zhang, Shaoqing Ren và Jian Sun. Đi sâu vào bộ chỉnh lưu: Vượt qua hiệu suất ở cấp độ con người trong phân loại imagenet. Trong Kỷ yếu của hội nghị quốc tế IEEE về thị giác máy tính, trang 1026–1034, 2015.

[21] Kaiming He, Xiangyu Zhang, Shaoqing Ren và Jian Sun. Học dư sâu để nhận dạng hình ảnh. Trong Kỷ yếu của hội nghị IEEE về thị giác máy tính và nhận dạng mẫu, trang 770–778, 2016.

[22] Will E Hipson và Saif M Mohammad. Động lực cảm xúc trong các cuộc đối thoại trong phim. PloS one, 16(9):e0256153, 2021. [23] Sepp Hochreiter và Jurgen Schmidhuber. Trí nhớ dài hạn ¨. Tính toán thần kinh, 9(8):1735–1780, 1997.

[24] John J Hopfield. Mạng lưới thần kinh và hệ thống vật lý với khả năng tính toán tập thể mới nổi. Kỷ yếu của Viện Hàn lâm Khoa học Quốc gia, 79(8):2554–2558, 1982.

[25] Zhao Kaili, Wen-Sheng Chu, và Honggang Zhang. Học vùng sâu và đa nhãn để phát hiện đơn vị hành động trên khuôn mặt. Trong Kỷ yếu của Hội nghị IEEE về Thị giác máy tính và Nhận dạng mẫu, trang 3391–3399, 2016.

[26] Mary Kayyal, Sherri Widen, và James A Russell. Bối cảnh mạnh mẽ hơn chúng ta nghĩ: các tín hiệu theo ngữ cảnh lấn át các tín hiệu trên khuôn mặt ngay cả đối với hóa trị. Cảm xúc, 15(3):287, 2015.

[27] Diederik P Kingma và Jimmy Ba. Adam: Một phương pháp tối ưu hóa ngẫu nhiên. bản in trước arXiv arXiv:1412.6980, 2014.

[28] Sander Koelstra, Christian Muhl, Mohammad Soleymani, Jong-Seok Lee, Ashkan Yazdani, Touradj Ebrahimi, Thierry Pun, Anton Nijholt và Ioannis Patras. Deap: Cơ sở dữ liệu để phân tích cảm xúc; sử dụng các tín hiệu sinh lý. Giao dịch của IEEE về điện toán tình cảm, 3(1):18–31, 2011.

[29] Dimitrios Kollias và Stefanos Zafeiriou. Aff-wild2: Mở rộng cơ sở dữ liệu aff-wild để nhận dạng ảnh hưởng. bản in trước arXiv arXiv:1811.07770, 2018.

[30] Dimitrios Kollias và Stefanos Zafeiriou. Biểu hiện, ảnh hưởng, nhận dạng đơn vị hành động: Aff-wild2, học đa tác vụ và arcface. bản in trước arXiv arXiv:1910.04855, 2019.

[31] Jean Kossaifi, Georgios Tzimiropoulos, Sinisa Todorovic và Maja Pantic. Cơ sở dữ liệu Afew-va để ước tính hóa trị và kích thích trong tự nhiên. Máy tính Hình ảnh và Tầm nhìn, 65:23–36, 2017.

[32] Ronak Kosti, Jose M Alvarez, Adria Recasens và Agata Lapedriza. Nhận dạng cảm xúc dựa trên ngữ cảnh bằng cách sử dụng tập dữ liệu cảm xúc. Các giao dịch của IEEE về phân tích mẫu và trí thông minh của máy, 42(11):2755–2766, 2019.

[33] Jiyoung Lee, Seungryong Kim, Sunok Kim, Jungin Park và Kwanghoon Sohn. Mạng nhận dạng cảm xúc theo ngữ cảnh. Trong Kỷ yếu của hội nghị quốc tế IEEE/CVF về thị giác máy tính, trang 10143–10152, 2019.

[34] Lee Tae-Ho, Choi June-Seek và Yang Seok Cho. Việc điều chỉnh bối cảnh của nhận thức cảm xúc trên khuôn mặt khác nhau tùy theo sự khác biệt của từng cá nhân. XIN VUI LÒNG một, 7(3):e32987, 2012.

[35] Yong Li, Jiabei Zeng, Shiguang Shan và Xilin Chen. Học cách biểu diễn tự giám sát từ video để phát hiện đơn vị hành động trên khuôn mặt. Trong Kỷ yếu của Hội nghị IEEE/CVF về nhận dạng mẫu và thị giác máy tính, trang 10924–10933, 2019.

[36] Ze Liu, Jia Ning, Yue Cao, Yixuan Wei, Zheng Zhang, Stephen Lin và Han Hu. Máy biến áp quay video. Trong Kỷ yếu của hội nghị IEEE/CVF về thị giác máy tính và nhận dạng mẫu, trang 3202–3211, 2022.

[37] Cheng Luo, Siyang Song, Weichen Xie, Linlin Shen và Hatice Gunes. Học biểu đồ quan hệ au dựa trên tính năng cạnh đa chiều để nhận dạng đơn vị hành động trên khuôn mặt. Trong Kỷ yếu của Hội nghị chung quốc tế lần thứ 31 về trí tuệ nhân tạo, IJCAI-22, trang 1239–1246, 2022.

[38] Daniel McDuff, Rana Kaliouby, Thibaud Senechal, May Amr, Jeffrey Cohn và Rosalind Picard. Bộ dữ liệu biểu hiện khuôn mặt Affectiva-mit (được cho ăn): Các biểu cảm khuôn mặt tự nhiên và tự phát được thu thập. Trong Kỷ yếu của hội nghị IEEE về hội thảo nhận dạng mẫu và thị giác máy tính, trang 881–888, 2013.

[39] Gary McKeown, Michel Valstar, Roddy Cowie, Maja Pantic và Marc Schroder. Cơ sở dữ liệu semaine: Các bản ghi đa phương thức được chú thích về các cuộc trò chuyện mang màu sắc cảm xúc giữa một người và một đại lý hữu hạn. Giao dịch của IEEE về điện toán tình cảm, 3(1):5–17, 2011.

[40] Trisha Mittal, Pooja Guhan, Uttaran Bhattacharya, Rohan Chandra, Aniket Bera, và Dinesh Manocha. Biểu tượng cảm xúc: Nhận dạng cảm xúc đa phương thức theo ngữ cảnh bằng cách sử dụng nguyên tắc frege. Trong Kỷ yếu của Hội nghị IEEE/CVF về Thị giác máy tính và Nhận dạng mẫu, trang 14234– 14243, 2020.

[41] MA Nasri, Mohamed Amine Hmani, Aymen Mtibaa, Dijana Petrovska-Delacretaz, M Ben Slima, và A Ben Hamida. Nhận dạng cảm xúc khuôn mặt từ hình ảnh tĩnh dựa trên mạng lưới thần kinh tích chập. Năm 2020, Hội nghị quốc tế lần thứ 5 về công nghệ tiên tiến để xử lý tín hiệu và hình ảnh (ATSIP), trang 1–6. IEEE, 2020.

[42] Erik C Nook, Kristen A Lindquist và Jamil Zaki. Một cái nhìn mới về nhận thức cảm xúc: Các khái niệm về tốc độ và hình dạng nhận dạng cảm xúc trên khuôn mặt. Cảm xúc, 15(5):569, 2015.

[43] Desmond C Ong, Zhengxuan Wu, Zhi-Xuan Tan, Marianne Reddan, Isabella Kahhale, Alison Mattek và Jamil Zaki. Mô hình hóa cảm xúc trong những câu chuyện phức tạp: Bộ dữ liệu về những câu chuyện cảm xúc của Stanford. Giao dịch của IEEE về Điện toán Tình cảm, 12(3):579–594, 2019.

[44] Desmond C Ong, Jamil Zaki và Noah D Goodman. Các mô hình tính toán suy luận cảm xúc trong lý thuyết tâm trí: Đánh giá và lộ trình. Các chủ đề trong khoa học nhận thức, 11(2):338– 357, 2019.

[45] Timea R Partos, Simon J Cropper và David Rawlings. Bạn không thấy điều tôi thấy: Sự khác biệt cá nhân trong nhận thức về ý nghĩa từ kích thích thị giác. PloS một, 11(3):e0150615, 2016.

[46] Soujanya Poria, Devamanyu Hazarika, Navonil Majumder, Gautam Naik, Erik Cambria và Rada Mihalcea. Meld: Bộ dữ liệu đa phương thức đa phương để nhận dạng cảm xúc trong các cuộc trò chuyện. bản in trước arXiv arXiv:1810.02508, 2018.

[47] Jonathan Posner, James A Russell, và Bradley S Peterson. Mô hình phức tạp của ảnh hưởng: Một cách tiếp cận tích hợp đối với khoa học thần kinh tình cảm, phát triển nhận thức và tâm lý học. Phát triển và tâm lý học, 17(3):715–734, 2005.

[48] Zhihang Ren, Xinyu Li, Dana Pietralla, Mauro Manassi và David Whitney. Sự phụ thuộc nối tiếp trong các phán đoán về da liễu. Chẩn đoán, 13(10):1775, 2023.

[49] Fabien Ringeval, Andreas Sonderegger, Juergen Sauer và Denis Lalanne. Giới thiệu kho dữ liệu đa phương thức recola về các tương tác hợp tác và tình cảm từ xa. Năm 2013, hội nghị và hội thảo quốc tế IEEE lần thứ 10 về nhận dạng khuôn mặt và cử chỉ tự động (FG), trang 1–8. IEEE, 2013.

[50] David E Rumelhart, Geoffrey E Hinton, Ronald J Williams, và những người khác. Học các biểu diễn bên trong bằng cách truyền lỗi, 1985.

[51] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, và những người khác. Thử thách nhận dạng hình ảnh quy mô lớn của Imagenet. Tạp chí quốc tế về thị giác máy tính, 115:211–252, 2015.

[52] James A Russell. Một mô hình phức tạp của ảnh hưởng. Tạp chí nhân cách và tâm lý xã hội, 39(6):1161, 1980.

[53] James A Russell. quan điểm ngữ cảnh chiều. Tâm lý biểu hiện khuôn mặt, trang 295, 1997.

[54] Andrey V Savigan. Nhận dạng biểu cảm khuôn mặt và thuộc tính dựa trên việc học đa tác vụ của mạng lưới thần kinh nhẹ. Năm 2021, Hội nghị chuyên đề quốc tế lần thứ 19 của IEEE về Hệ thống thông minh và tin học (SISY), trang 119–124. IEEE, 2021.

[55] Andrey V Savchenko, Lyudmila V Savchenko, và Ilya Makarov. Phân loại cảm xúc và mức độ tương tác trong học tập trực tuyến dựa trên một mạng lưới thần kinh nhận dạng nét mặt duy nhất. Giao dịch của IEEE về Điện toán Tình cảm, 13(4):2132–2143, 2022.

[56] Zhiwen Shao, Zhilei Liu, Jianfei Cai, và Lizhuang Ma. Chú ý thích ứng sâu để phát hiện đơn vị hành động chung trên khuôn mặt và căn chỉnh khuôn mặt. Trong Kỷ yếu của hội nghị Châu Âu về thị giác máy tính (ECCV), trang 705–720, 2018.

[57] Jiahui She, Yibo Hu, Hailin Shi, Jun Wang, Qiu Shen và Tao Mei. Đi sâu vào sự mơ hồ: Khai thác phân phối tiềm ẩn và ước tính độ không đảm bảo theo cặp để nhận dạng biểu cảm khuôn mặt. Trong Kỷ yếu của hội nghị IEEE/CVF về thị giác máy tính và nhận dạng mẫu, trang 6248–6257, 2021.

[58] Ian Sneddon, Margaret McRorie, Gary McKeown và Jennifer Hanratty. Cơ sở dữ liệu cảm xúc tự nhiên do Belfast tạo ra. Các giao dịch của IEEE về tính toán tình cảm, 3(1):32–41, 2011.

[59] Mohammad Soleymani, Jeroen Lichtenauer, Thierry Pun, và Maja Pantic. Cơ sở dữ liệu đa phương thức để nhận dạng ảnh hưởng và gắn thẻ tiềm ẩn. Các giao dịch của IEEE về điện toán tình cảm, 3(1):42–55, 2011.

[60] Paweł Tarnowski, Marcin Kołodziej, Andrzej Majkowski và Remigiusz J Rak. Nhận dạng cảm xúc bằng cách sử dụng nét mặt. Khoa học Máy tính Procedia, 108:1175–1184, 2017.

[61] YI Tian, Takeo Kanade, và Jeffrey F Cohn. Nhận biết các đơn vị hành động để phân tích biểu hiện khuôn mặt. Giao dịch của IEEE về phân tích mẫu và trí thông minh của máy, 23(2):97–115, 2001.

[62] Vedat Tumen, ¨ Omer Faruk S¨ oylemez, và Burhan Ergen. ¨ Nhận dạng cảm xúc khuôn mặt trên tập dữ liệu sử dụng mạng nơ ron tích chập. Trong Hội nghị chuyên đề về xử lý dữ liệu và trí tuệ nhân tạo quốc tế (IDAP) năm 2017, trang 1–5. IEEE, 2017.

[63] Gaetano Valenza, Antonio Lanata và Enzo Pasquale Scilingo. Vai trò của động lực phi tuyến trong hóa trị tình cảm và nhận biết kích thích. Các giao dịch của IEEE về điện toán tình cảm, 3(2):237–249, 2011.

[64] Raviteja Vemulapalli và Aseem Agarwala. Một nhúng nhỏ gọn cho sự tương đồng về biểu cảm khuôn mặt. Trong Kỷ yếu của Hội nghị IEEE/CVF về Thị giác máy tính và Nhận dạng mẫu, trang 5683–5692, 2019.

[65] Kannan Venkataramanan và Haresh Rengaraj Rajamohan. Nhận dạng cảm xúc từ lời nói. bản in trước arXiv arXiv:1912.10458, 2019.

[66] Kai Wang, Xiaojiang Peng, Jianfei Yang, Shijian Lu và Yu Qiao. Loại bỏ sự không chắc chắn để nhận dạng biểu cảm khuôn mặt quy mô lớn. Trong Kỷ yếu của hội nghị IEEE/CVF về thị giác máy tính và nhận dạng mẫu, trang 6897–6906, 2020.

[67] Fanglei Xue, Zichang Tan, Yu Zhu, Zhongsong Ma, và Guodong Guo. Mạng xếp tầng từ thô đến tinh với khả năng dự đoán mượt mà để nhận dạng nét mặt video. Trong Kỷ yếu của Hội nghị IEEE/CVF về Thị giác máy tính và Nhận dạng mẫu, trang 2412–2418, 2022.

[68] Seunghyun Yoon, Seokhyun Byun và Kyomin Jung. Nhận dạng cảm xúc lời nói đa phương thức bằng âm thanh và văn bản. Hội thảo Công nghệ Ngôn ngữ Nói IEEE (SLT) năm 2018, trang 112–118. IEEE, 2018.

[69] Stefanos Zafeiriou, Dimitrios Kollias, Mihalis A Nicolaou, Athanasios Papaioannou, Guoying Zhao và Irene Kotsia. Aff-wild: hóa trị và thử thách kích thích trong tự nhiên. Trong Kỷ yếu của hội nghị IEEE về hội thảo nhận dạng mẫu và thị giác máy tính, trang 34–41, 2017.

[70] Yuanyuan Zhang, Jun Du, Zirui Wang, Jianshu Zhang, và Yanhui Tu. Mạng tích chập hoàn toàn dựa trên sự chú ý để nhận dạng cảm xúc lời nói. Năm 2018, Hội nghị thượng đỉnh và hội nghị thường niên của Hiệp hội xử lý thông tin và tín hiệu châu Á-Thái Bình Dương (APSIPA ASC), trang 1771–1775. IEEE, 2018.

[71] Yuan-Hang Zhang, Rulin Huang, Jiabei Zeng, và Shiguang Shan. M 3 f: Ước tính kích thích hóa trị liên tục đa phương thức trong tự nhiên. Hội nghị quốc tế lần thứ 15 của IEEE về nhận dạng cử chỉ và khuôn mặt tự động (FG 2020) năm 2020, trang 632–636. IEEE, 2020.