145 okumalar

VEATIC: Bağlam Veri Kümesinde Video Tabanlı Duygu ve Duygu Takibi: Ek Açıklama Ayrıntıları

ile Kinetograph: The Video Editing Technology Publication2m2024/05/27

Çok uzun; Okumak

Bu yazıda araştırmacılar, insan etkisinin tanınması için VEATIC veri setini tanıtıyor, mevcut veri setlerindeki sınırlamaları ele alıyor ve bağlama dayalı çıkarımı mümkün kılıyor.

featured image - VEATIC: Bağlam Veri Kümesinde Video Tabanlı Duygu ve Duygu Takibi: Ek Açıklama Ayrıntıları

Bu makale arxiv'de CC 4.0 lisansı altında mevcuttur.

Yazarlar:

(1) Zhihang Ren, Kaliforniya Üniversitesi, Berkeley ve bu yazarlar bu çalışmaya eşit katkıda bulunmuşlardır (E-posta: [email protected]);

(2) Jefferson Ortega, California Üniversitesi, Berkeley ve bu yazarlar bu çalışmaya eşit katkıda bulunmuşlardır (E-posta: [email protected]);

(3) Yifan Wang, California Üniversitesi, Berkeley ve bu yazarlar bu çalışmaya eşit katkıda bulunmuşlardır (E-posta: [email protected]);

(4) Zhimin Chen, Kaliforniya Üniversitesi, Berkeley (E-posta: [email protected]);

(5) Yunhui Guo, Dallas'taki Texas Üniversitesi (E-posta: [email protected]);

(6) Stella X. Yu, Kaliforniya Üniversitesi, Berkeley ve Michigan Üniversitesi, Ann Arbor (E-posta: [email protected]);

(7) David Whitney, Kaliforniya Üniversitesi, Berkeley (E-posta: [email protected]).

Bağlantı Tablosu

8. Ek Açıklama Ayrıntıları

Toplamda VEATIC veri kümesindeki videolara açıklama ekleyen 192 katılımcımız vardı. Seksen dört katılımcı 0-82 arasındaki video kimliklerine açıklama ekledi. Yüz sekiz katılımcı, VEATIC veri kümesinin planlanmasından önce 83-123 numaralı video kimliklerine açıklama ekledi. Özellikle, elli bir katılımcı 83-94 numaralı video kimliklerine açıklama ekledi, yirmi beş katılımcı 95-97 numaralı video kimliklerine açıklama ekledi ve 32 katılımcı 98-123 numaralı video kimliklerine açıklama ekledi.

VEATIC veri setinin bir diğer yeniliği de etkileşimli karakterlere sahip videolar ve aynı videodaki ayrı karakterler için derecelendirmeler içermesidir. Bu videolar, video kimlikleri 98-123 olanlardır. Ardışık her video çifti için video kareleri tamamen aynıdır ancak sürekli duygu derecelendirmeleri, seçilen farklı karakterlere göre açıklanır. Şekil 11'de bir örnek gösterilmektedir. Bu çalışmada ilk olarak bu açıklama sürecini öneriyoruz çünkü gelecekteki algoritmalara, karakterler arasındaki etkileşimler ve tam olarak aynı bağlam bilgisi göz önüne alındığında modellerin seçilen karakterlerin duygularını öğrenip öğrenmediğini test etmek için bir yol sağlar. İyi bir duygu tanıma algoritması bu karmaşık durumla başa çıkmalıdır.