145 leituras

VEATIC: Rastreamento de emoção e afeto baseado em vídeo em conjunto de dados de contexto: detalhes da anotação

por Kinetograph: The Video Editing Technology Publication2m2024/05/27

Muito longo; Para ler

Neste artigo, os pesquisadores apresentam o conjunto de dados VEATIC para reconhecimento de afeto humano, abordando as limitações dos conjuntos de dados existentes, permitindo inferência baseada no contexto.

featured image - VEATIC: Rastreamento de emoção e afeto baseado em vídeo em conjunto de dados de contexto: detalhes da anotação

Este artigo está disponível no arxiv sob licença CC 4.0.

Autores:

(1) Zhihang Ren, Universidade da Califórnia, Berkeley e estes autores contribuíram igualmente para este trabalho (E-mail: [email protected]);

(2) Jefferson Ortega, Universidade da Califórnia, Berkeley e estes autores contribuíram igualmente para este trabalho (E-mail: [email protected]);

(3) Yifan Wang, Universidade da Califórnia, Berkeley e estes autores contribuíram igualmente para este trabalho (E-mail: [email protected]);

(4) Zhimin Chen, Universidade da Califórnia, Berkeley (E-mail: [email protected]);

(5) Yunhui Guo, Universidade do Texas em Dallas (E-mail: [email protected]);

(6) Stella X. Yu, Universidade da Califórnia, Berkeley e Universidade de Michigan, Ann Arbor (E-mail: [email protected]);

(7) David Whitney, Universidade da Califórnia, Berkeley (E-mail: [email protected]).

Tabela de Links

8. Detalhes da anotação

No total, tivemos 192 participantes que anotaram os vídeos no conjunto de dados VEATIC. Oitenta e quatro participantes anotaram IDs de vídeo de 0 a 82. Cento e oito participantes anotaram os IDs de vídeo 83-123 antes do planejamento do conjunto de dados VEATIC. Em particular, cinquenta e um participantes anotaram as IDs de vídeo 83-94, vinte e cinco participantes anotaram as IDs de vídeo 95-97 e 32 participantes anotaram as IDs de vídeo 98-123.

Outra novidade do conjunto de dados VEATIC é que ele contém vídeos com personagens interagindo e classificações para personagens separados no mesmo vídeo. Esses vídeos são aqueles com IDs de vídeo 98-123. Para cada par de vídeo consecutivo, os quadros de vídeo são exatamente os mesmos, mas as classificações de emoção contínua são anotadas com base em diferentes caracteres selecionados. A Figura 11 mostra um exemplo. Neste estudo, propomos primeiro este processo de anotação porque ele fornece aos algoritmos futuros uma maneira de testar se os modelos aprendem a emoção dos personagens selecionados, dadas as interações entre os personagens e exatamente as mesmas informações de contexto. Um bom algoritmo de reconhecimento de emoções deve lidar com esta situação complicada.