Geração de trailer de filme por meio de decomposição de tarefas: trabalho relacionado

Tabela de links

• Resumo e introdução
• Trabalho relatado
• Formulação de problema
• Configuração Experimental
• Resultados e Análise
• Conclusões e Referências
• A. Detalhes do modelo
• B. Detalhes de implementação
• C. Resultados: Estudos de Ablação

2. Trabalho relacionado

Abordagens anteriores para a compreensão de filmes se concentraram principalmente em videoclipes isolados e em tarefas como alinhamento entre cenas de filmes e capítulos de livros [49], resposta a perguntas [50], legendas de vídeo para cenas de filmes [44] e conversão de texto em vídeo. recuperação [5]. Trabalhos recentes [40–42] tentam identificar estruturas narrativas de alto nível e resumir episódios inteiros de TV e filmes focando exclusivamente na modalidade textual (isto é, roteiros).

As abordagens existentes para geração de trailers exploram recursos audiovisuais superficiais, como música de fundo ou mudanças visuais entre tomadas sequenciais [24, 46]. Outro trabalho cria trailers “atraentes” com um modelo baseado em gráficos para seleção de cenas [57] ou usa um humano no circuito em conjunto com um modelo treinado em filmes de terror por meio de análise de sentimento audiovisual [47]. O conjunto de dados de detecção de momentos de trailer [53] consiste em filmes completos combinados com trailers oficiais e anotações para momentos importantes, mas não está disponível publicamente e não inclui roteiros.

A destilação do conhecimento [3, 23] foi originalmente proposta para destilar informações de um modelo maior de professor para um modelo menor de aluno. A destilação generalizada [30] fornece uma estrutura para o uso de informações privilegiadas, ou seja, informações que estão disponíveis apenas no momento do treinamento. O mais relacionado ao nosso trabalho é o uso de diferentes modalidades ou visualizações do mesmo conteúdo [33, 34], por exemplo, narrações transcritas para aprender representações visuais em vídeos instrucionais. Aproveitamos os roteiros como uma fonte de informações privilegiadas e destilamos conhecimento sobre eventos, personagens e cenas de um filme, que posteriormente exploramos para identificar cenas dignas de trailer em vídeo.