paint-brush
Geração de trailer de filme por meio de decomposição de tarefas: resultados: estudos de ablaçãopor@kinetograph

Geração de trailer de filme por meio de decomposição de tarefas: resultados: estudos de ablação

Muito longo; Para ler

Neste artigo, os pesquisadores modelam filmes como gráficos para gerar trailers, identificando a estrutura narrativa e prevendo o sentimento, superando os métodos supervisionados.
featured image - Geração de trailer de filme por meio de decomposição de tarefas: resultados: estudos de ablação
Kinetograph: The Video Editing Technology Publication HackerNoon profile picture
0-item

Autores:

(1) Pinelopi Papalampidi, Instituto de Linguagem, Cognição e Computação, Escola de Informática, Universidade de Edimburgo;

(2) Frank Keller, Instituto de Linguagem, Cognição e Computação, Escola de Informática, Universidade de Edimburgo;

(3) Mirella Lapata, Instituto de Linguagem, Cognição e Computação, Escola de Informática, Universidade de Edimburgo.

Tabela de links

C. Resultados: Estudos de Ablação

D. Análise de decomposição de tarefas

Como a estrutura narrativa se conecta aos trailers De acordo com a teoria do roteiro [22], os cinco TPs segmentam os filmes em seis unidades temáticas, a saber, “Preparação”, “Nova situação”, “Progresso”, “Complicações e riscos mais elevados”, “Empurrão final” e “Consequências”. Para examinar quais partes do filme são mais predominantes em um trailer, calculamos a distribuição de tomadas por unidade temática em trailers dourados (usando o conjunto de desenvolvimento estendido do TRIPOD). Conforme mostrado na Figura 4, os trailers contêm, em média, cenas de todas as seções de um filme, até mesmo das duas últimas, o que pode revelar o final. Além disso, a maioria das cenas do trailer (30,33%) são selecionadas no meio do filme (ou seja, Progresso) e também no início (ou seja, 16,62% e 25,45% para “Preparação” e “Nova Situação”, respectivamente). Estas observações empíricas corroboram os princípios da indústria para a criação de reboques.[10]


A seguir, descobrimos com que frequência os trailers incluem os diferentes tipos de eventos principais indicados pelos TPs. Apresentamos a porcentagem de trailers (no conjunto de desenvolvimento) que incluem pelo menos um plano por TP na Tabela 7. Como pode ser visto, mais da metade dos trailers (ou seja, 52,63% e 55,26%) incluem planos relacionados ao primeiro. dois TPs, enquanto apenas 34,21% dos trailers possuem alguma informação sobre os dois finais. Isto é esperado, uma vez que os primeiros TPs são introdutórios à história e, portanto, mais importantes para a confecção de trailers, enquanto os dois últimos podem conter spoilers e são muitas vezes evitados.


Como o sentimento se conecta aos trailers As regras empíricas para a produção de trailers[11] sugerem que um trailer deve começar com cenas de intensidade média para cativar os espectadores, depois diminuir a intensidade do sentimento para fornecer informações importantes sobre o filme e, finalmente, aumentar a tensão. até chegar ao clímax.


Aqui, analisamos o fluxo de sentimento em trailers reais do nosso conjunto de desenvolvimento com base nas pontuações de sentimento previstas (ver Seções 3.5 e 4). Especificamente, calculamos a intensidade absoluta do sentimento (ou seja, independentemente da polaridade positiva/negativa) por cena nos trailers (verdadeiros). De acordo com nossa configuração experimental, mapeamos novamente as cenas do trailer para as cenas do filme com base na similaridade visual e consideramos as pontuações de sentimento correspondentes previstas pela nossa rede. Em seguida, segmentamos o trailer em três seções iguais e calculamos a intensidade média absoluta do sentimento por seção. Na Tabela 8 apresenta-se os resultados. Como esperado, em média, a segunda parte é a menos intensa, enquanto a terceira apresenta a maior intensidade de sentimento. Finalmente, quando segmentamos novamente cada trailer em três seções iguais e medimos o fluxo de sentimento de uma seção para a próxima, descobrimos que 46,67% dos trailers seguem um formato de “V”, semelhante à nossa condição de sentimento para gerar trailers de propostas com GRAPHTRAILER. .


Exemplos de Caminhadas no GRAPHTRAILER Apresentamos nas Figuras 5 e 6 um exemplo real de como o GRAPHTRAILER opera sobre um gráfico esparso (plano) para o filme “O Iluminado”. Aqui, mostramos o funcionamento interno do algoritmo em um gráfico mais podado para melhor visualização (Etapa 1; Figura 5), enquanto na realidade usamos o gráfico completo como entrada para GRAPHTRAILER.


Figura 5. Execução do algoritmo GRAPHTRAILER para o filme “O Iluminado”. A Etapa 1 ilustra o gráfico de nível de cena (removido para melhor visualização) com nós coloridos que representam os diferentes tipos de TPs previstos no filme (ou seja, TP1, TP2, TP3, TP4, TP5). Nosso algoritmo começa amostrando uma cena identificada como TP1 pelo VIDEOGRAPH (Etapa 1). Para cada passo seguinte, consideramos apenas a vizinhança imediata da cena atual (ou seja, 6 a 12 vizinhos) e selecionamos a próxima cena com base nos seguintes critérios: (1) similaridade semântica, (2) proximidade temporal, (3) narrativa estrutura e (4) intensidade do sentimento (Etapas 2-4). Nosso algoritmo continua na Figura 6.


Começamos com cenas que foram identificadas como TP1 (ou seja, “Oportunidade”; evento introdutório à história). Amostramos uma imagem (ou seja, nós verdes brilhantes no gráfico) e inicializamos nosso caminho. Para as próximas etapas (2–7; na realidade, executamos até 10 etapas, mas excluímos algumas por questões de brevidade), examinamos apenas a vizinhança imediata do nó atual e selecionamos a próxima cena a ser incluída no caminho com base nos seguintes critérios: (1) coerência semântica, (2) proximidade temporal, (3) estrutura narrativa e (4) intensidade de sentimento. Damos mais detalhes sobre como formalizamos e combinamos esses critérios na Seção 3.1.


Observamos que nosso algoritmo consegue ficar próximo de eventos importantes (nós coloridos) durante a criação do caminho, o que significa que reduzimos a probabilidade de selecionar tomadas aleatórias que são irrelevantes para a história principal. Por fim, na Etapa 8, Figura 6, montamos o trailer da proposta concatenando todas as tomadas no caminho recuperado. Também ilustramos o caminho no gráfico (ou seja, linha vermelha).


Uma vantagem de nossa abordagem é que ela é interpretável e pode ser facilmente usada como uma ferramenta com um ser humano no circuito. Especificamente, dada a vizinhança imediata em cada etapa, pode-se selecionar tomadas com base em diferentes critérios automáticos ou mesmo manualmente. Nossa abordagem reduz drasticamente a quantidade de tomadas que precisam ser revisadas para criar sequências de trailers para 10% do filme. Além disso, nossos critérios permitem aos usuários explorar diferentes seções do filme e criar diversos trailers.

Figura 6. Continuamos a construir o caminho do trailer selecionando a próxima cena da vizinhança imediata com base em critérios interpretáveis (Etapas 5–7). Por fim, montamos o trailer da proposta concatenando os planos no caminho. Nosso algoritmo permite que os usuários revisem as fotos candidatas em cada etapa e selecionem manualmente a melhor, levando em consideração nossos critérios. GRAPHTRAILER permite aos usuários criar trailers revisando apenas cerca de 10% do filme com base em recomendações que são interpretáveis (por exemplo, coerência com a cena anterior, relevância para a história ou intensidade).


Este artigo está disponível no arxiv sob licença CC BY-SA 4.0 DEED.


[10] https://archive.nytimes.com/www.nytimes.com/interactive/2013/02/19/movies/ Awardsseason/oscar-trailers.html?_r=0


[11] https://www.derek-lieu.com/blog/2017/9/10/the Matrix-is-a-trailer-editors-dream