paint-brush
Generación de avances de películas mediante descomposición de tareas: resultados: estudios de ablaciónpor@kinetograph

Generación de avances de películas mediante descomposición de tareas: resultados: estudios de ablación

Demasiado Largo; Para Leer

En este artículo, los investigadores modelan películas como gráficos para generar avances, identificar la estructura narrativa y predecir el sentimiento, superando los métodos supervisados.
featured image - Generación de avances de películas mediante descomposición de tareas: resultados: estudios de ablación
Kinetograph: The Video Editing Technology Publication HackerNoon profile picture
0-item

Autores:

(1) Pinelopi Papalampidi, Instituto de Lenguaje, Cognición y Computación, Facultad de Informática, Universidad de Edimburgo;

(2) Frank Keller, Instituto de Lenguaje, Cognición y Computación, Facultad de Informática, Universidad de Edimburgo;

(3) Mirella Lapata, Instituto de Lenguaje, Cognición y Computación, Facultad de Informática, Universidad de Edimburgo.

Tabla de enlaces

C. Resultados: Estudios de ablación

D. Análisis de descomposición de tareas

Cómo se conecta la estructura narrativa con los avances Según la teoría de la escritura de guiones [22], los cinco TP segmentan las películas en seis unidades temáticas, a saber, "Preparación", "Nueva situación", "Progreso", "Complicaciones y riesgos más altos", "Empujón final". y "Consecuencias". Para examinar qué partes de la película son más frecuentes en un tráiler, calculamos la distribución de tomas por unidad temática en tráilers dorados (utilizando el conjunto de desarrollo extendido de TRIPOD). Como se muestra en la Figura 4, los trailers contienen en promedio tomas de todas las secciones de una película, incluso de las dos últimas, que podrían revelar el final. Además, la mayoría de las tomas de los avances (30,33%) se seleccionan desde la mitad de la película (es decir, Progreso) así como desde el principio (es decir, 16,62% y 25,45% para “Preparación” y “Nueva situación”, respectivamente). Estas observaciones empíricas corroboran los principios de la industria para la creación de remolques.[10]


A continuación, encontramos la frecuencia con la que los avances incluyen los diferentes tipos de eventos clave indicados por los TP. Presentamos el porcentaje de trailers (en el set de desarrollo) que incluyen al menos una toma por TP en la Tabla 7. Como puede verse, más de la mitad de los trailers (es decir, 52,63% y 55,26%) incluyen tomas relacionadas con el primer dos TP, mientras que sólo el 34,21% de los trailers tienen información sobre los dos últimos. Esto es de esperar, ya que los primeros TP son introductorios a la historia y, por lo tanto, más importantes para hacer avances, mientras que los dos últimos pueden contener spoilers y, a menudo, se evitan.


Cómo se conecta el sentimiento con los avances Las reglas empíricas para la creación de avances[11] sugieren que un avance debe comenzar con tomas de intensidad media para cautivar a los espectadores, luego disminuir la intensidad del sentimiento para brindar información clave sobre la película y, finalmente, aumentar la tensión. hasta llegar al clímax.


Aquí, analizamos el flujo de sentimiento en avances reales de nuestro conjunto de desarrollo en función de las puntuaciones de sentimiento previstas (consulte las Secciones 3.5 y 4). Específicamente, calculamos la intensidad absoluta del sentimiento (es decir, independientemente de la polaridad positiva/negativa) por toma en los trailers (verdaderos). De acuerdo con nuestra configuración experimental, nuevamente asignamos tomas de avances a tomas de películas en función de la similitud visual y consideramos las puntuaciones de sentimiento correspondientes predichas por nuestra red. Luego segmentamos el avance en tres secciones iguales y calculamos la intensidad de sentimiento absoluta promedio por sección. En la Tabla 8 se presentan los resultados. Como era de esperar, en promedio, la segunda parte es la menos intensa, mientras que la tercera tiene la mayor intensidad de sentimiento. Finalmente, cuando volvemos a segmentar cada avance en tres secciones iguales y medimos el flujo de sentimiento de una sección a la siguiente, encontramos que el 46,67% de los avances siguen una forma de "V", similar a nuestra condición de sentimiento para generar avances de propuesta con GRAPHTRAILER. .


Ejemplos de Paseos en GRAPHTRAILER Presentamos en las Figuras 5 y 6 un ejemplo real de cómo opera GRAPHTRAILER sobre un gráfico disperso (plano) para la película “El Resplandor”. Aquí, mostramos el funcionamiento interno del algoritmo en un gráfico más recortado para una mejor visualización (Paso 1; Figura 5), mientras que en realidad usamos el gráfico completo como entrada para GRAPHTRAILER.


Figura 5. Ejecución del algoritmo GRAPHTRAILER para la película “El Resplandor”. El paso 1 ilustra el gráfico a nivel de toma (recortado para una mejor visualización) con nodos de colores que representan los diferentes tipos de TP predichos en la película (es decir, TP1, TP2, TP3, TP4, TP5). Nuestro algoritmo comienza muestreando una toma identificada como TP1 por VIDEOGRAFÍA (Paso 1). Para cada paso siguiente, solo consideramos la vecindad inmediata de la toma actual (es decir, entre 6 y 12 vecinos) y seleccionamos la siguiente toma según los siguientes criterios: (1) similitud semántica, (2) proximidad temporal, (3) narrativa. estructura y (4) intensidad del sentimiento (Pasos 2 a 4). Nuestro algoritmo continúa en la Figura 6.


Comenzamos con tomas que han sido identificadas como TP1 (es decir, "Oportunidad"; evento introductorio de la historia). Tomamos una muestra de una toma (es decir, nodos de color verde brillante en el gráfico) e inicializamos nuestro camino. Para los siguientes pasos (2 a 7; en realidad, ejecutamos hasta 10 pasos, pero excluimos algunos por brevedad), solo examinamos la vecindad inmediata del nodo actual y seleccionamos el siguiente disparo que se incluirá en la ruta según sobre los siguientes criterios: (1) coherencia semántica, (2) proximidad temporal, (3) estructura narrativa y (4) intensidad del sentimiento. Damos más detalles sobre cómo formalizamos y combinamos estos criterios en la Sección 3.1.


Observamos que nuestro algoritmo logra permanecer cerca de eventos importantes (nodos de colores) mientras crea el camino, lo que significa que reducimos la probabilidad de seleccionar tomas aleatorias que son irrelevantes para la historia principal. Finalmente, en el Paso 8, Figura 6, ensamblamos el avance de la propuesta concatenando todas las tomas en la ruta recuperada. También ilustramos la ruta en el gráfico (es decir, la línea roja).


Una ventaja de nuestro enfoque es que es interpretable y se puede utilizar fácilmente como una herramienta con un ser humano al tanto. En concreto, dada la vecindad inmediata de cada paso, se podrían seleccionar tomas en función de diferentes criterios automáticos o incluso manualmente. Nuestro enfoque reduce drásticamente la cantidad de tomas que deben revisarse para crear secuencias de avances al 10% de la película. Además, nuestros criterios permiten a los usuarios explorar diferentes secciones de la película y crear diversos avances.

Figura 6. Continuamos construyendo el camino del tráiler seleccionando la siguiente toma del vecindario inmediato según criterios interpretables (Pasos 5 a 7). Finalmente, armamos el trailer de la propuesta concatenando los planos en el recorrido. Nuestro algoritmo permite a los usuarios revisar las tomas candidatas en cada paso y seleccionar manualmente la mejor teniendo en cuenta nuestros criterios. GRAPHTRAILER permite a los usuarios crear avances revisando solo alrededor del 10% de la película en función de recomendaciones que sean interpretables (por ejemplo, coherencia con la toma anterior, relevancia para la historia o intensidad).


Este documento está disponible en arxiv bajo licencia CC BY-SA 4.0 DEED.


[10] https://archive.nytimes.com/www.nytimes.com/interactive/2013/02/19/movies/wardsseason/oscar-trailers.html?_r=0


[11] https://www.derek-lieu.com/blog/2017/9/10/la matriz-es-un-trailer-editores-sueño