paint-brush
작업 분해를 통한 영화 예고편 생성: 결과: 절제 연구~에 의해@kinetograph

작업 분해를 통한 영화 예고편 생성: 결과: 절제 연구

너무 오래; 읽다

본 논문에서 연구자들은 영화를 그래프로 모델링하여 예고편을 생성하고 내러티브 구조를 식별하고 감정을 예측하여 지도 방법을 능가합니다.
featured image - 작업 분해를 통한 영화 예고편 생성: 결과: 절제 연구
Kinetograph: The Video Editing Technology Publication HackerNoon profile picture
0-item

저자:

(1) 에딘버러 대학교 정보학부 언어, 인지 및 계산 연구소의 Pinelopi Papalampidi;

(2) 프랭크 켈러(Frank Keller), 에든버러 대학교 정보학부 언어, 인지 및 계산 연구소;

(3) 미렐라 라파타(Mirella Lapata), 에딘버러 대학교 정보학부 언어, 인지 및 계산 연구소.

링크 표

C. 결과: 절제 연구

D. 업무 분해 분석

내러티브 구조가 예고편과 연결되는 방법 시나리오 작성 이론[22]에 따르면 5개의 TP는 영화를 6개의 주제 단위, 즉 "설정", "새로운 상황", "진행", "복잡성과 더 높은 위험", "최종 추진"으로 나눕니다. , 그리고 "여파". 예고편에서 영화의 어느 부분이 가장 많이 나타나는지 조사하기 위해 골드 예고편의 주제별 단위당 장면 분포를 계산합니다(TRIPOD의 확장 개발 세트 사용). 그림 4에서 볼 수 있듯이 평균적으로 예고편에는 영화의 모든 섹션, 심지어 마지막 두 섹션의 장면이 포함되어 결말이 드러날 수 있습니다. 더욱이 대부분의 예고편 장면(30.33%)은 영화 중간(즉, Progress)과 처음부터 선택됩니다(즉, "Setup"과 "New Situation"의 경우 각각 16.62% 및 25.45%). 이러한 경험적 관찰은 예고편 제작에 대한 업계 원칙을 확증합니다.[10]


다음으로 예고편에 TP로 표시된 다양한 유형의 주요 이벤트가 얼마나 자주 포함되는지 확인합니다. 우리는 표 7에서 TP당 최소한 하나의 샷을 포함하는 예고편(개발 세트의) 비율을 제시합니다. 볼 수 있듯이 예고편의 절반 이상(즉, 52.63% 및 55.26%)이 첫 번째 장면과 관련된 샷을 포함합니다. 두 개의 TP가 있는 반면, 예고편의 34.21%만이 마지막 두 개의 TP에 대한 정보를 가지고 있습니다. 첫 번째 TP는 스토리에 대한 소개이므로 예고편 제작에 더 중요한 반면, 마지막 두 TP는 스포일러를 포함할 수 있어 종종 회피되기 때문에 이는 예상된 것입니다.


감정이 예고편과 연결되는 방식 예고편 제작에 대한 경험적 규칙[11]에 따르면 예고편은 시청자를 사로잡기 위해 중간 강도의 샷으로 시작한 다음 영화에 대한 핵심 정보를 전달하기 위해 감정 강도를 낮추고 최종적으로 긴장감을 조성해야 한다고 제안합니다. 클라이막스에 이를 때까지.


여기에서는 예측된 감정 점수를 기반으로 개발 세트에서 실제 예고편의 감정 흐름을 분석합니다(섹션 3.5 및 4 참조). 구체적으로 우리는 (진짜) 예고편의 샷당 절대적인 감정 강도(즉, 긍정적/부정적 극성에 관계 없이)를 계산합니다. 실험 설정에 따라 시각적 유사성을 기반으로 예고편 장면을 영화 장면에 다시 매핑하고 네트워크에서 예측한 해당 감정 점수를 고려합니다. 그런 다음 예고편을 세 개의 동일한 섹션으로 분할하고 섹션당 평균 절대 감정 강도를 계산합니다. 표 8에 결과가 제시되어 있다. 예상한 대로 평균적으로 두 번째 부분의 강도가 가장 낮고 세 번째 부분의 감정 강도가 가장 높습니다. 마지막으로 각 예고편을 3개의 동일한 섹션으로 다시 분할하고 한 섹션에서 다음 섹션으로의 감정 흐름을 측정하면 예고편의 46.67%가 GRAPHTRAILER를 사용하여 제안서 예고편을 생성하기 위한 감정 조건과 유사한 "V" 모양을 따른다는 것을 알 수 있습니다. .


GRAPHTRAILER의 워크 예 그림 5와 6에는 영화 "The Shining"의 희소(샷) 그래프에서 GRAPHTRAILER가 어떻게 작동하는지에 대한 실제 예가 나와 있습니다. 여기에서는 더 나은 시각화를 위해 추가로 정리된 그래프에 대한 알고리즘의 내부 작업을 보여 주며(1단계, 그림 5) 실제로는 전체 그래프를 GRAPHTRAILER에 대한 입력으로 사용합니다.


그림 5. 영화 '샤이닝'에 대한 GRAPHTRAILER 알고리즘 실행. 1단계에서는 영화에서 예측된 다양한 유형의 TP(예: TP1, TP2, TP3, TP4, TP5)를 나타내는 색상 노드가 있는 샷 수준 그래프(더 나은 시각화를 위해 정리됨)를 보여줍니다. 우리의 알고리즘은 VIDEOGRAPH에서 TP1로 식별된 샷을 샘플링하는 것으로 시작됩니다(1단계). 다음 단계마다 현재 샷의 바로 이웃(예: 6~12개 이웃)만 고려하고 다음 기준에 따라 다음 샷을 선택합니다. (1) 의미 유사성, (2) 시간 근접성, (3) 내러티브 구조 및 (4) 감정 강도(2~4단계). 우리의 알고리즘은 그림 6에서 계속됩니다.


TP1(예: "기회", 스토리 소개 이벤트)으로 식별된 장면부터 시작합니다. 샷(즉, 그래프의 밝은 녹색 노드)을 샘플링하고 경로를 초기화합니다. 다음 단계(2~7; 실제로는 최대 10개 단계를 실행하지만 간략화를 위해 일부는 제외함)에서는 현재 노드의 바로 이웃만 검사하고 경로 기반에 포함될 다음 샷을 선택합니다. (1) 의미론적 일관성, (2) 시간 근접성, (3) 서사 구조, (4) 정서 강도 등의 기준을 따릅니다. 섹션 3.1에서 이러한 기준을 공식화하고 결합하는 방법에 대한 자세한 내용을 제공합니다.


우리는 우리의 알고리즘이 경로를 생성하는 동안 중요한 이벤트(색상 노드)에 가깝게 유지하는 것을 관찰했습니다. 이는 메인 스토리와 관련 없는 무작위 장면을 선택할 확률을 줄이는 것을 의미합니다. 마지막으로 그림 6의 8단계에서는 검색된 경로의 모든 샷을 연결하여 제안 예고편을 조립합니다. 또한 그래프에 경로(빨간색 선)를 표시합니다.


우리 접근 방식의 장점은 해석이 가능하고 인간이 루프에 참여하는 도구로 쉽게 사용할 수 있다는 것입니다. 특히, 각 단계의 바로 이웃이 주어지면 다양한 자동 기준에 따라 샷을 선택하거나 수동으로 선택할 수도 있습니다. 우리의 접근 방식은 예고편 시퀀스를 만들기 위해 검토해야 하는 장면의 양을 영화의 10%로 대폭 줄였습니다. 또한 우리의 기준을 통해 사용자는 영화의 다양한 섹션을 탐색하고 다양한 예고편을 만들 수 있습니다.

그림 6. 해석 가능한 기준에 따라 바로 이웃에서 다음 장면을 선택하여 예고편 경로를 계속 구축합니다(5~7단계). 마지막으로 경로의 샷을 연결하여 제안 예고편을 구성합니다. 우리의 알고리즘을 통해 사용자는 각 단계에서 후보 사진을 검토하고 기준을 고려하면서 가장 좋은 사진을 수동으로 선택할 수 있습니다. GRAPHTRAILER를 사용하면 사용자는 해석 가능한 권장 사항(예: 이전 장면과의 일관성, 스토리 또는 강도와의 관련성)을 기반으로 영화의 약 10%만 검토하여 예고편을 만들 수 있습니다.


이 문서는 CC BY-SA 4.0 DEED 라이센스에 따라 arxiv에서 볼 수 있습니다.


[10] https://archive.nytimes.com/www.nytimes.com/interactive/2013/02/19/movies/ awardseason/oscar-trailers.html?_r=0


[11] https://www.derek-lieu.com/blog/2017/9/10/the Matrix-is-a-trailer-editors-dream