paint-brush
Görev Ayrıştırma Yoluyla Film Fragmanı Oluşturma: Sonuçlar: Ablasyon Çalışmalarıile@kinetograph

Görev Ayrıştırma Yoluyla Film Fragmanı Oluşturma: Sonuçlar: Ablasyon Çalışmaları

Çok uzun; Okumak

Bu makalede araştırmacılar, denetlenen yöntemlerin ötesine geçerek, anlatı yapısını belirleyerek ve duyguyu tahmin ederek fragmanlar oluşturmak için filmleri grafikler olarak modelliyor.
featured image - Görev Ayrıştırma Yoluyla Film Fragmanı Oluşturma: Sonuçlar: Ablasyon Çalışmaları
Kinetograph: The Video Editing Technology Publication HackerNoon profile picture
0-item

Yazarlar:

(1) Pinelopi Papalampidi, Dil, Biliş ve Hesaplama Enstitüsü, Bilişim Okulu, Edinburgh Üniversitesi;

(2) Frank Keller, Dil, Biliş ve Hesaplama Enstitüsü, Bilişim Okulu, Edinburgh Üniversitesi;

(3) Mirella Lapata, Dil, Biliş ve Hesaplama Enstitüsü, Bilişim Okulu, Edinburgh Üniversitesi.

Bağlantı Tablosu

C. Sonuçlar: Ablasyon Çalışmaları

D. Görev Ayrıştırma Analizi

Anlatı Yapısı Fragmanlarla Nasıl Bağlantı Kurar Senaryo yazma teorisine göre [22], beş TP, filmleri altı tematik birime ayırır: “Kurulum”, “Yeni Durum”, “İlerleme”, “Karmaşıklıklar ve Yüksek Riskler”, “Son İlerleme” ve “Sonrası”. Bir fragmanda filmin hangi bölümlerinin en yaygın olduğunu incelemek için, altın fragmanlarda tematik birim başına çekimlerin dağılımını hesaplıyoruz (TRIPOD'un genişletilmiş geliştirme setini kullanarak). Şekil 4'te gösterildiği gibi, fragmanlar ortalama olarak bir filmin tüm bölümlerinden, hatta son ikisinden bile sonunu ortaya çıkarabilecek çekimler içerir. Üstelik fragman çekimlerinin çoğu (%30,33) filmin ortasından (yani İlerleme) ve başından (yani "Kurulum" ve "Yeni Durum" için sırasıyla %16,62 ve %25,45) seçiliyor. Bu ampirik gözlemler, treyler üretimine yönelik endüstri ilkelerini desteklemektedir.[10]


Daha sonra, fragmanların TP'ler tarafından belirtilen farklı türdeki önemli olayları ne sıklıkla içerdiğini buluyoruz. TP başına en az bir atış içeren fragmanların (geliştirme setindeki) yüzdesini Tablo 7'de sunuyoruz. Görüldüğü gibi treylerin yarısından fazlası (yani %52,63 ve %55,26) ilk TP ile ilgili çekimler içeriyor. iki TP varken, treylerin yalnızca %34,21'i son iki TP hakkında herhangi bir bilgiye sahip. Bu beklenen bir durumdur, çünkü ilk TP'ler hikayeye giriş niteliğindedir ve bu nedenle fragman yapımı için daha önemlidir, oysa son ikisi spoiler içerebilir ve çoğu zaman kaçınılır.


Duyarlılık Fragmanlarla Nasıl Bağlantı Kurar Fragman yapımına ilişkin ampirik kurallar[11], bir fragmanın izleyicileri cezbetmek için orta yoğunlukta çekimlerle başlamasını, ardından film hakkında önemli bilgiler vermek için duygu yoğunluğunu azaltmasını ve son olarak gerilimi artırmasını önerir. doruğa ulaşana kadar.


Burada, tahmin edilen duyarlılık puanlarına dayalı olarak geliştirme setimizdeki gerçek fragmanlardaki duygu akışını analiz ediyoruz (bkz. Bölüm 3.5 ve 4). Spesifik olarak, (gerçek) fragmanlardaki çekim başına mutlak duygu yoğunluğunu (yani pozitif/negatif kutuplardan bağımsız olarak) hesaplıyoruz. Deney düzeneğimize uygun olarak, görsel benzerliğe dayalı olarak fragman çekimlerini film çekimleriyle yeniden eşleştiriyoruz ve ağımız tarafından tahmin edilen ilgili duygu puanlarını dikkate alıyoruz. Daha sonra fragmanı üç eşit bölüme ayırıyoruz ve bölüm başına ortalama mutlak duygu yoğunluğunu hesaplıyoruz. Tablo 8'de sonuçlar sunulmaktadır. Beklendiği gibi, ortalama olarak ikinci bölüm en az yoğun, üçüncü bölüm ise en yüksek duygu yoğunluğuna sahiptir. Son olarak, her bir fragmanı tekrar üç eşit bölüme ayırdığımızda ve bir bölümden diğerine duygu akışını ölçtüğümüzde, GRAPHTRAILER ile teklif fragmanları oluşturmak için kullandığımız duyarlılık koşuluna benzer şekilde, fragmanların %46,67'sinin "V" şeklini takip ettiğini görüyoruz. .


GRAPHTRAILER'daki Yürüyüş Örnekleri Şekil 5 ve 6'da, “The Shining” filmi için GRAPHTRAILER'ın seyrek (çekim) bir grafik üzerinde nasıl çalıştığına dair gerçek bir örnek sunuyoruz. Burada, daha iyi görselleştirme için algoritmanın iç işleyişini daha da kısaltılmış bir grafik üzerinde gösteriyoruz (Adım 1; Şekil 5), gerçekte ise grafiğin tamamını GRAPHTRAILER'a girdi olarak kullanıyoruz.


Şekil 5. “The Shining” filmi için GRAPHTRAILER algoritmasının çalıştırılması. Adım 1, filmde tahmin edilen farklı TP türlerini (yani TP1, TP2, TP3, TP4, TP5) temsil eden renkli düğümlerle çekim seviyesi grafiğini (daha iyi görselleştirme için budanmıştır) gösterir. Algoritmamız, VİDEOGRAF ile TP1 olarak tanımlanan bir çekimin örneklenmesiyle başlar (Adım 1). Sonraki her adım için, yalnızca mevcut çekimin yakın komşuluğunu (yani 6-12 komşu) dikkate alıyoruz ve sonraki çekimi aşağıdaki kriterlere göre seçiyoruz: (1) anlamsal benzerlik, (2) zaman yakınlığı, (3) anlatı yapısı ve (4) duyarlılık yoğunluğu (2-4. Adımlar). Algoritmamız Şekil 6'da devam ediyor.


TP1 olarak tanımlanan çekimlerle başlıyoruz (yani “Fırsat”; hikayenin giriş etkinliği). Bir çekimi örnekliyoruz (yani grafikteki parlak yeşil düğümleri) ve yolumuzu başlatıyoruz. Sonraki adımlar için (2-7; gerçekte 10 adıma kadar yürütüyoruz, ancak kısa olması açısından birkaçını hariç tuttuk), yalnızca mevcut düğümün yakın komşuluğunu inceliyoruz ve yola dayalı olarak dahil edilecek bir sonraki çekimi seçiyoruz. şu kriterlere göre: (1) anlamsal tutarlılık, (2) zamana yakınlık, (3) anlatı yapısı ve (4) duygu yoğunluğu. Bu kriterleri nasıl resmileştirdiğimiz ve birleştirdiğimiz hakkında Bölüm 3.1'de daha fazla ayrıntı veriyoruz.


Algoritmamızın yolu oluştururken önemli olaylara (renkli düğümlere) yakın kalmayı başardığını gözlemliyoruz, bu da ana hikayeyle ilgisi olmayan rastgele çekimleri seçme olasılığını azalttığımız anlamına geliyor. Son olarak Adım 8, Şekil 6'da, alınan yoldaki tüm çekimleri birleştirerek teklif fragmanını oluşturuyoruz. Ayrıca grafikteki yolu da gösteriyoruz (yani kırmızı çizgi).


Yaklaşımımızın bir avantajı yorumlanabilir olması ve döngüde bir insanın olduğu bir araç olarak kolayca kullanılabilmesidir. Spesifik olarak, her adımda yakın komşuluk göz önüne alındığında, çekimler farklı otomatik kriterlere göre ve hatta manuel olarak seçilebilir. Yaklaşımımız, fragman sekansları oluşturmak için gözden geçirilmesi gereken çekim miktarını filmin %10'una kadar büyük ölçüde azaltıyor. Üstelik kriterlerimiz kullanıcıların filmin farklı bölümlerini keşfetmesine ve çeşitli fragmanlar oluşturmasına olanak tanıyor.

Şekil 6. Yorumlanabilir kriterlere göre yakın çevreden bir sonraki çekimi seçerek karavan yolunu oluşturmaya devam ediyoruz (Adım 5-7). Son olarak yoldaki çekimleri birleştirerek teklif fragmanını oluşturuyoruz. Algoritmamız, kullanıcıların her adımda aday çekimleri incelemesine ve kriterlerimizi dikkate alarak en iyisini manuel olarak seçmesine olanak tanır. GRAPHTRAILER, kullanıcıların yorumlanabilir önerilere (ör. önceki çekimle tutarlılık, hikayeyle alaka veya yoğunluk) dayalı olarak filmin yalnızca yaklaşık %10'unu inceleyerek fragman oluşturmasına olanak tanır.



[10] https://archive.nytimes.com/www.nytimes.com/interactive/2013/02/19/movies/wardsseason/oscar-trailers.html?_r=0


[11] https://www.derek-lieu.com/blog/2017/9/10/the matrix-is-a-trailer-editors-dream