Yazarlar:  (1) Pinelopi Papalampidi, Dil, Biliş ve Hesaplama Enstitüsü, Bilişim Okulu, Edinburgh Üniversitesi;  (2) Frank Keller, Dil, Biliş ve Hesaplama Enstitüsü, Bilişim Okulu, Edinburgh Üniversitesi;  (3) Mirella Lapata, Dil, Biliş ve Hesaplama Enstitüsü, Bilişim Okulu, Edinburgh Üniversitesi.  Bağlantı Tablosu   Özet ve Giriş   Alakalı iş   Problem Formülasyonu   Deneysel kurulum   Sonuçlar ve Analiz   Sonuçlar ve Referanslar   A. Model Detayları   B. Uygulama Detayları   C. Sonuçlar: Ablasyon Çalışmaları  3. Problemin Formülasyonu  Fragman oluşturma, M çekimlerden (LM) oluşan tam uzunlukta bir filmden L çekimlerin seçilmesini gerektirir. Filmler, farklı alt kurgular veya doğrusal olmayan bir şekilde gelişen olaylar içerebilen karmaşık hikayeler sunarken, "doldurucular" adı verilen gereksiz olaylar ana hikayeyi zenginleştirir. Dolayısıyla ardışık çekimlerin zorunlu olarak anlamsal olarak ilişkili olduğunu varsayamayız. Olaylar arasındaki ilişkileri daha iyi araştırmak için filmleri grafikler halinde temsil ediyoruz [42]. G = (V, E), V köşelerinin çekim olduğu ve E kenarlarının anlamsal benzerliklerini temsil ettiği bir grafiği göstersin. Ayrıca, yalnızca önceki çekimlerden gelecek çekimlere doğru yönlendirilmiş kenarlara izin vererek, G'deki çekimlerin orijinal zamansal sırasını da dikkate alıyoruz. G, i atışından gelecekteki j atışına geçiş olasılığını kaydeden üst üçgen geçiş matrisi T ile tanımlanır.  G dahilinde, bazı çekimlerin filmdeki önemli olayları (Şekil 2'deki kalın daireler) tanımladığını, tüm çekimlerin ise yoğunluğunun bir puanla gösterilen (Şekil 2'deki yeşil/kırmızı tonları) bir duyguya (olumlu veya olumsuz) sahip olduğunu varsayıyoruz. . G'yi geçmek ve fragman çekimlerinin dizilerini seçmek için bir algoritma öneriyoruz. Aşağıda, ilk önce bu algoritmayı açıklayacağız (Bölüm 3.1) ve ardından G grafiğinin nasıl öğrenildiğini ve TP tanımlama yoluyla anahtar olayların nasıl tespit edildiğini tartışacağız [41] (Bölüm 3.2). Son olarak atışa dayalı duyarlılık puanlarının nasıl tahmin edildiğini de açıklıyoruz (Bölüm 3.5).  3.1. Film Grafiği Geçişi   Toplamda L çekim seçiyoruz (hedef fragman uzunluğuna bağlı olarak) ve Şekil 2'de (koyu çizgi) gösterildiği gibi bir teklif fragmanı dizisi alıyoruz. Her adımda, oluşturulan duyarlılık akışını ve şu ana kadar belirlenen TP'leri takip ediyoruz (Algoritma 1'de sırasıyla 10 ve 13-14. satırlar). Bir çekim veya yakın komşuları yola eklenmişse fragmanda sunulmak üzere bir TP olayı seçilmiştir.  3.2. TP Tanımlaması   Video tabanlı model, çekim düzeyindeki TP etiketlerine erişimi varsayar. Ancak TP tanımlaması için bildiğimiz tek veri seti senaryolara dayalı sahne düzeyinde etiketler içeren TRIPOD'dur [41]. Daha ince taneli etiketler elde etmek için, basit bire-çok eşlemenin ardından sahneye dayalı açıklamaları çekimlere yansıtırız (ayrıntılar için Bölüm 4'e bakın). Eğitim sinyalimiz kaçınılmaz olarak gürültülü olduğundan, senaryolara erişimin video tabanlı modeli her TP için daha temsili olan çekimleri seçmeye teşvik edeceğini varsayıyoruz. Başka bir deyişle senaryolar ayrıcalıklı bilgiyi ve örtülü bir denetim sinyalini temsil ederken, çıkarım sırasında ek ön işleme ihtiyacını da azaltır. Üstelik senaryolar, örneğin karakterler ve onların bir sahnedeki rolleri ya da onların eylemleri ve duyguları (kameranın gördüklerini tanımlayan çizgilerle iletilen) hakkında zengin miktarda ek bilgi sağlar. Aksi takdirde bu bilgilerin videoda doğru şekilde yerelleştirilmesi zor olabilir. Ayrıca, senaryoların etiketlenmemiş metin derlemelerini elde etmek nispeten kolaydır ve ağımızı önceden eğitmek için kullanılabilir.   3.3. Bilgi Damıtma  Şimdi, veri akışları (multimodal vs. salt metin) ve bunların semantik birimlere bölünmesi (çekimler vs. sahneler) açısından filmin farklı görünümlerini kapsayan iki ağ için ortak eğitim rejimimizi açıklıyoruz.     İki grafik tabanlı temsil (yani video çekimleri ve senaryo sahneleri üzerinden) arasında tutarlılığı sağlamak amacıyla iki ağ arasında ikinci bir düzenleme kaybı kullanılmasını öneriyoruz. Bu kaybın amacı iki yönlüdür: karşılaştırmalı temsil öğrenimi üzerine önceki çalışmada gösterildiği gibi iki ağ için TP tahminlerini geliştirmek [38, 39, 48] ve ayrıca çekimler arasında daha doğru bağlantıların öğrenilmesine yardımcı olmak (çekimlerin- tabanlı grafik, fragman oluşturma algoritmamıza girdi görevi görür; Bölüm 3.1). Bir filmdeki müstakil olayları anlatan senaryo sahneleriyle karşılaştırıldığında, video çekimleri yalnızca birkaç saniye uzunluğundadır ve anlamları çevredeki bağlama dayanır. Karşılık gelen senaryo sahnesine benzer semantiği korumak için bir çekim için grafik komşuluğunu zorlayarak, çekim tabanlı grafikte uygun komşuların seçimini teşvik edeceğimizi varsayıyoruz.  Temsil Tutarlılık Kaybı  3.4. Kendi Kendini Denetleyen Ön Eğitim  Ön eğitim, film videolarından daha erişilebilir olan senaryolardan daha iyi sahne temsillerini öğrenmeyi amaçlamaktadır (örneğin, daha az telif hakkı sorunu ve daha az hesaplama yükü), bu bilginin tutarlılık kayıplarımız yoluyla video tabanlı ağa aktarılacağı umuduyla.   3.5. Duygu Tahmini  Son olarak modelimiz, duygunun bir çekimden diğerine nasıl aktığını hesaba katıyor. TP tanımlaması için kullandığımız aynı ortak mimari (Bölüm 3.3) ve eğitim rejimi ile atış başına duyarlılık puanlarını tahmin ediyoruz. Video tabanlı ağ, duyarlılık etiketlerine sahip çekimler (yani olumlu, olumsuz, nötr) üzerinde eğitilirken, senaryo tabanlı ağ, duyarlılık etiketlerine sahip sahneler üzerinde eğitilir (Bölüm 4, etiketlerin nasıl elde edildiğini açıklar). Eğitimden sonra, duyarlılık akışını yakalamak ve yüksek ve düşük yoğunluklu çekimler arasında ayrım yapmak için atış başına duyarlılık etiketleri üzerinden bir olasılık dağılımı tahmin ediyoruz (ayrıntılar için Ek'e bakın).   Bu makale   . arxiv'de CC BY-SA 4.0 DEED lisansı altında mevcuttur

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Boost your HackerNoon story @ $159.99! 🚀

Görev Ayrıştırma Yoluyla Film Fragmanı Oluşturma: Problem Formülasyonu

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Forumlardan Feed'lere: Sosyal Medya Algoritmaları Dijital Etkileşimi Nasıl Şekillendiriyor

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Telegram: Kripto Adası'nın anakaraya olan köprüsü

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Forumlardan Feed'lere: Sosyal Medya Algoritmaları Dijital Etkileşimi Nasıl Şekillendiriyor

Claude Sonnet 3.5 Sistem Bilgi Sızıntısı: Adli Analiz

Telegram: Kripto Adası'nın anakaraya olan köprüsü

İş Akışınızı 10 Kat Nasıl İyileştirirsiniz: 17 Temel Uygulama

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps