Görev Ayrıştırma Yoluyla Film Fragmanı Oluşturma: İlgili Çalışma

Bağlantı Tablosu

• Özet ve Giriş
• Alakalı iş
• Problem Formülasyonu
• Deneysel kurulum
• Sonuçlar ve Analiz
• Sonuçlar ve Referanslar
• A. Model Detayları
• B. Uygulama Detayları
• C. Sonuçlar: Ablasyon Çalışmaları

2. İlgili çalışma

Filmi anlamaya yönelik önceki yaklaşımlar esas olarak yalıtılmış video kliplere ve film sahneleri ile kitap bölümleri arasındaki hizalama [49], soru yanıtlama [50], film çekimleri için video altyazıları [44] ve metinden videoya dönüştürme gibi görevlere odaklanmıştı. geri alma [5]. Son çalışmalar [40-42] üst düzey anlatı yapısını belirlemeye ve yalnızca metinsel modaliteye (yani senaryolara) odaklanarak tüm TV bölümlerini ve filmleri özetlemeye çalışmaktadır.

Fragman oluşturmaya yönelik mevcut yaklaşımlar, arka plan müziği veya ardışık çekimler arasındaki görsel değişiklikler gibi yüzeysel görsel-işitsel özelliklerden yararlanır [24, 46]. Diğer çalışmalar, çekim seçimi için grafik tabanlı bir modelle "çekici" fragmanlar yaratır [57] veya görsel-işitsel duygu analizi yoluyla korku filmleri üzerine eğitilmiş bir modelle birlikte döngüdeki bir insanı kullanır [47]. Fragman Anı Tespiti Veri Seti [53], önemli anlara ilişkin resmi fragmanlar ve ek açıklamalarla eşleştirilmiş tam uzunlukta filmlerden oluşur, ancak kamuya açık değildir ve senaryoları içermez.

Bilginin damıtılması [3, 23] başlangıçta bilginin daha büyük bir öğretmen modelinden daha küçük bir öğrenci modeline damıtılması için önerildi. Genelleştirilmiş damıtma [30] ayrıcalıklı bilgilerin, yani yalnızca eğitim zamanında mevcut olan bilgilerin kullanılması için bir çerçeve sağlar. Çalışmamızla en çok ilgili olan, aynı içeriğe ilişkin farklı yöntemlerin veya görünümlerin kullanılmasıdır [33, 34]; örneğin, eğitici videolardaki görsel temsilleri öğrenmek için yazıya dökülmüş anlatımlar. Senaryolardan ayrıcalıklı bir bilgi kaynağı olarak yararlanırız ve bir filmdeki olaylar, karakterler ve sahneler hakkındaki bilgileri damıtarak daha sonra videodaki fragmana layık çekimleri belirlemek için kullanırız.