paint-brush
Uzun Video Soru Cevaplama için Özetle-Sonra-Arama Yöntemi: Özet ve Girişile@kinetograph
110 okumalar

Uzun Video Soru Cevaplama için Özetle-Sonra-Arama Yöntemi: Özet ve Giriş

Çok uzun; Okumak

Bu makalede araştırmacılar, GPT-3'ü kullanarak sıfır çekimli video QA'yı, denetlenen modellerden daha iyi performans göstermeyi, anlatı özetlerinden ve görsel eşleştirmeden yararlanmayı araştırıyor.
featured image - Uzun Video Soru Cevaplama için Özetle-Sonra-Arama Yöntemi: Özet ve Giriş
Kinetograph: The Video Editing Technology Publication HackerNoon profile picture
0-item

Bu makale arxiv'de CC 4.0 lisansı altında mevcuttur.

Yazarlar:

(1) Jiwan Chung, MIR Lab Yonsei Üniversitesi ( https://jiwanchung.github.io/ );

(2) Youngjae Yu, MIR Lab Yonsei Üniversitesi ( https://jiwanchung.github.io/ ).

Bağlantı Tablosu

Soyut

GPT-3 gibi büyük dil modelleri, göreve özel eğitim verileri gerektirmeden yeni görevlere uyum sağlama konusunda etkileyici bir yetenek sergilemiştir. Bu yetenek, görev çeşitliliğinin çok fazla olduğu ancak mevcut denetim verilerinin küçük olduğu, anlatısal soru yanıtlama gibi ortamlarda özellikle etkili olmuştur. Bu çalışmada, bu tür dil modellerinin, sıfır atış akıl yürütme yeteneklerini, hikayenin önemli bir rol oynadığı drama, film ve animasyon gibi multimedya içeriklerindeki uzun, çok modlu anlatılara genişletip genişletemeyeceğini araştırıyoruz. Önce videonun anlatımını kısa bir olay örgüsüyle özetleyen ve ardından videonun soruyla ilgili bölümlerini araştıran, anlatımlı video QA'sı için bir çerçeve olan Uzun Hikâye Kısa'yı öneriyoruz. Ayrıca CLIPCheck ile görsel eşleşmeyi geliştirmeyi de öneriyoruz. Modelimiz, en son teknolojiye sahip denetimli modellerden büyük bir farkla daha iyi performans göstererek, uzun videolar için sıfır atışlı QA potansiyelini vurgulamaktadır.

1. Giriş

Yeni video QA modelleri, veri ve ek açıklamalardaki sınırlama nedeniyle uzun video anlatımlı QA görevlerini [2, 13, 27] (yani filmler, dramalar ve YouTube web videoları) gerçekleştirmede zorluklarla karşı karşıyadır. Bu durum kısa video klipte ağırlıklı olarak görsel soruların yanıtlanmasının ötesinde uzun video anlatımlarının anlaşılamamasına neden olmaktadır [16, 17, 30]. Bu kadar uzun video QA'larının boyutları, modelleri bir video içindeki karmaşık anlatı yapılarını tam olarak kavrayacak şekilde eğitmek için yetersizdir ve bu da optimumun altında performanslara neden olur. [10], denetlenen modellerin anlatı bağlamından çok sorudaki dil önyargılarına dayandığını göstermektedir: herhangi bir video bağlamını görmeden bile benzer performans elde edebilirler. Bu, küçük göreve özel denetimin ötesinde çok modlu muhakeme yeteneğinin gerekliliğini vurgulamaktadır.


Düşük genellemenin neden olduğu zorluğun üstesinden gelmek için, önceden eğitilmiş Büyük Dil Modellerini (LLM'ler) kullanan sıfır atış yaklaşımı, karmaşık QA görevlerini [32] ve metin bağlamı özetlemeyi [8, 37] ele almak için etkili bir alternatif olabilir. Ancak bu tür yüksek lisansların anlatı kalite güvencesi yeteneği video alanına aktarılabilir mi?



Şekil 1: Uzun Hikâye Kısa (LSS), videodan (a) Senaryo ve özetlenmiş (b) Konular oluşturmak için Büyük Dil Modellerini (LLM'ler) (yani GPT-3) kullanır. Veri işlemeyle ilgili daha fazla ayrıntı Bölüm 2'de bulunabilir. LSS video hakkındaki soruları yanıtladığında, model (c) verilen ham video görüntülerini Görsel Dil Modeli, CLIP ile doğrular ve (d) geriye doğru bir şekilde daha fazla temelli komut dosyası arar, Bölüm 2.3'te buna CLIPCheck adını veriyoruz.



Şekil 1'de gösterilen, video klipleri Sokratik Modelden esinlenerek metin senaryo formatına çeviren Uzun Hikâye Kısa'yı (LSS) öneriyoruz [35]. GPT-3'ü [1] kullanarak, önce uzun videoyu bir grafik listesi halinde özetliyoruz ve ardından verilen soruyu çözmek için hem oluşturulan özette hem de ham video bağlamında geziniyoruz. Sıfır atış yöntemimiz, MovieQA ve DramaQA veri setinde en son teknolojiye sahip denetimli yöntemlerden daha iyi sonuçlar verir. Ayrıca, GPT-3 tarafından sağlanan akıl yürütme sonuçlarının görsel hizalamasını geliştirmek için bir görsel metin eşleştirme yöntemi olan CLIPCheck'i öneriyoruz. Özetlemek gerekirse, ana katkılarımız üç yönlüdür:


  1. Uzun bir video anlatımını bir olay örgüsü listesiyle özetleyen ve soruyla ilgili alt konuyu getiren bir çerçeve olan LSS'yi sunuyoruz.


  2. Görsel yönlendirmede CLIP tabanlı eşleştirme yoluyla görsel hizalama gücünü dikkate almanın önemini gösteriyoruz.


  3. Sıfır atış yaklaşımımız, MovieQA [27] ve DramaQA [2]'de denetlenen temel çizgilerden daha iyi performans gösteren son teknoloji ürünü performansa ulaşıyor.