Bu makale arxiv'de CC 4.0 lisansı altında mevcuttur.   Yazarlar:  (1) Jiwan Chung, MIR Lab Yonsei Üniversitesi (   ); https://jiwanchung.github.io/  (2) Youngjae Yu, MIR Lab Yonsei Üniversitesi (   ). https://jiwanchung.github.io/  Bağlantı Tablosu   Özet ve Giriş   Yöntem   Deneyler   Alakalı iş   Çözüm   Sınırlamalar ve Referanslar   A. Deney Detayları   B. İstem Örnekleri  A. Deney Detayları    Uzun Hikaye Kısa, omurga olarak OpenAI API aracılığıyla GPT-3'ü (175B parametreleri) kullanır. Bir video segmentini özetlemeye yönelik ortalama bir istem yaklaşık 3000 jeton işlerken, bir QA istemi genellikle yaklaşık 4000 jeton alır. CLIPCheck için, CLIP özelliklerini çıkarıyoruz ve tek bir NVIDIA A6000 GPU kullanarak kosinüs benzerliğini hesaplıyoruz: MovieQA doğrulama bölümü için video karelerinin işlenmesi 0,5 saat sürüyor. Hesaplamalı Bütçe.    . Tüm hiperparametreler, tek bir eğitim örneğinin analiz edilmesiyle önceden tanımlanır. Anlatı araması için, GPT-3 tek bir dizin çıkarmadığında olay örgüsünü bulmak için cümle benzerliği eşiği α ≥ 0,5'i kullanırız. CLIPCheck'te ikili entropi eşiği E′ ≥ 0,4'ü kullanıyoruz. Yöntemimiz deterministik olduğu ve başlatma sırasında rastgeleliğe duyarlı olmadığı için her deneyi yalnızca bir kez çalıştırıyoruz. Hiperparametreler    Bu yazıda kullandığımız tüm veri kümeleri için önceden tanımlanmış bölüm sınırı açıklamaları bulunmaktadır. Ayrıca, önceden tanımlanmış sınırlarla bölümlere ayrılmış her klip üzerinde özetleme yaptığımız için tüm çizim parçaları sırayla hizalanmış klip bölümlerine sahiptir. Ayrıca, LSS'yi uygulamadan önce, 1. çok kısa olan, 2. hizalanmış görüntü çerçevesi olmayan veya 3. metin bağlamı olmayan klip bölümlerini, çizim özetlerini kullanarak klip bölümlerini alabildiğimizden emin olmak için filtreliyoruz. Video Segmentasyon Şeması.    GPT-3 dil modeline erişmek için OpenAI API kullanıyoruz. CLIP özellikleri Huggingface uygulamalarıyla hesaplanır (https://huggingface.co/docs/transformers/main/en/model_doc/clip). Dış Kütüphaneler.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Boost your HackerNoon story @ $159.99! 🚀

Deney Ayrıntılarında Uzun Video Soru Cevapları İçin Özetle-Sonra-Arama Yöntemi

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

Forumlardan Feed'lere: Sosyal Medya Algoritmaları Dijital Etkileşimi Nasıl Şekillendiriyor

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

Forumlardan Feed'lere: Sosyal Medya Algoritmaları Dijital Etkileşimi Nasıl Şekillendiriyor

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps