Bài viết này có sẵn trên arxiv theo giấy phép CC 4.0.   tác giả:  (1) Jiwan Chung, MIR Lab Đại học Yonsei (   ); https://jiwanchung.github.io/  (2) Youngjae Yu, MIR Lab Đại học Yonsei (   ). https://jiwanchung.github.io/  Bảng liên kết   Tóm tắt và giới thiệu   Phương pháp   Thí nghiệm   Công việc có liên quan   Phần kết luận   Hạn chế và Tài liệu tham khảo   A. Chi tiết thử nghiệm   B. Mẫu nhắc nhở  A. Chi tiết thử nghiệm    Long Story Short sử dụng GPT-3 (tham số 175B) thông qua API OpenAI làm xương sống. Một lời nhắc trung bình để tóm tắt một phân đoạn video xử lý ∼ 3000 mã thông báo, trong khi lời nhắc QA thường chiếm ∼ 4000 mã thông báo. Đối với CLIPCheck, chúng tôi trích xuất các tính năng CLIP và tính toán độ tương tự cosin bằng cách sử dụng một GPU NVIDIA A6000: phải mất 0,5 giờ để xử lý các khung hình video cho quá trình phân tách xác thực MovieQA. Ngân sách tính toán.    . Tất cả các siêu tham số đều được xác định trước bằng cách phân tích một mẫu huấn luyện duy nhất. Đối với tìm kiếm tường thuật, chúng tôi sử dụng ngưỡng độ tương tự của câu α ≥ 0,5 để tìm các phần cốt truyện khi GPT-3 không xuất ra một chỉ mục duy nhất. Chúng tôi sử dụng ngưỡng entropy nhị phân E ′ ≥ 0,4 trong CLIPCheck. Chúng tôi chỉ chạy mỗi thử nghiệm một lần vì phương pháp của chúng tôi mang tính quyết định và không dễ bị ảnh hưởng bởi tính ngẫu nhiên khi khởi tạo. Siêu tham số    Có các chú thích ranh giới phân đoạn được xác định trước cho tất cả các tập dữ liệu chúng tôi sử dụng trong bài viết này. Ngoài ra, tất cả các phần cốt truyện đều lần lượt căn chỉnh các đoạn clip vì chúng tôi thực hiện tóm tắt trên từng đoạn clip được phân đoạn với các ranh giới được xác định trước. Ngoài ra, trước khi áp dụng LSS, chúng tôi lọc ra các phân đoạn clip 1. quá ngắn, 2. không có khung hình phù hợp hoặc 3. không có ngữ cảnh văn bản để đảm bảo rằng chúng tôi có thể truy xuất các phân đoạn clip bằng cách sử dụng tóm tắt cốt truyện. Sơ đồ phân đoạn video.    Chúng tôi sử dụng API OpenAI để truy cập mô hình ngôn ngữ GPT-3. Các tính năng CLIP được tính toán bằng cách triển khai Huggingface (https://huggingface.co/docs/transformers/main/en/model_doc/clip). Thư viện bên ngoài.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Boost your HackerNoon story @ $159.99! 🚀

Phương pháp tóm tắt rồi tìm kiếm cho chi tiết thử nghiệm trả lời câu hỏi video dài

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

94 Stories To Learn About John Locke

145 Stories To Learn About Book

147 Stories To Learn About Reading Books Online

179 Stories To Learn About Reading

94 Stories To Learn About John Locke

145 Stories To Learn About Book

147 Stories To Learn About Reading Books Online

179 Stories To Learn About Reading

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps