tác giả:  (1) Juan F. Montesinos, Khoa Công nghệ Thông tin và Truyền thông Đại học Pompeu Fabra, Barcelona, Tây Ban Nha {juanfelipe.montesinos@upf.edu};  (2) Olga Slizovskaia, Khoa Công nghệ Thông tin và Truyền thông Đại học Pompeu Fabra, Barcelona, Tây Ban Nha {olga.slizovskaia@upf.edu};  (3) Gloria Haro, Khoa Công nghệ Thông tin và Truyền thông Đại học Pompeu Fabra, Barcelona, Tây Ban Nha {gloria.haro@upf.edu}.  Bảng liên kết   Tóm tắt và giới thiệu   Công việc có liên quan   Tập dữ liệu   Thí nghiệm   Kết luận và tài liệu tham khảo  III. TẬP DỮ LIỆU  Solos[1] được thiết kế để có cùng danh mục với tập dữ liệu URMP [1], do đó, URMP có thể được sử dụng làm tập dữ liệu thử nghiệm trong kịch bản thế giới thực. Bằng cách này, chúng tôi mong muốn thiết lập một cách tiêu chuẩn để đánh giá hiệu suất của các thuật toán tách nguồn, tránh sử dụng tính năng trộn và tách trong thử nghiệm. Solo bao gồm 755 bản ghi được phân bổ thành 13 danh mục như trong Hình 1, với số lượng trung bình là 58 bản ghi cho mỗi danh mục và thời lượng trung bình là 5:16 phút. Thật thú vị khi nhấn mạnh rằng, đối với 8 trong số 13 danh mục, độ phân giải trung bình là HD, mặc dù đây là tập dữ liệu do YouTube thu thập. Bạn có thể tìm thấy số liệu thống kê theo từng danh mục trong Bảng I. Những bản ghi này được thu thập bằng cách truy vấn YouTube bằng cách sử dụng thẻ solo và thử giọng bằng một số ngôn ngữ như tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Ý, tiếng Trung hoặc tiếng Nga.   A. Bộ xương OpenPose  Solos không chỉ là một tập hợp các bản ghi âm. Ngoài các bộ nhận dạng video, chúng tôi còn cung cấp: i) bộ xương cơ thể và bàn tay được OpenPose [33] ước tính trong mỗi khung hình của mỗi bản ghi và ii) dấu thời gian cho biết các phần hữu ích. OpenPose là hệ thống có khả năng dự đoán bộ xương cơ thể và bộ xương bàn tay   sử dụng hai mạng lưới thần kinh khác nhau. Để làm như vậy, họ dự đoán một bản đồ tin cậy về niềm tin rằng một bộ phận cơ thể cụ thể có thể được đặt tại bất kỳ pixel nhất định nào cũng như các trường ái lực bộ phận mã hóa mức độ liên kết giữa các bộ phận cơ thể khác nhau. Cuối cùng, nó dự đoán khung 2D và độ tin cậy trên mỗi khớp thông qua suy luận tham lam. Trong thực tế, bộ xương cơ thể được ước tính bằng mạng đầu tiên. Sau đó, vị trí của cổ tay trong bộ xương cơ thể được sử dụng để ước tính vị trí của cả hai tay. Mạng lưới thần kinh thứ hai thu được bộ xương của mỗi bàn tay một cách độc lập. Lưu ý rằng vì mỗi bộ phận cơ thể được ước tính độc lập nên OpenPose không đưa ra giả định nào về các chi được tìm thấy. Nó chỉ tính toán bộ xương có khả năng nhất dựa trên bản đồ độ tin cậy và các trường ái lực một phần. Toàn bộ quá trình được thực hiện theo khung. Điều này dẫn đến hiện tượng nhấp nháy nhỏ và dự đoán sai giữa các khung hình.     B. Ước tính dấu thời gian và sàng lọc khung  OpenPose ánh xạ các khớp được dự đoán sai về gốc tọa độ. Theo kinh nghiệm, chúng tôi phát hiện ra rằng một bước nhảy lớn như vậy ở vị trí khớp sẽ gây ra tiếng ồn. Sử dụng tọa độ nội suy giúp giải quyết vấn đề này.  Bài viết này   theo giấy phép CC BY-NC-SA 4.0 DEED. có sẵn trên arxiv  [1] Bộ dữ liệu có sẵn tại https://juanfmontesinos.github.io/Solos/

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Boost your HackerNoon story @ $159.99! 🚀

Solos: Bộ dữ liệu để phân tích âm nhạc nghe nhìn - Bộ dữ liệu

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

581 Stories To Learn About Non Fiction

179 Stories To Learn About Reading

94 Stories To Learn About John Locke

581 Stories To Learn About Non Fiction

179 Stories To Learn About Reading

94 Stories To Learn About John Locke

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps