
 
 
 
 
 
 
 
 
 
 
 Tədbirlər : (1) Jiaben Chen, Massachusetts Universiteti Amherst; Xin Yan, Wuhan Universiteti Yihang Chen, Wuhan Universiteti Siyuan Cen, Massachusetts Universiteti Amherst Qinwei Ma, Tsinghua Universiteti (6) Haoyu Zhen, Şanghay Jiao Tong Universiteti; Kaizhi Qian, MIT-IBM Watson AI Laboratoriyası “Lie Lu”, “Dolby Laboratories” şirkətləri (9) Chuang Gan, Massachusetts Universiteti Amherst. : Authors (1) Jiaben Chen, Massachusetts Universiteti Amherst; Xin Yan, Wuhan Universiteti Yihang Chen, Wuhan Universiteti Siyuan Cen, Massachusetts Universiteti Amherst Qinwei Ma, Tsinghua Universiteti (6) Haoyu Zhen, Şanghay Jiao Tong Universiteti; Kaizhi Qian, MIT-IBM Watson AI Laboratoriyası “Lie Lu”, “Dolby Laboratories” şirkətləri (9) Chuang Gan, Massachusetts Universiteti Amherst. Sol tərəfdə masa Abstrakt və 1. 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. Tədbirlər Abstraksiya Bu işdə, yalnız bu iki modalitəni izləməkdə olan var olan işlərin öndərindən, 3D bütünlüklü vücut hareketləri və qənimə şagirdləri doğrudan textual lyrics inputlarından xarakterizə etmək üçün çətin bir çərşənbə hazırlayırıq. Bunu asanlaşdırmaq üçün, ilk olaraq, RapVerse datasetini, sinchronous raping vocals, lyrics və yüksək keyfiyyətli 3D bütünlüklü vücut ağları içərisində böyük bir dataset toplayırıq. RapVerse dataset ilə, bu dil, audio və motion vasitəsilə autoregresiv multimodal transformatörlərin ölçülməsi dil, audio və motion vasitəsilə qənimətli və realist vokalların və bütün vücudun insan hareketlərinin xəlqini artırmaq üçün araşdırırıq. Modalitə birləşdirmək üçün, v 1 Introduction Xatırladaq ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir Bu yazıda kritik bir problemlə üz-üzə çıxırıq: bir maşın yalnız duygusal dərinliklə musiqi edə bilər, ancaq insan kimi ifadələr və hərəkətlər ilə də işləyə bilərmi? Biz birbaşa koherent musiqi vokalları və bütün vücudda insan hareketləri (bütün vücudun hareketləri, əlləri və yüz ifadələri daxildir) birbaşa yaratmaq üçün yeni bir iş təqdim edirik, bax. Birincisi, textual liriklər birləşmiş sistem üçün doğru input forması olaraq düşünürük, çünki tekst insanlar tərəfindən məlumat yaymaq üçün çox expressive, interpretable fleksibl bir yoldur və müxtəlif modalitələr arasında bir köhnə kimi işləyə bilər. Əvvəlki işlər sayı [32], aksiya komandaları [69, 4, 23], və ya audio sinyalləri [68] inputlar kimi araşdırır, bu, semantik zəlzələ, expressivity və müxtəlif modalitələrin fleksibli birləşdirilməsində textual inputlardan aşağıdır. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. VVD-nin məlumatına görə, bu barədə “Report” xəbər verir ki, bu barədə “Report” xəbər verir ki, bu barədə “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” xəbər verir ki, “Report” “Rap-Vocal” subsetinin 108,44 saatlıq yüksək keyfiyyətli ingilis musiqisi var. “Rap-Vocal” subsetinin 108,44 saatlıq yüksək keyfiyyətli ingilis musiqisi var. “Rap-Vocal” subsetinin 108,44 saatlıq yüksək keyfiyyətli ingilis musiqisi var. “Rap-Vocal” subsetinin 108,44 saatlıq ingilis musiqisi var. “Rap-Vocal” subsetinin 108,44 saatlıq ingilis musiqisi var. “Rap-Vocal” subsetinin 108,44 saatlıq ingilis musiqisi var. RapVerse Xatırladaq ki, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse” və “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVerse”, “RapVoxVerse”, “RapVoxVerse”, “RapVoxVerse”, “RapV Buna görə də bu yazıda aşağıdaki məlumatları təqdim edirik: RapVerse, sinchronous singing vocals, lyrics və yüksək keyfiyyətli 3D holistik SMPL-X parametrləri olan böyük bir dataset təqdim edirik. • Texnologiya vasitəsilə bir çoxmodal transformatörlə musiqi vokalları və insan hareketlərini birləşdirmək üçün basit, lakin etkili bir birləşmiş çerçevəni dizayn edirik. • Çeşitli modalitələrin representasiyalarını birləşdirmək üçün, kvantizzed audio tokenləri əldə etmək üçün bir vocal-to-unit modeli istifadə edirik və diskret motion tokenləri əldə etmək üçün kompozisyonal VQVAEs istifadə edirik. • Eksperimental nəticələr göstərir ki, sistemimiz bir-modalitə istehsal sisteminin performansı ilə müqayisə edir və bu, bir-birinə vocal və motion xətti üçün yeni standartlar yaratır. 
 
 Bu dokument CC BY 4.0 DEED lisenziyası altında arxivdə verilmişdir. Bu kitab CC BY 4.0 DEED lisenziyası ilə Arşivdə hazırlıq Arşivdə hazırlıq

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Bu audio hekayənin orijinal dilində hazırlanmışdır!

Çox uzun; Oxumaq

Get Free Unlimited IP Geo Data With IPinfo Lite

Bir neçə ildir ki, bu qələbə və şagirdlər

About Author

ŞƏRHLƏR

ETİKET ASIN

BU MƏQALƏ TƏQDİM EDİLMİŞDİR

Related Stories

How Azarus's Technology is Transforming Viewer Engagement on Stream

Optimizing Operations for Real Estate Investors - Interview with Startups of the Year Nominee, Azibo

Women in Tech: Azize Sultan Shares Her Inspiring Journey from Architecture to Tech Leadership

How Azarus's Technology is Transforming Viewer Engagement on Stream

Optimizing Operations for Real Estate Investors - Interview with Startups of the Year Nominee, Azibo

Women in Tech: Azize Sultan Shares Her Inspiring Journey from Architecture to Tech Leadership

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps