
 
 
 
 
 
 
 
 
 
 
 Penulis : (1) Jiaben Chen, Universiti Massachusetts Amherst; (2) Xin Yan, Universiti Wuhan; (3) Yihang Chen, Universiti Wuhan; (4) Siyuan Cen, Universiti Massachusetts Amherst; (5) Qinwei Ma, Universiti Tsinghua; (6) Haoyu Zhen, Universiti Shanghai Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Universiti Massachusetts Amherst. : Authors (1) Jiaben Chen, Universiti Massachusetts Amherst; (2) Xin Yan, Universiti Wuhan; (3) Yihang Chen, Universiti Wuhan; (4) Siyuan Cen, Universiti Massachusetts Amherst; (5) Qinwei Ma, Universiti Tsinghua; (6) Haoyu Zhen, Universiti Shanghai Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Universiti Massachusetts Amherst. Jadual kiri Abstrak dan pengenalan 1. 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. Tambahan abstrak Dalam kerja ini, Exterse memperkenalkan satu tugas yang mencabar untuk menghasilkan pergerakan badan holistik 3D dan vokal menyanyi secara bersamaan dari input teks lyrics, melampaui kerja-kerja sedia ada yang biasanya menangani kedua-dua modalitas ini secara berasingan. Untuk memudahkan ini, kami mula-mula mengumpul dataset RapVerse, set data besar yang mengandungi vokal rap yang bersamaan, lyrics, dan mesh badan holistik 3D berkualiti tinggi. Dengan set data RapVerse pur, kami menyiasat sejauh mana skala pengubahsuaian multimodal autoregresif di seluruh bahasa, audio, dan gerakan boleh meningkatkan pengeluaran yang koheren dan realistik vokal dan gerakan manusia seluruh badan. Untuk pengundian modalitas, auto-kodean variasi vektor digunakan untuk mengkodkan urutan pergerakan seluruh badan ke dalam token pergerakan 1 Pengenalan Dalam landskap yang berkembang dari pengeluaran kandungan multi-modal dalam hal bunyi dan gerak, kemajuan yang signifikan telah dibuat dalam modalitas individu, termasuk teks-ke-musik [54, 1, 21], teks-ke-bunyi [32], teks-ke-gerakan [13, 69, 4, 23, 34], dan audio-ke-gerakan [68, 15, 31]. Perkembangan ini telah membuka jalan bagi penciptaan kandungan digital yang lebih dinamik dan interaktif. Walaupun kemajuan ini, kerja-kerja yang sedia ada kebanyakan beroperasi dalam silos, menangani setiap modalitas secara berasingan. Walau bagaimanapun, terdapat bukti psikologi yang kuat bahawa bagi manusia, pengeluaran bunyi dan gerak sangat berkaitan dan dikaitkan [28]. Sistem bersatu untuk pengeluaran bersama membolehkan komunikasi emosi, niat, dan konteks yang lebih ekspresif, di Dalam makalah ini, kami menangani masalah yang penting: bolehkah mesin bukan sahaja menyanyi dengan kedalaman emosi tetapi juga melakukan dengan ekspresi dan gerakan yang serupa dengan manusia? kami mencadangkan tugas baru untuk menghasilkan vokal menyanyi yang konsisten dan pergerakan manusia seluruh badan (termasuk pergerakan badan, gestur tangan, dan ekspresi muka) secara bersamaan, lihat Gambar 1. Pertama, kita menganggap lirik teks sebagai bentuk input yang betul untuk sistem bersatu, kerana teks menyediakan cara yang sangat ekspresif dan fleksibel untuk menyampaikan maklumat oleh manusia, dan boleh berfungsi sebagai jambatan antara pelbagai modalitas. usaha terdahulu mengeksplorasi skor [32], perintah tindakan [69, 4, 23], atau isyarat audio [68] sebagai input, yang lebih rendah daripada input teks dalam hal kekayaan semantik, ekspresiviti dan integrasi fleksibel modalitas yang berbeza. Kedua, kita menganggap bahawa sistem pengeluaran gabungan yang boleh menghasilkan output multi-modal secara bersamaan adalah lebih baik daripada sistem kaskad yang menjalankan pengeluaran single-modal secara berurutan. Sistem kaskad, menggabungkan modul teks-ke-suara dengan modul vokal-ke-pergerakan, berisiko mengumpul kesilapan di setiap peringkat pengeluaran. Sebagai contoh, penjelasan yang salah dalam fasa teks-ke-suara boleh membawa kepada pengeluaran pergerakan yang tidak tepat, dengan itu mencairkan koherensi yang dimaksudkan daripada output. Untuk membina sistem data tumpuan bersama, cabaran utama termasuk: 1) kekurangan set data yang menyediakan lirik, vokal, dan anotasi gerakan seluruh badan 3D secara bersamaan; dan 2) keperluan untuk seni bina yang bersatu yang mampu menyatukan vokal dan pergerakan dari teks secara konsisten. Menanggapi cabaran ini, kami telah menguruskan RapVerse, set data skala besar yang mempunyai koleksi yang komprehensif lirik, vokal menyanyi, dan pergerakan seluruh badan 3D. Walaupun terdapat set data yang tersedia untuk teks-ke-vokal [32, 22, 8, 55], teks-ke-motion [44, 35, 13, 30], dan audio-ke-motion [3, 15, 9, 5, 65], landskap tidak mempunyai satu set data yang bersatu yang menggabungkan vokal menyanyi, pergerakan keseluruhan badan, pergerakan audio dan lirik secara bersamaan. Paling Kumpulan data dibahagikan kepada dua bahagian yang berbeza untuk memenuhi pelbagai keperluan penyelidikan: 1) Subset Rap-Vocal yang mengandungi sejumlah besar pasangan vokal dan lirik, dan 2) Subset Rap-Motion yang mengandungi vokal, lirik, dan pergerakan manusia. Subset Rap-Vocal mengandungi 108.44 jam suara menyanyi bahasa Inggeris berkualiti tinggi dalam genre rap tanpa muzik latar belakang. Lirik dan vokal yang dipertandingkan dicari dari Internet daripada 32 penyanyi, dengan pembersihan yang teliti dan pemprosesan selepas. Di sisi lain, Subset Rap-Motion mengandungi 26.8 jam video prestasi rap dengan anotasi badan 3D holistik mesh dalam parameter SMPL-X [42] menggunakan paip anotasi Motion-X [30], vokal menyanyi bersamaan dan lirik yang sesuai. RapVerse Dengan set data tunggal RapVerse, kami mengeksplorasi sejauh mana kita boleh mendorong dengan hanya melampirkan transformator multimodal autoregressive dengan bahasa, audio, dan gerakan untuk pengeluaran suara yang konsisten dan realistis dan gerakan manusia seluruh badan. Untuk tujuan ini, kami menyatukan modalitas yang berbeza sebagai representasi token. Secara khusus, tiga VQVAEs [63] digunakan untuk memampatkan urutan gerakan seluruh badan menjadi token diskrit tiga peringkat untuk kepala, badan, dan tangan masing-masing. Untuk pengeluaran suara, kerja-kerja terdahulu [37, 7, 32, 37] berkongsi paradigma yang sama, menghasilkan mel-spektrogram isyarat audio daripada ciri-ciri teks input dan maklumat skor muzik tambahan, diikuti dengan vokoder [40, 62, 67] untuk membina semula fasa. Kami mengambil inspirasi daripada domain gerakan suara resynthesis Untuk meringkaskan, kertas ini membuat sumbangan berikut: • Kami melancarkan RapVerse, set data besar yang mengandungi vokal menyanyi sinkron, lirik, dan parameter 3D holistik SMPL-X berkualiti tinggi. • Kami merancang rangka kerja bersatu yang mudah tetapi berkesan untuk pengeluaran bersama vokal menyanyi dan pergerakan manusia daripada teks dengan transformer multi-modal dalam cara autoregressive. • Untuk menyatukan perwakilan modalitas yang berbeza, kami menggunakan model vokal-to-unit untuk mendapatkan token audio kuantiti dan menggunakan VQVAE komposisi untuk mendapatkan token pergerakan yang berbeza. • Hasil eksperimen menunjukkan bahawa rangka kerja kami bersaing dengan prestasi sistem pengeluaran single-modality khusus, menetapkan benchmarks baru untuk pengeluaran vokal dan gerakan bersama. 
 
 Dokumen ini boleh didapati di archiv di bawah lesen CC BY 4.0 DEED. Dokumen ini boleh didapati di archiv di bawah lesen CC BY 4.0 DEED. Tersedia dalam Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Audio ini dihasilkan dalam bahasa asal cerita!

Satu Prompt Akan Mempunyai AI Ini Rapping dan Menari

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps