
 
 
 
 
 
 
 
 
 
 
 Autorzy : (1) Jiaben Chen, Uniwersytet Massachusetts Amherst; (2) Xin Yan, Uniwersytet Wuhan; (3) Yihang Chen, Uniwersytet Wuhan; (4) Siyuan Cen, Uniwersytet Massachusetts Amherst; (5) Qinwei Ma, Uniwersytet Tsinghua; (6) Haoyu Zhen, Uniwersytet Szanghaju Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Uniwersytet Massachusetts Amherst. : Authors (1) Jiaben Chen, Uniwersytet Massachusetts Amherst; (2) Xin Yan, Uniwersytet Wuhan; (3) Yihang Chen, Uniwersytet Wuhan; (4) Siyuan Cen, Uniwersytet Massachusetts Amherst; (5) Qinwei Ma, Uniwersytet Tsinghua; (6) Haoyu Zhen, Uniwersytet Szanghaju Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Uniwersytet Massachusetts Amherst. Stół po lewej Abstrakcja i 1 Wprowadzenie 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. Załącznik abstrakcyjna W tej pracy Exterse wprowadza trudne zadanie ramy do jednoczesnego generowania 3D holistycznych ruchów ciała i śpiewu głosów bezpośrednio z tekstowych wpisów tekstowych, wykraczając poza istniejące prace, które zazwyczaj adresują te dwie modalności w izolacji. Aby ułatwić to, najpierw zbieramy zestaw danych RapVerse, duży zestaw danych zawierający synchroniczne ruchy głosowe, teksty i wysokiej jakości siatki ciała holistycznego 3D. Dzięki zestawowi danych RapVerse badamy, w jakim stopniu skalowanie autoregresywnych multimodalnych transformatorów na język, dźwięk i ruch może poprawić spójną i realistyczną generację głosów i ruchów całego ciała ludzkiego. Do unifikacji mody, wektorowo-wiarygodny autokodownik 1 Wprowadzenie W rozwijającym się krajobrazie wielomodalnej generacji treści pod względem dźwięku i ruchu dokonano znaczących postępów w poszczególnych modelach, w tym tekst-do-muzyka [54, 1, 21], tekst-do-głos [32], tekst-do-motion [13, 69, 4, 23, 34] i audio-do-motion [68, 15, 31]. Rozwój ten otworzył drogę do tworzenia bardziej dynamicznych i interaktywnych treści cyfrowych. Pomimo tych postępów, istniejące prace działają przeważnie w siłach, zajmując się każdą z nich w izolacji. Jednak istnieją silne dowody psychologiczne, że istoty ludzkie, generowanie dźwięku i ruchu są bardzo powiązane i powiązane [28]. Zjednoczony system wspólnego generowania W niniejszym artykule zajmujemy się kluczowym problemem: czy maszyna może śpiewać nie tylko z głębią emocjonalną, ale także z ludzkimi wyrazami i ruchami? proponujemy nowe zadanie generowania spójnych wokali śpiewu i ruchów ludzkiego całego ciała (w tym ruchów ciała, gestów rąk i wyrażeń twarzy) jednocześnie, patrz rys. Po pierwsze, uważamy teksty tekstowe za właściwą formę wejść dla zjednoczonego systemu, ponieważ tekst stanowi wysoce ekspresyjny, interpretowalny, elastyczny sposób przekazywania informacji przez ludzi i może służyć jako most między różnymi formami. Po drugie, uznajemy, że system wspólnego generowania, który może jednocześnie wytwarzać wyjścia wielomodalne, jest lepszy niż system kaskadowy, który wykonuje generację jednomodalną sekwencyjnie. System kaskadowy, łączący moduł tekst-do-głos z modułem głos-do-ruch, ryzykuje gromadzenie błędów na każdym etapie generowania. Na przykład, błędna interpretacja fazy tekst-do-głos może prowadzić do niedokładnej generacji ruchu, rozcieńczając tym samym zamierzoną spójność wyjścia. Ponadto, architektury kaskadowe wymagają wielu faz szkolenia i wniosku w różnych modelach, znacznie zwiększając wymagania obliczeniowe. Aby zbudować taki system skupienia danych, główne wyzwania obejmują: 1) niedobór zestawów danych, które jednocześnie dostarczają tekstów, głosów i 3D anotacji ruchu całego ciała; i 2) potrzebę zjednoczonej architektury zdolnej do spójnego syntezy głosów i ruchów z tekstu. W odpowiedzi na te wyzwania, kurowaliśmy RapVerse, duży zbiór danych zawierający kompleksową kolekcję tekstów, głosów śpiewu i ruchów całego ciała w 3D. Pomimo istnienia zbiorów danych dostępnych dla tekstu-do-głosów [32, 22, 8, 55], tekst-do-głosów [44, 35, 13, 30], a także audio-do-głosów [3, 15, 9, 5, 65], krajobrazowi brakuje zjednoczonego zbioru danych, który zakapsuluje istniejące Zestaw danych jest podzielony na dwie odrębne części w celu zaspokojenia szerokiego zakresu potrzeb badawczych: 1) podzestaw Rap-Vocal zawierający dużą liczbę par głosów i tekstów, oraz 2) podzestaw Rap-Motion obejmujący głosy, teksty i ruchy ludzkie. Podzestaw Rap-Vocal zawiera 108,44 godziny wysokiej jakości angielskiego śpiewu głosowego w gatunku rap bez muzyki tła. Porównane teksty i głoski są pobierane z Internetu od 32 śpiewaków, z ostrożnym czyszczeniem i post-przetwarzaniem. Z drugiej strony podzestaw Rap-Motion zawiera 26,8 godzin wideo rap performance z 3D holistycznych anotacji ciała mesh w parametrach SMPL-X [42] za pomocą RapVerse Dzięki pojedynczemu zbiorowi danych RapVerse analizujemy, jak daleko możemy się posunąć, po prostu skalując autoregresywne multimodalne transformatory z językiem, dźwiękiem i ruchem dla spójnego i realistycznego generowania głosów i ruchów ludzkiego całego ciała. W tym celu ujednolicamy różne modalności jako reprezentacje tokenów. W szczególności trzy VQVAE [63] są wykorzystywane do kompresji sekwencji ruchu całego ciała do trzech poziomów dyskretnych tokenów dla głowy, ciała i ręki, odpowiednio. W przypadku generacji głosów poprzednie prace [37, 7, 32, 37] dzielą wspólny paradygmat, wytwarzając mel-spektrogramy sygnałów dźwiękowych z funkcji tekstowych wejściowych i dodatkowych informacji o punkcie muzycznym, Podsumowując, ten artykuł zawiera następujące wkłady: RapVerse to duży zestaw danych zawierający synchroniczne śpiewane dźwięki, teksty i wysokiej jakości 3D holistyczne parametry SMPL-X. • Projektujemy prostą, ale skuteczną ujednoliconą ramę do wspólnego wytwarzania wokali śpiewających i ruchów ludzkich z tekstu z wielomodalnym transformatorem w sposób autoregresywny. • Aby ujednolicać reprezentacje różnych form, używamy modelu głosowego do jednostki, aby uzyskać ilościowe tokeny audio i wykorzystać kompozycyjne VQVAE, aby uzyskać dyskretne tokeny ruchu. • Wyniki eksperymentalne pokazują, że nasze ramy rywalizują z wydajnością wyspecjalizowanych systemów generacji monomodalności, ustanawiając nowe standardy dla wspólnego generowania głosów i ruchu. 
 
 Niniejszy dokument jest dostępny pod licencją CC BY 4.0 DEED. Ten dokument jest Licencja CC BY 4.0 DEED. available on arxiv Dostępne w Archiwum

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Ten dźwięk jest produkowany w oryginalnym języku historii!

Jeden prompt będzie miał tę sztuczną inteligencję rapping i taniec

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

The Noonies 2022 Award Goes to Madalin Muraretiu - Contributor of The Year - Cryptocurrency Edition

Reach More Readers! BOOST Your Story on HackerNoon

Meet the Writer: HackerNoon's Contributor Emmanuel Nwaka, Content Marketing Professional

Google's Gemini AI: A Thought Experiment in Deception

The Noonies 2022 Award Goes to Madalin Muraretiu - Contributor of The Year - Cryptocurrency Edition

Reach More Readers! BOOST Your Story on HackerNoon

Meet the Writer: HackerNoon's Contributor Emmanuel Nwaka, Content Marketing Professional

Google's Gemini AI: A Thought Experiment in Deception

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps