
 
 
 
 
 
 
 
 
 
 
 Autorių : (1) Jiaben Chen, Masačusetso Amhersto universitetas; 2) Xin Yan, Vuhano universitetas; 3) Yihang Chen, Vuhano universitetas; (4) Siyuan Cen, Masačusetso Amhersto universitetas; (5) Qinwei Ma, Tsinghua universitetas; (6) Haoyu Zhen, Šanchajaus Jiao Tong universitetas; (7) Kaizhi Qian, MIT-IBM Watson AI laboratorija; 8) „Lie Lu“, „Dolby Laboratories“ (9) Chuang Gan, Masačusetso Amhersto universitetas. : Authors (1) Jiaben Chen, Masačusetso Amhersto universitetas; 2) Xin Yan, Vuhano universitetas; 3) Yihang Chen, Vuhano universitetas; (4) Siyuan Cen, Masačusetso Amhersto universitetas; (5) Qinwei Ma, Tsinghua universitetas; (6) Haoyu Zhen, Šanchajaus Jiao Tong universitetas; (7) Kaizhi Qian, MIT-IBM Watson AI laboratorija; 8) „Lie Lu“, „Dolby Laboratories“ (9) Chuang Gan, Masačusetso Amhersto universitetas. Stalas kairėje Abstrakcija ir 1 įvadas 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. Priedėlis Abstrakcijos Šiame darbe mes nustatome sudėtingą užduotį, kaip vienu metu generuoti 3D holistinius kūno judesius ir dainuojančius balsus tiesiogiai iš tekstinių tekstų įvesties, peržengiant esamus darbus, kurie paprastai sprendžia šias dvi modalybes atskirai. Norėdami tai palengvinti, mes pirmiausia renkame „RapVerse“ duomenų rinkinį, didelį duomenų rinkinį, kuriame yra sinchroniškų rapuojančių vokalų, tekstų ir aukštos kokybės 3D holistinių kūno tinklelių. Su „RapVerse“ duomenų rinkiniu mes tiriame, kokiu mastu autoregresiniai daugiarūšiai transformatoriai, skirti kalbai, garsui ir judėjimui, gali sustiprinti nuoseklią ir realią vokalų ir viso 1 Įvadas Kuriant daugiarūšio turinio gamybą garso ir judėjimo atžvilgiu, padaryta reikšmingų žingsnių atskirose formose, įskaitant tekstą į muziką [54, 1, 21], tekstą į balsą [32], tekstą į judėjimą [13, 69, 4, 23, 34] ir garso į judėjimą [68, 15, 31]. Šie pokyčiai atvėrė kelią dinamiškesniam ir interaktyvesniam skaitmeniniam turiniui kurti. Nepaisant šių pažangų, esami kūriniai dažniausiai veikia silose, atskirai sprendžiant kiekvieną formą. Tačiau yra stiprių psichologinių įrodymų, kad žmogiškosios būtybės, garso ir judėjimo gamyba yra labai susiję ir susieti [28]. Vieninga bendros kartos sistema leidžia Šiame straipsnyje mes sprendžiame svarbiausią problemą: ar mašina gali ne tik dainuoti emociniu gyliu, bet ir atlikti žmogiškąsias išraiškas ir judesius? mes siūlome naują užduotį, kaip vienu metu generuoti nuoseklius dainuojančius balsus ir viso kūno žmogiškuosius judesius (įskaitant kūno judesius, rankų gestus ir veido išraiškas), žr. 1 pav. Ši užduotis turi praktinę reikšmę skatinant labiau įsisavinančias ir naturalistines skaitmenines sąveikas, tokiu būdu didinant virtualius pasirodymus, interaktyvius žaidimus ir virtualių avatarų realizmą. Svarbus klausimas natūraliai kyla: kas sudaro gerą modelį vieningam garso ir judesio gamybai? Pirma, mes laikome tekstinius tekstus tinkama įvesties forma vieningai sistemai, nes tekstas suteikia labai išraiškingą, aiškinamą lanksčią priemonę žmonėms perduoti informaciją ir galėtų tarnauti kaip tiltas tarp įvairių modelių. Ankstesnės pastangos tiria balus [32], veiksmų komandas [69, 4, 23], arba garso signalus [68] kaip įvesties, kurios yra prastesnės už tekstinius įvesties semantinio turtingumo, išraiškingumo ir lanksčios įvairių modelių integracijos požiūriu. Antra, manome, kad jungtinė generavimo sistema, galinti vienu metu gaminti daugiarūšes išvestis, yra geresnė už kaskadinę sistemą, vykdančią vienašališką generavimą nuosekliai. Kaskadinė sistema, derinanti teksto į balsą modulį su balso į judėjimą moduliu, rizikuoja sukaupti klaidų kiekviename generavimo etape. Pavyzdžiui, klaidingas teksto į balsą fazės aiškinimas gali sukelti netikslią judesio generavimą, taip atskiedžiant numatomą išvesties nuoseklumą. Be to, kaskadinės architektūros reikalauja daugybės mokymo ir išvadų fazės įvairiuose modeliuose, žymiai didinant skaičiavimo reikalavimus. Norint sukurti tokią bendrą duomenų generavimo sistemą, pagrindiniai iššūkiai yra: 1) trūksta duomenų rinkinių, kurie vienu metu teikia tekstus, balsus ir 3D viso kūno judėjimo anotacijas; ir 2) poreikis sukurti vieningą architektūrą, galinčią nuosekliai sintezuoti balsus ir judesius iš teksto. Atsakydami į šiuos iššūkius, mes kuravome „RapVerse“, didelio masto duomenų rinkinį, kuriame yra išsamus tekstų, dainuojančių balsų ir 3D viso kūno judesių rinkinys. Nepaisant to, kad egzistuoja duomenų rinkiniai, prieinami tekstui į balsą [32, 22, 8, 55], tekstui į judėjimą [44, 35, 13, 30] ir garso judėjimui [3, 15, 9, 5, 65], kra Duomenų rinkinys yra suskirstytas į dvi atskiras dalis, kad būtų patenkinti įvairūs mokslinių tyrimų poreikiai: 1) Rap-Vocal subset, kuriame yra daug vokalų ir tekstų porų, ir 2) Rap-Motion subset, kuriame yra vokalų, tekstų ir žmogaus judesių. Rap-Vocal subset yra 108,44 valandos aukštos kokybės anglų dainuojančio balso rap žanro be foninės muzikos. Pažymėtos lyrikos ir vokalai yra surenkami iš interneto iš 32 dainininkų, kruopščiai valant ir po apdorojimo. Kita vertus, Rap-Motion subset yra 26,8 valandos rap atlikimo vaizdo įrašų su 3D holistinių kūno tinklų anotacijomis SMPL-X parametrais [42] naudojant Motion RapVerse Su vieno „RapVerse“ duomenų rinkiniu mes išnagrinėjame, kaip toli mes galime stumti, paprasčiausiai skalindami autoregresinius daugiarūšius transformatorius su kalba, garso ir judesio sistemomis, kad būtų sukurta nuosekli ir realistiška vokalų ir viso kūno žmogaus judesių gamyba. Šiuo tikslu mes suvienijame skirtingas modalybes kaip žetonų atstovavimus. Konkrečiai kalbant, trys VQVAEs [63] naudojami suspausti viso kūno judesio sekas į trijų lygių diskretiškus žetonus, skirtus atitinkamai galvai, kūnui ir rankai. Dėl balso generavimo ankstesni darbai [37, 7, 32, 37] dalijasi bendra paradigma, gamindami garso signalų mel-spekt Apibendrinant, šis straipsnis pateikia šiuos įnašus: • Mes išleidžiame „RapVerse“, didelį duomenų rinkinį su sinchroniškomis dainuojančiomis dainomis, tekstais ir aukštos kokybės 3D holistiniais SMPL-X parametrais. • Mes projektuojame paprastą, bet veiksmingą vieningą sistemą bendrai dainuojančių vokalų ir žmogaus judesių gamybai iš teksto su daugiarūšiu transformatoriumi autoregresiniu būdu. • Norėdami suvienyti įvairių modelių atstovavimus, mes naudojame balso į vienetą modelį, kad gautume kiekybinius garso žetonus ir naudotume kompozicinius VQVAEs, kad gautume diskretiškus judesio žetonus. • Eksperimentiniai rezultatai rodo, kad mūsų sistema konkuruoja su specializuotų vienmodalinių generavimo sistemų našumu, nustatydama naujus standartus bendrai vokalų ir judesių gamybai. 
 
 Šis dokumentas yra prieinamas archive pagal CC BY 4.0 DEED licenciją. Šis dokumentas yra prieinamas archive pagal CC BY 4.0 DEED licenciją. Prieinama archyve

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Šis garso įrašas sukurtas originalia istorijos kalba!

Vienas promptas turės šį AI rapsą ir šokį

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps