
 
 
 
 
 
 
 
 
 
 
 Autori : (1) Jiaben Chen, Sveučilište Massachusetts Amherst; (2) Xin Yan, Sveučilište Wuhan; (3) Yihang Chen, Sveučilište u Wuhanu; (4) Siyuan Cen, Sveučilište Massachusetts Amherst; (5) Qinwei Ma, Sveučilište Tsinghua; (6) Haoyu Zhen, Sveučilište Shanghai Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Sveučilište Massachusetts Amherst. : Authors (1) Jiaben Chen, Sveučilište Massachusetts Amherst; (2) Xin Yan, Sveučilište Wuhan; (3) Yihang Chen, Sveučilište u Wuhanu; (4) Siyuan Cen, Sveučilište Massachusetts Amherst; (5) Qinwei Ma, Sveučilište Tsinghua; (6) Haoyu Zhen, Sveučilište Shanghai Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Sveučilište Massachusetts Amherst. stolovi lijeve strane Abstract i 1. uvod 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. Prilog Abstrakcija U ovom radu, Exterse uspostavlja izazovni zadatak za istodobno generiranje 3D holističkih pokreta tijela i pjevanje vokala izravno iz tekstualnih ulaznih teksta, napredujući izvan postojećih radova koji obično rješavaju ove dvije modalitete u izolaciji. Da bismo to olakšali, prvo prikupljamo RapVerse podatkovni set, veliki podatkovni set koji sadrži sinhrone rapove vokale, tekstove i visoke kvalitete 3D holističke tjelesne mreže. S RapVerse podatkovnim setom istražujemo u kojoj mjeri skaliranje autoregresivnih multimodalnih transformatora preko jezika, zvuka i pokreta može poboljšati koherentnu i realističnu generaciju vokala i cjelokupnih ljudskih pokreta. Za unifikaciju modaliteta, vektorski 1 Uvod U razvijenom krajoliku multi-modalne generacije sadržaja u smislu zvuka i pokreta, značajni su napori napravljeni u pojedinačnim modalitetima, uključujući tekst-to-music [54, 1, 21], text-to-vocal [32], text-to-motion [13, 69, 4, 23, 34], i audio-to-motion [68, 15, 31] generaciju. Ovi su razvojni programi otvorili put za stvaranje dinamičnijeg i interaktivnijeg digitalnog sadržaja. Unatoč tim napretkom, postojeća djela uglavnom djeluju u silosima, rješavajući svaku modalitetu u izolaciji. Međutim, postoje snažni psihološki dokazi da su ljudska bića, generacija zvuka i pokreta visoko povezana i povezana [28]. Ujedinjeni sustav za zajedničku generaciju omogućuje U ovom članku rješavamo ključni problem: može li mašina ne samo pjevati s emocionalnom dubinom, već i izvesti s ljudskim izrazima i pokretima? predlažemo nov zadatak za generiranje koherentnih pjevajućih vokala i ljudskih pokreta cijelog tijela (uključujući pokrete tijela, geste ruku i izraze lica) istodobno, vidjeti sliku 1. Prvo, smatramo tekstualne tekstove odgovarajućim oblikom ulaza za ujedinjeni sustav, budući da tekst pruža visoko izražavajuće, tumačivo fleksibilno sredstvo za prijenos informacija od strane ljudi i može poslužiti kao most između različitih modaliteta. Drugo, smatramo da je sustav zajedničke generacije koji bi mogao proizvesti multi-modalne izlaze istodobno bolji od kaskadnog sustava koji sekvencijalno izvodi monomodalnu generaciju. Kaskadni sustav, kombinirajući tekst-to-vokalni modul s vokal-to-motion modulom, rizikuje nakupljanje pogrešaka u svakoj fazi generacije. Na primjer, pogrešno tumačenje u tekst-to-vokalnoj fazi može dovesti do netočne generacije pokreta, čime se razrjeđuje predviđena dosljednost izlaza. Kako bi se izgradio takav sustav zajedničkog stvaranja podataka, glavni izazovi uključuju: 1) nedostatak skupova podataka koji istodobno pružaju tekstove, vokale i 3D anotacije kretanja cijelog tijela; i 2) potrebu za jedinstvenom arhitekturom koja je sposobna koherentno sintetizirati vokale i pokrete iz teksta. Kao odgovor na ove izazove, kurirali smo RapVerse, veliki skup podataka koji sadrži sveobuhvatnu zbirku tekstova, vokala pjevanja i 3D pokreta cijelog tijela. Unatoč postojanju skupova podataka dostupnih za tekst-to-vokal [32, 22, 8, 55], tekst-to-motion [44, 35, 13, 30], i audio-to-motion [3, 15, 9, 5, 65], krajoliku nedostaje jedinstveni skup podataka koji ugrađuje vokale koji pjevaju, Dataset je podijeljen u dva različita dijela kako bi se zadovoljilo širok raspon istraživačkih potreba: 1) Rap-Vocal podskup koji sadrži veliki broj parova vokala i tekstova, i 2) Rap-Motion podskup koji obuhvaća vokale, tekstove i ljudske pokrete. Rap-Vocal podskup sadrži 108.44 sati visokokvalitetnog engleskog pjevačkog glasa u žanru rap bez pozadine glazbe. Poređeni tekstovi i vokali su prikupljeni s Interneta od 32 pjevača, s pažljivim čišćenjem i post-procesiranjem. S druge strane, Rap-Motion podskup sadrži 26.8 sati rap performansi videa s 3D holističkim tjelesnim mrežama u SMPL-X parametrima [42] pomoću anotacije RapVerse S jednim skupom podataka RapVerse, istražujemo koliko daleko možemo gurati jednostavnim skalanjem autoregresivnih multimodalnih transformatora s jezikom, zvukom i pokretom za koherentnu i realističnu generaciju vokala i ljudskih pokreta cijelog tijela. U tu svrhu ujedinjujemo različite modalitete kao predstavljanja žetona. Konkretno, tri VQVAE [63] koriste se za komprimiranje sekvencija pokreta cijelog tijela u tri razine diskretnih žetona za glavu, tijelo i ruku, odnosno. Za generaciju vokala, prethodna djela [37, 7, 32, 37] dijele zajedničku paradigmu, proizvodeći mel-spektrogramove audio signala iz ulaznih tekstualnih značajki i dodatnih informacija o glasovnim rezultatima, nakon čega slijede vokoder [40, Ukratko, ovaj članak daje sljedeće doprinose: • Objavljujemo RapVerse, veliki skup podataka s sinhronim pjevanjem vokala, tekstova i visokokvalitetnih 3D holističkih SMPL-X parametara. • Dizajniramo jednostavan, ali učinkovit jedinstveni okvir za zajedničku generaciju pjevajućih vokala i ljudskih pokreta iz teksta s multi-modalnim transformatorom na autoregresivni način. • Da bismo ujediniti predstavljanja različitih modaliteta, koristimo model vokal-to-unit kako bismo dobili kvantificirane audio žetone i iskoristili kompozicijske VQVAE za dobivanje diskretnih tokena pokreta. • Eksperimentalni rezultati pokazuju da naš okvir natječe performanse specijaliziranih monomodalnih generacijskih sustava, postavljajući nove referentne vrijednosti za zajedničku generaciju vokala i pokreta. 
 
 Ovaj dokument je dostupan na arhivu pod licencom CC BY 4.0 DEED. Ovaj dokument je dostupan na arhivu pod licencom CC BY 4.0 DEED. Dostupno u Arhivu

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Ovaj zvuk je proizveden na izvornom jeziku priče!

Jedan prompt će imati ovu AI rapping i plesati

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps