
 
 
 
 
 
 
 
 
 
 
 Författare : (1) Jiaben Chen, University of Massachusetts Amherst; (2) Xin Yan, Wuhan universitet (3) Yihang Chen, Wuhan University (4) Siyuan Cen, University of Massachusetts Amherst; (5) Qinwei Ma, Tsinghua University (6) Haoyu Zhen, Shanghai Jiao Tong University; (7) Kaizhi Qian, MIT-IBM Watson AI Lab (8) Lie Lu, Dolby Laboratories (9) Chuang Gan, University of Massachusetts Amherst. : Authors (1) Jiaben Chen, University of Massachusetts Amherst; (2) Xin Yan, Wuhan universitet (3) Yihang Chen, Wuhan University (4) Siyuan Cen, University of Massachusetts Amherst; (5) Qinwei Ma, Tsinghua University (6) Haoyu Zhen, Shanghai Jiao Tong University; (7) Kaizhi Qian, MIT-IBM Watson AI Lab (8) Lie Lu, Dolby Laboratories (9) Chuang Gan, University of Massachusetts Amherst. Tabell från vänster Abstrakt och 1. introduktion 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. Bilaga till Abstrakt I det här arbetet etablerar vi en utmanande ram för att samtidigt generera 3D holistiska kroppsrörelser och sjungande vokaler direkt från texträttsinmatningar, som går utöver befintliga arbeten som vanligtvis tar itu med dessa två modaliteter i isolering. För att underlätta detta kan vi först samla in RapVerse-datasetet, en stor dataset som innehåller synkrona rapande vokaler, texter och högkvalitativa 3D-holistiska kroppsmaskar. Med RapVerse-datasetet undersöker vi i vilken utsträckning skalning av autoregressiva multimodala transformatorer över språk, ljud och rörelse kan förbättra den sammanhängande och realistiska generationen av vokaler och hela kroppens mänskliga rörelser. För modalitetsunifiering används en vektorkvantiserad 1 Introduktion I det utvecklande landskapet för multi-modal innehållsgenerering i termer av ljud och rörelse har betydande framsteg gjorts i enskilda modaliteter, inklusive text-till-musik [54, 1, 21], text-till-röst [32], text-till-rörelse [13, 69, 4, 23, 34] och ljud-till-rörelse [68, 15, 31] generation. Dessa framsteg har banat väg för att skapa mer dynamiskt och interaktivt digitalt innehåll. Trots dessa framsteg fungerar befintliga verk huvudsakligen i silos, som tar itu med varje modalitet i isolering. Men det finns starka psykologiska bevis för att mänskliga varelser, generationen av ljud och rörelse är mycket relaterade och kopplade [28]. Ett enhetligt system för gemensam generation möjliggör en mer uttrycksfull och I den här artikeln tar vi upp ett avgörande problem: kan en maskin inte bara sjunga med känslomässig djup utan också utföra med mänskliga uttryck och rörelser? Vi föreslår en ny uppgift för att generera sammanhängande sångröster och hela kroppens mänskliga rörelser (inklusive kroppsrörelser, handgester och ansiktsuttryck) samtidigt, se Figur 1. En viktig fråga uppstår naturligtvis: vad utgör en bra modell för en enhetlig generering av ljud och rörelse? För det första anser vi att textlyrics är den rätta formen av inmatningar för det enhetliga systemet, eftersom text ger ett mycket uttrycksfullt, tolkbart flexibelt sätt att överföra information av människor, och kan fungera som en bro mellan olika modaliteter. Tidigare insatser utforskar poäng [32], actionkommandon [69, 4, 23], eller ljudsignaler [68] som inmatningar, som är sämre än textinmatningar när det gäller semantisk rikedom, uttrycksfullhet och flexibel integration av olika modaliteter. För det andra anser vi att ett gemensamt genereringssystem som kan producera multi-modala utgångar samtidigt är bättre än ett kaskadsystem som utför single-modal-generering sekventiellt. Ett kaskadsystem, som kombinerar en text-till-röst-modul med en röst-till-rörelse-modul, riskerar att ackumulera fel i varje skede av genereringen. Till exempel kan en felaktig tolkning i text-till-röst-fasen leda till felaktig rörelsegenerering, vilket spädar ut den avsedda sammanhållningen av utgången. Dessutom kräver kaskadarkitekturer flera utbildning och inferensfaser över olika modeller, vilket väsentligt ökar beräkningsbehov. För att bygga ett sådant datafokus är de primära utmaningarna: 1) bristen på datasatser som tillhandahåller texter, röster och 3D hela kroppen rörelseannotationer samtidigt; och 2) behovet av en enhetlig arkitektur som kan sammanhängande syntetisera röster och rörelser från text. Som svar på dessa utmaningar har vi kurat RapVerse, en storskalig datasats som innehåller en omfattande samling av texter, sjungande röster och 3D hela kroppen rörelser. Trots förekomsten av datasatser tillgängliga för text-till-röst [32, 22, 8, 55], text-till-röst-rörelser [44, 35, 13, 30], och ljud-till-rörelse [3, 15, 9, 5, 65], landskapet saknar en enhetlig datasats som inkapslar singande rö Dataset är uppdelat i två distinkta delar för att tillgodose ett brett spektrum av forskningsbehov: 1) ett Rap-Vocal-underskott som innehåller ett stort antal par vokaler och texter, och 2) ett Rap-Motion-underskott som omfattar vokaler, texter och mänskliga rörelser. Rap-Vocal-underskottet innehåller 108,44 timmar av högkvalitativ engelsk sångröst i rapgenren utan bakgrundsmusik. Parade texter och vokaler hämtas från Internet från 32 sångare, med noggrann rengöring och efterbehandling. Å andra sidan innehåller Rap-Motion-underskottet 26,8 timmar av rapprestationsvideor med 3D holistiska kroppsmaskanteckningar i SMPL-X-parametrar [42] med hjälp av Motion-X RapVerse Med den enkla RapVerse-dataset utforskar vi hur långt vi kan driva genom att helt enkelt skala autoregressiva multimodala transformatorer med språk, ljud och rörelse för en sammanhängande och realistisk generation av vokaler och hela kroppens mänskliga rörelser. För detta ändamål förenar vi olika modaliteter som tokenrepresentationer. Specifikt används tre VQVAEs [63] för att komprimera hela kroppens rörelse sekvenser till tre-nivå diskreta tokens för huvud, kropp och hand, respektive. För vokalgenerering delar tidigare verk [37, 7, 32, 37] ett gemensamt paradigm, producerar mel-spektrogram av ljudsignaler från inmatningstextuella funktioner och ytterligare musikpoängsinformation, följt av en vokoder [40, 62, 67] för att rekonstruera fasen. Vi Sammanfattningsvis gör denna artikel följande bidrag: Vi släpper RapVerse, en stor datasats med synkrona sångsånger, texter och högkvalitativa 3D holistiska SMPL-X-parametrar. • Vi utformar en enkel men effektiv enhetlig ram för den gemensamma generationen av sångröster och mänskliga rörelser från text med en multi-modal transformator på ett autoregressivt sätt. • För att förena representationer av olika modaliteter använder vi en röst-till-enhetsmodell för att erhålla kvantifierade ljudtokens och använda kompositionella VQVAEs för att få diskreta rörelsetokens. • Experimentella resultat visar att vår ram konkurrerar med prestandan hos specialiserade single-modality-genereringssystem, vilket sätter nya riktmärken för gemensam generation av vokaler och rörelse. 
 
 Den här artikeln finns tillgänglig på arkiv under CC BY 4.0 DEED-licens. Detta papper är Licensierad enligt CC BY 4.0 DEED. Tillgänglig i Arkiv Tillgänglig i Arkiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Det här ljudet är producerat på berättelsens originalspråk!

En enda prompt kommer att ha denna AI Rapping och Dancing

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps