
 
 
 
 
 
 
 
 
 
 
 Autori : (1) Јиабен Цхен, Универзитет у Масачусетсу Амхерст; (2) Син Иан, Универзитет у Вухану; (3) Ииханг Цхен, Универзитет у Вухану; (4) Сијуан Цен, Универзитет у Масачусетсу Амхерст; (5) Кинвеи Ма, Универзитет Тсингхуа; (6) Хаоју Зхен, Шангајски универзитет Џиао Тонг; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; 8) Лие Лу, Долби Лабораториес (9) Цхуанг Ган, Универзитет у Масачусетсу Амхерст. : Authors (1) Јиабен Цхен, Универзитет у Масачусетсу Амхерст; (2) Син Иан, Универзитет у Вухану; (3) Ииханг Цхен, Универзитет у Вухану; (4) Сијуан Цен, Универзитет у Масачусетсу Амхерст; (5) Кинвеи Ма, Универзитет Тсингхуа; (6) Хаоју Зхен, Шангајски универзитет Џиао Тонг; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; 8) Лие Лу, Долби Лабораториес (9) Цхуанг Ган, Универзитет у Масачусетсу Амхерст. Табела левице Abstrakcija i 1. uvod 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References А. Прилог апстракт У овом раду, Екстесс представља изазовни задатак за истовремено генерисање 3Д холистичких покрета тела и певања вокала директно из текстуалних уноса текстова, напредујући изван постојећих радова који се типично баве овим двема модалностима у изолацији. Да бисмо олакшали ово, прво прикупљамо РапВерсе датотеку, велики скуп података који садржи синхронизоване рапинг вокале, текстове и висококвалитетне 3Д холистичке телесне мреже. Са РапВерсе-ом, истражујемо у којој мери скалирање ауторегресивних мултимодалних трансформатора преко језика, звука и покрета може побољшати кохерентну и реалистичну генерацију вокала и цело тело људ 1 Увод У еволуцији пејзажа мултимодалне генерације садржаја у смислу звука и покрета, значајни кораци су направљени у појединачним модалностима, укључујући текст-то-музику [54, 1, 21], текст-то-вокал [32], текст-то-мотив [13, 69, 4, 23, 34], и аудио-то-мотив [68, 15, 31]. Ови развоји су отворили пут за стварање динамичнијих и интерактивних дигиталних садржаја. Упркос овим напредовањима, постојећа дела претежно раде у силосима, обраћајући се сваком модалности у изолацији. Међутим, постоје јаки психолошки докази да су људска бића, генерација звука и покрета веома повезана и повезана [28]. Јединствени систем за У овом чланку, бавимо се кључним проблемом: може ли машина не само да пева са емоционалном дубином, већ и да обавља са људским изразима и покретима? предлажемо нови задатак за генерисање кохерентних певачких вокала и људских покрета целог тела (укључујући покрете тела, гестове руку и изразе лица) истовремено, види Фигура 1. Прво, ми сматрамо текстуалне текстове као одговарајући облик уноса за унификовани систем, јер текст пружа високо изражајно, интерпретабилно флексибилно средство преноса информација од стране људских бића, и може послужити као мост између различитих модалитета. Претходни напори истражују резултате [32], акционе команде [69, 4, 23], или аудио сигнале [68] као уносе, који су инфериорни од текстуалних уноса у смислу семантичког богатства, изражајности и флексибилне интеграције различитих модалитета. Друго, сматрамо да је заједнички генерациони систем који би могао истовремено да производи мултимодалне излазе бољи од каскадног система који извршава једномодалну генерацију секвенцијално. Каскадни систем, комбинујући текст-то-вокални модул са вокал-то-мотион модулом, ризикује да акумулира грешке у свакој фази генерације. На пример, погрешна интерпретација у тексту-то-вокалној фази може довести до нетачне генерације покрета, чиме се разблажи намерна кохеренција излаза. Штавише, каскадним архитектурама су потребне више фазе обуке и закључавања у различитим моделима, што значајно повећава рачунарске захтеве. Да би се изградио такав систем заједничког генерисања података, главни изазови укључују: 1) недостатак паисета који истовремено пружају текстове, вокале и 3Д анотације покрета целог тела; и 2) потребу за јединственом архитектуром која је у стању да кохерентно синтетише гласове и покрете из текста. У одговору на ове изазове, ми смо курирали РапВерсе, велики скуп података који садржи свеобухватну колекцију текстова, певања вокала и 3Д покрета целог тела. Упркос постојању сетова података који су доступни за текст-то-вокал [32, 22, 8, 55], текст-то-вокал на великим стратешким подацима [44, 35, 13, 30], и аудио-то- Подручје података подељено је на два различита дела како би задовољило широк спектар истраживачких потреба: 1) подсет Рап-Вокал који садржи велики број парова вокала и текстова, и 2) подсет Рап-Мотион који обухвата вокале, текстове и људске покрете. Подсет Рап-Вокал садржи 108,44 сата висококвалитетног енглеског певања у реп жанру без позадинске музике. Паровани текстови и вокали се претражују са Интернета од 32 певача, уз пажљиво чишћење и пост-процесирање. С друге стране, подсет Рап-Мотион садржи 26,8 сати реп перформанси видео записа са 3Д холистичким телесним мешањем у СМПЛ-КС параметри RapVerse Са Ектреверс једним сетом података, истражујемо колико далеко можемо да померимо једноставно скалирајући ауторегресивне мултимодалне трансформаторе са језиком, звуком и покретом за кохерентну и реалистичну генерацију вокала и људских покрета целог тела. У ту сврху, ми уједињујемо различите модалитете као токен представљања. Конкретно, три ВКВАЕ [63] се користе за компресију секвенци покрета целог тела у три нивоа дискретних токена за главу, тело и руку, респективно. За вокалну генерацију, претходни радови [37, 7, 32, 37] деле заједничку парадигму, производећи мел-спектрограми аудио сигнала из улазних текстуалних карактеристика и додатних музичких Ukratko, ovaj članak daje sledeći doprinos: • Ослобађамо РапВерсе, велики скуп података са синхроним певачким вокалима, текстовима и висококвалитетним 3Д холистичким СМПЛ-КС параметрима. • Дизајнирамо једноставан али ефикасан јединствени оквир за заједничку генерацију певачких вокала и људских покрета из текста са мултимодалним трансформатором на ауторегресиван начин. • Да бисмо ујединили представљања различитих модалитета, користимо модел гласовне јединице да бисмо добили квантизоване аудио токене и користили композицијске ВКВАЕ да бисмо добили дискретне токене покрета. • Експериментални резултати показују да наш оквир конкурише са перформансама специјализованих система за генерацију једномодалности, постављајући нове критеријуме за заједничку генерацију вокала и покрета. 
 
 Овај документ је доступан на архиву под лиценцом CC BY 4.0 DEED. Овај документ је доступан на архиву под лиценцом CC BY 4.0 DEED. Доступно у архиви

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Овај аудио је произведен на оригиналном језику приче!

Један промпт ће имати ову АИ раппинг и плес

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Building a website with React and Bulma

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Building a website with React and Bulma

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps