
 
 
 
 
 
 
 
 
 
 
 Авторы : (1) Джиабен Чен, Университет Массачусетса Амхерст; 2) Синь Ян, Университет Вухана; 3) Yihang Chen, Университет Вухана; (4) Siyuan Cen, Университет Массачусетса Амхерст; (5) Qinwei Ma, Университет Цинхуа; Haoyu Zhen, Шанхайский университет Цзяо Тонг; Kaizhi Qian, MIT-IBM Watson AI Lab 8) Lie Lu, Dolby Laboratories; (9) Чуанг Ган, Университет Массачусетса Амхерст. : Authors (1) Джиабен Чен, Университет Массачусетса Амхерст; 2) Синь Ян, Университет Вухана; 3) Yihang Chen, Университет Вухана; (4) Siyuan Cen, Университет Массачусетса Амхерст; (5) Qinwei Ma, Университет Цинхуа; Haoyu Zhen, Шанхайский университет Цзяо Тонг; Kaizhi Qian, MIT-IBM Watson AI Lab 8) Lie Lu, Dolby Laboratories; (9) Чуанг Ган, Университет Массачусетса Амхерст. Стол слева Абстракт и 1.Введение 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References А. Приложение абстрактный В этой работе мы вводим сложную задачу для одновременного генерирования 3D холистических движений тела и пеющих голосов непосредственно из текстовых входов, продвигаясь за пределы существующих работ, которые обычно обращаются к этим двум модалям в изоляции. Чтобы облегчить это, мы сначала собираем набор данных RapVerse, большой набор данных, содержащий синхронные рептильные голоса, тексты и высококачественные целостные сетки тела 3D. С набором данных RapVerse мы исследуем степень, в которой масштабирование авторегрессивных мультимодальных трансформаторов через язык, звук и движение может усилить сплоченное и реалистичное генерирование голосов и движений всего тела человека. Для унификации модальности используется ве 1 Введение В развивающемся ландшафте мультимодального контент-генерации в плане звука и движения значительные шаги были сделаны в отдельных модальностях, включая текст-в-музыку [54, 1, 21], текст-в-голос [32], текст-в-движение [13, 69, 4, 23, 34] и аудио-в-движение [68, 15, 31]. Эти разработки проложили путь для создания более динамичного и интерактивного цифрового контента. Несмотря на эти достижения, существующие работы преимущественно работают в силосах, обращаясь к каждой модальности в изоляции. Однако, есть сильные психологические доказательства того, что человеческие существа, генерация звука и движения очень связаны и связаны друг с другом [28]. Единая система для совместного производства позволяет более вырази В этой статье мы решаем решающую проблему: может ли машина не только петь с эмоциональной глубиной, но и выполнять с человекоподобными выражениями и движениями?Мы предлагаем новую задачу для создания согласованных вокалов пения и человеческих движений всего тела (включая движения тела, жесты рук и выражения лица) одновременно, см. Рисунок 1. Естественно, возникает важный вопрос: что представляет собой хорошую модель для унифицированного производства звука и движения? Во-первых, мы рассматриваем текстовые тексты как правильную форму входов для унифицированной системы, поскольку текст обеспечивает высоко выразительный, интерпретируемый гибкий способ передачи информации людьми, и может служить мостом между различными модальностями. Во-вторых, мы считаем, что система совместного генерации, которая может одновременно производить мультимодальные выходы, лучше, чем каскадная система, которая выполняет одномодальное генерацию последовательно. Каскадная система, сочетающая текстовый модуль с голосовым модулем, рискует накапливать ошибки на каждом этапе генерации. Например, неправильная интерпретация в текстовой фазе может привести к неточному генерированию движения, тем самым разжижая предполагаемую согласованность выхода. Для создания такой системы совместного генерирования данных основными вызовами являются: 1) недостаток наборов данных, которые обеспечивают одновременно тексты, голоса и 3D-анотации движения всего тела; и 2) необходимость единой архитектуры, способной последовательно синтезировать голоса и движения из текста. В ответ на эти вызовы мы подготовили RapVerse, крупномасштабный набор данных, содержащий комплексную коллекцию текстов, вокалов пения и 3D-движений всего тела. Несмотря на наличие наборов данных, доступных для текста-на-голоса [32, 22, 8, 55], текста-на-движения [44, 35, 13, 30], и аудио-на-движения [3, 15, 9, 5, 65], пейзажу не хватает единого набора данных, который встраивает существующие вокалы, Комплект данных разделен на две отдельные части, чтобы удовлетворить широкий спектр исследовательских потребностей: 1) подкомплект Rap-Vocal, содержащий большое количество пар вокалов и текстов, и 2) подкомплект Rap-Motion, включающий вокалы, тексты и человеческие движения. Подкомплект Rap-Vocal содержит 108,44 часа высококачественного английского пеющего голоса в жанре rap без фоновой музыки. Подкомплектные тексты и вокалы сканируются с интернета от 32 певцов, с тщательной очисткой и после обработки. С другой стороны, подкомплект Rap-Motion содержит 26,8 часов видеороликов rap performance с 3D целостными аннотациями телесных сетей в параметрах SMPL-X [42] RapVerse С помощью одного набора данных RapVerse мы исследуем, насколько далеко мы можем продвинуть, просто масштабируя авторегрессивные мультимодальные трансформаторы с языком, звуком и движением для согласованного и реалистичного поколения голосов и движений всего тела. Для этого мы объединяем различные модальности в виде токенных представлений. В частности, три VQVAEs [63] используются для сжатия последовательностей движения всего тела в три уровня дискретных токенов для головы, тела и руки соответственно. Для голосового поколения предыдущие работы [37, 7, 32, 37] разделяют общую парадигму, производя мель-спектрограммы аудиосигнала из входных текстовых особенностей и дополнительной информации о музыкальном отчете, следуя с вокадором [40, 62, Подводя итог, данная статья делает следующие вклады: • Мы выпускаем RapVerse, большой набор данных с синхронными песнями, текстами и высококачественными 3D целостными параметрами SMPL-X. • Мы разрабатываем простую, но эффективную унифицированную структуру для совместного создания вокалов пения и человеческих движений из текста с мультимодальным трансформатором в авторегрессивном стиле. • Чтобы объединить представления различных модальностей, мы используем модель голоса-на-единицы для получения квантифицированных аудиотокенов и используем композиционные VQVAE для получения дискретных токенов движения. • Экспериментальные результаты показывают, что наша рамка конкурирует с производительностью специализированных систем генерации мономодальности, устанавливая новые критерии для совместного генерации голосов и движения. 
 
 Эта статья доступна в архиве под лицензией CC BY 4.0 DEED. Эта бумага является Под лицензией CC BY 4.0 DEED. Доступно в архиве Доступно в архиве

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Get Free Unlimited IP Geo Data With IPinfo Lite

У одного проспекта будет этот ИИ, который раппирует и танцует

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Telegram: мост Крипто-острова на материк

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Telegram: мост Крипто-острова на материк

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps