
 
 
 
 
 
 
 
 
 
 
 Los autores: (1) Jiaben Chen, Universidad de Massachusetts Amherst; (2) Xin Yan, Universidad de Wuhan; (3) Yihang Chen, Universidad de Wuhan; (4) Siyuan Cen, Universidad de Massachusetts Amherst; (5) Qinwei Ma, Universidad de Tsinghua; (6) Haoyu Zhen, Universidad de Shanghai Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Universidad de Massachusetts Amherst. : Authors (1) Jiaben Chen, Universidad de Massachusetts Amherst; (2) Xin Yan, Universidad de Wuhan; (3) Yihang Chen, Universidad de Wuhan; (4) Siyuan Cen, Universidad de Massachusetts Amherst; (5) Qinwei Ma, Universidad de Tsinghua; (6) Haoyu Zhen, Universidad de Shanghai Jiao Tong; (7) Kaizhi Qian, MIT-IBM Watson AI Lab; (8) Lie Lu, Dolby Laboratories; (9) Chuang Gan, Universidad de Massachusetts Amherst. Mesa de la izquierda Abstracto y 1a Introducción 
 
 
 
 
 
 
 
 
 
 
 Related Work 2.1 Text to Vocal Generation 2.2 Text to Motion Generation 2.3 Audio to Motion Generation 
 
 
 
 RapVerse Dataset 3.1 Rap-Vocal Subset 3.2 Rap-Motion Subset 
 
 
 
 
 
 Method 4.1 Problem Formulation 4.2 Motion VQ-VAE Tokenizer 4.3 Vocal2unit Audio Tokenizer 4.4 General Auto-regressive Modeling 
 
 
 
 Experiments 5.1 Experimental Setup 5.2 Main Results Analysis and 5.3 Ablation Study 
 
 Conclusion and References A. Anexo Abstracción En este trabajo se establece un marco desafiante para generar simultáneamente movimientos corporales holísticos en 3D y vocales de canto directamente de las entradas de texto, avanzando más allá de las obras existentes que normalmente abordan estas dos modalidades de forma aislada. Para facilitar esto, primero recopilamos el conjunto de datos RapVerse, un gran conjunto de datos que contiene vocales de rap sincronizadas y movimientos humanos de todo el cuerpo. Para la unificación de la modalidad, se emplea un codificador automático de variantes vectoriales de alta calidad con el conjunto de datos RapVerse para codificar secuencias de movimiento de todo el cuerpo en tokens de movimiento discretos, mientras que un modelo vocal-a-unidad está disponible para obtener tokens de audio experimentales para mantener el contenido de los singles, prosiguiendo la gen 1 Introducción En el paisaje evolutivo de la generación de contenido multi-modal en términos de sonido y movimiento, se han dado avances significativos en modalidades individuales, incluyendo texto a música [54, 1, 21], texto a voz [32], texto a movimiento [13, 69, 4, 23, 34], y audio a movimiento [68, 15, 31] generación. Estos desarrollos han pavimentado el camino para crear contenido digital más dinámico e interactivo. A pesar de estos avances, las obras existentes operan predominantemente en silos, abordando cada modalidad en aislamiento. Sin embargo, hay fuertes evidencias psicológicas de que para los seres humanos, la generación de sonido y movimiento están altamente relacionados y acoplados [28]. Un sistema unificado para la generación conjunta permite una comunicación más expresiva y matizada de emociones, inten En este artículo, abordamos un problema crucial: ¿puede una máquina no sólo cantar con profundidad emocional sino también realizar con expresiones y movimientos humanos? proponemos una nueva tarea para generar vocales de canto coherentes y movimientos humanos de todo el cuerpo (incluidos los movimientos corporales, gestos de manos y expresiones faciales) simultáneamente, véase la Figura 1. Una pregunta importante surge naturalmente: ¿qué constituye un buen modelo para la generación unificada de sonido y movimiento? En primer lugar, consideramos las letras textuales como la forma adecuada de entradas para el sistema unificado, ya que el texto proporciona un medio altamente expresivo, interpretable y flexible de transmisión de información por parte de los seres humanos, y podría servir como un puente entre diversas modalidades. En segundo lugar, consideramos que un sistema de generación conjunta que pueda producir emisiones multi-modales simultáneamente es mejor que un sistema en cascada que ejecuta la generación monomodal secuencialmente. Un sistema en cascada, que combina un módulo de texto a voz con un módulo de voz a movimiento, corre el riesgo de acumular errores en cada etapa de generación. Por ejemplo, una interpretación errónea en la fase de texto a voz puede conducir a una generación de movimiento inexacta, diluyendo así la coherencia prevista de la salida. Además, las arquitecturas en cascada requieren múltiples fases de formación e inferencia en diferentes modelos, aumentando sustancialmente las exigencias computacionales. Para construir un sistema de datos de generación conjunta, los principales desafíos incluyen: 1) la escasez de conjuntos de datos que proporcionan letras, vocales y anotaciones de movimiento de cuerpo entero en 3D simultáneamente; y 2) la necesidad de una arquitectura unificada capaz de sintetizar vocales y movimientos de texto de manera coherente. En respuesta a estos desafíos, hemos curado RapVerse, un conjunto de datos a gran escala que incluye una colección completa de letras, vocales de canto y movimientos de cuerpo entero en 3D. A pesar de la existencia de conjuntos de datos disponibles para texto a voz [32, 22, 8, 55], texto a movimiento [44, 35, 13, 30], y audio a movimiento [3, 15, 9, 5, 65], el paisaje carece de un conjunto de datos unificado que encapsule vocales de canto, movimiento a El conjunto de datos se divide en dos partes distintivas para satisfacer una amplia gama de necesidades de investigación: 1) un subconjunto Rap-Vocal que contiene un gran número de pares de vocales y letras, y 2) un subconjunto Rap-Motion que incluye vocales, letras y movimientos humanos. El subconjunto Rap-Vocal contiene 108.44 horas de voz de canto inglés de alta calidad en el género de rap sin música de fondo. Las letras y vocales pareadas son recopiladas de Internet de 32 cantantes, con cuidadosa limpieza y post-procesamiento. Por otro lado, el subconjunto Rap-Motion contiene 26.8 horas de vídeos de rendimiento de rap con anotaciones holísticas del cuerpo en 3D en parámetros SMPL-X [42] utilizando la línea de anotación de Motion-X RapVerse Con el conjunto de datos extendido de RapVerse, exploramos hasta dónde podemos empujar simplemente escalando transformadores multimodales autoregresivos con lenguaje, audio y movimiento para una generación coherente y realista de vocales y movimientos humanos de todo el cuerpo. Para este fin, unificamos diferentes modalidades como representaciones de token. En concreto, tres VQVAEs [63] se utilizan para comprimir secuencias de movimiento de todo el cuerpo en tokens discretos de tres niveles para la cabeza, el cuerpo y la mano, respectivamente. Para la generación vocal, las obras anteriores [37, 7, 32, 37] comparten un paradigma común, produciendo mel-espectrogramas de señales de audio de características de entrada textuales y información de puntuación musical adicional, seguido de un vocoder [40, 62, 67] para recon Para resumir, este artículo hace las siguientes contribuciones: • Publicamos RapVerse, un gran conjunto de datos que incluye voces de canto sincronizadas, letras y parámetros 3D holísticos SMPL-X de alta calidad. • Diseñamos un marco unificado simple pero eficaz para la generación conjunta de vocales de canto y movimientos humanos a partir de texto con un transformador multi-modal de una manera autorregresiva. • Para unificar representaciones de diferentes modalidades, empleamos un modelo vocal-to-unidad para obtener tokens de audio cuantizados y utilizar VQVAEs de composición para obtener tokens de movimiento discretos. • Los resultados experimentales muestran que nuestro marco compite con el rendimiento de los sistemas especializados de generación monomodal, estableciendo nuevos estándares para la generación conjunta de vocales y movimiento. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED. Este documento es bajo la licencia CC BY 4.0 DEED. Disponible en Archivo Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Unlocking language's rhythm, harmonizing sound and meaning.

phonology's blog

Este audio es producido en el idioma original de la historia!

Un único prompt tendrá esta inteligencia artificial rapping y danzando

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Una breve introducción a la teoría del cerebro de Boltzmann

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Una breve introducción a la teoría del cerebro de Boltzmann

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps