Autores:  (1) Daniele Malitesta, Politecnico di Bari, Italia y daniele.malitesta@poliba.it con autores correspondientes: Daniele Malitesta (daniele.malitesta@poliba.it) y Giuseppe Gassi (g.gassi@studenti.poliba.it);  (2) Giuseppe Gassi, Politecnico di Bari, Italia y g.gassi@studenti.poliba.it con autores correspondientes: Daniele Malitesta (daniele.malitesta@poliba.it) y Giuseppe Gassi (g.gassi@studenti.poliba.it);  (3) Claudio Pomo, Politecnico di Bari, Italia y claudio.pomo@poliba.it;  (4) Tommaso Di Noia, Politecnico di Bari, Italia y tommaso.dinoia@poliba.it.   Resumen y 1 Introducción y Motivación   2 Arquitectura y 2.1 Conjunto de datos   2.2 Extractor   2.3 Corredor   3 Tubería de extracción   4 Ducho como aplicación Docker   5 Demostraciones y 5.1 Demostración 1: características de elementos visuales y textuales   5.2 Demo 2: funciones de elementos de audio y texto   5.3 Demostración 3: funciones de interacción/elementos textuales 6   Conclusión y trabajo futuro, agradecimientos y referencias  2 ARQUITECTURA  La arquitectura de Ducho se basa en tres módulos principales, a saber, Dataset, Extractor y Runner, donde los dos primeros módulos proporcionan diferentes implementaciones según la modalidad específica (es decir, audio, visual, textual) que se tenga en cuenta. También recordamos que Configuration es uno de los componentes auxiliares. La arquitectura está diseñada para ser altamente modular, posiblemente integrando nuevos módulos o personalizando los existentes. A continuación, profundizamos en cada módulo/componente descrito.  2.1 Conjunto de datos  El módulo   gestiona la carga y el procesamiento de los datos de entrada proporcionados por el usuario. Partiendo de un esquema general compartido para todas las modalidades disponibles, este módulo proporciona tres implementaciones independientes: Datasets   y   . Como enfoque habitual en la literatura, los Datasets de audio y visual requieren la ruta a la carpeta desde la que se cargan los archivos de imagen/audio, mientras que el Dataset textual funciona a través de un archivo tsv que asigna todas las características textuales a las entradas. Dataset de audio, visual textual  Cabe destacar que, a diferencia de otras soluciones existentes, Ducho puede manejar cada modalidad de dos maneras, dependiendo de si la modalidad específica describe los   (por ejemplo, descripciones de productos) o las   entre usuarios y elementos (por ejemplo, reseñas [1]). Concretamente, mientras que los elementos se asignan a sus identificadores únicos (extraídos del nombre de archivo o del archivo tsv), las interacciones se asignan al par usuario-elemento (extraído del archivo tsv) al que hacen referencia. Aunque las fases de preprocesamiento y extracción no cambian a nivel de elementos e interacciones (ver más adelante), creemos que este esquema puede adaptarse perfectamente a los nuevos sistemas de recomendación con reconocimiento multimodal con modalidades que describen cada tipo de fuente de entrada (incluso   ). elementos interacciones usuarios  Otra tarea importante del módulo Dataset es gestionar la etapa de preprocesamiento de la entrada de datos. Dependiendo de la modalidad específica involucrada, Ducho ofrece la posibilidad de:    cargar el audio de entrada extrayendo la forma de onda y la frecuencia de muestreo, y volver a muestrearlo de acuerdo con la frecuencia de muestreo con la que se entrenó el modelo previamente entrenado; • audio:    convertir imágenes de entrada a RGB y redimensionarlas/normalizarlas para alinearlas con el modelo de extracción entrenado previamente; • visual:    (opcionalmente) limpia los textos de entrada para eliminar o modificar patrones textuales ruidosos como puntuación y dígitos • textual:  Después de la fase de extracción (ver más adelante), el módulo Conjunto de datos finalmente se encarga de guardar las características multimodales generadas en formato de matriz   siguiendo el esquema de nombres de archivo del mapeo anterior. numpy  2.2 Extractor  El módulo   crea un modelo de extracción a partir de una red entrenada previamente y trabaja en cada muestra de entrada cargada/preprocesada para extraer sus características multimodales. De manera similar al módulo Dataset, el módulo Extractor proporciona tres implementaciones diferentes para cada modalidad, a saber, los extractores de audio, visual y textual. Ducho expone una amplia gama de modelos entrenados previamente a partir de tres backends principales: TensorFlow, PyTorch y Transformers. Las siguientes combinaciones de modalidad/backend están disponibles actualmente: Extractor  •   PyTorch (Torchaudio) y Transformers; audio:  •   Tensorflow y PyTorch (Torchvision); visual:    Transformadores (y Transformadores de Sentencias). • textual:  Para realizar la extracción de características, Ducho toma como entrada la (lista de) capas de extracción de cualquier modelo entrenado previamente. Dado que cada backend maneja la extracción de capas ocultas dentro de una red de manera diferente, seguimos las pautas proporcionadas en la documentación oficial, asumiendo que el usuario seguirá el mismo esquema de nombres/indexación de las capas y conocerá la estructura del modelo entrenado previamente seleccionado de antemano. El lector interesado puede consultar el README[2] en la carpeta config/ en GitHub para obtener una explicación exhaustiva sobre cómo configurar la capa de extracción en cada configuración de modalidad/backend.  Finalmente, para el caso textual, el usuario también puede especificar la tarea específica en la que se debe entrenar el modelo pre-entrenado (por ejemplo, análisis de sentimientos), ya que cada red pre-entrenada puede venir con diferentes versiones dependiendo de la estrategia de entrenamiento.  2.3 Corredor  El módulo   es el orquestador de Ducho, cuyo propósito es instanciar, llamar y administrar todos los módulos descritos. Con sus métodos API, este módulo puede activar el pipeline de extracción completo (ver más adelante) de una sola modalidad o de todas las modalidades involucradas simultáneamente. Runner  El módulo Runner se puede personalizar de forma conveniente a través de un componente   auxiliar que almacena y expone todos los parámetros para configurar el flujo de extracción. Incluso si ya se ha puesto a disposición del usuario una configuración predeterminada, Ducho permite anular algunos (o todos) sus parámetros a través de un archivo de configuración externo (en formato YAML) y/o pares clave-valor como argumentos de entrada si se ejecutan los scripts desde la línea de comandos. Una vez más, sugerimos a los lectores que consulten el README en la carpeta config/ en GitHub para comprender el esquema general del archivo de configuración YAML. de configuración  Este artículo está   bajo la licencia CC BY 4.0 DEED. disponible en arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

YAML's human-friendly syntax shines, a language of structure, organizing complexity with ease, in a neat and tidy line.

yaml's blog

Este audio es producido en el idioma original de la historia!

Una nueva forma de extraer características para recomendaciones de IA más inteligentes

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps