作者：  （1）Juan F. Montesinos，西班牙巴塞罗那庞培法布拉大学信息与通信技术系{juanfelipe.montesinos@upf.edu}；  （2）Olga Slizovskaia，西班牙巴塞罗那庞培法布拉大学信息与通信技术系{olga.slizovskaia@upf.edu}；  （3）Gloria Haro，西班牙巴塞罗那庞培法布拉大学信息与通信技术系{gloria.haro@upf.edu}。 链接表 摘要和简介 相关工作 数据集 实验 结论和参考文献 抽象的 在本文中，我们提出了一个新的音乐表演视频数据集，该数据集可用于训练机器学习方法以完成多项任务，例如视听盲源分离和定位、跨模态对应、跨模态生成以及一般任何视听自监督任务。这些视频来自 YouTube，包括 13 种不同乐器的独奏音乐表演。与之前提出的视听数据集相比，Solos 更干净，因为它的大量录音是试听和手动检查的录音，确保视频后处理中没有背景噪音或效果。此外，据我们所知，它是唯一包含 URMP [1] 数据集中所有乐器的数据集，URMP [1] 数据集是一个高质量的数据集，包含 44 个多乐器古典音乐作品的视听录音，每个音轨都独立。URMP 旨在用于源分离，因此，我们评估了在 Solos 上训练的两个不同源分离模型在 URMP 数据集上的性能。该数据集可在 https://juanfmontesinos.github.io/Solos/ 上公开获取 ——视听、数据集、多模式、音乐 索引词 一、引言 人们对解决音乐信息检索 (MIR) 问题的多模态技术的兴趣日益浓厚。音乐表演具有高度多模态的内容，所涉及的不同模态高度相关：声音由演奏者的动作发出，在室内乐表演中，乐谱构成了额外的编码，也可用于自动分析音乐 [2]。  另一方面，通过视觉检查场景，我们可以提取有关声源数量、声源类型、时空位置以及运动的信息，这些信息自然与发出的声音相关。此外，还可以执行自监督任务，其中一种模态监督另一种模态。这需要另一个研究领域，即跨模态对应 (CMC)。我们可以找到针对 BSS 和 CMC 问题的开创性工作。[11]，[12] 利用视听数据进行声音定位，[13]，[14]，[15] 用于语音分离。在音乐方面，视觉信息也被证明有助于基于模型的方法进行源分离 [16]，[17] 和定位 [2]。随着深度学习技术的蓬勃发展，许多最近的作品利用音频和视频内容来执行音乐源分离 [18]-[20]、源关联 [21]、定位 [22] 或两者兼而有之 [23]。一些 CMC 作品探索了从同步生成的特征 [24]，[25]，并证明这些特征可重复用于源分离。这些作品使用以自监督方式训练的网络，使用对应/非对应视听信号对进行定位 [22] 或使用混合分离方法进行源分离 [18]–[20]，[23]。尽管深度学习可以以不同的方式解决经典问题，但它也有助于创建新的研究领域，如跨模态生成，其主要目的是从音频生成视频 [26]，[27] 或反之亦然 [28]。最近与人体运动相关的作品利用骨架作为身体的内部表征，可以进一步转换为视频 [29]，[30]，这显示了骨架的潜力。本文的主要贡献是 Solos，这是一个新的独奏者音乐表演录音数据集，可用于训练上述任何领域的深度神经网络。与 [23] 及其扩展版本 [31] 中提供的类似乐器数据集相比，我们的数据集确实包含 URMP 数据集中存在的相同类型的室内管弦乐器。Solos 是一个从 YouTube 收集的 755 个真实世界录音的数据集，它提供了上述数据集中缺少的几个功能：骨架和高质量时间戳。源定位通常由网络间接学习。因此，提供实用的定位真实值并不简单。尽管如此，网络通常会将玩家的手指向声源。我们预计手部定位可以帮助提供额外的线索来改善视听 BSS，或者可以用作源真实值定位。为了展示使用 Solos 的好处，我们训练了一些流行的 BSS 架构并比较了它们的结果。 该论文 。 可在 arxiv 上根据 CC BY-NC-SA 4.0 DEED 许可获取

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

該音頻是用故事的原始語言製作的！

Solos：用于视听音乐分析的数据集 - 摘要和简介

About Author

註釋

標籤

这篇文章刊登在

Related Stories

架构师指南：构建 AI/ML 数据湖参考架构

Telegram：加密岛通往大陆的桥梁

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

从论坛到信息流：社交媒体算法如何塑造数字互动

架构师指南：构建 AI/ML 数据湖参考架构

Telegram：加密岛通往大陆的桥梁

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

从论坛到信息流：社交媒体算法如何塑造数字互动

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps