首页/论文/1609.04243

arXiv 1609.042432016-09cs.NEcs.LGcs.MMcs.SD

基于卷积循环神经网络的音乐分类

Convolutional Recurrent Neural Networks for Music Classification

Queen Mary University of London（伦敦玛丽女王大学）；New York University（纽约大学）

Keunwoo Choi, George Fazekas, Mark Sandler, Kyunghyun Cho

备注：: 5 pages, ICASSP 2017 submitted. Revised to fix previous CNN architectures and update experiment results

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们介绍了一个卷积递归神经网络（CRNN）的音乐标签。CRNN利用卷积神经网络（CNN）进行局部特征提取，并利用循环神经网络对提取的特征进行时间总结。我们将CRNN与三种用于音乐标记的CNN结构进行比较，同时控制每个样本的性能和训练时间的参数数量。总体而言，我们发现CRNN在参数数量和训练时间方面表现出很强的性能，表明其混合结构在音乐特征提取和特征摘要中的有效性。

英文摘要：

We introduce a convolutional recurrent neural network (CRNN) for music tagging. CRNNs take advantage of convolutional neural networks (CNNs) for local feature extraction and recurrent neural networks for temporal summarisation of the extracted features. We compare CRNN with three CNN structures that have been used for music tagging while controlling the number of parameters with respect to their performance and training time per sample. Overall, we found that CRNNs show a strong performance with respect to the number of parameter and training time, indicating the effectiveness of its hybrid structure in music feature extraction and feature summarisation.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

2014年巴赫：用循环神经网络作曲

Bach in 2014: Music Composition with Recurrent Neural Network

Carnegie Mellon University（卡内基梅隆大学）

我们提出了一个使用弹性传播（RProp）和长短期记忆（LSTM）循环神经网络的计算机音乐创作框架。在本文中，我们展示了LSTM网络通过展示其重新创建音乐的能力来正确学习音乐作品的结构和特征。我们还表明，预测现有的音乐使用RProp优于反向传播通过时间（BPTT）。

2014-12-14cs.AIcs.NE

用体裁分类卷积神经网络转换音乐信号

Transforming Musical Signals through a Genre Classifying Convolutional Neural Network

University of Miami（迈阿密大学）

卷积神经网络（CNN）已成功应用于音乐相关任务的判别和生成建模。对于特定任务，训练的CNN包含表示决策或抽象过程的信息。人们可以希望基于这个“知情”网络来操纵现有的音乐，并根据网络获得的知识创建具有新特征的音乐。在本文中，我们提出了一种方法来利用存储的信息，从CNN训练的音乐流派分类任务。该网络由三个卷积层组成，并经过训练将五秒的歌曲片段分为五种不同的类型。在训练之后，通过最大化来自网络层的输出的总和来修改随机选择的剪辑。除了这种CNN产生有趣的音频转换的潜力之外，还可以从生成的特征的分析中获得关于网络和原始音乐的更多信息，因为这些特征指示网络如何“理解”音乐。

2017-06-29cs.LGcs.MMcs.NE

基于样本级深度卷积神经网络的原始波形音乐自动标注

Sample-level Deep Convolutional Neural Networks for Music Auto-tagging Using Raw Waveforms

Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）

最近，使用深度卷积神经网络从原始数据中学习分层表示的端到端方法已经在图像、文本和语音领域得到了成功的探索。这种方法也被应用于音乐信号，但尚未完全探索。为此，我们提出了样本级深度卷积神经网络，它从非常小的波形颗粒（例如2或3个样本）中学习表示，而不是典型的帧级输入表示。我们的实验展示了具有样本级过滤器的深度架构如何提高音乐自动标记的准确性，并且它们提供的结果与Magnatagatune数据集和Million Song数据集之前的最先进性能相当。此外，我们将在每一层的样本级DCNN中学习的滤波器可视化，以识别分层学习的特征，并表明它们对沿层的对数缩放频率敏感，例如广泛用于音乐分类系统的梅尔频谱图。

2017-05-22cs.LGcs.MMcs.NE

基于预训练卷积神经网络的多层次多尺度特征聚合音乐自动标注

Multi-Level and Multi-Scale Feature Aggregation Using Pre-trained Convolutional Neural Networks for Music Auto-tagging

Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）

通常通过将2D音频频谱图视为图像数据，以与图像分类类似的方式来处理音乐自动标记。然而，音乐自动标记与图像分类的区别在于，标记是高度多样化的并且具有不同的抽象级别。考虑到这个问题，我们提出了一个基于卷积神经网络（CNN）的架构，包括多层次和多尺度的功能。该架构分为三个步骤进行训练。首先，我们进行监督特征学习，使用一组具有不同输入大小的CNN来捕获本地音频特征。其次，我们分别从预训练的卷积网络的每一层中提取音频特征，并将它们聚合在一起，给出一个很长的音频片段。最后，我们将它们放入完全连接的网络中，并对标签进行最终预测。我们的实验表明，使用多层次和多尺度特征的组合是非常有效的音乐自动标记，所提出的方法优于以前的国家的最先进的MagnaTagATune数据集和百万歌曲数据集。我们进一步表明，所提出的架构是有用的迁移学习。

2017-06-07cs.LGcs.MMcs.NE

Deep Karlings：使用卷积深度神经网络从音乐混合中提取人声

Deep Karaoke: Extracting Vocals from Musical Mixtures Using a Convolutional Deep Neural Network

University of Surrey（萨里大学）

从混合音乐中识别和提取歌唱声是声源分离和机器听觉中的一个关键挑战。最近，深度神经网络（DNN）已被用于估计“理想的”二进制掩码，以仔细控制鸡尾酒会语音分离问题。然而，目前还不知道这些方法是否能够推广到语音和非语音的音乐混合物的上下文中的歧视。在这里，我们训练了一个卷积DNN（大约有10亿个参数），以提供理想二进制掩码的概率估计，用于从真实世界的音乐混合物中分离人声。我们将DNN结果与更传统的线性方法进行了对比。我们的方法可能是有用的自动删除声乐的声音从音乐混合物的“卡拉OK”类型的应用程序。

2015-04-17cs.LGcs.NEcs.SD

符号音乐建模中的对角RNN

Diagonal RNNs in Symbolic Music Modeling

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）

在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。

2017-04-19cs.LGcs.NEstat.ML

更多相关论文收起更多论文

基于卷积神经网络的复调音乐自动乐器识别

Automatic Instrument Recognition in Polyphonic Music Using Convolutional Neural Networks

New York University（纽约大学）

处理许多音乐信息检索任务的传统方法通常遵循两步架构：特征工程，然后是简单的学习算法。在这些“浅”架构中，特征工程和学习通常是不相交和不相关的。此外，特征工程是困难的，并且通常依赖于广泛的领域专业知识。在本文中，我们提出了一个应用卷积神经网络的任务，自动乐器识别。在该模型中，特征提取和学习算法以端到端的方式一起训练。我们证明了在原始音频上训练的卷积神经网络可以实现超越依赖手工特征的传统方法的性能。

2015-11-17cs.IRcs.LGcs.NE

基于混合密度循环神经网络的交互式音乐预测系统

An Interactive Musical Prediction System with Mixture Density Recurrent Neural Networks

University of Oslo（奥斯陆大学）

本文是关于创建数字乐器的预测神经网络模型集成到交互系统。而不是预测象征性的音乐（例如，我们建议，从用户和精确的时间信息预测未来的控制数据可以导致新的和有趣的交互可能性。我们建议，混合密度递归神经网络（MDRNN）是一个合适的模型，这项任务。当用户停止执行时，预测可以用于填充控制数据，或者作为对用户自己输入的一种过滤器。我们提出了一个交互式的MDRNN预测服务器，允许快速原型的新NIME具有预测的音乐交互记录数据集，训练MDRNN模型，并与交互模式进行实验。我们说明了我们的系统与几个例子NIME应用这个想法。我们的评估表明，即使在单板计算机上，实时预测交互也是可行的，并且小模型适用于小数据集。

2019-04-10cs.HCcs.NEcs.SD

用于复调音乐中主要乐器识别的深度卷积神经网络

Deep convolutional neural networks for predominant instrument recognition in polyphonic music

Seoul National University（首尔大学）；Advanced Institutes of Convergence Technology（融合技术先进研究院）

复调音乐中乐器的识别是音乐信息检索领域中一个具有挑战性但又十分重要的问题。它可以按乐器搜索音乐，帮助识别音乐类型，或者使音乐转录更容易，更准确。在本文中，我们提出了一个卷积神经网络框架，在现实世界的复调音乐中的主要乐器识别。我们从固定长度的音乐摘录中用单个标记的主要乐器训练我们的网络，并从具有可变长度的音频信号中估计任意数量的主要乐器。为了获得音频摘录方面的结果，我们在测试音频上聚合来自滑动窗口的多个输出。在此过程中，我们研究了两种不同的聚合方法：一种是对每个仪器取平均值，另一种是对仪器求和，然后进行归一化。此外，我们对影响性能的几个重要因素进行了广泛的实验，包括分析窗口大小，识别阈值，以及神经网络的激活函数，以找到最佳的参数设置。使用来自11种乐器的10k音频摘录的数据集进行评估，我们发现卷积神经网络比利用频谱特征和支持向量机进行声源分离的传统方法更鲁棒。实验结果表明，所提出的卷积网络架构获得了0.602的微观和0.503的宏，分别实现了19.6%和16.4%的性能提高相比，其他国家的最先进的算法。

2016-12-26cs.CVcs.LGcs.NE

拓扑持久性在音乐音频信号卷积神经网络中的应用

Applying Topological Persistence in Convolutional Neural Network for Music Audio Signals

National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）

近年来，持续同源性作为一种数据分析的拓扑工具，在机器学习问题中的应用引起了越来越多的关注。持久同调以其在数值上刻画由特征或函数诱导的空间形状的能力而闻名。另一方面，深度神经网络已被证明在各种任务中有效。然而，据我们所知，现有的神经网络模型很少利用形状信息。在本文中，我们研究了一种在深度神经网络框架中使用持久同源性的方法。具体来说，我们建议将所谓的“持久性景观”（一种相当新的数据拓扑摘要）嵌入到卷积神经网络（CNN）中，用于处理音频信号。我们对自动音乐标记，多标签分类任务的评估表明，由此产生的持久性卷积神经网络（PCNN）模型可以在预测准确性方面明显优于最先进的模型。我们还讨论了所提出的模型的设计背后的直觉，并提供了它学习的功能的见解。

2016-08-26cs.CGcs.MMcs.NE

利用卷积限制玻尔兹曼机和约束在复调音乐生成中施加高级结构

Imposing higher-level Structure in Polyphonic Music Generation using Convolutional Restricted Boltzmann Machines and Constraints

Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；Johannes Kepler University（约翰内斯·开普勒大学）

我们介绍了一种方法，用于对生成的复调音乐施加更高层次的结构。一个卷积限制玻尔兹曼机（C-RBM）作为一个生成模型结合梯度下降约束优化，以提供进一步的控制生成过程。除其他事项外，这允许使用“模板”件，从其中可以提取一些结构属性，并将其作为约束转移到新生成的材料。抽样过程中进行了指导与模拟退火，以避免局部最优，并找到解决方案，既满足约束条件，相对于C-RBM是相对稳定的。结果表明，用这种方法，它是可能的，以控制更高层次的自相似性结构，米，以及所得到的音乐作品的音调属性，同时保持其本地音乐的连贯性。

2018-04-14cs.AIcs.NEcs.SD

基于深度递归卷积神经网络的说话人特征提取

Speaker Diarization using Deep Recurrent Convolutional Neural Networks for Speaker Embeddings

Tooploox；Warsaw University of Technology（华沙理工大学）；Polish-Japanese Academy of Information Technology（波兰日本信息技术学院）

在本文中，我们提出了一种新的说话人日记化方法，该方法采用深度学习架构来学习说话人嵌入。与使用手工制作的频谱特征构建扬声器嵌入的传统方法相比，我们提出了训练用于此目的的经常性卷积神经网络直接应用于幅度谱图。为了将我们的方法与最先进的方法进行比较，我们收集并向公众发布了一个额外的数据集，其中包含超过6小时的完全注释的广播材料。我们对新数据集和其他三个基准数据集的评估结果表明，我们提出的方法显着优于竞争对手，并降低了日志出错率的大幅幅度超过30%的基线。

2017-09-15cs.MMcs.NEcs.SD

门控循环神经网络在序列建模中的应用

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

Université de Montréal（蒙特利尔大学）

在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。

2014-12-11cs.LGcs.NE

RoboJam：一种用于协同触摸屏交互的音乐混合密度网络

RoboJam: A Musical Mixture Density Network for Collaborative Touchscreen Interaction

University of Oslo（奥斯陆大学）

RoboJam是一个机器学习系统，用于生成音乐，通过对他们的简短即兴表演进行响应来帮助触摸屏音乐应用程序的用户。该系统使用递归人工神经网络来生成触摸屏交互序列和绝对计时，而不是高级音符。为了实现这一点，RoboJam的网络使用混合密度层来预测空间和时间中适当的触摸交互位置。在本文中，我们描述了RoboJam的网络的设计和实现，以及它是如何被集成到一个触摸屏音乐应用程序。初步评估分析系统的培训，音乐生成和用户交互。

2017-11-29cs.HCcs.NEcs.SD

基于递归和卷积神经网络的序列短文本分类

Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks

MIT（麻省理工学院）

最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。

2016-03-12cs.AIcs.CLcs.LG

用于大词汇量语音识别的长短期记忆卷积循环神经网络

Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition

Peking University（北京大学）

长短期记忆（LSTM）循环神经网络（RNN）已被证明在许多语音识别任务上具有最先进的性能，因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面，卷积神经网络（CNN）为深度前馈神经网络（FFNN）带来了显著的改进，因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络（CRNN）的网络结构。在提出的CRNN中，没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块，然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN，LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明，LSTM CRNN可以超过最先进的语音识别性能。

2016-10-11cs.CLcs.NE