JamBot: Music Theory Aware Chord Based Generation of Polyphonic Music with LSTMs
Department of Information Technology and Electrical Engineering（信息技术与电气工程系）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的方法来生成基于LSTM的复调音乐。我们用两个步骤来制作音乐。首先，和弦LSTM基于和弦嵌入预测和弦进行。然后，第二个LSTM从预测的和弦进行中生成复调音乐。生成的音乐听起来悦耳和谐，只有很少的不和谐音符。它具有清晰的长期结构，类似于音乐家在即兴演奏中演奏的音乐。我们表明，我们的方法是明智的，从音乐理论的角度来看，通过评估学习的和弦嵌入。令人惊讶的是，我们的简单模型设法从数据集中提取了五度圈，这是音乐理论中的一个重要工具。
2017-11-21 cs.AI cs.IT cs.LG
PIANOTREE VAE: Structured Representation Learning for Polyphonic Music
NYU Shanghai（纽约大学上海分校）；New York University（纽约大学）；Zhejiang University（浙江大学）
音乐表示学习的主要方法涉及深度无监督模型族变分自动编码器（VAE）。然而，大多数，如果不是全部，在这个问题上可行的尝试主要限于单声道音乐。通常由更丰富的模态和更复杂的音乐结构，复调对应尚未在音乐表征学习的背景下解决。在这项工作中，我们提出了PianoTree VAE，一个新的树结构扩展VAE旨在适应复调音乐学习。实验证明了PianoTree VAE的有效性，通过（i）-语义上有意义的潜在代码的复调段;（ii）-更满意的重建除了体面的几何学学习的潜在空间;（iii）-该模型的好处，下游音乐生成的多样性。
2020-08-17 cs.CL cs.LG cs.SD
Automatic Lyrics Alignment and Transcription in Polyphonic Music: Does Background Music Help?
Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
背景音乐影响歌曲中演唱者的歌词可懂度。在复调音乐中，歌词的自动对齐和自动转写是一项具有挑战性的任务，因为演唱的声音会被背景音乐所破坏。在这项工作中，我们提出了学习音乐流派的具体特点，训练复调声学模型。我们首先比较了几个自动语音识别管道的歌词转录的应用。然后，我们提出了歌词对齐和转录性能的音乐知情的声学模型的最佳性能管道，并系统地研究了音乐流派和语言模型的性能的影响。通过这种基于流派的方法，我们显式地对音乐进行建模，而不会在声学建模期间将其删除。在几个著名的复调测试数据集上，所提出的方法在歌词对齐和转录任务中优于所有竞争系统。
2019-10-22 cs.SD eess.AS
A holistic approach to polyphonic music transcription with neural networks
U.I. for Computing Research（计算研究所）；University of Alicante（阿利坎特大学）
我们提出了一个基于神经网络的框架，以端到端的方式直接从复调音频中提取乐谱。大多数先前的自动音乐转录（AMT）方法寻求音高的钢琴滚动表示，其可以通过结合速度估计、节拍跟踪、键估计或节奏量化来进一步转换成乐谱。与这些方法不同的是，我们的方法直接从输入音频中生成音乐符号。为此，我们使用卷积递归神经网络（CRNN）与连接主义时间分类（CTC）损失函数，它不需要注释的音频帧与分数节奏信息的对齐。我们使用海顿，莫扎特和贝多芬的弦乐四重奏和巴赫的合唱曲作为输入训练我们的模型，这些合唱曲是用不同的节奏和表现力来合成的。输出是基于 **kern格式的四声部乐谱的文本表示。虽然所提出的方法是在一个简化的情况下进行评估，结果表明，该模型可以学习直接从音频信号转录分数，打开了一个有前途的途径走向完整的AMT。
2019-10-26 cs.LG cs.SD eess.AS
An Empirical Evaluation of End-to-End Polyphonic Optical Music Recognition
University of California San Diego（加州大学圣地亚哥分校）
先前的工作表明，神经架构能够以高精度对单声道和谐音音乐执行光学音乐识别（OMR）。然而，钢琴和管弦乐的乐谱经常会出现复调段落，这给这项任务增加了第二个维度。单声道和谐音音乐可以被描述为同节奏的，或具有单一的音乐节奏。复调音乐，另一方面，可以被视为有多个节奏序列，或声音，同时进行。我们首先介绍了一个工作流程，用于创建大规模的复调数据集，适合从MuseScore论坛上公开的乐谱中进行端到端的识别。然后，我们提出了两个新的配方端到端的复调OMR -一个处理的问题作为一种类型的多任务二进制分类，和其他处理它作为多序列检测。基于编码器-解码器架构和在过去的端到端OMR工作中提出的图像编码器，我们提出了两种新的解码器模型- FlagDecoder和RNNDecoder -对应于这两种配方。最后，我们比较了这些端到端方法对复音OMR的经验性能，并使用我们的多序列检测解码器RNNDecoder观察了一种新的最先进的性能。
2021-08-03 cs.CV cs.LG cs.SD
RL-Duet: Online Music Accompaniment Generation Using Deep Reinforcement Learning
Tsinghua University（清华大学）；University of Rochester（罗切斯特大学）
本文提出了一种用于在线伴奏生成的深度强化学习算法，具有实时交互式人机二重奏即兴创作的潜力。与离线音乐生成和协调不同，在线音乐伴奏需要算法响应人类输入并按顺序生成机器对应物。我们将其转换为强化学习问题，其中生成代理学习策略以基于先前生成的上下文（状态）生成音符（动作）。该算法的关键是功能良好的奖励模型。我们不是使用音乐作曲规则来定义它，而是从单音和复音训练数据中学习这个模型。该模型考虑了机器生成的笔记与机器生成的上下文和人类生成的上下文的兼容性。实验表明，该算法能够很好地响应人体部分，生成旋律优美、和谐多样的机器部分。主观评价的喜好表明，该算法生成的音乐作品的质量比基线方法。
2020-02-08 cs.HC cs.LG eess.AS
Choir Transformer: Generating Polyphonic Music with Relative Attention on Transformer
School of Automation and Information Engineering, Xi’an University of Technology（西安理工大学自动化与信息工程学院）
本文提出Choir Transformer，利用相对位置注意力与专用音乐表示生成复调音乐，准确率超越此前最优结果，和声指标接近巴赫作品，并支持多种风格的可控生成。
2023-08-01 cs.AI cs.SD eess.AS
Exploring Isolated Musical Notes as Pre-training Data for Predominant Instrument Recognition in Polyphonic Music
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
针对复调音乐主奏乐器识别难题，提出用单音孤立音符预训练加微调、结合数据增强的端到端方法，在IRMAS数据集上实现性能提升，还构建了参数仅519K的轻量高效模型。
2023-06-15 cs.SD eess.AS
Graph-based Polyphonic Multitrack Music Generation
University of Pisa（比萨大学）
本文提出一种新颖的音乐图表示和深度变分自编码器，分层分离生成音乐的结构与内容，支持指定乐器条件控制，实验证明其能生成调性节奏一致的音乐序列并有效组织潜在空间。
2023-07-27 cs.LG cs.SD eess.AS
Improving Polyphonic Music Models with Feature-Rich Encoding
Humtap
本文探讨了复调音乐序列建模与深度神经网络。虽然最近的突破都集中在网络架构，我们证明了序列的表示可以作出同样显着的贡献的模型的性能，验证集损失。通过提取训练数据集固有的显著特征，模型可以以这些特征为条件，或者被训练以预测所述特征作为被建模的序列的额外组分。我们证明，训练一个神经网络来预测一个看似更复杂的序列，并在被建模的序列中包含额外的特征，可以显着提高整体模型的性能。我们首先介绍TonicNet，这是一个基于GRU的模型，经过训练，最初预测给定时间步的和弦，然后预测该时间步每个声音的音符，与仅预测音符的典型方法相反。然后，我们在规范的JSB Chorales数据集上评估TonicNet，并获得最先进的结果。
2020-09-14 cs.LG cs.SD eess.AS
An End-to-End Neural Network for Polyphonic Piano Music Transcription
Queen Mary University of London（伦敦玛丽女王大学）
提出了一种有监督的神经网络模型用于钢琴复调音乐的改编。所提出的模型的架构是类似于语音识别系统，包括一个声学模型和一个音乐语言模型。声学模型是用于估计音频帧中音高的概率的神经网络。语言模型是一个循环神经网络，它对音高组合之间随时间的相关性进行建模。所提出的模型是通用的，可以用来转录复调音乐，而不施加任何限制的复调。声学和语言模型预测使用概率图形模型相结合。使用波束搜索算法对输出变量进行推断。我们进行了两组实验。我们研究了各种神经网络架构的声学模型，并研究了结合声学和音乐语言模型预测使用所提出的架构的效果。我们比较性能的神经网络为基础的声学模型与两个流行的无监督声学模型。结果表明，卷积神经网络声学模型在所有评估指标中产生最佳性能。我们还观察到改进的性能与应用的音乐语言模型。最后，我们提出了一个有效的波束搜索的变体，提高了性能，减少了一个数量级的运行时间，使模型适合实时应用。
2016-02-11 cs.LG cs.SD stat.ML
RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music
School of Information, Renmin University of China（中国人民大学信息学院）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
针对复调音乐中人声音高估计受限于音乐源分离模型的问题，提出鲁棒模型 RMVPE 直接提取隐藏特征并预测音高，在 RPA、RCA 及各 SNR 水平下均表现优越。
2023-06-28 cs.SD eess.AS
Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of Polyphonic Music
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
复调音乐的歌词转录是具有挑战性的，这不仅是因为演唱的声音被背景音乐破坏，而且还因为背景音乐和演唱风格在不同的音乐流派中不同，例如流行音乐，金属和嘻哈，这以不同的方式影响歌曲的歌词可理解性。在这项工作中，我们建议使用一种新的体裁条件网络来转录复调音乐的歌词。所提出的网络采用预先训练的模型参数，并在层之间结合体裁适配器，以捕获歌词体裁对的不同体裁特性，从而只需要轻量级的体裁特定参数进行训练。我们的实验表明，建议的体裁条件网络优于现有的歌词转录系统。
2022-04-07 cs.AI cs.SD eess.AS
Transfer Learning for Improving Singing-voice Detection in Polyphonic Instrumental Music
Microsoft Research Asia（微软亚洲研究院）
复调器乐中的演唱声检测是音乐信息检索的关键。为了训练鲁棒的人声检测器，在帧级标记有人声或非人声标签的大数据集是必不可少的。然而，帧级标记是耗时和劳动力昂贵的，导致很少有良好的标记数据集可用于歌唱语音检测（S-VD）。因此，我们提出了一种通过迁移学习的S-VD数据增强方法。在这项研究中，干净的语音片段与语音活动端点和单独的器乐片段被人工添加在一起，以模拟复调人声训练一个声乐/非声乐检测器。由于说话和唱歌之间的发音和发声不同，用人工数据集训练的人声检测器与人声与乐器伴奏一起唱歌的复调音乐不匹配。为了减少这种不匹配，使用迁移学习来将从人工语音加音乐训练集学到的知识迁移到小但匹配的复音数据集，即，演唱者与歌手通过转移相关知识来弥补S-VD中缺乏良好标记的训练数据，所提出的迁移学习数据增强方法可以提高S-VD的性能，F分数从89.5%提高到93.2%。
2020-08-11 cs.SD eess.AS
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Polyffusion: A Diffusion Model for Polyphonic Score Generation with Internal and External Controls
NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；NUS（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
本研究提出多声部乐谱生成扩散模型Polyffusion，通过内部填充与外部交叉注意力控制统一多种音乐创作任务，性能优于现有基线，预训练解耦表示可提升控制效果。
2023-07-19 cs.LG cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University（庆北国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
用于音频合成的深度生成模型最近得到了显着改进。然而，对原始波形进行建模的任务仍然是一个困难的问题，特别是对于音频波形和音乐信号。最近，开发了用于高质量音频波形合成的实时音频变分自编码器（RAVE）方法。RAVE方法基于变分自编码器，并采用两阶段训练策略。不幸的是，RAVE模型在再现宽音高复调音乐声音方面受到限制。因此，为了提高重建性能，我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息，我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构，我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚（MUSHRA）与MAESTRO。结果表明，该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
CoCoFormer: A controllable feature-rich polyphonic music generation method
Xi’an University of Technology（西安理工大学）
本文提出CoCoFormer，通过细粒度控制和弦与节奏输入，并结合自监督联合训练与对抗训练，实现了可控且多样化的复调音乐生成。
2023-11-28 cs.AI cs.SD eess.AS
Generating Music using an LSTM Network
Columbia University（哥伦比亚大学）
一个音乐模型需要有能力回忆过去的细节，并对音乐结构有清晰、连贯的理解。论文中详细介绍了一种神经网络架构，它可以预测并生成符合音乐规则的复调音乐。所呈现的概率模型是一个双轴LSTM，它用一个让人想起卷积核的核来训练。从定量和定性的角度分析，这一方法在复调音乐创作中有着良好的表现。提供了代码的链接。
2018-04-18 cs.LG cs.SD eess.AS
Analyzing Byte-Pair Encoding on Monophonic and Polyphonic Symbolic Music: A Focus on Musical Phrase Segmentation
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立综合理工学院）；LaBRI（波尔多计算机科学研究实验室）
本文研究BPE在不同乐器编制及单、多声部符号音乐中的行为，并通过音乐乐句分割实验表明其词汇高度依赖编制、supertokens可捕捉抽象内容，且性能提升随声部与合并次数而变化。
2024-10-02 cs.CL cs.IR cs.SD
Polyphonic Music Generation with Sequence Generative Adversarial Networks
Seoul National University（首尔国立大学）
我们提出了一个应用程序的序列生成对抗网络（SeqGAN），这是生成对抗网络的离散序列生成，创建复调音乐序列。而不是一个单声道的旋律生成建议在原来的工作中，我们提出了一个有效的表示的一个复调音乐文件，同时捕捉和弦和旋律的动态定时。所提出的方法将旋律和和弦的持续时间，八度音阶和键浓缩为单个词向量表示，并且递归神经网络学习从嵌入的音乐词空间预测序列的分布。我们实验了原始方法和最小二乘法的训练，这是已知的稳定的GANs的训练。该网络可以创建音乐连贯的序列，并显示出改进的定量和定性测量。我们还报告说，仔细优化的强化学习信号的模型是至关重要的模型的一般应用。
2018-07-02 cs.SD eess.AS
PoLyScriber: Integrated Fine-tuning of Extractor and Lyrics Transcriber for Polyphonic Music
National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对复调音乐歌词转录两步流水线存在的人声提取不完善和前后端不匹配问题，提出端到端集成微调框架PoLyScriber，全局优化提取器与转录器，在公开测试集上较现有方法实现大幅性能提升。
2023-05-05 cs.SD eess.AS eess.SP
Efficient Learning of Harmonic Priors for Pitch Detection in Polyphonic Music
Centre for Digital Music（数字音乐中心）；Queen Mary University of London（伦敦玛丽女王大学）
自动音乐转录（AMT）的目的是推断一段音乐（钢琴卷）的潜在符号表示，给定相应的观察到的音频记录。复调音乐（当多个音符同时演奏时）是一个具有挑战性的问题，因为和声之间存在高度结构化的重叠。我们研究是否引入物理启发的高斯过程（GP）先验到音频内容分析模型，提高了AMT所需的模式的提取。音频信号被描述为源的线性组合。每个源被分解成一个振幅包络的产品，和一个准周期分量过程。我们介绍了Matérn频谱混合（MSM）内核描述单音符的频率内容。我们考虑两种不同的回归方法。在sigmoid模型中，每个音高激活都是独立的非线性变换。在softmax模型中，几个激活GP被联合非线性变换。这引入了激活之间的互相关。我们使用变分贝叶斯近似推理。我们经验性地评估了这些模型在复调音乐的转录实践中是如何工作的。我们证明，而不是鼓励激活之间的依赖关系，什么是相关的提高音高检测是学习先验，适合的声音事件的频率内容检测。
2018-11-16 cs.SD stat.ML
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University（复旦大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；National Institute of Informatics（国立信息学研究所）
歌声检测（SVD）是音乐信息检索（MIR）中的一项重要任务，用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起，特别是对于一些复杂的复调音乐，如合唱音乐录音，这项任务仍然具有挑战性。为了解决这个问题，我们研究歌声检测，同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤：i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性，使用长期递归卷积网络（LRCN）来学习成分特征。此外，为了消除离群值，我们选择使用中值滤波器进行时域平滑。实验结果表明，该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
Signal-domain representation of symbolic music for learning embedding spaces
IRCAM（声学/音乐研究所）
机器学习模型的一个关键方面在于它们学习有效中间特征的能力。然而，输入表示在这个过程中起着至关重要的作用，复调乐谱仍然是一种特别复杂的信息类型。在本文中，我们介绍了一种新的表示符号音乐数据，它转换成一个连续的信号的复调乐谱。我们从音乐的角度来评估学习有意义的功能，从这个表示的能力。因此，我们介绍了一种评价方法，依靠原则性的生成合成数据。最后，为了测试我们提出的代表性，我们进行了广泛的基准对最近的复调符号表示。我们表明，我们的信号表示导致更好的重建和解开功能。这种改进反映在度量属性和根据音乐理论属性从我们的类信号表示学习的空间的生成能力中。
2021-09-08 cs.LG cs.SD eess.AS
TrOMR:Transformer-Based Polyphonic Optical Music Recognition
NetEase Cloud Music（网易云音乐）
本文提出基于 Transformer 的端到端复调 OMR 模型 TrOMR，通过一致性损失和数据标注方案提升复杂乐谱识别效果，并构建真实整页相机场景数据集，性能优于现有方法。
2023-08-18 cs.CL cs.SD eess.AS
Automatic Instrument Recognition in Polyphonic Music Using Convolutional Neural Networks
New York University（纽约大学）
处理许多音乐信息检索任务的传统方法通常遵循两步架构：特征工程，然后是简单的学习算法。在这些“浅”架构中，特征工程和学习通常是不相交和不相关的。此外，特征工程是困难的，并且通常依赖于广泛的领域专业知识。在本文中，我们提出了一个应用卷积神经网络的任务，自动乐器识别。在该模型中，特征提取和学习算法以端到端的方式一起训练。我们证明了在原始音频上训练的卷积神经网络可以实现超越依赖手工特征的传统方法的性能。
2015-11-17 cs.IR cs.LG cs.NE
Transcribing Rhythmic Patterns of the Guitar Track in Polyphonic Music
本研究提出一个三步框架，利用音源分离、MERT模型检测扫弦和模式解码，实现多声音乐中吉他节奏型的自动转写，并生成含小节线和拍号的可读表示。
2025-10-07 cs.LG cs.SD eess.AS
End-to-end Lyrics Alignment for Polyphonic Music Using an Audio-to-Character Recognition Model
Queen Mary University of London（伦敦玛丽女王大学）；Spotify（声田）
时间对齐的歌词可以通过启用卡拉OK、基于文本的歌曲检索和歌曲内导航以及其他应用来丰富音乐收听体验。与文本到语音对齐相比，歌词对齐仍然具有很大的挑战性，尽管许多尝试将包括声音分离和检测在内的许多子模块组合在一起，以解决这个问题。此外，训练需要以某种形式提供细粒度的注释。在这里，我们提出了一种新的系统的基础上修改的Wave-U-Net架构，它预测字符概率直接从原始音频使用学习的多尺度表示的各种信号分量。不存在需要优化其相互依赖性的子模块。我们的训练过程旨在处理现实世界中可用的弱行级注释。在标准数据集上的平均对齐误差为0.35s，我们的系统比最先进的系统性能高出一个数量级。
2019-02-18 cs.LG cs.SD eess.AS
Persian Musical Instruments Classification Using Polyphonic Data Augmentation
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢里夫理工大学）
本文针对波斯乐器分类研究不足的问题，提出基于文化背景的复音数据增强策略，结合MERT模型在真实波斯音乐上取得最佳ROC-AUC（0.795），验证了该方法对文化包容性音乐信息检索的有效性。
2025-11-07 cs.CL cs.SD
Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration
School of Future Technology, South China University of Technology, Guangzhou, China.（未来技术学院，华南理工大学，广州，中国）
本文提出Polyphonia框架，通过声学感知注意力校准实现多声部音乐中精确的零样本音色迁移，提升目标音色对齐精度的同时保持音乐保真度和非目标音色完整性。
2026-05-11 cs.SD eess.AS
Low Resource Audio-to-Lyrics Alignment From Polyphonic Music Recordings
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
长音乐记录中的歌词对齐在单遍执行时可能是记忆耗尽的。在这项研究中，我们提出了一种新的方法，执行音频到歌词对齐与低内存消耗的足迹，无论音乐录制的持续时间。所提出的系统首先在音频信号中定位锚定词。对于这些锚点，记录然后被分段，并执行第二遍对齐以获得字定时。我们表明，我们的音频到歌词对齐系统执行竞争力与国家的最先进的，同时需要更少的计算资源。此外，我们利用我们的歌词对齐系统将音乐录音分割成音乐级别的块。值得注意的是，在分段录音中，我们报告了一些基准测试集上的歌词转录分数。最后，我们的实验强调了声源分离步骤对于转录和比对任务的良好性能的重要性。为了可重复性，我们与研究社区公开分享我们的代码。
2021-02-18 cs.SD eess.AS
JS Fake Chorales: a Synthetic Dataset of Polyphonic Music with Human Annotation
Humtap, Inc.（Humtap公司）
基于学习的复调符号音乐建模的高质量数据集在规模上仍然不如其他领域（如语言建模或图像分类）容易获得。深度学习算法显示出在消费者应用中广泛使用交互式音乐生成技术的巨大潜力，但缺乏大规模数据集仍然是开发能够持续生成高质量输出的算法的瓶颈。我们提出，具有狭窄专业知识的模型可以作为高质量可扩展合成数据的来源，并开源JS Fake Chorales，这是一个由基于学习的新算法生成的500个数据集，以XML形式提供。我们从算法中获取连续的输出，避免樱桃采摘，以验证进一步按需扩展此数据集的潜力。我们进行了一项在线实验，旨在尽可能公平地对待听众，并发现受访者在区分JS Fake Chorales与JS Bach创作的真实Chorales方面平均只比随机猜测好7%。此外，我们将从实验中收集的匿名数据与匿名样本一起提供。最后，我们进行了消融研究，以证明使用合成作品进行复调音乐建模研究的有效性，并发现我们可以使用已知算法，通过简单地用JS Fake Chorales增强训练集来改善规范JSB Chorales数据集的最新验证集损失。
2022-03-31 cs.SD eess.AS
Mathematical Foundations of Polyphonic Music Generation via Structural Inductive Bias
A Monograph（专著）
本文通过结构归纳偏差提出多声部音乐生成的数学框架，采用贝多芬钢琴奏鸣曲案例，引入Smart Embedding架构，减少参数并提升模型稳定性。
2026-06-13 cs.LG cs.SD eess.AS
towards automatic transcription of polyphonic electric guitar music:a new dataset and a multi-loss transformer model
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（台湾“中央研究院”）；National Taiwan University（台湾大学）
在本文中，我们提出了一个新的数据集命名为EGDB，它包含了240个不同音调渲染的制表符的电吉他演奏的透明度。此外，我们在这个数据集上对两个著名的转录模型的性能进行了基准测试，这些模型最初是为钢琴提出的，以及我们新提出的多损失Trans-former模型。我们对这张专辑和一组单独的真实世界录音的评估证明了音色对吉他乐谱转录准确性的影响，Transformers使用多个损失的潜力，以及进一步改进这项任务的空间。
2022-02-20 cs.SD eess.AS
Style Imitation and Chord Invention in Polyphonic Music with Exponential Families
Sony Computer Science Laboratories, Paris（索尼计算机科学实验室（巴黎））；LIP6, Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学LIP6实验室）
由于旋律与和声之间错综复杂的相互作用，对复调音乐进行建模是一项特别具有挑战性的任务。一个好的模型应该满足三个要求：统计准确性（忠实地捕捉各种范围内的相关性统计数据，水平和垂直），灵活性（应对任意用户约束）和泛化能力（发明新材料，同时保持训练语料库的风格）。到目前为止提出的模型至少在这些要求中的一个上失败。我们提出了一个统计模型的复调音乐，基于最大熵原理。该模型能够学习和再现给定语料库中相邻音符事件之间的成对统计。该模型还能够发明新的和弦和协调未知的旋律。我们评估的发明能力的模型，通过评估的引用量，重新发现，并发明了巴赫合唱团的语料库和弦。我们讨论了如何使用户能够指定和执行用户定义的约束，这使得它有用的风格为基础的，互动的音乐生成的模型。
2016-09-16 cs.AI cs.SD
Few-Shot Drum Transcription in Polyphonic Music
New York University（纽约大学）；Adobe Research（奥多比研究院）
数据驱动的自动鼓转录（ADT）方法通常限于预定义的小词汇表的打击乐器类。这样的模型不能识别词汇表外的类，也不能适应更细粒度的词汇表。在这项工作中，我们通过引入少样本学习来解决开放词汇ADT。我们在一个合成数据集上训练一个原型网络，并在多个现实世界的ADT数据集上评估该模型，并进行复调伴奏。我们表明，在推理时只给出少数选定的例子，我们可以匹配，并在某些情况下优于一个国家的最先进的监督ADT方法在一个固定的词汇设置。与此同时，我们证明了我们的模型可以成功地推广到训练过程中看不到的更细粒度或扩展的词汇表，这是一种监督方法根本无法操作的情况。我们提供了一个详细的分析，我们的实验结果，包括按声音类和复调性能的细分。
2020-08-06 cs.SD eess.AS
Convolutional Generative Adversarial Networks with Binary Neurons for Polyphonic Music Generation
Research Center for IT innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
最近已经证明，深度卷积生成对抗网络（GANs）可以学习以钢琴卷的形式生成音乐，钢琴卷通过二进制值的时间音高矩阵表示音乐。然而，现有的模型只能产生实值的钢琴卷，并需要进一步的后处理，如硬阈值（HT）或伯努利采样（BS），以获得最终的二进制值的结果。在本文中，我们研究是否可以有一个卷积GAN模型，通过使用二进制神经元直接创建二进制值的钢琴卷。具体来说，我们建议在生成器上附加一个额外的细化器网络，该网络在输出层使用二进制神经元。整个网络的训练分为两个阶段。首先，对生成器和训练器进行预训练。然后，精炼器网络与预训练器一起训练，以学习对预训练生成器创建的实值钢琴卷进行二值化。实验结果表明，使用二进制神经元代替HT或BS确实导致更好的结果，在一些客观的措施。此外，确定性二元神经元在客观测量和主观测试中的表现优于随机神经元。生成结果的源代码、训练数据和音频示例可以在https://salu133445.github.io/bmusegan/找到。
2018-10-06 cs.AI cs.LG cs.SD
Pseudo-Label Transfer from Frame-Level to Note-Level in a Teacher-Student Framework for Singing Transcription from Polyphonic Music
Neutune Research（Neutune研究中心）；KAIST（韩国科学技术院）
缺乏大规模音符级标注数据是复调音乐歌唱转写的主要障碍。我们解决这个问题，通过使用伪标签的音高估计模型给出未标记的数据。该方法首先通过音高和节奏量化步骤将帧级伪标签转换为音符级伪标签。然后，在师生框架下，通过自我训练进一步提高标签质量。为了验证该方法，我们进行了各种实验设置，通过调查两个音高估计模型作为伪标签生成器，两个设置的师生框架，以及自我训练的迭代次数。实验结果表明，该方法能有效利用大规模未标记音频数据，并通过带噪学生模型进行自训练，提高了性能。最后，我们证明了仅使用未标记数据训练的模型与以前的作品具有相当的性能，并且使用附加标记数据训练的模型比仅使用标记数据训练的模型具有更高的准确性。
2022-03-30 cs.SD eess.AS
Imposing higher-level Structure in Polyphonic Music Generation using Convolutional Restricted Boltzmann Machines and Constraints
Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；Johannes Kepler University（约翰内斯·开普勒大学）
我们介绍了一种方法，用于对生成的复调音乐施加更高层次的结构。一个卷积限制玻尔兹曼机（C-RBM）作为一个生成模型结合梯度下降约束优化，以提供进一步的控制生成过程。除其他事项外，这允许使用“模板”件，从其中可以提取一些结构属性，并将其作为约束转移到新生成的材料。抽样过程中进行了指导与模拟退火，以避免局部最优，并找到解决方案，既满足约束条件，相对于C-RBM是相对稳定的。结果表明，用这种方法，它是可能的，以控制更高层次的自相似性结构，米，以及所得到的音乐作品的音调属性，同时保持其本地音乐的连贯性。
2018-04-14 cs.AI cs.NE cs.SD
Polyphonic pitch detection with convolutional recurrent neural networks
DoReMIR Music Research AB（DoReMIR音乐研究公司）
自动语音识别（ASR）研究的最新方向表明，在计算机视觉中应用来自图像识别挑战的深度学习模型是有益的。由于自动音乐转录（AMT）在表面上类似于ASR，因为方法通常依赖于将频谱图转换为事件的符号序列（例如单词或音符），因此深度学习也应该使AMT受益。在这项工作中，我们概述了一个在线的和弦音高检测系统，流音频到convlstms。我们的系统在2007年MIREX多F0开发集上取得了最先进的结果，在巴松管，单簧管，长笛，圆号和双簧管合奏录音上的F测量值为83%，而不需要任何音乐语言建模或乐器音色的假设。
2022-02-04 cs.LG cs.MM cs.SD
Deep convolutional neural networks for predominant instrument recognition in polyphonic music
Seoul National University（首尔大学）；Advanced Institutes of Convergence Technology（融合技术先进研究院）
复调音乐中乐器的识别是音乐信息检索领域中一个具有挑战性但又十分重要的问题。它可以按乐器搜索音乐，帮助识别音乐类型，或者使音乐转录更容易，更准确。在本文中，我们提出了一个卷积神经网络框架，在现实世界的复调音乐中的主要乐器识别。我们从固定长度的音乐摘录中用单个标记的主要乐器训练我们的网络，并从具有可变长度的音频信号中估计任意数量的主要乐器。为了获得音频摘录方面的结果，我们在测试音频上聚合来自滑动窗口的多个输出。在此过程中，我们研究了两种不同的聚合方法：一种是对每个仪器取平均值，另一种是对仪器求和，然后进行归一化。此外，我们对影响性能的几个重要因素进行了广泛的实验，包括分析窗口大小，识别阈值，以及神经网络的激活函数，以找到最佳的参数设置。使用来自11种乐器的10k音频摘录的数据集进行评估，我们发现卷积神经网络比利用频谱特征和支持向量机进行声源分离的传统方法更鲁棒。实验结果表明，所提出的卷积网络架构获得了0.602的微观和0.503的宏，分别实现了19.6%和16.4%的性能提高相比，其他国家的最先进的算法。
2016-12-26 cs.CV cs.LG cs.NE
Melody Extraction from Polyphonic Music by Deep Learning Approaches: A Review
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
旋律提取是音乐研究者的一项重要音乐信息检索任务，因为它在教育教学和音乐产业中具有潜在的应用价值。由于背景乐器的存在，旋律提取是一项非常具有挑战性的任务。此外，通常旋律来源表现出类似的特点，其他文书。背景伴奏与人声的干扰使得从混合信号中提取旋律更具挑战性。直到最近，经典的基于信号处理的旋律提取方法在旋律提取研究者中相当流行。深度学习模型对大规模数据进行建模的能力以及模型通过利用空间和时间依赖性来学习自动特征的能力激励了许多研究人员采用深度学习模型进行旋律提取。在本文中，尝试已作出审查的最新数据驱动的深度学习方法从复调音乐的旋律提取。已经基于所使用的神经网络的类型和它们用于预测旋律的输出表示来对可用的深度模型进行分类。此外，简要介绍了25个旋律提取模型的体系结构。用于优化旋律提取模型的模型参数的损失函数大致分为四类，并简要描述了各种旋律提取模型所使用的损失函数。此外，旋律提取模型所采用的各种输入表示和参数设置进行了深入的描述。包括描述块框旋律提取深度神经网络的可解释性的部分。比较了25种旋律提取方法的性能。本文还提出了今后旋律提取方法的探索和改进方向。
2022-02-02 cs.SD eess.AS
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Simultaneous Separation and Transcription of Mixtures with Multiple Polyphonic and Percussive Instruments
Illinois Institute of Technology（伊利诺伊理工学院）
我们提出了一个单一的深度学习架构，可以将音乐混合的音频记录分离为组成的单乐器记录，并同时将这些乐器转录为人类可读的格式，为这两项任务学习共享的音乐表示。这种新颖的架构，我们称之为Cerberus，通过添加第三个“头”进行转录，建立在Chimera网络的基础上，用于源分离。通过用不同的损失训练每个头，我们能够共同学习如何在我们的实验中使用单个网络分离和转录多达5种乐器。我们发现，这两个任务是高度互补的，当共同学习时，会导致Cerberus网络更好地分离和转录，并更好地推广到看不见的混合物。
2020-02-12 cs.LG cs.SD eess.AS
Plagiarism Detection in Polyphonic Music using Monaural Signal Separation
Jadavpur University（贾达夫普尔大学）；DA-IICT（达尔彭加信息与通信技术学院）；LNM-IIT（LNM理工学院）；Carnegie Mellon University（卡内基梅隆大学）
鉴于每年发布的大量新音乐曲目，自动化的剽窃检测方法对于帮助我们跟踪潜在的版权侵权行为至关重要。目前大多数剽窃检测方法都是基于音乐相似性度量，通常忽略了音乐中的复调问题。我们提出了一种新的特征空间的音频来自合成建模技术，通常用于信号分离，提供了一种机制，占复调，而不会产生过多的计算开销。我们采用这种特征表示与传统的音频特征表示在一个分类框架，使用一个合奏的距离特征来表征对歌曲被剽窃或不。我们的实验数据库中约3000音乐曲目对表明，新的特征空间表征产生显着的改善，超过标准基线。
2015-02-27 cs.AI cs.MM cs.SD
From Image to Music Language: A Two-Stage Structure Decoding Approach for Complex Polyphonic OMR
FindLab
本文提出一种实用的两阶段光学音乐识别管道新方法，聚焦第二阶段解码，通过结构解码问题解决复杂多声部乐谱中的声部分离和小节内时间同步问题。
2026-04-30 cs.CV cs.SD
A Manual Bar-by-Bar Tempo Measurement Protocol for Polyphonic Chamber Music Recordings: Design, Validation, and Application to Beethoven's Piano and Cello Sonatas
本文提出一种手动累积计时器协议，用于精确提取历史多声部室内乐录音中的节奏数据，解决了传统自动节拍检测软件在处理历史作品时的局限性。
2026-04-16 cs.SD eess.AS
Sparse Pursuit and Dictionary Learning for Blind Source Separation in Polyphonic Music Recordings
University of Bremen（不来梅大学）；Colorado State University（科罗拉多州立大学）
提出了一种单声道音频信号盲分离算法。它基于一个参数模型，该模型描述了独立于音高的乐器声音的频谱特性。我们开发了一种新的稀疏追踪算法，可以匹配的离散频谱从记录的信号与连续的频谱提供的模型。我们首先使用该算法将来自记录的STFT谱图转换成一种新形式的对数频率谱图，其分辨率超过了梅尔谱图。然后，我们利用该表示的音高不变特性，以便通过相同的稀疏追踪方法来识别乐器的声音。由于表征乐器的模型参数事先不知道，我们训练包含它们的字典，使用修改后的亚当版本。将该算法应用于各种音频样本，我们发现，它能够产生高质量的分离结果时，模型假设得到满足，仪器是明确区分，但具有相似的频谱特性的仪器的组合构成了一个概念上的困难。虽然该模型的一个关键特征是它显式地对不和谐性进行建模，但它的存在仍然会阻碍稀疏追踪算法的性能。在一般情况下，由于其音高不变性，我们的方法是特别适合于处理从声学仪器的频谱，只需要一个最小数量的超参数被预设。此外，我们证明了为一个记录构建的字典可以应用于具有类似仪器的不同记录，而无需额外的训练。
2021-02-01 cs.LG cs.SD eess.AS
Toward Evolution Strategies Application in Automatic Polyphonic Music Transcription using Electronic Synthesis
Institut Supérieur de Commerce（高等商学院）
本文提出了一种基于演化策略的复调音乐转写方法。自动音乐转录是一个复杂的过程，仍然是一个开放的挑战。使用一个音频信号被转录为我们的ES的目标，生成一个音频文件所需的信息可以从后者中提取。目前存在的文献中提出的许多技术，其中一些已经应用进化算法来解决这个问题的上下文中考虑它作为一个搜索空间问题。然而，专家系统至今尚未得到应用。实验表明，通过使用这些机器学习工具，一些缺点所提出的其他进化算法为基础的转录方法可以解决。它们包括计算成本和收敛时间。由于演化策略使用自适应参数，本文表明，通过正确调整其控制标准差的策略参数的值，可以触发向最优值的快速收敛，从结果中可以执行具有良好的准确性和在短时间内的音乐的转录。在相同的上下文中，使用并行化技术来处理计算任务，从而总体上减少了计算时间和转录时间。
2013-04-03 cs.SD
TONet: Tone-Octave Network for Singing Melody Extraction from Polyphonic Music
University of California San Diego（加州大学圣地亚哥分校）；Fudan University（复旦大学）；Smule Inc.（Smule公司）
歌唱旋律提取是音乐信息检索领域的一个重要问题。现有的方法通常依赖于频域表示来估计歌唱频率。然而，这种设计在音调（音高级）和八度音的旋律信息的感知方面并不导致人类水平的性能。在本文中，我们提出了TONet，即插即用模型，利用一种新的输入表示和一种新的网络架构，提高了音调和八度感知。首先，我们提出了一种改进的输入表示，音调CFP，明确组谐波通过重新排列的频率箱。其次，我们介绍了一个编码器-解码器架构，旨在获得显着性特征图，音调特征图，和倍频程特征图。第三，我们提出了一个色调-八度融合机制，以改善最终的显着性特征图。通过实验验证了TONet在不同骨干网模型下的性能。我们的研究结果表明，使用Tone-CFP的音调-八度融合可以显着提高各种数据集的歌唱声音提取性能-在八度和音调准确性方面有很大的提高。
2022-02-02 cs.AI cs.LG cs.MM
Deep domain adaptation for polyphonic melody extraction
本文针对复调旋律提取中的跨领域性能下降问题，研究了多种深度领域自适应技术，发现基于元学习的自适应方法优于简单微调及现有非自适应算法。
2023-04-05 cs.SD eess.AS
Detecting tala Computationally in Polyphonic Context - A Novel Approach
Deepa Ghosh Research Foundation（迪帕·戈什研究基金会）
在北印度音乐系统（NIMS）中，塔布拉主要用于多声部作品中的声乐伴奏。人类听觉系统使用音乐元素的感知分组，并且容易过滤塔布拉分量，从而从复调作品中解码突出的节奏特征，如塔拉，节奏。对于西方音乐，已经报道了大量的工作，用于复调作品的自动鼓分析。然而，在NIMS中通过将tala信号从混合信号中分离出来来计算tala的尝试并不成功。Tabla由两部分组成-右和左。右手分量与语音和其他乐器有频率重叠。因此，从混声中准确地分离出合音信号，对复调乐曲进行分析是一项令人困惑的任务，因此也是一个具有挑战性的领域。在这项工作中，我们提出了一种新的技术，成功地检测tala使用左tabla信号，产生有意义的结果，因为左tabla通常不与语音和其他乐器的频率重叠。北印度节奏遵循复杂的循环模式，而不是西方节奏的线性方法。我们利用这一循环特性，结合重音和非重音的弹板笔画方法，从左板笔画中提取出一种特征模式，与tala系统的语法匹配后，确定了作品的tala和速度。大量的复调（声乐+塔布拉+其他乐器）的作品进行了分析的方法和结果清楚地表明，所提出的技术的有效性。
2018-09-24 cs.SD
LSTM Networks for Music Generation
Lanzhou University（兰州大学）
本文提出了一种基于LSTM（长短期记忆）的音乐生成方法，对比了不同网络结构对音乐生成的影响，并介绍了一些研究者使用的其他方法。
2020-06-16 cs.LG cs.SD eess.AS
