Improving Musical Instrument Classification with Advanced Machine Learning Techniques
Utrecht University（乌得勒支大学）
本研究针对音乐信息检索中的乐器分类问题，对比测试多种传统机器学习与深度学习方法在NSynth数据集上的分类效果，分析各方法优劣，并开展混合模型测试，为后续乐器分类系统研发提供参考与方向。
2024-11-01 cs.IR cs.LG cs.SD
Musical Instrument Playing Technique Detection Based on FCN: Using Chinese Bowed-Stringed Instrument as an Example
Peking University（北京大学）；Wangxuan Institute of Computer Technology, PKU（北京大学王选计算机研究所）；China Conservatory of Music（中国音乐学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
与旋律提取和其他音乐转录方面不同，演奏技术检测的研究仍处于早期阶段。针对目前乐器演奏技术检测主要集中在单个音符演奏技术检测的问题，提出了一种基于FCN的声音事件检测的端到端乐器演奏技术检测方法。在我们的例子中，我们选择二胡，一个著名的中国弓弦乐器，实验与我们的方法。针对FCN的局限性，提出了一种变长音频的检测算法.在一个新的数据集上测试了所提出的框架的有效性，其技术分类与我们的训练数据集相似。在新的测试集上进行的3次实验的最高准确率为87.31%。此外，我们还评估了10个真实世界的录音室音乐（由midi制作）和7个真实世界的录音样本，以解决我们的模型的泛化能力的建议框架的性能。
2019-10-20 cs.IR cs.MM cs.SD
Visual Attention for Musical Instrument Recognition
Georgia Institute of Technology（佐治亚理工学院）；Nanyang Technological University（南洋理工大学）
在音乐信息检索领域，同时识别复调录音中多个乐器的存在与否仍然是一个难题。以前的工作已经看到了一些成功的改善文书分类应用时间注意力在多实例多标签设置，而另一系列的工作也提出了音高和音色的作用，提高文书的识别性能。在本项目中，我们进一步探索在时间-时间意义上使用注意力机制（即视觉注意力），以提高使用弱标记数据的乐器识别性能。对这一任务探讨了两种办法。第一种方法将注意力机制应用于滑动窗口范例，其中基于每个时间-时间“实例”的预测在聚合以产生最终预测之前被给予注意力权重。第二种方法是基于视觉注意力的循环模型，其中网络只关注频谱图的一部分，并决定在有限数量的“一瞥”下关注哪里。
2020-06-21 cs.IR cs.LG cs.SD
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay（印度理工学院孟买分校）
音乐信息检索是当前一个活跃的研究领域，它致力于从音频信号中提取音乐上重要的信息，以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐，或者帮助音乐学研究，甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性，该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别，其中主要乐器是歌声。歌声比许多乐器更多才多艺，因此对信息检索系统提出了有趣的挑战。在本文中，我们提供了一个简短的概述，在声乐处理的相关工作在印度理工学院孟买的描述，导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
Persian Musical Instruments Classification Using Polyphonic Data Augmentation
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢里夫理工大学）
本文针对波斯乐器分类研究不足的问题，提出基于文化背景的复音数据增强策略，结合MERT模型在真实波斯音乐上取得最佳ROC-AUC（0.795），验证了该方法对文化包容性音乐信息检索的有效性。
2025-11-07 cs.CL cs.SD
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université（巴黎声学/音乐研究与协调研究所 - 索邦大学）；Google Research（谷歌研究院）
我们提出了SingSong，一个系统，生成器乐伴奏输入人声，可能提供音乐家和非音乐家一样，一个直观的新方法来创建音乐特色自己的声音。为了实现这一点，我们建立在音乐声源分离和音频生成的最新发展。具体来说，我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频，以产生对齐的对人声和乐器的来源。然后，我们调整AudioLM（Borsos等人，2022）--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务，并在源分离的（声乐、乐器）对上对其进行训练。在成对比较相同的声乐输入，听众表示出显着的偏好相比，从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Analyzing Byte-Pair Encoding on Monophonic and Polyphonic Symbolic Music: A Focus on Musical Phrase Segmentation
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立综合理工学院）；LaBRI（波尔多计算机科学研究实验室）
本文研究BPE在不同乐器编制及单、多声部符号音乐中的行为，并通过音乐乐句分割实验表明其词汇高度依赖编制、supertokens可捕捉抽象内容，且性能提升随声部与合并次数而变化。
2024-10-02 cs.CL cs.IR cs.SD
Fast accuracy estimation of deep learning based multi-class musical source separation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Logitech Europe S.A.（罗技欧洲股份有限公司）；UiT The Arctic University of Norway（挪威北极圈大学）
音乐声源分离表示从给定歌曲中提取所有乐器的任务。最近在这一挑战上的突破主要集中在单一数据集MUSDB上，仅限于四种仪器类别。更大的数据集和更多的工具在收集数据和训练深度神经网络（DNN）方面成本高昂且耗时。在这项工作中，我们提出了一种快速方法来评估任何数据集中仪器的可分性，而无需训练和调整DNN。这种可分性度量有助于为神经网络的有效训练选择合适的样本。基于具有理想比率掩码的预言机原理，我们的方法是估计最先进的深度学习方法（如TasNet或Open-Unmix）的分离性能的优秀代理。我们的结果有助于揭示音频声源分离的两个基本点：1）理想的比率掩码，虽然轻而直接，但提供了最近神经网络的音频可分离性性能的准确测量，以及2）直接对波形进行操作的新的端到端学习方法（如Tasnet）实际上是在内部构建时频（TF）表示，从而当分离TF平面中重叠的音频模式时，它们遇到与基于TF的方法相同的限制。
2021-12-01 cs.LG cs.SD eess.AS
Multi-Source Contrastive Learning from Musical Audio
Institute of Language and Speech Proc., Athena Research Center（雅典娜研究中心语言与语音研究所）；Institute of Robotics, Athena Research Center（雅典娜研究中心机器人研究所）；School of ECE, National Technical University of Athens（雅典国家技术大学电气与计算机工程学院）
本文提出一种基于音乐源关联的多源对比学习预训练方法，通过修改COLA框架和对比损失，在三个下游任务中取得竞争性结果并加速收敛。
2023-05-10 cs.SD eess.AS
On the Complex Network Structure of Musical Pieces: Analysis of Some Use Cases from Different Music Genres
University of Bologna（博洛尼亚大学）
本文主要研究音乐旋律的网络建模。旋律的音符可以被视为网络的节点。每当音符按顺序演奏时，就会产生连接。我们分析了来自不同音乐流派的一些主要曲目，使用不同的乐器演奏的旋律。我们发现，所考虑的网络是，在一般情况下，无标度网络，并表现出小世界性质。我们测量的主要指标，并评估这些网络是否可以被认为是由子社区形成的。结果证实，可以从这种分析方法中提取的轨道的特有功能。这种方法可以在几个多媒体应用，如音乐教学，多媒体娱乐和数字音乐生成的影响。
2017-09-13 cs.MM cs.SD eess.AS
Towards Human-in-the-Loop Onset Detection: A Transfer Learning Approach for Maracatu
本文针对非裔巴西马拉卡图音乐起始检测，提出基于时间卷积网络的迁移学习方法，利用每乐器5秒标注片段微调，F1最高达0.998，并证明乐器特定适配策略可显著提升性能。
2025-07-07 cs.AI cs.LG cs.SD
Sori: Streamable and Controllable Model for Non-musical Audio to Symbolic Music Transformation
Seoul National University（首尔大学）
本研究提出NASMT任务，构建Sori模型，结合DAT与带γ的CFG实现非音乐音频到符号化音乐的可控转换，支持实时流式处理且性能优于相关模型。
2026-10-14 cs.SD
Multi-Instrumentalist Net: Unsupervised Generation of Music from Body Movements
University of Washington（华盛顿大学）
我们提出了一个新的系统，作为一个输入的音乐家演奏乐器的身体动作，并在无人监督的设置生成音乐。学习从视频中生成多乐器音乐而不标记乐器是一个具有挑战性的问题。为了实现转换，我们构建了一个名为“Multi-instrumentalistNet”（MI Net）的管道。在其基础上，流水线使用具有多带残差块的矢量量化变分自编码器（VQ-VAE）从对数谱图学习各种乐器音乐的离散潜在表示。然后，管道与自回归先验一起训练，该先验以音乐家的身体关键点运动为条件，由递归神经网络编码。先前与身体动作编码器的联合训练成功地将音乐分解为指示音乐成分和乐器特征的潜在特征。潜在的空间导致分布聚集成不同的乐器，从中可以产生新的音乐。此外，VQ-VAE架构支持具有额外调节的详细音乐生成。我们表明，一个MIDI可以进一步条件的潜在空间，使管道将生成的音乐的确切内容正在播放的乐器在视频中。我们在两个包含13种乐器视频的数据集上评估MI Net，并获得具有合理音频质量的生成音乐，易于与相应乐器相关联，并与音乐音频内容一致。
2020-12-07 cs.CV cs.SD eess.AS
Musical Score Following using Statistical Inference
Cambridge University（剑桥大学）
本文提出基于 Gaussian Process 与 SM 核推断音频帧音符、再由时长依赖 HMM 实时定位乐谱的两阶段乐谱跟随方法，并在钢琴及多种管弦乐器上验证其有效性。
2025-02-06 cs.SD eess.AS eess.SP
Class-conditional embeddings for music source separation
MERL（三菱电机研究实验室）
在音乐混合物中分离出单个乐器有无数潜在的应用，考虑到最近的深度学习方法所达到的性能水平，这似乎是迫在眉睫的。虽然大多数音乐声源分离技术为每个乐器学习一个独立的模型，但我们建议在深度聚类和深度吸引子网络的启发下，为混合物中所有乐器的时频箱使用一个公共嵌入空间。此外，辅助网络用于生成高斯混合模型（GMM）的参数，其中嵌入空间中的GMM分量上的后验分布可以用于创建将各个源从混合物中分离的掩模。除了在MUSDB-18数据集上优于掩码推理基线外，我们的嵌入空间很容易解释，可用于基于查询的分离。
2018-11-07 cs.LG cs.SD eess.AS
Transcription Is All You Need: Learning to Separate Musical Mixtures with Score as Supervision
MERL（三菱电机研究实验室）
大多数音乐声源分离系统需要大量的孤立声源来进行训练，这可能很难获得。在这项工作中，我们使用乐谱，这是比较容易获得，作为一个弱标签训练声源分离系统。与以前的score-informed分离方法相比，我们的系统不需要孤立的源，并且score仅用作训练目标，不需要进行推理。我们的模型由一个分离器和一个转录器组成，分离器为每个仪器输出一个时频掩码，转录器充当评论家，提供时间和频率监督来指导分离器的学习。谐波掩码约束被引入作为在训练期间利用分数信息的另一种方式，并且我们提出了两种新的对抗性损失，用于转录器和分离器的额外微调。结果表明，使用分数信息的性能优于时间弱标签，而对抗性结构可以进一步提高分离和转录性能。
2020-10-22 cs.LG cs.SD eess.AS
Conditioned Source Separation for Music Instrument Performances
Universitat Pompeu Fabra（庞培法布拉大学）；Joint Research Centre, European Commission（欧盟委员会联合研究中心）
在音乐声源分离中，每个作品的声源数量可能不同，并且某些声源可能属于同一乐器家族，从而共享音色特征并使声源更加相关。这导致了声源分离问题中的额外挑战。本文提出了一种多乐器同时发声的声源分离方法，并探讨了在音频流之外增加多少附加信息可以提高声源分离的质量。我们探索在不同层次的主要声源分离网络的条件技术，并利用两个额外的数据形式，即存在或不存在的混合物中的仪器，以及相应的视频流数据。
2021-07-07 cs.SD eess.AS
An Interactive Musical Prediction System with Mixture Density Recurrent Neural Networks
University of Oslo（奥斯陆大学）
本文是关于创建数字乐器的预测神经网络模型集成到交互系统。而不是预测象征性的音乐（例如，我们建议，从用户和精确的时间信息预测未来的控制数据可以导致新的和有趣的交互可能性。我们建议，混合密度递归神经网络（MDRNN）是一个合适的模型，这项任务。当用户停止执行时，预测可以用于填充控制数据，或者作为对用户自己输入的一种过滤器。我们提出了一个交互式的MDRNN预测服务器，允许快速原型的新NIME具有预测的音乐交互记录数据集，训练MDRNN模型，并与交互模式进行实验。我们说明了我们的系统与几个例子NIME应用这个想法。我们的评估表明，即使在单板计算机上，实时预测交互也是可行的，并且小模型适用于小数据集。
2019-04-10 cs.HC cs.NE cs.SD
MT3: Multi-Task Multitrack Music Transcription
Google Research（谷歌研究院）；Northwestern University（西北大学）
自动音乐转录（AMT），从原始音频中推断音符，是音乐理解核心的一项具有挑战性的任务。自动语音识别（ASR）通常只关注单个说话者的单词，而AMT通常需要同时转录多个乐器，同时保留精细的音高和时序信息。此外，许多AMT数据集是“低资源”的，因为即使是专家音乐家也会发现音乐转录困难且耗时。因此，以前的工作集中在特定于任务的架构，针对每个任务的个别工具。在这项工作中，受低资源自然语言处理（NLP）的序列到序列迁移学习的可喜成果的激励，我们证明了一个通用的Transformer模型可以执行多任务AMT，跨多个转录数据集联合转录乐器的任意组合。我们证明了这个统一的训练框架在一系列数据集上实现了高质量的转录结果，大大提高了低资源乐器（如吉他）的性能，同时保留了丰富乐器（如钢琴）的强大性能。最后，通过扩展AMT的范围，我们暴露了对更一致的评估指标和更好的数据集对齐的需求，并为多任务AMT的新方向提供了一个强大的基线。
2022-03-15 cs.LG cs.SD eess.AS
Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures
Télécom-Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；Sony Computer Science Laboratories - Paris（索尼计算机科学实验室（巴黎））；Sony AI（索尼人工智能）
本文提出基于联合嵌入预测架构的新方法，通过条件化预测器实现零样本音乐分轨检索，并在MUSDB18和MoisesDB数据集上显著优于基线，同时验证了嵌入保留时间结构。
2025-02-24 cs.AI cs.SD eess.AS
MidiCaps: A large-scale MIDI dataset with text captions
本文提出MidiCaps，首个公开的大规模带文本描述的MIDI数据集，含超16.8万个文件，旨在支持文本到MIDI生成及音乐与语言模型结合的研究。
2024-07-22 cs.LG cs.MM cs.SD
Development of Large Annotated Music Datasets using HMM-based Forced Viterbi Alignment
Sri Sivasubramaniya Nadar College of Engineering（斯里·希瓦苏布拉马尼亚·纳达尔工程学院）
针对音乐数据集构建耗时且需专业经验的问题，提出一种基于HMM强制Viterbi对齐的自动标注方法，生成了精确的吉他数据集，为AMT系统开发奠定基础。
2024-08-27 cs.LG cs.SD eess.AS
Composition by Conversation
Stevens Institute of Technology（史蒂文斯理工学院）；University of Arizona（亚利桑那大学）
大多数音乐程序设计语言纯粹是为了编码虚拟乐器或算法作曲而开发的。尽管在用于音乐信息检索的音乐查询语言领域中已经有了一些工作，但是几乎没有尝试将音乐编程和查询语言的原理与认知和自然语言处理模型统一起来，这将促进通过对话进行创作的活动。我们提出了一个原型框架，称为MusECI，合并这些领域，允许在文本编辑器中的分数级算法组成，同时还支持连接到现有的自然语言处理框架。
2017-09-07 cs.CL cs.IR cs.PL
Learned complex masks for multi-instrument source separation
Spotify（声田）；City University of London（伦敦城市大学）
时频域中的音乐声源分离通常通过将软或二进制掩模应用于（复杂）频谱图的幅度分量来实现。相位分量通常不被估计，而是从混合物中复制并应用于估计的孤立源的幅度。虽然这种方法有几个实际的优点，它强加了一个上限的系统的性能，其中估计的孤立源固有地表现出可听的“相位伪影”。在本文中，我们解决这些缺点，直接估计掩码在复杂的域，扩展最近的工作从语音增强文献。该方法特别适合于多乐器音乐声源分离，因为残余相位伪像对于频谱重叠的乐器源（音乐中的常见情况）更明显。我们表明，复杂的面具比单独操作的幅度分量更好的分离。
2021-03-23 cs.SD eess.AS
Towards an efficient deep learning model for musical onset detection
Universitat Pompeu Fabra（庞培法布拉大学）
在本文中，我们提出了一个有效的和可重复的深度学习模型的音乐开始检测（MOD）。我们首先回顾了MOD的最新深度学习模型，并确定了它们的缺点和挑战：（i）缺乏超参数调优细节，（ii）在其他数据集上训练模型的代码不可用，以及（iii）在比较不同架构时忽略了网络功能。考虑到上述问题，我们尝试了七种深度学习架构。最有效的一个实现了相当于我们的国家的最先进的架构实现的性能。然而，它只有28.3%的可训练参数的总数相比，国家的最先进的。我们的实验是使用两个不同的数据集进行的：一个主要由器乐摘录，另一个由我们自己开发的只包括独唱的声音摘录。此外，进行了数据集间迁移学习实验。结果表明，在一个数据集上预训练的模型无法检测到另一个数据集上的起始点，这表明提供实现代码以针对不同数据集重新训练模型的重要性。数据集、代码和运行在Google Colab上的一个字节笔记本都是公开的，以使这项研究易于理解和复制。
2018-06-19 cs.IR cs.SD eess.AS
Graph-based Polyphonic Multitrack Music Generation
University of Pisa（比萨大学）
本文提出一种新颖的音乐图表示和深度变分自编码器，分层分离生成音乐的结构与内容，支持指定乐器条件控制，实验证明其能生成调性节奏一致的音乐序列并有效组织潜在空间。
2023-07-27 cs.LG cs.SD eess.AS
Analyzable Chain-of-Musical-Thought Prompting for High-Fidelity Music Generation
Kunlun Inc.（昆仑公司）
针对自回归音乐生成模型缺乏人类创作连贯性的问题，提出MusiCoT，利用CLAP模型构建乐思链，先规划整体结构再生成音频，提升音乐连贯性与创造性，性能优于现有模型。
2025-03-25 cs.AI cs.MM cs.SD
A Hierarchical Deep Learning Approach for Minority Instrument Detection
本文提出将分层结构集成到深度学习模型中的策略，利用MedleyDB数据集基于Hornbostel-Sachs分类法进行分层音乐预测，在细粒度标注有限的情况下实现了更可靠的粗粒度少数乐器检测。
2025-06-26 cs.AI cs.SD eess.AS
Leveraging Hierarchical Structures for Few-Shot Musical Instrument Recognition
Northwestern University（西北大学）
关于乐器识别的深度学习工作通常集中在我们拥有丰富数据的乐器类别上。在这项工作中，我们利用乐器之间的层次关系，在少样本学习设置，使更广泛的一组乐器的分类，给出了一些例子在推理。我们应用分层损失函数训练原型网络，结合分层聚合原型的方法，反映了预定义的乐器层次结构。这些扩展不需要对网络架构进行更改，并且可以轻松添加或删除新级别。与非分层的Few-Shot基线相比，我们的方法导致分类准确率的显著提高和训练中看不到的仪器类的错误严重性的显著降低。
2021-07-29 cs.LG cs.SD eess.AS
A Dataset for Greek Traditional and Folk Music: Lyra
National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University Of Athens（雅典国立卡波迪斯特里亚大学）；National Center for Scientific Research - Demokritos（国家科学研究中心——德谟克利特）；Athena RC（雅典娜研究中心）
在MIR的范围内研究代表性不足的音乐传统是至关重要的，不仅是为了开发新的分析工具，而且是为了揭示可能在研究世界音乐中有用的音乐功能。本文介绍了一个希腊传统和民间音乐的数据集，包括1570件作品，总结了大约80小时的数据。该数据集包含用于检索音频和视频的YouTube时间戳链接，以及关于乐器，地理和流派等的丰富元数据信息。内容已从在线提供的希腊纪录片系列中收集，其中学者在演出期间通过现场音乐和舞蹈表演展示希腊的音乐传统，以及对所呈现音乐的社会，文化和音乐学方面的讨论。因此，这一程序产生了大量关于音乐流派、起源地和乐器等各个方面的描述。此外，在录音设备方面，录音是按照严格的制作规格进行的，因此音频内容非常干净和均匀。在这项工作中，除了详细介绍数据集外，我们还提出了一种基线深度学习分类方法来识别所涉及的音乐学属性。数据集、基线分类方法和模型在公共储存库中提供。进一步完善数据集的未来方向也进行了讨论。
2022-11-21 cs.LG cs.SD eess.AS
MMM : Exploring Conditional Multi-Track Music Generation with the Transformer
Simon Fraser University（西蒙弗雷泽大学）
我们提出了多轨音乐机（MMM），生成系统的基础上的Transformer架构，能够生成多轨音乐。与以前的工作，它表示音乐材料作为一个单一的时间顺序序列，其中对应于不同的轨道的音乐事件是交错的，我们创建一个时间顺序序列的音乐事件为每个轨道，并连接到一个单一的序列的几个轨道。这利用了Transformer的注意力机制，它可以熟练地处理长期依赖关系。我们探讨了各种表示如何在生成时为用户提供高度的控制，提供了一个交互式演示，可容纳轨道级和酒吧级修复，并提供对轨道仪器和注意密度的控制。
2020-08-20 cs.LG cs.MM cs.SD
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University（特拉维夫大学）
多乐器自动音乐转录（AMT），或将音乐记录解码成语义音乐内容，是音乐信息检索的圣杯之一。由于数据汇集困难，目前的AMT方法仅限于钢琴和（一些）吉他录音。为了克服数据汇集障碍，先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM，这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案，辅之以伪标签和音高偏移增强，我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督，我们报告了MAPS数据集的SOTA音符级准确性，以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果，并且我们提出了MusicNet数据集的替代标签，我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
InstrumentGen: Generating Sample-Based Musical Instruments From Text
Native Instruments
本研究提出文本转乐器任务与InstrumentGen模型，通过扩展文本提示音频生成框架并结合多维度条件与可微损失函数，生成基于采样的乐器，建立了该领域的基础基准。
2023-11-07 cs.LG cs.SD eess.AS
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University（首尔大学）
随着数字音乐制作成为主流，选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器，使一个人想要的声音，音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合，这是费时和低效的。在本文中，我们称之为乐器检索这项任务，并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类，并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估，我们还提出了一个名为Nlakh的新数据集。实验结果表明，单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射，而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得：https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
MIRFLEX: Music Information Retrieval Feature Library for Extraction
MIRFLEX是一个可扩展的模块化音乐特征提取库，集成最先进模型，提取调性、强拍、流派等音乐元素及乐器识别等音频特征，支持潜在或后处理标签，便于集成到音乐应用并作为基准测试工具。
2024-11-01 cs.AI cs.IR cs.SD
MuScriptor: An Open Model for Multi-Instrument Music Transcription
研究多乐器音乐转录问题，核心方法是分析合成数据预训练有效性，结合真实音乐音频微调与强化学习后训练，还引入乐器存在条件定制转录，主要贡献是发布MuScriptor开放模型用于多种音乐录音。
2026-08-04 cs.LG cs.SD
Research on Piano Timbre Transformation System Based on Diffusion Model
Yuan Ze University（元智大学）；National Central University（中央大学）
本文提出基于扩散模型的钢琴音色转换系统，通过提取音高和响度特征实现高质量音乐转换，适用于多种音乐风格和场景，未来将拓展至更多音色转换任务。
2026-01-14 cs.MM cs.SD
Deep convolutional neural networks for predominant instrument recognition in polyphonic music
Seoul National University（首尔大学）；Advanced Institutes of Convergence Technology（融合技术先进研究院）
复调音乐中乐器的识别是音乐信息检索领域中一个具有挑战性但又十分重要的问题。它可以按乐器搜索音乐，帮助识别音乐类型，或者使音乐转录更容易，更准确。在本文中，我们提出了一个卷积神经网络框架，在现实世界的复调音乐中的主要乐器识别。我们从固定长度的音乐摘录中用单个标记的主要乐器训练我们的网络，并从具有可变长度的音频信号中估计任意数量的主要乐器。为了获得音频摘录方面的结果，我们在测试音频上聚合来自滑动窗口的多个输出。在此过程中，我们研究了两种不同的聚合方法：一种是对每个仪器取平均值，另一种是对仪器求和，然后进行归一化。此外，我们对影响性能的几个重要因素进行了广泛的实验，包括分析窗口大小，识别阈值，以及神经网络的激活函数，以找到最佳的参数设置。使用来自11种乐器的10k音频摘录的数据集进行评估，我们发现卷积神经网络比利用频谱特征和支持向量机进行声源分离的传统方法更鲁棒。实验结果表明，所提出的卷积网络架构获得了0.602的微观和0.503的宏，分别实现了19.6%和16.4%的性能提高相比，其他国家的最先进的算法。
2016-12-26 cs.CV cs.LG cs.NE
Deep scattering transform applied to note onset detection and instrument recognition
自动音乐转录（AMT）是音乐信息检索领域中最古老和研究最多的问题之一。在这一具有挑战性的研究领域中，起始检测和乐器识别在转录系统中占有重要地位，因为它们分别有助于确定音符的确切起始时间和识别相应的乐器源。本研究的目的是探讨多尺度散射算子的有用性，这两个任务上弹拨乐器和钢琴音乐。在恢复的理论背景和说明这种声音表示方法的主要特点，我们评估其性能相比，其他经典的声音表示。使用MIDI驱动的数据集与真实的乐器样本和真实的音乐作品，散射被证明优于其他声音表示这些AMT子任务，提出其更丰富的声音表示和不变性属性。
2017-03-28 cs.SD stat.ML
Use of speaker recognition approaches for learning and evaluating embedding representations of musical instrument sounds
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
为乐器声音构建一个嵌入空间，可以有意义地表示新的和看不见的乐器，对于下游音乐生成任务（如多乐器合成和音色转移）非常重要。自动说话人验证（ASV）的框架为我们提供了用于验证看不见的说话人的身份的架构和评估方法，并且这些可以重新用于学习和评估可以支持看不见的乐器的乐器声音嵌入空间的任务。借鉴最先进的ASV技术，我们构建了一个乐器识别模型，该模型使用SincNet前端，ResNet架构和角度softmax目标函数。在NSynth和RWC数据集上的实验表明，我们的模型在看不见的仪器的等误差率（EER）方面是有效的，消融研究表明了数据增强和角度softmax目标的重要性。实验还显示了使用基于CQT的滤波器组初始化SincNet优于Mel滤波器组初始化的好处。学习嵌入空间的进一步补充分析与t-SNE可视化和探测分类任务，这表明，包括乐器家族标签作为多任务学习目标可以帮助规范嵌入空间，并纳入有用的结构，以及有意义的信息，如演奏风格，这是不包括在训练过程中，包含在嵌入看不见的乐器。
2021-12-24 cs.SD eess.AS
Automatic Instrument Recognition in Polyphonic Music Using Convolutional Neural Networks
New York University（纽约大学）
处理许多音乐信息检索任务的传统方法通常遵循两步架构：特征工程，然后是简单的学习算法。在这些“浅”架构中，特征工程和学习通常是不相交和不相关的。此外，特征工程是困难的，并且通常依赖于广泛的领域专业知识。在本文中，我们提出了一个应用卷积神经网络的任务，自动乐器识别。在该模型中，特征提取和学习算法以端到端的方式一起训练。我们证明了在原始音频上训练的卷积神经网络可以实现超越依赖手工特征的传统方法的性能。
2015-11-17 cs.IR cs.LG cs.NE
MIRA: A Musical Intent Refinement Agent for Aligning Text-to-Music Generation with User Intent
Shandong University（山东大学）；University of Science and Technology of China（中国科学技术大学）；Central Conservatory of Music（中央音乐学院）；Kunlun Tech Co. Ltd.（昆仑万维科技股份有限公司）；Shanghai Jiao Tong University（上海交通大学）
针对文生音乐中用户意图对齐不足的问题，提出MIRA代理，通过清单化意图并搜索提示修订，提升生成音乐与用户意图的一致性，使开源模型达到商业系统水平。
2026-10-08 cs.AI cs.SD
Batebit Controller: Popularizing Digital Musical Instruments Development Process
Universidade Federal de Pernambuco（伯南布哥联邦大学）；SENAI-FIEPE
在本文中，我们提出了一个正在进行的研究项目，与普及的心态，建立新的数字乐器。我们开发了一个物理工具包和软件，旨在为初学者用户提供数字乐器开发过程的第一个把握。我们希望，通过使用该套件和软件，用户可以在短时间内实验开发一个机器人的各个步骤，如物理结构，电子，编程，映射和声音设计。我们推广P2P开发过程的方法是双重的：通过封装技术细节来减少初学者的认知负担，并通过使用简单的组件和开源软件来降低工具包的成本。最后，我们希望通过增加初学者对数字乐器构建过程的兴趣，我们可以使音乐表达的新界面社区更加强大。
2021-04-27 cs.HC cs.SD eess.AS
A Database with Directivities of Musical Instruments
本文构建了包含41种乐器辐射方向图的数据库，并提出将指向性参考到特定麦克风位置的方法，以实现无染色的物理正确可听化，数据以SOFA、OpenDAFF和GLL格式提供。
2023-07-05 cs.SD eess.AS
Deep Neural Network for Musical Instrument Recognition using MFCCs
Department of Electronics and Communication Engineering, National Institute of Technology, Silchar, Assam, India（电子与通信工程系，国家理工学院，西拉char，阿萨姆，印度）
本文提出一种基于MFCCs的深度神经网络模型，用于对二十种不同类别的音乐乐器进行分类，利用伦敦爱乐乐团数据集实现高精度识别。
2026-05-19 cs.AI cs.LG cs.SD
Multi-label Ferns for Efficient Recognition of Musical Instruments in Recordings
University of Warsaw（华沙大学）；Polish-Japanese Institute of Information Technology（波兰-日本信息技术学院）
在本文中，我们介绍了多标签蕨类植物，并应用此技术的自动分类的乐器录音。我们比较我们提出的方法的性能，一组二进制随机蕨类植物，使用爵士乐录音作为输入数据。我们的主要结果是获得更快的分类和更高的F分数。我们还实现了模型尺寸的大幅减小。
2014-03-30 cs.LG cs.SD
Contrastive timbre representations for musical instrument and synthesizer retrieval
本文提出一种对比学习框架，通过生成虚拟乐器的正负样本对，使用单一模型实现从单乐器到多乐器混合音频的高效乐器检索，并在多乐器检索任务上取得95.7%的top-5准确率。
2025-09-16 cs.AI cs.SD
Extended playing techniques: The next milestone in musical instrument recognition
New York University（纽约大学）；Flatiron Institute（弗莱提伦研究所）；École Centrale de Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）
在产生音符时的表达变化传达了对配器和风格建模至关重要的信息。因此，它在计算机辅助浏览大量数字音乐语料库中起着至关重要的作用。然而，尽管从单个“普通”音符的记录中自动识别乐器被认为是一个解决的问题，但是乐器演奏技术（IPT）的自动识别在很大程度上仍然不发达。我们基准机器听系统查询的例子浏览143个扩展的IPT为16种仪器，共计469三重奏的仪器，静音，和技术。我们确定并讨论了显着优于传统的梅尔频率倒谱系数（MFCC）基线的三个必要条件：增加二阶散射系数来解释幅度调制，纳入长期的时间依赖性，和度量学习使用大利润最近邻（LMNN），以减少类内的变化。在Studio On Line（SOL）数据集上进行评估，我们获得了仪器识别（基线为89.0%）和IPT识别（基线为44.5%）的99.7%和61.0%的精度。我们解释这一收益通过使用非线性降维的实际可用性和可视化的定性评估。
2018-08-29 cs.SD eess.AS
Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models
Native Instruments
本文提出用神经音频编解码器语言模型，基于文本或音频提示自动生成乐器，引入三种条件化方案与新的音色一致性指标，经客观与主观测试验证其有效性。
2024-07-22 cs.LG cs.SD eess.AS
An Attention Mechanism for Musical Instrument Recognition
Georgia Institute of Technology（佐治亚理工学院）
虽然乐器的自动识别已经取得了重大进展，但对于具有多个乐器的音乐，而不是单一乐器录音，这项任务仍然被认为是困难的。用于复调乐器识别的数据集可以大致分为两类。有些，如MedleyDB，具有强大的每帧仪器活动注释，但通常尺寸较小。其他更大的数据集，如OpenMIC，只有弱标签，即，乐器的存在或不存在仅对歌曲的长片段进行注释。我们探索了一种注意力机制，用于处理多标签仪器识别的弱标记数据。已经发现，注意力对于具有弱标记数据的其他任务表现良好。我们比较了建议的注意力模型的多个模型，其中包括基线二进制相关随机森林，递归神经网络，和全连接神经网络。我们的研究结果表明，将注意力纳入OpenMIC数据集中所有20种工具的分类准确性指标得到了全面改善。我们发现，注意力使模型能够专注于（或“参加”）特定的时间段在音频相关的每个仪器标签导致可解释的结果。
2019-07-09 cs.IR cs.SD eess.AS
Filtering Video Noise as Audio with Motion Detection to Form a Musical Instrument
KTH（瑞典皇家理工学院）
尽管数字视频和音频在物理领域有所不同，但它们具有许多共同的特征。两者都是时间数据流，通常存储在具有8位值的缓冲区中。本文研究了一种以视频信号为输入的和声生成方法。提出了一种乐器，其在声音合成方法中以及在用于以特定速度选择音符的控制器接口中利用视频。作者非正式地确定了最终的乐器听起来既愉快又有趣，但很难控制，因此适合合成板的声音。
2016-02-28 cs.HC cs.SD
Musical Composition Style Transfer via Disentangled Timbre Representations
Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；KKBOX Inc.（KKBOX公司）
音乐创作不仅包括创作不同的部分（例如，旋律，和弦）的音乐作品，但也安排/选择乐器发挥不同的部分。虽然前者越来越受到关注，但后者却没有得到太多的研究。据我们所知，本文提出了第一个用于重新排列任意流派音乐的深度学习模型。具体来说，我们构建编码器和解码器，将一段复调音乐音频作为输入，并预测其乐谱作为输出。我们调查解纠缠技术，如对抗性训练，以分离与作品不同部分的音乐内容（音高）相关的潜在因素，以及与每个短时间段的部分的乐器（音色）相关的潜在因素。通过解开音高和音色，我们的模特们对每首曲子的组成和编排都有了一个概念。此外，该模型可以实现“作曲风格转移”，通过重新安排一个音乐作品，而不会影响其音高内容。我们通过乐器活动检测和作曲风格迁移的实验验证了模型的有效性。为了便于后续研究，我们在https://github.com/biboamy/instrument-disentangle上开源了我们的代码。
2019-05-30 cs.SD eess.AS
Conditioning a Recurrent Neural Network to synthesize musical instrument transients
National University of Singapore（新加坡国立大学）
训练循环神经网络（RNN）以基于由用于音高、音量和乐器识别的控制参数信息增强的音频输入来预测声音样本。在训练后的生成阶段，音频输入取自前一个时间步的输出，参数由外部控制，允许网络作为乐器演奏。在以前工作中开发的架构的基础上，我们专注于瞬态的学习和合成-在控制信号的开始和偏移之后的短时间（数十毫秒）内网络的时间响应。我们发现，该网络学习两个不同的合成仪器的特定瞬态特性，并进一步显示出一定的能力，在训练中使用的仪器的特性之间进行插值，以响应新的参数设置。我们还使用各种可视化技术研究了RNN隐藏层中单元的行为，并发现了各种特定于体积的响应特征。
2019-03-26 cs.LG cs.SD eess.AS
Deep convolutional networks on the pitch spiral for musical instrument recognition
音乐表演结合了广泛的音高，细微差别和表达技巧。因此，基于音频的乐器分类需要建立对这种变换不变的信号表示。本文研究了在给定有限数量的带注释的训练数据的情况下，用于仪器识别的学习卷积架构的构造。在这种情况下，我们在时间-频率域中对深度卷积网络的三种不同的权重共享策略进行了基准测试：时间内核;时间-频率内核;以及时间-频率内核的线性组合，它们相隔一个八度，类似于Shepard音高螺旋。我们提供了一个声学的解释，这些策略的源过滤器框架内的准谐波的声音与固定的频谱包络，这是典型的音符。通过将所有三个卷积层混合到单个深度学习架构中，可以获得最佳的分类精度。
2017-01-10 cs.SD
