DisMix: Disentangling Mixtures of Musical Instruments for Source-level Pitch and Timbre Manipulation
Queen Mary University of London（伦敦玛丽女王大学）；Sony AI（索尼AI）；Sony Group Corporation（索尼集团公司）
提出DisMix生成框架，通过模块化音高与音色表示实现多乐器混合的解缠，支持源级属性操控，并在和弦与巴赫风格合唱数据上验证有效性。
2024-08-20 cs.AI cs.LG cs.SD
Modulated Variational auto-Encoders for many-to-many musical timbre transfer
Institut de Recherche et Coordination Acoustique-Musique (IRCAM)（声学与音乐研究协调研究所（IRCAM））；CNRS（法国国家科学研究中心）；UPMC - Sorbonne Universite（索邦大学（原皮埃尔和玛丽·居里大学））；Laboratorio d’Informatica Musicale - Universita degli Studi di Milano（米兰大学音乐信息学实验室）
生成模型已经成功地应用于图像风格转换和领域翻译。然而，在音乐音频上学习这些任务时，结果的质量仍然存在很大的差距。此外，大多数翻译模型仅通过依赖于单独的编码器或解码器以及复杂的、计算量大的模型来实现一对一或一对多的传输。在本文中，我们介绍了调制变分自动编码器（MoVE）执行音乐音色转移。我们将音色转移定义为将乐器的部分听觉特性应用到另一种乐器上。首先，我们表明，我们可以实现这一任务，通过调节现有的域转换技术与智能线性调制（FILM）。然后，我们通过用最大平均离散度（MMD）目标取代通常的转换标准来减轻对额外对抗网络的需求。这允许更快和更稳定的训练以及可控的潜在空间编码器。通过在几种不同的仪器上进一步调节我们的系统，我们可以推广到能够执行多域传输的单个变分架构内的多对多传输。我们的模型将输入映射到三维表示，成功地将音色从一种乐器转换到另一种乐器，并从一组减少的控制参数中支持声音合成。我们评估我们的方法在重建和生成任务，同时分析跨传输域的听觉描述符分布。我们表明，这种架构允许生成控制多域传输，但仍然轻，快速训练和有效的小数据集。
2018-09-29 cs.SD eess.AS
Contrastive timbre representations for musical instrument and synthesizer retrieval
本文提出一种对比学习框架，通过生成虚拟乐器的正负样本对，使用单一模型实现从单乐器到多乐器混合音频的高效乐器检索，并在多乐器检索任务上取得95.7%的top-5准确率。
2025-09-16 cs.AI cs.SD
Real-time Timbre Remapping with Differentiable DSP
Queen Mary University of London（伦敦玛丽女王大学）；Ableton AG（Ableton公司）；Imperial College London（帝国理工学院）
本文提出基于可微分DSP和特征差异损失的实时音色重映射方法，将原声小军鼓的音色表现映射到TR-808合成器控制参数上，实现保留分级音色调制的实时转换。
2024-07-05 cs.AI cs.LG cs.SD
The language of sounds unheard: Exploring musical timbre semantics of large language models
University of Oldenburg（奥尔登堡大学）；Queen Mary University of London（伦敦玛丽女王大学）
本研究探究大语言模型的音乐音色语义组织，通过让ChatGPT按20个语义量表评分乐器音，发现其与人类评分部分相关、心理物理维度一致、因子维度数相同但构型不同，内部变异度与人类相当，揭示LLM捕捉人类感官体验维度的潜力。
2023-05-04 cs.CL cs.SD eess.AS
Latent Diffusion Bridges for Unsupervised Musical Audio Timbre Transfer
Sony Europe B.V.（索尼欧洲有限公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sony AI（索尼人工智能公司）；Aalto University（阿尔托大学）
针对无监督音乐音色迁移，提出基于双扩散桥与高斯先验的源—目标模型映射方法，在 FAD 和 DPD 上优于 VAEGAN 与 GFB，并可通过 σ 控制旋律保持与音色迁移程度。
2025-01-07 cs.AI cs.IR cs.SD
Predicting Timbre Traits for Interpretable Assessment of Musical Sound Synthesizers
Arizona State University, School of Music, Dance and Theatre（亚利桑那州立大学音乐、舞蹈和戏剧学院）；Arturia
提出一个深度神经音色特征预测器，使用CLAP嵌入和浅层可学习组件，基于RWC乐器数据库和人类判断训练，用于评估神经声音合成器，提供与FAD相当的排名并支持单声音的定性分析。
2026-06-29 cs.SD
WaveTransfer: A Flexible End-to-end Multi-instrument Timbre Transfer with Diffusion
IP Paris（巴黎理工学院）
本文提出WaveTransfer，一种基于双边去噪扩散模型（BDDM）的端到端音色转换模型，能在单一模型中实现多乐器对之间的音色转换，并支持44.1 kHz等高采样率训练。
2024-09-06 cs.SD eess.AS
Time delay embeddings to characterize the timbre of musical instruments using Topological Data Analysis: a study on synthetic and real data
Department of Systems and Control Engineering, Institute of Science Tokyo (former Tokyo Tech), Tokyo, Japan（系统与控制工程系，东京科学研究所（原东京技术大学），东京）；International Research Frontiers Initiative, Institute of Science Tokyo (former Tokyo Tech), Kanagawa, Japan（国际前沿研究计划，东京科学研究所（原东京技术大学），神奈川）
本研究通过时间延迟嵌入和拓扑数据分析方法，揭示了音色中谐波结构的关键特征，为音乐乐器识别提供了新的技术路径。
2025-10-22 cs.SD math.AT nlin.AO
Research on Piano Timbre Transformation System Based on Diffusion Model
Yuan Ze University（元智大学）；National Central University（中央大学）
本文提出基于扩散模型的钢琴音色转换系统，通过提取音高和响度特征实现高质量音乐转换，适用于多种音乐风格和场景，未来将拓展至更多音色转换任务。
2026-01-14 cs.MM cs.SD
Learning Disentangled Representations for Timber and Pitch in Music Audio
Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；KKBOX Inc.（KKBOX公司）
音色和音高是音乐声音的两个主要知觉属性。根据目标应用程序的不同，我们有时更喜欢关注其中一个，而减少另一个的影响。研究人员已经成功地使用领域知识和信号处理技术手工制作了这样的音色不变或音高不变的特征，但仍然很难在所得到的特征表示中解开它们。借鉴表示学习中最先进的技术，我们在本文中提出了两个深度卷积神经网络模型，用于学习音色和音高的非纠缠表示。这两个模型都使用编码器/解码器和对抗训练来学习音乐表示，但第二个模型还使用跳过连接来处理音高信息。由于音乐是时间的艺术，这两个模型使用从MuseScore收集的新数据集，由帧级乐器和音高标签进行监督。我们比较两个解缠模型的结果与一个新的评价协议称为“音色交叉”，这导致有趣的应用程序在音频域音乐编辑。通过各种客观的评价，我们表明，第二个模型可以更好地改变仪器的多乐器音乐作品没有太多的影响音高结构。通过解开音色和音高，我们设想该模型也可以有助于生成更逼真的音乐音频。
2018-11-08 cs.SD eess.AS
"Spectral Harmony" Towards the Unification of Timbre and Speech: Resolution of the Young Mahler Schoenberg Dream
The University of Tokyo（东京大学）；Hiroshima International University（广岛国际大学）
本文提出基于信息几何和巴拿赫空间的频谱序列化方法，统一音色与语音，解决勋伯格三大历史问题，并公开工具于GitHub。
2026-10-06 cs.SD
Timbre Analysis of Music Audio Signals with Convolutional Neural Networks
Universitat Pompeu Fabra（庞培法布拉大学）
这项工作的重点是研究如何有效地定制卷积神经网络（CNN），以从对数梅尔幅度谱图中学习音色表示。我们首先回顾设计CNN架构时的趋势。通过这篇文献综述，我们讨论了使用CNN有效学习音色表示需要考虑的关键点。从这个讨论中，我们提出了一个设计策略，旨在捕捉相关的时间-频率环境学习音色，它允许使用领域知识设计架构。此外，我们的主要目标之一是设计高效的CNN架构-降低这些模型过度拟合的风险，因为CNN的参数数量最小化。我们提出的设计原则的基础上的几个架构，成功地评估了不同的研究任务与音色：歌唱声音音素分类，乐器识别和音乐自动标记。
2017-06-02 cs.SD
Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks
School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）；Queen Mary University of London（伦敦玛丽女王大学）；School of Mathematical Sciences（数学科学学院）
本研究项目研究深度学习在音色转换中的应用，其中源音频的音色可以以最小的质量损失转换为目标音频的音色。所采用的方法结合了变分自编码器与生成对抗网络，以构建源音频的有意义的表示，并产生目标音频的现实世代，并应用于Flickr 8k音频数据集，用于在扬声器之间传输声音音色，并应用于URMP数据集，用于在乐器之间传输音乐音色。此外，所采用的方法的变化进行了训练，并使用度量SSIM（结构相似性指数）和FAD（Frechét音频距离）比较了广义性能。有人发现，多对多的方法取代一对一的方法在重建能力方面，并通过一个基本的瓶颈剩余块设计是更适合于丰富的内容信息的潜在空间。还发现，关于循环损失是否采用变分自编码器或香草自编码器方法的决定对模型的重构和对抗翻译方面没有显著影响。
2021-10-10 cs.AI cs.CV cs.LG
Attention-guided Spectrogram Sequence Modeling with CNNs for Music Genre Classification
IIT Hyderabad（印度理工学院海得拉巴分校）
本文提出利用CNN与多头注意力对频谱图序列建模，捕捉音乐中时序关键片段形成流派签名，以提升音乐流派分类准确率并支撑个性化推荐。
2024-11-18 cs.CV cs.LG cs.SD
Facet-Aware Multi-Head Mixture-of-Experts Model for Sequential Recommendation
Nanyang Technological University（南洋理工大学）
针对序列推荐中物品多面性和用户偏好多样性的问题，提出FAME模型，利用多头注意力子嵌入和专家混合网络解耦分面偏好，并通过门控机制动态整合推荐，在四个数据集上验证了其有效性。
2025-02-10 cs.IR cs.LG
Dichotic harmony for the musical practice
本文面向音乐实践，提出利用双耳分听将不协和声部分组并经耳机不同声道播放的算法，以提升和弦悦耳度，并实现两个PC演示程序。
2024-05-08 cs.SD eess.AS
Time-Frequency Scattering Accurately Models Auditory Similarities Between Instrumental Playing Techniques
LS2N（南特数字科学实验室）；CNRS（法国国家科学研究中心）；Centrale Nantes（南特中央理工学院）；Nantes University（南特大学）；Lonofi；KTH Royal Institute of Technology（瑞典皇家理工学院）；Flatiron Institute（弗莱提荣研究所）
乐器演奏技巧，如颤音，滑音和颤音，通常表示音乐的表现力，无论是在古典和民间背景。然而，大多数现有的方法来音乐相似性检索未能描述音色超越所谓的“普通”技术，使用乐器的身份作为音质的代理，不允许定制的感知特质的一个新的主题。在这篇文章中，我们要求31名人类受试者将78个孤立的音符组织成一组音色集群。分析他们的反应表明，音色感知比乐器或演奏技术单独提供的分类更灵活。此外，我们提出了一个机器听力模型来恢复跨乐器，静音和技术的听觉相似性的聚类图。我们的模型依赖于联合时间-频率散射功能提取spectromemporal调制声学特征。此外，它最大限度地减少三重损失的聚类图的大间隔最近邻（LMNN）度量学习算法。在9346个孤立的笔记的数据集上，我们报告了$99.0\%\pm1$的排名5（AP@5）的最先进的平均精度。消融研究表明，去除联合时间-频率散射变换或度量学习算法会显著降低性能。
2020-11-10 cs.LG cs.SD eess.AS
Performance Conditioning for Diffusion-Based Multi-Instrument Music Synthesis
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）
本文提出演奏条件化方法，将扩散音乐生成模型条件化于特定演奏和录音环境，以增强多乐器合成的音色与风格控制，并在FAD真实感指标上达到最先进水平。
2023-09-21 cs.LG cs.SD eess.AS
Musical Source Separation of Brazilian Percussion
本研究使用巴西samba打击乐数据集训练U-Net模型，成功实现了对传统乐器surdo鼓的分离，证明了MSS技术在数据有限的情况下仍能适用于更具文化包容性的场景。
2025-03-06 cs.SD eess.AS eess.SP
Stem-JEPA: A Joint-Embedding Predictive Architecture for Musical Stem Compatibility Estimation
Télécom-Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎理工学院）；Sony Computer Science Laboratories - Paris（索尼计算机科学实验室巴黎分部）；Sony AI（索尼人工智能）
本文提出Stem-JEPA，一种基于联合嵌入预测架构的自监督模型，通过编码器-预测器联合训练学习音乐分轨兼容性，可用于分轨检索、对齐与生成，并在MUSDB18及下游任务中验证其有效性。
2024-08-05 cs.LG cs.SD eess.AS
Sound2Synth: Interpreting Sound via FM Synthesizer Parameters Estimation
Beijing DeepMusic Technology Co., Ltd（北京深度音乐科技有限公司）；Tsinghua University（清华大学）
合成器是一种电子乐器，目前广泛应用于现代音乐制作和声音设计。合成器的每个参数配置产生独特的音色，可以被视为一个独特的乐器。估计最佳地恢复声音音色的一组参数配置的问题是重要而复杂的问题，即：合成器参数估计问题。我们提出了一个基于多模态深度学习的管道Sound 2Synth，以及专门为解决这个问题而设计的网络结构Prime-Dilated Convolution（PDC）。我们的方法不仅取得了SOTA，但也是第一个现实世界的应用结果Dexed合成器，一个流行的FM合成器。
2022-07-28 cs.AI cs.LG cs.SD
DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
Queen Mary University of London（伦敦玛丽女王大学）
FM合成是一种众所周知的算法，用于从一组紧凑的设计基元生成复杂的音色。它通常具有一个音频接口，从音频源控制它通常是不切实际的。另一方面，可微分数字信号处理（DDSP）通过深度神经网络（DNN）实现了细致入微的音频渲染，该深度神经网络学习从任意声音输入控制可微分合成层。训练过程涉及用于监督的音频语料库和频谱重建损失函数。这样的函数，虽然是伟大的匹配频谱幅度，缺乏音调方向，这可能会阻碍FM合成器的参数的联合优化。在本文中，我们采取措施，使一个完善的FM合成架构从音频输入的连续控制。首先，我们讨论了一组设计约束，通过标准的重建损失，简化频谱优化的可微分FM合成器。接下来，我们介绍了可区分DX7（DDX7），这是一种轻量级架构，用于在一组紧凑的参数中对乐器声音进行神经FM再合成。我们训练模型的仪器样本提取的URMP数据集，并定量地证明其可比的音频质量对选定的基准。
2022-08-12 cs.LG cs.SD eess.AS
Musical instrument sound classification with deep convolutional neural network using feature fusion approach
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）
提出了一种基于卷积神经网络的乐器分类方法。与传统方法不同，我们研究了一种使用CNN学习的特征对乐器进行分类的方案。为了从CNN中创建学习的特征，我们不仅使用了传统的频谱图图像，还提出了包含原始输入信号相位信息的多分辨率递归图（MRP）。因此，我们将特定乐器的特征音色馈送到神经网络中，这不能使用诸如频谱图的相位盲表示来提取。通过将我们提出的MRP和频谱图图像与多列网络相结合，我们提出的分类器系统的性能优于仅使用频谱图的系统。此外，建议的分类器也优于传统手工制作的功能和分类器的基线结果。
2015-12-23 cs.IR cs.SD
Remix the Timbre: Diffusion-Based Style Transfer Across Polyphonic Stems
本文提出MixtureTT，首个直接从多音部混合中进行音部级音色迁移的系统，通过共享扩散过程消除级联分离误差，提升多音部输出的连贯性。
2026-10-15 cs.AI cs.SD
Tutti: Expressive Multi-Singer Synthesis via Structure-Level Timbre Control and Vocal Texture Modeling
Wuhan University of Technology, School of Computer Science and Artificial Intelligence（武汉理工大学计算机科学与人工智能学院）
Tutti通过结构级音色控制和语音纹理建模，实现了多声部合成的高精度调度和声学真实性的提升。
2026-02-09 cs.AI cs.SD
Use of speaker recognition approaches for learning and evaluating embedding representations of musical instrument sounds
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
为乐器声音构建一个嵌入空间，可以有意义地表示新的和看不见的乐器，对于下游音乐生成任务（如多乐器合成和音色转移）非常重要。自动说话人验证（ASV）的框架为我们提供了用于验证看不见的说话人的身份的架构和评估方法，并且这些可以重新用于学习和评估可以支持看不见的乐器的乐器声音嵌入空间的任务。借鉴最先进的ASV技术，我们构建了一个乐器识别模型，该模型使用SincNet前端，ResNet架构和角度softmax目标函数。在NSynth和RWC数据集上的实验表明，我们的模型在看不见的仪器的等误差率（EER）方面是有效的，消融研究表明了数据增强和角度softmax目标的重要性。实验还显示了使用基于CQT的滤波器组初始化SincNet优于Mel滤波器组初始化的好处。学习嵌入空间的进一步补充分析与t-SNE可视化和探测分类任务，这表明，包括乐器家族标签作为多任务学习目标可以帮助规范嵌入空间，并纳入有用的结构，以及有意义的信息，如演奏风格，这是不包括在训练过程中，包含在嵌入看不见的乐器。
2021-12-24 cs.SD eess.AS
Midi Miner -- A Python library for tonal tension and track classification
University of Sussex（萨塞克斯大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们提出了一个Python库，称为Midi Miner，它可以计算音调张力并对不同的曲目进行分类。乐器数字接口（Music Instrument Digital Interface）是一种用于在数字音乐设备之间传输音乐事件的硬件和软件标准。它通常用于音乐表示，设备之间的通信，甚至音乐生成等任务[5]。张力是音乐聆听体验的基本要素，它可以来自许多音乐特征，包括音色，响度和和声[3]。Midi Miner基于Herremans和Chew [4]提出的螺旋阵列[1]为色调张力模型提供了Python实现。Midi Miner还执行关键估计，并包括一个轨道分类器，可以解开旋律，低音和和声轨道。尽管曲目通常在MIDI文件中分开，但每个曲目的音乐功能并不总是清晰的。轨迹分类器保留已识别的轨迹并丢弃杂乱的轨迹，这可以实现进一步的分析和训练任务。
2020-05-26 cs.IR cs.LG cs.SD
Reverb Conversion of Mixed Vocal Tracks Using an End-to-end Convolutional Deep Neural Network
Seoul National University（首尔大学）
混响在音乐制作中起着关键作用，它为听众提供了音乐的空间意识，音色和纹理。然而，即使是熟练的工程师也难以再现参考音轨的音乐混响。作为回应，我们提出了一个端到端系统，能够切换两个不同混合声乐曲目的音乐混响因子。此方法使我们能够将参考轨道的混响应用于需要效果的源轨道。此外，我们的模型可以执行去混响时，参考轨道被用作干声源。所提出的模型与对抗性目标相结合进行训练，这使得处理高分辨率音频样本成为可能。感知评估证实，该模型可以转换混响因子的首选率为64.8%。据我们所知，这是首次尝试将深度神经网络应用于转换声乐曲目的音乐混响。
2021-03-03 cs.LG cs.SD eess.AS
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin（都柏林理工大学）
在音频处理应用中，基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色，影响创造性乐器音符的合成。现代算法，如神经网络，激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明，以提高初始设计的性能。在无监督的方式下，网络能够基于潜在表示重建单声道和谐波声音。此外，我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性，因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
A Lightweight Slot-Attention Framework for Multi-Instrument Multi-Pitch Estimation
University of California, Berkeley（加州大学伯克利分校）
提出一种轻量级槽注意力框架，通过匈牙利匹配和模块化扩展实现多乐器多音高估计，并验证了其在URMP上的乐器族分解效果。
2026-05-31 cs.SD eess.AS
Simultaneous Separation and Transcription of Mixtures with Multiple Polyphonic and Percussive Instruments
Illinois Institute of Technology（伊利诺伊理工学院）
我们提出了一个单一的深度学习架构，可以将音乐混合的音频记录分离为组成的单乐器记录，并同时将这些乐器转录为人类可读的格式，为这两项任务学习共享的音乐表示。这种新颖的架构，我们称之为Cerberus，通过添加第三个“头”进行转录，建立在Chimera网络的基础上，用于源分离。通过用不同的损失训练每个头，我们能够共同学习如何在我们的实验中使用单个网络分离和转录多达5种乐器。我们发现，这两个任务是高度互补的，当共同学习时，会导致Cerberus网络更好地分离和转录，并更好地推广到看不见的混合物。
2020-02-12 cs.LG cs.SD eess.AS
Polyphonic pitch detection with convolutional recurrent neural networks
DoReMIR Music Research AB（DoReMIR音乐研究公司）
自动语音识别（ASR）研究的最新方向表明，在计算机视觉中应用来自图像识别挑战的深度学习模型是有益的。由于自动音乐转录（AMT）在表面上类似于ASR，因为方法通常依赖于将频谱图转换为事件的符号序列（例如单词或音符），因此深度学习也应该使AMT受益。在这项工作中，我们概述了一个在线的和弦音高检测系统，流音频到convlstms。我们的系统在2007年MIREX多F0开发集上取得了最先进的结果，在巴松管，单簧管，长笛，圆号和双簧管合奏录音上的F测量值为83%，而不需要任何音乐语言建模或乐器音色的假设。
2022-02-04 cs.LG cs.MM cs.SD
Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出SpanSynth-Edit，一种基于流匹配的MIDI引导多乐器音频合成与编辑模型，利用标量量化潜变量和MIDI Span条件化，实现帧内起始控制，并在基准上取得竞争力表现。
2026-09-23 cs.LG cs.SD eess.AS
Automatic Estimation of Singing Voice Musical Dynamics
Universitat Pompeu Fabra（庞培法布拉大学）；Escuela Superior de Música de Cataluña (ESMUC)（加泰罗尼亚高等音乐学院（ESMUC））
针对歌声音乐力度自动分析缺乏数据与评估框架的问题，本文构建并公开标注数据集，训练多头注意力CNN，证明bark尺度特征优于log-Mel特征。
2024-10-27 cs.IR cs.SD eess.AS
Understanding and Classifying Cultural Music Using Melodic Features Case Of Hindustani, Carnatic And Turkish Music
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们提出了一个基于旋律的音乐风格的分类，通过利用音高和能量为基础的特征来自音频信号。三个突出的音乐风格被选中，其中有即兴创作作为不可分割的一部分，具有相似的旋律原则，主题和音乐会的结构，即印度斯坦音乐，卡尔纳蒂克音乐和土耳其音乐。一个或多个这些流派的听众可以区分这些基于旋律轮廓单独。听力测试进行了单独使用旋律属性，在类似的旋律片相对于拉加/makam，并删除任何仪器提示，以验证我们的假设，风格的区别是显而易见的旋律。我们的方法是基于找到一组高度歧视性的功能，来自音乐学，捕捉不同的特点的旋律轮廓。在音高轮廓的过渡方面的行为，微音调音符的存在和在声乐能量的变化的性质被利用。自动分类的风格标签被发现与主观听力判断相关。这是通过使用统计检验来比较主观和客观判断的标签来验证的。旋律为基础的功能，结合音色为基础的功能，被认为是提高分类性能。
2019-06-21 cs.SD eess.AS
ByteCover: Cover Song Identification via Multi-Loss Training
Bytedance AI Lab（字节跳动人工智能实验室）；Peking University（北京大学）
我们在本文中提出了ByteCover，这是一种用于翻唱歌曲识别（CSI）的新特征学习方法。ByteCover是基于经典的ResNet模型构建的，并设计了两个主要的改进，以进一步增强模型对CSI的能力。在第一个改进中，我们引入了实例规范化（IN）和批量归一化（BN）的集成来构建IBN块，这是我们ResNet-IBN模型的主要组件。在IBN块的帮助下，我们的CSI模型可以学习对音乐属性（如基调，节奏，音色和流派）的变化保持不变的特征，同时保留版本信息。在第二个改进中，我们采用BNNeck方法允许多损失训练，并鼓励我们的方法联合优化分类损失和三重损失，通过这种方式，可以同时确保封面歌曲的类间区分度和类内紧凑性。一组实验证明了ByteCover在多个数据集上的有效性和效率，在Da-TACOS数据集中，ByteCover的性能比最好的竞争系统高出20.9%。
2021-04-23 cs.LG cs.SD eess.AS
Learning Separated Representations for Instrument-based Music Similarity
Graduate School of Informatics, Nagoya University（信息学研究生院，名古屋大学）；Information Technology Center, Nagoya University（信息技术中心，名古屋大学）
本文提出用单一网络处理混合信号，通过条件相似度网络在共享嵌入空间中为各乐器构建分离子空间，以提升基于乐器声部的音乐相似度学习效果。
2025-07-17 cs.SD eess.AS
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
音乐创作通常由两个部分组成：创作乐谱，然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展，但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果，因为乐谱不包含性能级别的信息，例如定时和动态的细微变化。此外，虽然该任务可能听起来像文本到语音合成问题，但由于音乐音频具有丰富的复调声音，因此存在根本差异。为了构建这样的AI表演者，我们在本文中提出了一个深度卷积模型，该模型以端到端的方式学习音乐的符号表示（称为钢琴卷）和音乐的音频表示（称为频谱图）之间的分数到音频映射。该模型由两个子模型组成：ContourNet，它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系，并给出初始结果;以及TextureNet，它进一步使用多波段残差网络，通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型，以生成小提琴、大提琴和长笛的音乐片段，数据集大小适中。我们还提出了一个用户研究的结果，表明我们的模型实现了更高的平均意见得分（MOS）的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
P-MUSE: Prompt-MIDI-Optional Model for Unified Instrumental Music Synthesis and Editing
P-MUSE是统一器乐合成与编辑的MIDI-to-Music框架，通过多阶段课程学习整合两种生成范式，提出相位感知引导策略与尾端丢弃法，并建立含四类乐器的综合基准。
2026-08-05 cs.SD
Designing, Playing, and Performing with a Vision-based Mouth Interface
ATR Media Information Science Labs（ATR媒体信息科学实验室）；RWTH Aachen University（亚琛工业大学）；McGill University（麦吉尔大学）
面部和嘴巴在言语产生以及非语言交流中的作用表明面部动作可以控制音乐声音。在这里，我们的文件工作的mouthesizer，一个系统，它使用一个头戴式微型摄像机和计算机视觉算法，以提取形状参数的嘴开口和输出这些作为MIDI控制的变化。我们报告我们的经验与各种手势到声音的映射和音乐的应用，并描述了现场表演，使用Mouthesizer接口。
2020-10-07 cs.CV cs.HC cs.SD
Persian Musical Instruments Classification Using Polyphonic Data Augmentation
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢里夫理工大学）
本文针对波斯乐器分类研究不足的问题，提出基于文化背景的复音数据增强策略，结合MERT模型在真实波斯音乐上取得最佳ROC-AUC（0.795），验证了该方法对文化包容性音乐信息检索的有效性。
2025-11-07 cs.CL cs.SD
Machine Learning Approaches to Vocal Register Classification in Contemporary Male Pop Music
Hamilton College（哈米顿学院）
本文针对男性流行音乐中声区识别难题，提出基于梅尔频谱图纹理特征的SVM和CNN两种分类方法，并开发AVRA自动声区分析软件，实现了稳定的声区分类。
2025-08-20 cs.LG cs.SD eess.AS
