Musical Source Separation of Brazilian Percussion
本研究使用巴西samba打击乐数据集训练U-Net模型，成功实现了对传统乐器surdo鼓的分离，证明了MSS技术在数据有限的情况下仍能适用于更具文化包容性的场景。
2025-03-06 cs.SD eess.AS eess.SP
Score-informed Music Source Separation: Improving Synthetic-to-real Generalization in Classical Music
Tampere University（塔尔皮奥大学）
本文针对古典音乐源分离任务，提出两种利用乐谱信息的方法：乐谱与幅度谱图拼接输入和仅用乐谱计算分离掩码，在合成数据上训练并在真实录音数据集上验证，发现仅用乐谱的模型显著提升了合成到真实的泛化能力。
2025-06-03 cs.LG cs.SD eess.AS
Music Source Separation via Stem Discovery
Aalto University（阿尔托大学）
本文提出MuS3D，一种基于音频查询的迭代式音乐源分离框架，通过自动发现混合中的活动源，匹配手动查询基线并超越文本模型，证明音频查询是有效且可自动化的分离接口。
2026-09-28 cs.SD eess.AS
Frechet Music Distance: A Metric For Generative Symbolic Music Evaluation
Institute of Computer Science, Warsaw University of Technology（华沙理工大学计算机科学学院）
提出受 FID 与 FAD 启发的 Frechet Music Distance，通过参考与生成符号音乐嵌入分布间的距离评估生成质量，并在多数据集和模型上验证其有效性。
2025-01-16 cs.AI cs.MM cs.SD
Few-Shot Musical Source Separation
Spotify（声田）
基于深度学习的音乐声源分离方法通常限于模型所训练的乐器类，并且不能推广到分离看不见的乐器。为了解决这个问题，我们提出了一个Few-Shot音乐声源分离范例。我们的通用U-Net声源分离模型的条件下，使用几个音频的目标文书的例子。我们训练一个Few-Shot条件编码器与U-Net联合编码的音频样本到一个条件向量配置U-Net通过特征线性调制（FILM）。我们在MUSDB 18和MedleyDB数据集中的真实音乐记录上评估了训练模型。我们表明，我们提出的Few-Shot条件范例优于基线一热仪器类条件模型的可见和不可见的仪器。为了将我们的方法扩展到更广泛的现实世界场景，我们还尝试了不同的条件反射示例特征，包括来自不同录音的示例，多个来源或负面条件反射示例。
2022-05-03 cs.SD eess.AS
A Two-Stage Band-Split Mamba-2 Network For Music Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；SenseAuto Intelligent Connection, SenseTime（商汤科技 SenseAuto 智能连接部门）
针对音乐源分离任务，本文提出采用两阶段策略的频带划分Mamba-2网络，引入基于掩码的残差映射弥补细节缺失，实验验证了双向Mamba-2和两阶段结构的分离性能优势，并公开了源代码。
2024-09-13 cs.SD eess.AS
Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model
LG AI Research（LG人工智能研究院）；University of Ulsan（蔚山大学）
与计算机视觉中的彩色化类似，乐器分离是分配乐器标签（例如钢琴，吉他.）到来自仅包含性能信息的未标记混合物的音符。为了解决这个问题，我们采用扩散模型，并明确指导他们保持混合和音乐之间的一致性。定量结果表明，我们提出的模型可以产生高保真的多轨符号音乐的创造性样本。
2022-09-05 cs.MM cs.SD eess.AS
Audio query-based music source separation
Seoul National University（首尔大学）
近年来，音乐声源分离已成为音乐信息检索领域研究的热点之一。深度学习的改进导致音乐声源分离性能取得重大进步。然而，以前的研究大多局限于分离几个有限数量的源，如人声，鼓，低音，和其他。在这项研究中，我们提出了一个网络的音频查询为基础的音乐声源分离，可以明确编码的源信息从查询信号，而不管目标信号的数量和/或种类。该方法由查询网和分离器组成：给定查询和混合物，查询网将查询编码到潜在空间中，分离器估计由潜在向量调节的掩码，然后将其应用于混合物进行分离。Separator还可以使用训练样本中的潜在向量生成掩码，允许在没有查询的情况下进行分离。我们在MUSDB 18数据集上对该方法进行了评估，实验结果表明，该方法可以用单个网络分离多个源。此外，通过进一步的调查的潜在空间，我们证明了我们的方法可以产生连续的输出，通过潜在向量插值。
2019-08-19 cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance（字节跳动）
音乐声源分离（MSS）是将音乐片段分离成单个源（例如人声和伴奏）的任务。最近，基于神经网络的方法已经被应用于解决MSS问题，并且可以被分类为基于频谱图和基于时域的方法。然而，利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中，我们提出了一个CatNet框架，该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统，将频谱图计算纳入CatNet。此外，我们提出了一种新的混合音频数据增强方法，随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比（SDR），优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Music source separation conditioned on 3D point clouds
mdw.ac.at（维也纳音乐与表演艺术大学）
最近，通过应用深度学习技术，在音频声源分离方面取得了重大进展。目前结合音频和视觉信息的方法使用2D表示（如图像）来指导分离过程。然而，为了从真实音乐合奏的记录（重新）创建用于3D虚拟/增强现实应用的声学上正确的场景，需要关于3D环境中的每个声源的详细信息。这一需求，以及LiDAR或rgb深度相机等3D视觉采集系统的激增，刺激了可以使用3D视觉信息指导音频分离的模型的创建。本文提出了一种多模态深度学习模型，以音乐表演记录的3D点云为条件执行音乐声源分离。该模型使用3D稀疏卷积提取视觉特征，而使用密集卷积提取音频特征。融合模块组合所提取的特征以最终执行音频声源分离。它示出，所提出的模型可以区分乐器从一个单一的三维点云帧，并执行声源分离定性类似的参考情况下，手动分配的仪器标签提供。
2021-02-03 cs.CV cs.SD eess.AS
Music Source Separation with Band-split RNN
近年来，由于新型神经网络架构和训练管道的发展，音乐源分离（MSS）模型的性能得到了很大的提高。然而，最近的MSS模型设计主要是由其他音频处理任务或其他研究领域的动机，而音乐信号的内在特征和模式没有被完全发现。在本文中，我们提出了带分裂RNN（BSRNN），这是一种频域模型，它将混合物的频谱图显式地拆分为子带，并执行交织的带级和序列级建模。子带的带宽的选择可以通过关于目标源的特性的先验知识或专家知识来确定，以便优化特定类型的目标乐器上的性能。为了更好地利用未标记数据，我们还描述了一个半监督模型微调管道，可以进一步提高模型的性能。实验结果表明，仅在MUSDB 18-HQ数据集上训练的BSRNN在2021年音乐分层（MDX）挑战赛中的表现明显优于几个排名靠前的模型，并且半监督微调阶段进一步提高了所有四种乐器曲目的性能。
2022-09-30 cs.LG cs.SD eess.AS
Polyphonic Music Generation with Sequence Generative Adversarial Networks
Seoul National University（首尔国立大学）
我们提出了一个应用程序的序列生成对抗网络（SeqGAN），这是生成对抗网络的离散序列生成，创建复调音乐序列。而不是一个单声道的旋律生成建议在原来的工作中，我们提出了一个有效的表示的一个复调音乐文件，同时捕捉和弦和旋律的动态定时。所提出的方法将旋律和和弦的持续时间，八度音阶和键浓缩为单个词向量表示，并且递归神经网络学习从嵌入的音乐词空间预测序列的分布。我们实验了原始方法和最小二乘法的训练，这是已知的稳定的GANs的训练。该网络可以创建音乐连贯的序列，并显示出改进的定量和定性测量。我们还报告说，仔细优化的强化学习信号的模型是至关重要的模型的一般应用。
2018-07-02 cs.SD eess.AS
Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models
University Of Pretoria（比勒陀利亚大学）
音乐创作是一种在最少或没有人为干预的情况下创作音乐作品的方式。虽然递归神经网络传统上被应用于许多序列到序列的预测任务，包括音乐创作的成功实现，但其基于输入到输出映射的标准监督学习方法导致缺乏音符多样性。因此，这些模型可能被视为不适合诸如音乐生成之类的任务。生成对抗网络学习数据的生成分布，并产生不同的样本。这项工作实现并比较了递归神经网络音乐作曲家在数据库上的对抗性和非对抗性训练。由此产生的音乐样本由人类听众评估，他们的偏好被记录下来。评估表明，对抗性训练产生更美观的音乐。
2022-11-01 cs.LG cs.SC cs.SD
Do Music Source Separation Models Preserve Spatial Information in Binaural Audio?
本文评估了现有音乐源分离模型在双耳音频上保留空间信息的能力，发现立体声模型无法有效保留沉浸式空间信息，且退化程度受模型架构和目标乐器影响，并指出了未来研究方向。
2025-06-30 cs.SD eess.AS eess.SP
Symbotunes: unified hub for symbolic music generative models
Warsaw University of Technology（华沙理工大学）
针对符号音乐生成模型实现差异大、难以比较和上手的问题，本文推出开源统一中心 Symbotunes，提供多种知名方法的现代 Python 实现及统一的训练与生成流水线。
2024-10-27 cs.AI cs.LG cs.SD
On loss functions and evaluation metrics for music source separation
Universitat Pompeu Fabra（庞培法布拉大学）；Dolby Laboratories（杜比实验室）
我们调查损失函数提供更好的分离，通过基准测试的音乐声源分离的广泛的一套。为此，我们首先调查了我们确定的最具代表性的音频声源分离损失，然后在受控的实验设置中对其进行一致的基准测试。我们还探索使用这样的损失作为评估指标，通过交叉相关的主观测试的结果。根据观察，标准的信号失真比度量可能会误导在某些情况下，我们研究替代评估指标的基础上考虑的损失。
2022-02-16 cs.LG cs.SD eess.AS
Music Source Restoration with Ensemble Separation and Targeted Reconstruction
本文提出双阶段系统，通过预训练分离模型和基于BSRNN的修复模型，实现音乐源修复，优于基线方法，排名第二。
2026-03-13 cs.AI cs.SD eess.AS
Exploring Variational Auto-Encoder Architectures, Configurations, and Datasets for Generative Music Explainable AI
Creative Computing Institute, University of the Arts London（伦敦艺术大学创意计算学院）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学玛丽皇后学院电子工程与计算机科学学院）；Carleton College（卡尔顿学院）
本文系统比较了MeasureVAE与AdversarialVAE在不同潜在维度及数据集下施加音乐属性时的生成性能，发现MeasureVAE重建更优，推荐32或64维潜在空间以实现跨流派可解释音乐生成。
2023-11-14 cs.AI cs.SD eess.AS
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University（复旦大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；National Institute of Informatics（国立信息学研究所）
歌声检测（SVD）是音乐信息检索（MIR）中的一项重要任务，用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起，特别是对于一些复杂的复调音乐，如合唱音乐录音，这项任务仍然具有挑战性。为了解决这个问题，我们研究歌声检测，同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤：i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性，使用长期递归卷积网络（LRCN）来学习成分特征。此外，为了消除离群值，我们选择使用中值滤波器进行时域平滑。实验结果表明，该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
Generative AI for Music and Audio
University of California San Diego（加州大学圣地亚哥分校）
本论文围绕面向音乐与音频的生成式人工智能，研究多轨音乐生成、辅助创作工具和多模态学习，旨在降低音乐创作门槛并推动音频内容创作大众化。
2024-11-21 cs.AI cs.LG cs.MM
Towards an Accessible and Rapidly Trainable Rhythm Sequencer Using a Generative Stacked Autoencoder
University of Oslo（奥斯陆大学）
针对音乐创作辅助工具稀缺的问题，本文提出将生成式堆叠自编码器集成到传统步进音序器中实现节奏生成，经多架构测试验证，该方案可为电子音乐从业者提供可行的创意支持。
2024-05-11 cs.SD eess.AS
Music Similarity Representation Learning Focusing on Individual Instruments with Source Separation and Human Preference
Nagoya University（名古屋大学）
该研究提出结合音乐音源分离与人类偏好的单乐器音乐相似性表示学习方法InMSRL，通过端到端微调、多任务学习、感知感知微调三种策略提升性能，实验验证了各策略的有效性及级联方案的优越性。
2025-03-24 cs.SD eess.AS
Pac-HuBERT: Self-Supervised Music Source Separation via Primitive Auditory Clustering and Hidden-Unit BERT
MERL（三菱电机研究实验室）
本文提出自监督框架Pac-HuBERT，利用无标签音乐数据的原始听觉特征进行预训练，结合Res-U-Net解码器，在数据有限时显著提升了音乐源分离的SDR性能。
2023-04-04 cs.LG cs.SD eess.AS
Music-Source-Separation-Training (MSST): A Unified Framework for Training and Evaluating Music Demixing Models
National Research University Higher School of Economics (HSE University)（俄罗斯国立研究型高等经济大学）；AlphaChip LLC.（阿尔法芯片有限责任公司）
本文针对音乐源分离任务提出MSST框架，统一训练、验证和推理，支持多种模型架构、数据处理方式、损失函数及评估指标，还有提升分离质量的实用技术，通过整合组件降低实验门槛，实现快速迭代。
2026-07-28 cs.LG cs.SD eess.AS
GANkyoku: a Generative Adversarial Network for Shakuhachi Music
使用神经网络生成符号音乐的常见方法涉及对自回归模型的重复采样，直到获得完整的输出序列。虽然这样的方法在生成短音乐序列方面已经显示出一些前景，但是这通常还没有扩展到最终目标序列明显更长的情况，例如一整段音乐。在这项工作中，我们提出了一个在对抗过程中训练的网络，以符号记谱的形式生成整首尺八独奏音乐。这些作品旨在明确地参考传统尺八音乐，保持地道性和关键的美学品质，同时也增加了新颖的功能，最终创造有价值的补充当代尺八曲目。一个关键的子问题也得到了解决，即缺乏相关的训练数据，在两个步骤：首先，我们介绍了PH_Shaku数据集的象征性的传统尺八音乐;其次，我们建立在以前的工作中使用条件反射生成对抗网络引入数据增强的技术。
2019-11-22 cs.LG cs.SD eess.AS
Aligning Generative Music AI with Human Preferences: Methods and Challenges
本文针对现有生成式音乐AI难以匹配人类细微偏好的问题，梳理现有偏好对齐技术路径与音乐领域特有挑战，展望相关应用方向并呼吁跨学科研究打造适配人类需求的音乐AI。
2025-11-19 cs.AI cs.SD eess.AS
Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity
MERL（三菱电机研究实验室）
近年来，随着基于深度学习的方法的出现，音乐声源分离性能得到了极大的改善。这样的方法通常需要大量的标记的训练数据，在音乐的情况下，这些训练数据由混合物和相应的乐器干组成。然而，大多数商业音乐都无法获得茎，到目前为止，只有有限的数据集向公众发布。因此，当比较各种声源分离方法时，很难得出结论，因为性能上的差异可能源于更好的数据增强技术或训练技巧，以缓解训练数据的有限可用性，以及内在更好的模型架构和目标函数。在本文中，我们提出了合成的Lakh数据集（Slakh）作为一个新的工具，音乐声源分离的研究。Slakh由高质量的仪器混合物渲染和使用专业级基于样本的虚拟仪器从Lakh数据集（LMD）生成的相应茎组成。第一个版本，Slakh 2100，专注于2100首歌曲，导致145小时的混合。虽然由于其纯粹是工具性的，因此不完全具有可比性，但该数据集包含的数据比MUSDB 18多一个数量级，MUSDB 18是该领域的{ \it de facto}标准数据集。我们表明，Slakh可用于有效地增强现有的乐器分离数据集，同时为各种数据密集型音乐信号分析任务打开大门。
2019-09-18 cs.LG cs.SD eess.AS
MusGO: A Community-Driven Framework For Assessing Openness in Music-Generative AI
本文提出社区驱动的MusGO框架，通过调查110名MIR社区成员将LLM开放性评估框架适配到音乐生成AI领域，包含13个开放性类别，并评估16个先进模型以建立公开排行榜，旨在澄清并促进音乐生成AI的开放性。
2025-07-04 cs.AI cs.CY cs.SD
Denoising Auto-encoder with Recurrent Skip Connections and Residual Regression for Music Source Separation
Research Center for IT Innovation Academia Sinica Taipei, Taiwan
具有跳跃连接的卷积神经网络在音乐声源分离中表现出良好的性能。在这项工作中，我们提出了一个去噪自动编码器与循环跳过连接（ARC）。我们在全卷积网络的所有层中沿着时频特征图的时间轴使用1D卷积。1D卷积的使用使得可以将递归层应用于卷积层的中间输出。此外，我们还提出了一种增强网络和残差回归方法，以进一步改善分离效果。循环跳跃连接、增强模块和残差回归都提高了分离质量。带有残差回归的ARC模型在SiSEC 2018中使用MUSDB在人声中实现了5.74的信号失真比（SDR）。我们还在较旧的数据集DSD 100（用于SiSEC 2016）上单独评估了ARC模型，它在人声中达到了5.91 SDR。
2018-07-05 cs.SD eess.AS
End-to-end music source separation: is it possible in the waveform domain?
Universitat Pompeu Fabra（庞培法布拉大学）
目前大多数成功的声源分离技术使用幅度谱图作为输入，因此默认省略了信号的一部分：相位。为了避免遗漏潜在的有用信息，我们研究了使用端到端模型进行音乐声源分离的可行性--它考虑了原始音频信号中的所有可用信息，包括相位。虽然在过去的几十年里，端到端音乐声源分离被认为几乎是不可实现的，但我们的研究结果证实，基于波形的模型可以比基于频谱的深度学习模型表现得相似（如果不是更好的话）。也就是说：我们提出的基于Wavenet的模型和Wave-U-Net可以优于DeepConvSep，DeepConvSep是最近基于频谱的深度学习模型。
2019-06-28 cs.LG cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University（东北大学科里计算机科学学院）
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题，研究者结合频谱图掩码、深度神经网络与MuseScore API，构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Low Latency Time Domain Multichannel Speech and Music Source Separation
Ilmenau University of Technology（伊尔梅瑙工业大学）
目标是获得具有非常低延迟的简单多通道源分离。应用可以是电话会议、助听器、增强现实或选择性有源噪声消除。这些实时应用需要非常低的延迟（通常小于约6ms）和低复杂度，因为它们通常在小型便携式设备上运行。为此，我们不需要最好的分离，但“有用的”分离，不仅是语音，而且是音乐和噪音。频域方法具有更高的延迟和复杂度。因此，我们引入了一种新的概率优化方法，我们称之为“随机方向”，它可以克服局部极小值，适用于一个简单的时域解混结构，这是可扩展的低复杂度。然后将其与频域方法在分离语音和音乐源以及使用3D麦克风设置方面进行比较。
2022-04-12 cs.SD eess.AS
Voice and accompaniment separation in music using self-attention convolutional neural network
Ohio State University（俄亥俄州立大学）；Amazon Music, Bangalore（亚马逊音乐（班加罗尔））；Amazon Lab126, CA（亚马逊Lab126（加利福尼亚））
音乐源分离是信号处理领域的一个热门课题，这不仅是因为它的技术难度，而且还因为它对自动卡拉OK和混音等许多商业应用的重要性。在这项工作中，我们提出了一种新的自我注意力网络分离的声音和伴奏音乐。首先，构建一个具有密集连接的CNN块的卷积神经网络（CNN）作为我们的基础网络。然后，我们在基础CNN的不同级别插入自注意力，以利用音乐的长期内部依赖性，即，重复在自我注意力模式中，相同音乐模式的重复通知其他重复的重建，以获得更好的源分离性能。实验结果表明，该方法在SDR方面的人声分离相对提高了19.5%。我们将我们的方法与最先进的系统（即MMDenseNet和MMDenseLSTM）进行比较。
2020-03-19 cs.LG cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)（格拉茨音乐与表演艺术大学，电子音乐与声学研究所）
本文提出基于MERT嵌入的侵入性评估指标，用于改进音乐源分离的评估方法，实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
Music Separation Enhancement with Generative Modeling
Northwestern University（西北大学）；Descript, Inc.（Descript公司）
尽管近年来取得了惊人的进步，但最先进的音乐分离系统产生的源估计具有显著的感知缺陷，例如添加无关噪声或去除谐波。我们提出了一个后处理模型（MSG后处理器），以提高音乐声源分离系统的输出。我们将我们的后处理模型应用于最先进的基于波形和基于频谱的音乐源分离器，包括MSG在训练期间看不到的分离器。我们对源分离器产生的误差的分析表明，波形模型往往会引入更多的高频噪声，而频谱图模型往往会丢失瞬态和高频内容。我们引入客观的措施来量化这两种错误，并显示MSG提高了这两种错误的源重建。众包的主观评价表明，人类听众更喜欢低音和鼓的源估计已被味精后处理。
2022-08-26 cs.LG cs.SD eess.AS
GANs & Reels: Creating Irish Music using a Generative Adversarial Network
Memorial University of Newfoundland（纽芬兰纪念大学）；University of Waterloo（滑铁卢大学）
在本文中，我们提出了一种算法的旋律生成方法，使用生成对抗网络没有经常性的组件。音乐生成已经成功地使用递归神经网络完成，其中模型学习序列信息，可以帮助创建真实的声音旋律。在这里，我们使用具有扩张卷积和塔的DC-GAN架构来捕获序列信息作为空间图像信息，并学习固定长度旋律形式（如爱尔兰传统卷轴）的长程依赖关系。
2020-10-29 cs.LG cs.SD eess.AS
Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
本文提出Moises-Light，一种资源高效的频带分割U-Net轻量级音乐源分离模型，通过精心设计在MUSDB-HQ上以少13倍参数达到可比SDR，并展现良好可扩展性。
2025-10-08 cs.SD eess.AS
Hybrid Transformers for Music Source Separation
Meta AI
在音乐源分离（MSS）中出现的一个自然问题是长距离上下文信息是否有用，或者局部声学特征是否足够。在其他领域，基于注意力的Transformers已经显示出它们在长序列上整合信息的能力。在这项工作中，我们介绍了混合Transformer Demucs（HT Demucs），混合时间/频谱双U-Net的基础上的混合Demucs，其中最内层被替换为跨域的Transformer编码器，使用一个域内的自我注意，跨域的交叉注意。虽然它只在MUSDB上训练时表现不佳，但我们表明，当使用800首额外的训练歌曲时，它的SDR比混合Demucs（在相同数据上训练）高出0.45 dB。使用稀疏注意力内核来扩展其感受野，并对每个源进行微调，我们通过额外的训练数据在MUSDB上获得了最先进的结果，SDR为9.20 dB。
2022-11-15 cs.SD eess.AS
Self-Supervised Music Source Separation Using Vector-Quantized Source Category Estimates
Queen Mary University（玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出一种自监督音乐源分离系统，通过向量量化表示替代音频查询，在推理时无需音频查询，为不同音乐流派的源分离提供新途径。
2023-11-21 cs.SD eess.AS
CrowdioSet and PaRIRset: Two Datasets Towards Live Music Source Separation
该研究针对现有音乐源分离模型难以泛化到现场音乐的问题，构建CrowdioSet与PaRIRset两个数据集，可提升模型现场分离性能，相关资源已公开。
2026-07-31 cs.SD eess.AS
Persian MusicGen: A Large-Scale Dataset and Culturally-Aware Generative Model for Persian Music
Sharif University of Technology（谢尔国立技术大学）；Independent Researcher（独立研究员）
本文提出首个大规模波斯音乐数据集，用于训练适应波斯音乐风格的生成模型，展示模型在文化语境下的适应性。
2026-05-14 cs.CL cs.SD
Decoupling Magnitude and Phase Estimation with Deep ResUNet for Music Source Separation
ByteDance（字节跳动）；University of Surrey（萨里大学）
基于深度神经网络的方法已成功应用于音乐声源分离。它们通常学习从混合光谱图到一组源光谱图的映射，所有这些都只有幅度。这种方法有几个局限性：1）其不正确的相位重建降低了性能，2）它将掩码的幅度限制在0和1之间，而我们观察到在流行的数据集MUSDB 18中，22%的时间频率箱具有超过~1的理想比率掩码值，3）它在非常深的架构上的潜力尚未得到充分开发。我们提出的系统旨在克服这些问题。首先，我们建议通过估计复理想比掩模（cIRMs）来估计相位，其中我们将cIRMs的估计解耦为幅度和相位估计。其次，我们扩展了分离方法，以有效地允许掩模的幅度大于1。最后，我们提出了一个剩余的UNet架构，多达143层。我们提出的系统在MUSDB 18数据集上实现了最先进的MSS结果，特别是在人声上的SDR为8.98 dB，优于之前的最佳性能7.24 dB。源代码可在https://github.com/bytedance/music_source_separation上获得
2021-09-12 cs.SD eess.AS
SpaIn-Net: Spatially-Informed Stereophonic Music Source Separation
Indiana University（印第安纳大学）
随着最近使用深度神经网络的数据驱动方法的进步，音乐源分离已被制定为特定于乐器的监督问题。虽然现有的深度学习模型隐含地吸收了多通道输入信号所传达的空间信息，但我们认为，更明确和积极地使用空间信息不仅可以改善分离过程，还可以为许多基于用户交互的工具提供入口点。为此，我们介绍了一种控制方法的基础上的立体声感兴趣的源的位置，表示为摇摄角。我们提出了各种条件反射机制，包括使用原始角度及其衍生的功能表示，并表明空间信息的帮助。我们提出的方法提高了分离性能相比，位置不可知的架构由1.8 dB SI-SDR在我们的Slakh为基础的模拟实验。此外，所提出的方法允许解开同类乐器，例如，在包含两个吉他音轨的混合物。最后，我们还证明了我们的方法是强大的不正确的源平移信息，这可能会导致我们提出的用户交互。
2022-02-15 cs.SD eess.AS
Improving Music Source Separation with Diffusion and Consistency Refinement
本文提出一种基于扩散模型的音乐源分离方法，通过迭代去噪增强分离效果，采用一致性蒸馏加速推理，提升性能并保持质量，适用于多种架构。
2026-04-26 cs.SD eess.AS
Class-conditional embeddings for music source separation
MERL（三菱电机研究实验室）
在音乐混合物中分离出单个乐器有无数潜在的应用，考虑到最近的深度学习方法所达到的性能水平，这似乎是迫在眉睫的。虽然大多数音乐声源分离技术为每个乐器学习一个独立的模型，但我们建议在深度聚类和深度吸引子网络的启发下，为混合物中所有乐器的时频箱使用一个公共嵌入空间。此外，辅助网络用于生成高斯混合模型（GMM）的参数，其中嵌入空间中的GMM分量上的后验分布可以用于创建将各个源从混合物中分离的掩模。除了在MUSDB-18数据集上优于掩码推理基线外，我们的嵌入空间很容易解释，可用于基于查询的分离。
2018-11-07 cs.LG cs.SD eess.AS
A Study of Transfer Learning in Music Source Separation
Northwestern University（西北大学）；Descript, Inc（Descript公司）
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统，如摇滚和流行音乐，但许多音乐领域没有，如古典音乐，合唱音乐和非西方音乐传统。众所周知，从相关领域转移学习可以提高深度学习系统的性能，但如何最好地进行预训练并不总是很清楚。在这项工作中，我们研究了预训练期间数据增强的有效性，预训练和下游数据集具有相似内容域对性能的影响，并探讨了一旦预训练，模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
Meta-learning Extractors for Music Source Separation
Charles University（查理大学）；Preferred Networks
我们提出了一个分层的元学习启发模型的音乐声源分离（Meta-TasNet），其中一个生成器模型用于预测各个提取器模型的权重。这实现了高效的参数共享，同时仍然允许仪器特定的参数化。Meta-TasNet被证明比独立训练或在多任务环境中训练的模型更有效，并且实现了与最先进方法相当的性能。与后者相比，我们的提取器包含更少的参数，并具有更快的运行时性能。我们讨论了重要的架构考虑因素，并探讨了这种方法的成本和收益。
2020-02-17 cs.LG cs.SD eess.AS
The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Universidad de Jaén（耶鲁大学）；Odratek BV（Odratek公司）；Tampere University（塔尔库大学）
Spheres数据集包含交响乐录音，用于推动音乐源分离和相关MIR任务的研究，包含经典音乐领域的作品及乐器独奏片段，提供隔离音轨和房间脉冲响应，用于评估源分离模型性能。
2026-05-14 cs.LG cs.SD eess.AS
Music Source Separation Based on a Lightweight Deep Learning Framework (DTTNET: DUAL-PATH TFC-TDF UNET)
Imperial College London（帝国理工学院）；Amrita Vishwa Vidyapeetham（阿姆里塔维什瓦维迪亚皮塔姆大学）；Amrita School of Engineering（阿姆里塔工程学院）
提出轻量级DTTNet架构，基于双路径模块和TFC-TDF UNet，在音乐源分离中达到10.12 dB cSDR，优于BSRNN且参数减少86.7%，并评估了复杂音频模式的泛化性能。
2024-03-19 cs.SD eess.AS
Spectrogram Feature Losses for Music Source Separation
ETH Zürich（苏黎世联邦理工学院）；Disney Research Zürich（苏黎世迪士尼研究院）
在本文中，我们研究了基于深度学习的音乐声源分离，并探索使用标准声谱图像素级L2损失的替代损失进行模型训练。我们的主要贡献是证明，增加一个高层次的功能损失项，使用VGG网络从频谱图中提取，可以提高分离质量，相对于一个纯粹的像素级损失。我们在MMDenseNet的上下文中展示了这种改进，MMDenseNet是用于此任务的最先进的深度学习模型，用于从musdb18数据库中的歌曲中提取鼓和人声，涵盖了广泛的西方音乐流派。我们相信这一发现可以推广并应用于音频领域更广泛的基于机器学习的系统。
2019-06-26 cs.LG cs.SD eess.AS
Multi-Source Diffusion Models for Simultaneous Music Generation and Separation
Sapienza University of Rome（罗马第一大学）
本文提出一种多源扩散模型，通过学习共享上下文的源联合密度得分，实现音乐生成与源分离，并引入源插补和基于狄拉克似然的新推断方法，在Slakh2100上展示竞争性结果，是首个统一处理生成与分离的模型。
2024-03-18 cs.LG cs.SD eess.AS
Singer-Informed Vocal Source Separation for Multi-Singer Music Mixtures
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Siebel School of Computing and Data Science（西贝尔计算与数据科学学院）
该研究针对多歌手音乐混合信号，提出结合目标歌手注册录音嵌入的人声源分离框架，在二重唱数据集上验证了其可显著提升目标歌手提取的SI-SDR与感知质量。
2026-08-17 cs.SD eess.AS
Sams-Net: A Sliced Attention-based Neural Network for Music Source Separation
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Tiangong University（天津工业大学）；Tencent Inc.（腾讯公司）
卷积神经网络（CNN）或具有频谱图或波形输入的基于长短期记忆（LSTM）的模型通常用于基于深度学习的音频源分离。在本文中，我们提出了一个分层注意的神经网络（Sams-Net）在频谱域的音乐源分离任务。与LSTM和CNN相比，它使光谱特征与多头注意机制相互作用，实现更容易的并行计算，并具有更大的感受野。在MUSDB 18数据集上的实验结果表明，该方法具有更少的参数，优于大多数最先进的基于DNN的方法。
2020-05-19 cs.IR cs.LG cs.SD
Futga: Towards Fine-grained Music Understanding through Temporally-enhanced Generative Augmentation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对现有音乐字幕方法无法捕捉细粒度特征与时间变化的问题，提出 FUTGA 模型，利用大型语言模型合成带时间边界的细粒度音乐字幕数据集，显著提升了音乐生成与检索等下游任务的性能。
2024-07-29 cs.AI cs.LG cs.SD
