Music Source Separation Using Stacked Hourglass Networks
Graduate School of Convergence Science and Technology, Seoul National University（首尔国立大学融合科学技术研究生院）
在本文中，我们提出了一个简单而有效的方法，多个音乐声源分离使用卷积神经网络。堆叠沙漏网络，这是最初设计用于人体姿态估计在自然图像中，应用于音乐声源分离任务。该网络从多个尺度的声谱图图像中学习特征，并为每个音乐源生成掩码。估计的掩模在经过堆叠的沙漏模块时被细化。所提出的框架能够使用单个网络分离多个音乐源。在MIR-1 K和DSD 100数据集上的实验结果验证了该方法在多音乐声源分离和歌唱声分离任务中取得了与现有方法相当的结果。
2018-06-22 cs.SD eess.AS
Towards robust music source separation on loud commercial music
Seoul National University（首尔大学）
如今，商业音乐与过去相比具有极大的响度和严重压缩的动态范围。然而，在音乐声源分离中，这些特性没有被充分考虑，导致实验室和现实世界之间的域不匹配。在本文中，我们证实，这种域失配的音乐声源分离网络的性能产生负面影响。为此，我们首先通过模仿音乐母带制作过程创建了域外评估数据集musdb-L和XL。然后，我们定量地验证了最先进的算法的性能显着恶化，在我们的数据集。最后，我们提出了LimitAug数据增强方法来减少域失配，该方法在训练数据采样过程中使用在线限幅器。我们证实，它不仅消除了域外数据集的性能下降，而且还提高了域内数据的性能。
2022-08-30 cs.SD eess.AS
Meta-learning Extractors for Music Source Separation
Charles University（查理大学）；Preferred Networks
我们提出了一个分层的元学习启发模型的音乐声源分离（Meta-TasNet），其中一个生成器模型用于预测各个提取器模型的权重。这实现了高效的参数共享，同时仍然允许仪器特定的参数化。Meta-TasNet被证明比独立训练或在多任务环境中训练的模型更有效，并且实现了与最先进方法相当的性能。与后者相比，我们的提取器包含更少的参数，并具有更快的运行时性能。我们讨论了重要的架构考虑因素，并探讨了这种方法的成本和收益。
2020-02-17 cs.LG cs.SD eess.AS
The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Universidad de Jaén（耶鲁大学）；Odratek BV（Odratek公司）；Tampere University（塔尔库大学）
Spheres数据集包含交响乐录音，用于推动音乐源分离和相关MIR任务的研究，包含经典音乐领域的作品及乐器独奏片段，提供隔离音轨和房间脉冲响应，用于评估源分离模型性能。
2026-05-14 cs.LG cs.SD eess.AS
Multi-Source Diffusion Models for Simultaneous Music Generation and Separation
Sapienza University of Rome（罗马第一大学）
本文提出一种多源扩散模型，通过学习共享上下文的源联合密度得分，实现音乐生成与源分离，并引入源插补和基于狄拉克似然的新推断方法，在Slakh2100上展示竞争性结果，是首个统一处理生成与分离的模型。
2024-03-18 cs.LG cs.SD eess.AS
A Hands-on Comparison of DNNs for Dialog Separation Using Transfer Learning from Music Source Separation
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
本文描述了在用于将广播音频中的语音内容与非语音内容分离的任务特定微调之前和之后使用最先进的音乐源分离深度神经网络（DNN）的实际比较（即，对话分隔）。选择音乐分离模型，因为它们与所考虑的广播内容共享通道的数量（2）和采样率（44.1kHz或更高），并且音乐中的人声分离被认为是目标应用领域中的对话分离的并行。这些相似性被认为是为了实现任务之间的迁移学习。在实验中考虑了三个在音乐上预先训练的模型（Open-Unmix，Spleeter和Conv-TasNet），并使用真实的广播数据进行了微调。在使用计算评估度量（SI-SIRi、SI-SDRi、2f-模型）进行微调之前和之后，以及使用模拟非语音信号被部分衰减的应用的收听测试来评估模型的性能，以获得更好的语音清晰度。评估包括两个专门为对话分离开发的参考系统。结果表明，预先训练的音乐源分离模型可以在一定程度上用于对话分离，并且它们受益于微调，达到接近特定任务解决方案的性能。
2021-06-22 cs.SD eess.AS
Simultaneous Music Separation and Generation Using Multi-Track Latent Diffusion Models
University of California San Diego（加州大学圣地亚哥分校）；Bose Corp.（博士公司）
本文提出一种多轨潜扩散模型，通过学习多轨联合分布同时实现音乐源分离、多轨合成与编曲生成，并在Slakh2100上取得显著性能提升。
2024-12-30 cs.SD eess.AS
Conditioned Source Separation for Music Instrument Performances
Universitat Pompeu Fabra（庞培法布拉大学）；Joint Research Centre, European Commission（欧盟委员会联合研究中心）
在音乐声源分离中，每个作品的声源数量可能不同，并且某些声源可能属于同一乐器家族，从而共享音色特征并使声源更加相关。这导致了声源分离问题中的额外挑战。本文提出了一种多乐器同时发声的声源分离方法，并探讨了在音频流之外增加多少附加信息可以提高声源分离的质量。我们探索在不同层次的主要声源分离网络的条件技术，并利用两个额外的数据形式，即存在或不存在的混合物中的仪器，以及相应的视频流数据。
2021-07-07 cs.SD eess.AS
Voice and accompaniment separation in music using self-attention convolutional neural network
Ohio State University（俄亥俄州立大学）；Amazon Music, Bangalore（亚马逊音乐（班加罗尔））；Amazon Lab126, CA（亚马逊Lab126（加利福尼亚））
音乐源分离是信号处理领域的一个热门课题，这不仅是因为它的技术难度，而且还因为它对自动卡拉OK和混音等许多商业应用的重要性。在这项工作中，我们提出了一种新的自我注意力网络分离的声音和伴奏音乐。首先，构建一个具有密集连接的CNN块的卷积神经网络（CNN）作为我们的基础网络。然后，我们在基础CNN的不同级别插入自注意力，以利用音乐的长期内部依赖性，即，重复在自我注意力模式中，相同音乐模式的重复通知其他重复的重建，以获得更好的源分离性能。实验结果表明，该方法在SDR方面的人声分离相对提高了19.5%。我们将我们的方法与最先进的系统（即MMDenseNet和MMDenseLSTM）进行比较。
2020-03-19 cs.LG cs.SD eess.AS
Improving DNN-based Music Source Separation using Phase Features
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Sony European Technology Center (EuTEC)（索尼欧洲技术中心）；Swiss Data Science Center（瑞士数据科学中心）；ETH Zürich（苏黎世联邦理工学院）；Sony Corporation（索尼公司）
使用深度神经网络的音乐声源分离通常仅依赖于幅度特征。在本文中，我们表明，额外的相位功能可以提高分离性能。使用STFT相位和幅度之间的理论关系，我们推测，相位的衍生物是一个很好的功能表示反对的原始相位。我们通过实验验证了这一猜想，并提出了一种新的DNN架构，它结合了幅度和相位。与仅使用幅度特征的网络相比，这种联合方法在所有仪器的DSD 100数据集上实现了更好的信号失真比。特别地，低音乐器受益于相位信息。
2018-07-16 cs.LG cs.SD eess.AS
Improving Real-Time Music Accompaniment Separation with MMDenseNet
Realtek Semiconductor Corp.（瑞昱半导体股份有限公司）
本文通过复数理想比值掩码、自注意力、频带合并-拆分和特征回看等策略改进轻量级模型 MMDenseNet，在保持可接受分离质量的同时实现低实时因子和最优延迟，满足实时音乐伴奏分离需求。
2024-06-30 cs.LG cs.SD eess.AS
A Study of Transfer Learning in Music Source Separation
Northwestern University（西北大学）；Descript, Inc（Descript公司）
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统，如摇滚和流行音乐，但许多音乐领域没有，如古典音乐，合唱音乐和非西方音乐传统。众所周知，从相关领域转移学习可以提高深度学习系统的性能，但如何最好地进行预训练并不总是很清楚。在这项工作中，我们研究了预训练期间数据增强的有效性，预训练和下游数据集具有相似内容域对性能的影响，并探讨了一旦预训练，模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
Transfer Learning with Jukebox for Music Source Separation
Bielefeld University（比勒费尔德大学）
在这项工作中，我们演示了如何公开可用的，预训练的Juventure模型可以适应从一个单一的混合音频通道的音频源分离的问题。我们的神经网络架构使用迁移学习，可以快速进行训练，结果表明其性能与其他需要更多计算资源、训练数据和时间的最先进方法相当。我们提供了我们架构的开源代码实现（https：//github.com/wzaielamri/unmix）
2022-09-21 cs.LG cs.SD eess.AS
Hybrid Y-Net Architecture for Singing Voice Separation
University of Peradeniya（佩拉德尼亚大学）
这篇研究论文提出了一种新的基于深度学习的神经网络架构，名为Y-Net，用于实现音乐声源分离。所提出的架构执行端到端的混合声源分离，从频谱图和波形域提取功能。受U-Net架构的启发，Y-Net预测了一个声谱图掩码，以从混合信号中分离声音源。我们的结果证明了所提出的音乐声源分离体系结构的有效性，并且参数较少。总体而言，我们的工作提出了一个有前途的方法，提高音乐声源分离的准确性和效率。
2023-03-05 cs.LG cs.SD eess.AS
Dilated Convolution with Dilated GRU for Music Source Separation
Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
Wavenet中使用的堆叠膨胀卷积已被证明可以有效地生成高质量的音频。通过在卷积层中用膨胀代替池化/跨越，它们可以保留高分辨率信息，并且仍然可以到达遥远的位置。产生高分辨率预测在音乐声源分离中也是至关重要的，其目标是分离不同的声源，同时保持分离声音的质量。因此，本文研究使用堆叠膨胀卷积作为骨干的音乐声源分离。然而，虽然堆叠扩张卷积可以比标准卷积达到更宽的上下文，但它们的有效感受野仍然是固定的，并且对于复杂的音乐音频信号可能不够宽。为了在远程位置获得信息，我们建议将扩张卷积与称为“扩张GRU”的门控递归单元（GRU）的修改版本相结合，以形成一个块。扩展GRU单元接收来自k步之前的信息，而不是固定k的前一步。这种修改允许GRU单元以更少的循环步骤到达位置并运行得更快，因为它可以部分并行执行。我们表明，提出的模型与堆栈的这样的块执行同样好或更好地比国家的最先进的模型分离人声和声音。
2019-06-04 cs.LG cs.SD eess.AS
Music Source Separation via Stem Discovery
Aalto University（阿尔托大学）
本文提出MuS3D，一种基于音频查询的迭代式音乐源分离框架，通过自动发现混合中的活动源，匹配手动查询基线并超越文本模型，证明音频查询是有效且可自动化的分离接口。
2026-09-28 cs.SD eess.AS
SynthSOD: Developing an Heterogeneous Dataset for Orchestra Music Source Separation
University of Jaen（哈恩大学）；Tampere University（坦佩雷大学）
针对管弦乐中相似音源分离缺乏干净多轨数据的问题，本文构建异构合成数据集 SynthSOD，并验证基线模型在合成与真实场景下的分离性能。
2025-02-17 cs.LG cs.SD eess.AS
Class-conditional embeddings for music source separation
MERL（三菱电机研究实验室）
在音乐混合物中分离出单个乐器有无数潜在的应用，考虑到最近的深度学习方法所达到的性能水平，这似乎是迫在眉睫的。虽然大多数音乐声源分离技术为每个乐器学习一个独立的模型，但我们建议在深度聚类和深度吸引子网络的启发下，为混合物中所有乐器的时频箱使用一个公共嵌入空间。此外，辅助网络用于生成高斯混合模型（GMM）的参数，其中嵌入空间中的GMM分量上的后验分布可以用于创建将各个源从混合物中分离的掩模。除了在MUSDB-18数据集上优于掩码推理基线外，我们的嵌入空间很容易解释，可用于基于查询的分离。
2018-11-07 cs.LG cs.SD eess.AS
D3Net: Densely connected multidilated DenseNet for music source separation
Sony Corporation（索尼公司）
音乐源分离涉及大的输入场来对音频信号的长期依赖性进行建模。先前的基于卷积神经网络（CNN）的方法使用顺序下采样和上采样特征图或扩张卷积来解决大输入场建模。在本文中，我们声称的重要性的快速增长的感受野和多分辨率数据的同时建模在一个单一的卷积层，并提出了一种新的CNN架构称为密集连接扩张DenseNet（D3Net）。D3Net涉及一种新型的多重膨胀卷积，它在单层中具有不同的膨胀因子，可以同时对不同的分辨率进行建模。通过将多重扩张卷积与DenseNet架构相结合，D3Net避免了在DenseNet中天真地引入扩张卷积时存在的混叠问题。在MUSDB18数据集上的实验结果表明，D3Net实现了最先进的性能，平均信号失真比（SDR）为6.01 dB。
2021-03-27 cs.LG cs.SD eess.AS
Spectrogram Feature Losses for Music Source Separation
ETH Zürich（苏黎世联邦理工学院）；Disney Research Zürich（苏黎世迪士尼研究院）
在本文中，我们研究了基于深度学习的音乐声源分离，并探索使用标准声谱图像素级L2损失的替代损失进行模型训练。我们的主要贡献是证明，增加一个高层次的功能损失项，使用VGG网络从频谱图中提取，可以提高分离质量，相对于一个纯粹的像素级损失。我们在MMDenseNet的上下文中展示了这种改进，MMDenseNet是用于此任务的最先进的深度学习模型，用于从musdb18数据库中的歌曲中提取鼓和人声，涵盖了广泛的西方音乐流派。我们相信这一发现可以推广并应用于音频领域更广泛的基于机器学习的系统。
2019-06-26 cs.LG cs.SD eess.AS
Sams-Net: A Sliced Attention-based Neural Network for Music Source Separation
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Tiangong University（天津工业大学）；Tencent Inc.（腾讯公司）
卷积神经网络（CNN）或具有频谱图或波形输入的基于长短期记忆（LSTM）的模型通常用于基于深度学习的音频源分离。在本文中，我们提出了一个分层注意的神经网络（Sams-Net）在频谱域的音乐源分离任务。与LSTM和CNN相比，它使光谱特征与多头注意机制相互作用，实现更容易的并行计算，并具有更大的感受野。在MUSDB 18数据集上的实验结果表明，该方法具有更少的参数，优于大多数最先进的基于DNN的方法。
2020-05-19 cs.IR cs.LG cs.SD
Real-time Low-latency Music Source Separation using Hybrid Spectrogram-TasNet
L-Acoustics（L-声学）
本文针对实时低延迟音乐源分离需求，提出HS-TasNet混合频谱图与时域波形优势，在23 ms延迟下于MusDB上取得4.65 SDR，额外数据训练后提升至5.55。
2024-02-27 cs.LG cs.SD eess.AS
Bootstrapping deep music separation from primitive auditory grouping principles
Illinois Institute of Technology（伊利诺伊理工学院）
将音频场景（如鸡尾酒会）分离成组成的、有意义的分量是计算机试听中的核心任务。深度网络是最先进的方法。它们在由隔离的声源录音制成的音频合成混合物上进行训练，以便知道分离的基础事实。然而，绝大多数可用的音频并不是孤立的。大脑使用独立于任何特定声源的特性的原始线索来执行音频场景的初始分割。我们提出了一种通过使用多个原始线索来引导用于音乐声源分离的深度模型的方法，而无需地面实况。我们将我们的方法应用于训练来自YouTube的大量未标记音乐录音的网络，以将人声与伴奏分离，而不需要地面实况隔离源或人工训练混合物。
2019-10-23 cs.LG cs.SD eess.AS
Few-Shot Musical Source Separation
Spotify（声田）
基于深度学习的音乐声源分离方法通常限于模型所训练的乐器类，并且不能推广到分离看不见的乐器。为了解决这个问题，我们提出了一个Few-Shot音乐声源分离范例。我们的通用U-Net声源分离模型的条件下，使用几个音频的目标文书的例子。我们训练一个Few-Shot条件编码器与U-Net联合编码的音频样本到一个条件向量配置U-Net通过特征线性调制（FILM）。我们在MUSDB 18和MedleyDB数据集中的真实音乐记录上评估了训练模型。我们表明，我们提出的Few-Shot条件范例优于基线一热仪器类条件模型的可见和不可见的仪器。为了将我们的方法扩展到更广泛的现实世界场景，我们还尝试了不同的条件反射示例特征，包括来自不同录音的示例，多个来源或负面条件反射示例。
2022-05-03 cs.SD eess.AS
An Ensemble Approach to Music Source Separation: A Comparative Analysis of Conventional and Hierarchical Stem Separation
PES University（PES大学）
本文提出融合多种最先进架构的音乐源分离集成方法，利用SNR与SDR调和均值选择音轨，在VDB上取得稳定高性能，并探索子音轨层级分离。
2024-10-28 cs.LG cs.SD eess.AS
Transcription Is All You Need: Learning to Separate Musical Mixtures with Score as Supervision
MERL（三菱电机研究实验室）
大多数音乐声源分离系统需要大量的孤立声源来进行训练，这可能很难获得。在这项工作中，我们使用乐谱，这是比较容易获得，作为一个弱标签训练声源分离系统。与以前的score-informed分离方法相比，我们的系统不需要孤立的源，并且score仅用作训练目标，不需要进行推理。我们的模型由一个分离器和一个转录器组成，分离器为每个仪器输出一个时频掩码，转录器充当评论家，提供时间和频率监督来指导分离器的学习。谐波掩码约束被引入作为在训练期间利用分数信息的另一种方式，并且我们提出了两种新的对抗性损失，用于转录器和分离器的额外微调。结果表明，使用分数信息的性能优于时间弱标签，而对抗性结构可以进一步提高分离和转录性能。
2020-10-22 cs.LG cs.SD eess.AS
A Two-Stage Band-Split Mamba-2 Network For Music Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；SenseAuto Intelligent Connection, SenseTime（商汤科技 SenseAuto 智能连接部门）
针对音乐源分离任务，本文提出采用两阶段策略的频带划分Mamba-2网络，引入基于掩码的残差映射弥补细节缺失，实验验证了双向Mamba-2和两阶段结构的分离性能优势，并公开了源代码。
2024-09-13 cs.SD eess.AS
Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model
LG AI Research（LG人工智能研究院）；University of Ulsan（蔚山大学）
与计算机视觉中的彩色化类似，乐器分离是分配乐器标签（例如钢琴，吉他.）到来自仅包含性能信息的未标记混合物的音符。为了解决这个问题，我们采用扩散模型，并明确指导他们保持混合和音乐之间的一致性。定量结果表明，我们提出的模型可以产生高保真的多轨符号音乐的创造性样本。
2022-09-05 cs.MM cs.SD eess.AS
Separate This, and All of these Things Around It: Music Source Separation via Hyperellipsoidal Queries
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于超椭球区域查询的音乐源分离系统，通过按区域指定目标克服了固定stem范式的局限，并在MoisesDB数据集上实现了最先进的信噪比与检索性能。
2025-01-27 cs.IR cs.LG cs.SD
Audio query-based music source separation
Seoul National University（首尔大学）
近年来，音乐声源分离已成为音乐信息检索领域研究的热点之一。深度学习的改进导致音乐声源分离性能取得重大进步。然而，以前的研究大多局限于分离几个有限数量的源，如人声，鼓，低音，和其他。在这项研究中，我们提出了一个网络的音频查询为基础的音乐声源分离，可以明确编码的源信息从查询信号，而不管目标信号的数量和/或种类。该方法由查询网和分离器组成：给定查询和混合物，查询网将查询编码到潜在空间中，分离器估计由潜在向量调节的掩码，然后将其应用于混合物进行分离。Separator还可以使用训练样本中的潜在向量生成掩码，允许在没有查询的情况下进行分离。我们在MUSDB 18数据集上对该方法进行了评估，实验结果表明，该方法可以用单个网络分离多个源。此外，通过进一步的调查的潜在空间，我们证明了我们的方法可以产生连续的输出，通过潜在向量插值。
2019-08-19 cs.SD eess.AS
From Note-Level to Chord-Level Neural Network Models for Voice Separation in Symbolic Music
音乐通常被体验为一系列并行的音符或声音。这种情况发生的程度取决于沿着语音主导连续体的位置，从单声道到谐音，再到复音，这使得自动语音分离模型的设计变得复杂。我们通过将声音分离定义为将音乐分解成流的任务来解决这个连续体，该流表现出与其他流的高度外部感知分离和高度内部感知一致性。所提出的语音分离任务允许语音发散为多个语音，并且还允许多个语音收敛为同一语音。有了这个灵活的任务定义，我们手动注释了一个流行音乐语料库，并用它来训练神经网络，这些神经网络可以为和弦中的每个音符单独分配音符（音符级别），也可以为和弦中的所有音符联合分配音符（和弦级别）。经过训练的神经模型使用不同的感知输入特征集，在输入和弦序列的从左到右遍历中将音符greetly分配给语音。当对语音内连续音符对的提取进行评估时，基于包络提取函数的迭代应用，两个模型都超过了强基线，其中和弦级模型始终边缘化音符级模型。这两种模型在分离巴赫音乐中的声音方面也优于以前的方法。
2020-11-05 cs.AI cs.LG cs.SD
Music source separation conditioned on 3D point clouds
mdw.ac.at（维也纳音乐与表演艺术大学）
最近，通过应用深度学习技术，在音频声源分离方面取得了重大进展。目前结合音频和视觉信息的方法使用2D表示（如图像）来指导分离过程。然而，为了从真实音乐合奏的记录（重新）创建用于3D虚拟/增强现实应用的声学上正确的场景，需要关于3D环境中的每个声源的详细信息。这一需求，以及LiDAR或rgb深度相机等3D视觉采集系统的激增，刺激了可以使用3D视觉信息指导音频分离的模型的创建。本文提出了一种多模态深度学习模型，以音乐表演记录的3D点云为条件执行音乐声源分离。该模型使用3D稀疏卷积提取视觉特征，而使用密集卷积提取音频特征。融合模块组合所提取的特征以最终执行音频声源分离。它示出，所提出的模型可以区分乐器从一个单一的三维点云帧，并执行声源分离定性类似的参考情况下，手动分配的仪器标签提供。
2021-02-03 cs.CV cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance（字节跳动）
音乐声源分离（MSS）是将音乐片段分离成单个源（例如人声和伴奏）的任务。最近，基于神经网络的方法已经被应用于解决MSS问题，并且可以被分类为基于频谱图和基于时域的方法。然而，利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中，我们提出了一个CatNet框架，该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统，将频谱图计算纳入CatNet。此外，我们提出了一种新的混合音频数据增强方法，随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比（SDR），优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Music Source Separation with Band-split RNN
近年来，由于新型神经网络架构和训练管道的发展，音乐源分离（MSS）模型的性能得到了很大的提高。然而，最近的MSS模型设计主要是由其他音频处理任务或其他研究领域的动机，而音乐信号的内在特征和模式没有被完全发现。在本文中，我们提出了带分裂RNN（BSRNN），这是一种频域模型，它将混合物的频谱图显式地拆分为子带，并执行交织的带级和序列级建模。子带的带宽的选择可以通过关于目标源的特性的先验知识或专家知识来确定，以便优化特定类型的目标乐器上的性能。为了更好地利用未标记数据，我们还描述了一个半监督模型微调管道，可以进一步提高模型的性能。实验结果表明，仅在MUSDB 18-HQ数据集上训练的BSRNN在2021年音乐分层（MDX）挑战赛中的表现明显优于几个排名靠前的模型，并且半监督微调阶段进一步提高了所有四种乐器曲目的性能。
2022-09-30 cs.LG cs.SD eess.AS
Music Source Separation with Generative Flow
University of Rochester（罗切斯特大学）；Tencent Technology (Shanghai) Co., Ltd.（腾讯科技（上海）有限公司）
用于源分离的全监督模型是在并行混合源数据上训练的，并且是目前最先进的。然而，这样的并行数据通常难以获得，并且使训练模型适应具有新源的混合物是繁琐的。相比之下，仅源监督模型只需要单个源数据进行训练。在本文中，我们首先利用基于流的生成器来训练个人音乐源先验，然后使用这些模型，以及基于可能性的目标，分离音乐混合物。我们表明，在歌声分离和音乐分离任务中，我们提出的方法与完全监督的方法相比具有竞争力。我们还证明了我们可以灵活地添加新类型的源，而完全监督的方法需要重新训练整个模型。
2022-10-16 cs.SD eess.AS eess.SP
Unsupervised Music Source Separation Using Differentiable Parametric Source Models
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Sonos Inc.（搜诺思公司）
欠定音频声源分离的监督深度学习方法实现了最先进的性能，但需要混合物的数据集以及它们相应的隔离源信号。这样的数据集对于音乐混合物的获得可能是极其昂贵的。这就需要无监督的方法。我们提出了一种新的基于无监督模型的深度学习方法来进行音乐声源分离。每个源被建模与可微参数源滤波器模型。训练神经网络以通过在给定源模型的基频的情况下估计源模型的参数来将所观察到的混合重构为源的和。在测试时，从合成的源信号中获得软掩模。对声乐合奏分离任务的实验评估表明，该方法优于基于非负矩阵分解和监督深度学习基线的无学习方法。将领域知识以源模型的形式集成到数据驱动的方法中，可以提高数据效率：即使在不到三分钟的音频上训练，所提出的方法也可以实现良好的分离质量。这项工作使得强大的基于深度学习的分离可用于具有地面实况的训练数据昂贵或不存在的场景。
2023-01-31 cs.AI cs.LG cs.SD
Fast accuracy estimation of deep learning based multi-class musical source separation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Logitech Europe S.A.（罗技欧洲股份有限公司）；UiT The Arctic University of Norway（挪威北极圈大学）
音乐声源分离表示从给定歌曲中提取所有乐器的任务。最近在这一挑战上的突破主要集中在单一数据集MUSDB上，仅限于四种仪器类别。更大的数据集和更多的工具在收集数据和训练深度神经网络（DNN）方面成本高昂且耗时。在这项工作中，我们提出了一种快速方法来评估任何数据集中仪器的可分性，而无需训练和调整DNN。这种可分性度量有助于为神经网络的有效训练选择合适的样本。基于具有理想比率掩码的预言机原理，我们的方法是估计最先进的深度学习方法（如TasNet或Open-Unmix）的分离性能的优秀代理。我们的结果有助于揭示音频声源分离的两个基本点：1）理想的比率掩码，虽然轻而直接，但提供了最近神经网络的音频可分离性性能的准确测量，以及2）直接对波形进行操作的新的端到端学习方法（如Tasnet）实际上是在内部构建时频（TF）表示，从而当分离TF平面中重叠的音频模式时，它们遇到与基于TF的方法相同的限制。
2021-12-01 cs.LG cs.SD eess.AS
Music Source Restoration with Ensemble Separation and Targeted Reconstruction
本文提出双阶段系统，通过预训练分离模型和基于BSRNN的修复模型，实现音乐源修复，优于基线方法，排名第二。
2026-03-13 cs.AI cs.SD eess.AS
Facing the Music: Tackling Singing Voice Separation in Cinematic Audio Source Separation
Netflix Inc.（奈飞公司）；Georgia Institute of Technology（佐治亚理工学院）
本研究针对电影音频源分离中歌声难以归类的问题，将Bandit和Banquet模型扩展为四音轨分离，发现基于查询的Banquet模型因FiLM层实现更好的特征对齐而表现更优。
2024-08-26 cs.AI cs.LG cs.SD
Music Source Separation in the Waveform Domain
Facebook AI Research（Facebook AI研究院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
音乐的声源分离是将来自不同乐器的贡献或茎分离出来的任务，这些乐器单独录制并安排在一起形成一首歌曲。类似于许多音频合成任务，其中最好的性能是通过直接生成波形的模型来实现的，用于音乐的声源分离的最新技术是计算幅度谱上的掩码。在本文中，我们比较了两种波形域架构。我们首先适应Conv-Tasnet，最初开发的语音声源分离，音乐声源分离的任务。虽然Conv-Tasnet击败了许多现有的频谱域方法，但它遭受了显着的伪影，如人类评估所示。我们提出了一种新的波形到波形模型Demucs，它具有U-Net结构和双向LSTM。在MusDB数据集上的实验表明，通过适当的数据增强，Demucs击败了现有的最先进的架构，包括Conv-Tasnet，平均6.3 SDR，（并且高达6.8，具有150首额外的训练歌曲，甚至超过了低音源的Brachiracle）。使用模型量化的最新发展，Demucs可以被压缩到120 MB而不会损失任何准确性。我们还提供了人类的评估，表明Demucs受益于音频自然度的大幅度提升。然而，它遭受了一些出血，特别是在人声和其他来源之间。
2021-04-28 cs.LG cs.SD eess.AS
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University（复旦大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；National Institute of Informatics（国立信息学研究所）
歌声检测（SVD）是音乐信息检索（MIR）中的一项重要任务，用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起，特别是对于一些复杂的复调音乐，如合唱音乐录音，这项任务仍然具有挑战性。为了解决这个问题，我们研究歌声检测，同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤：i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性，使用长期递归卷积网络（LRCN）来学习成分特征。此外，为了消除离群值，我们选择使用中值滤波器进行时域平滑。实验结果表明，该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
Music Similarity Representation Learning Focusing on Individual Instruments with Source Separation and Human Preference
Nagoya University（名古屋大学）
该研究提出结合音乐音源分离与人类偏好的单乐器音乐相似性表示学习方法InMSRL，通过端到端微调、多任务学习、感知感知微调三种策略提升性能，实验验证了各策略的有效性及级联方案的优越性。
2025-03-24 cs.SD eess.AS
Musical Voice Separation as Link Prediction: Modeling a Musical Perception Task as a Multi-Trajectory Tracking Problem
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Linz Institute of Technology（林茨技术研究所）
该研究将复调音乐的声部分离任务建模为多轨迹跟踪问题，通过异构图神经网络预测音符间链路实现分离，提出新正则化损失约束轨迹结构，在多风格古典音乐任务中达到新的最优水平。
2023-04-28 cs.AI cs.LG cs.SD
Towards Musically Meaningful Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University（约翰内斯·开普勒大学计算感知研究所）；LIT Artificial Intelligence Lab, Johannes Kepler University（约翰内斯·开普勒大学LIT人工智能实验室）；Northwestern University（西北大学）
深度神经网络（DNN）已成功应用于各种音乐信息检索（MIR）任务。这些模型通常被认为是“黑箱”，这意味着它们的预测是不可解释的。MIR中可解释模型的先前工作通常使用图像处理工具来产生DNN预测的解释，但这些解释不一定具有音乐意义，也不一定可以收听（可以说，这在音乐中很重要）。我们提出了audioLIME，一种基于本地可解释模型不可知解释（LIME）的方法，扩展了音乐定义的地方。LIME学习我们想要解释的例子的扰动的局部线性模型。我们建议使用声源分离，而不是使用图像分割作为LIME流水线的一部分来提取谱图的分量。扰动是通过开关源产生的，这使得我们的解释是合理的。我们首先在一个分类器上验证audioLIME，该分类器经过故意训练，将真实目标与虚假信号混淆，并表明使用我们的方法可以很容易地检测到。然后，我们表明，它通过了一个健全的检查，许多可用的解释方法失败。最后，我们证明了我们的（模型不可知）方法对第三方音乐标签的一般适用性。
2020-09-04 cs.IR cs.LG cs.SD
Denoising Auto-encoder with Recurrent Skip Connections and Residual Regression for Music Source Separation
Research Center for IT Innovation Academia Sinica Taipei, Taiwan
具有跳跃连接的卷积神经网络在音乐声源分离中表现出良好的性能。在这项工作中，我们提出了一个去噪自动编码器与循环跳过连接（ARC）。我们在全卷积网络的所有层中沿着时频特征图的时间轴使用1D卷积。1D卷积的使用使得可以将递归层应用于卷积层的中间输出。此外，我们还提出了一种增强网络和残差回归方法，以进一步改善分离效果。循环跳跃连接、增强模块和残差回归都提高了分离质量。带有残差回归的ARC模型在SiSEC 2018中使用MUSDB在人声中实现了5.74的信号失真比（SDR）。我们还在较旧的数据集DSD 100（用于SiSEC 2016）上单独评估了ARC模型，它在人声中达到了5.91 SDR。
2018-07-05 cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University（东北大学科里计算机科学学院）
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题，研究者结合频谱图掩码、深度神经网络与MuseScore API，构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Low Latency Time Domain Multichannel Speech and Music Source Separation
Ilmenau University of Technology（伊尔梅瑙工业大学）
目标是获得具有非常低延迟的简单多通道源分离。应用可以是电话会议、助听器、增强现实或选择性有源噪声消除。这些实时应用需要非常低的延迟（通常小于约6ms）和低复杂度，因为它们通常在小型便携式设备上运行。为此，我们不需要最好的分离，但“有用的”分离，不仅是语音，而且是音乐和噪音。频域方法具有更高的延迟和复杂度。因此，我们引入了一种新的概率优化方法，我们称之为“随机方向”，它可以克服局部极小值，适用于一个简单的时域解混结构，这是可扩展的低复杂度。然后将其与频域方法在分离语音和音乐源以及使用3D麦克风设置方面进行比较。
2022-04-12 cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)（格拉茨音乐与表演艺术大学，电子音乐与声学研究所）
本文提出基于MERT嵌入的侵入性评估指标，用于改进音乐源分离的评估方法，实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
Pre-trained Spatial Priors on Multichannel NMF for Music Source Separation
Universidad de Malaga（马拉加大学）
针对音乐声源分离问题，提出将利用独奏片段预训练的空间混合滤波器整合至多通道非负矩阵分解（MNMF）框架的方法，适配典型管弦乐录音搭建方案，在复调合奏场景下分离性能优于传统MNMF方法。
2023-10-09 cs.LG cs.SD eess.AS
Spacing Out: On the Reliability of Binaural Music Source Separation Metrics
New York University（纽约大学）
研究探讨双耳音乐源分离，通过感知研究评估客观空间失真指标与人类感知的关联，发现现有指标评估双耳音乐任务缺乏可靠性，ITD估计敏感，两种替代方法有稳健性和准确性的权衡，强调需设计新指标。
2026-07-29 cs.SD eess.AS eess.SP
Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
本文提出Moises-Light，一种资源高效的频带分割U-Net轻量级音乐源分离模型，通过精心设计在MUSDB-HQ上以少13倍参数达到可比SDR，并展现良好可扩展性。
2025-10-08 cs.SD eess.AS
Hybrid Transformers for Music Source Separation
Meta AI
在音乐源分离（MSS）中出现的一个自然问题是长距离上下文信息是否有用，或者局部声学特征是否足够。在其他领域，基于注意力的Transformers已经显示出它们在长序列上整合信息的能力。在这项工作中，我们介绍了混合Transformer Demucs（HT Demucs），混合时间/频谱双U-Net的基础上的混合Demucs，其中最内层被替换为跨域的Transformer编码器，使用一个域内的自我注意，跨域的交叉注意。虽然它只在MUSDB上训练时表现不佳，但我们表明，当使用800首额外的训练歌曲时，它的SDR比混合Demucs（在相同数据上训练）高出0.45 dB。使用稀疏注意力内核来扩展其感受野，并对每个源进行微调，我们通过额外的训练数据在MUSDB上获得了最先进的结果，SDR为9.20 dB。
2022-11-15 cs.SD eess.AS
Self-Supervised Music Source Separation Using Vector-Quantized Source Category Estimates
Queen Mary University（玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出一种自监督音乐源分离系统，通过向量量化表示替代音频查询，在推理时无需音频查询，为不同音乐流派的源分离提供新途径。
2023-11-21 cs.SD eess.AS
CrowdioSet and PaRIRset: Two Datasets Towards Live Music Source Separation
该研究针对现有音乐源分离模型难以泛化到现场音乐的问题，构建CrowdioSet与PaRIRset两个数据集，可提升模型现场分离性能，相关资源已公开。
2026-07-31 cs.SD eess.AS
