Simultaneous Music Separation and Generation Using Multi-Track Latent Diffusion Models
University of California San Diego（加州大学圣地亚哥分校）；Bose Corp.（博士公司）
本文提出一种多轨潜扩散模型，通过学习多轨联合分布同时实现音乐源分离、多轨合成与编曲生成，并在Slakh2100上取得显著性能提升。
2024-12-30 cs.SD eess.AS
Score-informed Music Source Separation: Improving Synthetic-to-real Generalization in Classical Music
Tampere University（塔尔皮奥大学）
本文针对古典音乐源分离任务，提出两种利用乐谱信息的方法：乐谱与幅度谱图拼接输入和仅用乐谱计算分离掩码，在合成数据上训练并在真实录音数据集上验证，发现仅用乐谱的模型显著提升了合成到真实的泛化能力。
2025-06-03 cs.LG cs.SD eess.AS
Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs
Georgia Institute of Technology（佐治亚理工学院）
符号音乐的深度生成模型通常被设计为对音乐中的时间依赖性进行建模，以便在给定先前事件的情况下预测下一个音乐事件。在许多情况下，这样的模型被期望从原始音乐数据中学习抽象概念，如和声、节拍和节奏，而不需要任何额外的信息。在这项研究中，我们调查的影响，明确条件反射深生成模型与音乐相关的信息。具体而言，我们研究了四种不同的条件输入的性能上的一个经常性的单声道旋律生成模型的影响。这些调节输入的几种组合用于训练不同的模型变体，然后使用跨两种音乐流派的三个客观评估范例来评估这些模型变体。结果表明，音乐相关的条件反射显着提高学习和性能，并揭示了这些信息如何影响学习的音高和节奏相关的音乐特征。一个非正式的主观评价表明，一代人的审美素质相应提高。
2019-07-10 cs.AI cs.SD eess.AS
Music Source Separation via Stem Discovery
Aalto University（阿尔托大学）
本文提出MuS3D，一种基于音频查询的迭代式音乐源分离框架，通过自动发现混合中的活动源，匹配手动查询基线并超越文本模型，证明音频查询是有效且可自动化的分离接口。
2026-09-28 cs.SD eess.AS
MoodLoopGP: Generating Emotion-Conditioned Loop Tablature Music with Multi-Granular Features
Queen Mary University of London（伦敦玛丽女王大学）
本文在 LooperGP 基础上提出 MoodLoopGP，通过融合歌曲级与小节级多粒度音乐特征控制情感表达，并经算法、人工评估及消融研究验证其生成快乐与悲伤循环六线谱音乐的有效性。
2024-01-25 cs.SD eess.AS
Noise2Music: Text-conditioned Music Generation with Diffusion Models
Google Research（谷歌研究院）
我们引入了Noise 2 Music，其中训练了一系列扩散模型，以从文本提示生成高质量的30秒音乐片段。连续训练并利用两种类型的扩散模型，生成器模型和扩散器模型，生成器模型生成以文本为条件的中间表示，扩散器模型生成以中间表示和可能的文本为条件的高保真音频，以生成高保真音乐。我们探索两种选择的中间表示，一个使用频谱图和其他使用音频较低的保真度。我们发现，生成的音频不仅能够忠实地反映文本提示的关键元素，如体裁，节奏，乐器，情绪和时代，但超越了地面细粒度的提示语义。预训练的大语言模型在这个故事中起着关键作用-它们用于为训练集的音频生成配对文本，并提取扩散模型摄取的文本提示的嵌入。生成的示例：https://google-research.github.io/noise2music
2023-03-06 cs.LG cs.SD eess.AS
ScripTONES: Sentiment-Conditioned Music Generation for Movie Scripts
PES Center for Pattern Recognition, Department of Computer Science and Engineering（PES模式识别中心，计算机科学与工程系）；PES University（PES大学）
本文提出ScripTONES两阶段流程，先对电影剧本场景进行效价-唤醒情感分析，再据此条件生成匹配情感的钢琴MIDI音乐，并通过用户调查验证不同生成架构的效果。
2024-01-13 cs.MM cs.SD eess.AS
Few-Shot Musical Source Separation
Spotify（声田）
基于深度学习的音乐声源分离方法通常限于模型所训练的乐器类，并且不能推广到分离看不见的乐器。为了解决这个问题，我们提出了一个Few-Shot音乐声源分离范例。我们的通用U-Net声源分离模型的条件下，使用几个音频的目标文书的例子。我们训练一个Few-Shot条件编码器与U-Net联合编码的音频样本到一个条件向量配置U-Net通过特征线性调制（FILM）。我们在MUSDB 18和MedleyDB数据集中的真实音乐记录上评估了训练模型。我们表明，我们提出的Few-Shot条件范例优于基线一热仪器类条件模型的可见和不可见的仪器。为了将我们的方法扩展到更广泛的现实世界场景，我们还尝试了不同的条件反射示例特征，包括来自不同录音的示例，多个来源或负面条件反射示例。
2022-05-03 cs.SD eess.AS
Generalized Multi-Source Inference for Text Conditioned Music Diffusion Models
Sapienza University of Rome（罗马智慧大学）；Ca' Foscari University of Venice（威尼斯大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出广义多源推理方法，将多源扩散模型推广至任意文本条件时域扩散模型，无需分离数据即可生成连贯音源与伴奏，并适配Dirac分离器，在Slakh2100和MTG-Jamendo上取得有竞争力的结果。
2024-03-18 cs.LG cs.SD eess.AS
SAMUeL: Efficient Vocal-Conditioned Music Generation via Soft Alignment Attention and Latent Diffusion
Division of Engineering Science University of Toronto（工程科学系 马尼托瓦大学）；Innovative Cognitive Computing Center King Mongkut's University of Technology Thonburi（创新认知计算中心 王后大学技术吞武里）
SAMUeL通过软对齐注意力和潜在扩散技术，实现高效的语音条件音乐生成，参数减少220倍，推理速度提升52倍，性能优于OpenAI Jukebox。
2026-01-04 cs.LG cs.SD
A Two-Stage Band-Split Mamba-2 Network For Music Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；SenseAuto Intelligent Connection, SenseTime（商汤科技 SenseAuto 智能连接部门）
针对音乐源分离任务，本文提出采用两阶段策略的频带划分Mamba-2网络，引入基于掩码的残差映射弥补细节缺失，实验验证了双向Mamba-2和两阶段结构的分离性能优势，并公开了源代码。
2024-09-13 cs.SD eess.AS
Audio query-based music source separation
Seoul National University（首尔大学）
近年来，音乐声源分离已成为音乐信息检索领域研究的热点之一。深度学习的改进导致音乐声源分离性能取得重大进步。然而，以前的研究大多局限于分离几个有限数量的源，如人声，鼓，低音，和其他。在这项研究中，我们提出了一个网络的音频查询为基础的音乐声源分离，可以明确编码的源信息从查询信号，而不管目标信号的数量和/或种类。该方法由查询网和分离器组成：给定查询和混合物，查询网将查询编码到潜在空间中，分离器估计由潜在向量调节的掩码，然后将其应用于混合物进行分离。Separator还可以使用训练样本中的潜在向量生成掩码，允许在没有查询的情况下进行分离。我们在MUSDB 18数据集上对该方法进行了评估，实验结果表明，该方法可以用单个网络分离多个源。此外，通过进一步的调查的潜在空间，我们证明了我们的方法可以产生连续的输出，通过潜在向量插值。
2019-08-19 cs.SD eess.AS
Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model
LG AI Research（LG人工智能研究院）；University of Ulsan（蔚山大学）
与计算机视觉中的彩色化类似，乐器分离是分配乐器标签（例如钢琴，吉他.）到来自仅包含性能信息的未标记混合物的音符。为了解决这个问题，我们采用扩散模型，并明确指导他们保持混合和音乐之间的一致性。定量结果表明，我们提出的模型可以产生高保真的多轨符号音乐的创造性样本。
2022-09-05 cs.MM cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance（字节跳动）
音乐声源分离（MSS）是将音乐片段分离成单个源（例如人声和伴奏）的任务。最近，基于神经网络的方法已经被应用于解决MSS问题，并且可以被分类为基于频谱图和基于时域的方法。然而，利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中，我们提出了一个CatNet框架，该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统，将频谱图计算纳入CatNet。此外，我们提出了一种新的混合音频数据增强方法，随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比（SDR），优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music（中央音乐学院音乐人工智能与信息科技系）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学与技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学智能信息处理上海重点实验室）
针对情感标注乐谱稀缺问题，提出EMelodyGen系统，通过音乐特征模板构建Rough4Q数据集，预训练模型实现高解析率与情感对齐度，验证了特征控制的有效性。
2025-05-18 cs.AI cs.IR cs.SD
Music Source Separation with Generative Flow
University of Rochester（罗切斯特大学）；Tencent Technology (Shanghai) Co., Ltd.（腾讯科技（上海）有限公司）
用于源分离的全监督模型是在并行混合源数据上训练的，并且是目前最先进的。然而，这样的并行数据通常难以获得，并且使训练模型适应具有新源的混合物是繁琐的。相比之下，仅源监督模型只需要单个源数据进行训练。在本文中，我们首先利用基于流的生成器来训练个人音乐源先验，然后使用这些模型，以及基于可能性的目标，分离音乐混合物。我们表明，在歌声分离和音乐分离任务中，我们提出的方法与完全监督的方法相比具有竞争力。我们还证明了我们可以灵活地添加新类型的源，而完全监督的方法需要重新训练整个模型。
2022-10-16 cs.SD eess.AS eess.SP
On loss functions and evaluation metrics for music source separation
Universitat Pompeu Fabra（庞培法布拉大学）；Dolby Laboratories（杜比实验室）
我们调查损失函数提供更好的分离，通过基准测试的音乐声源分离的广泛的一套。为此，我们首先调查了我们确定的最具代表性的音频声源分离损失，然后在受控的实验设置中对其进行一致的基准测试。我们还探索使用这样的损失作为评估指标，通过交叉相关的主观测试的结果。根据观察，标准的信号失真比度量可能会误导在某些情况下，我们研究替代评估指标的基础上考虑的损失。
2022-02-16 cs.LG cs.SD eess.AS
DiffSynth-Music: Audio-Conditioned KV-Cache Adapters for Controllable Music Generation
Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
针对文本歌词对音乐节奏、旋律控制不足的问题，提出DiffSynth-Music框架，通过音频条件KV缓存注入支持五种控制类型，提升可控性与歌词保真度。
2026-09-14 cs.SD
Music Source Restoration with Ensemble Separation and Targeted Reconstruction
本文提出双阶段系统，通过预训练分离模型和基于BSRNN的修复模型，实现音乐源修复，优于基线方法，排名第二。
2026-03-13 cs.AI cs.SD eess.AS
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University（复旦大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；National Institute of Informatics（国立信息学研究所）
歌声检测（SVD）是音乐信息检索（MIR）中的一项重要任务，用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起，特别是对于一些复杂的复调音乐，如合唱音乐录音，这项任务仍然具有挑战性。为了解决这个问题，我们研究歌声检测，同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤：i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性，使用长期递归卷积网络（LRCN）来学习成分特征。此外，为了消除离群值，我们选择使用中值滤波器进行时域平滑。实验结果表明，该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
MusicGen-Chord: Advancing Music Generation through Chord Progressions and Interactive Web-UI
Sogang University（西江大学）；Replicate
针对MusicGen无法利用和弦进行特征的局限，提出MusicGen-Chord模型将旋律色度向量改为多热编码和弦向量，结合和弦与文本生成音乐，还开发混音应用并集成到网络UI，提升音乐生成可控性与可访问性。
2024-11-30 cs.AI cs.LG cs.SD
A Conditioned UNet for Music Source Separation
Centre For Digital Music, Queen Mary University of London（数字音乐中心，伦敦女王玛丽大学）；AudioStrip Ltd. London（AudioStrip公司，伦敦）
本文提出QSCNet，一种用于音乐源分离的条件UNet，通过整合稀疏压缩网络中的网络条件元素，在多个任务上优于Banquet，同时参数更少。
2025-12-17 cs.AI cs.LG cs.SD
Music Similarity Representation Learning Focusing on Individual Instruments with Source Separation and Human Preference
Nagoya University（名古屋大学）
该研究提出结合音乐音源分离与人类偏好的单乐器音乐相似性表示学习方法InMSRL，通过端到端微调、多任务学习、感知感知微调三种策略提升性能，实验验证了各策略的有效性及级联方案的优越性。
2025-03-24 cs.SD eess.AS
Pac-HuBERT: Self-Supervised Music Source Separation via Primitive Auditory Clustering and Hidden-Unit BERT
MERL（三菱电机研究实验室）
本文提出自监督框架Pac-HuBERT，利用无标签音乐数据的原始听觉特征进行预训练，结合Res-U-Net解码器，在数据有限时显著提升了音乐源分离的SDR性能。
2023-04-04 cs.LG cs.SD eess.AS
Music-Source-Separation-Training (MSST): A Unified Framework for Training and Evaluating Music Demixing Models
National Research University Higher School of Economics (HSE University)（俄罗斯国立研究型高等经济大学）；AlphaChip LLC.（阿尔法芯片有限责任公司）
本文针对音乐源分离任务提出MSST框架，统一训练、验证和推理，支持多种模型架构、数据处理方式、损失函数及评估指标，还有提升分离质量的实用技术，通过整合组件降低实验门槛，实现快速迭代。
2026-07-28 cs.LG cs.SD eess.AS
Generating Separated Singing Vocals Using a Diffusion Model Conditioned on Music Mixtures
本文提出基于扩散模型的音乐演唱声部分离方法，通过条件生成提升分离效果，并通过消融研究分析采样参数影响。
2025-11-26 cs.AI cs.SD
Denoising Auto-encoder with Recurrent Skip Connections and Residual Regression for Music Source Separation
Research Center for IT Innovation Academia Sinica Taipei, Taiwan
具有跳跃连接的卷积神经网络在音乐声源分离中表现出良好的性能。在这项工作中，我们提出了一个去噪自动编码器与循环跳过连接（ARC）。我们在全卷积网络的所有层中沿着时频特征图的时间轴使用1D卷积。1D卷积的使用使得可以将递归层应用于卷积层的中间输出。此外，我们还提出了一种增强网络和残差回归方法，以进一步改善分离效果。循环跳跃连接、增强模块和残差回归都提高了分离质量。带有残差回归的ARC模型在SiSEC 2018中使用MUSDB在人声中实现了5.74的信号失真比（SDR）。我们还在较旧的数据集DSD 100（用于SiSEC 2016）上单独评估了ARC模型，它在人声中达到了5.91 SDR。
2018-07-05 cs.SD eess.AS
Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity
MERL（三菱电机研究实验室）
近年来，随着基于深度学习的方法的出现，音乐声源分离性能得到了极大的改善。这样的方法通常需要大量的标记的训练数据，在音乐的情况下，这些训练数据由混合物和相应的乐器干组成。然而，大多数商业音乐都无法获得茎，到目前为止，只有有限的数据集向公众发布。因此，当比较各种声源分离方法时，很难得出结论，因为性能上的差异可能源于更好的数据增强技术或训练技巧，以缓解训练数据的有限可用性，以及内在更好的模型架构和目标函数。在本文中，我们提出了合成的Lakh数据集（Slakh）作为一个新的工具，音乐声源分离的研究。Slakh由高质量的仪器混合物渲染和使用专业级基于样本的虚拟仪器从Lakh数据集（LMD）生成的相应茎组成。第一个版本，Slakh 2100，专注于2100首歌曲，导致145小时的混合。虽然由于其纯粹是工具性的，因此不完全具有可比性，但该数据集包含的数据比MUSDB 18多一个数量级，MUSDB 18是该领域的{ \it de facto}标准数据集。我们表明，Slakh可用于有效地增强现有的乐器分离数据集，同时为各种数据密集型音乐信号分析任务打开大门。
2019-09-18 cs.LG cs.SD eess.AS
Low Latency Time Domain Multichannel Speech and Music Source Separation
Ilmenau University of Technology（伊尔梅瑙工业大学）
目标是获得具有非常低延迟的简单多通道源分离。应用可以是电话会议、助听器、增强现实或选择性有源噪声消除。这些实时应用需要非常低的延迟（通常小于约6ms）和低复杂度，因为它们通常在小型便携式设备上运行。为此，我们不需要最好的分离，但“有用的”分离，不仅是语音，而且是音乐和噪音。频域方法具有更高的延迟和复杂度。因此，我们引入了一种新的概率优化方法，我们称之为“随机方向”，它可以克服局部极小值，适用于一个简单的时域解混结构，这是可扩展的低复杂度。然后将其与频域方法在分离语音和音乐源以及使用3D麦克风设置方面进行比较。
2022-04-12 cs.SD eess.AS
End-to-end music source separation: is it possible in the waveform domain?
Universitat Pompeu Fabra（庞培法布拉大学）
目前大多数成功的声源分离技术使用幅度谱图作为输入，因此默认省略了信号的一部分：相位。为了避免遗漏潜在的有用信息，我们研究了使用端到端模型进行音乐声源分离的可行性--它考虑了原始音频信号中的所有可用信息，包括相位。虽然在过去的几十年里，端到端音乐声源分离被认为几乎是不可实现的，但我们的研究结果证实，基于波形的模型可以比基于频谱的深度学习模型表现得相似（如果不是更好的话）。也就是说：我们提出的基于Wavenet的模型和Wave-U-Net可以优于DeepConvSep，DeepConvSep是最近基于频谱的深度学习模型。
2019-06-28 cs.LG cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University（东北大学科里计算机科学学院）
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题，研究者结合频谱图掩码、深度神经网络与MuseScore API，构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)（格拉茨音乐与表演艺术大学，电子音乐与声学研究所）
本文提出基于MERT嵌入的侵入性评估指标，用于改进音乐源分离的评估方法，实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
Voice and accompaniment separation in music using self-attention convolutional neural network
Ohio State University（俄亥俄州立大学）；Amazon Music, Bangalore（亚马逊音乐（班加罗尔））；Amazon Lab126, CA（亚马逊Lab126（加利福尼亚））
音乐源分离是信号处理领域的一个热门课题，这不仅是因为它的技术难度，而且还因为它对自动卡拉OK和混音等许多商业应用的重要性。在这项工作中，我们提出了一种新的自我注意力网络分离的声音和伴奏音乐。首先，构建一个具有密集连接的CNN块的卷积神经网络（CNN）作为我们的基础网络。然后，我们在基础CNN的不同级别插入自注意力，以利用音乐的长期内部依赖性，即，重复在自我注意力模式中，相同音乐模式的重复通知其他重复的重建，以获得更好的源分离性能。实验结果表明，该方法在SDR方面的人声分离相对提高了19.5%。我们将我们的方法与最先进的系统（即MMDenseNet和MMDenseLSTM）进行比较。
2020-03-19 cs.LG cs.SD eess.AS
Music Separation Enhancement with Generative Modeling
Northwestern University（西北大学）；Descript, Inc.（Descript公司）
尽管近年来取得了惊人的进步，但最先进的音乐分离系统产生的源估计具有显著的感知缺陷，例如添加无关噪声或去除谐波。我们提出了一个后处理模型（MSG后处理器），以提高音乐声源分离系统的输出。我们将我们的后处理模型应用于最先进的基于波形和基于频谱的音乐源分离器，包括MSG在训练期间看不到的分离器。我们对源分离器产生的误差的分析表明，波形模型往往会引入更多的高频噪声，而频谱图模型往往会丢失瞬态和高频内容。我们引入客观的措施来量化这两种错误，并显示MSG提高了这两种错误的源重建。众包的主观评价表明，人类听众更喜欢低音和鼓的源估计已被味精后处理。
2022-08-26 cs.LG cs.SD eess.AS
Theme Transformer: Symbolic Music Generation with Theme-Conditioned Transformer
基于注意力的Transformer模型已经越来越多地用于自动音乐生成。为了用用户指定的序列来调节这种模型的生成过程，流行的方法是将该调节序列作为启动序列，并要求Transformer解码器生成延续。然而，这种基于提示的条件反射无法保证条件反射序列会发展，甚至只是在生成的延续中重复。在本文中，我们提出了一种替代的条件反射方法，称为基于主题的条件反射，明确训练的Transformer处理的条件反射序列作为一个主题的材料，必须表现出自己多次在其生成结果。这是通过两个主要的技术贡献实现的。首先，我们提出了一种基于深度学习的方法，该方法使用对比表示学习和聚类来自动从训练数据中的音乐片段中检索主题材料。其次，我们提出了一种新的门控并行注意模块中使用的序列到序列（seq 2seq）的编码器/解码器架构，以更有效地考虑到一个给定的空调专题材料的生成过程中的Transformer解码器。我们报告的客观和主观评价的变体的建议的主题Transformer和传统的基于bundle的基线，表明我们最好的模型可以产生，在一定程度上，复调流行钢琴音乐的重复和合理的变化的一个给定的条件。
2022-03-21 cs.MM cs.SD eess.AS
Spacing Out: On the Reliability of Binaural Music Source Separation Metrics
New York University（纽约大学）
研究探讨双耳音乐源分离，通过感知研究评估客观空间失真指标与人类感知的关联，发现现有指标评估双耳音乐任务缺乏可靠性，ITD估计敏感，两种替代方法有稳健性和准确性的权衡，强调需设计新指标。
2026-07-29 cs.SD eess.AS eess.SP
Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
本文提出Moises-Light，一种资源高效的频带分割U-Net轻量级音乐源分离模型，通过精心设计在MUSDB-HQ上以少13倍参数达到可比SDR，并展现良好可扩展性。
2025-10-08 cs.SD eess.AS
Hybrid Transformers for Music Source Separation
Meta AI
在音乐源分离（MSS）中出现的一个自然问题是长距离上下文信息是否有用，或者局部声学特征是否足够。在其他领域，基于注意力的Transformers已经显示出它们在长序列上整合信息的能力。在这项工作中，我们介绍了混合Transformer Demucs（HT Demucs），混合时间/频谱双U-Net的基础上的混合Demucs，其中最内层被替换为跨域的Transformer编码器，使用一个域内的自我注意，跨域的交叉注意。虽然它只在MUSDB上训练时表现不佳，但我们表明，当使用800首额外的训练歌曲时，它的SDR比混合Demucs（在相同数据上训练）高出0.45 dB。使用稀疏注意力内核来扩展其感受野，并对每个源进行微调，我们通过额外的训练数据在MUSDB上获得了最先进的结果，SDR为9.20 dB。
2022-11-15 cs.SD eess.AS
Small Tunes Transformer: Exploring Macro & Micro-Level Hierarchies for Skeleton-Conditioned Melody Generation
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）
本研究提出Small Tunes Transformer模型，通过宏观乐句分割与微观骨架音符提取，结合乐句级交叉注意力机制，并构建包含10088首传统民歌的Small Tunes Dataset，实现了优于SOTA的骨架条件旋律生成。
2024-10-15 cs.SD eess.AS
Self-Supervised Music Source Separation Using Vector-Quantized Source Category Estimates
Queen Mary University（玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出一种自监督音乐源分离系统，通过向量量化表示替代音频查询，在推理时无需音频查询，为不同音乐流派的源分离提供新途径。
2023-11-21 cs.SD eess.AS
CrowdioSet and PaRIRset: Two Datasets Towards Live Music Source Separation
该研究针对现有音乐源分离模型难以泛化到现场音乐的问题，构建CrowdioSet与PaRIRset两个数据集，可提升模型现场分离性能，相关资源已公开。
2026-07-31 cs.SD eess.AS
Decoupling Magnitude and Phase Estimation with Deep ResUNet for Music Source Separation
ByteDance（字节跳动）；University of Surrey（萨里大学）
基于深度神经网络的方法已成功应用于音乐声源分离。它们通常学习从混合光谱图到一组源光谱图的映射，所有这些都只有幅度。这种方法有几个局限性：1）其不正确的相位重建降低了性能，2）它将掩码的幅度限制在0和1之间，而我们观察到在流行的数据集MUSDB 18中，22%的时间频率箱具有超过~1的理想比率掩码值，3）它在非常深的架构上的潜力尚未得到充分开发。我们提出的系统旨在克服这些问题。首先，我们建议通过估计复理想比掩模（cIRMs）来估计相位，其中我们将cIRMs的估计解耦为幅度和相位估计。其次，我们扩展了分离方法，以有效地允许掩模的幅度大于1。最后，我们提出了一个剩余的UNet架构，多达143层。我们提出的系统在MUSDB 18数据集上实现了最先进的MSS结果，特别是在人声上的SDR为8.98 dB，优于之前的最佳性能7.24 dB。源代码可在https://github.com/bytedance/music_source_separation上获得
2021-09-12 cs.SD eess.AS
SpaIn-Net: Spatially-Informed Stereophonic Music Source Separation
Indiana University（印第安纳大学）
随着最近使用深度神经网络的数据驱动方法的进步，音乐源分离已被制定为特定于乐器的监督问题。虽然现有的深度学习模型隐含地吸收了多通道输入信号所传达的空间信息，但我们认为，更明确和积极地使用空间信息不仅可以改善分离过程，还可以为许多基于用户交互的工具提供入口点。为此，我们介绍了一种控制方法的基础上的立体声感兴趣的源的位置，表示为摇摄角。我们提出了各种条件反射机制，包括使用原始角度及其衍生的功能表示，并表明空间信息的帮助。我们提出的方法提高了分离性能相比，位置不可知的架构由1.8 dB SI-SDR在我们的Slakh为基础的模拟实验。此外，所提出的方法允许解开同类乐器，例如，在包含两个吉他音轨的混合物。最后，我们还证明了我们的方法是强大的不正确的源平移信息，这可能会导致我们提出的用户交互。
2022-02-15 cs.SD eess.AS
Event-Based Token Sequences for Audio-Conditioned Music-Game Level Modeling
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
研究音乐游戏关卡程序生成问题，受基于事件的符号音乐建模启发，提出令牌级序列公式，构建Transformer模型，在事件级评估中优于基线，能系统分析音频对节奏对齐事件预测的支持。
2026-07-13 cs.MM cs.SD
Improving Music Source Separation with Diffusion and Consistency Refinement
本文提出一种基于扩散模型的音乐源分离方法，通过迭代去噪增强分离效果，采用一致性蒸馏加速推理，提升性能并保持质量，适用于多种架构。
2026-04-26 cs.SD eess.AS
Music Source Separation Based on a Lightweight Deep Learning Framework (DTTNET: DUAL-PATH TFC-TDF UNET)
Imperial College London（帝国理工学院）；Amrita Vishwa Vidyapeetham（阿姆里塔维什瓦维迪亚皮塔姆大学）；Amrita School of Engineering（阿姆里塔工程学院）
提出轻量级DTTNet架构，基于双路径模块和TFC-TDF UNet，在音乐源分离中达到10.12 dB cSDR，优于BSRNN且参数减少86.7%，并评估了复杂音频模式的泛化性能。
2024-03-19 cs.SD eess.AS
Class-conditional embeddings for music source separation
MERL（三菱电机研究实验室）
在音乐混合物中分离出单个乐器有无数潜在的应用，考虑到最近的深度学习方法所达到的性能水平，这似乎是迫在眉睫的。虽然大多数音乐声源分离技术为每个乐器学习一个独立的模型，但我们建议在深度聚类和深度吸引子网络的启发下，为混合物中所有乐器的时频箱使用一个公共嵌入空间。此外，辅助网络用于生成高斯混合模型（GMM）的参数，其中嵌入空间中的GMM分量上的后验分布可以用于创建将各个源从混合物中分离的掩模。除了在MUSDB-18数据集上优于掩码推理基线外，我们的嵌入空间很容易解释，可用于基于查询的分离。
2018-11-07 cs.LG cs.SD eess.AS
Meta-learning Extractors for Music Source Separation
Charles University（查理大学）；Preferred Networks
我们提出了一个分层的元学习启发模型的音乐声源分离（Meta-TasNet），其中一个生成器模型用于预测各个提取器模型的权重。这实现了高效的参数共享，同时仍然允许仪器特定的参数化。Meta-TasNet被证明比独立训练或在多任务环境中训练的模型更有效，并且实现了与最先进方法相当的性能。与后者相比，我们的提取器包含更少的参数，并具有更快的运行时性能。我们讨论了重要的架构考虑因素，并探讨了这种方法的成本和收益。
2020-02-17 cs.LG cs.SD eess.AS
The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Universidad de Jaén（耶鲁大学）；Odratek BV（Odratek公司）；Tampere University（塔尔库大学）
Spheres数据集包含交响乐录音，用于推动音乐源分离和相关MIR任务的研究，包含经典音乐领域的作品及乐器独奏片段，提供隔离音轨和房间脉冲响应，用于评估源分离模型性能。
2026-05-14 cs.LG cs.SD eess.AS
A Study of Transfer Learning in Music Source Separation
Northwestern University（西北大学）；Descript, Inc（Descript公司）
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统，如摇滚和流行音乐，但许多音乐领域没有，如古典音乐，合唱音乐和非西方音乐传统。众所周知，从相关领域转移学习可以提高深度学习系统的性能，但如何最好地进行预训练并不总是很清楚。在这项工作中，我们研究了预训练期间数据增强的有效性，预训练和下游数据集具有相似内容域对性能的影响，并探讨了一旦预训练，模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
Spectrogram Feature Losses for Music Source Separation
ETH Zürich（苏黎世联邦理工学院）；Disney Research Zürich（苏黎世迪士尼研究院）
在本文中，我们研究了基于深度学习的音乐声源分离，并探索使用标准声谱图像素级L2损失的替代损失进行模型训练。我们的主要贡献是证明，增加一个高层次的功能损失项，使用VGG网络从频谱图中提取，可以提高分离质量，相对于一个纯粹的像素级损失。我们在MMDenseNet的上下文中展示了这种改进，MMDenseNet是用于此任务的最先进的深度学习模型，用于从musdb18数据库中的歌曲中提取鼓和人声，涵盖了广泛的西方音乐流派。我们相信这一发现可以推广并应用于音频领域更广泛的基于机器学习的系统。
2019-06-26 cs.LG cs.SD eess.AS
Multi-Source Diffusion Models for Simultaneous Music Generation and Separation
Sapienza University of Rome（罗马第一大学）
本文提出一种多源扩散模型，通过学习共享上下文的源联合密度得分，实现音乐生成与源分离，并引入源插补和基于狄拉克似然的新推断方法，在Slakh2100上展示竞争性结果，是首个统一处理生成与分离的模型。
2024-03-18 cs.LG cs.SD eess.AS
Singer-Informed Vocal Source Separation for Multi-Singer Music Mixtures
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Siebel School of Computing and Data Science（西贝尔计算与数据科学学院）
该研究针对多歌手音乐混合信号，提出结合目标歌手注册录音嵌入的人声源分离框架，在二重唱数据集上验证了其可显著提升目标歌手提取的SI-SDR与感知质量。
2026-08-17 cs.SD eess.AS
Sams-Net: A Sliced Attention-based Neural Network for Music Source Separation
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Tiangong University（天津工业大学）；Tencent Inc.（腾讯公司）
卷积神经网络（CNN）或具有频谱图或波形输入的基于长短期记忆（LSTM）的模型通常用于基于深度学习的音频源分离。在本文中，我们提出了一个分层注意的神经网络（Sams-Net）在频谱域的音乐源分离任务。与LSTM和CNN相比，它使光谱特征与多头注意机制相互作用，实现更容易的并行计算，并具有更大的感受野。在MUSDB 18数据集上的实验结果表明，该方法具有更少的参数，优于大多数最先进的基于DNN的方法。
2020-05-19 cs.IR cs.LG cs.SD
