Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity
MERL(三菱电机研究实验室)
近年来,随着基于深度学习的方法的出现,音乐声源分离性能得到了极大的改善。这样的方法通常需要大量的标记的训练数据,在音乐的情况下,这些训练数据由混合物和相应的乐器干组成。然而,大多数商业音乐都无法获得茎,到目前为止,只有有限的数据集向公众发布。因此,当比较各种声源分离方法时,很难得出结论,因为性能上的差异可能源于更好的数据增强技术或训练技巧,以缓解训练数据的有限可用性,以及内在更好的模型架构和目标函数。在本文中,我们提出了合成的Lakh数据集(Slakh)作为一个新的工具,音乐声源分离的研究。Slakh由高质量的仪器混合物渲染和使用专业级基于样本的虚拟仪器从Lakh数据集(LMD)生成的相应茎组成。第一个版本,Slakh 2100,专注于2100首歌曲,导致145小时的混合。虽然由于其纯粹是工具性的,因此不完全具有可比性,但该数据集包含的数据比MUSDB 18多一个数量级,MUSDB 18是该领域的{ \it de facto}标准数据集。我们表明,Slakh可用于有效地增强现有的乐器分离数据集,同时为各种数据密集型音乐信号分析任务打开大门。
2019-09-18 cs.LG cs.SD eess.AS
Separate This, and All of these Things Around It: Music Source Separation via Hyperellipsoidal Queries
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于超椭球区域查询的音乐源分离系统,通过按区域指定目标克服了固定stem范式的局限,并在MoisesDB数据集上实现了最先进的信噪比与检索性能。
2025-01-27 cs.IR cs.LG cs.SD
Facing the Music: Tackling Singing Voice Separation in Cinematic Audio Source Separation
Netflix Inc.(奈飞公司);Georgia Institute of Technology(佐治亚理工学院)
本研究针对电影音频源分离中歌声难以归类的问题,将Bandit和Banquet模型扩展为四音轨分离,发现基于查询的Banquet模型因FiLM层实现更好的特征对齐而表现更优。
2024-08-26 cs.AI cs.LG cs.SD
Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室(巴黎));Sony AI(索尼人工智能)
本文提出基于联合嵌入预测架构的新方法,通过条件化预测器实现零样本音乐分轨检索,并在MUSDB18和MoisesDB数据集上显著优于基线,同时验证了嵌入保留时间结构。
2025-02-24 cs.AI cs.SD eess.AS
Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration
School of Future Technology, South China University of Technology, Guangzhou, China.(未来技术学院,华南理工大学,广州,中国)
本文提出Polyphonia框架,通过声学感知注意力校准实现多声部音乐中精确的零样本音色迁移,提升目标音色对齐精度的同时保持音乐保真度和非目标音色完整性。
2026-05-11 cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院)
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题,研究者结合频谱图掩码、深度神经网络与MuseScore API,构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
PHALAR: Phasors for Learned Musical Audio Representations
Department of Computer Science, Sapienza University of Rome, Italy(罗马大学计算机科学系);Moises Systems, Inc.(Moises系统公司);Paradigma, Inc.(Paradigma公司)
提出PHALAR对比框架,利用学习谱池化和复值头实现音高和相位等变,在茎检索任务中参数减少50%、训练加速7倍,准确率相对提升约70%,并捕获鲁棒的音乐结构。
2026-05-26 cs.AI cs.LG cs.SD
A Conditioned UNet for Music Source Separation
Centre For Digital Music, Queen Mary University of London(数字音乐中心,伦敦女王玛丽大学);AudioStrip Ltd. London(AudioStrip公司,伦敦)
本文提出QSCNet,一种用于音乐源分离的条件UNet,通过整合稀疏压缩网络中的网络条件元素,在多个任务上优于Banquet,同时参数更少。
2025-12-17 cs.AI cs.LG cs.SD
Moisesdb: A dataset for source separation beyond 4-stems
Moises Systems Inc.(Moises系统公司)
本文提出MoisesDB音乐音源分离数据集,含240首曲目及两层级stems分类,并提供Python库与多粒度基线结果,推动超越4-stems的细粒度音源分离研究。
2023-07-29 cs.AI cs.SD eess.AS
Multi-Genre Music Transformer -- Composing Full Length Musical Piece
Purdue University(普渡大学)
在生成音乐的任务中,艺术因素起着很大的作用,对AI来说是一个巨大的挑战。以前的工作涉及对抗性训练,以产生新的音乐作品,并对音乐中的各种兼容性(节拍,节奏,音乐干)进行建模,展示了学习这项任务的很好的例子。尽管这仅限于生成mashup或从节奏和键分布中学习特征以生成类似的模式。复合词Transformer能够将音乐生成任务表示为涉及由复合词定义的音乐事件的序列生成挑战。这些音乐事件对音符的进展、和弦的变化、和声和艺术因素给予了更准确的描述。该项目的目标是实现一个多流派的Transformer,它通过更适应的学习过程来学习制作音乐作品,包括更具有挑战性的任务,其中还考虑了作曲的流派或形式。我们建立了一个多体裁的复合词数据集,实现了一个线性Transformer,它是在这个数据集上训练的。我们称之为多流派Transformer,它能够产生全长新的音乐作品,这是多样化的,可与原始轨道。该模型的训练速度比其他模型快2-5倍。
2023-01-06 cs.LG cs.SD eess.AS
Do Music Source Separation Models Preserve Spatial Information in Binaural Audio?
本文评估了现有音乐源分离模型在双耳音频上保留空间信息的能力,发现立体声模型无法有效保留沉浸式空间信息,且退化程度受模型架构和目标乐器影响,并指出了未来研究方向。
2025-06-30 cs.SD eess.AS eess.SP
ComposerX: Multi-Agent Symbolic Music Composition with LLMs
University of Rochester(罗切斯特大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Hong Kong University of Science and Technology(香港科技大学);University of Surrey(萨里大学);The University of Manchester(曼彻斯特大学);Queen Mary University of London(伦敦玛丽女王大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出多智能体符号音乐生成框架ComposerX,利用大语言模型的推理能力与音乐知识库,显著提升GPT-4的作曲质量,可生成旋律动人且符合用户指令的连贯复调音乐。
2024-04-30 cs.AI cs.CL cs.LG
A variational autoencoder for music generation controlled by tonal tension
University of Sussex(萨塞克斯大学);Singapore University of Technology and Design(新加坡科技设计大学)
许多基于神经网络的音乐生成系统是完全自主的,并且不提供对生成过程的控制。在本研究中,我们提出了一个可控的音乐生成系统的音调张力。我们将基于螺旋阵列张力理论的两个音调张力测量纳入变分自编码器模型。这使我们能够控制整个生成作品的音调张力方向,以及音调张力的整体水平。给定源自用户输入或源自从潜在空间直接采样的种子音乐片段,模型可以生成具有改变的音调张力的该原始种子片段的变体。这种改变的音乐在节奏上仍然类似于种子音乐,但是音符的音高被改变以匹配由用户调节的期望音调张力。
2020-10-14 cs.SC cs.SD eess.AS
Music Source Restoration with Ensemble Separation and Targeted Reconstruction
本文提出双阶段系统,通过预训练分离模型和基于BSRNN的修复模型,实现音乐源修复,优于基线方法,排名第二。
2026-03-13 cs.AI cs.SD eess.AS
Music-Source-Separation-Training (MSST): A Unified Framework for Training and Evaluating Music Demixing Models
National Research University Higher School of Economics (HSE University)(俄罗斯国立研究型高等经济大学);AlphaChip LLC.(阿尔法芯片有限责任公司)
本文针对音乐源分离任务提出MSST框架,统一训练、验证和推理,支持多种模型架构、数据处理方式、损失函数及评估指标,还有提升分离质量的实用技术,通过整合组件降低实验门槛,实现快速迭代。
2026-07-28 cs.LG cs.SD eess.AS
Music Source Restoration
The Chinese University of Hong Kong(香港中文大学);University of Surrey(萨里大学)
提出音乐源恢复(MSR)任务以弥补现有音乐源分离忽略制作退化的不足,构建含分层类别的RawStems数据集,并以U-Former为基线验证了该任务的可行性。
2025-05-27 cs.AI cs.LG cs.SD
Tracing Inputs, Verifying Outputs: Validating Attribution in Music Generation
Neutune;KAIST(韩国科学技术院)
本文提出通过输入追踪与输出验证相结合的方法,为AI音乐生成提供可验证的归因证据,并利用MixAudio和musicDNA模型验证了该方法在归因与记忆化检测上的有效性。
2026-10-08 cs.LG cs.SD eess.AS
Video-Guided Text-to-Music Generation Using Public Domain Movie Collections
为解决音乐生成系统难以捕捉真实电影制作细微差别的问题,研究引入了公有领域电影数据集 OSSL,并提出一种视频适配器,通过添加视频条件增强自回归 transformer 文本到音乐模型,有效提升了 MusicGen-Medium 的生成保真度与主观兼容性。
2025-06-27 cs.MM cs.SD eess.AS
Exploiting Music Source Separation for Automatic Lyrics Transcription with Whisper
School of Electronic Engineering and Computer Science, Queen Mary University of London(电子工程与计算机科学学院,伦敦女王大学)
本研究利用音乐源分离提升基于Whisper的自动歌词转录,提出拼接与片段边界算法,在Jam-ALT基准上达到开源系统最先进性能,并发布MUSDB-ALT数据集。
2025-06-18 cs.SD eess.AS
KUIELab-MDX-Net: A Two-Stream Neural Network for Music Demixing
Korea University(高丽大学);Queen Mary University of London(伦敦玛丽女王大学);Korea National Open University(韩国国立开放大学);Seokyeong University(西京大学)
最近,已经提出了许多基于深度学习的音乐源分离方法。一些最先进的方法已经表明,堆叠具有许多跳过连接的许多层可以提高SDR性能。虽然如此深入和复杂的体系结构显示出出色的性能,但它通常需要大量的计算资源和时间进行培训和评估。本文提出了一种用于音乐混音的双流神经网络,称为KUIELab-MDX-Net,它在性能和所需资源之间取得了良好的平衡。所提出的模型有一个时频分支和一个时域分支,其中每个分支分别分离主干。它混合两个流的结果以生成最终估计。KUIELab-MDX-Net在ISMIR 2021的Music Demixing Challenge中获得排行榜A第二名和排行榜B第三名。本文还总结了在另一个基准测试程序MUSDB 18上的实验结果。我们的源代码可以在线获得。
2021-11-24 cs.SD eess.AS
Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
本文提出Moises-Light,一种资源高效的频带分割U-Net轻量级音乐源分离模型,通过精心设计在MUSDB-HQ上以少13倍参数达到可比SDR,并展现良好可扩展性。
2025-10-08 cs.SD eess.AS
Automatic Curation of Large-Scale, High-Quality, Multi-Category Music Source Separation Dataset
Xiaomi Inc.(小米公司);Central Conservatory of Music(中央音乐学院)
本文提出ACMI数据集,通过网络爬取结合自动清洗生成含7类声部的大规模高质量音乐源分离数据集,实验表明其可提升MSS模型的SDR性能。
2026-08-25 cs.SD eess.AS
The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Universidad de Jaén(耶鲁大学);Odratek BV(Odratek公司);Tampere University(塔尔库大学)
Spheres数据集包含交响乐录音,用于推动音乐源分离和相关MIR任务的研究,包含经典音乐领域的作品及乐器独奏片段,提供隔离音轨和房间脉冲响应,用于评估源分离模型性能。
2026-05-14 cs.LG cs.SD eess.AS
Spacing Out: On the Reliability of Binaural Music Source Separation Metrics
New York University(纽约大学)
研究探讨双耳音乐源分离,通过感知研究评估客观空间失真指标与人类感知的关联,发现现有指标评估双耳音乐任务缺乏可靠性,ITD估计敏感,两种替代方法有稳健性和准确性的权衡,强调需设计新指标。
2026-07-29 cs.SD eess.AS eess.SP
Beyond SDR: How Music Source Separation Reshapes Rhythm-Relevant Signal Properties
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
该研究量化四类音乐源分离模型对节奏关键信号特性的影响,发现SDR无法反映起音外的节奏特性,模型选择和输入长度会影响节奏相关信号,需在节奏研究中明确报告这些变量。
2026-09-07 cs.SD eess.AS
RPPNet: Perceptually-Grouped Rhythm-Pitch Primitives for Long-Term Structure Melody Generation via Boundary-Aware Modeling
本文针对现有符号音乐生成模型的问题,提出RPPNet架构,通过生成可变长度的RPP序列并解码,其分组基于音乐心理学自动得出。实验显示该模型生成的旋律在长期结构和音乐性上更优,消融研究表明性能提升源于心理表征结构正确,为音乐生成提供跨学科视角。
2026-07-23 cs.AI cs.SD
MGE-LDM: Joint Latent Diffusion for Simultaneous Music Generation and Source Extraction
Music and Audio Research Group (MARG)(音乐与音频研究组);Interdisciplinary Program in Artificial Intelligence (IPAI)(人工智能跨学科项目);AIIS(人工智能研究所);Department of Intelligence and Information(智能与信息系)
提出统一潜空间扩散框架 MGE-LDM,将声源分离与填补建模为条件修复,支持音乐生成、补全及文本驱动的任意声源提取。
2025-10-17 cs.LG cs.SD eess.AS
Music Source Separation in the Waveform Domain
Facebook AI Research(Facebook AI研究院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
音乐的声源分离是将来自不同乐器的贡献或茎分离出来的任务,这些乐器单独录制并安排在一起形成一首歌曲。类似于许多音频合成任务,其中最好的性能是通过直接生成波形的模型来实现的,用于音乐的声源分离的最新技术是计算幅度谱上的掩码。在本文中,我们比较了两种波形域架构。我们首先适应Conv-Tasnet,最初开发的语音声源分离,音乐声源分离的任务。虽然Conv-Tasnet击败了许多现有的频谱域方法,但它遭受了显着的伪影,如人类评估所示。我们提出了一种新的波形到波形模型Demucs,它具有U-Net结构和双向LSTM。在MusDB数据集上的实验表明,通过适当的数据增强,Demucs击败了现有的最先进的架构,包括Conv-Tasnet,平均6.3 SDR,(并且高达6.8,具有150首额外的训练歌曲,甚至超过了低音源的Brachiracle)。使用模型量化的最新发展,Demucs可以被压缩到120 MB而不会损失任何准确性。我们还提供了人类的评估,表明Demucs受益于音频自然度的大幅度提升。然而,它遭受了一些出血,特别是在人声和其他来源之间。
2021-04-28 cs.LG cs.SD eess.AS
RIME: Enabling Large-Scale Agentic Music Post-Production
Dartmouth College(达特茅斯学院)
研究针对音乐后期制作问题,引入RIME框架,利用POEMS工具包生成配对数据,评估多模态语言模型,展示其通过监督微调提升智能体性能,是迈向迭代音乐智能体、变革音乐制作的早期步骤。
2026-10-02 cs.SD
Music Demixing Challenge 2021
Sony Group Corporation(索尼集团公司);Sony Europe B.V.(索尼欧洲公司);Facebook AI Research Paris(巴黎Facebook人工智能研究院);Korea University(高丽大学);Singapore University of Technology and Design(新加坡科技设计大学)
音乐源分离在过去十年中得到了广泛的研究,随着深度学习的出现,可以观察到巨大的进步。MIREX或SiSEC等评估活动将最先进的模型和相应的论文联系起来,这可以帮助研究人员将最佳实践整合到他们的模型中。近年来,MUSDB18数据集在音乐源分离的性能评估中发挥了重要作用。虽然该数据集对该领域的进步做出了相当大的贡献,但它也受到了一些偏见的影响,这些偏见来自于对西方流行音乐的关注以及参与其中的混音工程师数量有限。为了解决这些问题,我们在一个基于人群的机器学习竞赛平台上设计了音乐分音(MDX)挑战赛,任务是将立体声歌曲分成四个乐器干(人声、鼓、低音和其他)。与过去的挑战相比,主要区别在于:1)比赛旨在更容易让其他学科的机器学习从业者参与,2)评估是在由专门致力于挑战的音乐专业人士创建的隐藏测试集上进行的,以确保挑战的透明度,即,除了挑战组织者之外,任何人都不能访问测试集,以及3)数据集提供了更广泛的音乐流派,并且涉及更多数量的混音工程师。在本文中,我们提供了数据集,基线,评估指标,评估结果和未来竞争的技术挑战的细节。
2022-05-23 cs.SD eess.AS
Enhanced Automatic Drum Transcription via Drum Stem Source Separation
本文结合 ADTOF 与多类鼓组 stem 分离模型,通过后处理把转录类别从 5 类扩展到 7 类并估计 MIDI 力度,从而生成更真实的鼓组 MIDI。
2025-09-29 cs.SD eess.AS
Mel-Band RoFormer for Music Source Separation
ByteDance(字节跳动)
针对现有BS-RoFormer音乐源分离模型的经验式无重叠波段划分缺乏理论支撑的问题,提出基于梅尔标度的重叠式梅尔波段划分的Mel-RoFormer模型,在MUSDB18HQ数据集上多音轨分离性能优于原有模型。
2023-10-03 cs.SD eess.AS
SoundSignature: What Type of Music Do You Like?
New York University(纽约大学)
SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
2024-10-04 cs.AI cs.IR cs.SD
Subtractive Training for Music Stem Insertion using Latent Diffusion Models
Stanford University(斯坦福大学);Hong Kong Polytechnic University(香港理工大学)
本文提出减法训练方法,利用扩散模型在现有乐器上下文和文本指令引导下合成缺失乐器音轨,可控制风格并扩展至MIDI格式。
2025-01-19 cs.LG cs.SD eess.AS
Detection of AI-generated stems within hybrid human-AI music
本文提出首个混合人机音乐中AI生成音轨的检测研究,提出并行架构结合源分离与音轨专用分类器,在MUSDB18-HQ数据库上取得了令人鼓舞的检测效果。
2026-07-30 cs.SD
The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling
Université de Montréal(蒙特利尔大学);Mila(米拉研究所);University of Washington(华盛顿大学);Google Research(谷歌研究院)
数据是现代机器学习系统的生命线,包括音乐信息检索(MIR)系统。然而,MIR长期以来一直被小数据集和不可靠的标签所困扰。在这项工作中,我们建议使用生成建模来打破这一瓶颈。通过将音符的生成模型(在巴赫合唱团上训练的Coconet)与室内合奏的结构化合成模型(在URMP上训练的MIDI-DDSP)流水线化,我们展示了一个能够产生无限数量的具有丰富注释的逼真合唱音乐的系统,所述注释包括混音、词干、连音、音符级性能属性(断奏、颤音等),甚至是细粒度的合成参数(音调、幅度等)。我们称这个系统为腔室合奏生成器(CEG),并使用它来生成一个大的数据集chorales从四个不同的腔室合奏(CocoChorales)。我们证明,使用我们的方法生成的数据改进了最先进的音乐转录和声源分离模型,我们发布的系统和数据集作为开源的基础,为未来的工作在MIR社区。
2022-09-28 cs.IR cs.LG cs.SD
Music Source Separation with Band-Split RoPE Transformer
ByteDance(字节跳动)
本文提出基于频带分割 RoPE Transformer (BS-RoFormer) 的音乐源分离频域方法,利用子带表示与分层 Transformer 建模带内外序列,在 MUSDB18HQ 上以 9.80 dB SDR 达到最先进水平并获 SDX23 第一。
2023-09-10 cs.SD eess.AS
Dance Any Beat: Blending Beats with Visuals in Dance Video Generation
University of Sydney(悉尼大学)
针对现有舞蹈生成方法缺乏特定个体舞蹈视频生成能力、依赖关键点标注的问题,提出直接从个体图像生成音乐引导舞蹈视频的新任务,设计DabFusion模型,无需关键点标注即可生成特定个体舞蹈视频,在AIST++数据集上建立了该任务的坚实基线。
2024-11-28 cs.AI cs.CV cs.MM
A Stem-Agnostic Approach to Hybrid AI Music Detection
Deezer Research(Deezer 研究院)
针对混合音乐中AI生成音轨的检测难题,提出不依赖音轨分层的框架,利用inspectrogram与维纳滤波器结合CNN模型,在高频源上表现优异,但低频贝斯检测受限,指出源分离是主要瓶颈。
2026-09-24 cs.SD eess.AS
Retrieving Individual Stems from Music Mixtures with Slot Embeddings
Princeton University(普林斯顿大学);The Ohio State University(俄亥俄州立大学);Symbal AI
提出Stembed,利用槽嵌入将音乐混合编码为多个候选音轨表示,通过对比学习匹配独立音轨,在无族标签下超越CIR基线,实现更灵活的乐器检索。
2026-09-29 cs.SD
Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN
Institute of Computational Perception (CP-JKU) Johannes Kepler University Linz, Austria(计算感知研究所(CP-JKU)约翰· Kepler大学林茨,奥地利)
本文提出多阶段音乐源修复方法,结合BandSplit-RoFormer分离与HiFi++ GAN修复,实现高质量音乐声部恢复。
2026-03-04 cs.LG cs.SD eess.AS
DARC: Drum accompaniment generation with fine-grained rhythm control
DARC是一种能够结合音乐上下文和显式节奏提示生成鼓伴奏的模型,通过参数高效微调提升节奏控制精度。
2026-01-05 cs.AI cs.SD eess.AS
UniMoE-Audio: Unified Speech and Music Generation with Dynamic-Capacity MoE
Department of Computer Science and Technology, Harbin Institute of Technology(计算机科学与技术系,哈尔滨工业大学);Shenzhen Loop Area Institute(深圳河套学院)
提出UniMoE-Audio,采用动态容量MoE框架和混合专家设计及三阶段训练,统一语音与音乐生成,在基准上达到最先进性能并缓解联合训练退化。
2025-10-15 cs.CL cs.SD
STEMMA: Song-to-Stem Multi-Audio Reasoning for Large Audio Language Models
Neutune
本研究提出STEMMA多音频音乐问答框架,构建STEMMA-Bench与STEMMA-Instruct数据集,微调大型音频语言模型可提升多音频推理能力,同时保留单音频音乐理解能力。
2026-10-09 cs.SD eess.AS
STAGE: Stemmed Accompaniment Generation through Prefix-Based Conditioning
Sapienza University of Rome(罗马大学)
STAGE在MusicGen基础上引入前缀条件化和上下文标记,以给定混音为条件生成单轨伴奏,实现更强一致性、更高音质及节奏对齐,无需额外速度模块即可支持速度受限生成。
2025-04-09 cs.SD eess.AS
COCOLA: Coherence-Oriented Contrastive Learning of Musical Audio Representations
Sapienza University of Rome(罗马智慧大学);Sony Europe B.V.(索尼欧洲有限公司)
本文提出 COCOLA 对比学习方法,利用分轨及 HPS 特征建模音乐片段间的和声与节奏连贯性,为音乐伴奏生成模型提供客观评估基准,并公开多数据集训练检查点。
2025-01-09 cs.LG cs.SD eess.AS
Modeling the Compatibility of Stem Tracks to Generate Music Mashups
ByteDance(字节跳动);Queen Mary University of London(伦敦玛丽女王大学)
音乐混搭将两首或多首歌曲中的音频元素组合在一起,以创建一个新的作品。为了减少制作它们所需的时间和精力,研究人员开发了预测音频元素兼容性的算法。以前的工作集中在混合未更改的摘录,但声源分离的进步使得能够从孤立的词干创建mashup(例如,人声、鼓、低音等)。在这项工作中,我们不仅利用分离的词干来创建mashup,而且还利用自监督和半监督方法来训练一个模型,该模型预测摘录组的相互兼容性。具体地说,我们首先生成一个随机mashup创建管道,它将通过声源分离获得的干音轨与自动调整匹配的音调和速度相结合,因为这些是高质量mashup的先决条件。为了训练预测兼容性的模型,我们使用从同一首歌曲获得的干音轨作为正例,并且使用具有未调整的基调和/或节奏的干的随机组合作为负例。为了改进模型并使用更多数据,我们还对“平均”示例进行训练:具有匹配键和节奏的随机组合,其中我们将它们视为未标记的数据,因为它们的真实兼容性是未知的。为了确定组合信号还是干信号集合更能指示结果的质量,我们在两个模型架构上进行实验,并使用半监督学习技术对它们进行训练。最后,我们进行客观和主观的评价系统,比较他们的标准规则为基础的系统。
2021-03-26 cs.AI cs.SD eess.AS
DTT-BSR+: A Generative-Regression Cascade for Music Source Restoration
School of Electronic Information, Wuhan University, China(武汉大学电子信息学院);Signal Processing Research Center, Tampere University, Tampere, Finland(塔尔库大学信号处理研究中心)
提出DTT-BSR+两阶段级联系统,将分布拟合与信号重建解耦,通过生成式分离器和改进的Demucs网络,在多个音轨上超越现有最佳方法。
2026-06-24 cs.AI cs.SD eess.AS
Restore, Separate, Restore: A Modular Framework for Music Source Restoration
Institute of Computational Perception, Johannes Kepler University Linz(林茨约翰·开普勒大学计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室)
提出一个三阶段模块化框架,通过先恢复混合、再分离八个分轨、最后针对残余伪影微调恢复专家,解决音乐源恢复中反转非线性制作效果和传输退化的问题,并在 MSR 挑战测试集上逐步提升恢复质量。
2026-10-07 cs.SD
JazzSAMBA: A Synchronous and Asynchronous Multi-take Band Audio Dataset of Jazz Standards for Live Music Models
University of California, San Diego(加利福尼亚大学圣迭戈分校);Massachusetts Institute of Technology(麻省理工学院)
针对爵士乐缺乏高质量多轨数据集的问题,提出JazzSAMBA,首个含同步与异步录音的爵士标准曲多轨数据集,支持伴奏生成、源分离等任务。
2026-09-29 cs.AI cs.LG cs.MM
Bass Accompaniment Generation via Latent Diffusion
Sony Computer Science Laboratories(索尼计算机科学实验室);Queen Mary University(伦敦玛丽女王大学)
本文提出一种基于潜在扩散模型的可控贝斯伴奏生成系统,利用音频自编码器和条件扩散模型,根据输入混音生成指定音色的贝斯分轨,并通过改进引导技术提升音频质量。
2024-02-02 cs.LG cs.SD eess.AS
User-guided Generative Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出GuideSep,一种基于扩散模型的用户引导音源分离方法,通过波形模仿和梅尔频谱掩码实现灵活的多乐器分离,超越传统四音轨限制,并验证了生成式方法的优越性。
2025-07-02 cs.AI cs.SD eess.AS
MSRBench: A Benchmarking Dataset for Music Source Restoration
Independent Researcher(独立研究者);John Hopkins University(约翰·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);Sony AI(索尼人工智能);King's College London(伦敦国王学院)
提出首个专为音乐源恢复评估设计的MSRBench基准,包含八类乐器的原始-处理混合对及十二种真实退化,基线实验表明现有模型恢复保真度有待提升。
2025-10-13 cs.SD
Song Aesthetics Evaluation with Multi-Stem Attention and Hierarchical Uncertainty Modeling
School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an, China(计算机科学与技术学院,西安交通大学,西安,中国);Central Media Technology Institute, Huawei(中央媒体技术研究院,华为)
针对音乐生成人工智能带来的歌曲美学评估需求,提出含多茎注意力融合与分层粒度感知区间聚合模块的评估框架,在两个数据集上评估并与两个SOTA模型比较,该方法在多维歌曲美学评估中性能更强。
2026-07-20 cs.MM cs.SD eess.AS