Music Source Separation via Stem Discovery
Aalto University(阿尔托大学)
本文提出MuS3D,一种基于音频查询的迭代式音乐源分离框架,通过自动发现混合中的活动源,匹配手动查询基线并超越文本模型,证明音频查询是有效且可自动化的分离接口。
2026-09-28 cs.SD eess.AS
YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation
Queen Mary(伦敦玛丽女王大学);AI Industrial Convergence Cluster(人工智能产业融合集群)
本文提出YourMT3+多乐器音乐转录模型,通过分层注意力Transformer、专家混合编码器及跨数据集声部增强方法,在不完整标注下实现直接声乐转录,并在多个公共数据集上取得优于或媲美现有模型的性能。
2024-08-01 cs.LG cs.SD eess.AS
Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室(巴黎));Sony AI(索尼人工智能)
本文提出基于联合嵌入预测架构的新方法,通过条件化预测器实现零样本音乐分轨检索,并在MUSDB18和MoisesDB数据集上显著优于基线,同时验证了嵌入保留时间结构。
2025-02-24 cs.AI cs.SD eess.AS
An Ensemble Approach to Music Source Separation: A Comparative Analysis of Conventional and Hierarchical Stem Separation
PES University(PES大学)
本文提出融合多种最先进架构的音乐源分离集成方法,利用SNR与SDR调和均值选择音轨,在VDB上取得稳定高性能,并探索子音轨层级分离。
2024-10-28 cs.LG cs.SD eess.AS
Exploring modality-agnostic representations for music classification
New York University(纽约大学)
音乐信息通常跨多个数据模态来传达或记录,包括但不限于音频、图像、文本和乐谱。然而,音乐信息检索的研究几乎完全集中在单一的模态识别,需要开发单独的模型,为每一个模态。一些多模态工程需要多个共存的模态作为输入提供给模型,限制了这些模型的使用,只有在所有模态的数据都可用的少数情况下。据我们所知,没有现有的模型能够从不同的模态(例如图像或声音)中获取输入,并将其分类为统一的音乐类别。我们探索使用跨模态检索作为借口任务来学习模态不可知表示,然后可以将其用作独立于模态的分类器的输入。我们选择乐器分类作为我们研究的一个例子,因为视觉和听觉成分都提供了相关的语义信息。我们训练可以将图像或声音作为输入的乐器分类器,并对仅声音分类器或仅图像分类器执行分类。此外,我们探讨的情况下,当有有限的标记数据为一个给定的方式,和性能的影响,通过使用标记数据从其他方式。我们能够在zero-shot设置中实现几乎70%的最佳性能系统。我们提供了一个详细的分析实验结果,以了解该方法的潜力和局限性,并讨论未来的步骤,模态不可知分类。
2021-06-02 cs.IR cs.SD eess.AS
Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity
MERL(三菱电机研究实验室)
近年来,随着基于深度学习的方法的出现,音乐声源分离性能得到了极大的改善。这样的方法通常需要大量的标记的训练数据,在音乐的情况下,这些训练数据由混合物和相应的乐器干组成。然而,大多数商业音乐都无法获得茎,到目前为止,只有有限的数据集向公众发布。因此,当比较各种声源分离方法时,很难得出结论,因为性能上的差异可能源于更好的数据增强技术或训练技巧,以缓解训练数据的有限可用性,以及内在更好的模型架构和目标函数。在本文中,我们提出了合成的Lakh数据集(Slakh)作为一个新的工具,音乐声源分离的研究。Slakh由高质量的仪器混合物渲染和使用专业级基于样本的虚拟仪器从Lakh数据集(LMD)生成的相应茎组成。第一个版本,Slakh 2100,专注于2100首歌曲,导致145小时的混合。虽然由于其纯粹是工具性的,因此不完全具有可比性,但该数据集包含的数据比MUSDB 18多一个数量级,MUSDB 18是该领域的{ \it de facto}标准数据集。我们表明,Slakh可用于有效地增强现有的乐器分离数据集,同时为各种数据密集型音乐信号分析任务打开大门。
2019-09-18 cs.LG cs.SD eess.AS
Timbre-Trap: A Low-Resource Framework for Instrument-Agnostic Music Transcription
Sony(索尼)
本文提出 Timbre-Trap 低资源框架,利用音高与音色的可分离性,以单个自动编码器联合完成音高显著性估计、频谱重建和转录,仅用少量标注数据即达到乐器无关转录的先进水平。
2024-01-24 cs.LG cs.SD eess.AS
MAJL: A Model-Agnostic Joint Learning Framework for Music Source Separation and Pitch Estimation
School of Information(信息学院);Renmin University of China(中国人民大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);School of Computer Science and Technology(计算机科学与技术学院);Huazhong University of Science and Technology(华中科技大学)
提出模型无关联合学习框架MAJL,通过两阶段训练与DWHS动态加权缓解标注数据不足及联合优化难题,在音乐源分离和音高估计上均显著超越现有方法。
2025-01-07 cs.AI cs.SD eess.AS
Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration
School of Future Technology, South China University of Technology, Guangzhou, China.(未来技术学院,华南理工大学,广州,中国)
本文提出Polyphonia框架,通过声学感知注意力校准实现多声部音乐中精确的零样本音色迁移,提升目标音色对齐精度的同时保持音乐保真度和非目标音色完整性。
2026-05-11 cs.SD eess.AS
Harmonica: Accurate and Lightweight Instrument-Agnostic Music Transcription
BandLab Technologies(BandLab科技公司)
本文提出基于多深度谐波卷积的乐器无关音乐转录模型Harmonica,不同规模变体在准确率或推理效率上表现优异,纳米变体帧F1值优于Basic Pitch,多深度谐波卷积可有效提升转录性能。
2026-09-07 cs.SD
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院)
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题,研究者结合频谱图掩码、深度神经网络与MuseScore API,构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Towards Musically Meaningful Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所);LIT Artificial Intelligence Lab, Johannes Kepler University(约翰内斯·开普勒大学LIT人工智能实验室);Northwestern University(西北大学)
深度神经网络(DNN)已成功应用于各种音乐信息检索(MIR)任务。这些模型通常被认为是“黑箱”,这意味着它们的预测是不可解释的。MIR中可解释模型的先前工作通常使用图像处理工具来产生DNN预测的解释,但这些解释不一定具有音乐意义,也不一定可以收听(可以说,这在音乐中很重要)。我们提出了audioLIME,一种基于本地可解释模型不可知解释(LIME)的方法,扩展了音乐定义的地方。LIME学习我们想要解释的例子的扰动的局部线性模型。我们建议使用声源分离,而不是使用图像分割作为LIME流水线的一部分来提取谱图的分量。扰动是通过开关源产生的,这使得我们的解释是合理的。我们首先在一个分类器上验证audioLIME,该分类器经过故意训练,将真实目标与虚假信号混淆,并表明使用我们的方法可以很容易地检测到。然后,我们表明,它通过了一个健全的检查,许多可用的解释方法失败。最后,我们证明了我们的(模型不可知)方法对第三方音乐标签的一般适用性。
2020-09-04 cs.IR cs.LG cs.SD
A Conditioned UNet for Music Source Separation
Centre For Digital Music, Queen Mary University of London(数字音乐中心,伦敦女王玛丽大学);AudioStrip Ltd. London(AudioStrip公司,伦敦)
本文提出QSCNet,一种用于音乐源分离的条件UNet,通过整合稀疏压缩网络中的网络条件元素,在多个任务上优于Banquet,同时参数更少。
2025-12-17 cs.AI cs.LG cs.SD
Moisesdb: A dataset for source separation beyond 4-stems
Moises Systems Inc.(Moises系统公司)
本文提出MoisesDB音乐音源分离数据集,含240首曲目及两层级stems分类,并提供Python库与多粒度基线结果,推动超越4-stems的细粒度音源分离研究。
2023-07-29 cs.AI cs.SD eess.AS
MAGE: Modality-Agnostic Music Generation and Target-Source Extraction
Google(谷歌);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
MAGE提出了一种模态无关框架,统一了多模态音乐生成与混合编辑,通过可控多模态FluxFormer和音频视觉 nexus 对齐机制,实现灵活且高效的音乐生成与编辑。
2026-07-01 cs.SD
PHALAR: Phasors for Learned Musical Audio Representations
Department of Computer Science, Sapienza University of Rome, Italy(罗马大学计算机科学系);Moises Systems, Inc.(Moises系统公司);Paradigma, Inc.(Paradigma公司)
提出PHALAR对比框架,利用学习谱池化和复值头实现音高和相位等变,在茎检索任务中参数减少50%、训练加速7倍,准确率相对提升约70%,并捕获鲁棒的音乐结构。
2026-05-26 cs.AI cs.LG cs.SD
Multi-Genre Music Transformer -- Composing Full Length Musical Piece
Purdue University(普渡大学)
在生成音乐的任务中,艺术因素起着很大的作用,对AI来说是一个巨大的挑战。以前的工作涉及对抗性训练,以产生新的音乐作品,并对音乐中的各种兼容性(节拍,节奏,音乐干)进行建模,展示了学习这项任务的很好的例子。尽管这仅限于生成mashup或从节奏和键分布中学习特征以生成类似的模式。复合词Transformer能够将音乐生成任务表示为涉及由复合词定义的音乐事件的序列生成挑战。这些音乐事件对音符的进展、和弦的变化、和声和艺术因素给予了更准确的描述。该项目的目标是实现一个多流派的Transformer,它通过更适应的学习过程来学习制作音乐作品,包括更具有挑战性的任务,其中还考虑了作曲的流派或形式。我们建立了一个多体裁的复合词数据集,实现了一个线性Transformer,它是在这个数据集上训练的。我们称之为多流派Transformer,它能够产生全长新的音乐作品,这是多样化的,可与原始轨道。该模型的训练速度比其他模型快2-5倍。
2023-01-06 cs.LG cs.SD eess.AS
Music Source Restoration with Ensemble Separation and Targeted Reconstruction
本文提出双阶段系统,通过预训练分离模型和基于BSRNN的修复模型,实现音乐源修复,优于基线方法,排名第二。
2026-03-13 cs.AI cs.SD eess.AS
Music Source Restoration
The Chinese University of Hong Kong(香港中文大学);University of Surrey(萨里大学)
提出音乐源恢复(MSR)任务以弥补现有音乐源分离忽略制作退化的不足,构建含分层类别的RawStems数据集,并以U-Former为基线验证了该任务的可行性。
2025-05-27 cs.AI cs.LG cs.SD
A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation
Spotify;IRCAM
自动音乐转录(AMT)已被公认为具有广泛应用的关键使能技术。考虑到任务的复杂性,通常针对专注于特定设置的系统报告最佳结果,例如,仪器专用系统倾向于产生优于仪器不可知方法的改进结果。类似地,当仅估计逐帧$f_0$值并且忽略更难的音符事件检测时,可以获得更高的准确度。尽管它们的准确性很高,但这种专门的系统通常无法在现实世界中部署。存储和网络限制禁止使用多个专用模型,而内存和运行时限制限制其复杂性。在本文中,我们提出了一个轻量级的神经网络的乐器转录,它支持复调输出和推广到各种各样的乐器(包括人声)。我们的模型经过训练,可以联合预测帧级开始、多音调和音符激活,我们的实验表明,这种多输出结构提高了帧级音符的准确性。尽管它的简单性,基准测试结果表明,我们的系统的注意估计是大大优于可比的基线,其帧级精度仅略低于那些专门的国家的最先进的AMT系统。通过这项工作,我们希望鼓励社区进一步研究低资源,仪器不可知的AMT系统。
2022-05-12 cs.LG cs.SD eess.AS
Score-Agnostic Structure Analysis in Large-Scale Performance Datasets
Institute of Computational Perception, Johannes Kepler University(计算感知研究所,约瑟夫·凯泽大学);LIT AI Lab, Linz Institute of Technology(林茨技术学院LIT人工智能实验室)
针对大规模自动转录钢琴演奏数据集中结构不一致的问题,提出基于序列比对和层次聚类的无乐谱分组方法,以音乐连贯性替代真实准确性作为评估标准。
2026-05-25 cs.SD
Do Music Source Separation Models Preserve Spatial Information in Binaural Audio?
本文评估了现有音乐源分离模型在双耳音频上保留空间信息的能力,发现立体声模型无法有效保留沉浸式空间信息,且退化程度受模型架构和目标乐器影响,并指出了未来研究方向。
2025-06-30 cs.SD eess.AS eess.SP
audioLIME: Listenable Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所);Interactive Audio Lab, Northwestern University(西北大学交互音频实验室);LIT Artificial Intelligence Lab, Johannes Kepler University(约翰内斯·开普勒大学LIT人工智能实验室)
深度神经网络(DNN)已成功应用于各种音乐信息检索(MIR)任务,但它们的预测通常不可解释。我们提出了audioLIME,一种基于本地可解释模型不可知的解释(LIME)扩展的音乐定义的地方的方法。LIME中使用的扰动是通过切换由声源分离提取的开/关分量来创建的,这使得我们的解释是可解释的。我们验证audioLIME两个不同的音乐标记系统,并表明它产生合理的解释的情况下,竞争的方法不能。
2020-09-07 cs.IR cs.LG cs.SD
A variational autoencoder for music generation controlled by tonal tension
University of Sussex(萨塞克斯大学);Singapore University of Technology and Design(新加坡科技设计大学)
许多基于神经网络的音乐生成系统是完全自主的,并且不提供对生成过程的控制。在本研究中,我们提出了一个可控的音乐生成系统的音调张力。我们将基于螺旋阵列张力理论的两个音调张力测量纳入变分自编码器模型。这使我们能够控制整个生成作品的音调张力方向,以及音调张力的整体水平。给定源自用户输入或源自从潜在空间直接采样的种子音乐片段,模型可以生成具有改变的音调张力的该原始种子片段的变体。这种改变的音乐在节奏上仍然类似于种子音乐,但是音符的音高被改变以匹配由用户调节的期望音调张力。
2020-10-14 cs.SC cs.SD eess.AS
ComposerX: Multi-Agent Symbolic Music Composition with LLMs
University of Rochester(罗切斯特大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Hong Kong University of Science and Technology(香港科技大学);University of Surrey(萨里大学);The University of Manchester(曼彻斯特大学);Queen Mary University of London(伦敦玛丽女王大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出多智能体符号音乐生成框架ComposerX,利用大语言模型的推理能力与音乐知识库,显著提升GPT-4的作曲质量,可生成旋律动人且符合用户指令的连贯复调音乐。
2024-04-30 cs.AI cs.CL cs.LG
SoundSignature: What Type of Music Do You Like?
New York University(纽约大学)
SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
2024-10-04 cs.AI cs.IR cs.SD
Sori: Streamable and Controllable Model for Non-musical Audio to Symbolic Music Transformation
Seoul National University(首尔大学)
本研究提出NASMT任务,构建Sori模型,结合DAT与带γ的CFG实现非音乐音频到符号化音乐的可控转换,支持实时流式处理且性能优于相关模型。
2026-10-14 cs.SD
An Information-theoretic Approach to Machine-oriented Music Summarization
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);INESC-ID Lisboa(里斯本INESC-ID研究所);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院)
音乐摘要允许更高的处理、存储和数据集共享效率。面向机器的方法,对人类消费不可知,进一步优化了这些方面。这种摘要已在一些和平、恢复和重建任务中得到成功验证。现在,我们概括了以前的结论,从概率的角度来评估音乐的通用摘要的影响。我们估计高斯分布的原始和总结的歌曲,并计算它们的相对熵,以衡量信息损失的摘要。我们的研究结果表明,相对熵是一个很好的预测摘要性能的任务依赖于袋的功能模型的上下文中。基于这一观察,我们进一步提出了一个简单而富有表现力的摘要器,它最大限度地减少了相对于原始歌曲的相对熵,客观上优于以前的方法,更适合于避免潜在的版权问题。
2018-09-21 cs.IR cs.LG cs.SD
Music-Source-Separation-Training (MSST): A Unified Framework for Training and Evaluating Music Demixing Models
National Research University Higher School of Economics (HSE University)(俄罗斯国立研究型高等经济大学);AlphaChip LLC.(阿尔法芯片有限责任公司)
本文针对音乐源分离任务提出MSST框架,统一训练、验证和推理,支持多种模型架构、数据处理方式、损失函数及评估指标,还有提升分离质量的实用技术,通过整合组件降低实验门槛,实现快速迭代。
2026-07-28 cs.LG cs.SD eess.AS
Exploiting Music Source Separation for Automatic Lyrics Transcription with Whisper
School of Electronic Engineering and Computer Science, Queen Mary University of London(电子工程与计算机科学学院,伦敦女王大学)
本研究利用音乐源分离提升基于Whisper的自动歌词转录,提出拼接与片段边界算法,在Jam-ALT基准上达到开源系统最先进性能,并发布MUSDB-ALT数据集。
2025-06-18 cs.SD eess.AS
Tracing Inputs, Verifying Outputs: Validating Attribution in Music Generation
Neutune;KAIST(韩国科学技术院)
本文提出通过输入追踪与输出验证相结合的方法,为AI音乐生成提供可验证的归因证据,并利用MixAudio和musicDNA模型验证了该方法在归因与记忆化检测上的有效性。
2026-10-08 cs.LG cs.SD eess.AS
KUIELab-MDX-Net: A Two-Stream Neural Network for Music Demixing
Korea University(高丽大学);Queen Mary University of London(伦敦玛丽女王大学);Korea National Open University(韩国国立开放大学);Seokyeong University(西京大学)
最近,已经提出了许多基于深度学习的音乐源分离方法。一些最先进的方法已经表明,堆叠具有许多跳过连接的许多层可以提高SDR性能。虽然如此深入和复杂的体系结构显示出出色的性能,但它通常需要大量的计算资源和时间进行培训和评估。本文提出了一种用于音乐混音的双流神经网络,称为KUIELab-MDX-Net,它在性能和所需资源之间取得了良好的平衡。所提出的模型有一个时频分支和一个时域分支,其中每个分支分别分离主干。它混合两个流的结果以生成最终估计。KUIELab-MDX-Net在ISMIR 2021的Music Demixing Challenge中获得排行榜A第二名和排行榜B第三名。本文还总结了在另一个基准测试程序MUSDB 18上的实验结果。我们的源代码可以在线获得。
2021-11-24 cs.SD eess.AS
Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
本文提出Moises-Light,一种资源高效的频带分割U-Net轻量级音乐源分离模型,通过精心设计在MUSDB-HQ上以少13倍参数达到可比SDR,并展现良好可扩展性。
2025-10-08 cs.SD eess.AS
Automatic Curation of Large-Scale, High-Quality, Multi-Category Music Source Separation Dataset
Xiaomi Inc.(小米公司);Central Conservatory of Music(中央音乐学院)
本文提出ACMI数据集,通过网络爬取结合自动清洗生成含7类声部的大规模高质量音乐源分离数据集,实验表明其可提升MSS模型的SDR性能。
2026-08-25 cs.SD eess.AS
Beyond SDR: How Music Source Separation Reshapes Rhythm-Relevant Signal Properties
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
该研究量化四类音乐源分离模型对节奏关键信号特性的影响,发现SDR无法反映起音外的节奏特性,模型选择和输入长度会影响节奏相关信号,需在节奏研究中明确报告这些变量。
2026-09-07 cs.SD eess.AS
Spacing Out: On the Reliability of Binaural Music Source Separation Metrics
New York University(纽约大学)
研究探讨双耳音乐源分离,通过感知研究评估客观空间失真指标与人类感知的关联,发现现有指标评估双耳音乐任务缺乏可靠性,ITD估计敏感,两种替代方法有稳健性和准确性的权衡,强调需设计新指标。
2026-07-29 cs.SD eess.AS eess.SP
RPPNet: Perceptually-Grouped Rhythm-Pitch Primitives for Long-Term Structure Melody Generation via Boundary-Aware Modeling
本文针对现有符号音乐生成模型的问题,提出RPPNet架构,通过生成可变长度的RPP序列并解码,其分组基于音乐心理学自动得出。实验显示该模型生成的旋律在长期结构和音乐性上更优,消融研究表明性能提升源于心理表征结构正确,为音乐生成提供跨学科视角。
2026-07-23 cs.AI cs.SD
The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Universidad de Jaén(耶鲁大学);Odratek BV(Odratek公司);Tampere University(塔尔库大学)
Spheres数据集包含交响乐录音,用于推动音乐源分离和相关MIR任务的研究,包含经典音乐领域的作品及乐器独奏片段,提供隔离音轨和房间脉冲响应,用于评估源分离模型性能。
2026-05-14 cs.LG cs.SD eess.AS
MGE-LDM: Joint Latent Diffusion for Simultaneous Music Generation and Source Extraction
Music and Audio Research Group (MARG)(音乐与音频研究组);Interdisciplinary Program in Artificial Intelligence (IPAI)(人工智能跨学科项目);AIIS(人工智能研究所);Department of Intelligence and Information(智能与信息系)
提出统一潜空间扩散框架 MGE-LDM,将声源分离与填补建模为条件修复,支持音乐生成、补全及文本驱动的任意声源提取。
2025-10-17 cs.LG cs.SD eess.AS
Improving Music Source Separation with Diffusion and Consistency Refinement
本文提出一种基于扩散模型的音乐源分离方法,通过迭代去噪增强分离效果,采用一致性蒸馏加速推理,提升性能并保持质量,适用于多种架构。
2026-04-26 cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)(格拉茨音乐与表演艺术大学,电子音乐与声学研究所)
本文提出基于MERT嵌入的侵入性评估指标,用于改进音乐源分离的评估方法,实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
Music Source Separation in the Waveform Domain
Facebook AI Research(Facebook AI研究院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
音乐的声源分离是将来自不同乐器的贡献或茎分离出来的任务,这些乐器单独录制并安排在一起形成一首歌曲。类似于许多音频合成任务,其中最好的性能是通过直接生成波形的模型来实现的,用于音乐的声源分离的最新技术是计算幅度谱上的掩码。在本文中,我们比较了两种波形域架构。我们首先适应Conv-Tasnet,最初开发的语音声源分离,音乐声源分离的任务。虽然Conv-Tasnet击败了许多现有的频谱域方法,但它遭受了显着的伪影,如人类评估所示。我们提出了一种新的波形到波形模型Demucs,它具有U-Net结构和双向LSTM。在MusDB数据集上的实验表明,通过适当的数据增强,Demucs击败了现有的最先进的架构,包括Conv-Tasnet,平均6.3 SDR,(并且高达6.8,具有150首额外的训练歌曲,甚至超过了低音源的Brachiracle)。使用模型量化的最新发展,Demucs可以被压缩到120 MB而不会损失任何准确性。我们还提供了人类的评估,表明Demucs受益于音频自然度的大幅度提升。然而,它遭受了一些出血,特别是在人声和其他来源之间。
2021-04-28 cs.LG cs.SD eess.AS
The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling
Université de Montréal(蒙特利尔大学);Mila(米拉研究所);University of Washington(华盛顿大学);Google Research(谷歌研究院)
数据是现代机器学习系统的生命线,包括音乐信息检索(MIR)系统。然而,MIR长期以来一直被小数据集和不可靠的标签所困扰。在这项工作中,我们建议使用生成建模来打破这一瓶颈。通过将音符的生成模型(在巴赫合唱团上训练的Coconet)与室内合奏的结构化合成模型(在URMP上训练的MIDI-DDSP)流水线化,我们展示了一个能够产生无限数量的具有丰富注释的逼真合唱音乐的系统,所述注释包括混音、词干、连音、音符级性能属性(断奏、颤音等),甚至是细粒度的合成参数(音调、幅度等)。我们称这个系统为腔室合奏生成器(CEG),并使用它来生成一个大的数据集chorales从四个不同的腔室合奏(CocoChorales)。我们证明,使用我们的方法生成的数据改进了最先进的音乐转录和声源分离模型,我们发布的系统和数据集作为开源的基础,为未来的工作在MIR社区。
2022-09-28 cs.IR cs.LG cs.SD
SpaIn-Net: Spatially-Informed Stereophonic Music Source Separation
Indiana University(印第安纳大学)
随着最近使用深度神经网络的数据驱动方法的进步,音乐源分离已被制定为特定于乐器的监督问题。虽然现有的深度学习模型隐含地吸收了多通道输入信号所传达的空间信息,但我们认为,更明确和积极地使用空间信息不仅可以改善分离过程,还可以为许多基于用户交互的工具提供入口点。为此,我们介绍了一种控制方法的基础上的立体声感兴趣的源的位置,表示为摇摄角。我们提出了各种条件反射机制,包括使用原始角度及其衍生的功能表示,并表明空间信息的帮助。我们提出的方法提高了分离性能相比,位置不可知的架构由1.8 dB SI-SDR在我们的Slakh为基础的模拟实验。此外,所提出的方法允许解开同类乐器,例如,在包含两个吉他音轨的混合物。最后,我们还证明了我们的方法是强大的不正确的源平移信息,这可能会导致我们提出的用户交互。
2022-02-15 cs.SD eess.AS
Video-Guided Text-to-Music Generation Using Public Domain Movie Collections
为解决音乐生成系统难以捕捉真实电影制作细微差别的问题,研究引入了公有领域电影数据集 OSSL,并提出一种视频适配器,通过添加视频条件增强自回归 transformer 文本到音乐模型,有效提升了 MusicGen-Medium 的生成保真度与主观兼容性。
2025-06-27 cs.MM cs.SD eess.AS
Music Demixing Challenge 2021
Sony Group Corporation(索尼集团公司);Sony Europe B.V.(索尼欧洲公司);Facebook AI Research Paris(巴黎Facebook人工智能研究院);Korea University(高丽大学);Singapore University of Technology and Design(新加坡科技设计大学)
音乐源分离在过去十年中得到了广泛的研究,随着深度学习的出现,可以观察到巨大的进步。MIREX或SiSEC等评估活动将最先进的模型和相应的论文联系起来,这可以帮助研究人员将最佳实践整合到他们的模型中。近年来,MUSDB18数据集在音乐源分离的性能评估中发挥了重要作用。虽然该数据集对该领域的进步做出了相当大的贡献,但它也受到了一些偏见的影响,这些偏见来自于对西方流行音乐的关注以及参与其中的混音工程师数量有限。为了解决这些问题,我们在一个基于人群的机器学习竞赛平台上设计了音乐分音(MDX)挑战赛,任务是将立体声歌曲分成四个乐器干(人声、鼓、低音和其他)。与过去的挑战相比,主要区别在于:1)比赛旨在更容易让其他学科的机器学习从业者参与,2)评估是在由专门致力于挑战的音乐专业人士创建的隐藏测试集上进行的,以确保挑战的透明度,即,除了挑战组织者之外,任何人都不能访问测试集,以及3)数据集提供了更广泛的音乐流派,并且涉及更多数量的混音工程师。在本文中,我们提供了数据集,基线,评估指标,评估结果和未来竞争的技术挑战的细节。
2022-05-23 cs.SD eess.AS
Enhanced Automatic Drum Transcription via Drum Stem Source Separation
本文结合 ADTOF 与多类鼓组 stem 分离模型,通过后处理把转录类别从 5 类扩展到 7 类并估计 MIDI 力度,从而生成更真实的鼓组 MIDI。
2025-09-29 cs.SD eess.AS
Mel-Band RoFormer for Music Source Separation
ByteDance(字节跳动)
针对现有BS-RoFormer音乐源分离模型的经验式无重叠波段划分缺乏理论支撑的问题,提出基于梅尔标度的重叠式梅尔波段划分的Mel-RoFormer模型,在MUSDB18HQ数据集上多音轨分离性能优于原有模型。
2023-10-03 cs.SD eess.AS
Subtractive Training for Music Stem Insertion using Latent Diffusion Models
Stanford University(斯坦福大学);Hong Kong Polytechnic University(香港理工大学)
本文提出减法训练方法,利用扩散模型在现有乐器上下文和文本指令引导下合成缺失乐器音轨,可控制风格并扩展至MIDI格式。
2025-01-19 cs.LG cs.SD eess.AS
RIME: Enabling Large-Scale Agentic Music Post-Production
Dartmouth College(达特茅斯学院)
研究针对音乐后期制作问题,引入RIME框架,利用POEMS工具包生成配对数据,评估多模态语言模型,展示其通过监督微调提升智能体性能,是迈向迭代音乐智能体、变革音乐制作的早期步骤。
2026-10-02 cs.SD
Music Source Separation with Band-Split RoPE Transformer
ByteDance(字节跳动)
本文提出基于频带分割 RoPE Transformer (BS-RoFormer) 的音乐源分离频域方法,利用子带表示与分层 Transformer 建模带内外序列,在 MUSDB18HQ 上以 9.80 dB SDR 达到最先进水平并获 SDX23 第一。
2023-09-10 cs.SD eess.AS
Stem-JEPA: A Joint-Embedding Predictive Architecture for Musical Stem Compatibility Estimation
Télécom-Paris, Institut Polytechnique de Paris(巴黎高等电信学院,巴黎理工学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室巴黎分部);Sony AI(索尼人工智能)
本文提出Stem-JEPA,一种基于联合嵌入预测架构的自监督模型,通过编码器-预测器联合训练学习音乐分轨兼容性,可用于分轨检索、对齐与生成,并在MUSDB18及下游任务中验证其有效性。
2024-08-05 cs.LG cs.SD eess.AS
BeatDance: A Beat-Based Model-Agnostic Contrastive Learning Framework for Music-Dance Retrieval
Renmin University of China(中国人民大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Tsinghua University(清华大学);Psyche AI Inc(Psyche人工智能公司)
BeatDance提出基于节拍的模型无关对比学习框架,利用节拍对齐提升舞蹈-音乐检索性能,并构建超万对MD数据集,实验达最先进水平。
2023-10-16 cs.IR cs.SD eess.AS
A Stem-Agnostic Approach to Hybrid AI Music Detection
Deezer Research(Deezer 研究院)
针对混合音乐中AI生成音轨的检测难题,提出不依赖音轨分层的框架,利用inspectrogram与维纳滤波器结合CNN模型,在高频源上表现优异,但低频贝斯检测受限,指出源分离是主要瓶颈。
2026-09-24 cs.SD eess.AS