A Conditioned UNet for Music Source Separation
Centre For Digital Music, Queen Mary University of London（数字音乐中心，伦敦女王玛丽大学）；AudioStrip Ltd. London（AudioStrip公司，伦敦）
本文提出QSCNet，一种用于音乐源分离的条件UNet，通过整合稀疏压缩网络中的网络条件元素，在多个任务上优于Banquet，同时参数更少。
2025-12-17 cs.AI cs.LG cs.SD
Fast Timing-Conditioned Latent Audio Diffusion
Stability AI；Belmont University（贝尔蒙特大学）
本研究提出基于潜在扩散的Stable Audio模型，通过文本提示与时序嵌入实现长时长、可变长度的44.1kHz立体声音乐与音效高效生成，推理速度快且基准测试表现优异，还可生成有结构的音乐和立体声音效。
2024-05-13 cs.LG cs.SD eess.AS
Music source separation conditioned on 3D point clouds
mdw.ac.at（维也纳音乐与表演艺术大学）
最近，通过应用深度学习技术，在音频声源分离方面取得了重大进展。目前结合音频和视觉信息的方法使用2D表示（如图像）来指导分离过程。然而，为了从真实音乐合奏的记录（重新）创建用于3D虚拟/增强现实应用的声学上正确的场景，需要关于3D环境中的每个声源的详细信息。这一需求，以及LiDAR或rgb深度相机等3D视觉采集系统的激增，刺激了可以使用3D视觉信息指导音频分离的模型的创建。本文提出了一种多模态深度学习模型，以音乐表演记录的3D点云为条件执行音乐声源分离。该模型使用3D稀疏卷积提取视觉特征，而使用密集卷积提取音频特征。融合模块组合所提取的特征以最终执行音频声源分离。它示出，所提出的模型可以区分乐器从一个单一的三维点云帧，并执行声源分离定性类似的参考情况下，手动分配的仪器标签提供。
2021-02-03 cs.CV cs.SD eess.AS
ProGress: Structured Music Generation via Graph Diffusion and Hierarchical Music Analysis
Duke University（杜克大学）
本文提出ProGress框架，结合申克分析与DiGress离散扩散模型，解决现有音乐生成模型缺乏结构连贯性和可解释性的问题，支持用户控制生成过程，并在人类实验中表现优于现有方法。
2025-10-11 cs.LG cs.SD eess.AS
Long-form music generation with latent diffusion
Stability AI
本文提出一种基于潜在扩散的长篇音乐生成模型，通过在高度下采样的连续潜在表示上训练diffusion-transformer，可从文本提示生成长达4m45s且结构连贯的完整音轨，在音频质量和提示对齐指标上达到SOTA。
2024-07-29 cs.LG cs.SD eess.AS
Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs
Georgia Institute of Technology（佐治亚理工学院）
符号音乐的深度生成模型通常被设计为对音乐中的时间依赖性进行建模，以便在给定先前事件的情况下预测下一个音乐事件。在许多情况下，这样的模型被期望从原始音乐数据中学习抽象概念，如和声、节拍和节奏，而不需要任何额外的信息。在这项研究中，我们调查的影响，明确条件反射深生成模型与音乐相关的信息。具体而言，我们研究了四种不同的条件输入的性能上的一个经常性的单声道旋律生成模型的影响。这些调节输入的几种组合用于训练不同的模型变体，然后使用跨两种音乐流派的三个客观评估范例来评估这些模型变体。结果表明，音乐相关的条件反射显着提高学习和性能，并揭示了这些信息如何影响学习的音高和节奏相关的音乐特征。一个非正式的主观评价表明，一代人的审美素质相应提高。
2019-07-10 cs.AI cs.SD eess.AS
MoodLoopGP: Generating Emotion-Conditioned Loop Tablature Music with Multi-Granular Features
Queen Mary University of London（伦敦玛丽女王大学）
本文在 LooperGP 基础上提出 MoodLoopGP，通过融合歌曲级与小节级多粒度音乐特征控制情感表达，并经算法、人工评估及消融研究验证其生成快乐与悲伤循环六线谱音乐的有效性。
2024-01-25 cs.SD eess.AS
SYMPLEX: Controllable Symbolic Music Generation using Simplex Diffusion with Vocabulary Priors
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出SYMPLEX，将概率空间上的单纯形扩散与词汇先验用于无序表示的4小节多乐器符号音乐生成，实现时间、音高填充及乐器选择等可控性，且无需任务适配或外部控制。
2024-05-21 cs.LG cs.SD eess.AS
ScripTONES: Sentiment-Conditioned Music Generation for Movie Scripts
PES Center for Pattern Recognition, Department of Computer Science and Engineering（PES模式识别中心，计算机科学与工程系）；PES University（PES大学）
本文提出ScripTONES两阶段流程，先对电影剧本场景进行效价-唤醒情感分析，再据此条件生成匹配情感的钢琴MIDI音乐，并通过用户调查验证不同生成架构的效果。
2024-01-13 cs.MM cs.SD eess.AS
Multi-Source Music Generation with Latent Diffusion
Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校）
针对现有多源扩散音乐生成模型旋律贫乏、易出空白音、噪声伪影多的问题，提出多源潜扩散模型MSLDM，通过VAE编码各乐器音源到潜空间联合训练，提升生成质量与效率，效果优于MSDM。
2025-06-17 cs.LG cs.SD eess.AS
Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion
California Institute of Technology（加州理工学院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；NVIDIA（英伟达公司）；Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究所）
针对符号音乐生成中非可微规则引导的挑战，提出仅需前向评估的免训练引导方法SCG及高时间分辨率潜在扩散架构，显著提升了音乐质量与规则可控性。
2024-09-25 cs.LG cs.SD eess.AS
Controllable Music Production with Diffusion Models and Guidance Gradients
Apple（苹果公司）
本文提出在44.1kHz立体声音频扩散模型采样时施加引导，统一支持重建与分类损失，实现音乐续写、修复、过渡和风格迁移等可控制作任务。
2023-12-05 cs.LG cs.SD eess.AS
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music（中央音乐学院音乐人工智能与信息科技系）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学与技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学智能信息处理上海重点实验室）
针对情感标注乐谱稀缺问题，提出EMelodyGen系统，通过音乐特征模板构建Rough4Q数据集，预训练模型实现高解析率与情感对齐度，验证了特征控制的有效性。
2025-05-18 cs.AI cs.IR cs.SD
Performance Conditioning for Diffusion-Based Multi-Instrument Music Synthesis
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）
本文提出演奏条件化方法，将扩散音乐生成模型条件化于特定演奏和录音环境，以增强多乐器合成的音色与风格控制，并在FAD真实感指标上达到最先进水平。
2023-09-21 cs.LG cs.SD eess.AS
DiffSynth-Music: Audio-Conditioned KV-Cache Adapters for Controllable Music Generation
Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
针对文本歌词对音乐节奏、旋律控制不足的问题，提出DiffSynth-Music框架，通过音频条件KV缓存注入支持五种控制类型，提升可控性与歌词保真度。
2026-09-14 cs.SD
Generating symbolic music using diffusion models
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出一种基于二项先验分布的扩散模型用于生成钢琴卷帘符号音乐，实现旋律配和声、补全和变奏生成，并公开代码。
2023-05-15 cs.LG cs.SD eess.AS
Generating Separated Singing Vocals Using a Diffusion Model Conditioned on Music Mixtures
本文提出基于扩散模型的音乐演唱声部分离方法，通过条件生成提升分离效果，并通过消融研究分析采样参数影响。
2025-11-26 cs.AI cs.SD
Music SketchNet: Controllable Music Generation via Factorized Representations of Pitch and Rhythm
UC San Diego（加州大学圣地亚哥分校）
与自动图像完成系统进行类比，我们提出了音乐SketchNet，一个神经网络框架，允许用户指定部分音乐的想法指导自动音乐生成。我们专注于在不完整的单声道音乐作品中生成缺失的小节，以周围背景为条件，并可选地由用户指定的音高和节奏片段指导。首先，我们介绍了SketchVAE，一种新的变分自编码器，明确因式分解节奏和音高轮廓，形成我们提出的模型的基础。然后，我们介绍了两个有区别的架构，SketchInpainter和SketchConnector，结合执行指导音乐完成，填充表示为周围的上下文和用户指定的片段的条件下缺失的措施。我们评估SketchNet的爱尔兰民间音乐的标准数据集，并与最近的作品模型进行比较。当用于音乐完成时，我们的方法在客观指标和主观听力测试方面都优于最先进的方法。最后，我们证明了我们的模型可以成功地将用户指定的片段在生成过程中。
2020-08-04 cs.LG cs.MM cs.SD
Polyffusion: A Diffusion Model for Polyphonic Score Generation with Internal and External Controls
NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；NUS（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
本研究提出多声部乐谱生成扩散模型Polyffusion，通过内部填充与外部交叉注意力控制统一多种音乐创作任务，性能优于现有基线，预训练解耦表示可提升控制效果。
2023-07-19 cs.LG cs.SD eess.AS
Progressive distillation diffusion for raw music generation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对波形域音乐生成扩散模型研究较少的问题，本文实现了带1D U-Net的渐进蒸馏扩散无条件音乐生成模型，验证了其渐进式音频处理生成的优势，并在自收集数据集上完成参数对比实验。
2023-07-20 cs.LG cs.SD eess.AS
Naturalistic Music Decoding from EEG Data via Latent Diffusion Models
Sony CSL（索尼计算机科学实验室）；Tokyo Institute of Technology（东京工业大学）；Sapienza University of Rome（罗马第一大学）
提出基于潜在扩散模型的端到端 EEG 自然音乐重建方法，在 NMED-T 上训练并采用神经嵌入指标评估，验证非侵入式脑电解码复杂音乐的可行性。
2025-01-09 cs.LG cs.SD eess.AS
MusicLM: Generating Music From Text
Google Research（谷歌研究院）；IRCAM - Sorbonne Université（巴黎声学音乐研究协调所-索邦大学）
我们介绍MusicLM，一个从文本描述中生成高保真音乐的模型，例如“由扭曲的吉他即兴重复支持的平静的小提琴旋律”。MusicLM将条件音乐生成的过程转换为分层序列到序列建模任务，并且它生成的音乐在24 kHz下在几分钟内保持一致。我们的实验表明，MusicLM优于以前的系统，无论是在音频质量和坚持的文本描述。此外，我们表明，MusicLM可以同时在文本和旋律的条件，因为它可以转换口哨和哼唱的旋律，根据在文本标题中描述的风格。为了支持未来的研究，我们公开发布MusicCaps，这是一个由5.5k音乐文本对组成的数据集，由人类专家提供富文本描述。
2023-01-26 cs.LG cs.SD eess.AS
Theme Transformer: Symbolic Music Generation with Theme-Conditioned Transformer
基于注意力的Transformer模型已经越来越多地用于自动音乐生成。为了用用户指定的序列来调节这种模型的生成过程，流行的方法是将该调节序列作为启动序列，并要求Transformer解码器生成延续。然而，这种基于提示的条件反射无法保证条件反射序列会发展，甚至只是在生成的延续中重复。在本文中，我们提出了一种替代的条件反射方法，称为基于主题的条件反射，明确训练的Transformer处理的条件反射序列作为一个主题的材料，必须表现出自己多次在其生成结果。这是通过两个主要的技术贡献实现的。首先，我们提出了一种基于深度学习的方法，该方法使用对比表示学习和聚类来自动从训练数据中的音乐片段中检索主题材料。其次，我们提出了一种新的门控并行注意模块中使用的序列到序列（seq 2seq）的编码器/解码器架构，以更有效地考虑到一个给定的空调专题材料的生成过程中的Transformer解码器。我们报告的客观和主观评价的变体的建议的主题Transformer和传统的基于bundle的基线，表明我们最好的模型可以产生，在一定程度上，复调流行钢琴音乐的重复和合理的变化的一个给定的条件。
2022-03-21 cs.MM cs.SD eess.AS
Transflower: probabilistic autoregressive dance generation with multimodal attention
Inria（法国国家信息与自动化研究所）；Ensta ParisTech（巴黎高等先进技术学院）；University of Bordeaux（波尔多大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
舞蹈需要熟练的复杂动作的组成，遵循音乐的节奏，音调和音色特征。形式上，生成以一段音乐为条件的舞蹈可以表示为以音频信号为条件的高维连续运动信号的建模问题。在这项工作中，我们做了两个贡献，以解决这个问题。首先，我们提出了一种新的概率自回归架构，该架构使用多模态Transformer编码器，以以前的姿势以及音乐上下文为条件，对未来姿势的分布进行建模。其次，我们介绍了目前最大的3D舞蹈运动数据集，获得了各种运动捕捉技术，包括专业和休闲舞者。使用这个数据集，我们通过客观指标和用户研究将我们的新模型与两个基线进行比较，并表明建模概率分布的能力以及能够参与大运动和音乐背景对于产生有趣，多样化和逼真的舞蹈是必要的。
2022-06-11 cs.GR cs.LG cs.SD
Small Tunes Transformer: Exploring Macro & Micro-Level Hierarchies for Skeleton-Conditioned Melody Generation
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）
本研究提出Small Tunes Transformer模型，通过宏观乐句分割与微观骨架音符提取，结合乐句级交叉注意力机制，并构建包含10088首传统民歌的Small Tunes Dataset，实现了优于SOTA的骨架条件旋律生成。
2024-10-15 cs.SD eess.AS
Msanii: High Fidelity Music Synthesis on a Shoestring Budget
在本文中，我们提出了Msanii，一种新的基于扩散的模型，用于有效地合成长上下文，高保真音乐。我们的模型结合了梅尔频谱图的表现力，扩散模型的生成能力，和神经声码器的声码功能。我们证明了Msanii的有效性，合成几十秒（190秒）的立体声音乐在高采样率（44.1 kHz），而不使用级联合成，级联架构，或压缩技术。据我们所知，这是第一次成功地采用基于扩散的模型，以高采样率合成这样长的音乐样本。我们的演示可以在https://kinyugo.github.io/msanii-demo和我们的代码https://github.com/Kinyugo/msanii找到。
2023-01-16 cs.LG cs.SD eess.AS
Event-Based Token Sequences for Audio-Conditioned Music-Game Level Modeling
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
研究音乐游戏关卡程序生成问题，受基于事件的符号音乐建模启发，提出令牌级序列公式，构建Transformer模型，在事件级评估中优于基线，能系统分析音频对节奏对齐事件预测的支持。
2026-07-13 cs.MM cs.SD
Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion
ETH Zürich（苏黎世联邦理工学院）；IIT Kharagpur（印度理工学院克勒格布尔分校）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出Moûsai，一个级联两阶段潜在扩散模型，能根据文本描述生成数分钟高质量48kHz立体声音乐，并在单个消费级GPU上实现实时推理，同时开源相关代码和样本。
2023-10-23 cs.CL cs.LG cs.SD
Simultaneous Music Separation and Generation Using Multi-Track Latent Diffusion Models
University of California San Diego（加州大学圣地亚哥分校）；Bose Corp.（博士公司）
本文提出一种多轨潜扩散模型，通过学习多轨联合分布同时实现音乐源分离、多轨合成与编曲生成，并在Slakh2100上取得显著性能提升。
2024-12-30 cs.SD eess.AS
DITTO: Diffusion Inference-Time T-Optimization for Music Generation
University of California – San Diego（加利福尼亚大学圣地亚哥分校）；Adobe Research（奥多比研究院）
DITTO是一种通过优化初始噪声潜变量在推理时控制预训练文本到音乐扩散模型的通用框架，无需微调即可实现修复、外绘、循环及强度、旋律和音乐结构控制，在可控性、音频质量和计算效率上达到最先进性能。
2024-06-03 cs.AI cs.LG cs.SD
Fast Diffusion-GAN Model for Generating Symbolic Music with Emotions
Queen Mary University of London（伦敦玛丽女王大学）
本文提出结合生成对抗网络的扩散模型，通过变分自编码器嵌入训练，实现了情感可控的符号音乐生成，并将采样去噪步骤降至4步，大幅降低计算成本。
2026-10-14 cs.AI cs.SD eess.AS
Music Boomerang: Reusing Diffusion Models for Data Augmentation and Audio Manipulation
Johannes Kepler University Linz（约翰·凯pler大学林茨分校）；Linz Institute of Technology（林茨技术研究所）
本文将图像领域的回旋镖采样引入音频领域，基于 Stable Audio Open 实现数据增强与乐器替换，验证其能保留节奏结构、在有限数据下提升节拍跟踪性能并支持单声道文本乐器替换。
2025-07-07 cs.LG cs.SD eess.AS
Generating Symbolic Music from Natural Language Prompts using an LLM-Enhanced Dataset
本研究针对符号音乐领域缺乏带丰富元数据的大规模数据集的问题，构建了含96.3万份乐谱的MetaScore数据集，用LLM生成伪文本描述后训练文本/标签条件符号音乐生成模型，性能优于基线且与同期Text2MIDI相当，文本交互更自然。
2025-06-16 cs.SD eess.AS
Diff-TONE: Timestep Optimization for iNstrument Editing in Text-to-Music Diffusion Models
LTCI, Télécom Paris, Institut Polytechnique de Paris, France（LTCI，巴黎电信学院，巴黎理工大学，法国）；LIX, École Polytechnique, Institut Polytechnique de Paris, France（LIX，巴黎高等理工学院，巴黎理工大学，法国）
本文提出Diff-TONE方法，利用预训练文本到音乐扩散模型，通过乐器分类器选择最优中间时间步，在不额外训练且不降低速度的前提下，实现乐器编辑并保留原始内容。
2025-06-18 cs.LG cs.SD eess.AS
PF-D2M: A Pose-free Diffusion Model for Universal Dance-to-Music Generation
Graduate School of Culture Technology, KAIST, South Korea（韩国科学技术院文化科技研究生院）；Sony Computer Science Laboratories, Tokyo, Japan（东京索尼计算机科学实验室）
PF-D2M通过结合视觉特征和渐进训练策略，实现了通用舞蹈-音乐生成，提升了多舞者和非人类舞者场景下的同步性和音乐质量。
2026-01-22 cs.CV cs.LG cs.MM
Multi-Source Diffusion Models for Simultaneous Music Generation and Separation
Sapienza University of Rome（罗马第一大学）
本文提出一种多源扩散模型，通过学习共享上下文的源联合密度得分，实现音乐生成与源分离，并引入源插补和基于狄拉克似然的新推断方法，在Slakh2100上展示竞争性结果，是首个统一处理生成与分离的模型。
2024-03-18 cs.LG cs.SD eess.AS
Efficient Fine-Grained Guidance for Diffusion Model Based Symbolic Music Generation
Tingyu Zhu（丁宇 Zhu）；Haoyu Liu（刘浩宇 Liu）；Ziyu Wang（王子宇 Wang）；Zhimin Jiang（江志敏 Jiang）；Zeyu Zheng（郑泽宇 Zheng）
本文提出扩散模型中的高效细粒度引导方法FGG，通过更贴合作曲家意图的引导提升符号音乐生成的准确性、可听性与质量，并支持即兴与实时交互式创作。
2025-06-06 cs.AI cs.LG cs.MM
JEN-1: Text-Guided Universal Music Generation with Omnidirectional Diffusion Models
Futureverse AI Research（未来视AI研究）
本文提出JEN-1，一个结合自回归与非自回归训练的扩散模型，通过上下文学习实现文本引导音乐生成、修复与续写，在文本-音乐对齐和音乐质量上优于现有方法并保持计算效率。
2025-05-07 cs.AI cs.LG cs.MM
Mamba-Diffusion Model with Learnable Wavelet for Controllable Symbolic Music Generation
Centre for Digital Music Queen Mary University of London（数字音乐中心 威廉玛丽大学伦敦分校）
本文提出一种融合Transformer-Mamba模块与可学习小波变换的扩散模型，将符号音乐表示为钢琴卷帘图像，并通过无分类器引导实现目标和弦可控的符号音乐生成，在质量和可控性上优于强基线。
2025-05-06 cs.AI cs.SD eess.AS
Melodia: Training-Free Music Editing Guided by Attention Probing in Diffusion Models
针对现有音乐编辑方法难以保留源音乐时间结构的问题，本文通过探测AudioLDM 2的注意力图，提出无训练技术Melodia，选择性操作自注意力图并利用注意力存储库，实现了音乐特征的准确修改与结构保留，还提出新评估指标，实验效果优异。
2025-11-18 cs.SD eess.AS
Diff-Symbo: Text-Controlled Long-Duration Symbolic Music Generation Using Autoregressive Latent Diffusion Model
Diff-Symbo借助LDM与自回归方法，结合含19345个文本模板的数据集，实现了文本控制的长时长高质量符号音乐生成，在多项指标上优于基线模型。
2026-08-07 cs.SD eess.AS
DiffuseRoll: Multi-track multi-category music generation based on diffusion model
Communication University of China（中国传媒大学）
生成模型的最新进展显示了音乐生成的显著进步。然而，现有的方法大多集中在生成单声道或谐音音乐，而生成具有丰富属性的多声道和多音轨音乐仍然是一个具有挑战性的任务。在本文中，我们提出了一种新的方法，多轨道，多属性的交响乐音乐生成使用扩散模型。具体来说，我们生成一个扩散模型的钢琴滚动表示，并将它们映射到输出的pixel格式。为了获取丰富的属性信息，我们引入了一个颜色编码方案，将音符序列编码为颜色和位置信息，表示音高，速度和乐器。该方案实现了离散音乐序列和连续图像之间的无缝映射。我们还提出了一种后处理方法来优化生成的分数，以获得更好的性能。实验结果表明，我们的方法优于国家的最先进的方法在复调音乐生成与丰富的属性信息相比，数字方法。
2023-03-14 cs.MM cs.SD eess.AS
Subtractive Training for Music Stem Insertion using Latent Diffusion Models
Stanford University（斯坦福大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出减法训练方法，利用扩散模型在现有乐器上下文和文本指令引导下合成缺失乐器音轨，可控制风格并扩展至MIDI格式。
2025-01-19 cs.LG cs.SD eess.AS
Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model
LG AI Research（LG人工智能研究院）；University of Ulsan（蔚山大学）
与计算机视觉中的彩色化类似，乐器分离是分配乐器标签（例如钢琴，吉他.）到来自仅包含性能信息的未标记混合物的音符。为了解决这个问题，我们采用扩散模型，并明确指导他们保持混合和音乐之间的一致性。定量结果表明，我们提出的模型可以产生高保真的多轨符号音乐的创造性样本。
2022-09-05 cs.MM cs.SD eess.AS
Symbolic Music Generation with Diffusion Models
University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
基于得分的生成模型和扩散概率模型已经成功地在诸如图像和音频的连续域中生成高质量样本。然而，由于它们的Langevin启发的采样机制，它们对离散和连续数据的应用受到限制。在这项工作中，我们提出了一种技术，用于训练扩散模型的连续数据参数化的离散域中的一个预先训练的变分自编码器的潜在空间。我们的方法是非自回归的，并通过反向过程学习生成潜在嵌入序列，并提供具有恒定数量的迭代细化步骤的并行生成。我们应用这种技术来模拟符号音乐，并表现出强大的无条件生成和事后条件填充结果相比，自回归语言模型在相同的连续嵌入操作。
2021-11-25 cs.LG cs.SD eess.AS
Text Conditioned Symbolic Drumbeat Generation using Latent Diffusion Models
University of Galway（戈尔韦大学）
提出基于CLIP式对比对齐、多热编码和MultiResolutionLSTM的文本条件LDM符号鼓点生成方法，实验表明其新颖、贴合提示且质量接近人类创作。
2024-08-05 cs.AI cs.LG cs.SD
Multi-instrument Music Synthesis with Spectrogram Diffusion
Google Research, Brain Team（谷歌研究院大脑团队）
一个理想的音乐合成器应该是交互式和表现力，生成高保真音频实时任意组合的乐器和音符。最近的神经合成器已经在特定领域模型和原始波形模型之间进行了权衡，前者只提供特定乐器的详细控制，而后者可以对任何音乐进行训练，但控制最少，生成速度很慢。在这项工作中，我们专注于一个中间地带的神经合成器，可以生成音频序列与任意组合的仪器在实时。这使得能够使用单个模型在广泛的转录数据集上进行训练，从而在广泛的乐器上提供对作曲和乐器的音符级控制。我们使用一个简单的两阶段过程：使用编码器-解码器Transformer将频谱图转换为频谱图，然后使用生成对抗网络（GAN）频谱图转换器将频谱图转换为音频。我们比较训练的解码器作为一个自回归模型和作为一个去噪扩散概率模型（DDPM），并发现DDPM方法是优越的质量和音频重建和Fréchet距离度量测量。考虑到这种方法的交互性和普遍性，我们发现这是一个有前途的第一步，交互式和表达神经合成的任意组合的工具和说明。
2022-12-12 cs.LG cs.SD eess.AS
Composer Style-specific Symbolic Music Generation Using Vector Quantized Discrete Diffusion Models
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
本文提出结合VQ-VAE与离散扩散模型生成目标作曲家风格的符号音乐，将音乐编码为码本索引序列并在离散潜在空间中建模，实验达到72.36%的风格符合准确率。
2024-09-03 cs.AI cs.SD eess.AS
MGE-LDM: Joint Latent Diffusion for Simultaneous Music Generation and Source Extraction
Music and Audio Research Group (MARG)（音乐与音频研究组）；Interdisciplinary Program in Artificial Intelligence (IPAI)（人工智能跨学科项目）；AIIS（人工智能研究所）；Department of Intelligence and Information（智能与信息系）
提出统一潜空间扩散框架 MGE-LDM，将声源分离与填补建模为条件修复，支持音乐生成、补全及文本驱动的任意声源提取。
2025-10-17 cs.LG cs.SD eess.AS
Pictures Of MIDI: Controlled Music Generation via Graphical Prompts for Image-Based Diffusion Inpainting
Belmont University（贝尔蒙特大学）；Hyperstate AI
本文提出一种基于MIDI钢琴卷帘图像和HDiT扩散模型的图形提示音乐生成方法，通过掩码修复与重绘实现旋律、伴奏及续写的可控生成，并在不使用自编码器的情况下达到与先前方法相当的性能。
2024-07-01 cs.LG cs.SD eess.AS
Unsupervised vocal dereverberation with diffusion-based generative models
Sony Group Corporation（索尼集团公司）
从混响音乐中去除混响是为下游音乐操作清理音频的必要技术。音乐混响分为自然混响和人工混响两大类。人工混响由于其各种参数设置和混响类型而比自然混响具有更广泛的多样性。然而，最近的监督去混响方法可能会失败，因为它们依赖于足够多样化和大量的混响观测和检索数据对进行训练，以便在推理期间推广到看不见的观测。为了解决这些问题，我们提出了一种无监督的方法，可以消除音乐的一般类型的人工混响，而不需要对数据进行训练。所提出的方法是基于扩散模型，其中它的未知混响算子与传统的信号处理技术，同时细化的估计与扩散模型的帮助。我们通过客观和感性的评价表明，我们的方法优于目前领先的声乐去混响基准。
2022-11-08 cs.LG cs.SD eess.AS
Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；NYU Shanghai（上海纽约大学）
针对高质量结构化全曲音乐生成难题，本文提出基于分层符号语言的级联扩散模型，可生成有清晰主副歌结构的完整流行音乐，质量优于基线且支持多维度灵活可控生成。
2024-05-16 cs.AI cs.LG cs.SD
Open-Qwen-Music: An Auditable Framework for LLM-Based Music Composition and Diffusion Rendering
Open-Qwen-Music是一个完全开源的文本到音乐生成系统，结合LLM语义创作与扩散渲染，提供完整训练数据、流程和预训练权重，作为可复现的研究基线。
2026-09-29 cs.AI cs.SD eess.AS
Multi-Track MusicLDM: Towards Versatile Music Generation with Latent Diffusion Model
UC San Diego（加州大学圣迭戈分校）；Bose Corp.（博士公司）；Institute for Research and Coordination in Acoustics and Music (IRCAM)（声学与音乐研究协调研究所（IRCAM））
本文将 MusicLDM 潜在扩散模型扩展为多轨生成模型，通过学习轨道间联合概率实现多轨音乐生成与编配生成，并在客观指标上显著优于现有多轨生成模型。
2024-10-23 cs.MM cs.SD eess.AS
