Theme Transformer: Symbolic Music Generation with Theme-Conditioned Transformer
基于注意力的Transformer模型已经越来越多地用于自动音乐生成。为了用用户指定的序列来调节这种模型的生成过程,流行的方法是将该调节序列作为启动序列,并要求Transformer解码器生成延续。然而,这种基于提示的条件反射无法保证条件反射序列会发展,甚至只是在生成的延续中重复。在本文中,我们提出了一种替代的条件反射方法,称为基于主题的条件反射,明确训练的Transformer处理的条件反射序列作为一个主题的材料,必须表现出自己多次在其生成结果。这是通过两个主要的技术贡献实现的。首先,我们提出了一种基于深度学习的方法,该方法使用对比表示学习和聚类来自动从训练数据中的音乐片段中检索主题材料。其次,我们提出了一种新的门控并行注意模块中使用的序列到序列(seq 2seq)的编码器/解码器架构,以更有效地考虑到一个给定的空调专题材料的生成过程中的Transformer解码器。我们报告的客观和主观评价的变体的建议的主题Transformer和传统的基于bundle的基线,表明我们最好的模型可以产生,在一定程度上,复调流行钢琴音乐的重复和合理的变化的一个给定的条件。
2022-03-21 cs.MM cs.SD eess.AS
Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs
Georgia Institute of Technology(佐治亚理工学院)
符号音乐的深度生成模型通常被设计为对音乐中的时间依赖性进行建模,以便在给定先前事件的情况下预测下一个音乐事件。在许多情况下,这样的模型被期望从原始音乐数据中学习抽象概念,如和声、节拍和节奏,而不需要任何额外的信息。在这项研究中,我们调查的影响,明确条件反射深生成模型与音乐相关的信息。具体而言,我们研究了四种不同的条件输入的性能上的一个经常性的单声道旋律生成模型的影响。这些调节输入的几种组合用于训练不同的模型变体,然后使用跨两种音乐流派的三个客观评估范例来评估这些模型变体。结果表明,音乐相关的条件反射显着提高学习和性能,并揭示了这些信息如何影响学习的音高和节奏相关的音乐特征。一个非正式的主观评价表明,一代人的审美素质相应提高。
2019-07-10 cs.AI cs.SD eess.AS
Instrumental Text-to-Music Generation with Auxiliary Conditioning Branches
Department of Artificial Intelligence(人工智能系);Yonsei University(延世大学);MAAP;KRAFTON;Seoul, Republic of Korea(韩国首尔)
本文研究了在无外部预训练的情况下,通过控制数据和预训练来隔离有效设计选择的问题,发现去除辅助分支的模型在多个评估指标上表现较差,而增加DiT深度只能小幅恢复性能,表明辅助分支可能在训练时起到架构锚定作用。
2026-05-20 cs.SD
Are Words Enough? On the semantic conditioning of affective music generation
ITI;LARSyS;INESC TEC
该范围综述梳理自动音乐生成的规则与机器学习两大范式,聚焦文本驱动的深度学习音乐生成模型,探讨语言表征音乐情感的可行性,指出深度学习结合自然语言的应用有望赋能创意产业的音乐创作。
2023-11-07 cs.LG cs.MM cs.SD
Explicit Tonal Tension Conditioning via Dual-Level Beam Search for Symbolic Music Generation
Artificial Intelligence Lab, Otto-von-Guericke-University, Magdeburg, Germany(奥托·冯·格里克大学人工智能实验室);University of Porto, Faculty of Engineering and INESC TEC(波尔图大学工程学院)
本文提出通过双层束搜索实现显式调性张力条件化,以生成高质量的符号音乐。
2025-11-24 cs.AI cs.SD
DiffSynth-Music: Audio-Conditioned KV-Cache Adapters for Controllable Music Generation
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
针对文本歌词对音乐节奏、旋律控制不足的问题,提出DiffSynth-Music框架,通过音频条件KV缓存注入支持五种控制类型,提升可控性与歌词保真度。
2026-09-14 cs.SD
GTR-CTRL: Instrument and Genre Conditioning for Guitar-Focused Music Generation with Transformers
Queen Mary University of London(伦敦玛丽女王大学);Indian Institute of Technology Kharagpur(印度理工学院哈拉格布尔分校);National Taiwan University(国立台湾大学);Dadabots(达达机器人)
最近,使用深度学习技术的符号音乐生成已经取得了稳步的进步。大多数关于这个主题的作品都集中在吉他的表现上,但是很少有人关注使用吉他制表符(tab)来编码多个乐器的符号音乐生成。标签包括信息的表达技术和指法为烦恼弦乐器除了节奏和音高。在这项工作中,我们使用DadaGP数据集进行吉他标签音乐生成,这是一个包含超过26 k首GuitarPro和令牌格式歌曲的语料库。我们介绍了基于所需乐器(inst-CTRL)和流派(genre-CTRL)来调节Transformer-XL深度学习模型以生成吉他标签(GTR-CTRL)的方法。在训练语料库中,在每首歌曲的开头附加特殊的控制标记。我们评估的模型的性能和无条件。我们提出了仪器存在的指标来评估的inst-CTRL模型的响应给定的仪器提示。我们训练了一个用于下游体裁分类的BERT模型,并使用它来评估用体裁-CTRL模型获得的结果。统计学分析表明,有条件和无条件模型之间存在显着差异。总体而言,结果表明,GTR-CTRL方法提供了更多的灵活性和控制吉他为重点的符号音乐生成比无条件模型。
2023-02-10 cs.AI cs.MM cs.SD
Art2Mus: Artwork-to-Music Generation via Visual Conditioning and Large-Scale Cross-Modal Alignment
University of Bari Aldo Moro(巴里大学阿尔多·莫罗大学);Catalonia's Telecommunications Technology Centre(加泰罗尼亚电信技术中心);University of Picardie Jules Verne(皮卡第大学朱利·瓦内大学)
ArtToMus通过直接视觉条件生成音乐,无需图像到文本转换,实现艺术品到音乐的跨模态对齐。
2026-02-19 cs.CV cs.MM cs.SD
Simultaneous Music Separation and Generation Using Multi-Track Latent Diffusion Models
University of California San Diego(加州大学圣地亚哥分校);Bose Corp.(博士公司)
本文提出一种多轨潜扩散模型,通过学习多轨联合分布同时实现音乐源分离、多轨合成与编曲生成,并在Slakh2100上取得显著性能提升。
2024-12-30 cs.SD eess.AS
Melodia: Training-Free Music Editing Guided by Attention Probing in Diffusion Models
针对现有音乐编辑方法难以保留源音乐时间结构的问题,本文通过探测AudioLDM 2的注意力图,提出无训练技术Melodia,选择性操作自注意力图并利用注意力存储库,实现了音乐特征的准确修改与结构保留,还提出新评估指标,实验效果优异。
2025-11-18 cs.SD eess.AS
Diff-Symbo: Text-Controlled Long-Duration Symbolic Music Generation Using Autoregressive Latent Diffusion Model
Diff-Symbo借助LDM与自回归方法,结合含19345个文本模板的数据集,实现了文本控制的长时长高质量符号音乐生成,在多项指标上优于基线模型。
2026-08-07 cs.SD eess.AS
MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
研究针对符号音乐表示自监督方法探索不足的问题,提出MIDI-RAE-JEPA,结合音高和时间移位等方差目标、LeJEPA及Swin Transformer V2编码器学习分层表示,经实验验证该方法在多方面表现良好,为符号音乐表示提供了可行途径。
2026-07-17 cs.LG cs.SD eess.AS
Conditioned Source Separation for Music Instrument Performances
Universitat Pompeu Fabra(庞培法布拉大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心)
在音乐声源分离中,每个作品的声源数量可能不同,并且某些声源可能属于同一乐器家族,从而共享音色特征并使声源更加相关。这导致了声源分离问题中的额外挑战。本文提出了一种多乐器同时发声的声源分离方法,并探讨了在音频流之外增加多少附加信息可以提高声源分离的质量。我们探索在不同层次的主要声源分离网络的条件技术,并利用两个额外的数据形式,即存在或不存在的混合物中的仪器,以及相应的视频流数据。
2021-07-07 cs.SD eess.AS
Learning Jazz Pianist Style with Cross-Attention Conditioning
本研究利用预训练符号音乐转换器编码钢琴家身份,通过交叉注意力条件生成特定风格音乐,并验证了风格捕捉的有效性及特征定位能力。
2026-10-05 cs.LG cs.SD eess.AS
Fast Diffusion-GAN Model for Generating Symbolic Music with Emotions
Queen Mary University of London(伦敦玛丽女王大学)
本文提出结合生成对抗网络的扩散模型,通过变分自编码器嵌入训练,实现了情感可控的符号音乐生成,并将采样去噪步骤降至4步,大幅降低计算成本。
2026-10-14 cs.AI cs.SD eess.AS
Improving Text-to-Music Generation with Human Preference Rewards
Georgia Tech(佐治亚理工学院);KAIST(韩国科学技术院);Peking University(北京大学);Queen Mary University of London(伦敦玛丽女王大学);Carnegie Mellon University(卡内基梅隆大学)
提出结合人类偏好奖励(TuneJury)的文本到音乐生成方法,通过训练时奖励条件化、专家迭代、偏好微调等五项工程决策,在ATTM挑战中提升FAD-CLAP和CLAP分数。
2026-06-23 cs.AI cs.LG cs.SD
ProGress: Structured Music Generation via Graph Diffusion and Hierarchical Music Analysis
Duke University(杜克大学)
本文提出ProGress框架,结合申克分析与DiGress离散扩散模型,解决现有音乐生成模型缺乏结构连贯性和可解释性的问题,支持用户控制生成过程,并在人类实验中表现优于现有方法。
2025-10-11 cs.LG cs.SD eess.AS
Mamba-Diffusion Model with Learnable Wavelet for Controllable Symbolic Music Generation
Centre for Digital Music Queen Mary University of London(数字音乐中心 威廉玛丽大学伦敦分校)
本文提出一种融合Transformer-Mamba模块与可学习小波变换的扩散模型,将符号音乐表示为钢琴卷帘图像,并通过无分类器引导实现目标和弦可控的符号音乐生成,在质量和可控性上优于强基线。
2025-05-06 cs.AI cs.SD eess.AS
DiffuseRoll: Multi-track multi-category music generation based on diffusion model
Communication University of China(中国传媒大学)
生成模型的最新进展显示了音乐生成的显著进步。然而,现有的方法大多集中在生成单声道或谐音音乐,而生成具有丰富属性的多声道和多音轨音乐仍然是一个具有挑战性的任务。在本文中,我们提出了一种新的方法,多轨道,多属性的交响乐音乐生成使用扩散模型。具体来说,我们生成一个扩散模型的钢琴滚动表示,并将它们映射到输出的pixel格式。为了获取丰富的属性信息,我们引入了一个颜色编码方案,将音符序列编码为颜色和位置信息,表示音高,速度和乐器。该方案实现了离散音乐序列和连续图像之间的无缝映射。我们还提出了一种后处理方法来优化生成的分数,以获得更好的性能。实验结果表明,我们的方法优于国家的最先进的方法在复调音乐生成与丰富的属性信息相比,数字方法。
2023-03-14 cs.MM cs.SD eess.AS
Improving Music Source Separation with Diffusion and Consistency Refinement
本文提出一种基于扩散模型的音乐源分离方法,通过迭代去噪增强分离效果,采用一致性蒸馏加速推理,提升性能并保持质量,适用于多种架构。
2026-04-26 cs.SD eess.AS
Long-form music generation with latent diffusion
Stability AI
本文提出一种基于潜在扩散的长篇音乐生成模型,通过在高度下采样的连续潜在表示上训练diffusion-transformer,可从文本提示生成长达4m45s且结构连贯的完整音轨,在音频质量和提示对齐指标上达到SOTA。
2024-07-29 cs.LG cs.SD eess.AS
Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model
LG AI Research(LG人工智能研究院);University of Ulsan(蔚山大学)
与计算机视觉中的彩色化类似,乐器分离是分配乐器标签(例如钢琴,吉他.)到来自仅包含性能信息的未标记混合物的音符。为了解决这个问题,我们采用扩散模型,并明确指导他们保持混合和音乐之间的一致性。定量结果表明,我们提出的模型可以产生高保真的多轨符号音乐的创造性样本。
2022-09-05 cs.MM cs.SD eess.AS
Composer Style-specific Symbolic Music Generation Using Vector Quantized Discrete Diffusion Models
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
本文提出结合VQ-VAE与离散扩散模型生成目标作曲家风格的符号音乐,将音乐编码为码本索引序列并在离散潜在空间中建模,实验达到72.36%的风格符合准确率。
2024-09-03 cs.AI cs.SD eess.AS
Editing Music with Melody and Text: Using ControlNet for Diffusion Transformer
Tsinghua University(清华大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Hong Kong University of Science and Technology(香港科技大学)
针对现有可控音乐生成编辑的质量与时长局限,提出带ControlNet控制分支的DiT方法,结合新型top-k恒Q旋律表示与课程学习,在文本生成和风格迁移任务上性能优于MusicGen基线。
2025-01-16 cs.SD eess.AS
SYMPLEX: Controllable Symbolic Music Generation using Simplex Diffusion with Vocabulary Priors
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出SYMPLEX,将概率空间上的单纯形扩散与词汇先验用于无序表示的4小节多乐器符号音乐生成,实现时间、音高填充及乐器选择等可控性,且无需任务适配或外部控制。
2024-05-21 cs.LG cs.SD eess.AS
Open-Qwen-Music: An Auditable Framework for LLM-Based Music Composition and Diffusion Rendering
Open-Qwen-Music是一个完全开源的文本到音乐生成系统,结合LLM语义创作与扩散渲染,提供完整训练数据、流程和预训练权重,作为可复现的研究基线。
2026-09-29 cs.AI cs.SD eess.AS
Multi-Track MusicLDM: Towards Versatile Music Generation with Latent Diffusion Model
UC San Diego(加州大学圣迭戈分校);Bose Corp.(博士公司);Institute for Research and Coordination in Acoustics and Music (IRCAM)(声学与音乐研究协调研究所(IRCAM))
本文将 MusicLDM 潜在扩散模型扩展为多轨生成模型,通过学习轨道间联合概率实现多轨音乐生成与编配生成,并在客观指标上显著优于现有多轨生成模型。
2024-10-23 cs.MM cs.SD eess.AS
Content based singing voice source separation via strong conditioning using aligned phonemes
STMS UMR9912, Ircam/CNRS/SU(STMS UMR9912,Ircam/CNRS/SU);LTCI, Institut Polytechnique de Paris(巴黎理工学院 LTCI)
最近,随着神经网络的引入和包含混合源和分离源的大型多轨数据集的可用性,信息源分离获得了新的兴趣。这些方法使用关于目标源的先验信息来改进分离。从历史上看,音乐信息检索的研究人员主要集中在乐谱知情的源分离,但最近的方法探索歌词知情的源分离。然而,由于缺乏具有时间对齐歌词的多轨道数据集,模型使用非对齐歌词的弱条件反射。在本文中,我们提出了一个多模态的多轨数据集与歌词对齐的时间在单词级的语音信息,以及探索强条件反射使用对齐的音素。我们的模型遵循U-Net架构,并将音乐混合物的幅度谱图和具有对齐语音信息的矩阵作为输入。音素矩阵被嵌入以获得控制逐行线性调制(FilM)层的参数。这些层调节U-Net特征映射,以通过仿射变换使分离过程适应不同音素的存在。我们表明,音素条件反射可以成功地应用于提高歌唱声源分离。
2020-08-05 cs.LG cs.SD eess.AS
VIBE: Video Instruction-aligned Background music gEneration
Dolby Laboratories(杜比实验室);University of Maryland, College Park(马里兰大学帕克分校)
VIBE是一种新型文本与视频生成音乐模型,通过深度跨层条件机制与五阶段奖励建模优化,提升了音乐生成的可控性与指令依从性,在生成保真度上与多数基准模型相当。
2026-09-01 cs.AI cs.CL cs.CV
Multi-Source Music Generation with Latent Diffusion
Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign(电气与计算机工程系,伊利诺伊大学厄巴纳-香槟分校)
针对现有多源扩散音乐生成模型旋律贫乏、易出空白音、噪声伪影多的问题,提出多源潜扩散模型MSLDM,通过VAE编码各乐器音源到潜空间联合训练,提升生成质量与效率,效果优于MSDM。
2025-06-17 cs.LG cs.SD eess.AS
MusicGen-Stem: Multi-stem music generation and edition through autoregressive modeling
Meta;Sorbonne Univ.(索邦大学);UMR STMS IRCAM-CNRS;Univ. de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛里亚研究所);Hebrew Univ. of Jerusalem(耶路撒冷希伯来大学)
本文提出开源多音轨自回归模型MusicGen-Stem,通过分轨压缩token化、多流文本到音乐建模与特殊条件化,实现贝斯、鼓和其他音轨的高质量生成及连贯编辑。
2025-01-07 cs.SD eess.AS
Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion
California Institute of Technology(加州理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);NVIDIA(英伟达公司);Dalhousie University(达尔豪斯大学);Vector Institute(矢量研究所)
针对符号音乐生成中非可微规则引导的挑战,提出仅需前向评估的免训练引导方法SCG及高时间分辨率潜在扩散架构,显著提升了音乐质量与规则可控性。
2024-09-25 cs.LG cs.SD eess.AS
MoMu-Diffusion: On Learning Long-Term Motion-Music Synchronization and Correspondence
Zhejiang University(浙江大学)
提出MoMu-Diffusion框架,通过BiCoR-VAE提取模态对齐潜在表示,结合多模态Transformer扩散模型和交叉引导采样,实现长期同步的运动-音乐生成,超越现有方法。
2024-11-04 cs.MM cs.SD eess.AS
MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models
Queen Mary University of London(伦敦玛丽女王大学);Sony AI(索尼人工智能公司);MBZUAI(Mohamed bin Zayed 人工智能大学)
MusicMagus提出一种零样本文本到音乐编辑方法,通过潜在空间操作和一致性约束,无需额外训练即可修改音乐属性,在风格和音色迁移上优于现有基线。
2024-05-28 cs.AI cs.MM cs.SD
Discrete Diffusion Probabilistic Models for Symbolic Music Generation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Linz Institute of Technology(林茨技术研究所)
本研究首次将离散扩散概率模型(D3PM)应用于复调符号音乐生成,实现了最先进的样本质量与音符级灵活填充,支持事后分类器引导,并批判性指出了现有统计评估指标的缺陷。
2023-05-16 cs.AI cs.SD eess.AS
Training a Perceptual Model for Evaluating Auditory Similarity in Music Adversarial Attack
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学)
针对MIR系统易受人类无法察觉的对抗攻击且现有感知指标与人类判断相关性低的问题,提出基于心理声学条件序列对比变换器的PAMT框架,提升了感知对齐度和对抗攻击下的鲁棒准确率。
2025-09-05 cs.SD eess.AS
Generating symbolic music using diffusion models
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出一种基于二项先验分布的扩散模型用于生成钢琴卷帘符号音乐,实现旋律配和声、补全和变奏生成,并公开代码。
2023-05-15 cs.LG cs.SD eess.AS
GANkyoku: a Generative Adversarial Network for Shakuhachi Music
使用神经网络生成符号音乐的常见方法涉及对自回归模型的重复采样,直到获得完整的输出序列。虽然这样的方法在生成短音乐序列方面已经显示出一些前景,但是这通常还没有扩展到最终目标序列明显更长的情况,例如一整段音乐。在这项工作中,我们提出了一个在对抗过程中训练的网络,以符号记谱的形式生成整首尺八独奏音乐。这些作品旨在明确地参考传统尺八音乐,保持地道性和关键的美学品质,同时也增加了新颖的功能,最终创造有价值的补充当代尺八曲目。一个关键的子问题也得到了解决,即缺乏相关的训练数据,在两个步骤:首先,我们介绍了PH_Shaku数据集的象征性的传统尺八音乐;其次,我们建立在以前的工作中使用条件反射生成对抗网络引入数据增强的技术。
2019-11-22 cs.LG cs.SD eess.AS
Music Consistency Models
Kunlun Inc.(昆仑公司)
本文提出 Music Consistency Models,结合一致性蒸馏与对抗判别器训练,在文本到音乐扩散模型基础上高效合成音乐片段的梅尔频谱,仅需四步采样即可实现高质量、无缝且实时的音乐生成。
2024-04-20 cs.AI cs.SD eess.AS
Polyffusion: A Diffusion Model for Polyphonic Score Generation with Internal and External Controls
NYU Shanghai(上海纽约大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);NUS(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出多声部乐谱生成扩散模型Polyffusion,通过内部填充与外部交叉注意力控制统一多种音乐创作任务,性能优于现有基线,预训练解耦表示可提升控制效果。
2023-07-19 cs.LG cs.SD eess.AS
Quality-aware Masked Diffusion Transformer for Enhanced Music Generation
University of Science & Technology of China(中国科学技术大学);iFlytek AI Research(iFlytek人工智能研究院)
针对音乐生成数据质量不均、文本音频一致性差等问题,提出质量感知训练范式、适配掩码扩散Transformer模型及三阶段字幕优化方法,在多个基准上实现SOTA性能并开源相关资源。
2025-06-17 cs.AI cs.SD eess.AS
ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models
Baidu Inc.(百度公司)
本文提出ERNIE-Music,利用扩散模型和自由形式文本提示实现文本到波形音乐生成,并通过弱监督构建数据集,在多样性、质量及文本-音乐相关性上显著超越已有方法。
2023-09-21 cs.AI cs.CL cs.MM
Generalized Multi-Source Inference for Text Conditioned Music Diffusion Models
Sapienza University of Rome(罗马智慧大学);Ca' Foscari University of Venice(威尼斯大学);Queen Mary University of London(伦敦玛丽女王大学)
本文提出广义多源推理方法,将多源扩散模型推广至任意文本条件时域扩散模型,无需分离数据即可生成连贯音源与伴奏,并适配Dirac分离器,在Slakh2100和MTG-Jamendo上取得有竞争力的结果。
2024-03-18 cs.LG cs.SD eess.AS
Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion
ETH Zürich(苏黎世联邦理工学院);IIT Kharagpur(印度理工学院克勒格布尔分校);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出Moûsai,一个级联两阶段潜在扩散模型,能根据文本描述生成数分钟高质量48kHz立体声音乐,并在单个消费级GPU上实现实时推理,同时开源相关代码和样本。
2023-10-23 cs.CL cs.LG cs.SD
Progressive distillation diffusion for raw music generation
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对波形域音乐生成扩散模型研究较少的问题,本文实现了带1D U-Net的渐进蒸馏扩散无条件音乐生成模型,验证了其渐进式音频处理生成的优势,并在自收集数据集上完成参数对比实验。
2023-07-20 cs.LG cs.SD eess.AS
Noise2Music: Text-conditioned Music Generation with Diffusion Models
Google Research(谷歌研究院)
我们引入了Noise 2 Music,其中训练了一系列扩散模型,以从文本提示生成高质量的30秒音乐片段。连续训练并利用两种类型的扩散模型,生成器模型和扩散器模型,生成器模型生成以文本为条件的中间表示,扩散器模型生成以中间表示和可能的文本为条件的高保真音频,以生成高保真音乐。我们探索两种选择的中间表示,一个使用频谱图和其他使用音频较低的保真度。我们发现,生成的音频不仅能够忠实地反映文本提示的关键元素,如体裁,节奏,乐器,情绪和时代,但超越了地面细粒度的提示语义。预训练的大语言模型在这个故事中起着关键作用-它们用于为训练集的音频生成配对文本,并提取扩散模型摄取的文本提示的嵌入。生成的示例:https://google-research.github.io/noise2music
2023-03-06 cs.LG cs.SD eess.AS
DITTO: Diffusion Inference-Time T-Optimization for Music Generation
University of California – San Diego(加利福尼亚大学圣地亚哥分校);Adobe Research(奥多比研究院)
DITTO是一种通过优化初始噪声潜变量在推理时控制预训练文本到音乐扩散模型的通用框架,无需微调即可实现修复、外绘、循环及强度、旋律和音乐结构控制,在可控性、音频质量和计算效率上达到最先进性能。
2024-06-03 cs.AI cs.LG cs.SD
PF-D2M: A Pose-free Diffusion Model for Universal Dance-to-Music Generation
Graduate School of Culture Technology, KAIST, South Korea(韩国科学技术院文化科技研究生院);Sony Computer Science Laboratories, Tokyo, Japan(东京索尼计算机科学实验室)
PF-D2M通过结合视觉特征和渐进训练策略,实现了通用舞蹈-音乐生成,提升了多舞者和非人类舞者场景下的同步性和音乐质量。
2026-01-22 cs.CV cs.LG cs.MM
Efficient Fine-Grained Guidance for Diffusion Model Based Symbolic Music Generation
Tingyu Zhu(丁宇 Zhu);Haoyu Liu(刘浩宇 Liu);Ziyu Wang(王子宇 Wang);Zhimin Jiang(江志敏 Jiang);Zeyu Zheng(郑泽宇 Zheng)
本文提出扩散模型中的高效细粒度引导方法FGG,通过更贴合作曲家意图的引导提升符号音乐生成的准确性、可听性与质量,并支持即兴与实时交互式创作。
2025-06-06 cs.AI cs.LG cs.MM
StemGen: A music generation model that listens
SAMI, ByteDance Inc.(字节跳动有限公司SAMI)
本文提出 StemGen 音乐生成模型,采用非自回归 Transformer 架构,使模型能聆听并响应音乐上下文,在音频质量上达到文本条件模型的先进水平,并具备强音乐连贯性。
2024-01-16 cs.LG cs.SD eess.AS
JEN-1: Text-Guided Universal Music Generation with Omnidirectional Diffusion Models
Futureverse AI Research(未来视AI研究)
本文提出JEN-1,一个结合自回归与非自回归训练的扩散模型,通过上下文学习实现文本引导音乐生成、修复与续写,在文本-音乐对齐和音乐质量上优于现有方法并保持计算效率。
2025-05-07 cs.AI cs.LG cs.MM
Diff-TONE: Timestep Optimization for iNstrument Editing in Text-to-Music Diffusion Models
LTCI, Télécom Paris, Institut Polytechnique de Paris, France(LTCI,巴黎电信学院,巴黎理工大学,法国);LIX, École Polytechnique, Institut Polytechnique de Paris, France(LIX,巴黎高等理工学院,巴黎理工大学,法国)
本文提出Diff-TONE方法,利用预训练文本到音乐扩散模型,通过乐器分类器选择最优中间时间步,在不额外训练且不降低速度的前提下,实现乐器编辑并保留原始内容。
2025-06-18 cs.LG cs.SD eess.AS
Diffusion-based Symbolic Music Generation with Structured State Space Models
SMDIM通过结合结构状态空间模型和Mamba-FeedForward-Attention块,实现了高效的符号音乐生成,兼顾可扩展性和音乐表现力。
2026-03-03 cs.SD
Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation
Belmont University(贝尔蒙特大学)
本研究提出分层自监督世界模型,通过Swin V2编码器与条件流匹配模型构建协同音乐创作智能体,提升了和弦与调式检测准确率,可快速生成音乐建议并支持交互演示。
2026-08-06 cs.LG cs.SD eess.AS