DeepJ: Style-Specific Music Generation
Computer Science and Engineering University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程学院）
深度神经网络的最新进展使算法能够创作出与人类创作的音乐相当的音乐。然而，很少有算法允许用户生成具有可调参数的音乐。调整生成音乐的属性的能力将为帮助艺术家、电影制作人和作曲家完成他们的创作任务带来更多的实际好处。在本文中，我们介绍了DeepJ -一种端到端的生成模型，能够根据作曲家风格的特定混合来创作音乐。我们的创新包括学习音乐风格和音乐动态的方法。我们使用我们的模型来展示一种简单的技术，用于控制生成的音乐的风格作为概念的证明。使用人类评分员对我们的模型进行的评估表明，我们已经改进了双轴LSTM方法。
2018-01-03 cs.SD eess.AS
Diff-Symbo: Text-Controlled Long-Duration Symbolic Music Generation Using Autoregressive Latent Diffusion Model
Diff-Symbo借助LDM与自回归方法，结合含19345个文本模板的数据集，实现了文本控制的长时长高质量符号音乐生成，在多项指标上优于基线模型。
2026-08-07 cs.SD eess.AS
Demonstration of PerformanceNet: A Convolutional Neural Network Model for Score-to-Audio Music Generation
Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
我们在本文中提出的PerformacnceNet，我们最近提出的神经网络模型，以实现分数到音频的音乐生成。该模型学习将音乐作品从符号域转换到音频域，自动为音乐分配性能级别的属性，例如速度的变化，然后合成音频。因此，该模型不仅仅是一个神经音频合成器，而是一个学习以自己的方式解释乐谱的人工智能表演者。该模型的代码和示例输出可以在https://github.com/bwang514/PerformanceNet上找到。
2019-05-28 cs.SD eess.AS
Music ControlNet: Multiple Time-varying Controls for Music Generation
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）
Music ControlNet提出基于扩散的时变控制音乐生成方法，支持旋律、动态和节奏控制，相比MusicGen在参数少35倍、数据少11倍下旋律忠实度提升49%。
2023-11-13 cs.SD eess.AS
EmotionBox: a music-element-driven emotional music generation system using Recurrent Neural Network
Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动研究重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室）；School of Electronics and Communication Engineering, Guangzhou University（广州大学电子与通信工程学院）；National Environmental Protection Engineering and Technology Center for Road Traffic Noise Control（国家环境保护道路交通噪声控制工程技术中心）
随着深度神经网络的发展，自动作曲取得了长足的进步。虽然情感音乐能唤起听者的不同情感，对艺术表现有重要作用，但目前对情感音乐生成的研究还很少。本文介绍了一个音乐元素驱动的情感音乐生成器，它能够在给定特定情感的情况下创作音乐，该模型不需要标记有情感的音乐数据集。取而代之的是，提取音高直方图和音符密度作为分别代表模式和节奏的特征来控制音乐情感。主观听力测试结果表明，与基于情感标签的方法相比，该方法在激发特定情感方面具有更强的竞争力和平衡性。
2021-12-16 cs.SD eess.AS
LSTM Networks for Music Generation
Lanzhou University（兰州大学）
本文提出了一种基于LSTM（长短期记忆）的音乐生成方法，对比了不同网络结构对音乐生成的影响，并介绍了一些研究者使用的其他方法。
2020-06-16 cs.LG cs.SD eess.AS
Audio Conditioning for Music Generation via Discrete Bottleneck Features
FAIR Meta（Meta FAIR）；IRCAM - Sorbonne Université（IRCAM-索邦大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Kyutai
提出用音频输入条件化语言模型音乐生成系统，采用文本反转和从头联合训练模型两种策略，并通过双重 classifier free guidance 平衡混合条件，自动与人类研究验证了其有效性。
2024-07-30 cs.SD eess.AS
Video Background Music Generation with Controllable Music Transformer
Beihang University（北京航空航天大学）；Charterhouse School（查特豪斯公学）；Sea AI Lab
在这项工作中，我们解决的任务，视频背景音乐生成。以前的一些作品实现了有效的音乐生成，但无法生成针对特定视频的旋律音乐，并且没有考虑视频-音乐节奏的一致性。为了生成与给定视频匹配的背景音乐，我们首先建立视频和背景音乐之间的节奏关系。特别是，我们连接的时间，运动速度和运动显着性从视频与节拍，simu-note密度，simu-note强度从音乐，分别。然后，我们提出CMT，一个可控的音乐Transformer，使上述节奏特征的本地控制和音乐流派和乐器的全球控制。客观和主观评价表明，生成的背景音乐与输入视频具有良好的兼容性，同时具有令人印象深刻的音乐质量。代码和模型可在https://github.com/wzk1015/video-bgm-generation上获得。
2021-11-16 cs.MM cs.SD eess.AS
What is missing in deep music generation? A study of repetition and structure in popular music
Carnegie Mellon University（卡内基梅隆大学）
结构是音乐最基本的方面之一，而音乐结构通常通过重复来表示。然而，音乐中的重复和结构的本质仍然没有得到很好的理解，特别是在音乐生成的背景下，并且还有很多东西需要利用音乐信息检索（MIR）技术进行探索。两个流行音乐数据集的分析（中国和美国）说明重要的音乐建设原则：（1）结构存在于多个层次，（2）歌曲使用重复和有限的词汇，使得单个歌曲不遵循歌曲集合的一般统计，（3）结构与节奏、旋律、和声和可预测性相互作用，以及（4）在歌曲的过程中，重复不是随机的，而是遵循交叉熵所揭示的一般趋势。这些和其他研究结果为深度学习音乐生成提供了挑战和机遇，并提出了新的正式音乐标准和评估方法。我们分析了最近音乐生成系统中的音乐，并将其与我们数据集中的人类创作的音乐进行了比较，通常从结构的角度揭示了显着的差异。
2022-09-01 cs.IR cs.SD eess.AS
MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT
Hokkaido University（北海道大学）
本文提出MMT-BERT框架，结合MusicLang和弦分析的新型符号音乐表示与微调MusicBERT判别器，解决多轨符号音乐生成中和弦信息缺失与架构适配问题，提升生成音乐的协和性与人性化。
2024-09-02 cs.AI cs.SD eess.AS
A Comprehensive Survey on Deep Music Generation: Multi-level Representations, Algorithms, Evaluations, and Future Directions
Xi’an Jiaotong University（西安交通大学）
利用深度学习技术生成各种内容（如图像、文本等）已经成为一种趋势。尤其是音乐，本文的选题，引起了无数研究者的广泛关注，音乐产生的整个过程可以分为三个阶段，对应着音乐生成的三个层次：分数生成产生分数，性能生成将性能特征添加到分数，音频生成通过指定音色将具有演奏特征的乐谱转换成音频或直接生成音频格式的音乐。以前的调查已经探讨了在自动音乐生成领域采用的网络模型。然而，同一音乐生成任务的发展历史、模式演变以及利弊却没有得到清晰的说明。本文试图对不同音乐生成水平下的各种作曲任务进行概述，涵盖了目前流行的大部分使用深度学习的音乐生成任务。此外，我们总结了适合不同任务的数据集，讨论了音乐表示，评估方法以及在不同水平下的挑战，最后指出了几个未来的发展方向。
2020-11-13 cs.LG cs.SD eess.AS
VidMusician: Video-to-Music Generation with Semantic-Rhythmic Alignment via Hierarchical Visual Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；WeChat, Tencent Inc.（腾讯公司微信业务）
针对视频到音乐生成的语义与节奏对齐难题，提出基于文本到音乐模型的VidMusician框架，利用分层视觉特征结合两阶段训练实现高效对齐，构建DVMSet数据集，实验证明其性能优于现有最优方法。
2024-12-09 cs.SD eess.AS
MuMu-LLaMA: Multi-modal Music Understanding and Generation via Large Language Models
Tencent PCG（腾讯平台与内容事业群）；National University of Singapore（新加坡国立大学）
针对多模态音乐理解与生成研究缺乏标注数据集的问题，该研究构建167.69小时多模态音乐数据集，提出整合多模态预训练编码器与AudioLDM 2、MusicGen的MuMu-LLaMA模型，在四项任务上性能超越现有最优模型。
2024-12-09 cs.MM cs.SD eess.AS
SDMuse: Stochastic Differential Music Editing and Generation via Hybrid Representation
Zhejiang University（浙江大学）；Sea AI Lab（Sea人工智能实验室）
虽然深度生成模型已经赋予了音乐生成能力，但以细粒度编辑现有音乐作品仍然是一个具有挑战性且未充分探索的问题。在本文中，我们提出了SDMuse，一个统一的随机差分音乐编辑和生成框架，它不仅可以从头开始组成一个完整的音乐作品，但也可以修改现有的音乐作品在许多方面，如组合，延续，修补，和风格转移。拟议的SDM使用遵循两个阶段的管道，以实现音乐生成和编辑的混合表示，包括钢琴和MIDI事件的顶部。特别地，SDMuse首先通过基于扩散模型生成先验的随机微分方程（Stochastic Differential Equation，简称SDMS）迭代地去噪来生成/编辑pianoroll，然后细化所生成的pianoroll并自动回归地预测MIDI事件标记。我们评估我们的方法在ailabs 1 k7流行音乐数据集上生成的音乐在各种音乐编辑和生成任务的质量和可控性。实验结果表明，我们提出的随机差分音乐编辑和生成过程，以及混合表示的有效性。
2022-11-02 cs.MM cs.SD eess.AS
Personalized Popular Music Generation Using Imitation and Structure
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
近年来，音乐生成出现了许多实践。虽然使用深度学习技术的风格音乐生成已成为主流，但这些模型仍难以生成具有高音乐性、不同层次音乐结构和可控性的音乐。此外，音乐治疗等更多应用场景需要从几个给定的音乐示例中模仿出更具体的音乐风格，而不是捕捉大型数据语料库的整体流派风格。为了解决挑战当前深度学习方法的需求，我们提出了一种统计机器学习模型，该模型能够从给定的示例种子歌曲中捕获和模仿结构、旋律、和弦和低音风格。使用10首流行歌曲的评估表明，我们的新表示和方法能够创建高质量的风格音乐，是类似于一个给定的输入歌曲。我们还讨论了我们的方法在音乐评价和音乐治疗的潜在用途。
2021-05-10 cs.AI cs.SD eess.AS
Flexible Control in Symbolic Music Generation via Musical Metadata
LG AI Research（LG人工智能研究院）
本研究提出一种以音乐元数据为输入的自回归符号音乐生成模型，通过训练时随机丢弃元数据词元实现灵活控制，经多维度实验及主观测试验证，其在控制性和音乐质量上均优于其他模型。
2024-08-28 cs.MM cs.SD eess.AS
MusicFlow: Cascaded Flow Matching for Text Guided Music Generation
University of Oxford（牛津大学）；Meta
本文提出级联流匹配模型 MusicFlow，通过两个网络建模语义与声学特征并结合掩码预测，实现高质量文本到音乐生成及零样本填充、续写。
2024-10-27 cs.AI cs.SD eess.AS
The Interpretation Gap in Text-to-Music Generation Models
Queen Mary University of London（伦敦玛丽女王大学）
针对文本到音乐生成模型与人类音乐家协作能力有限的问题，提出含表达、解释、执行的音乐交互框架，指出核心差距在解释阶段，给出两种解决策略并呼吁学界攻关以提升人机音乐协作水平。
2024-07-14 cs.AI cs.SD eess.AS
Musika! Fast Infinite Waveform Music Generation
Institute of Computational Perception, Johannes Kepler University Linz（林茨约翰内斯·开普勒大学计算感知研究所）
快速和用户可控的音乐生成可以使作曲或表演音乐的新方法成为可能。然而，现有技术的音乐生成系统需要大量的数据和计算资源用于训练，并且推理缓慢。这使得它们对于实时交互式使用是不切实际的。在这项工作中，我们介绍了Musika，一个音乐生成系统，可以使用单个消费GPU对数百小时的音乐进行训练，并且可以比在消费CPU上实时生成任意长度的音乐快得多。我们首先使用对抗性自动编码器学习频谱图幅度和相位的紧凑可逆表示，然后在此表示上训练生成对抗网络（GAN）以用于特定的音乐域。一个潜在的坐标系统可以并行生成任意长的摘录序列，而一个全局上下文向量可以让音乐在时间上保持风格上的连贯性。我们进行定量评估，以评估生成的样本的质量，并展示钢琴和电子音乐生成的用户控制选项。我们在github.com/marcoppasini/musika上发布了源代码和预训练的自动编码器权重，这样GAN就可以在几个小时内用一个GPU在一个新的音乐域上训练。
2022-08-18 cs.LG cs.SD eess.AS
Transfer Learning for Underrepresented Music Generation
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
本文提出组合创造力迁移学习方法，将大型音乐生成模型 MusicVAE 高效适配伊朗民间音乐这一 OOD 流派，为生成代表性不足音乐提供可行路径。
2023-06-01 cs.LG cs.SD eess.AS
Arrange, Inpaint, and Refine: Steerable Long-term Music Audio Generation and Editing via Content-based Controls
New York University Shanghai（纽约大学上海分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
针对大语言模型侧重自回归生成难以适配音乐编辑的问题，研究提出结合参数高效异构适配器与掩码训练的方法，实现帧级内容控制的多类音乐编辑任务，为AI音乐编辑工具提供更灵活的控制能力。
2024-10-06 cs.AI cs.SD eess.AS
Multi-Track MusicLDM: Towards Versatile Music Generation with Latent Diffusion Model
UC San Diego（加州大学圣迭戈分校）；Bose Corp.（博士公司）；Institute for Research and Coordination in Acoustics and Music (IRCAM)（声学与音乐研究协调研究所（IRCAM））
本文将 MusicLDM 潜在扩散模型扩展为多轨生成模型，通过学习轨道间联合概率实现多轨音乐生成与编配生成，并在客观指标上显著优于现有多轨生成模型。
2024-10-23 cs.MM cs.SD eess.AS
PianoBART: Symbolic Piano Music Generation and Understanding with Large-Scale Pre-Training
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
针对现有方法无法统一利用特征同时完成音乐生成与理解的问题，本文提出预训练模型PianoBART，搭配多级对象选择策略，在音乐生成和理解任务上均取得优异表现。
2024-06-26 cs.AI cs.SD eess.AS
NotaGen: Advancing Musicality in Symbolic Music Generation with Large Language Model Training Paradigms
Central Conservatory of Music（中央音乐学院）；University of Rochester（罗切斯特大学）；Beijing Flowingtech Ltd.（北京流音科技有限公司）；Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
本研究提出符号音乐生成模型NotaGen，采用LLM预训练、微调及CLaMP-DPO强化学习范式，在大量乐谱数据训练下提升生成质量与可控性，主观测试显示其优于基线模型，推动符号音乐生成的音乐美学发展。
2025-03-21 cs.AI cs.SD eess.AS
DiffuseRoll: Multi-track multi-category music generation based on diffusion model
Communication University of China（中国传媒大学）
生成模型的最新进展显示了音乐生成的显著进步。然而，现有的方法大多集中在生成单声道或谐音音乐，而生成具有丰富属性的多声道和多音轨音乐仍然是一个具有挑战性的任务。在本文中，我们提出了一种新的方法，多轨道，多属性的交响乐音乐生成使用扩散模型。具体来说，我们生成一个扩散模型的钢琴滚动表示，并将它们映射到输出的pixel格式。为了获取丰富的属性信息，我们引入了一个颜色编码方案，将音符序列编码为颜色和位置信息，表示音高，速度和乐器。该方案实现了离散音乐序列和连续图像之间的无缝映射。我们还提出了一种后处理方法来优化生成的分数，以获得更好的性能。实验结果表明，我们的方法优于国家的最先进的方法在复调音乐生成与丰富的属性信息相比，数字方法。
2023-03-14 cs.MM cs.SD eess.AS
MuseTok: Symbolic Music Tokenization for Generation and Semantic Understanding
University of California San Diego, USA（加州大学圣地亚哥分校）
提出符号音乐分词方法 MuseTok，通过 Transformer 编解码器与 RQ-VAE 生成兼顾高保真重建和音乐理论理解的编码，并在生成及旋律、和弦、情感等理解任务上验证优势。
2025-10-18 cs.AI cs.SD eess.AS
Combinatorial music generation model with song structure graph analysis
Seoul National University（首尔大学）
提出一种结合歌曲结构图分析与图神经网络及Unet的符号音乐生成模型，能生成结构完整的音乐，并具有音乐信息检索领域的多种应用潜力。
2023-12-24 cs.AI cs.SD eess.AS
ProGress: Structured Music Generation via Graph Diffusion and Hierarchical Music Analysis
Duke University（杜克大学）
本文提出ProGress框架，结合申克分析与DiGress离散扩散模型，解决现有音乐生成模型缺乏结构连贯性和可解释性的问题，支持用户控制生成过程，并在人类实验中表现优于现有方法。
2025-10-11 cs.LG cs.SD eess.AS
A Survey on Artificial Intelligence for Music Generation: Agents, Domains and Perspectives
University of Zaragoza（萨拉戈萨大学）
音乐是加德纳多元智能理论中的一种智能。人类如何感知和理解音乐仍在研究中，对于开发模仿此类过程的人工智能模型至关重要。人工智能音乐生成是近年来备受关注的新兴领域。在本文中，我们描述了人类如何创作音乐，以及新的人工智能系统如何通过比较该领域过去和最近的进展与音乐创作技术来模仿这种过程。为了理解人工智能模型和算法如何生成音乐以及未来可能出现的潜在应用，我们探索、分析和描述了参与音乐生成过程的代理：数据集、模型、界面、用户和生成的音乐。我们提到了可能受益于这一领域的可能应用，我们还提出了新的趋势和未来的研究方向，可以在未来探索。
2022-11-03 cs.AI cs.SD eess.AS
Music Generation with Temporal Structure Augmentation
在本文中，我们介绍了一种新的功能增强方法生成结构化的音乐作品，包括旋律和和声。所提出的方法增加了一个连接生成模型与倒计时到歌曲的结论和仪表标记作为额外的输入功能，以研究神经网络是否可以学习产生更美观和结构化的音乐输出的结果，增加输入数据的结构特征。采用LSTM细胞的RNN架构在有监督的序列学习设置中对诺丁汉民间音乐数据集进行训练，遵循音乐语言建模方法，然后应用于和声和旋律的生成。我们的实验表明，这两种类型的注释的预测性能有所提高。还使用在线图灵风格收听测试对所生成的音乐进行主观评估，该测试证实了使用时间结构生成的音乐的美学质量和感知结构的实质性改善。
2020-04-21 cs.LG cs.SD eess.AS
Differential Music: Automated Music Generation Using LSTM Networks with Representation Based on Melodic and Harmonic Intervals
University of Florida（佛罗里达大学）
本文提出了一种使用LSTM网络进行自动音乐合成的生成式人工智能模型，该模型采用了一种新的方法来编码音乐信息，该方法基于音乐中的运动而不是绝对音高。旋律被编码为一系列音程而不是一系列音高，和弦被编码为每个和弦音符在每个时步与旋律一起形成的一组音程。实验结果表明，承诺，因为他们的声音音乐和音调。这种方法也有弱点，主要是成分中的过度调制，但这是从编码的性质预期的。这一问题将在本文件后面讨论，是今后工作的一个潜在专题。
2021-08-23 cs.AI cs.SD eess.AS
Musical Form Generation
University of California, San Diego（加州大学圣迭戈分校）
本文提出一种结构化音乐生成方法，通过条件生成模型创建音乐片段并实现片段间过渡，将高层作曲提示与低层细节生成分离，并利用大型语言模型建议曲式，从而生成任意长度的连贯作品。
2023-10-30 cs.LG cs.SD eess.AS
DGFM: Full Body Dance Generation Driven by Music Foundation Models
University of Surrey（萨里大学）；Jiangnan University（江南大学）
提出基于扩散的DGFM方法，融合音乐基础模型高层特征与手工特征生成舞蹈动作，在对比中取得最逼真且与音乐匹配最佳的效果。
2025-02-27 cs.GR cs.SD eess.AS
MusFlow: Multimodal Music Generation via Conditional Flow Matching
School of Mathematics and Statistics, Shanxi University（山西大学数学与统计学院）
针对普通用户难写准确提示词的问题，提出MusFlow模型，通过条件流匹配和多模态对齐，从图像、文本等生成音乐；构建MMusSet数据集，实验表明其单/多模态输入下均能生成高质量音乐，推动音乐创作普及。
2025-04-18 cs.MM cs.SD eess.AS
SONIQUE: Video Background Music Generation Using Unpaired Audio-Visual Data
New York University（纽约大学）
SONIQUE利用非配对音视频数据，结合LLM视频理解与U-Net扩散模型，实现可定制的视频背景音乐生成，支持用户控制乐器、流派等音乐属性。
2025-02-26 cs.MM cs.SD eess.AS
Bridging Music and Text with Crowdsourced Music Comments: A Sequence-to-Sequence Framework for Thematic Music Comments Generation
University of Science and Technology of China（中国科学技术大学）；University of Arizona（亚利桑那大学）
我们认为一个新的任务，自动生成音乐的文本描述。与其他成熟的文本生成任务（如图像标题）相比，配对良好的音乐和文本数据集的稀缺性使其成为一项更具挑战性的任务。在本文中，我们利用众包音乐评论构建一个新的数据集，并提出了一个序列到序列模型来生成音乐的文本描述。更具体地说，我们使用膨胀卷积层作为编码器的基本组件，使用基于记忆的递归神经网络作为解码器。为了提高生成的文本的真实性和主题性，我们进一步提出了微调模型与一个新的主题评估器。为了衡量生成的文本的质量，我们还提出了两个新的评价指标，这是更符合人类的评价比传统的指标，如BLEU。实验结果表明，该模型能够生成流畅和有意义的评论，同时包含原始音乐的主题和内容信息。
2022-09-05 cs.CL cs.SD eess.AS
Evaluating Deep Music Generation Methods Using Data Augmentation
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
尽管在深度算法音乐生成方面取得了进展，但对所生成样本的评估通常依赖于主观且成本高昂的人工评估。我们专注于设计一个同质的，客观的框架来评估算法生成的音乐样本。任何评估生成音乐的工程测量通常试图定义样本的音乐性，但不捕获音乐的质量，如主题或情绪。我们不寻求评估生成的音乐的音乐价值，而是探索生成的样本是否包含有关情感或情绪/主题的有意义的信息。我们实现这一点，通过测量的音乐情绪/主题分类器的预测性能的变化后，增加其训练数据与生成的样本。我们分析了由三种模型生成的音乐样本-- SampleRNN、Juventure和DDSP --并在所有方法中采用了一个同质框架，以便进行客观比较。这是第一次尝试用有条件生成的音乐来增强音乐流派分类数据集。我们研究了使用深度音乐生成的分类性能改进，以及生成器通过使用数据集的附加情感注释来制作情感音乐的能力。最后，我们使用一个在真实数据上训练的分类器来评估类条件生成样本的标签有效性。
2021-12-31 cs.LG cs.SD eess.AS
MusicGen-Chord: Advancing Music Generation through Chord Progressions and Interactive Web-UI
Sogang University（西江大学）；Replicate
针对MusicGen无法利用和弦进行特征的局限，提出MusicGen-Chord模型将旋律色度向量改为多热编码和弦向量，结合和弦与文本生成音乐，还开发混音应用并集成到网络UI，提升音乐生成可控性与可访问性。
2024-11-30 cs.AI cs.LG cs.SD
ComMU: Dataset for Combinatorial Music Generation
Pozalabs（波扎实验室）；Yonsei Univ.（延世大学）
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐（例如，浪漫电影、动作游戏、餐馆等的音乐）。在本文中，我们介绍了组合音乐生成，一个新的任务，创造不同的背景音乐的基础上，给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本，并将其组合以产生完整的音乐。此外，我们介绍了ComMU，第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是：（1）数据集由专业作曲家手动构建，具有诱导规律性的客观指导原则，（2）它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明，我们可以生成不同的高品质的音乐，只有元数据，我们独特的元数据，如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频（https：//pozalabs.github.io/ComMU）。
2022-11-17 cs.AI cs.MM cs.SD
A Survey on Evaluation Metrics for Music Generation
University of Central Florida（中央佛罗里达大学）
本文针对音乐生成评估方法进展滞后的问题，构建了音频与符号音乐表示的评估指标分类体系，梳理出现有方法的核心局限，并提出了构建综合评估框架的未来研究方向。
2025-08-24 cs.MM cs.SD eess.AS
Symbolic Music Loop Generation with VQ-VAE
LG AI Research（LG人工智能研究院）
音乐是模式和节奏的重复。它可以通过以结构化的方式重复一定数量的小节来组成。在本文中，目标是生成一个循环的8个酒吧，可用作积木的音乐。即使考虑到音乐的多样性，我们也假设人类熟悉的音乐模式可以在有限集中定义。通过明确的规则从音乐中提取循环，我们发现离散表示足以对符号音乐序列进行建模。在VAE族中，VQ-VAE模型的音乐特性比其他模型更好地观察到。此外，为了强调音乐结构，我们已经将离散的潜在特征操作为重复的，从而使属性更加强化。大量的定量和定性实验来验证我们的假设。
2021-11-15 cs.MM cs.SD eess.AS
Structure-informed Positional Encoding for Music Generation
LTCI；Institut Polytechnique de Paris（巴黎综合理工学院）
针对深度学习音乐生成缺乏长期连贯性的问题，提出面向 Transformers 的结构感知位置编码框架及三种变体，并在两类符号音乐任务上验证其可提升旋律与结构一致性。
2024-02-28 cs.AI cs.SD eess.AS
Genre Controlled Music Generation via Activation Steering
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）
提出一种在推理时对自回归生成模型MusicGen进行干预的方法，利用线性探针权重引导残差流，实现细粒度的体裁控制。
2026-05-26 cs.AI cs.SD eess.AS
Structure-Enhanced Pop Music Generation via Harmony-Aware Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent Inc（腾讯公司）；Communication University of China（中国传媒大学）
长期以来，流行音乐生成一直是音乐家和科学家都很感兴趣的话题。然而，自动合成具有令人满意的结构的流行音乐仍然是一个具有挑战性的问题。在本文中，我们提出利用和声感知学习结构增强的流行音乐生成。一方面，和声的参与者之一和弦代表着多个音符的和声集合，它与音乐的空间结构织体紧密结合。另一方面，和声的另一个参与者和弦进行往往伴随着音乐的发展，促进了音乐的时间结构，即形式。而且，当和弦演变为和弦进行时，织体与曲式之间可以自然地通过和声进行衔接，这有助于两种结构的共同学习。此外，我们提出了Harmony-Aware Hierarchical Music Transformer（HAT），它可以从音乐中自适应地利用结构，并使音乐令牌分层交互，以增强多层次音乐元素的结构。实验结果表明，与现有的方法相比，HAT方法对音乐结构有更好的理解，能够提高生成音乐的质量，尤其是在形式和纹理方面。
2022-07-12 cs.LG cs.SD eess.AS
Music2Dance: DanceNet for Music-driven Dance Generation
Southeast University（东南大学）；Xmov；Texas A&M University（得克萨斯农工大学）
从音乐中合成人体动作，即，近年来，音乐舞蹈的研究引起了人们的广泛关注。这不仅是因为舞蹈对人体动作的真实性和复杂性的要求，更重要的是，合成的动作要与音乐的风格、节奏和旋律相一致。本文提出了一种新的自回归生成模型DanceNet，以音乐的风格、节奏和旋律为控制信号，生成具有高度真实感和多样性的三维舞蹈动作。为了提高我们提出的模型的性能，我们捕获了几个同步的音乐舞蹈对专业舞者，并建立了一个高质量的音乐舞蹈对数据集。实验表明，该方法可以达到最先进的结果。
2020-03-10 cs.CV cs.SD eess.AS
Mamba-Diffusion Model with Learnable Wavelet for Controllable Symbolic Music Generation
Centre for Digital Music Queen Mary University of London（数字音乐中心 威廉玛丽大学伦敦分校）
本文提出一种融合Transformer-Mamba模块与可学习小波变换的扩散模型，将符号音乐表示为钢琴卷帘图像，并通过无分类器引导实现目标和弦可控的符号音乐生成，在质量和可控性上优于强基线。
2025-05-06 cs.AI cs.SD eess.AS
Long-form music generation with latent diffusion
Stability AI
本文提出一种基于潜在扩散的长篇音乐生成模型，通过在高度下采样的连续潜在表示上训练diffusion-transformer，可从文本提示生成长达4m45s且结构连贯的完整音轨，在音频质量和提示对齐指标上达到SOTA。
2024-07-29 cs.LG cs.SD eess.AS
"I made this (sort of)": Negotiating authorship, confronting fraudulence, and exploring new musical spaces with prompt-based AI music generation
Division of Speech, Music and Hearing (TMH) KTH Royal Institute of Technology（语音、音乐与听觉系（TMH）皇家理工学院）
本文作者基于两张用前沿提示词AI音乐生成平台创作的专辑的创作经历，借助大语言模型采访展开自我反思，探讨AI音乐创作中的作者身份、音乐身份转变及新音乐空间等问题，并反思LLM介导自我反思的研究方法。
2025-07-31 cs.AI cs.SD eess.AS
Graph-based Polyphonic Multitrack Music Generation
University of Pisa（比萨大学）
本文提出一种新颖的音乐图表示和深度变分自编码器，分层分离生成音乐的结构与内容，支持指定乐器条件控制，实验证明其能生成调性节奏一致的音乐序列并有效组织潜在空间。
2023-07-27 cs.LG cs.SD eess.AS
Transferring neural speech waveform synthesizers to musical instrument sounds generation
National Institute of Informatics, Tokyo, Japan（日本东京国立信息学研究所）；Department of Signal Processing and Acoustics, Aalto University, Finland（芬兰阿尔托大学信号处理与声学系）
最近的神经波形合成器，如WaveNet、WaveGlow和神经源滤波器（NSF）模型，在语音合成中表现出良好的性能，尽管它们的波形生成方法不同。语音和音乐音频合成技术之间的相似性表明了在音乐领域应用语音合成器的最佳方式方面探索的有趣途径。这项工作比较了三种用于乐器声音生成的神经合成器在三种情况下：从音乐数据上从头开始训练，从语音域进行zero-shot学习，以及从语音到音乐域的基于微调的自适应。大规模感知测试的结果表明，当对语音数据进行预训练并对音乐数据进行微调时，三个合成器的性能有所改善，这表明来自语音数据的知识对于音乐音频生成的有用性。在这些合成器中，WaveGlow在zero-shot学习方面表现最好，而NSF在其他场景中表现最好，可以生成感知上接近自然音频的样本。
2019-11-19 cs.SD eess.AS stat.ML
A variational autoencoder for music generation controlled by tonal tension
University of Sussex（萨塞克斯大学）；Singapore University of Technology and Design（新加坡科技设计大学）
许多基于神经网络的音乐生成系统是完全自主的，并且不提供对生成过程的控制。在本研究中，我们提出了一个可控的音乐生成系统的音调张力。我们将基于螺旋阵列张力理论的两个音调张力测量纳入变分自编码器模型。这使我们能够控制整个生成作品的音调张力方向，以及音调张力的整体水平。给定源自用户输入或源自从潜在空间直接采样的种子音乐片段，模型可以生成具有改变的音调张力的该原始种子片段的变体。这种改变的音乐在节奏上仍然类似于种子音乐，但是音符的音高被改变以匹配由用户调节的期望音调张力。
2020-10-14 cs.SC cs.SD eess.AS
Cross-Modal Learning for Music-to-Music-Video Description Generation
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文研究音乐到MV描述生成，构建融合音乐与视觉信息的数据集并微调多模态模型，验证音乐可有效映射为文本描述，同时指出影响生成质量的关键数据因素与音乐属性。
2025-03-14 cs.AI cs.CL cs.MM
Vis2Mus: Exploring Multimodal Representation Mapping for Controllable Music Generation
NYU Shanghai（上海纽约大学）；Queen Mary University of London（伦敦玛丽女王大学）；Tencent Inc.（腾讯公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究探讨视觉艺术领域到音乐领域的表征映射，并以此作为控制音乐生成的有效抓手。与大多数纯数据驱动的多模态表示学习研究不同，我们采用了一种综合分析的方法，将深度音乐表示学习与用户研究相结合。这种方法使我们能够发现\textit{interpretable}表示映射，而无需大量的配对数据。特别地，我们发现视觉到音乐映射具有类似于等变的良好性质。换句话说，我们可以使用各种图像变换，比如改变亮度，改变对比度，风格转移，来控制音乐域中的相应变换。此外，我们还发布了Vis2Mus系统，作为符号音乐生成的可控接口。
2022-11-10 cs.LG cs.SD eess.AS
MusicScore: A Dataset for Music Score Modeling and Generation
The Chinese University of Hong Kong（香港中文大学）
本研究针对现有乐谱数据集规模有限、多面向OMR任务、缺乏音乐建模与生成专用大规模基准的问题，构建了源自IMSLP的多规模图文对数据集MusicScore，并基于UNet扩散模型搭建生成系统验证其基准价值，数据集已公开发布。
2024-06-17 cs.GR cs.MM cs.SD
