Video Background Music Generation: Dataset, Method and Evaluation
Beihang University（北京航空航天大学）；Edinburgh College of Art, University of Edinburgh（爱丁堡大学爱丁堡艺术学院）；Alibaba Group（阿里巴巴集团）
本文针对视频背景音乐自动生成任务，提出首个带丰富音乐标注的数据集SymMV、基准框架V-MusProd和检索式评估指标VMCP，实验证明其在音乐质量与视频对应性上优于现有方法。
2023-08-04 cs.CV cs.MM cs.SD
Foley Music: Learning to Generate Music from Videos
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们介绍了福利音乐，一个系统，可以合成似是而非的音乐，一个无声的视频剪辑的人演奏乐器。我们首先确定了两个关键的中间表示为一个成功的视频到音乐生成器：从视频和音频录制的视频事件的身体关键点。然后，我们制定音乐生成从视频作为一个运动到视频翻译的问题。我们提出了一个图形$-$ Transformer框架，可以准确地预测事件序列，根据身体运动。然后，可以使用现成的音乐合成器工具将音乐事件转换为逼真的音乐。我们证明了我们的模型在包含各种音乐表演的视频上的有效性。实验结果表明，我们的模型优于现有的几个系统在生成音乐，是愉快的听。更重要的是，这些音乐表现是完全可解释和透明的，从而使我们能够灵活地进行音乐编辑。我们鼓励读者观看演示视频，并打开音频以体验结果。
2020-07-21 cs.CV cs.LG cs.SD
GVMGen: A General Video-to-Music Generation Model with Hierarchical Attentions
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Shanghai Conservatory of Music（上海音乐学院）；School of Design and Fashion, Zhejiang University of Science and Technology（浙江科技学院设计与服装学院）
针对现有视频转音乐方法在音视频对应性和生成多样性上的不足，提出基于分层注意力的GVMGen模型，构建大规模数据集并设计评估指标，实验证明其在多方面性能优于现有模型。
2025-01-17 cs.AI cs.MM cs.SD
Video Background Music Generation with Controllable Music Transformer
Beihang University（北京航空航天大学）；Charterhouse School（查特豪斯公学）；Sea AI Lab
在这项工作中，我们解决的任务，视频背景音乐生成。以前的一些作品实现了有效的音乐生成，但无法生成针对特定视频的旋律音乐，并且没有考虑视频-音乐节奏的一致性。为了生成与给定视频匹配的背景音乐，我们首先建立视频和背景音乐之间的节奏关系。特别是，我们连接的时间，运动速度和运动显着性从视频与节拍，simu-note密度，simu-note强度从音乐，分别。然后，我们提出CMT，一个可控的音乐Transformer，使上述节奏特征的本地控制和音乐流派和乐器的全球控制。客观和主观评价表明，生成的背景音乐与输入视频具有良好的兼容性，同时具有令人印象深刻的音乐质量。代码和模型可在https://github.com/wzk1015/video-bgm-generation上获得。
2021-11-16 cs.MM cs.SD eess.AS
Video-to-Music Generation for Gameplay Videos
本文提出一种用于游戏视频的音乐生成模型，利用新数据集和冻结ViViT编码器，在客观指标上超越现有基线，参数减少18%。
2026-09-30 cs.AI cs.CV cs.MM
Video Echoed in Music: Semantic, Temporal, and Rhythmic Alignment for Video-to-Music Generation
VeM通过语义、时间和节奏对齐，生成高质量视频到音乐，提升视听沉浸感。
2025-12-12 cs.MM cs.SD
Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model
Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出Video2Music框架，利用情感多模态Transformer模型和MuVi-Sync数据集，从视频特征生成匹配情感的音乐，并通过后处理实现动态渲染，用户研究验证了其质量。
2024-03-04 cs.AI cs.SD eess.AS
MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出MuVi框架，通过视觉适配器提取视频语义与时间特征，并结合对比式音乐-视觉预训练和流匹配生成器，实现视频到音乐的高质量语义对齐与节奏同步生成。
2024-10-16 cs.CV cs.MM cs.SD
EXPOTION: Facial Expression and Motion Control for Multimodal Music Generation
本文提出 Expotion 模型，结合面部表情、上半身动作和文本提示生成音乐，并通过参数高效微调和时间平滑策略提升音画同步与生成质量，同时发布 7 小时同步视频-音乐数据集。
2025-07-07 cs.AI cs.CV cs.MM
YM2413-MDB: A Multi-Instrumental FM Video Game Music Dataset with Emotion Annotations
KAIST（韩国科学技术院）
现有的多乐器数据集倾向于偏向流行音乐和古典音乐。此外，它们通常缺乏高级注释，例如情感标签。在本文中，我们提出了YM 2413-MDB，一个80年代FM视频游戏音乐数据集与多标签情感注释。它包括来自80年代世嘉和MSX PC游戏的669个音频和MIDI音乐文件，使用YM 2413（一种基于FM的可编程声音发生器）。收集的游戏音乐是安排与一个子集的15个单声道乐器和一个鼓乐器。它们是从YM 2413声音芯片的二进制命令转换而来的。每首歌曲由两个注释者标记19个情感标签，并由三个验证者验证，以获得精炼的标签。我们提供的基线模型和结果的情感识别和情感条件的符号音乐生成使用YM 2413-MDB。
2022-11-14 cs.LG cs.MM cs.SD
Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
University of California San Diego（加利福尼亚大学圣地亚哥分校）；University of Michigan（密歇根大学）
该研究针对视频到音乐生成的可复现性问题，构建了OSSL-v2数据集，提出用对话作为条件信号的方法，在电影上评估后性能优于现有基线。
2026-08-13 cs.CV cs.MM cs.SD
Vision-to-Music Generation: A Survey
Shanghai Jiao Tong University（上海交通大学）；Music Tech Lab, DynamiX（音乐科技实验室，DynamiX）；Shanghai AI Laboratory（上海人工智能实验室）；Beijing Film Academy（北京电影学院）；Tsinghua University（清华大学）；McGill University（麦吉尔大学）；The Chinese University of Hong Kong（香港中文大学）
本文系统综述了视觉到音乐生成领域，涵盖视频和图像输入、符号和音频输出，总结方法、数据集与评估指标，并展望未来方向。
2025-03-27 cs.AI cs.CV cs.MM
VIBE: Video Instruction-aligned Background music gEneration
Dolby Laboratories（杜比实验室）；University of Maryland, College Park（马里兰大学帕克分校）
VIBE是一种新型文本与视频生成音乐模型，通过深度跨层条件机制与五阶段奖励建模优化，提升了音乐生成的可控性与指令依从性，在生成保真度上与多数基准模型相当。
2026-09-01 cs.AI cs.CL cs.CV
Dance Any Beat: Blending Beats with Visuals in Dance Video Generation
University of Sydney（悉尼大学）
针对现有舞蹈生成方法缺乏特定个体舞蹈视频生成能力、依赖关键点标注的问题，提出直接从个体图像生成音乐引导舞蹈视频的新任务，设计DabFusion模型，无需关键点标注即可生成特定个体舞蹈视频，在AIST++数据集上建立了该任务的坚实基线。
2024-11-28 cs.AI cs.CV cs.MM
Quantized GAN for Complex Music Generation from Dance Videos
Illinois Institute of Technology（伊利诺伊理工学院）；Snap Inc.（Snap公司）；Princeton University（普林斯顿大学）
我们提出了Dance2Music-GAN（D2M-GAN），这是一种新型的对抗性多模态框架，可以生成以舞蹈视频为条件的复杂音乐样本。我们提出的框架以舞蹈视频帧和人体运动作为输入，并学习生成音乐样本，这些音乐样本可以伴随相应的输入。与大多数现有的使用符号音频表示（例如，通常依赖于预定义的音乐合成器，在这项工作中，我们生成复杂风格的舞曲（例如，爆裂、断裂等）通过采用矢量量化（VQ）音频表示，并利用其符号和连续对应物的通用性和高抽象能力。通过在多个数据集上进行广泛的实验，并遵循全面的评估协议，我们评估了我们的提案对替代方案的生成质量。所获得的定量结果，衡量音乐的一致性，节拍的对应性，和音乐的多样性，证明了我们所提出的方法的有效性。最后但并非最不重要的是，我们策划了一个具有挑战性的舞蹈音乐数据集，这些数据集包含了TikTok视频，我们用它来进一步证明我们的方法在现实世界应用中的有效性，我们希望以此作为未来相关研究的起点。
2022-07-19 cs.CV cs.SD eess.AS
VidMusician: Video-to-Music Generation with Semantic-Rhythmic Alignment via Hierarchical Visual Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；WeChat, Tencent Inc.（腾讯公司微信业务）
针对视频到音乐生成的语义与节奏对齐难题，提出基于文本到音乐模型的VidMusician框架，利用分层视觉特征结合两阶段训练实现高效对齐，构建DVMSet数据集，实验证明其性能优于现有最优方法。
2024-12-09 cs.SD eess.AS
Controllable Video-to-Music Generation with Multiple Time-Varying Conditions
Zhejiang University（浙江大学）
针对现有视频到音乐生成缺乏可控性的问题，提出融合多种时变条件的两阶段多条件引导框架，通过特征选择、时间对齐、条件融合与控制解码提升生成控制和视听同步效果。
2025-07-28 cs.AI cs.MM cs.SD
Video Soundtrack Generation by Aligning Emotions and Temporal Boundaries
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)（系统与计算机工程研究所（INESC TEC））；ISEP, Polytechnic of Porto, School of Engineering（里斯本理工学院工程学院）
EMSYNC通过情感与时间边界对齐生成视频配乐，结合情感特征提取与条件音乐生成，实现更精准的音乐与视频内容匹配。
2026-02-05 cs.AI cs.LG cs.MM
Towards Video to Piano Music Generation with Chain-of-Perform Support Benchmarks
AI Lab, Giant Network（AI实验室，巨人网络）；University of Trento（特伦托大学）
针对视频生成钢琴音乐缺乏专门基准的问题，提出CoP基准数据集，提供多模态标注、多功能评估框架及完全开源，以促进高质量生成研究。
2025-05-26 cs.CV cs.SD eess.AS
Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis
Vienna University of Technology（维也纳技术大学）
本论文将音频分析与计算机视觉相结合，从多模态的角度研究音乐信息检索（MIR）任务。本论文的重点是音乐视频的视觉层所提供的信息，以及如何利用它来增强和改进MIR研究领域的任务。这项工作的主要假设是基于这样一种观察，即某些表达类别，如体裁或主题，可以在视觉内容的基础上单独识别，而不需要听到声音。这导致了一个假设，即存在一种用于表达情绪或体裁的视觉语言。在进一步的结果中，可以得出结论，该视觉信息是音乐相关的，并且因此应该有益于对应的MIR任务，诸如音乐流派分类或情绪识别。本文针对视觉信息的提取及其在不同任务中的应用进行了一系列的综合实验和评价。创建自定义数据集，其适合于开发和测试能够表示音乐相关信息的视觉特征。评估范围从低级视觉特征到通过深度卷积神经网络检索的高级概念。此外，引入了新的视觉功能，捕捉有节奏的视觉模式。在所有这些实验中，基于音频的结果作为视觉和视听方法的基准。本实验针对三个MIR任务艺术家识别、音乐体裁分类和跨体裁分类进行。实验表明，利用视觉概念检测获得的高级语义信息的视听方法，优于纯音频类型分类准确率16.43%。
2020-02-01 cs.CV cs.IR cs.MM
MuMu-LLaMA: Multi-modal Music Understanding and Generation via Large Language Models
Tencent PCG（腾讯平台与内容事业群）；National University of Singapore（新加坡国立大学）
针对多模态音乐理解与生成研究缺乏标注数据集的问题，该研究构建167.69小时多模态音乐数据集，提出整合多模态预训练编码器与AudioLDM 2、MusicGen的MuMu-LLaMA模型，在四项任务上性能超越现有最优模型。
2024-12-09 cs.MM cs.SD eess.AS
Dance2Music: Automatic Dance-driven Music Generation
Adobe（奥多比）；Facebook AI Research（脸书人工智能研究院）；Georgia Tech（佐治亚理工学院）
舞蹈和音乐通常是齐头并进的。舞蹈、音乐及其同步的复杂性使它们从计算创造力的角度研究起来非常有趣。虽然一些作品已经着眼于为给定的音乐生成舞蹈，但为给定的舞蹈自动生成音乐仍然未被探索。这种能力可以有几个创造性的表达和娱乐应用。我们在这个方向提出了一些早期的探索。我们提出了一种基于搜索的离线方法，在处理整个舞蹈视频后生成音乐，以及一种在线方法，该方法使用深度神经网络在视频进行时实时生成音乐。我们比较这些方法通过人类研究的一个强大的启发式基线，并提出我们的研究结果。我们已经将我们的在线方法集成到了现场演示中！演示视频可以在这里找到：https://sites.google.com/view/dance2music/live-demo。
2021-07-20 cs.MM cs.SD eess.AS
An adaptive music generation architecture for games based on the deep learning Transformer mode
PUC-Rio（里约热内卢天主教大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出了一种基于Transformer深度学习模型的视频游戏音乐生成架构。我们的动机是能够根据玩家的口味定制生成，玩家可以选择与他喜欢的音乐风格相对应的训练样本语料库。该系统生成各种音乐层，遵循当前设计视频游戏音乐的作曲家使用的标准分层策略。为了使生成的音乐适应游戏和玩家的情况，我们使用情绪的唤醒-效价模型，以控制音乐层的选择。我们讨论了当前的局限性和未来的前景，如音乐组件的协作和交互式控制。
2022-09-10 cs.LG cs.MM cs.SD
Video-Guided Text-to-Music Generation Using Public Domain Movie Collections
为解决音乐生成系统难以捕捉真实电影制作细微差别的问题，研究引入了公有领域电影数据集 OSSL，并提出一种视频适配器，通过添加视频条件增强自回归 transformer 文本到音乐模型，有效提升了 MusicGen-Medium 的生成保真度与主观兼容性。
2025-06-27 cs.MM cs.SD eess.AS
JEN-1: Text-Guided Universal Music Generation with Omnidirectional Diffusion Models
Futureverse AI Research（未来视AI研究）
本文提出JEN-1，一个结合自回归与非自回归训练的扩散模型，通过上下文学习实现文本引导音乐生成、修复与续写，在文本-音乐对齐和音乐质量上优于现有方法并保持计算效率。
2025-05-07 cs.AI cs.LG cs.MM
MusicLayout: Explicit Structural Planning for Controllable Text-to-Music Generation
College of Artificial Intelligence, Zhejiang University（浙江大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Innovation Center of Yangtze River Delta, Zhejiang University（浙江大学长三角创新中心）；The Chinese University of Hong Kong（香港中文大学）；Shandong University（山东大学）；Chu Kochen Honors College, Zhejiang University（浙江大学竺可桢学院）；Ant Group（蚂蚁集团）
针对文本生成音乐结构隐含难控的问题，提出MusicLayout显式中间表示，将其集成到统一自回归框架实现布局级控制，实验证实该方法可改进音乐长程结构组织并支持布局级控制。
2026-08-17 cs.AI cs.MM cs.SD
Music for All: Representational Bias and Cross-Cultural Adaptability of Music Generation Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文量化了音乐生成模型对非西方流派仅5.7%数据覆盖的偏差，并通过PEFT技术在MusicGen和Mustango上的实验，揭示了小数据集跨文化适应的潜力与挑战，呼吁构建更公平的跨文化迁移学习基础模型。
2025-05-06 cs.AI cs.CL cs.LG
EmoGen: Eliminating Subjective Bias in Emotional Music Generation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Nanjing University（南京大学）；National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）
EmoGen通过情感相关音乐属性作为中间桥梁，将情感音乐生成分解为有监督聚类的情感到属性映射和自监督的属性到音乐生成两个阶段，从而消除情感标签主观偏差，在情感控制准确度和音乐质量上均优于以往方法。
2023-07-03 cs.AI cs.LG cs.MM
MusicGen-Chord: Advancing Music Generation through Chord Progressions and Interactive Web-UI
Sogang University（西江大学）；Replicate
针对MusicGen无法利用和弦进行特征的局限，提出MusicGen-Chord模型将旋律色度向量改为多热编码和弦向量，结合和弦与文本生成音乐，还开发混音应用并集成到网络UI，提升音乐生成可控性与可访问性。
2024-11-30 cs.AI cs.LG cs.SD
ComMU: Dataset for Combinatorial Music Generation
Pozalabs（波扎实验室）；Yonsei Univ.（延世大学）
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐（例如，浪漫电影、动作游戏、餐馆等的音乐）。在本文中，我们介绍了组合音乐生成，一个新的任务，创造不同的背景音乐的基础上，给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本，并将其组合以产生完整的音乐。此外，我们介绍了ComMU，第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是：（1）数据集由专业作曲家手动构建，具有诱导规律性的客观指导原则，（2）它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明，我们可以生成不同的高品质的音乐，只有元数据，我们独特的元数据，如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频（https：//pozalabs.github.io/ComMU）。
2022-11-17 cs.AI cs.MM cs.SD
MusicAIR: A Multimodal AI Music Generation Framework Powered by an Algorithm-Driven Core
Stanford University（斯坦福大学）；George Mason University（乔治·马歇尔大学）
MusicAIR通过算法驱动的核心生成音乐，能从歌词、文本和图像生成符合音乐理论的旋律谱，提升音乐创作效率并降低入门门槛。
2025-11-21 cs.AI cs.CL cs.MM
musicaiz: A Python Library for Symbolic Music Generation, Analysis and Visualization
University of Zaragoza（萨拉戈萨大学）
在这篇文章中，我们提出了musicaiz，一个面向对象的图书馆分析，生成和评估符号音乐。该软件包的子模块允许用户从头开始创建符号音乐数据，构建分析符号音乐的算法，将符号数据编码为令牌以训练深度学习序列模型，修改现有音乐数据并评估音乐生成系统。评估子模块建立在以前的工作，客观地衡量音乐生成系统，并能够重现音乐生成模型的结果。图书馆在网上公开。我们鼓励社区作出贡献并提供反馈。
2022-09-16 cs.MM cs.SD eess.AS
Multi-Instrumentalist Net: Unsupervised Generation of Music from Body Movements
University of Washington（华盛顿大学）
我们提出了一个新的系统，作为一个输入的音乐家演奏乐器的身体动作，并在无人监督的设置生成音乐。学习从视频中生成多乐器音乐而不标记乐器是一个具有挑战性的问题。为了实现转换，我们构建了一个名为“Multi-instrumentalistNet”（MI Net）的管道。在其基础上，流水线使用具有多带残差块的矢量量化变分自编码器（VQ-VAE）从对数谱图学习各种乐器音乐的离散潜在表示。然后，管道与自回归先验一起训练，该先验以音乐家的身体关键点运动为条件，由递归神经网络编码。先前与身体动作编码器的联合训练成功地将音乐分解为指示音乐成分和乐器特征的潜在特征。潜在的空间导致分布聚集成不同的乐器，从中可以产生新的音乐。此外，VQ-VAE架构支持具有额外调节的详细音乐生成。我们表明，一个MIDI可以进一步条件的潜在空间，使管道将生成的音乐的确切内容正在播放的乐器在视频中。我们在两个包含13种乐器视频的数据集上评估MI Net，并获得具有合理音频质量的生成音乐，易于与相应乐器相关联，并与音乐音频内容一致。
2020-12-07 cs.CV cs.SD eess.AS
MMM : Exploring Conditional Multi-Track Music Generation with the Transformer
Simon Fraser University（西蒙弗雷泽大学）
我们提出了多轨音乐机（MMM），生成系统的基础上的Transformer架构，能够生成多轨音乐。与以前的工作，它表示音乐材料作为一个单一的时间顺序序列，其中对应于不同的轨道的音乐事件是交错的，我们创建一个时间顺序序列的音乐事件为每个轨道，并连接到一个单一的序列的几个轨道。这利用了Transformer的注意力机制，它可以熟练地处理长期依赖关系。我们探讨了各种表示如何在生成时为用户提供高度的控制，提供了一个交互式演示，可容纳轨道级和酒吧级修复，并提供对轨道仪器和注意密度的控制。
2020-08-20 cs.LG cs.MM cs.SD
Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Edinburgh（爱丁堡大学）；Meitu Inc（美图公司）；The Chinese University of Hong Kong（香港中文大学）；Beihang University（北京航空航天大学）
针对多模态音乐生成存在的数据稀缺、跨模态对齐弱等问题，提出带文本与音乐显式桥接的VMB方法，显著提升音乐生成质量与可控性，树立该领域新标杆。
2024-12-12 cs.CV cs.MM cs.SD
LSTM Networks for Music Generation
Lanzhou University（兰州大学）
本文提出了一种基于LSTM（长短期记忆）的音乐生成方法，对比了不同网络结构对音乐生成的影响，并介绍了一些研究者使用的其他方法。
2020-06-16 cs.LG cs.SD eess.AS
Diff-V2M: A Hierarchical Conditional Diffusion Model with Explicit Rhythmic Modeling for Video-to-Music Generation
针对视频转音乐生成中缺乏显式节奏建模和视觉特征整合难的问题，提出Diff-V2M分层条件扩散框架，通过节奏预测器、分层交叉注意力及时间步感知融合策略，在域内外数据集上实现更优的视听对齐和音乐生成性能。
2025-11-12 cs.AI cs.SD eess.AS
Dance2MIDI: Dance-driven multi-instruments music generation
Zhejiang University（浙江大学）；National University Singapore（新加坡国立大学）；Bytedance AI Lab（字节跳动人工智能实验室）；Beijing Film Academy（北京电影学院）
本文针对舞蹈驱动的多乐器MIDI生成问题，构建首个舞蹈-MIDI配对数据集D2MIDI，并提出Dance2MIDI框架，通过图卷积编码舞蹈动作、Transformer生成鼓轨及BERT式模型补全其余音轨，取得最先进性能。
2024-02-27 cs.MM cs.SD eess.AS
M$^{2}$UGen: Multi-modal Music Understanding and Generation with the Power of Large Language Models
ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；National University of Singapore（新加坡国立大学）
针对大语言模型结合多模态音乐理解与生成的研究空白，提出M$^{2}$UGen框架，整合多类预训练模型与LLaMA 2，借助自建数据集训练，性能达当前SOTA水平。
2024-12-09 cs.MM cs.SD eess.AS
Enhancing Dance-to-Music Generation via Negative Conditioning Latent Diffusion Model
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Cisco Research（思科研究）
本文提出PN-Diffusion，通过同时利用正负节奏条件训练双重扩散模型，在AIST++和TikTok数据集上显著提升了舞蹈到音乐生成的节拍对齐与音乐质量，超越现有最优方法。
2025-03-28 cs.CV cs.SD eess.AS
MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT
Hokkaido University（北海道大学）
本文提出MMT-BERT框架，结合MusicLang和弦分析的新型符号音乐表示与微调MusicBERT判别器，解决多轨符号音乐生成中和弦信息缺失与架构适配问题，提升生成音乐的协和性与人性化。
2024-09-02 cs.AI cs.SD eess.AS
Do Music Generation Models Encode Music Theory?
Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
本文通过构建合成音乐理论数据集SynTheory并提出探测框架，系统评估了Jukebox和MusicGen等音乐基础模型对速度、音高、和弦等音乐理论概念的内部编码程度，发现这些概念可被辨识且可检测性随模型规模和层级变化。
2024-10-01 cs.AI cs.CL cs.LG
A Comprehensive Survey on Deep Music Generation: Multi-level Representations, Algorithms, Evaluations, and Future Directions
Xi’an Jiaotong University（西安交通大学）
利用深度学习技术生成各种内容（如图像、文本等）已经成为一种趋势。尤其是音乐，本文的选题，引起了无数研究者的广泛关注，音乐产生的整个过程可以分为三个阶段，对应着音乐生成的三个层次：分数生成产生分数，性能生成将性能特征添加到分数，音频生成通过指定音色将具有演奏特征的乐谱转换成音频或直接生成音频格式的音乐。以前的调查已经探讨了在自动音乐生成领域采用的网络模型。然而，同一音乐生成任务的发展历史、模式演变以及利弊却没有得到清晰的说明。本文试图对不同音乐生成水平下的各种作曲任务进行概述，涵盖了目前流行的大部分使用深度学习的音乐生成任务。此外，我们总结了适合不同任务的数据集，讨论了音乐表示，评估方法以及在不同水平下的挑战，最后指出了几个未来的发展方向。
2020-11-13 cs.LG cs.SD eess.AS
Music Understanding LLaMA: Advancing Text-to-Music Generation with Question Answering and Captioning
Tencent PCG（腾讯平台与内容事业群）；National University of Singapore（新加坡国立大学）
针对文本到音乐生成缺乏带字幕的大规模公开数据集的问题，提出能完成音乐问答与字幕生成的MU-LLaMA模型，配套构建MusicQA数据集，实验显示其性能超越现有SOTA模型。
2023-08-22 cs.AI cs.CL cs.MM
SDMuse: Stochastic Differential Music Editing and Generation via Hybrid Representation
Zhejiang University（浙江大学）；Sea AI Lab（Sea人工智能实验室）
虽然深度生成模型已经赋予了音乐生成能力，但以细粒度编辑现有音乐作品仍然是一个具有挑战性且未充分探索的问题。在本文中，我们提出了SDMuse，一个统一的随机差分音乐编辑和生成框架，它不仅可以从头开始组成一个完整的音乐作品，但也可以修改现有的音乐作品在许多方面，如组合，延续，修补，和风格转移。拟议的SDM使用遵循两个阶段的管道，以实现音乐生成和编辑的混合表示，包括钢琴和MIDI事件的顶部。特别地，SDMuse首先通过基于扩散模型生成先验的随机微分方程（Stochastic Differential Equation，简称SDMS）迭代地去噪来生成/编辑pianoroll，然后细化所生成的pianoroll并自动回归地预测MIDI事件标记。我们评估我们的方法在ailabs 1 k7流行音乐数据集上生成的音乐在各种音乐编辑和生成任务的质量和可控性。实验结果表明，我们提出的随机差分音乐编辑和生成过程，以及混合表示的有效性。
2022-11-02 cs.MM cs.SD eess.AS
Song From PI: A Musically Plausible Network for Pop Music Generation
University of Toronto（多伦多大学）
我们提出了一个新的框架生成流行音乐。我们的模型是一个分层的递归神经网络，其中层次的层和结构编码了我们关于流行音乐是如何组成的先验知识。特别是，底层产生旋律，而更高的层次产生鼓和和弦。我们进行了几项人类研究，显示我们生成的音乐比Google最近的方法产生的音乐更受欢迎。我们还展示了我们的框架的两个应用：神经舞蹈和卡拉OK，以及神经故事唱歌。
2016-11-10 cs.AI cs.SD
Analyzable Chain-of-Musical-Thought Prompting for High-Fidelity Music Generation
Kunlun Inc.（昆仑公司）
针对自回归音乐生成模型缺乏人类创作连贯性的问题，提出MusiCoT，利用CLAP模型构建乐思链，先规划整体结构再生成音频，提升音乐连贯性与创造性，性能优于现有模型。
2025-03-25 cs.AI cs.MM cs.SD
Music SketchNet: Controllable Music Generation via Factorized Representations of Pitch and Rhythm
UC San Diego（加州大学圣地亚哥分校）
与自动图像完成系统进行类比，我们提出了音乐SketchNet，一个神经网络框架，允许用户指定部分音乐的想法指导自动音乐生成。我们专注于在不完整的单声道音乐作品中生成缺失的小节，以周围背景为条件，并可选地由用户指定的音高和节奏片段指导。首先，我们介绍了SketchVAE，一种新的变分自编码器，明确因式分解节奏和音高轮廓，形成我们提出的模型的基础。然后，我们介绍了两个有区别的架构，SketchInpainter和SketchConnector，结合执行指导音乐完成，填充表示为周围的上下文和用户指定的片段的条件下缺失的措施。我们评估SketchNet的爱尔兰民间音乐的标准数据集，并与最近的作品模型进行比较。当用于音乐完成时，我们的方法在客观指标和主观听力测试方面都优于最先进的方法。最后，我们证明了我们的模型可以成功地将用户指定的片段在生成过程中。
2020-08-04 cs.LG cs.MM cs.SD
Personalized Popular Music Generation Using Imitation and Structure
Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
近年来，音乐生成出现了许多实践。虽然使用深度学习技术的风格音乐生成已成为主流，但这些模型仍难以生成具有高音乐性、不同层次音乐结构和可控性的音乐。此外，音乐治疗等更多应用场景需要从几个给定的音乐示例中模仿出更具体的音乐风格，而不是捕捉大型数据语料库的整体流派风格。为了解决挑战当前深度学习方法的需求，我们提出了一种统计机器学习模型，该模型能够从给定的示例种子歌曲中捕获和模仿结构、旋律、和弦和低音风格。使用10首流行歌曲的评估表明，我们的新表示和方法能够创建高质量的风格音乐，是类似于一个给定的输入歌曲。我们还讨论了我们的方法在音乐评价和音乐治疗的潜在用途。
2021-05-10 cs.AI cs.SD eess.AS
Flexible Control in Symbolic Music Generation via Musical Metadata
LG AI Research（LG人工智能研究院）
本研究提出一种以音乐元数据为输入的自回归符号音乐生成模型，通过训练时随机丢弃元数据词元实现灵活控制，经多维度实验及主观测试验证，其在控制性和音乐质量上均优于其他模型。
2024-08-28 cs.MM cs.SD eess.AS
ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models
Baidu Inc.（百度公司）
本文提出ERNIE-Music，利用扩散模型和自由形式文本提示实现文本到波形音乐生成，并通过弱监督构建数据集，在多样性、质量及文本-音乐相关性上显著超越已有方法。
2023-09-21 cs.AI cs.CL cs.MM
MusicFlow: Cascaded Flow Matching for Text Guided Music Generation
University of Oxford（牛津大学）；Meta
本文提出级联流匹配模型 MusicFlow，通过两个网络建模语义与声学特征并结合掩码预测，实现高质量文本到音乐生成及零样本填充、续写。
2024-10-27 cs.AI cs.SD eess.AS
Long-Form Text-to-Music Generation with Adaptive Prompts: A Case Study in Tabletop Role-Playing Games Soundtracks
Universidade Federal de Viçosa（维索萨联邦大学）
本文提出Babel Bardo系统，利用LLM将语音转录转为音乐描述，生成TRPG配乐，实验表明详细描述提升音频质量，描述一致性增强故事对齐与过渡平滑。
2025-05-21 cs.AI cs.MM cs.NE
The Interpretation Gap in Text-to-Music Generation Models
Queen Mary University of London（伦敦玛丽女王大学）
针对文本到音乐生成模型与人类音乐家协作能力有限的问题，提出含表达、解释、执行的音乐交互框架，指出核心差距在解释阶段，给出两种解决策略并呼吁学界攻关以提升人机音乐协作水平。
2024-07-14 cs.AI cs.SD eess.AS
