MeloTrans: A Text to Symbolic Music Generation Model Following Human Composition Habit
Communication University of China（中国传媒大学）
本文提出MeloTrans文本到符号音乐生成模型，通过构建首个含音乐动机及变体标签的POP909_M数据集，将人类动机发展规则与神经网络学习能力结合，在音乐性和多样性上超越现有模型及ChatGPT-4。
2024-10-17 cs.MM cs.SD eess.AS
CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning
University of California, San Diego（加州大学圣地亚哥分校）
CSyMR-Bench通过工具增强的检索和推理框架，在符号音乐推理中实现组合音乐信息检索的准确率提升。
2026-02-27 cs.AI cs.CL cs.LG
Bach in 2014: Music Composition with Recurrent Neural Network
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个使用弹性传播（RProp）和长短期记忆（LSTM）循环神经网络的计算机音乐创作框架。在本文中，我们展示了LSTM网络通过展示其重新创建音乐的能力来正确学习音乐作品的结构和特征。我们还表明，预测现有的音乐使用RProp优于反向传播通过时间（BPTT）。
2014-12-14 cs.AI cs.NE
ComposerX: Multi-Agent Symbolic Music Composition with LLMs
University of Rochester（罗切斯特大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hong Kong University of Science and Technology（香港科技大学）；University of Surrey（萨里大学）；The University of Manchester（曼彻斯特大学）；Queen Mary University of London（伦敦玛丽女王大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出多智能体符号音乐生成框架ComposerX，利用大语言模型的推理能力与音乐知识库，显著提升GPT-4的作曲质量，可生成旋律动人且符合用户指令的连贯复调音乐。
2024-04-30 cs.AI cs.CL cs.LG
An interactive music infilling interface for pop music composition
University of Sussex（萨塞克斯大学）
人工智能（AI）已广泛应用于音乐生成主题，如延续、旋律/和声生成、流派转移和音乐填充应用。尽管人们对将人工智能应用于音乐的兴趣激增，但音乐家们仍然很少有界面可以利用人工智能技术的最新进展。这使得这些工具在实践中不太有价值，并且如果不在实际场景中使用它们，就很难找到其优点/缺点。本工作建立了一个最大的补丁交互式音乐填充应用程序与不同层次的控制，包括轨道密度/复调/占用率和酒吧音调张力控制。用户可以选择旋律/低音/和声音轨作为最多16小节的填充内容。填充算法基于作者以前的工作，接口向托管在云中的AI系统发送/接收消息。这个界面降低了人工智能技术的门槛，可以生成所选内容的不同变体。这些结果可以为音乐家的创作提供多种选择，交互过程实现了AI填充系统的价值。
2022-03-23 cs.HC cs.MM cs.SD
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University（东京城市大学）
本研究提出集成多个RNN模型的交互式旋律生成系统，可基于用户反馈适配创作意图，经不同背景作曲家实验验证能促进音乐创造力，为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
Applications and Advances of Artificial Intelligence in Music Generation:A Review
Keystone Academy（鼎石学校）；XrayBot AI Lab（XrayBot人工智能实验室）
本文系统综述AI音乐生成的技术、模型、数据集、评估与应用，提出分类比较框架并指出质量评估挑战及未来方向。
2024-09-03 cs.AI cs.SD eess.AS
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo（滑铁卢大学）
电子音乐艺术家和声音设计师有独特的工作流程实践，需要专门的方法来开发音乐信息检索和创造力支持工具。此外，电子乐器，如模块化合成器，具有近乎无限的声音创作可能性，可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的，不可能复制。出于这个原因，许多电子流派的音乐家在录音室工作时一直录制音频输出。因此，艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中，我们描述了LyricJam Sonic --一种新颖的创作工具，让音乐家重新发现他们以前的录音，将它们与其他录音重新联系起来，并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段，并使用它们生成新的歌词线，这些歌词线又用于找到其他片段，从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态，而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行，或者以现场表演模式运行，其中艺术家播放现场音乐，而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
Aligning Generative Music AI with Human Preferences: Methods and Challenges
本文针对现有生成式音乐AI难以匹配人类细微偏好的问题，梳理现有偏好对齐技术路径与音乐领域特有挑战，展望相关应用方向并呼吁跨学科研究打造适配人类需求的音乐AI。
2025-11-19 cs.AI cs.SD eess.AS
NotaGen: Advancing Musicality in Symbolic Music Generation with Large Language Model Training Paradigms
Central Conservatory of Music（中央音乐学院）；University of Rochester（罗切斯特大学）；Beijing Flowingtech Ltd.（北京流音科技有限公司）；Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
本研究提出符号音乐生成模型NotaGen，采用LLM预训练、微调及CLaMP-DPO强化学习范式，在大量乐谱数据训练下提升生成质量与可控性，主观测试显示其优于基线模型，推动符号音乐生成的音乐美学发展。
2025-03-21 cs.AI cs.SD eess.AS
Music transcription modelling and composition using deep learning
Queen Mary University of London（伦敦玛丽女王大学）；INRS-EMT（加拿大国家科学研究院-能源材料电信研究所）；Kingston University（金斯顿大学）；Ghent University（根特大学）
我们将深度学习方法，特别是长短期记忆（LSTM）网络应用于音乐转录建模和作曲。我们使用大约23，000个用高级词汇表（ABC符号）表示的音乐transanks来构建和训练LSTM网络，并使用它们来生成新的transanks。我们的实际目标是创建音乐转录模型在特定的音乐创作环境中有用。我们从三个角度呈现结果：1）在群体水平上，比较训练转录集和生成转录集的描述性统计; 2）在个体水平上，检查生成转录如何反映训练转录（凯尔特民间）中的音乐实践惯例; 3）在应用水平上，使用该系统进行音乐创作中的想法生成。我们将我们的数据集、软件和声音示例开放和可用：\url{https://github.com/IraKorshunova/folk-rnn}。
2016-04-29 cs.LG cs.SD
MusiChat: Vibe Composing for Music Creation
Stanford University（斯坦福大学）；George Mason University（乔治梅森大学）；IntelliSky（智能天空）
研究针对AI音乐创作中迭代难问题，提出MusiChat系统，通过分层可控框架、记忆增强架构及混合意图路由机制，实现人机协作音乐创作，经评估在交互准确率和用户喜好比例上表现良好，支持多轮音乐创作和人机共创。
2026-07-29 cs.AI cs.SD
ByteComposer: a Human-like Melody Composition Method based on Language Model Agent
ByteDance AI Lab（字节跳动人工智能实验室）
针对现有旋律创作系统缺乏人类对齐性与可解释性的问题，提出模拟人类创作四步流程的ByteComposer智能体框架，融合大语言模型与符号音乐生成模型，经实验与专业评估达到新手作曲家水平。
2024-03-07 cs.AI cs.SD eess.AS
Dialogue in Resonance: An Interactive Music Piece for Piano and Real-Time Automatic Transcription System
Graduate School of Culture Technology, KAIST（文化科技研究生院，韩国科学技术院）
本文提出交互式音乐作品《共鸣中的对话》，将实时自动音乐转录整合到基于乐谱的框架中，实现人类钢琴家与计算机控制钢琴之间的动态对话，并介绍了从作曲到首演的开发过程。
2025-05-22 cs.AI cs.SD eess.AS
ComMU: Dataset for Combinatorial Music Generation
Pozalabs（波扎实验室）；Yonsei Univ.（延世大学）
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐（例如，浪漫电影、动作游戏、餐馆等的音乐）。在本文中，我们介绍了组合音乐生成，一个新的任务，创造不同的背景音乐的基础上，给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本，并将其组合以产生完整的音乐。此外，我们介绍了ComMU，第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是：（1）数据集由专业作曲家手动构建，具有诱导规律性的客观指导原则，（2）它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明，我们可以生成不同的高品质的音乐，只有元数据，我们独特的元数据，如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频（https：//pozalabs.github.io/ComMU）。
2022-11-17 cs.AI cs.MM cs.SD
Exploring Inherent Properties of the Monophonic Melody of Songs
Peking University（北京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
旋律是音乐中最重要的组成部分之一。与音乐理论中的和声、对位等其他成分不同，旋律的可计算特征是一个迫切需要解决的问题。这些功能是非常需要的数据驱动方法占主导地位的领域，如音乐信息检索和自动音乐合成。为了提高与深度学习相关的音乐任务的性能，我们提出了一组用于计算目的的单声道旋律的可解释特征。这些特征不仅以数学形式定义，而且还考虑到作曲家的直觉。例如，旋律重心可以反映旋律的逐段轮廓，局部/全局旋律动态量化在句子中耦合音高和时间的旋律的动态。我们发现，这些特点被人们普遍认为是在许多体裁的歌曲，甚至是无调性的创作实践。希望这些旋律特征能为未来的研究者提供新的灵感，作为MIR和自动作曲领域的工具。
2020-03-20 cs.AI cs.SD eess.AS
NONOTO: A Model-agnostic Web Interface for Interactive Music Composition by Inpainting
Sony CSL（索尼计算机科学实验室）
基于inpainting的生成建模允许通过让用户使用统计模型对对象执行风格上一致的本地版本来刺激人机交互。我们提出了NONOTO，一个新的交互式音乐生成接口的基础上修补模型。它既针对研究人员，通过提供简单灵活的API，允许他们将自己的模型与界面连接起来，也针对音乐家，提供行业标准功能，如音频播放，实时音频输出和使用Ableton Link与DAW直接同步。
2019-07-23 cs.HC cs.LG cs.SD
Discovering "Words" in Music: Unsupervised Learning of Compositional Sparse Code for Symbolic Music
Central Conservatory of Music（中央音乐学院）；Department of Industrial Engineering, Ajou University（Ajou大学工业工程系）；Alibaba Group（阿里巴巴集团）；Bigai；Peking University（北京大学）
本文提出基于EM的两阶段无监督框架，从符号音乐中学习可组合的稀疏“音乐词汇”，以IoU 0.61匹配专家标注，并服务于AI音乐与音乐学分析。
2025-09-29 cs.CV cs.SD
Mode-conditioned music learning and composition: a spiking neural network inspired by neuroscience and psychology
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与类脑智能技术重点实验室）
针对现有音乐AI忽略调式多样性的问题，提出受脑机制与心理学启发的多子系统协同脉冲神经网络，通过神经环路进化学习生成指定调式音乐，兼具调性与旋律适应性，架起人类认知与AI的桥梁。
2025-01-14 cs.AI cs.SD eess.AS
A Review of Intelligent Music Generation Systems
College of Electric and Information Engineering, Tongji University（同济大学电子与信息工程学院）；Shanghai Conservatory of Music（上海音乐学院）
本文综述了近期智能音乐生成技术，概述其特点与评估方法，比较东西方技术差异，并分析该领域的发展前景。
2023-11-17 cs.AI cs.MM cs.SD
Diff-Symbo: Text-Controlled Long-Duration Symbolic Music Generation Using Autoregressive Latent Diffusion Model
Diff-Symbo借助LDM与自回归方法，结合含19345个文本模板的数据集，实现了文本控制的长时长高质量符号音乐生成，在多项指标上优于基线模型。
2026-08-07 cs.SD eess.AS
MusicAIR: A Multimodal AI Music Generation Framework Powered by an Algorithm-Driven Core
Stanford University（斯坦福大学）；George Mason University（乔治·马歇尔大学）
MusicAIR通过算法驱动的核心生成音乐，能从歌词、文本和图像生成符合音乐理论的旋律谱，提升音乐创作效率并降低入门门槛。
2025-11-21 cs.AI cs.CL cs.MM
CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
针对音乐生成模型缺乏有效评估机制的问题，提出CMI-RewardBench基准，包含大规模偏好数据集和参数高效奖励模型，实现多模态指令下的音乐质量评估。
2026-06-12 cs.AI cs.LG cs.MM
Composition by Conversation
Stevens Institute of Technology（史蒂文斯理工学院）；University of Arizona（亚利桑那大学）
大多数音乐程序设计语言纯粹是为了编码虚拟乐器或算法作曲而开发的。尽管在用于音乐信息检索的音乐查询语言领域中已经有了一些工作，但是几乎没有尝试将音乐编程和查询语言的原理与认知和自然语言处理模型统一起来，这将促进通过对话进行创作的活动。我们提出了一个原型框架，称为MusECI，合并这些领域，允许在文本编辑器中的分数级算法组成，同时还支持连接到现有的自然语言处理框架。
2017-09-07 cs.CL cs.IR cs.PL
An Interdisciplinary Review of Music Performance Analysis
Georgia Institute of Technology（佐治亚理工学院）
音乐表演呈现乐谱的声学实现或作品的其他表示。相同作品的不同演奏可能在演奏参数（诸如定时或动态）方面有所不同，并且这些变化可能对收听者如何感知音乐具有重大影响。传统上，音乐表演的分析一直是MIR研究界的外围话题，其中通常使用单个音频记录作为音乐作品的代表。本文从几个方面综述了音乐表演分析（MPA）领域，包括表演参数的测量，这些参数与表演者的动作和意图或对听众的感知效果的关系，以及最后对音乐表演的评估。本文还讨论了MPA，因为它涉及到MIR，指出在这两个领域的合作和未来的研究机会。
2021-04-19 cs.DL cs.SD eess.AS
Combinatorial music generation model with song structure graph analysis
Seoul National University（首尔大学）
提出一种结合歌曲结构图分析与图神经网络及Unet的符号音乐生成模型，能生成结构完整的音乐，并具有音乐信息检索领域的多种应用潜力。
2023-12-24 cs.AI cs.SD eess.AS
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Language Models are Drummers: Drum Composition with Natural Language Pre-Training
University of Pennsylvania（宾夕法尼亚大学）
使用人工智能自动音乐生成通常需要大量数据，对于许多不太常见的流派和乐器来说，这是很难获得的。为了解决这个问题，我们提出了正在进行的工作和初步发现，即通过微调在仅数百个MIDI文件的海量文本语料库上预训练的大语言模型，深度模型将知识从语言转移到音乐的可能性。鼓表演。我们证明，通过这样做，最大的，最先进的模型之一（GPT3）能够生成合理的鼓槽，而没有预先训练的模型（Transformer）除了天真的重复之外没有显示出这种能力。评估生成的音乐是一项具有挑战性的任务，更是评估鼓槽在文献中很少有先例。因此，我们提出了一种量身定制的结构评估方法，并分析了GPT3产生的鼓槽与人类专业人士演奏的鼓槽相比，揭示了语言到音乐转换的优势和劣势。我们的研究结果表明，语言到音乐迁移学习与大语言模型是可行的，有前途的。
2023-01-03 cs.CL cs.SD eess.AS
Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models
University Of Pretoria（比勒陀利亚大学）
音乐创作是一种在最少或没有人为干预的情况下创作音乐作品的方式。虽然递归神经网络传统上被应用于许多序列到序列的预测任务，包括音乐创作的成功实现，但其基于输入到输出映射的标准监督学习方法导致缺乏音符多样性。因此，这些模型可能被视为不适合诸如音乐生成之类的任务。生成对抗网络学习数据的生成分布，并产生不同的样本。这项工作实现并比较了递归神经网络音乐作曲家在数据库上的对抗性和非对抗性训练。由此产生的音乐样本由人类听众评估，他们的偏好被记录下来。评估表明，对抗性训练产生更美观的音乐。
2022-11-01 cs.LG cs.SC cs.SD
Motif-Centric Representation Learning for Symbolic Music
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；NYU Shanghai（上海纽约大学）
本文提出基于孪生网络与预训练-微调流程的主题中心表示学习方法，结合VICReg和对比学习学习音乐主题与变体间的隐式关系，在检索任务上提升12.6%，为自动作曲和音乐信息检索奠定基础。
2023-09-19 cs.LG cs.SD eess.AS
Analyzable Chain-of-Musical-Thought Prompting for High-Fidelity Music Generation
Kunlun Inc.（昆仑公司）
针对自回归音乐生成模型缺乏人类创作连贯性的问题，提出MusiCoT，利用CLAP模型构建乐思链，先规划整体结构再生成音频，提升音乐连贯性与创造性，性能优于现有模型。
2025-03-25 cs.AI cs.MM cs.SD
Learning a Predictive Model for Music Using PULSE
University of Stuttgart（斯图加特大学）；TU Dresden（德累斯顿工业大学）；TU Berlin（柏林工业大学）
算法作曲、认知科学和机器学习的研究人员都在研究音乐的预测模型。它们作为基本模型的组成，可以模拟人类的预测，并提供了一个多学科的应用领域的学习算法。一个特别完善和不断进步的子任务是预测单声道旋律。由于旋律通常涉及非马尔可夫依赖性，因此它们的预测需要有能力的学习算法。在这篇论文中，我将最新的特征发现和学习方法PULSE应用到符号音乐建模领域。PULSE由特征生成操作和L1正则化优化组成。这些用于迭代地扩展和剔除特征集，有效地探索对于普通特征选择方法来说太大的特征空间。我为PULSE设计了一个通用的Python框架，提出了任务优化的特征生成操作和各种音乐理论动机的特征，这些特征在单声道民谣和合唱旋律的标准语料库上进行评估。所提出的方法显着优于可比的最先进的模型。进一步讨论了学习算法的自由参数，分析了学习模型的特征组成。PULSE学习的模型提供了一个简单的检查，并首次从音乐学上进行解释。
2017-09-26 cs.LG cs.SD eess.AS
Interpreting Graphic Notation with MusicLDM: An AI Improvisation of Cornelius Cardew's Treatise
University of California San Diego（加利福尼亚大学圣迭戈分校）
本研究提出借助ChatGPT解读科尼利厄斯·卡杜《Treatise》的图形记谱生成文本提示，输入MusicLDM模型并通过外扩生成技术拼接音乐，为图形乐谱演绎提供新路径，拓展实验音乐创作空间。
2024-12-12 cs.LG cs.SD eess.AS
Musical Attention Transformer: Music Generation Using a Music-Specific Attention Model
Department of Computer Science, School of Science and Technology, Meiji University（计算机科学系，科学与技术学部，立命馆大学）
本文提出了一种音乐特定的注意力模型，通过整合元信息来提升音乐生成的质量，核心方法是将音乐结构和元数据结合，主要贡献是提高了生成音乐的连贯性和多样性。
2026-09-14 cs.LG cs.SD
Music Generation using Human-In-The-Loop Reinforcement Learning
University of Birmingham（伯明翰大学）
本文提出将人在回路的强化学习与音乐理论原则相结合，采用情景式表格 Q-learning 算法构建框架，通过迭代式人类反馈持续优化音乐曲目的实时生成质量。
2025-01-25 cs.AI cs.HC cs.LG
Machine learning for music genre: multifaceted review and experimentation with audioset
UCLM（卡斯蒂利亚-拉曼恰大学）
音乐类型分类是音乐信息检索的一个分支，由于其存在的问题，越来越受到研究者的关注。虽然研究已经在出版的作品数量方面多产，但该主题仍然存在一个基础问题：没有明确和正式的定义是什么类型。音乐分类模糊不清，受人的主观性和缺乏一致性的影响。在第一部分，本文提供了一个调查，试图涵盖这个问题的许多不同方面。它的主要目标是让读者概述历史和当前的最新技术水平，探索迄今为止使用的技术和数据集，以及确定当前的挑战，例如体裁定义的模糊性或以人为本的方法的引入。本文特别关注机器学习应用于音乐标注问题的新趋势。最后，我们还包括一个音乐流派分类实验，使用Audioset比较不同的机器学习模型。
2019-11-28 cs.IR cs.LG cs.SD
Supporting Creative Ownership through Deep Learning-Based Music Variation
Monash University（莫纳什大学）；University of Sussex（Sussex大学）
本研究通过四周生态评估，发现依赖音乐家技能的音乐变奏工具能增强创作所有权，为设计支持而非取代人类创造力的音乐AI提供启示。
2025-10-07 cs.AI cs.HC
Adaptable Symbolic Music Infilling with MIDI-RWKV
Metacreation Lab, Simon Fraser University（Simon Fraser大学元创作实验室）
MIDI-RWKV是一种基于RWKV-7架构的小型基础模型，用于实现高效的音乐共创，并通过低样本量微调实现风格适应。
2026-01-26 cs.LG cs.MM cs.SD
Melody Extraction from Polyphonic Music by Deep Learning Approaches: A Review
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
旋律提取是音乐研究者的一项重要音乐信息检索任务，因为它在教育教学和音乐产业中具有潜在的应用价值。由于背景乐器的存在，旋律提取是一项非常具有挑战性的任务。此外，通常旋律来源表现出类似的特点，其他文书。背景伴奏与人声的干扰使得从混合信号中提取旋律更具挑战性。直到最近，经典的基于信号处理的旋律提取方法在旋律提取研究者中相当流行。深度学习模型对大规模数据进行建模的能力以及模型通过利用空间和时间依赖性来学习自动特征的能力激励了许多研究人员采用深度学习模型进行旋律提取。在本文中，尝试已作出审查的最新数据驱动的深度学习方法从复调音乐的旋律提取。已经基于所使用的神经网络的类型和它们用于预测旋律的输出表示来对可用的深度模型进行分类。此外，简要介绍了25个旋律提取模型的体系结构。用于优化旋律提取模型的模型参数的损失函数大致分为四类，并简要描述了各种旋律提取模型所使用的损失函数。此外，旋律提取模型所采用的各种输入表示和参数设置进行了深入的描述。包括描述块框旋律提取深度神经网络的可解释性的部分。比较了25种旋律提取方法的性能。本文还提出了今后旋律提取方法的探索和改进方向。
2022-02-02 cs.SD eess.AS
Getting Motif-ated: Controllable AI Compositions from Injected Motif Prompts
MotiGen通过注入动机提示并配合注意力偏置和两阶段课程学习，实现对预训练符号音乐模型的改造，使超过92.3%的生成作品遵循指定动机。
2026-09-29 cs.AI cs.LG cs.MM
Graph Representation of RaagBase: A Unique Dataset for Hindustani Music
XIM University（西姆大学）
针对北印度音乐拉格聚类未充分探索的问题，提出基于Pt. Bhatkhande作品音符序列的拉格基础数据集，用图形表示拉格结构，通过音符频率分布体现作品相似性，应用聚类技术，实验验证了数据集及表示的有效性。
2026-07-14 cs.SD
SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition
The Chinese University of Hong Kong（中国香港大学）；Beihang University（北航）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港下的CPII）
本文提出SongComposer，一个音乐专用大型语言模型，通过灵活元组格式、扩展分词器词汇表和多阶段流程三项创新，首次将同时创作歌词与旋律的能力集成到LLM中，在多项任务中优于GPT-4，并发布大规模中英文训练数据集SongCompose。
2025-05-30 cs.AI cs.CL cs.SD
Setting the rhythm scene: deep learning-based drum loop generation from arbitrary language cues
生成式人工智能模型可以成为音乐创作和现场表演的宝贵辅助工具，既可以帮助专业音乐家，也可以帮助业余爱好者实现音乐创作过程的民主化。在这里，我们提出了一种新的方法，给定一个英语单词或短语，生成2个罗盘的4件鼓模式，体现了给定的语言线索的“情绪”，或可用于由语言线索描述的视听场景。我们设想这个工具作为电子音乐和视听配乐制作的作曲辅助工具，或现场表演的即兴创作工具。为了产生该模型的训练样本，除了手动注释“场景”或“情绪”术语外，我们还设计了一种新颖的方法来提取任何歌曲的一致鼓声。它由一个2小节、4段鼓模式组成，代表了一首歌曲的主要旋律，可以导入任何音乐循环设备或现场循环软件。这两个关键组成部分（鼓模式生成从一个概括的输入，和共识打击提取）提出了一种新的方法来计算机辅助作曲，并提供了一个垫脚石更全面的节奏生成。
2022-09-20 cs.AI cs.CL cs.IR
EmotionBox: a music-element-driven emotional music generation system using Recurrent Neural Network
Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动研究重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室）；School of Electronics and Communication Engineering, Guangzhou University（广州大学电子与通信工程学院）；National Environmental Protection Engineering and Technology Center for Road Traffic Noise Control（国家环境保护道路交通噪声控制工程技术中心）
随着深度神经网络的发展，自动作曲取得了长足的进步。虽然情感音乐能唤起听者的不同情感，对艺术表现有重要作用，但目前对情感音乐生成的研究还很少。本文介绍了一个音乐元素驱动的情感音乐生成器，它能够在给定特定情感的情况下创作音乐，该模型不需要标记有情感的音乐数据集。取而代之的是，提取音高直方图和音符密度作为分别代表模式和节奏的特征来控制音乐情感。主观听力测试结果表明，与基于情感标签的方法相比，该方法在激发特定情感方面具有更强的竞争力和平衡性。
2021-12-16 cs.SD eess.AS
LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical Parameters
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Joint Research Centre, European Commission（欧盟委员会联合研究中心）
循环，无缝可重复的音乐片段，是现代音乐制作的基石。当代艺术家经常根据音乐标准（如节奏、和声和音色纹理）混合和匹配各种采样或预先录制的循环来创作作品。考虑到这些标准，我们提出了LoopNet，一个前馈生成模型，用于创建以直观参数为条件的循环。我们利用音乐信息检索（MIR）模型，以及在我们的研究中的公共循环样本的大量收集，并使用Wave-U-Net架构映射控制参数到音频。我们还评估生成的音频的质量，并提出直观的控制作曲家映射的想法在他们的脑海中的音频循环。
2021-05-21 cs.LG cs.SD eess.AS
Generative AI for Music and Audio
University of California San Diego（加州大学圣地亚哥分校）
本论文围绕面向音乐与音频的生成式人工智能，研究多轨音乐生成、辅助创作工具和多模态学习，旨在降低音乐创作门槛并推动音频内容创作大众化。
2024-11-21 cs.AI cs.LG cs.MM
A Survey on Music Generation from Single-Modal, Cross-Modal, and Multi-Modal Perspectives
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Innovation Center of Yangtze River Delta, Zhejiang University（浙江大学长三角创新中心）
本文综述了多模态音乐生成的研究现状，探讨了多模态数据对齐、系统评估方法及未来研究方向。
2025-04-20 cs.AI cs.MM cs.SD
Melody Structure Transfer Network: Generating Music with Separable Self-Attention
Shanghai Jiao Tong University（上海交通大学）
符号音乐生成越来越受到人们的关注，而大多数方法都集中在生成短片段（大多数小于8小节，最多32小节）。创作长乐曲需要连贯的音乐结构的有效表达。尽管他们在长序列上取得了成功，但自我注意架构在处理长时间音乐方面仍然存在挑战，因为它需要对微妙的音乐结构进行额外的关注。在本文中，我们提出了新的音乐生成的训练样本的结构转移，并开发了一种新的可分离的自注意模型，使学习和转移的结构嵌入。我们表明，我们的传输模型可以生成音乐序列（高达100条）与可解释的结构，它具有类似的结构和组成技术与模板音乐从训练集。大量的实验表明，该方法能够生成目标结构清晰、多样性好的音乐。生成的3，000套音乐作为补充材料上传。
2021-07-21 cs.MM cs.SD eess.AS
Deep Learning-Based Automatic Downbeat Tracking: A Brief Review
Sichuan University（四川大学）
音乐作为一种重要的多媒体形式，几乎已经充斥了每个人的生活。音乐的自动分析是满足人们对音乐检索和音乐推荐需求的重要一步。其中，强拍跟踪一直是音乐信息检索领域的一个基本而又持续的研究课题。尽管做出了重大的研究努力，但下拍跟踪仍然是一个挑战。以前的研究要么专注于特征工程（通过信号处理提取某些特征，这是半自动的解决方案）;要么有一些局限性：它们只能在有限的时间签名和节奏范围内对音乐录音进行建模。近年来，深度学习已经超越传统的机器学习方法，成为特征学习的主要算法，传统方法与深度学习方法的结合也取得了更好的性能。本文首先介绍了下拍跟踪问题的背景知识。然后，我们详细讨论了以下主题：系统架构，特征提取，深度神经网络算法，数据集和评估策略。此外，我们看看从年度基准评估的结果-音乐信息检索评估交换（MIREX）-以及在软件实现的发展。虽然在自动强拍跟踪领域已经取得了很大的成就，但仍然存在一些问题。我们指出了这些问题，并得出结论，为未来的研究可能的方向和挑战。
2019-06-10 cs.IR cs.SD eess.AS
Music Generation with Temporal Structure Augmentation
在本文中，我们介绍了一种新的功能增强方法生成结构化的音乐作品，包括旋律和和声。所提出的方法增加了一个连接生成模型与倒计时到歌曲的结论和仪表标记作为额外的输入功能，以研究神经网络是否可以学习产生更美观和结构化的音乐输出的结果，增加输入数据的结构特征。采用LSTM细胞的RNN架构在有监督的序列学习设置中对诺丁汉民间音乐数据集进行训练，遵循音乐语言建模方法，然后应用于和声和旋律的生成。我们的实验表明，这两种类型的注释的预测性能有所提高。还使用在线图灵风格收听测试对所生成的音乐进行主观评估，该测试证实了使用时间结构生成的音乐的美学质量和感知结构的实质性改善。
2020-04-21 cs.LG cs.SD eess.AS
Motifs, Phrases, and Beyond: The Modelling of Structure in Symbolic Music Generation
Queen Mary University of London（伦敦玛丽女王大学）；School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）
本文综述了符号音乐生成中结构建模的技术演变，从符号方法到深度学习方法，并重点介绍了将生成分解为高层结构规划与内容创作的子任务分解技术，指出捕捉动机与重复已有进展，但模拟人类作曲家对扩展作品主题的细微发展仍是挑战，并展望了融合各时代方法的未来方向。
2024-03-12 cs.LG cs.SC cs.SD
Learning to Generate Music With Sentiment
University of California, Santa Cruz（加州大学圣克鲁兹分校）
深度学习模型在自动合成复调音乐作品方面显示出非常有前途的结果。然而，这是很难控制这样的模型，以引导组合物朝着预期的目标。我们感兴趣的是控制一个模型来自动生成具有给定情感的音乐。本文提出了一种生成式深度学习模型，可以指导它根据给定的情感创作音乐。除了音乐生成之外，相同的模型可以用于符号音乐的情感分析。我们使用一个新的视频游戏配乐数据集来评估该模型对符号音乐情感进行分类的准确性。结果表明，我们的模型是能够获得良好的预测精度。一项用户研究表明，人类受试者同意生成的音乐具有预期的情感，但负面的片段可能是模糊的。
2021-03-09 cs.IR cs.LG cs.SD
Are Words Enough? On the semantic conditioning of affective music generation
ITI；LARSyS；INESC TEC
该范围综述梳理自动音乐生成的规则与机器学习两大范式，聚焦文本驱动的深度学习音乐生成模型，探讨语言表征音乐情感的可行性，指出深度学习结合自然语言的应用有望赋能创意产业的音乐创作。
2023-11-07 cs.LG cs.MM cs.SD
Music102: An $D_{12}$-equivariant transformer for chord progression accompaniment
Massachusetts Institute of Technology（麻省理工学院）
本文提出Music102，一种基于群论和音乐结构的等价变换器，用于提升和弦进行伴奏的质量，通过整合音乐对称性如转位和反射操作，改进了非等价变换器Music101的性能。
2025-07-06 cs.LG cs.MM cs.SD
