Machine Composition of Korean Music via Topological Data Analysis and Artificial Neural Network
Pohang University of Science & Technology（浦项科技大学）
常见的基于人工神经网络的人工智能音乐作曲算法是通过输入大量音乐片段来训练机器，并创建能够产生与输入音乐数据相似的音乐的人工神经网络。这种方法是一种黑盒优化，也就是说，底层的合成算法通常不为用户所知。在本文中，我们提出了一种机器作曲的方式，训练机器的作曲原理嵌入在给定的音乐数据，而不是直接喂养的音乐作品。我们提出这种方法，通过使用的概念，{ \color{black}{Overlap} }矩阵提出的\cite{TPJ}。在\cite{TPJ}中，使用拓扑数据分析（TDA），特别是使用持久同源性，分析了一种类型的韩国音乐，所谓的{ \it Dodeuri}音乐，例如Suyeonjangjigok。由于原始音乐数据不适合于TDA分析，因此首先将音乐数据重构为图。图的节点被定义为由每个音符的音高和持续时间组成的二维向量。当两个节点连续出现在音乐流中时，会创建这些节点之间的边。距离是根据这种出现的频率来定义的。通过TDA的构造图，一个唯一的一组周期被发现为给定的音乐。在\cite{TPJ}中，已经提出了{ \it { \color{black}{Overlap} }矩阵}的新概念，其以矩阵形式可视化这些循环如何在音乐流上互连。在本文中，我们解释了如何使用{ \color{black}{Overlap} }矩阵的机器组成。{ \color{black}{Overlap} }矩阵使得有可能在算法…
2022-03-29 cs.LG cs.SD eess.AS
Models of Music Cognition and Composition
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
与大多数认知研究一样，音乐认知是一个跨学科的领域，它试图应用认知科学的方法（神经学，计算和实验）来理解音乐创作的感知和过程。在本文中，我们首先动机为什么音乐是相关的认知科学家和音乐认知的计算建模的方法进行了概述。然后，我们回顾了各种模型的音乐感知，包括非计算模型，计算非认知模型和计算认知模型的文献。最后，我们回顾文学建模的创造性行为和计算机系统能够作曲。由于使用了许多音乐理论中的专业术语，我们在最后附上了相关术语及其定义的列表。
2022-08-14 cs.LG cs.SD eess.AS
BandNet: A Neural Network-based, Multi-Instrument Beatles-Style MIDI Music Composition Machine
Snap Inc.（Snap公司）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了一种基于递归神经网络（RNN）的音乐创作机器，它能够从现有的披头士歌曲中学习音乐知识，并在几乎没有人为干预的情况下生成披头士风格的音乐。在学习阶段，一系列风格统一的多声道音乐样本由RNN建模。在作曲阶段，随机生成的音乐的短片段被用作RNN的种子，以开始乐谱预测。为了形成结构化音乐，来自不同种子的生成音乐片段被连接在一起。为了改善生成的音乐的质量和结构，我们将音乐理论知识集成到模型中，例如控制声乐旋律中的间隙间距，规范和弦变化的时间，并要求音符与歌曲的基调（例如C大调）相关。经过专业作曲家的验证，这种集成提高了所生成音乐的质量。我们还进行了主观听力测试，显示我们生成的音乐在风格相似性，专业质量和趣味性方面接近披头士的原创音乐。生成的音乐样本在https://goo.gl/uaLXoB上。
2018-12-18 cs.MM cs.SD eess.AS
Coupled Recurrent Models for Polyphonic Music Composition
University of Washington（华盛顿大学）；Amazon（亚马逊公司）
本文介绍了一种新的循环模式的音乐创作，是专为复调音乐的结构。我们提出了一个有效的新的条件概率因子分解的乐谱，把一个分数作为一个集合的并发，耦合序列：即声音。为了对条件分布进行建模，我们借用了卷积和递归神经模型的思想;我们认为这些思想对于捕捉音乐的音高不变性，时间结构和复调是很自然的。我们在KernScores数据集中的2，300个分数上训练了单语音和多语音合成的训练模型。
2019-11-26 cs.LG cs.SD eess.AS
Classical Music Prediction and Composition by means of Variational Autoencoders
Centro de investigación CITIC（CITIC研究中心）；University of A Coruña（拉科鲁尼亚大学）
提出了一种基于变分自编码器（VAE）的音乐预测模型。在这项工作中，VAE以一种新颖的方式使用，以解决两个不同的问题：音乐表示到潜在的空间，并使用这种表示来预测音乐作品的未来价值。这种方法是用古典作曲家的不同歌曲训练的。因此，该系统可以表示潜在空间中的音乐，并做出准确的预测。因此，该系统可用于从现有作品或从随机起点创作新音乐。该系统的另一个特点是使用小数据集进行训练。然而，结果表明，该系统能够在看不见的数据中返回准确的表示和预测。
2019-06-21 cs.LG cs.NE cs.SD
Musical Speech: A Transformer-based Composition Tool
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；IICSI；Memorial University of Newfoundland（纽芬兰纪念大学）
在本文中，我们提出了一个新的作曲工具，将产生一个音乐大纲的语音记录/用户提供的音乐积木在他们的作品。该工具允许任何用户使用自己的语音来生成音乐素材，同时仍然能够听到他们录制的语音和所产生的音乐之间的直接联系。该工具是建立在我们提出的管道。该管道从基于语音的信号处理开始，之后应用一些简单的音乐技巧，最后这些预处理的信号通过在新音乐任务上训练的Transformer模型。我们通过音乐家使用我们的工具创作的音乐示例来说明我们的管道的有效性-它不需要配对的数据集进行训练。
2021-08-02 cs.CV cs.LG cs.SD
MeloTrans: A Text to Symbolic Music Generation Model Following Human Composition Habit
Communication University of China（中国传媒大学）
本文提出MeloTrans文本到符号音乐生成模型，通过构建首个含音乐动机及变体标签的POP909_M数据集，将人类动机发展规则与神经网络学习能力结合，在音乐性和多样性上超越现有模型及ChatGPT-4。
2024-10-17 cs.MM cs.SD eess.AS
Automated Arrangements of Multi-Part Music for Sets of Monophonic Instruments
The College of New Jersey（新泽西学院）
传统上，为一套不同的乐器安排音乐是一个繁琐而耗时的过程，由具有特定乐器复杂知识的专家执行，并涉及大量的实验。在本文中，我们研究的问题，自动音乐安排为单声道乐器或声音写的音乐作品。我们设计并实现了一种算法，该算法可以在可行的情况下通过将音乐作品转换为不同的音阶，将指定的部分排列为乐器/声音，并将单个部分转换为一个或多个八度音阶来制作音乐编曲。我们还发布了用Python编写的开源软件，可以处理MusicXML文件，并允许音乐家尝试音乐编排。我们希望我们的软件可以作为未来扩展的平台，包括音乐缩减和复调乐器。
2023-01-28 cs.MM cs.SD eess.AS
Towards Evaluation of Autonomously Generated Musical Compositions: A Comprehensive Survey
Faculty of Arts（文学院）；Masaryk University（马萨里克大学）
有许多应用程序旨在为自主生成的作品创建一个完整的模型;系统能够生成muzak歌曲，帮助歌手转录歌曲或模仿早已去世的作者。对创造力或美学的主观理解不仅在偏好（流行作家或流派）中有所不同，而且在经验或社会文化环境的基础上也有所不同。那么，我们想要通过这样的调整来实现什么呢？对于作者来说，最终的作品有什么好处，谁可以不再评估这个组成？我们究竟应该如何评价这样一部作品呢？
2022-04-10 cs.CY cs.HC cs.SD
The NES Music Database: A multi-instrumental dataset with expressive performance attributes
UC San Diego（加州大学圣地亚哥分校）
现有的音乐生成研究主要集中在作曲上，但往往忽视了合成作品的合理演绎所需的表现性表演特征。在本文中，我们介绍了任天堂娱乐系统音乐数据库（NES-MDB），一个大型语料库，允许单独检查的任务组成和性能。NES-MDB包含数千首多乐器歌曲，由受作曲限制的NES音频合成器进行播放。对于每首歌曲，数据集包含四种乐器声音的乐谱以及每个声音的动态和音色的表达属性。与由一般的音频文件组成的数据集不同，NES-MDB包括渲染原始作品的精确声学性能所需的所有信息。除了数据集，我们还提供了一个工具，通过模拟设备的音频处理器将生成的作品呈现为NES风格的音频。此外，我们建立基线的任务组成，其中包括学习的语义组成的NES合成器，和性能，这涉及到找到一个组成和现实的表达属性之间的映射。
2018-06-12 cs.LG cs.NE cs.SD
M2M-Gen: A Multimodal Framework for Automated Background Music Generation in Japanese Manga Using Large Language Models
The University of Tokyo（东京大学）；MBZUAI（Mohamed bin Zayed 人工智能大学）
本文提出M2M Gen多模态框架，通过对话检测和情感分类提取场景信息，并利用GPT4o生成音乐指令指导文本到音乐模型，为日本漫画自动生成高质量且契合叙事的背景音乐。
2024-10-13 cs.AI cs.SD eess.AS
Musical Composition Style Transfer via Disentangled Timbre Representations
Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；KKBOX Inc.（KKBOX公司）
音乐创作不仅包括创作不同的部分（例如，旋律，和弦）的音乐作品，但也安排/选择乐器发挥不同的部分。虽然前者越来越受到关注，但后者却没有得到太多的研究。据我们所知，本文提出了第一个用于重新排列任意流派音乐的深度学习模型。具体来说，我们构建编码器和解码器，将一段复调音乐音频作为输入，并预测其乐谱作为输出。我们调查解纠缠技术，如对抗性训练，以分离与作品不同部分的音乐内容（音高）相关的潜在因素，以及与每个短时间段的部分的乐器（音色）相关的潜在因素。通过解开音高和音色，我们的模特们对每首曲子的组成和编排都有了一个概念。此外，该模型可以实现“作曲风格转移”，通过重新安排一个音乐作品，而不会影响其音高内容。我们通过乐器活动检测和作曲风格迁移的实验验证了模型的有效性。为了便于后续研究，我们在https://github.com/biboamy/instrument-disentangle上开源了我们的代码。
2019-05-30 cs.SD eess.AS
An interactive music infilling interface for pop music composition
University of Sussex（萨塞克斯大学）
人工智能（AI）已广泛应用于音乐生成主题，如延续、旋律/和声生成、流派转移和音乐填充应用。尽管人们对将人工智能应用于音乐的兴趣激增，但音乐家们仍然很少有界面可以利用人工智能技术的最新进展。这使得这些工具在实践中不太有价值，并且如果不在实际场景中使用它们，就很难找到其优点/缺点。本工作建立了一个最大的补丁交互式音乐填充应用程序与不同层次的控制，包括轨道密度/复调/占用率和酒吧音调张力控制。用户可以选择旋律/低音/和声音轨作为最多16小节的填充内容。填充算法基于作者以前的工作，接口向托管在云中的AI系统发送/接收消息。这个界面降低了人工智能技术的门槛，可以生成所选内容的不同变体。这些结果可以为音乐家的创作提供多种选择，交互过程实现了AI填充系统的价值。
2022-03-23 cs.HC cs.MM cs.SD
Subjective Evaluation of Deep Learning Models for Symbolic Music Composition
University of Zaragoza（萨拉戈萨大学）
深度学习模型通常被评估以测量和比较它们在给定任务上的性能。通常用于评估这些模型的指标是用于不同任务的标准指标。在音乐创作或生成领域，其他领域使用的标准度量，在音乐理论上没有明确的意义。在本文中，我们提出了一种主观的方法来评估基于AI的音乐创作系统，根据他们的音乐经验和知识，向不同层次的用户提出与基本音乐原理相关的问题。我们使用这种方法将最先进的音乐创作模型与深度学习进行比较。我们给出了这种评估方法的结果，我们比较每个用户级别的响应，每个评估模型。
2022-04-03 cs.AI cs.SD
Linear Computer-Music through Sequences over Galois Fields
Federal University of Pernambuco（伯南布哥联邦大学）；Amazon State University（亚马逊州立大学）
它示出了如何二进制序列可以与单声道作品的自动组成。我们关注的是从有限域结构的电子音乐的组成。输入端的信息可以是随机的，也可以是来自黑白、灰度或彩色图片的信息。新的电子作品和乐谱可供使用，包括著名的Lenna图片中的新作品：电子音乐的乐谱<<Lenna's Eyes in C major>>。并给出了相应的乐谱段。对GF（7）、GF（8）、GF（13）、GF（17）等结构进行了分析。此外，多级分组码也被用于电子音乐创作的新方法中，产生了作为电子作曲家的特定风格。作为一个例子，最近推出的Pascal多级分组码被处理，以产生一种新的风格的电子音乐在GF（13）。
2017-09-19 cs.SD eess.AS
Computoser - rule-based, probability-driven algorithmic music composition
本文介绍了Computoser的混合概率/规则为基础的算法的音乐创作（http：computoser.com），并提供了一个参考实现。它解决了许多现有方法所表现出的不愉快和缺乏变化的问题，通过结合这两种方法（基于从初步分析获得的数据的规则参数）。分析了500多首音乐作品的样本，以得出音乐特征和事件（例如音阶、节奏、音程）的概率。该算法被构造为使用导出的概率结合大量的作曲规则来产生音乐作品，这些规则是在研究了既定的作曲实践之后获得和结构化的。生成的片段发布在Computoser网站上，由听众进行评价。反馈是积极的（58.4%的人赞成），肯定了所采取的方法的优点。本文比较了这种混合方法的算法组成的其他方法，并提出了一个调查所产生的音乐的愉悦。
2014-12-09 cs.AI cs.SD
Adaptive Music Composition for Games
Monash University（莫纳什大学）
动态适应内容和动作的音乐生成在构建更沉浸、更难忘和更情绪化的游戏体验方面发挥着重要作用。迄今为止，用于视频游戏的自适应音乐系统的开发受到用于实时音乐生成的算法的性质以及当前游戏中玩家动作、游戏世界上下文和情感的有限建模的限制。我们建议，这些问题必须同时解决，以显着提高自适应游戏音乐的质量和灵活性。知识组织和情感影响的认知模型与多模态，多智能体组成技术相结合，产生一种新的自适应音乐系统（AMS）。该系统集成到两个风格不同的游戏。游戏玩家报告说，在这两款游戏中，AMS的音乐与游戏世界概念的整体沉浸感和相关性都高于原始游戏配乐。
2019-07-02 cs.AI cs.MM cs.SD
TOMI: Transforming and Organizing Music Ideas for Multi-Track Compositions with Full-Song Structure
本文提出TOMI方法，通过概念层次生成、变换并组织音乐理念，利用指令微调基础LLM在四维空间中实现多轨电子音乐生成，并结合REAPER支持人机交互共创，生成质量与结构连贯性优于基线。
2025-06-29 cs.AI cs.SD eess.AS
Music Proofreading with RefinPaint: Where and How to Modify Compositions given Context
Sony Computer Science Laboratories（索尼计算机科学实验室）
提出迭代技术 RefinPaint，通过反馈模型识别音乐弱项并指导修复模型重采样，实现自动修复与校对，有效提升人机音乐创作质量。
2024-11-10 cs.AI cs.SD eess.AS
Music transcription modelling and composition using deep learning
Queen Mary University of London（伦敦玛丽女王大学）；INRS-EMT（加拿大国家科学研究院-能源材料电信研究所）；Kingston University（金斯顿大学）；Ghent University（根特大学）
我们将深度学习方法，特别是长短期记忆（LSTM）网络应用于音乐转录建模和作曲。我们使用大约23，000个用高级词汇表（ABC符号）表示的音乐transanks来构建和训练LSTM网络，并使用它们来生成新的transanks。我们的实际目标是创建音乐转录模型在特定的音乐创作环境中有用。我们从三个角度呈现结果：1）在群体水平上，比较训练转录集和生成转录集的描述性统计; 2）在个体水平上，检查生成转录如何反映训练转录（凯尔特民间）中的音乐实践惯例; 3）在应用水平上，使用该系统进行音乐创作中的想法生成。我们将我们的数据集、软件和声音示例开放和可用：\url{https://github.com/IraKorshunova/folk-rnn}。
2016-04-29 cs.LG cs.SD
Open-Qwen-Music: An Auditable Framework for LLM-Based Music Composition and Diffusion Rendering
Open-Qwen-Music是一个完全开源的文本到音乐生成系统，结合LLM语义创作与扩散渲染，提供完整训练数据、流程和预训练权重，作为可复现的研究基线。
2026-09-29 cs.AI cs.SD eess.AS
DISCO: An object-oriented system for music composition and sound design
本文介绍了一种面向对象的方法来音乐创作和声音设计。这种方法通过使用类似的逻辑、对象和程序来统一音乐制作和乐器制造的过程。作曲模块使用音乐数据的抽象表示，可以很容易地映射到不同的合成语言或传统的乐谱。抽象基类用于派生不同时间尺度上的类。对象可以在时间尺度上与动作相关，也可以在整个作品中与动作相关，相似对象之间的关系可以复制传统的音乐操作或引入新的操作。DISCO（Digital Instrument for Sonification and Composition）系统是一个正在进行的开放式工作。
2000-07-05 cs.DS cs.SD cs.SE
Creating Contexts of Creativity: Musical Composition with Modular Components
Edwin Schlossberg Incorporated（埃德温·施洛斯伯格公司）；EAR Studio（EAR工作室）；Eloise W. Martin Center (ECHO)（埃洛伊丝·W·马丁中心（ECHO））；Interval Research Corporation（英特尔研究公司）
本文介绍了一系列项目，探索音乐表达的可能性，通过组合预先组成，联锁，模块化的组件。特别是，本文提出了一个模块化的配乐最近组成的作者为“创造力的电流，”一个永久的互动视频墙安装在教皇约翰保罗二世文化中心，定于2001年复活节在华盛顿特区。
2020-10-04 cs.HC cs.SD eess.AS
Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
最近已经提出了大量基于深度学习的模型用于自动音乐合成。在这些模型中，Transformer脱颖而出，作为一个突出的方法，产生表现力的古典钢琴演奏与连贯的结构长达一分钟。该模型的强大之处在于它可以自己学习数据的抽象，而不需要太多人为强加的领域知识或约束。与这种一般的方法相比，本文表明，Transformers可以做得更好的音乐建模，当我们改进的方式将乐谱转换成数据馈送到一个Transformer模型。特别地，我们试图在输入数据中施加韵律结构，使得Transformers可以更容易地意识到音乐中的节拍-小节-短语层次结构。新的数据表示保持了本地节奏变化的灵活性，并提供了控制音乐的节奏和和声结构的障碍。通过这种方法，我们构建了一个流行音乐Transformer，它比现有的Transformer模型具有更好的节奏结构。
2020-08-10 cs.AI cs.SD eess.AS
ComposerX: Multi-Agent Symbolic Music Composition with LLMs
University of Rochester（罗切斯特大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hong Kong University of Science and Technology（香港科技大学）；University of Surrey（萨里大学）；The University of Manchester（曼彻斯特大学）；Queen Mary University of London（伦敦玛丽女王大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出多智能体符号音乐生成框架ComposerX，利用大语言模型的推理能力与音乐知识库，显著提升GPT-4的作曲质量，可生成旋律动人且符合用户指令的连贯复调音乐。
2024-04-30 cs.AI cs.CL cs.LG
Rethinking Recurrent Latent Variable Model for Music Composition
University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一个用于捕获音乐特征和创建新的音乐序列的模型，称为卷积变分递归神经网络。为了生成序列数据，该模型使用具有潜在概率连接的编码器-解码器架构来捕获音乐的隐藏结构。使用序列到序列模型，我们的生成模型可以利用先验分布的样本，并生成更长的音乐序列。我们比较了我们提出的模型与其他类型的神经网络的性能，使用的标准是由变量马尔可夫Oracle，一种方法，允许统计特征的音乐信息动态和检测的主题在一首歌中实现的信息率。我们的研究结果表明，所提出的模型具有更好的统计相似性的音乐结构的训练数据，这提高了创造新的音乐序列的风格的原件。
2018-10-07 cs.LG cs.MM cs.SD
Creative Quantum Computing: Inverse FFT, Sound Synthesis, Adaptive Sequencing and Musical Composition
量子计算正在成为一种替代计算技术，它建立在亚原子物理学的原理之上。尽管在开发越来越复杂的硬件和软件方面不断取得进展，但量子计算仍然需要专业知识，而这些知识主要局限于研究实验室。此外，这些发展的目标应用仍然主要是科学的。本章介绍了旨在改善这种情况的研究。我们的研究旨在将量子计算的应用范围扩展到艺术和创意应用，音乐是我们的出发点。本章报告的初步成果，量子信息处理控制逆快速傅立叶变换（FFT）的声音合成器和自适应音乐音序器。提出了一个名为Zeno的组合来说明实际的现实世界应用程序。
2021-12-06 cs.ET cs.SD eess.AS
Neural Translation of Musical Style
University of Bristol（布里斯托大学）
音乐是一种表达形式的沟通，经常用来传达情感的情况下，“文字是不够的”。这些信息的一部分存在于音乐作品中，其中存在定义明确的语言。然而，在演奏过程中，当音乐家解释作品时，会添加大量的信息。表演者通过不同的音乐属性，如动态和节奏的变化注入表现力的书面分数。在本文中，我们描述了一个可以学习演奏乐谱的模型。我们的研究得出结论，生成的表演与人类表演无法区分，从而通过了“音乐图灵测试”的精神测试。
2017-08-11 cs.NE cs.SD
Music and Artificial Intelligence: Artistic Trends
本文通过分析337件音乐作品，系统梳理了AI在作曲、声音设计、歌词生成等方面的应用，揭示了AI作为共同创作工具和艺术媒介所催生的新兴艺术趋势与挑战。
2025-08-12 cs.CY cs.SD eess.AS
Dual Learning Music Composition and Dance Choreography
Nanyang Technological University（南洋理工大学）；Zhejiang Gongshang University（浙江工商大学）；University of Alberta（阿尔伯塔大学）
音乐和舞蹈一直是人类活动的支柱，在几乎所有社会的文化，社会和娱乐功能中发挥着巨大的作用。尽管音乐和舞蹈逐渐系统化为两个独立的学科，但它们之间的密切联系是不可否认的，一种艺术形式往往没有另一种就显得不完整。最近的研究工作已经研究了生成模型的舞蹈序列的音乐条件。然而，为特定舞蹈作曲的双重任务在很大程度上被忽视了。在本文中，我们提出了一种新的扩展，我们联合建模的双重学习方法的任务。为了利用这两种模式的二元性，我们引入了一个最佳传输目标来对齐特征嵌入，以及一个周期一致性损失来促进整体一致性。实验结果表明，我们的双重学习框架提高了个人任务的性能，提供了现实和忠实于条件输入的生成的音乐作品和舞蹈编排。
2022-01-28 cs.CV cs.LG cs.MM
NONOTO: A Model-agnostic Web Interface for Interactive Music Composition by Inpainting
Sony CSL（索尼计算机科学实验室）
基于inpainting的生成建模允许通过让用户使用统计模型对对象执行风格上一致的本地版本来刺激人机交互。我们提出了NONOTO，一个新的交互式音乐生成接口的基础上修补模型。它既针对研究人员，通过提供简单灵活的API，允许他们将自己的模型与界面连接起来，也针对音乐家，提供行业标准功能，如音频播放，实时音频输出和使用Ableton Link与DAW直接同步。
2019-07-23 cs.HC cs.LG cs.SD
Sequence Generation using Deep Recurrent Networks and Embeddings: A study case in music
Universidad EAFIT（EAFIT大学）；Ecopetrol（哥伦比亚石油公司）
序列的自动生成在过去几年中一直是一个高度探索的领域。特别地，由于机器学习和具有内在记忆机制的神经网络（诸如递归神经网络）的最新进展，自然语言处理和自动音乐合成已经变得重要。本文评价了不同类型的记忆机制（存储单元），并分析了它们在音乐创作领域的表现。所提出的方法考虑了音乐理论的概念，如换位，并使用数据转换（嵌入），以引入语义和提高质量的生成的旋律。一组定量指标，提出了自动评估所提出的架构的性能，测量的音调的音乐作品。
2020-12-02 cs.LG cs.SD eess.AS
Music I Care About: Automated Multimodal Benchmarking of LLM Music Perception Skills on (Almost) Any Music
Charles University（查尔斯大学）；Brno University of Technology（布拉格技术大学）
针对当前音乐基准测试的局限，引入MusICA-MetaBench框架，利用结构化符号表示和预定义模板生成按需基准测试，通过ChoraleBricks数据集展示并确定规模，经与基线比较证明能测音乐感知，推动了大语言模型音乐感知跨模态评估。
2026-07-08 cs.SD
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo（滑铁卢大学）
电子音乐艺术家和声音设计师有独特的工作流程实践，需要专门的方法来开发音乐信息检索和创造力支持工具。此外，电子乐器，如模块化合成器，具有近乎无限的声音创作可能性，可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的，不可能复制。出于这个原因，许多电子流派的音乐家在录音室工作时一直录制音频输出。因此，艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中，我们描述了LyricJam Sonic --一种新颖的创作工具，让音乐家重新发现他们以前的录音，将它们与其他录音重新联系起来，并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段，并使用它们生成新的歌词线，这些歌词线又用于找到其他片段，从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态，而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行，或者以现场表演模式运行，其中艺术家播放现场音乐，而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
MusicSwarm: Biologically Inspired Intelligence for Music Composition
Massachusetts Institute of Technology（麻省理工学院）
MusicSwarm提出一种无需权重更新的去中心化群体智能框架，利用冻结基础模型通过点对点信号协调完成长篇幅音乐创作，展现出更优的质量与多样性，为长视野创作提供了高效路径。
2025-09-15 cs.AI cs.MM cs.SD
MusicSynth: An Automated Pipeline for Generating Violin Fingerboard Animations from Sheet Music Using Optical Music Recognition
Independent Researcher（独立研究者）；Trophy Club, Texas（德克萨斯奖杯俱乐部）
该研究提出了一种自动化流程，通过光学音乐识别技术将乐谱转换为小提琴指板动画，其核心方法是整合三个开源工具，并通过自定义的查找表将音乐音符映射到小提琴的弦和指位。
2026-05-16 cs.AI cs.SD
Classical Music Composition Using State Space Models
Duke University（杜克大学）
音乐创作有着悠久的历史，随着强大的深度学习方法的发展，最近人们对探索算法和模型来创作艺术的兴趣越来越大。我们探索了状态空间模型的实用性，特别是隐马尔可夫模型（Himp）和变体，在创作浪漫主义时期的古典钢琴曲时，考虑模型生成听起来像是人类创作的新作品的能力。我们发现，我们探索的模型在生成具有大部分辅音和声的新作品方面相当成功，特别是在具有简单和声结构的原始作品上训练时。然而，我们的结论是，使用这些模型来生成听起来像是由人类创作的音乐的主要限制是在所创作的作品中缺乏旋律进展。我们还研究了在音乐理论的背景下模型的性能。
2018-09-28 cs.SD
MIDI-GPT: A Controllable Generative Model for Computer-Assisted Multitrack Music Composition
Simon Fraser University（西蒙菲莎大学）；Steinberg Media Technologies GmbH（斯坦伯格媒体技术有限公司）
本文提出基于 Transformer 的可控多轨音乐生成系统 MIDI-GPT，通过按轨拼接的事件序列表示和属性条件控制，实现音轨/小节级填充并避免复制训练素材，已探索商业集成与艺术创作应用。
2025-02-04 cs.LG cs.MM cs.SD
Composition by Conversation
Stevens Institute of Technology（史蒂文斯理工学院）；University of Arizona（亚利桑那大学）
大多数音乐程序设计语言纯粹是为了编码虚拟乐器或算法作曲而开发的。尽管在用于音乐信息检索的音乐查询语言领域中已经有了一些工作，但是几乎没有尝试将音乐编程和查询语言的原理与认知和自然语言处理模型统一起来，这将促进通过对话进行创作的活动。我们提出了一个原型框架，称为MusECI，合并这些领域，允许在文本编辑器中的分数级算法组成，同时还支持连接到现有的自然语言处理框架。
2017-09-07 cs.CL cs.IR cs.PL
Musical Form Generation
University of California, San Diego（加州大学圣迭戈分校）
本文提出一种结构化音乐生成方法，通过条件生成模型创建音乐片段并实现片段间过渡，将高层作曲提示与低层细节生成分离，并利用大型语言模型建议曲式，从而生成任意长度的连贯作品。
2023-10-30 cs.LG cs.SD eess.AS
LoopLens: Supporting Search as Creation in Loop-Based Music Composition
Northwestern University（西北大学）；Sony Group Corporation（索尼集团）
LoopLens通过可视化音频搜索结果，支持在基于循环的音乐创作中进行创意搜索与拼接，揭示了不同专业背景用户在探索与利用之间的行为差异。
2026-03-09 cs.HC cs.IR cs.SD
Causal Analysis of Carnatic Music: A Preliminary Study
National Institute of Advanced Studies（国家高级研究院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）；University of Exeter（埃克塞特大学）
由于其丰富的结构和复杂性，卡尔纳蒂克音乐的音乐学分析具有挑战性。然而，这种形式的南印度古典音乐的自动\textit{rāga}分类、音高检测、音调分析、建模和信息检索在最近取得了重大进展。一个因果分析，以调查卡纳蒂克作品的音乐学结构和嵌入其中的关系的识别以前从未尝试过。在这项研究中，我们提出了一个新的框架因果发现，使用压缩复杂性的措施。然而，由于可用的组合物数量有限，我们生成了替代物，以进一步促进对主要因果关系的分析。我们的分析表明，上下文上下文无关文法，推断出更复杂的组成，如\textit{Mē\d{l}akarta} \textit{rāga}，是一个\textit{structural cause}的\textit{Janya} \textit{rāga}。我们还分析了\textit{Janya rāga}的某些特殊情况，以便更好地理解它们的起源和结构。
2021-09-24 cs.SD eess.AS
Musical creativity enabled by nonlinear oscillations of a bubble in water
Charles Sturt University（查尔斯特大学）
研究证明水中气泡在编码古典音乐的声压信号下非线性振荡可产生创造性音乐成果，其响应类似电吉他版本，并提出该特性可用于创建模拟人类音乐创造力的物理启发AI系统。
2023-04-03 cs.NE cs.SD eess.AS
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University（东京城市大学）
本研究提出集成多个RNN模型的交互式旋律生成系统，可基于用户反馈适配创作意图，经不同背景作曲家实验验证能促进音乐创造力，为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
Calliope: An Online Generative Music System for Symbolic Multi-Track Composition
Calliope是一个在线生成音乐系统，利用MMM模型支持符号多轨作曲，实现MIDI上传、编辑、生成与导出，促进协同创作。
2025-04-18 cs.HC cs.LG cs.SD
An Autoethnographic Exploration of XAI in Algorithmic Composition
Queen Mary University of London（伦敦玛丽女王大学）
本文通过自我民族志方法研究MeasureVAE生成式音乐XAI模型在爱尔兰民间音乐创作实践中的应用，发现创作工作流更突出训练数据特征而非模型特征，并揭示XAI模型在迭代创作中具有超出原始设计目标的潜力。
2023-08-11 cs.AI cs.HC cs.SD
MusicAIR: A Multimodal AI Music Generation Framework Powered by an Algorithm-Driven Core
Stanford University（斯坦福大学）；George Mason University（乔治·马歇尔大学）
MusicAIR通过算法驱动的核心生成音乐，能从歌词、文本和图像生成符合音乐理论的旋律谱，提升音乐创作效率并降低入门门槛。
2025-11-21 cs.AI cs.CL cs.MM
Sonus Texere! Automated Dense Soundtrack Construction for Books using Movie Adaptations
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
阅读，就像听音乐一样，是一种身临其境的体验，在带读者进行情感之旅的同时，也能让他们身临其境。听辅助音乐有可能扩大阅读体验，特别是当音乐在风格上有凝聚力和情感上相关时。在本文中，我们提出了第一个全自动的方法来为书籍构建密集的配乐，它可以在整个阅读过程中播放高质量的器乐。我们的工作采用了独特的文本处理和音乐编织管道，确定了一章中场景的上下文和情感组成。这使得我们的方法能够识别和播放来自该书电影改编的配乐的相关摘录。依靠电影作曲家的工艺，我们的书配乐包括专家制作的主题和其他特定场景的音乐特征。我们验证我们的方法，通过感性的研究设计决策。我们的读者注意到，这本书的配乐极大地增强了他们的阅读体验，这是由于通过不间断和风格一致的音乐赋予的高度沉浸感，以及通过高精度的情感和场景上下文识别获得的高度情绪状态。
2022-12-02 cs.AI cs.MM cs.SD
The Bach Doodle: Approachable music composition with machine learning at scale
Google Brain（谷歌大脑）；Google Doodle（谷歌涂鸦）
为了让音乐创作更容易接近，我们设计了第一个人工智能驱动的谷歌涂鸦，巴赫涂鸦，用户可以创建自己的旋律，并通过机器学习模型Coconet（Huang et al.，2017年，以巴赫的风格。对于用户输入的旋律，我们设计了一个简化的乐谱为基础的界面。为了支持大规模的交互式体验，我们在TensorFlow.js中重新实现了Coconet（Smilkov等人，2019年）在浏览器中运行，并通过采用扩展的深度可分离卷积和融合操作将其运行时间从40秒减少到2秒。我们还通过后训练权重量化将模型下载大小减少到约400KB。我们根据部分模型评估时间校准了一个速度测试，以确定协调请求应该在本地执行还是发送到远程TPU服务器。在三天的时间里，人们花了350年的时间玩巴赫涂鸦，Coconet收到了超过5500万个查询。用户可以选择对他们的作品进行评级，并将其贡献给我们将在本文中发布的公共数据集。我们希望社区发现这个数据集对从民族音乐学研究到音乐教育，再到改进机器学习模型的应用都很有用。
2019-07-14 cs.HC cs.LG cs.SD
Decoding Musical Evolution Through Network Science
Department of Computer Science, Sapienza University of Rome（罗马大学计算机科学系）；Department of Computer, Control and Management Engineering, Sapienza University of Rome（罗马大学计算机、控制与管理工程系）；University of Padova, Department of Mathematics（帕多瓦大学数学系）
本文利用网络科学分析音乐复杂性，通过20000个MIDI文件研究不同音乐流派的结构特性，发现古典和爵士音乐复杂度较高，但时间分析显示现代音乐趋于简化。
2025-01-13 cs.CY cs.SD eess.AS
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models
University Of Pretoria（比勒陀利亚大学）
音乐创作是一种在最少或没有人为干预的情况下创作音乐作品的方式。虽然递归神经网络传统上被应用于许多序列到序列的预测任务，包括音乐创作的成功实现，但其基于输入到输出映射的标准监督学习方法导致缺乏音符多样性。因此，这些模型可能被视为不适合诸如音乐生成之类的任务。生成对抗网络学习数据的生成分布，并产生不同的样本。这项工作实现并比较了递归神经网络音乐作曲家在数据库上的对抗性和非对抗性训练。由此产生的音乐样本由人类听众评估，他们的偏好被记录下来。评估表明，对抗性训练产生更美观的音乐。
2022-11-01 cs.LG cs.SC cs.SD
Designing Maintainable Hybrid Generative Systems: A Quantum-Inspired Approach to Automated Music Harmony Generation
Czech Technical University in Prague（捷克技术大学（布拉格））
研究从旋律自动生成音乐和声，核心方法是结合量子启发的候选探索与基于规则的优化，主要贡献是设计并评估出可维护的混合生成架构，其生成的和声保留结构与行为，优化层提升多种性能，且无需训练语料库。
2026-07-08 cs.AI cs.ET cs.SD
The Jazz Transformer on the Front Line: Exploring the Shortcomings of AI-composed Music through Quantitative Measures
National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
本文介绍了爵士乐Transformer，生成模型，利用神经序列模型称为transformer-XL建模的爵士乐的铅表。此外，该模型致力于将结构事件中存在的魏玛爵士乐数据库（WJazzD）诱导生成的音乐结构。虽然我们能够将训练损失降低到一个很低的值，但我们的听力测试表明，生成的平均评分与真实作品之间存在明显的差距。因此，我们更进一步，从不同的角度对生成的组合物进行了一系列的计算分析。这包括分析音高类，开槽和和弦进行的统计数据，在健身景观图的帮助下评估音乐的结构性，并通过类似MIREX的连续预测任务评估模型对爵士音乐的理解。我们的工作以分析的方式提出了为什么迄今为止机器生成的音乐仍然达不到人类的艺术作品，并为未来的自动作曲工作设定了一些目标。
2020-08-04 cs.AI cs.SD eess.AS
