Coupled Recurrent Models for Polyphonic Music Composition
University of Washington（华盛顿大学）；Amazon（亚马逊公司）
本文介绍了一种新的循环模式的音乐创作，是专为复调音乐的结构。我们提出了一个有效的新的条件概率因子分解的乐谱，把一个分数作为一个集合的并发，耦合序列：即声音。为了对条件分布进行建模，我们借用了卷积和递归神经模型的思想;我们认为这些思想对于捕捉音乐的音高不变性，时间结构和复调是很自然的。我们在KernScores数据集中的2，300个分数上训练了单语音和多语音合成的训练模型。
2019-11-26 cs.LG cs.SD eess.AS
Musical Speech: A Transformer-based Composition Tool
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；IICSI；Memorial University of Newfoundland（纽芬兰纪念大学）
在本文中，我们提出了一个新的作曲工具，将产生一个音乐大纲的语音记录/用户提供的音乐积木在他们的作品。该工具允许任何用户使用自己的语音来生成音乐素材，同时仍然能够听到他们录制的语音和所产生的音乐之间的直接联系。该工具是建立在我们提出的管道。该管道从基于语音的信号处理开始，之后应用一些简单的音乐技巧，最后这些预处理的信号通过在新音乐任务上训练的Transformer模型。我们通过音乐家使用我们的工具创作的音乐示例来说明我们的管道的有效性-它不需要配对的数据集进行训练。
2021-08-02 cs.CV cs.LG cs.SD
MUSICNTWRK: data tools for music theory, analysis and composition
University of North Texas（北德克萨斯大学）；Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
我们介绍了MUSICNTWRK的API，这是一个用于音高类集和节奏序列分类和操作的Python库，在广义音乐和声音空间中生成网络，用于音色识别的深度学习算法，以及任意数据的发音。该软件在GPL 3.0下免费提供，可以在www.musicntwrk.com下载或作为PyPi项目安装（pip install musicntwrk）。
2020-07-21 cs.SD eess.AS
Sequence Generation using Deep Recurrent Networks and Embeddings: A study case in music
Universidad EAFIT（EAFIT大学）；Ecopetrol（哥伦比亚石油公司）
序列的自动生成在过去几年中一直是一个高度探索的领域。特别地，由于机器学习和具有内在记忆机制的神经网络（诸如递归神经网络）的最新进展，自然语言处理和自动音乐合成已经变得重要。本文评价了不同类型的记忆机制（存储单元），并分析了它们在音乐创作领域的表现。所提出的方法考虑了音乐理论的概念，如换位，并使用数据转换（嵌入），以引入语义和提高质量的生成的旋律。一组定量指标，提出了自动评估所提出的架构的性能，测量的音调的音乐作品。
2020-12-02 cs.LG cs.SD eess.AS
Music Composition with Deep Learning: A Review
Universidad de Zaragoza（萨拉戈萨大学）
创作一件复杂的艺术作品，如音乐作品，需要展现出真正的创造力，而创造力取决于与音乐语言层次相关的各种因素。音乐生成一直面临着数学方法，最近，深度学习模型被用于其他领域，如计算机视觉。在本文中，我们希望将基于人工智能的音乐创作模型与人类音乐创作和创造力过程之间的现有关系置于上下文中。我们概述了最近用于音乐创作的深度学习模型，并从理论角度将这些模型与音乐创作过程进行了比较。我们试图通过分析当前深度学习模型生成具有创造力的音乐的能力或人工智能与人类作曲过程之间的相似性等来回答一些与此任务最相关的开放性问题。
2021-09-07 cs.AI cs.SD eess.AS
Music transcription modelling and composition using deep learning
Queen Mary University of London（伦敦玛丽女王大学）；INRS-EMT（加拿大国家科学研究院-能源材料电信研究所）；Kingston University（金斯顿大学）；Ghent University（根特大学）
我们将深度学习方法，特别是长短期记忆（LSTM）网络应用于音乐转录建模和作曲。我们使用大约23，000个用高级词汇表（ABC符号）表示的音乐transanks来构建和训练LSTM网络，并使用它们来生成新的transanks。我们的实际目标是创建音乐转录模型在特定的音乐创作环境中有用。我们从三个角度呈现结果：1）在群体水平上，比较训练转录集和生成转录集的描述性统计; 2）在个体水平上，检查生成转录如何反映训练转录（凯尔特民间）中的音乐实践惯例; 3）在应用水平上，使用该系统进行音乐创作中的想法生成。我们将我们的数据集、软件和声音示例开放和可用：\url{https://github.com/IraKorshunova/folk-rnn}。
2016-04-29 cs.LG cs.SD
Musical Form Generation
University of California, San Diego（加州大学圣迭戈分校）
本文提出一种结构化音乐生成方法，通过条件生成模型创建音乐片段并实现片段间过渡，将高层作曲提示与低层细节生成分离，并利用大型语言模型建议曲式，从而生成任意长度的连贯作品。
2023-10-30 cs.LG cs.SD eess.AS
Rethinking Recurrent Latent Variable Model for Music Composition
University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一个用于捕获音乐特征和创建新的音乐序列的模型，称为卷积变分递归神经网络。为了生成序列数据，该模型使用具有潜在概率连接的编码器-解码器架构来捕获音乐的隐藏结构。使用序列到序列模型，我们的生成模型可以利用先验分布的样本，并生成更长的音乐序列。我们比较了我们提出的模型与其他类型的神经网络的性能，使用的标准是由变量马尔可夫Oracle，一种方法，允许统计特征的音乐信息动态和检测的主题在一首歌中实现的信息率。我们的研究结果表明，所提出的模型具有更好的统计相似性的音乐结构的训练数据，这提高了创造新的音乐序列的风格的原件。
2018-10-07 cs.LG cs.MM cs.SD
Classical Music Prediction and Composition by means of Variational Autoencoders
Centro de investigación CITIC（CITIC研究中心）；University of A Coruña（拉科鲁尼亚大学）
提出了一种基于变分自编码器（VAE）的音乐预测模型。在这项工作中，VAE以一种新颖的方式使用，以解决两个不同的问题：音乐表示到潜在的空间，并使用这种表示来预测音乐作品的未来价值。这种方法是用古典作曲家的不同歌曲训练的。因此，该系统可以表示潜在空间中的音乐，并做出准确的预测。因此，该系统可用于从现有作品或从随机起点创作新音乐。该系统的另一个特点是使用小数据集进行训练。然而，结果表明，该系统能够在看不见的数据中返回准确的表示和预测。
2019-06-21 cs.LG cs.NE cs.SD
The NES Music Database: A multi-instrumental dataset with expressive performance attributes
UC San Diego（加州大学圣地亚哥分校）
现有的音乐生成研究主要集中在作曲上，但往往忽视了合成作品的合理演绎所需的表现性表演特征。在本文中，我们介绍了任天堂娱乐系统音乐数据库（NES-MDB），一个大型语料库，允许单独检查的任务组成和性能。NES-MDB包含数千首多乐器歌曲，由受作曲限制的NES音频合成器进行播放。对于每首歌曲，数据集包含四种乐器声音的乐谱以及每个声音的动态和音色的表达属性。与由一般的音频文件组成的数据集不同，NES-MDB包括渲染原始作品的精确声学性能所需的所有信息。除了数据集，我们还提供了一个工具，通过模拟设备的音频处理器将生成的作品呈现为NES风格的音频。此外，我们建立基线的任务组成，其中包括学习的语义组成的NES合成器，和性能，这涉及到找到一个组成和现实的表达属性之间的映射。
2018-06-12 cs.LG cs.NE cs.SD
NONOTO: A Model-agnostic Web Interface for Interactive Music Composition by Inpainting
Sony CSL（索尼计算机科学实验室）
基于inpainting的生成建模允许通过让用户使用统计模型对对象执行风格上一致的本地版本来刺激人机交互。我们提出了NONOTO，一个新的交互式音乐生成接口的基础上修补模型。它既针对研究人员，通过提供简单灵活的API，允许他们将自己的模型与界面连接起来，也针对音乐家，提供行业标准功能，如音频播放，实时音频输出和使用Ableton Link与DAW直接同步。
2019-07-23 cs.HC cs.LG cs.SD
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater（威斯康星大学白水分校）
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题，我们可以更好地理解生成的作品所需的参数，这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
BandNet: A Neural Network-based, Multi-Instrument Beatles-Style MIDI Music Composition Machine
Snap Inc.（Snap公司）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了一种基于递归神经网络（RNN）的音乐创作机器，它能够从现有的披头士歌曲中学习音乐知识，并在几乎没有人为干预的情况下生成披头士风格的音乐。在学习阶段，一系列风格统一的多声道音乐样本由RNN建模。在作曲阶段，随机生成的音乐的短片段被用作RNN的种子，以开始乐谱预测。为了形成结构化音乐，来自不同种子的生成音乐片段被连接在一起。为了改善生成的音乐的质量和结构，我们将音乐理论知识集成到模型中，例如控制声乐旋律中的间隙间距，规范和弦变化的时间，并要求音符与歌曲的基调（例如C大调）相关。经过专业作曲家的验证，这种集成提高了所生成音乐的质量。我们还进行了主观听力测试，显示我们生成的音乐在风格相似性，专业质量和趣味性方面接近披头士的原创音乐。生成的音乐样本在https://goo.gl/uaLXoB上。
2018-12-18 cs.MM cs.SD eess.AS
Musical Composition Style Transfer via Disentangled Timbre Representations
Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；KKBOX Inc.（KKBOX公司）
音乐创作不仅包括创作不同的部分（例如，旋律，和弦）的音乐作品，但也安排/选择乐器发挥不同的部分。虽然前者越来越受到关注，但后者却没有得到太多的研究。据我们所知，本文提出了第一个用于重新排列任意流派音乐的深度学习模型。具体来说，我们构建编码器和解码器，将一段复调音乐音频作为输入，并预测其乐谱作为输出。我们调查解纠缠技术，如对抗性训练，以分离与作品不同部分的音乐内容（音高）相关的潜在因素，以及与每个短时间段的部分的乐器（音色）相关的潜在因素。通过解开音高和音色，我们的模特们对每首曲子的组成和编排都有了一个概念。此外，该模型可以实现“作曲风格转移”，通过重新安排一个音乐作品，而不会影响其音高内容。我们通过乐器活动检测和作曲风格迁移的实验验证了模型的有效性。为了便于后续研究，我们在https://github.com/biboamy/instrument-disentangle上开源了我们的代码。
2019-05-30 cs.SD eess.AS
CoComposer: LLM Multi-agent Collaborative Music Composition
LIACS, Leiden University, Netherlands（莱顿大学莱顿信息与计算科学研究中心）
针对现有AI音乐创作工具的局限，提出基于传统创作流程的5智能体协同系统CoComposer，经多模型测试验证其在质量、复杂度等方面的优势，且可解释性与可编辑性优于非LLM的MusicLM。
2025-08-29 cs.AI cs.MM cs.SD
MeloTrans: A Text to Symbolic Music Generation Model Following Human Composition Habit
Communication University of China（中国传媒大学）
本文提出MeloTrans文本到符号音乐生成模型，通过构建首个含音乐动机及变体标签的POP909_M数据集，将人类动机发展规则与神经网络学习能力结合，在音乐性和多样性上超越现有模型及ChatGPT-4。
2024-10-17 cs.MM cs.SD eess.AS
Motif-Centric Representation Learning for Symbolic Music
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；NYU Shanghai（上海纽约大学）
本文提出基于孪生网络与预训练-微调流程的主题中心表示学习方法，结合VICReg和对比学习学习音乐主题与变体间的隐式关系，在检索任务上提升12.6%，为自动作曲和音乐信息检索奠定基础。
2023-09-19 cs.LG cs.SD eess.AS
Linear Computer-Music through Sequences over Galois Fields
Federal University of Pernambuco（伯南布哥联邦大学）；Amazon State University（亚马逊州立大学）
它示出了如何二进制序列可以与单声道作品的自动组成。我们关注的是从有限域结构的电子音乐的组成。输入端的信息可以是随机的，也可以是来自黑白、灰度或彩色图片的信息。新的电子作品和乐谱可供使用，包括著名的Lenna图片中的新作品：电子音乐的乐谱<<Lenna's Eyes in C major>>。并给出了相应的乐谱段。对GF（7）、GF（8）、GF（13）、GF（17）等结构进行了分析。此外，多级分组码也被用于电子音乐创作的新方法中，产生了作为电子作曲家的特定风格。作为一个例子，最近推出的Pascal多级分组码被处理，以产生一种新的风格的电子音乐在GF（13）。
2017-09-19 cs.SD eess.AS
Learning a Predictive Model for Music Using PULSE
University of Stuttgart（斯图加特大学）；TU Dresden（德累斯顿工业大学）；TU Berlin（柏林工业大学）
算法作曲、认知科学和机器学习的研究人员都在研究音乐的预测模型。它们作为基本模型的组成，可以模拟人类的预测，并提供了一个多学科的应用领域的学习算法。一个特别完善和不断进步的子任务是预测单声道旋律。由于旋律通常涉及非马尔可夫依赖性，因此它们的预测需要有能力的学习算法。在这篇论文中，我将最新的特征发现和学习方法PULSE应用到符号音乐建模领域。PULSE由特征生成操作和L1正则化优化组成。这些用于迭代地扩展和剔除特征集，有效地探索对于普通特征选择方法来说太大的特征空间。我为PULSE设计了一个通用的Python框架，提出了任务优化的特征生成操作和各种音乐理论动机的特征，这些特征在单声道民谣和合唱旋律的标准语料库上进行评估。所提出的方法显着优于可比的最先进的模型。进一步讨论了学习算法的自由参数，分析了学习模型的特征组成。PULSE学习的模型提供了一个简单的检查，并首次从音乐学上进行解释。
2017-09-26 cs.LG cs.SD eess.AS
Interpreting Graphic Notation with MusicLDM: An AI Improvisation of Cornelius Cardew's Treatise
University of California San Diego（加利福尼亚大学圣迭戈分校）
本研究提出借助ChatGPT解读科尼利厄斯·卡杜《Treatise》的图形记谱生成文本提示，输入MusicLDM模型并通过外扩生成技术拼接音乐，为图形乐谱演绎提供新路径，拓展实验音乐创作空间。
2024-12-12 cs.LG cs.SD eess.AS
Dual Learning Music Composition and Dance Choreography
Nanyang Technological University（南洋理工大学）；Zhejiang Gongshang University（浙江工商大学）；University of Alberta（阿尔伯塔大学）
音乐和舞蹈一直是人类活动的支柱，在几乎所有社会的文化，社会和娱乐功能中发挥着巨大的作用。尽管音乐和舞蹈逐渐系统化为两个独立的学科，但它们之间的密切联系是不可否认的，一种艺术形式往往没有另一种就显得不完整。最近的研究工作已经研究了生成模型的舞蹈序列的音乐条件。然而，为特定舞蹈作曲的双重任务在很大程度上被忽视了。在本文中，我们提出了一种新的扩展，我们联合建模的双重学习方法的任务。为了利用这两种模式的二元性，我们引入了一个最佳传输目标来对齐特征嵌入，以及一个周期一致性损失来促进整体一致性。实验结果表明，我们的双重学习框架提高了个人任务的性能，提供了现实和忠实于条件输入的生成的音乐作品和舞蹈编排。
2022-01-28 cs.CV cs.LG cs.MM
MIDI-GPT: A Controllable Generative Model for Computer-Assisted Multitrack Music Composition
Simon Fraser University（西蒙菲莎大学）；Steinberg Media Technologies GmbH（斯坦伯格媒体技术有限公司）
本文提出基于 Transformer 的可控多轨音乐生成系统 MIDI-GPT，通过按轨拼接的事件序列表示和属性条件控制，实现音轨/小节级填充并避免复制训练素材，已探索商业集成与艺术创作应用。
2025-02-04 cs.LG cs.MM cs.SD
ComposerX: Multi-Agent Symbolic Music Composition with LLMs
University of Rochester（罗切斯特大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hong Kong University of Science and Technology（香港科技大学）；University of Surrey（萨里大学）；The University of Manchester（曼彻斯特大学）；Queen Mary University of London（伦敦玛丽女王大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出多智能体符号音乐生成框架ComposerX，利用大语言模型的推理能力与音乐知识库，显著提升GPT-4的作曲质量，可生成旋律动人且符合用户指令的连贯复调音乐。
2024-04-30 cs.AI cs.CL cs.LG
Musical composition and 2D cellular automata based on music intervals
本文探讨了基于音乐音程的二维细胞自动机在随机音符阵列中的应用，通过复杂系统和人文方法揭示音乐创作规则对生成有序音符模式的重要性。
2024-11-29 cs.CY cs.SD eess.AS
An interactive music infilling interface for pop music composition
University of Sussex（萨塞克斯大学）
人工智能（AI）已广泛应用于音乐生成主题，如延续、旋律/和声生成、流派转移和音乐填充应用。尽管人们对将人工智能应用于音乐的兴趣激增，但音乐家们仍然很少有界面可以利用人工智能技术的最新进展。这使得这些工具在实践中不太有价值，并且如果不在实际场景中使用它们，就很难找到其优点/缺点。本工作建立了一个最大的补丁交互式音乐填充应用程序与不同层次的控制，包括轨道密度/复调/占用率和酒吧音调张力控制。用户可以选择旋律/低音/和声音轨作为最多16小节的填充内容。填充算法基于作者以前的工作，接口向托管在云中的AI系统发送/接收消息。这个界面降低了人工智能技术的门槛，可以生成所选内容的不同变体。这些结果可以为音乐家的创作提供多种选择，交互过程实现了AI填充系统的价值。
2022-03-23 cs.HC cs.MM cs.SD
TOMI: Transforming and Organizing Music Ideas for Multi-Track Compositions with Full-Song Structure
本文提出TOMI方法，通过概念层次生成、变换并组织音乐理念，利用指令微调基础LLM在四维空间中实现多轨电子音乐生成，并结合REAPER支持人机交互共创，生成质量与结构连贯性优于基线。
2025-06-29 cs.AI cs.SD eess.AS
Music Proofreading with RefinPaint: Where and How to Modify Compositions given Context
Sony Computer Science Laboratories（索尼计算机科学实验室）
提出迭代技术 RefinPaint，通过反馈模型识别音乐弱项并指导修复模型重采样，实现自动修复与校对，有效提升人机音乐创作质量。
2024-11-10 cs.AI cs.SD eess.AS
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Adaptive Music Composition for Games
Monash University（莫纳什大学）
动态适应内容和动作的音乐生成在构建更沉浸、更难忘和更情绪化的游戏体验方面发挥着重要作用。迄今为止，用于视频游戏的自适应音乐系统的开发受到用于实时音乐生成的算法的性质以及当前游戏中玩家动作、游戏世界上下文和情感的有限建模的限制。我们建议，这些问题必须同时解决，以显着提高自适应游戏音乐的质量和灵活性。知识组织和情感影响的认知模型与多模态，多智能体组成技术相结合，产生一种新的自适应音乐系统（AMS）。该系统集成到两个风格不同的游戏。游戏玩家报告说，在这两款游戏中，AMS的音乐与游戏世界概念的整体沉浸感和相关性都高于原始游戏配乐。
2019-07-02 cs.AI cs.MM cs.SD
Open-Qwen-Music: An Auditable Framework for LLM-Based Music Composition and Diffusion Rendering
Open-Qwen-Music是一个完全开源的文本到音乐生成系统，结合LLM语义创作与扩散渲染，提供完整训练数据、流程和预训练权重，作为可复现的研究基线。
2026-09-29 cs.AI cs.SD eess.AS
Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models
University Of Pretoria（比勒陀利亚大学）
音乐创作是一种在最少或没有人为干预的情况下创作音乐作品的方式。虽然递归神经网络传统上被应用于许多序列到序列的预测任务，包括音乐创作的成功实现，但其基于输入到输出映射的标准监督学习方法导致缺乏音符多样性。因此，这些模型可能被视为不适合诸如音乐生成之类的任务。生成对抗网络学习数据的生成分布，并产生不同的样本。这项工作实现并比较了递归神经网络音乐作曲家在数据库上的对抗性和非对抗性训练。由此产生的音乐样本由人类听众评估，他们的偏好被记录下来。评估表明，对抗性训练产生更美观的音乐。
2022-11-01 cs.LG cs.SC cs.SD
Adaptive music: Automated music composition and distribution
Universidad de Málaga（马拉加大学）
创造力，或产生新的有用的想法的能力，通常与人类有关;但在自然界中有许多其他例子可以观察到这种现象。受这一事实的启发，在工程中，特别是在计算科学中，已经开发了许多不同的模型来解决许多问题。音乐创作是人类历史上广泛存在的一种艺术形式，也是本文研究的主题。利用这种想法，带来多样性和创造力的性质和计算，我们提出Melomics：一种基于进化搜索的算法组合方法。这些解决方案具有基于正式语法的遗传编码，并且在复杂的发展过程中解释这些编码，然后进行健康评估，以产生标准格式的有效音乐作品。该系统表现出了很高的创造力和多功能性，可以制作不同类型的音乐，并且已经过测试，在许多情况下证明其结果与人类作曲家制作的音乐没有区别。该系统还促成了一系列全新应用的出现：从帮助任何人轻松获得所需精确音乐的有效工具，到用于治疗、锻炼、娱乐等的自适应音乐等全新用途。很明显，自动合成是一个活跃的研究领域，并且会发现无数新的用途。
2022-01-25 cs.CY cs.NE cs.SD
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo（滑铁卢大学）
电子音乐艺术家和声音设计师有独特的工作流程实践，需要专门的方法来开发音乐信息检索和创造力支持工具。此外，电子乐器，如模块化合成器，具有近乎无限的声音创作可能性，可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的，不可能复制。出于这个原因，许多电子流派的音乐家在录音室工作时一直录制音频输出。因此，艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中，我们描述了LyricJam Sonic --一种新颖的创作工具，让音乐家重新发现他们以前的录音，将它们与其他录音重新联系起来，并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段，并使用它们生成新的歌词线，这些歌词线又用于找到其他片段，从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态，而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行，或者以现场表演模式运行，其中艺术家播放现场音乐，而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
Subjective Evaluation of Deep Learning Models for Symbolic Music Composition
University of Zaragoza（萨拉戈萨大学）
深度学习模型通常被评估以测量和比较它们在给定任务上的性能。通常用于评估这些模型的指标是用于不同任务的标准指标。在音乐创作或生成领域，其他领域使用的标准度量，在音乐理论上没有明确的意义。在本文中，我们提出了一种主观的方法来评估基于AI的音乐创作系统，根据他们的音乐经验和知识，向不同层次的用户提出与基本音乐原理相关的问题。我们使用这种方法将最先进的音乐创作模型与深度学习进行比较。我们给出了这种评估方法的结果，我们比较每个用户级别的响应，每个评估模型。
2022-04-03 cs.AI cs.SD
Computoser - rule-based, probability-driven algorithmic music composition
本文介绍了Computoser的混合概率/规则为基础的算法的音乐创作（http：computoser.com），并提供了一个参考实现。它解决了许多现有方法所表现出的不愉快和缺乏变化的问题，通过结合这两种方法（基于从初步分析获得的数据的规则参数）。分析了500多首音乐作品的样本，以得出音乐特征和事件（例如音阶、节奏、音程）的概率。该算法被构造为使用导出的概率结合大量的作曲规则来产生音乐作品，这些规则是在研究了既定的作曲实践之后获得和结构化的。生成的片段发布在Computoser网站上，由听众进行评价。反馈是积极的（58.4%的人赞成），肯定了所采取的方法的优点。本文比较了这种混合方法的算法组成的其他方法，并提出了一个调查所产生的音乐的愉悦。
2014-12-09 cs.AI cs.SD
Calliope: An Online Generative Music System for Symbolic Multi-Track Composition
Calliope是一个在线生成音乐系统，利用MMM模型支持符号多轨作曲，实现MIDI上传、编辑、生成与导出，促进协同创作。
2025-04-18 cs.HC cs.LG cs.SD
Musical Attention Transformer: Music Generation Using a Music-Specific Attention Model
Department of Computer Science, School of Science and Technology, Meiji University（计算机科学系，科学与技术学部，立命馆大学）
本文提出了一种音乐特定的注意力模型，通过整合元信息来提升音乐生成的质量，核心方法是将音乐结构和元数据结合，主要贡献是提高了生成音乐的连贯性和多样性。
2026-09-14 cs.LG cs.SD
Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
最近已经提出了大量基于深度学习的模型用于自动音乐合成。在这些模型中，Transformer脱颖而出，作为一个突出的方法，产生表现力的古典钢琴演奏与连贯的结构长达一分钟。该模型的强大之处在于它可以自己学习数据的抽象，而不需要太多人为强加的领域知识或约束。与这种一般的方法相比，本文表明，Transformers可以做得更好的音乐建模，当我们改进的方式将乐谱转换成数据馈送到一个Transformer模型。特别地，我们试图在输入数据中施加韵律结构，使得Transformers可以更容易地意识到音乐中的节拍-小节-短语层次结构。新的数据表示保持了本地节奏变化的灵活性，并提供了控制音乐的节奏和和声结构的障碍。通过这种方法，我们构建了一个流行音乐Transformer，它比现有的Transformer模型具有更好的节奏结构。
2020-08-10 cs.AI cs.SD eess.AS
The Bach Doodle: Approachable music composition with machine learning at scale
Google Brain（谷歌大脑）；Google Doodle（谷歌涂鸦）
为了让音乐创作更容易接近，我们设计了第一个人工智能驱动的谷歌涂鸦，巴赫涂鸦，用户可以创建自己的旋律，并通过机器学习模型Coconet（Huang et al.，2017年，以巴赫的风格。对于用户输入的旋律，我们设计了一个简化的乐谱为基础的界面。为了支持大规模的交互式体验，我们在TensorFlow.js中重新实现了Coconet（Smilkov等人，2019年）在浏览器中运行，并通过采用扩展的深度可分离卷积和融合操作将其运行时间从40秒减少到2秒。我们还通过后训练权重量化将模型下载大小减少到约400KB。我们根据部分模型评估时间校准了一个速度测试，以确定协调请求应该在本地执行还是发送到远程TPU服务器。在三天的时间里，人们花了350年的时间玩巴赫涂鸦，Coconet收到了超过5500万个查询。用户可以选择对他们的作品进行评级，并将其贡献给我们将在本文中发布的公共数据集。我们希望社区发现这个数据集对从民族音乐学研究到音乐教育，再到改进机器学习模型的应用都很有用。
2019-07-14 cs.HC cs.LG cs.SD
Causal Analysis of Carnatic Music: A Preliminary Study
National Institute of Advanced Studies（国家高级研究院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）；University of Exeter（埃克塞特大学）
由于其丰富的结构和复杂性，卡尔纳蒂克音乐的音乐学分析具有挑战性。然而，这种形式的南印度古典音乐的自动\textit{rāga}分类、音高检测、音调分析、建模和信息检索在最近取得了重大进展。一个因果分析，以调查卡纳蒂克作品的音乐学结构和嵌入其中的关系的识别以前从未尝试过。在这项研究中，我们提出了一个新的框架因果发现，使用压缩复杂性的措施。然而，由于可用的组合物数量有限，我们生成了替代物，以进一步促进对主要因果关系的分析。我们的分析表明，上下文上下文无关文法，推断出更复杂的组成，如\textit{Mē\d{l}akarta} \textit{rāga}，是一个\textit{structural cause}的\textit{Janya} \textit{rāga}。我们还分析了\textit{Janya rāga}的某些特殊情况，以便更好地理解它们的起源和结构。
2021-09-24 cs.SD eess.AS
DISCO: An object-oriented system for music composition and sound design
本文介绍了一种面向对象的方法来音乐创作和声音设计。这种方法通过使用类似的逻辑、对象和程序来统一音乐制作和乐器制造的过程。作曲模块使用音乐数据的抽象表示，可以很容易地映射到不同的合成语言或传统的乐谱。抽象基类用于派生不同时间尺度上的类。对象可以在时间尺度上与动作相关，也可以在整个作品中与动作相关，相似对象之间的关系可以复制传统的音乐操作或引入新的操作。DISCO（Digital Instrument for Sonification and Composition）系统是一个正在进行的开放式工作。
2000-07-05 cs.DS cs.SD cs.SE
Adaptable Symbolic Music Infilling with MIDI-RWKV
Metacreation Lab, Simon Fraser University（Simon Fraser大学元创作实验室）
MIDI-RWKV是一种基于RWKV-7架构的小型基础模型，用于实现高效的音乐共创，并通过低样本量微调实现风格适应。
2026-01-26 cs.LG cs.MM cs.SD
Differential Music: Automated Music Generation Using LSTM Networks with Representation Based on Melodic and Harmonic Intervals
University of Florida（佛罗里达大学）
本文提出了一种使用LSTM网络进行自动音乐合成的生成式人工智能模型，该模型采用了一种新的方法来编码音乐信息，该方法基于音乐中的运动而不是绝对音高。旋律被编码为一系列音程而不是一系列音高，和弦被编码为每个和弦音符在每个时步与旋律一起形成的一组音程。实验结果表明，承诺，因为他们的声音音乐和音调。这种方法也有弱点，主要是成分中的过度调制，但这是从编码的性质预期的。这一问题将在本文件后面讨论，是今后工作的一个潜在专题。
2021-08-23 cs.AI cs.SD eess.AS
Discovering "Words" in Music: Unsupervised Learning of Compositional Sparse Code for Symbolic Music
Central Conservatory of Music（中央音乐学院）；Department of Industrial Engineering, Ajou University（Ajou大学工业工程系）；Alibaba Group（阿里巴巴集团）；Bigai；Peking University（北京大学）
本文提出基于EM的两阶段无监督框架，从符号音乐中学习可组合的稀疏“音乐词汇”，以IoU 0.61匹配专家标注，并服务于AI音乐与音乐学分析。
2025-09-29 cs.CV cs.SD
Assisted music creation with Flow Machines: towards new categories of new
Spotify（声田）
本章回顾了大约10年来在人工智能辅助音乐创作方面的研究，特别是在流动机器项目期间。我们反思这样一个项目的动机，它的背景，它的主要结果和影响，无论是技术和音乐，在它完成后的几年。最后，我们提出了一个新类别的建议，这些新类别是由人工智能技术的许多用途产生的新材料。
2021-01-04 cs.LG cs.SD eess.AS
Classical Music Composition Using State Space Models
Duke University（杜克大学）
音乐创作有着悠久的历史，随着强大的深度学习方法的发展，最近人们对探索算法和模型来创作艺术的兴趣越来越大。我们探索了状态空间模型的实用性，特别是隐马尔可夫模型（Himp）和变体，在创作浪漫主义时期的古典钢琴曲时，考虑模型生成听起来像是人类创作的新作品的能力。我们发现，我们探索的模型在生成具有大部分辅音和声的新作品方面相当成功，特别是在具有简单和声结构的原始作品上训练时。然而，我们的结论是，使用这些模型来生成听起来像是由人类创作的音乐的主要限制是在所创作的作品中缺乏旋律进展。我们还研究了在音乐理论的背景下模型的性能。
2018-09-28 cs.SD
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University（东京城市大学）
本研究提出集成多个RNN模型的交互式旋律生成系统，可基于用户反馈适配创作意图，经不同背景作曲家实验验证能促进音乐创造力，为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
MusicSwarm: Biologically Inspired Intelligence for Music Composition
Massachusetts Institute of Technology（麻省理工学院）
MusicSwarm提出一种无需权重更新的去中心化群体智能框架，利用冻结基础模型通过点对点信号协调完成长篇幅音乐创作，展现出更优的质量与多样性，为长视野创作提供了高效路径。
2025-09-15 cs.AI cs.MM cs.SD
Automatic Composition of Guitar Tabs by Transformers and Groove Modeling
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）
深度学习算法越来越多地被开发用于学习以MIDI文件的形式创作音乐。然而，这种算法是否能很好地用于编写吉他标签，这与MIDI有很大的不同，仍然相对未被探索。为了解决这个问题，我们构建了一个模型，用于使用Transformer-XL（一种神经序列模型架构）编写指弹吉他标签。在这个模型中，我们探讨了以下研究问题。首先，神经网络是否生成具有有意义的音符-字符串组合的音符序列，这对吉他很重要，但对钢琴等其他乐器则不重要。第二，它是否能产生具有连贯节奏的作品，这对指弹吉他音乐至关重要。最后，与真实的人造作品相比，创作的音乐是多么令人愉快。我们的工作提供了深度学习对标签组成的承诺的初步经验证据，并建议了未来研究的领域。
2020-08-04 cs.SD eess.AS
Undecidability Results and Their Relevance in Modern Music Making
本文探讨不可判定性在现代音乐制作中的相关性，通过分析Ableton的图灵完备性及声音创作、复节拍、纯律和声和新排序系统的不可判定性，为非理论计算机科学从业者提供理论证明与实践启示。
2023-09-14 cs.SD eess.AS
BacHMMachine: An Interpretable and Scalable Model for Algorithmic Harmonization for Four-part Baroque Chorales
音乐协调--给定旋律线的音乐作品的自动协调--是一个具有挑战性的问题，引起了音乐理论家和计算机科学家的极大兴趣。特别有趣的一种流派是JS的四部分巴洛克合唱曲巴赫.算法合唱协调的方法通常采用黑盒，“数据驱动”的方法：它们不明确地整合音乐理论的原则，而是依赖于用大量合唱数据训练的复杂学习模型。相反，我们提出了一个新的协调模型，称为BacHMMachine，它采用了一个“理论驱动”的框架指导下的音乐创作原则，随着“数据驱动”的模型在这个框架内学习组成功能。正如其名称所示，BacHMMachine使用了一种基于键和和弦过渡的新型隐马尔可夫模型，为从给定的旋律线学习键调制和和弦进行提供了一个概率框架。这允许产生创造性的，但在音乐上连贯的合唱和声;整合作曲原则允许一个更简单的模型，导致在计算负担和更大的可解释性相比，国家的最先进的算法协调方法，在没有惩罚的协调或音乐性的质量。我们证明了这种改进，通过全面的实验和图灵测试比较BacHMMachine现有的方法。
2022-02-23 cs.LG cs.SD eess.AS
The Jazz Transformer on the Front Line: Exploring the Shortcomings of AI-composed Music through Quantitative Measures
National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
本文介绍了爵士乐Transformer，生成模型，利用神经序列模型称为transformer-XL建模的爵士乐的铅表。此外，该模型致力于将结构事件中存在的魏玛爵士乐数据库（WJazzD）诱导生成的音乐结构。虽然我们能够将训练损失降低到一个很低的值，但我们的听力测试表明，生成的平均评分与真实作品之间存在明显的差距。因此，我们更进一步，从不同的角度对生成的组合物进行了一系列的计算分析。这包括分析音高类，开槽和和弦进行的统计数据，在健身景观图的帮助下评估音乐的结构性，并通过类似MIREX的连续预测任务评估模型对爵士音乐的理解。我们的工作以分析的方式提出了为什么迄今为止机器生成的音乐仍然达不到人类的艺术作品，并为未来的自动作曲工作设定了一些目标。
2020-08-04 cs.AI cs.SD eess.AS
LoopLens: Supporting Search as Creation in Loop-Based Music Composition
Northwestern University（西北大学）；Sony Group Corporation（索尼集团）
LoopLens通过可视化音频搜索结果，支持在基于循环的音乐创作中进行创意搜索与拼接，揭示了不同专业背景用户在探索与利用之间的行为差异。
2026-03-09 cs.HC cs.IR cs.SD
Language Models are Drummers: Drum Composition with Natural Language Pre-Training
University of Pennsylvania（宾夕法尼亚大学）
使用人工智能自动音乐生成通常需要大量数据，对于许多不太常见的流派和乐器来说，这是很难获得的。为了解决这个问题，我们提出了正在进行的工作和初步发现，即通过微调在仅数百个MIDI文件的海量文本语料库上预训练的大语言模型，深度模型将知识从语言转移到音乐的可能性。鼓表演。我们证明，通过这样做，最大的，最先进的模型之一（GPT3）能够生成合理的鼓槽，而没有预先训练的模型（Transformer）除了天真的重复之外没有显示出这种能力。评估生成的音乐是一项具有挑战性的任务，更是评估鼓槽在文献中很少有先例。因此，我们提出了一种量身定制的结构评估方法，并分析了GPT3产生的鼓槽与人类专业人士演奏的鼓槽相比，揭示了语言到音乐转换的优势和劣势。我们的研究结果表明，语言到音乐迁移学习与大语言模型是可行的，有前途的。
2023-01-03 cs.CL cs.SD eess.AS
