A Controllable Perceptual Feature Generative Model for Melody Harmonization via Conditional Variational Autoencoder
Shanghai Film Academy, Shanghai University（上海大学上海电影学院）
针对现有旋律和声化方法创造性不足的问题，提出基于条件变分自编码器的CPFG-Net及感知特征-和弦映射算法，依托BCPT-220K数据集训练，实现可控的高表现力和声生成。
2025-11-18 cs.SD
Deep Learning for Music
Stanford University（斯坦福大学）
我们的目标是能够从深层神经网络架构中构建生成模型，以尝试创建既有和声又有旋律的音乐，并且可以作为人类创作的音乐。以前的音乐生成工作主要集中在创造一个单一的旋律。最近关于复调音乐建模的工作，以时间序列概率密度估计为中心，已经取得了一些部分成功。特别是，已经有很多基于递归神经网络结合受限玻尔兹曼机（RNN-RBM）和其他类似的基于递归能量的模型的工作。然而，我们的方法是单独使用深度神经网络进行端到端学习和生成。
2016-06-15 cs.LG cs.SD
Melody Generation using an Interactive Evolutionary Algorithm
Iran Broadcasting University（伊朗广播大学）
计算机辅助音乐生成近年来引起了人工智能领域许多科学家的注意。为此目的，深度学习技术已经发展了序列产生方法。然而，一个具有挑战性的问题是如何评估机器生成的音乐。在本文中，已经开发了一种方法的基础上的交互式进化优化方法，其中所产生的旋律的评分主要是由人类的专业知识，在训练过程中。这种音乐质量评分使用Bi-LSTM递归神经网络建模。此外，通过遗传算法创新生成的旋律将使用该Bi-LSTM网络进行评估。该机制的结果清楚地表明，所提出的方法是能够创建愉快的旋律与所需的风格和作品。与最先进的面向数据的进化系统相比，这种方法也相当快。
2019-07-07 cs.NE cs.SD eess.AS
UniVoice: A Unified Model for Speech and Singing Voice Generation
Giant Network（巨量网络）；Shanghai Conservatory of Music（上海音乐学院）
提出UniVoice，一种基于条件流匹配的统一语音和歌声生成框架，通过将条件分解为内容、旋律和音色，并引入空旋律标记，实现单一模型同时生成自然语音和可控歌声。
2026-06-04 cs.AI cs.SD eess.AS
Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs
Georgia Institute of Technology（佐治亚理工学院）
符号音乐的深度生成模型通常被设计为对音乐中的时间依赖性进行建模，以便在给定先前事件的情况下预测下一个音乐事件。在许多情况下，这样的模型被期望从原始音乐数据中学习抽象概念，如和声、节拍和节奏，而不需要任何额外的信息。在这项研究中，我们调查的影响，明确条件反射深生成模型与音乐相关的信息。具体而言，我们研究了四种不同的条件输入的性能上的一个经常性的单声道旋律生成模型的影响。这些调节输入的几种组合用于训练不同的模型变体，然后使用跨两种音乐流派的三个客观评估范例来评估这些模型变体。结果表明，音乐相关的条件反射显着提高学习和性能，并揭示了这些信息如何影响学习的音高和节奏相关的音乐特征。一个非正式的主观评价表明，一代人的审美素质相应提高。
2019-07-10 cs.AI cs.SD eess.AS
Semi-supervised learning using teacher-student models for vocal melody extraction
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
缺乏标记数据是许多音乐信息检索任务（如旋律提取）的主要障碍，其中标记非常费力或昂贵。半监督学习（SSL）通过利用大量未标记的数据提供了一种解决方案来缓解这个问题。在本文中，我们提出了一种SSL方法使用师生模型的声乐旋律提取。教师模型使用标记数据进行预训练，并指导学生模型在自训练设置中对未标记的输入进行相同的预测。我们研究了三个设置不同的数据增强方案和损失函数的师生模型。此外，考虑到在测试阶段的标记数据的稀缺性，我们人工生成大规模的测试数据与音高标签从未标记的数据使用的分析-合成方法。结果表明，SSL方法显着提高了仅针对监督学习的性能，并且改进取决于师生模型，未标记数据的大小，自训练迭代次数以及其他训练细节。我们还发现，这是至关重要的，以确保未标记的音频有声乐部分。最后，我们证明了所提出的SSL方法使基线卷积递归神经网络模型能够实现与最先进技术相当的性能。
2020-08-14 cs.SD eess.AS
Improving Automatic Jazz Melody Generation by Transfer Learning Techniques
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Taiwan AI Labs（台湾人工智能实验室）；Research Center for IT Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
在本文中，我们解决了迁移学习的问题，爵士乐自动生成。爵士乐是一种具有代表性的音乐类型，但由于缺乏爵士乐数据，爵士乐生成模型的构建受到了阻碍。迁移学习是一种旨在解决数据不足问题的学习方法，其目的是将一个领域的共性特征迁移到另一个领域。鉴于它在其他机器学习问题上的成功，我们研究它是否可以帮助改善资源不足的音乐类型的自动音乐生成，以及有多大帮助。具体来说，我们使用一个循环的变分自编码器作为生成模型，并使用一个未指定类型的数据集作为源数据集和一个Jazz数据集作为目标数据集。两种迁移学习方法使用六个级别的源目标数据比率进行评估。第一种方法是在源数据集上训练模型，然后在目标数据集上微调结果模型参数。第二种方法是同时在源数据集和目标数据集上训练模型，但向潜在向量添加流派标签并使用流派分类器来改进Jazz生成。评估结果表明，第二种方法似乎整体表现更好，但它不能充分利用类型未指定的数据集。
2019-08-26 cs.LG cs.SD eess.AS
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University（东京城市大学）
本研究提出集成多个RNN模型的交互式旋律生成系统，可基于用户反馈适配创作意图，经不同背景作曲家实验验证能促进音乐创造力，为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation
Research Center for IT innovation, Academia Sinica（中央研究院信息技术创新研究中心）
大多数现有的用于音乐生成的神经网络模型使用递归神经网络。不过，DeepMind最近提出的WaveNet模型表明，卷积神经网络（CNN）也可以在音频域生成逼真的音乐波形。根据这一点，我们研究使用CNN在符号域中一个接一个地生成旋律（一系列音符）。除了生成器之外，我们还使用了一个学习器来学习旋律的分布，使其成为一个生成对抗网络（GAN）。此外，我们提出了一种新的条件机制，利用现有的先验知识，使模型可以生成旋律从头开始，通过以下和弦序列，或通过调节以前的酒吧的旋律（例如启动旋律），以及其他可能性。由此产生的模型名为MidiNet，可以扩展为生成具有多个音频通道（即曲目）的音乐。我们进行了一项用户研究，以比较MidiNet和Google的MelodyRNN模型生成的八小节长旋律，每次使用相同的启动旋律。结果表明，MidiNet与MelodyRNN模型在真实和悦耳方面表现出色，但据报道，MidiNet的旋律更有趣。
2017-07-18 cs.AI cs.SD
Vocal Melody Construction for Persian Lyrics Using LSTM Recurrent Neural Networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
该研究构建基于 LSTM 的 seq2seq 模型，学习波斯语歌词音节与音符序列的对应关系，并通过自建数据集和问卷评估其自动旋律生成效果。
2024-10-23 cs.LG cs.SD eess.AS
MusicLM: Generating Music From Text
Google Research（谷歌研究院）；IRCAM - Sorbonne Université（巴黎声学音乐研究协调所-索邦大学）
我们介绍MusicLM，一个从文本描述中生成高保真音乐的模型，例如“由扭曲的吉他即兴重复支持的平静的小提琴旋律”。MusicLM将条件音乐生成的过程转换为分层序列到序列建模任务，并且它生成的音乐在24 kHz下在几分钟内保持一致。我们的实验表明，MusicLM优于以前的系统，无论是在音频质量和坚持的文本描述。此外，我们表明，MusicLM可以同时在文本和旋律的条件，因为它可以转换口哨和哼唱的旋律，根据在文本标题中描述的风格。为了支持未来的研究，我们公开发布MusicCaps，这是一个由5.5k音乐文本对组成的数据集，由人类专家提供富文本描述。
2023-01-26 cs.LG cs.SD eess.AS
Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions
UC San Diego（加州大学圣地亚哥分校）；NYU Shanghai（上海纽约大学）
自动音乐生成是一个跨学科的研究课题，它结合了计算创造力和音乐的语义分析来创建自动机器即兴创作。这种系统的重要特性是允许用户指定所生成的音乐的条件和期望的特性。在本文中，我们设计了一个模型，为用户指定的象征性的情况下，结合以前的音乐上下文组成的旋律。我们添加手动标记的矢量表示外部音乐质量的和弦功能，提供了一个低维的谐波张力和分辨率的表示。我们的模型能够以8拍音符序列为基本单位生成长旋律，并与另一首特定的歌曲共享一致的节奏模式结构。该模型包含两个阶段，需要单独的训练，其中第一阶段采用条件变分自编码器（C-VAE）来构建音符序列及其潜在表征之间的双射，第二阶段采用具有结构条件的长短期记忆网络（LSTM）来继续编写未来的旋律。我们进一步利用解开技术，通过C-VAE允许旋律生成的基础上，音高轮廓信息独立于调节节奏模式。最后，我们使用节奏的定量分析和主观听力研究评估所提出的模型。结果表明，我们的模型生成的音乐往往具有显着的重复结构，丰富的动机，和稳定的节奏模式。能够生成更长，更结构化的短语从解纠缠表示结合语义场景规范条件显示了我们的模型的广泛应用。
2020-02-05 cs.AI cs.LG cs.SD
GGA-MG: Generative Genetic Algorithm for Music Generation
Media Engineering Faculty, Iran Broadcasting University（伊朗广播大学媒体工程学院）
音乐生成（MG）是一个有趣的研究课题，它将音乐艺术和人工智能（AI）联系起来。我们的目标是训练一个人工作曲家产生无限的，新鲜的，愉快的音乐作品。音乐有不同的部分，如旋律、和声和节奏。在本文中，我们提出了一个生成式遗传算法（GGA）自动产生一个旋律。主GGA使用长短期记忆（LSTM）递归神经网络作为目标函数，该网络应该由一系列从坏到好的旋律进行训练。这些旋律必须由另一个具有不同目标函数的GGA提供。CAMPINS的收藏提供了很好的旋律。我们也考虑了这部作品的节奏。实验结果清楚地表明，所提出的GGA方法是能够产生合格的旋律自然过渡和没有节奏错误。
2020-04-07 cs.AI cs.NE cs.SD
Domain Adversarial Training on Conditional Variational Auto-Encoder for Controllable Music Generation
NUS（新加坡国立大学）；NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
变分自动编码器已成为符号音乐生成的主导框架，如何有效地控制生成过程是一个热门的研究方向。一种简单的方法是在推理过程中使用不同的条件来控制模型。然而，在音乐实践中，条件通常是连续的（而不是简单的分类标签），涉及与学习的表征重叠的丰富信息。因此，解码器对于是否“收听”潜在表示或条件感到困惑，并且有时忽略条件。为了解决这个问题，我们利用领域对抗训练来从条件线索中分离出表征，以便更好地控制。具体来说，我们提出了一个条件腐败的目标，使用的表示去噪损坏的条件。最小化的一个矩阵和最大化的VAE编码器，这个目标逆向诱导条件不变的表示。在本文中，我们专注于旋律协调的任务来说明我们的想法，而我们的方法可以推广到其他可控的生成任务。演示和实验表明，我们的方法不仅有利于条件不变的表示学习，但也更高质量的可控性相比，基线。
2022-09-15 cs.SD eess.AS
Automatic Neural Lyrics and Melody Composition
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；National Institute of Informatics（国立信息学研究所）；ISIMA；The University of Electro-Communications（电气通信大学）；EPFL（洛桑联邦理工学院）
在本文中，我们提出了一种技术，以解决算法歌曲创作过程中最具挑战性的方面，这使得人类社会发现原始歌词，和旋律适合生成的歌词。自动神经歌词和旋律合成（AutoNLMC）是一个尝试，使歌曲创作的整个过程自动使用人工神经网络。我们的歌词向量（lyric 2 vec）模型训练的歌词旋律对数据集解析在音节，单词和句子的水平是大规模的嵌入模型，使我们能够训练数据驱动的模型，如循环神经网络流行的英语歌曲。AutoNLMC是一个编码器-解码器顺序递归神经网络模型，由歌词生成器、歌词编码器和旋律解码器组成。AutoNLMC是专为业余爱好者或没有音乐知识的人自动生成歌词和相应的旋律。它还可以从专业的歌词作家那里获取歌词，以生成匹配的旋律。定性和定量的评估措施表明，所提出的方法确实是能够生成原创歌词和相应的旋律组成的新的歌曲。
2020-11-12 cs.CL cs.SD eess.AS
MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation
University of Science and Technology of China（中国科学技术大学）
现有的大多数用于音乐生成的神经网络模型探索如何生成音乐小节，然后直接将音乐小节拼接成歌曲。但是，这些方法没有探索小节之间的关系，连接的歌曲作为一个整体没有音乐形式结构和音乐方向感。为了解决这个问题，我们提出了一个多模型多任务层次条件VAE-GAN（变分自动编码器生成对抗网络）网络，名为MIDI-Sandwich，它结合了音乐知识，如音乐形式，主音和旋律运动。MIDI-Sandwich有两个子模型：分层条件变分自编码器（HCVAE）和分层条件生成对抗网络（HCGAN）。HCVAE使用分层结构。HCVAE的底层使用局部条件变分自动编码器（L-CVAE）来生成由第一个和最后一个音符（FLN）预先指定的音乐条。HCVAE的上层使用全局变分自编码器（G-VAE）对L-CVAE编码器生成的特征向量序列进行分析，挖掘小节之间的音乐关系，产生由L-CVAE解码器生成的多个音乐小节拼接而成的歌曲，使歌曲既有音乐结构又有方向感。与此同时，HCVAE与HCGAN共享其自身的一部分，以进一步提高所生成音乐的性能。MIDI-Sandwich在Nottingham数据集上进行了验证，能够生成单音轨旋律序列（17 x8拍），这优于大多数生成的模型（8到32拍）的长度。同时，参考多种经典文献的实验方法，对生成的音乐进行了质量评价。以上实验证明了该模型的有效性。
2019-07-04 cs.LG cs.MM cs.SD
Song From PI: A Musically Plausible Network for Pop Music Generation
University of Toronto（多伦多大学）
我们提出了一个新的框架生成流行音乐。我们的模型是一个分层的递归神经网络，其中层次的层和结构编码了我们关于流行音乐是如何组成的先验知识。特别是，底层产生旋律，而更高的层次产生鼓和和弦。我们进行了几项人类研究，显示我们生成的音乐比Google最近的方法产生的音乐更受欢迎。我们还展示了我们的框架的两个应用：神经舞蹈和卡拉OK，以及神经故事唱歌。
2016-11-10 cs.AI cs.SD
Versatile Symbolic Music-for-Music Modeling via Function Alignment
本文提出音乐到音乐建模范式，用预训练LM与轻量适配器对齐参考和目标符号音乐序列，在和弦识别、旋律及鼓轨生成上取得优异性能。
2025-09-28 cs.SD
Adversarially Trained End-to-end Korean Singing Voice Synthesis System
Seoul National University（首尔大学）
在本文中，我们提出了一个端到端的韩语歌唱声音合成系统，从歌词和一个象征性的旋律使用以下三种新的方法：1）语音增强掩蔽，2）本地条件的文本和音高的超分辨率网络，和3）条件对抗训练。所提出的系统由两个主要模块组成;从给定的输入信息生成梅尔频谱图的梅尔合成网络，以及将生成的梅尔频谱图上采样为线性频谱图的超分辨率网络。在mel合成网络中，语音增强掩蔽被应用于仅从输入文本生成隐式共振峰掩码，这使得能够更准确地对歌声进行语音控制。此外，我们还发现，另外两种方法-文本和音高的局部调节和有条件对抗训练-对于在超分辨率过程中真实生成人类歌声至关重要。最后，进行定量和定性评价，确认所有提出的方法的有效性。
2019-08-06 cs.SD eess.AS
Polyphonic Music Generation with Sequence Generative Adversarial Networks
Seoul National University（首尔国立大学）
我们提出了一个应用程序的序列生成对抗网络（SeqGAN），这是生成对抗网络的离散序列生成，创建复调音乐序列。而不是一个单声道的旋律生成建议在原来的工作中，我们提出了一个有效的表示的一个复调音乐文件，同时捕捉和弦和旋律的动态定时。所提出的方法将旋律和和弦的持续时间，八度音阶和键浓缩为单个词向量表示，并且递归神经网络学习从嵌入的音乐词空间预测序列的分布。我们实验了原始方法和最小二乘法的训练，这是已知的稳定的GANs的训练。该网络可以创建音乐连贯的序列，并显示出改进的定量和定性测量。我们还报告说，仔细优化的强化学习信号的模型是至关重要的模型的一般应用。
2018-07-02 cs.SD eess.AS
Lead Sheet Generation and Arrangement by Conditional Generative Adversarial Network
Research Center for IT Innovation Academia Sinica Taipei, Taiwan
由于深度神经网络的发展，自动音乐生成的研究取得了很大进展。然而，任意流派的多乐器音乐的生成仍然是一个挑战。现有的研究要么在MIDI中发现的铅片或多轨道钢琴卷上工作，但这两种乐谱都有其局限性。在这项工作中，我们提出了一个新的任务，称为铅片安排，以避免这种限制。提出了一个新的递归卷积生成模型，以及三个新的符号域谐波特征，以促进从不成对的铅片和MIDI中学习。我们的模型可以产生铅片和他们的安排，八酒吧长。生成结果的音频样本可以在https://drive.google.com/open?上找到ID=1c0FfODTpudmLvuKBbc23VBCgQizY6-Rk
2018-07-30 cs.AI cs.LG cs.SD
Music ControlNet: Multiple Time-varying Controls for Music Generation
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）
Music ControlNet提出基于扩散的时变控制音乐生成方法，支持旋律、动态和节奏控制，相比MusicGen在参数少35倍、数据少11倍下旋律忠实度提升49%。
2023-11-13 cs.SD eess.AS
Generating Nontrivial Melodies for Music as a Service
U. of Illinois, Dept. of ECE（伊利诺伊大学电气与计算机工程系）；U. of Illinois, Beckman Inst.（伊利诺伊大学贝克曼研究所）
我们提出了一个混合神经网络和基于规则的系统，产生流行音乐。由纯粹基于规则的系统产生的音乐通常听起来很机械。由机器学习产生的音乐听起来更好，但仍然缺乏分层的时间结构。我们通过用时间产生语法增强机器学习来恢复时间层次，该语法生成音乐的整体结构和和弦进行。一个兼容的旋律，然后产生的条件变分递归自动编码器。自动编码器使用来自10，000个MP3文件的语料库的八小节段进行训练，每个文件都有其旋律轨道和和弦进行识别。自动编码器将旋律映射到多维特征空间，由基础和弦进行调节。然后，通过将来自该空间的随机样本馈送到自动编码器的解码器来生成旋律，以及由语法生成的和弦进行。自动编码器可以在现有旋律上做出音乐上合理的变化，适合于重复出现的主题。它也可以重新协调旋律到一个新的和弦进行，保持节奏和轮廓。生成的音乐与其他为音乐即服务行业设计的学术和商业软件生成的音乐相比毫不逊色。
2017-10-06 cs.AI cs.SD eess.AS
A Syllable-Structured, Contextually-Based Conditionally Generation of Chinese Lyrics
Ping An Technology (Shenzhen) Co., Ltd（平安科技（深圳）有限公司）
本文提出了一种新颖的，音节结构的中文歌词生成模型给定一个原始的旋律。大多数以前报道的歌词生成模型未能包括歌词和旋律之间的关系。在这项工作中，我们建议解释歌词旋律对齐音节结构信息，并使用多通道序列到序列模型，同时考虑短语结构和语义。两种不同的RNN编码器被应用，其中一种用于编码音节结构，而另一种用于上下文句子或输入关键字的语义编码。此外，一个大型的中文歌词语料库模型训练的杠杆。通过自动和人工评估，结果证明了我们提出的歌词生成模型的有效性。据我们所知，很少有以前的报告，歌词生成考虑到音乐和语言的角度。
2019-06-15 cs.AI cs.CL cs.SD
CoCoFormer: A controllable feature-rich polyphonic music generation method
Xi’an University of Technology（西安理工大学）
本文提出CoCoFormer，通过细粒度控制和弦与节奏输入，并结合自监督联合训练与对抗训练，实现了可控且多样化的复调音乐生成。
2023-11-28 cs.AI cs.SD eess.AS
P-MUSE: Prompt-MIDI-Optional Model for Unified Instrumental Music Synthesis and Editing
P-MUSE是统一器乐合成与编辑的MIDI-to-Music框架，通过多阶段课程学习整合两种生成范式，提出相位感知引导策略与尾端丢弃法，并建立含四类乐器的综合基准。
2026-08-05 cs.SD
SongEcho: Towards Cover Song Generation via Instance-Adaptive Element-wise Linear Modulation
MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；ISRC, Institute of Software, Chinese Academy of Sciences（软件研究所，中国科学院）；University of Konstanz（康斯坦茨大学）；National Cheng-Kung University（国立成功大学）
SongEcho通过实例自适应元素线性调制实现覆盖歌曲生成，生成高质量歌曲并减少参数使用。
2026-02-23 cs.SD
Coupled Recurrent Models for Polyphonic Music Composition
University of Washington（华盛顿大学）；Amazon（亚马逊公司）
本文介绍了一种新的循环模式的音乐创作，是专为复调音乐的结构。我们提出了一个有效的新的条件概率因子分解的乐谱，把一个分数作为一个集合的并发，耦合序列：即声音。为了对条件分布进行建模，我们借用了卷积和递归神经模型的思想;我们认为这些思想对于捕捉音乐的音高不变性，时间结构和复调是很自然的。我们在KernScores数据集中的2，300个分数上训练了单语音和多语音合成的训练模型。
2019-11-26 cs.LG cs.SD eess.AS
BandNet: A Neural Network-based, Multi-Instrument Beatles-Style MIDI Music Composition Machine
Snap Inc.（Snap公司）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了一种基于递归神经网络（RNN）的音乐创作机器，它能够从现有的披头士歌曲中学习音乐知识，并在几乎没有人为干预的情况下生成披头士风格的音乐。在学习阶段，一系列风格统一的多声道音乐样本由RNN建模。在作曲阶段，随机生成的音乐的短片段被用作RNN的种子，以开始乐谱预测。为了形成结构化音乐，来自不同种子的生成音乐片段被连接在一起。为了改善生成的音乐的质量和结构，我们将音乐理论知识集成到模型中，例如控制声乐旋律中的间隙间距，规范和弦变化的时间，并要求音符与歌曲的基调（例如C大调）相关。经过专业作曲家的验证，这种集成提高了所生成音乐的质量。我们还进行了主观听力测试，显示我们生成的音乐在风格相似性，专业质量和趣味性方面接近披头士的原创音乐。生成的音乐样本在https://goo.gl/uaLXoB上。
2018-12-18 cs.MM cs.SD eess.AS
