Automatic Analysis and Influence of Hierarchical Structure on Melody, Rhythm and Harmony in Popular Music
Carnegie Mellon University（卡内基梅隆大学）
重复是音乐结构的基本指标。这项研究介绍了新的算法，用于识别基于重复的音乐短语。短语组合形成部分，产生两级层次结构。自动检测的层次重复结构揭示了结构和和弦进行，旋律和节奏之间的显着相互作用。不同层次的相互作用不同，提供证据表明，结构层次在音乐中发挥着重要作用，而不仅仅是简单的重复或相似的概念。我们的工作为音乐生成和音乐评价提供了新的应用。
2020-10-15 cs.SD eess.AS
Melody transcription via generative pre-training
Stanford University（斯坦福大学）
尽管旋律在音乐感知中起着中心作用，但在音乐信息检索中可靠地检测任意音乐记录中存在的旋律的音符仍然是一个公开的挑战。旋律转录中的一个关键挑战是构建可以处理包含任何数量的乐器合奏和音乐风格的广泛音频的方法-现有策略对某些旋律乐器或风格工作良好，但不是所有。为了应对这一挑战，我们利用了Juventure（Dhariwal et al. 2020）的表示，这是一种广泛音乐音频的生成模型，从而相对于传统的声谱图特征，将旋律转录的性能提高了$20$ %。旋律转录的另一个障碍是缺乏训练数据-我们从广泛音乐的众包注释中获得了一个新的数据集，其中包含$50$小时的旋律转录。生成预训练和用于该任务的新数据集的组合导致相对于最强可用基线的旋律转录的$77$ %更强的性能。通过将我们新的旋律转录方法与节拍检测、关键估计和和弦识别的解决方案相结合，我们构建了Sheet Sage，这是一个能够直接从音乐音频中转录人类可读的铅表的系统。音频示例可以在https://chrisdonahue.com/sheetsage上找到，代码可以在https://github.com/chrisdonahue/sheetsage上找到。
2022-12-04 cs.AI cs.LG cs.MM
Editing Music with Melody and Text: Using ControlNet for Diffusion Transformer
Tsinghua University（清华大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；Hong Kong University of Science and Technology（香港科技大学）
针对现有可控音乐生成编辑的质量与时长局限，提出带ControlNet控制分支的DiT方法，结合新型top-k恒Q旋律表示与课程学习，在文本生成和风格迁移任务上性能优于MusicGen基线。
2025-01-16 cs.SD eess.AS
Emotion-Driven Melody Harmonization via Melodic Variation and Functional Representation
UC San Diego（加州大学圣地亚哥分校）；National Taiwan University（国立台湾大学）
本文提出一种考虑调性的符号音乐新型功能表示，结合旋律变奏解决数据稀缺问题，并采用Transformer生成调性可适应的和声，有效传达特定情感效价。
2024-09-25 cs.AI cs.SD eess.AS
A-Muze-Net: Music Generation by Composing the Harmony based on the Generated Melody
Tel-Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
提出了一种生成钢琴音乐MIDI文件的方法。该方法使用两个网络对右手和左手进行建模，其中左手以右手为条件。这样，旋律在和声之前产生。Midi以一种对音阶不变的方式来表示，而旋律则以每个小节的内容来表示，以调节和声，被视为和弦。最后，基于该和弦表示随机添加音符，以便丰富所生成的音频。我们的实验显示了对此类数据集进行训练的最新技术的显着改进，并展示了每个新组件的贡献。
2021-11-25 cs.AI cs.LG cs.SD
Conditional LSTM-GAN for Melody Generation from Lyrics
National Institute of Informatics（国立情报学研究所）；Indraprastha Institute of Information Technology Delhi（德里印度信息技术学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
从歌词中生成旋律是人工智能和音乐领域的一个具有挑战性的研究课题，它能够学习和发现有趣的歌词和伴随旋律之间的潜在关系。遗憾的是，歌词-旋律配对数据集与对齐信息的有限可用性阻碍了研究的进展。为了解决这个问题，我们创建了一个由12，197首歌曲组成的大型数据集，每个歌曲都有成对的歌词和旋律对齐，通过利用不同的音乐源，提取音节和音乐属性之间的对齐关系。最重要的是，我们提出了一种新的深度生成模型，条件长短期记忆-生成对抗网络（LSTM-GAN），用于从歌词中生成旋律，其中包含一个深度LSTM生成器和一个深度LSTM生成器，两者都以歌词为条件。特别地，同时生成歌词调节旋律和给定歌词的音节与预测旋律的音符之间的对齐关系。实验结果证明了我们所提出的歌词旋律生成模型的有效性，其中合理和曲调序列可以推断出从歌词。
2021-04-21 cs.AI cs.SD eess.AS
MelodyT5: A Unified Score-to-Score Transformer for Symbolic Music Processing
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
本文提出统一框架MelodyT5，将七项旋律任务建模为乐谱到乐谱转换，并在包含超26.1万条旋律的MelodyHub数据集上通过多任务迁移学习实现卓越性能，尤其提升了数据稀缺任务的效果。
2024-07-03 cs.SD eess.AS
MELONS: generating melody with long-term structure using transformers and structure graph
Kuaishou（快手）
长旋律序列的创作需要连贯的音乐结构的有效表达。但是，没有明确的音乐结构。最近关于音乐生成的研究已经提出了各种方法来处理音乐的结构信息，但是生成具有清晰长期结构的完整歌曲旋律仍然是一个挑战。在本文中，我们提出了MELONS，一个旋律生成框架的基础上，由八种类型的酒吧级关系的音乐结构的图形表示。MELONS采用基于transformer网络的多步生成方法，将旋律生成分解为两个子问题：结构生成和结构条件旋律生成。实验结果表明，MELONS能够产生高质量、内容丰富的结构化旋律。
2021-11-03 cs.MM cs.SD eess.AS
Melody Generation for Pop Music via Word Representation of Musical Properties
THE UNIVERSITY OF TOKYO（东京大学）；IRCAM（法国声学/音乐研究中心）；INNOVATION CREATIVE, INC.（创新创意公司）
流行音乐的自动旋律生成一直是人工智能研究人员和音乐家的长期愿望。然而，由于许多因素，学习产生悦耳的旋律已经证明是非常具有挑战性的。纸币的多元属性的表示一直是主要的挑战之一。它也很难保持在音乐多样性的允许范围内，在此之外，将被视为一个没有听觉愉悦的简单随机演奏。观察流行音乐的传统结构带来了进一步的挑战。在本文中，我们建议将每个音符及其属性表示为一个唯一的“词”，从而减少属性之间的不对齐的前景，并降低学习的复杂性。我们还对音符的范围实施正则化策略，从而鼓励生成的旋律接近人类容易遵循的旋律。此外，我们生成旋律的歌曲部分信息的条件下，从而复制一个完整的歌曲的整体结构。实验结果表明，我们的模型可以生成令人愉快的歌曲，更难以区分人类写的比以前的模型。
2017-10-31 cs.MM cs.SD eess.AS
CSL-L2M: Controllable Song-Level Lyric-to-Melody Generation Based on Conditional Transformer with Fine-Grained Lyric and Musical Controls
Westlake University（西湖大学）
针对AI歌词转旋律生成中可控性弱、质量低、结构差的问题，提出CSL-L2M方法，通过新型对齐音乐表示、多粒度歌词与音乐控制及内部注意力Transformer解码器，实现高质量可控的歌曲级旋律生成，性能优于现有最优模型。
2025-01-15 cs.AI cs.SD eess.AS
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music（中央音乐学院音乐人工智能与信息科技系）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学与技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学智能信息处理上海重点实验室）
针对情感标注乐谱稀缺问题，提出EMelodyGen系统，通过音乐特征模板构建Rough4Q数据集，预训练模型实现高解析率与情感对齐度，验证了特征控制的有效性。
2025-05-18 cs.AI cs.IR cs.SD
Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
在人工智能和音乐领域，从歌词生成旋律是一项有趣但具有挑战性的任务。然而，保持输入歌词和生成的旋律之间的一致性的困难限制了先前作品的生成质量。在我们的建议中，我们展示了我们提出的可解释的歌词旋律生成系统，可以与用户进行交互，以了解生成过程，并重新创建所需的歌曲。为了提高与歌词匹配的旋律生成的可靠性，利用互信息来增强歌词与生成的旋律之间的一致性。利用Gumbel-Softmax解决生成对抗网络（GANs）生成离散音乐属性的不可微性问题。此外，由生成器输出的预测概率被用来推荐音乐属性。通过与我们的歌词到旋律生成系统进行交互，用户可以收听生成的AI歌曲，并通过从推荐的音乐属性中进行选择来重新创建一首新歌。
2022-06-30 cs.SD eess.AS
Generating High-quality Symbolic Music Using Fine-grained Discriminators
Hangzhou Dianzi University（杭州电子科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Xi’an Jiaotong University（西安交通大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Macquarie University（麦考瑞大学）
本文提出将旋律与节奏解耦，并设计配备音高增强和小节级相对位置编码的细粒度判别器，以提升符号音乐生成质量，在POP909上验证了其有效性。
2024-08-03 cs.AI cs.SD eess.AS
ByteComposer: a Human-like Melody Composition Method based on Language Model Agent
ByteDance AI Lab（字节跳动人工智能实验室）
针对现有旋律创作系统缺乏人类对齐性与可解释性的问题，提出模拟人类创作四步流程的ByteComposer智能体框架，融合大语言模型与符号音乐生成模型，经实验与专业评估达到新手作曲家水平。
2024-03-07 cs.AI cs.SD eess.AS
Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）
歌词到旋律的生成是歌曲创作中的一项重要任务，由于其独特的特点，也是相当具有挑战性的：生成的旋律不仅要遵循良好的音乐模式，而且要与歌词中的节奏和结构等特征保持一致。这些特征不能由以端到端方式学习歌词到旋律映射的神经生成模型很好地处理，这是由于以下几个问题：（1）缺乏对齐的歌词-旋律训练数据来充分学习歌词-旋律特征对齐;（2）在生成中缺乏可控性来更好地和明确地对齐歌词-旋律特征。在本文中，我们提出了再创造的创作（ROC），一个新的范式为歌词旋律生成。ROC根据给定的歌词和用户指定的和弦进行条件生成旋律。它通过生成-检索管道解决了上述问题。具体来说，我们的范例有两个阶段：（1）创作阶段，其中由神经旋律语言模型生成的大量音乐片段通过几个关键特征（例如，和弦、音调、节奏和结构信息）;（2）再创作阶段，其中通过根据来自歌词的关键特征从数据库检索音乐片段并基于作曲指南和旋律语言模型分数连接最佳音乐片段来再创作旋律。ROC有几个优点：（1）只需要不成对的旋律数据来训练旋律语言模型，而不需要以往模型中成对的歌词-旋律数据。(2)它在歌词到旋律生成中实现了良好的歌词-旋律特征对齐。通过英文和中文歌词的测试，ROC在客观和主观指标上都优于以前的基于神经网络的歌词到旋律生成模型。
2023-01-28 cs.AI cs.MM cs.SD
MeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks
Microsoft Research Asia（微软亚洲研究院）；Nanjing University（南京大学）；Microsoft Azure Speech（微软Azure语音部门）
人类在创作音乐时，通常是按照音乐的形式组织元素，表达音乐的思想。但是，对于基于神经网络的音乐生成，由于缺乏关于音乐形式的标记数据，很难做到这一点。在本文中，我们开发了MeloForm，一个系统，产生旋律与音乐形式，使用专家系统和神经网络。具体而言，1）我们设计了一个专家系统来生成旋律，根据预先给定的音乐形式将音乐元素从主题发展到短语，然后发展到具有重复和变化的部分; 2）考虑到生成的旋律缺乏音乐丰富性，我们设计了一个基于Transformer的细化模型来改进旋律而不改变其音乐形式。MeloForm具有通过专家系统进行精确的音乐形式控制和通过神经模型进行音乐丰富性学习的优势。主观和客观的实验评估都表明，MeloForm生成的旋律具有精确的曲式控制，准确率为97.79%，并且在结构，主题，丰富性和整体质量方面的主观评价得分优于基线系统0.75，0.50，0.86和0.89，没有任何标记的曲式数据。此外，MeloForm还支持多种曲式，如：诗歌和合唱曲式、回旋曲式、变奏曲曲式、奏鸣曲曲式等。
2022-08-30 cs.CL cs.LG cs.MM
HumTrans: A Novel Open-Source Dataset for Humming Melody Transcription and Beyond
Tencent PCG（腾讯平台与内容事业群）
本文介绍公开的HumTrans哼唱旋律转录数据集，含500首作品、1000个片段、56.22小时音频，由10名音乐学生录制，支持转录及音乐生成等下游任务。
2023-10-17 cs.SD eess.AS
MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation
Research Center for IT innovation, Academia Sinica（中央研究院信息技术创新研究中心）
大多数现有的用于音乐生成的神经网络模型使用递归神经网络。不过，DeepMind最近提出的WaveNet模型表明，卷积神经网络（CNN）也可以在音频域生成逼真的音乐波形。根据这一点，我们研究使用CNN在符号域中一个接一个地生成旋律（一系列音符）。除了生成器之外，我们还使用了一个学习器来学习旋律的分布，使其成为一个生成对抗网络（GAN）。此外，我们提出了一种新的条件机制，利用现有的先验知识，使模型可以生成旋律从头开始，通过以下和弦序列，或通过调节以前的酒吧的旋律（例如启动旋律），以及其他可能性。由此产生的模型名为MidiNet，可以扩展为生成具有多个音频通道（即曲目）的音乐。我们进行了一项用户研究，以比较MidiNet和Google的MelodyRNN模型生成的八小节长旋律，每次使用相同的启动旋律。结果表明，MidiNet与MelodyRNN模型在真实和悦耳方面表现出色，但据报道，MidiNet的旋律更有趣。
2017-07-18 cs.AI cs.SD
Student-t Networks for Melody Estimation
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
旋律估计或旋律提取是指提取旋律中的主要或基本主频率。所获得的该频率序列表示来自所记录的音乐音频信号的主旋律线的音高。音乐信号可以是单声道的或复音的。当我们开始处理复调音频数据时，从音频信号中提取旋律的问题变得复杂。这是因为在一般化的音频信号中，声音在频域和时域两者上高度相关。许多声音的这种复杂重叠使得识别主要频率具有挑战性。
2021-11-29 cs.SD eess.AS
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University（东京城市大学）
本研究提出集成多个RNN模型的交互式旋律生成系统，可基于用户反馈适配创作意图，经不同背景作曲家实验验证能促进音乐创造力，为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
Melody Structure Transfer Network: Generating Music with Separable Self-Attention
Shanghai Jiao Tong University（上海交通大学）
符号音乐生成越来越受到人们的关注，而大多数方法都集中在生成短片段（大多数小于8小节，最多32小节）。创作长乐曲需要连贯的音乐结构的有效表达。尽管他们在长序列上取得了成功，但自我注意架构在处理长时间音乐方面仍然存在挑战，因为它需要对微妙的音乐结构进行额外的关注。在本文中，我们提出了新的音乐生成的训练样本的结构转移，并开发了一种新的可分离的自注意模型，使学习和转移的结构嵌入。我们表明，我们的传输模型可以生成音乐序列（高达100条）与可解释的结构，它具有类似的结构和组成技术与模板音乐从训练集。大量的实验表明，该方法能够生成目标结构清晰、多样性好的音乐。生成的3，000套音乐作为补充材料上传。
2021-07-21 cs.MM cs.SD eess.AS
Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints
Zuoyebang Education Technology（中关村教育科技）
本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。
2026-04-20 cs.CL cs.SD eess.AS
TONet: Tone-Octave Network for Singing Melody Extraction from Polyphonic Music
University of California San Diego（加州大学圣地亚哥分校）；Fudan University（复旦大学）；Smule Inc.（Smule公司）
歌唱旋律提取是音乐信息检索领域的一个重要问题。现有的方法通常依赖于频域表示来估计歌唱频率。然而，这种设计在音调（音高级）和八度音的旋律信息的感知方面并不导致人类水平的性能。在本文中，我们提出了TONet，即插即用模型，利用一种新的输入表示和一种新的网络架构，提高了音调和八度感知。首先，我们提出了一种改进的输入表示，音调CFP，明确组谐波通过重新排列的频率箱。其次，我们介绍了一个编码器-解码器架构，旨在获得显着性特征图，音调特征图，和倍频程特征图。第三，我们提出了一个色调-八度融合机制，以改善最终的显着性特征图。通过实验验证了TONet在不同骨干网模型下的性能。我们的研究结果表明，使用Tone-CFP的音调-八度融合可以显着提高各种数据集的歌唱声音提取性能-在八度和音调准确性方面有很大的提高。
2022-02-02 cs.AI cs.LG cs.MM
ReLyMe: Improving Lyric-to-Melody Generation by Incorporating Lyric-Melody Relationships
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
歌词到旋律生成是自动作曲中最重要的任务之一，它是根据给定的歌词生成旋律。随着深度学习的快速发展，以前的工作使用端到端神经网络模型来解决这个任务。然而，深度学习模型不能很好地捕捉歌词和旋律之间严格但微妙的关系，这损害了歌词和生成的旋律之间的和谐。在本文中，我们提出了ReLyMe，一种方法，结合歌词和旋律之间的关系，从音乐理论，以确保歌词和旋律之间的和谐。具体来说，我们首先介绍了歌词和旋律在音调、节奏和结构关系方面应该遵循的几个原则。这些原则，然后集成到神经网络歌词到旋律模型，通过添加相应的限制，在解码过程中，以改善歌词和旋律之间的和谐。我们使用一系列客观和主观的指标来评估生成的旋律。在英文和中文歌曲数据集上的实验表明了ReLyMe的有效性，证明了将音乐领域的歌词-旋律关系纳入神经歌词-旋律生成的优越性。
2022-07-12 cs.MM cs.SD eess.AS
METEOR: Melody-aware Texture-controllable Symbolic Orchestral Music Generation via Transformer VAE
Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL（里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工大学、UMR 9189 CRIStAL）；National Taiwan University（台湾国立台湾大学）
本文提出METEOR模型，基于Transformer VAE实现旋律感知与纹理可控的符号化重新配器，支持小节和音轨级纹理控制，在生成质量与可控性上优于现有模型，并可零样本适应领奏谱配器任务。
2025-06-30 cs.SD eess.AS
SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition
The Chinese University of Hong Kong（中国香港大学）；Beihang University（北航）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港下的CPII）
本文提出SongComposer，一个音乐专用大型语言模型，通过灵活元组格式、扩展分词器词汇表和多阶段流程三项创新，首次将同时创作歌词与旋律的能力集成到LLM中，在多项任务中优于GPT-4，并发布大规模中英文训练数据集SongCompose。
2025-05-30 cs.AI cs.CL cs.SD
RPPNet: Perceptually-Grouped Rhythm-Pitch Primitives for Long-Term Structure Melody Generation via Boundary-Aware Modeling
本文针对现有符号音乐生成模型的问题，提出RPPNet架构，通过生成可变长度的RPP序列并解码，其分组基于音乐心理学自动得出。实验显示该模型生成的旋律在长期结构和音乐性上更优，消融研究表明性能提升源于心理表征结构正确，为音乐生成提供跨学科视角。
2026-07-23 cs.AI cs.SD
Small Tunes Transformer: Exploring Macro & Micro-Level Hierarchies for Skeleton-Conditioned Melody Generation
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）
本研究提出Small Tunes Transformer模型，通过宏观乐句分割与微观骨架音符提取，结合乐句级交叉注意力机制，并构建包含10088首传统民歌的Small Tunes Dataset，实现了优于SOTA的骨架条件旋律生成。
2024-10-15 cs.SD eess.AS
A Streamlined Encoder/Decoder Architecture for Melody Extraction
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
复调音乐音频中的旋律提取是音乐信号处理的重要内容。在本文中，我们提出了一种新的流线型编码器/解码器网络，是专为这项任务。我们做出了两项技术贡献。首先，从最先进的语义像素分割模型中汲取灵感，我们通过池化和非池化层之间的池化索引来定位频率中的旋律。我们可以用更少的卷积层和更简单的卷积模块实现接近最先进水平的结果。其次，我们提出了一种方法，使用网络的瓶颈层来估计每个时间帧的旋律线的存在，并使之有可能使用一个简单的argmax函数，而不是ad-hoc阈值来得到旋律线的最终估计。我们在声乐旋律提取和普通旋律提取上的实验验证了该模型的有效性。
2019-02-18 cs.SD eess.AS
Choir Transformer: Generating Polyphonic Music with Relative Attention on Transformer
School of Automation and Information Engineering, Xi’an University of Technology（西安理工大学自动化与信息工程学院）
本文提出Choir Transformer，利用相对位置注意力与专用音乐表示生成复调音乐，准确率超越此前最优结果，和声指标接近巴赫作品，并支持多种风格的可控生成。
2023-08-01 cs.AI cs.SD eess.AS
Deep Attention-Based Alignment Network for Melody Generation from Incomplete Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；The University of Electro-Communications（电气通信大学）
我们提出了一种基于深度注意力的对齐网络，其目的是以类似于人类音乐创作的方式自动预测歌词和旋律，并将给定的不完整歌词作为输入。最重要的是，一个深度的神经歌词到旋律网络是以编码器-解码器的方式训练的，当给定不完整的歌词（几个关键词）时，它可以预测可能的歌词-旋律对。利用注意力机制在歌词到旋律生成期间将预测的歌词与旋律对齐。定性和定量的评价指标表明，所提出的方法确实是能够产生适当的歌词和相应的旋律组成新的歌曲给定的一块不完整的种子歌词。
2023-01-23 cs.AI cs.SD eess.AS
Efficient Neural Music Generation
ByteDance（字节跳动）
本文提出 MeLoDy，一种语言模型引导的扩散模型，通过继承 MusicLM 的语义建模并引入双路径扩散和音频 VAE-GAN，在保持顶尖音乐生成质量的同时大幅降低计算开销，实现高效实时生成。
2023-05-25 cs.AI cs.LG cs.SD
WuYun: Exploring hierarchical skeleton-guided melody generation using knowledge-enhanced deep learning
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Innovation Center of Yangtze River Delta（长三角创新中心）；Microsoft Research Asia（微软亚洲研究院）
尽管深度学习已经彻底改变了音乐生成，但是用于结构化旋律生成的现有方法遵循端到端、从左到右的逐音符生成范例，并且平等地对待每个音符。在这里，我们提出了WuYun，一个知识增强的深度学习架构，用于改善生成的旋律的结构，它首先生成结构上最重要的音符来构建旋律骨架，然后用动态装饰音符填充到完整的旋律中。具体来说，我们使用音乐领域的知识提取旋律骨架，并采用序列学习来重建它们，作为额外的知识，为旋律生成过程提供辅助指导。我们证明了WuYun可以生成具有更好的长期结构和音乐性的旋律，并且在所有主观评价指标上平均优于其他最先进的方法0.51。我们的研究提供了一个多学科的镜头来设计旋律的层次结构，并弥合数据驱动和基于知识的方法之间的差距，为众多的音乐生成任务。
2023-03-14 cs.HC cs.LG cs.SD
Accompanied Singing Voice Synthesis with Fully Text-controlled Melody
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出 MelodyLM，首个以文本完全控制旋律的 TTSong 模型，通过 MIDI 中间建模、语言模型生成人声及潜在扩散模型合成伴奏，在客观与主观评测中均表现优异。
2024-07-02 cs.CL cs.SD eess.AS
A Statistical Model for Melody Reduction
Georgia Institute of Technology（佐治亚理工学院）
音乐信息检索（MIR）内的自动和弦估计（ACE）系统性能差的一个常见原因是非和弦音调（即，在支持和声之外的音符）在标记过程中会导致错误。尽管机器学习方法在MIR中流行，但在某些情况下，替代方法提供了更简单的替代方案，同时允许深入了解音乐学实践。在这个项目中，我们提出了一个基于乐理规则的统计模型来预测和弦音调。我们的模型目前专注于预测古典音乐中的和弦音调，因为这种风格的作曲受到高度限制，理论上和弦音调的位置高度可预测。事实上，音乐理论家对每一种非和弦音都有一个标签系统，主要是根据音符的公制位置和接近和离开的音程来分类。使用度量位置，持续时间和旋律间隔作为预测因子，我们使用TAVERN数据集建立了一个用于预测和弦音调的统计模型。虽然我们的概率方法类似于自动谐波分析领域的其他努力，但我们的重点是旋律还原而不是预测和声。然而，我们希望将来继续研究ACE的应用。最后，我们实现了我们的旋律还原模型使用现有的符号可视化工具，以协助计算音乐学研究人员和音乐理论家的旋律还原和非和弦音调识别。
2021-05-12 cs.IR cs.SD eess.AS
A Convolutional Approach to Melody Line Identification in Symbolic Scores
University of Milano（米兰大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
在许多音乐传统中，旋律线在作品中具有首要意义。人类听众可以很容易地区分旋律和伴奏;然而，只给乐谱（即不听演奏的音乐）来区分可能是一项困难的任务。解决这一问题对于音乐信息检索和音乐学应用都具有重要意义。在本文中，我们提出了一个自动化的方法来确定最突出的旋律线在一个象征性的分数。该方法的主干由卷积神经网络（CNN）组成，该卷积神经网络估计乐谱中的每个音符（更准确地说：乐谱的钢琴卷帘编码中的每个像素）属于旋律线的概率。我们在各种数据集上对该方法进行训练和评估，在可用的情况下使用手动注释，在不可用的情况下使用单独的仪器部件。我们还提出了一种方法来检查的CNN和分析的影响所施加的笔记上的其他笔记的预测，这种方法可以适用于任何时候的神经网络的输出具有相同的大小作为输入。
2019-06-24 cs.IR cs.LG cs.SD
A Controllable Perceptual Feature Generative Model for Melody Harmonization via Conditional Variational Autoencoder
Shanghai Film Academy, Shanghai University（上海大学上海电影学院）
针对现有旋律和声化方法创造性不足的问题，提出基于条件变分自编码器的CPFG-Net及感知特征-和弦映射算法，依托BCPT-220K数据集训练，实现可控的高表现力和声生成。
2025-11-18 cs.SD
Melody Classifier with Stacked-LSTM
New York University（纽约大学）；Georgia Institute of Technology（佐治亚理工学院）
近年来，使用生成模型进行音乐生成的尝试已经很普遍，其中一些已经取得了很好的效果。其中一些模型生成的作品与人类作曲家创作的作品几乎无法区分。然而，对于机器生成音乐的评价系统的研究还处于相对早期的阶段，并且对于此类任务没有统一的标准。本文提出了一种基于语言模型的stacked-LSTM二元分类器，该分类器可以通过学习音乐文件的音高、位置和持续时间来区分人类作曲家的作品和机器生成的旋律。
2020-11-24 cs.MM cs.SD eess.AS
Melody Generation using an Interactive Evolutionary Algorithm
Iran Broadcasting University（伊朗广播大学）
计算机辅助音乐生成近年来引起了人工智能领域许多科学家的注意。为此目的，深度学习技术已经发展了序列产生方法。然而，一个具有挑战性的问题是如何评估机器生成的音乐。在本文中，已经开发了一种方法的基础上的交互式进化优化方法，其中所产生的旋律的评分主要是由人类的专业知识，在训练过程中。这种音乐质量评分使用Bi-LSTM递归神经网络建模。此外，通过遗传算法创新生成的旋律将使用该Bi-LSTM网络进行评估。该机制的结果清楚地表明，所提出的方法是能够创建愉快的旋律与所需的风格和作品。与最先进的面向数据的进化系统相比，这种方法也相当快。
2019-07-07 cs.NE cs.SD eess.AS
A Mamba-based Network for Semi-supervised Singing Melody Extraction Using Confidence Binary Regularization
School of Comp. Science & Technology（计算机科学与技术学院）；Donghua University（东华大学）；Fudan University（复旦大学）；Grad. School of Adv. Science & Eng.（先进科学与工程研究生院）
针对歌声旋律提取中 transformer 效率低、忽视音符结构及标注不足的问题，提出 SpectMamba，结合 vision mamba、note-f0 解码器与 CBR 半监督模块，并在多个公开数据集上验证有效。
2025-05-13 cs.AI cs.SD eess.AS
Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering
Alibaba（阿里巴巴）
该研究提出统一歌曲生成框架，支持多项任务，由四个组件构成。通过特定编码、建模、匹配及模块实现歌曲生成，还研究多种后训练策略，实验表明该框架在评估中性能具有竞争力。
2026-07-30 cs.AI cs.SD eess.AS
Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
ByteDance（字节跳动）
本文提出基于频谱图的 Mel-RoFormer，通过梅尔频带投影与交错 RoPE Transformer 建模频时维度，并采用分离模型预训练后微调转写任务的策略，在两项 MIR 基准上达到最先进水平。
2024-09-07 cs.SD eess.AS
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay（印度理工学院孟买分校）
音乐信息检索是当前一个活跃的研究领域，它致力于从音频信号中提取音乐上重要的信息，以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐，或者帮助音乐学研究，甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性，该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别，其中主要乐器是歌声。歌声比许多乐器更多才多艺，因此对信息检索系统提出了有趣的挑战。在本文中，我们提供了一个简短的概述，在声乐处理的相关工作在印度理工学院孟买的描述，导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）
歌词到旋律的生成是自动歌曲创作中的一个重要任务。先前的歌词到旋律生成系统通常采用直接从歌词生成旋律的端到端模型，其遭受若干问题：1）缺乏成对的歌词-旋律训练数据; 2）缺乏对生成的旋律的控制。在本文中，我们开发了TeleMelody，一个两阶段的歌词到旋律生成系统与音乐模板（例如，音调、和弦进行、节奏模式和节奏）以弥合歌词和旋律之间的间隙（即，该系统包括歌词到模板模块和模板到旋律模块）。TeleMelody有两个优点。第一，数据高效。模板到旋律模块以自我监督的方式训练（即，从目标旋律中提取源模板），其不需要任何歌词-旋律配对数据。歌词到模板模块由一些规则和歌词到节奏模型组成，该模型用比歌词-旋律数据更容易获得的歌词-节奏数据进行训练。其次，它是可控的。模板的设计保证了生成的旋律可以通过调整模板中的音乐元素来控制。主观和客观的实验评估表明，TeleMelody生成的旋律具有更高的质量，更好的可控性，和配对的歌词旋律数据的要求比前几代系统。
2022-11-14 cs.AI cs.CL cs.MM
Frequency-Temporal Attention Network for Singing Melody Extraction
Fudan University（复旦大学）；National Institute of Informatics (NII)（国立情报学研究所）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）
音乐音频一般由三个物理属性组成：频率、时间和幅度。有趣的是，人类的听觉外围也为这些维度中的每一个提供神经代码来感知音乐。受这些内在特征的启发，提出了一种模仿人类听觉的频时注意网络，用于歌唱旋律提取。特别地，该模型包含频率-时间注意模块和与这三个物理特性相对应的选择性融合模块。频率注意模块用于选择与耳蜗相同的激活频带，时间注意模块负责分析时间模式。最后，选择性融合模块建议重新校准的幅度和融合的原始信息进行预测。此外，我们建议使用另一个分支来同时预测歌声旋律的存在。实验结果表明，该模型优于现有的国家的最先进的方法。
2021-02-19 cs.SD eess.AS
Deep domain adaptation for polyphonic melody extraction
本文针对复调旋律提取中的跨领域性能下降问题，研究了多种深度领域自适应技术，发现基于元学习的自适应方法优于简单微调及现有非自适应算法。
2023-04-05 cs.SD eess.AS
Computational Features for Symbolic Melody Analysis
University of Cambridge（剑桥大学）
本文提出开源Python工具melody-features，梳理符号旋律的音乐理论与心理学特征并构建分类体系，在Essen民歌集上验证其风格分类性能，为旋律分析提供可解释的特征方案。
2026-08-20 cs.SD
GANs & Reels: Creating Irish Music using a Generative Adversarial Network
Memorial University of Newfoundland（纽芬兰纪念大学）；University of Waterloo（滑铁卢大学）
在本文中，我们提出了一种算法的旋律生成方法，使用生成对抗网络没有经常性的组件。音乐生成已经成功地使用递归神经网络完成，其中模型学习序列信息，可以帮助创建真实的声音旋律。在这里，我们使用具有扩张卷积和塔的DC-GAN架构来捕获序列信息作为空间图像信息，并学习固定长度旋律形式（如爱尔兰传统卷轴）的长程依赖关系。
2020-10-29 cs.LG cs.SD eess.AS
Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions
UC San Diego（加州大学圣地亚哥分校）；NYU Shanghai（上海纽约大学）
自动音乐生成是一个跨学科的研究课题，它结合了计算创造力和音乐的语义分析来创建自动机器即兴创作。这种系统的重要特性是允许用户指定所生成的音乐的条件和期望的特性。在本文中，我们设计了一个模型，为用户指定的象征性的情况下，结合以前的音乐上下文组成的旋律。我们添加手动标记的矢量表示外部音乐质量的和弦功能，提供了一个低维的谐波张力和分辨率的表示。我们的模型能够以8拍音符序列为基本单位生成长旋律，并与另一首特定的歌曲共享一致的节奏模式结构。该模型包含两个阶段，需要单独的训练，其中第一阶段采用条件变分自编码器（C-VAE）来构建音符序列及其潜在表征之间的双射，第二阶段采用具有结构条件的长短期记忆网络（LSTM）来继续编写未来的旋律。我们进一步利用解开技术，通过C-VAE允许旋律生成的基础上，音高轮廓信息独立于调节节奏模式。最后，我们使用节奏的定量分析和主观听力研究评估所提出的模型。结果表明，我们的模型生成的音乐往往具有显着的重复结构，丰富的动机，和稳定的节奏模式。能够生成更长，更结构化的短语从解纠缠表示结合语义场景规范条件显示了我们的模型的广泛应用。
2020-02-05 cs.AI cs.LG cs.SD
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University（纽约大学）；University of Florida（佛罗里达大学）；Carnegie Mellon University（卡内基梅隆大学）
编曲生成是自动音乐生成的一个子任务，它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式，但它们缺乏更精确的数据，无法实现更好的评估和更实际的结果。在本文中，我们提出了POP909，一个数据集，其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏，这些都是与原始音频文件对齐的。此外，我们还提供了速度，节拍，基调和和弦的注释，其中速度曲线是手工标记的，其他的是通过MIR算法完成的。最后，我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
Scaling and compressing melodies using geometric similarity measures
University of Seville（塞维利亚大学）
旋律相似性度量在音乐信息检索中具有重要意义。在本文中，我们使用几何匹配技术来衡量两个旋律之间的相似性。我们表示的点集或水平线段集在欧几里德平面上的音乐，并提出有效的算法优化问题的启发，在两个操作的旋律;线性缩放和音频压缩。在缩放问题中，传入的查询旋律被向前缩放，直到查询和参考旋律之间的相似性度量被最小化。压缩问题要求给定旋律的音符的子集，使得所选音符与参考旋律之间的匹配成本最小化。
2022-09-19 cs.IR cs.SD eess.AS
MusicLM: Generating Music From Text
Google Research（谷歌研究院）；IRCAM - Sorbonne Université（巴黎声学音乐研究协调所-索邦大学）
我们介绍MusicLM，一个从文本描述中生成高保真音乐的模型，例如“由扭曲的吉他即兴重复支持的平静的小提琴旋律”。MusicLM将条件音乐生成的过程转换为分层序列到序列建模任务，并且它生成的音乐在24 kHz下在几分钟内保持一致。我们的实验表明，MusicLM优于以前的系统，无论是在音频质量和坚持的文本描述。此外，我们表明，MusicLM可以同时在文本和旋律的条件，因为它可以转换口哨和哼唱的旋律，根据在文本标题中描述的风格。为了支持未来的研究，我们公开发布MusicCaps，这是一个由5.5k音乐文本对组成的数据集，由人类专家提供富文本描述。
2023-01-26 cs.LG cs.SD eess.AS
Rhythm, Chord and Melody Generation for Lead Sheets using Recurrent Neural Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）
由循环神经网络生成的音乐通常缺乏方向感和连贯性。因此，我们提出了一个两阶段的LSTM为基础的模型，铅表生成，其中的谐波和节奏的模板的歌曲产生的第一，之后，在第二阶段，一个序列的旋律音符产生的条件下，这些模板。主观听力测试表明，我们的方法优于基线，并增加了感知的音乐连贯性。
2020-02-21 cs.CL cs.LG cs.SD
Vocal melody extraction using patch-based CNN
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
受图像处理中目标检测目标检测的启发，提出了一种基于块的卷积神经网络（CNN）模型用于复调音乐中的声乐旋律提取。该模型的输入是一种新的时频表示，它增强了基音轮廓，抑制了信号的谐波分量。这种简洁的数据表示和基于块的CNN模型可以用有限的标记数据实现高效的训练过程。在各种数据集上的实验表明，与其他深度学习方法相比，该方法具有出色的速度和竞争力的准确性。
2018-04-24 cs.SD eess.AS
