A Streamlined Encoder/Decoder Architecture for Melody Extraction
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
复调音乐音频中的旋律提取是音乐信号处理的重要内容。在本文中，我们提出了一种新的流线型编码器/解码器网络，是专为这项任务。我们做出了两项技术贡献。首先，从最先进的语义像素分割模型中汲取灵感，我们通过池化和非池化层之间的池化索引来定位频率中的旋律。我们可以用更少的卷积层和更简单的卷积模块实现接近最先进水平的结果。其次，我们提出了一种方法，使用网络的瓶颈层来估计每个时间帧的旋律线的存在，并使之有可能使用一个简单的argmax函数，而不是ad-hoc阈值来得到旋律线的最终估计。我们在声乐旋律提取和普通旋律提取上的实验验证了该模型的有效性。
2019-02-18 cs.SD eess.AS
MIDI-Informed Singing Accompaniment Generation in a Compositional Song Pipeline
National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾AI实验室）；University of Rochester（罗切斯特大学）
本文提出基于MIDI的歌唱伴奏生成方法，通过分解任务为旋律创作、人声合成和伴奏生成，提升节奏与和声对齐，实现轻量级高效歌曲创作流水线。
2026-02-24 cs.SD eess.AS
Melody Extraction from Polyphonic Music by Deep Learning Approaches: A Review
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
旋律提取是音乐研究者的一项重要音乐信息检索任务，因为它在教育教学和音乐产业中具有潜在的应用价值。由于背景乐器的存在，旋律提取是一项非常具有挑战性的任务。此外，通常旋律来源表现出类似的特点，其他文书。背景伴奏与人声的干扰使得从混合信号中提取旋律更具挑战性。直到最近，经典的基于信号处理的旋律提取方法在旋律提取研究者中相当流行。深度学习模型对大规模数据进行建模的能力以及模型通过利用空间和时间依赖性来学习自动特征的能力激励了许多研究人员采用深度学习模型进行旋律提取。在本文中，尝试已作出审查的最新数据驱动的深度学习方法从复调音乐的旋律提取。已经基于所使用的神经网络的类型和它们用于预测旋律的输出表示来对可用的深度模型进行分类。此外，简要介绍了25个旋律提取模型的体系结构。用于优化旋律提取模型的模型参数的损失函数大致分为四类，并简要描述了各种旋律提取模型所使用的损失函数。此外，旋律提取模型所采用的各种输入表示和参数设置进行了深入的描述。包括描述块框旋律提取深度神经网络的可解释性的部分。比较了25种旋律提取方法的性能。本文还提出了今后旋律提取方法的探索和改进方向。
2022-02-02 cs.SD eess.AS
Towards Improving Harmonic Sensitivity and Prediction Stability for Singing Melody Extraction
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文通过改进CFP输入特征和设计可微损失函数，提升歌唱旋律提取模型对谐波的敏感性和预测稳定性，并在多个模型上验证了有效性。
2023-08-04 cs.AI cs.LG cs.MM
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay（印度理工学院孟买分校）
音乐信息检索是当前一个活跃的研究领域，它致力于从音频信号中提取音乐上重要的信息，以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐，或者帮助音乐学研究，甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性，该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别，其中主要乐器是歌声。歌声比许多乐器更多才多艺，因此对信息检索系统提出了有趣的挑战。在本文中，我们提供了一个简短的概述，在声乐处理的相关工作在印度理工学院孟买的描述，导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
Lead Vocal Separation from Vocal Ensemble Mixtures Using Phoneme Alignment
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
针对声乐合奏中主唱分离难的问题，提出基于BS-RoFormer和音素对齐条件化的模型，利用FiLM注入帧级音素标签，显著提升分离性能。
2026-09-09 cs.SD eess.AS
Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints
Zuoyebang Education Technology（中关村教育科技）
本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。
2026-04-20 cs.CL cs.SD eess.AS
UniVoice: A Unified Model for Speech and Singing Voice Generation
Giant Network（巨量网络）；Shanghai Conservatory of Music（上海音乐学院）
提出UniVoice，一种基于条件流匹配的统一语音和歌声生成框架，通过将条件分解为内容、旋律和音色，并引入空旋律标记，实现单一模型同时生成自然语音和可控歌声。
2026-06-04 cs.AI cs.SD eess.AS
SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition
The Chinese University of Hong Kong（中国香港大学）；Beihang University（北航）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港下的CPII）
本文提出SongComposer，一个音乐专用大型语言模型，通过灵活元组格式、扩展分词器词汇表和多阶段流程三项创新，首次将同时创作歌词与旋律的能力集成到LLM中，在多项任务中优于GPT-4，并发布大规模中英文训练数据集SongCompose。
2025-05-30 cs.AI cs.CL cs.SD
AI Harmonizer: Expanding Vocal Expression with a Generative Neurosymbolic Music AI System
MIT Media Lab（MIT媒体实验室）；Massachusetts Institute of Technology（麻省理工学院）
AI Harmonizer利用生成式神经符号音乐AI系统，自动为独唱旋律生成四声部和声，无需用户音乐专业知识，扩展人声表达，并已开源实现。
2025-06-22 cs.AI cs.HC cs.SD
Towards Computational Analysis of Pansori Singing
Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Sogang University（西江大学）
本文提出基于音频与转录的盘索里计算分析方法，利用现代音乐信息检索任务分析传统音乐并揭示其独特音频特征。
2024-10-16 cs.IR cs.SD eess.AS
Singing Voice Separation and Vocal F0 Estimation based on Mutual Combination of Robust Principal Component Analysis and Subharmonic Summation
Kyoto University（京都大学）
本文提出了一种新的演唱声分析方法，执行相互依赖的演唱声分离和声乐基频（F0）估计。如果可以从音乐音频信号中分离歌唱声，则认为声乐F0估计变得更容易，并且声乐F0轮廓对于歌唱声分离是有用的。这就需要一种方法，通过使用另一个任务的结果来提高每个任务的性能。所提出的方法首先执行鲁棒主成分分析（RPCA），用于从目标音乐音频信号中粗略地提取歌声。主旋律的F0轮廓，然后估计从分离的歌声通过寻找最佳的时间路径超过F0显着性频谱图。最后，通过将RPCA给出的传统时频掩模与仅通过估计F0的谐波结构的另一个掩模相结合，再次更准确地分离歌声。实验结果表明，该方法在歌唱声分离和F0估计方面都有明显的改善。该方法也优于提交给MIREX 2014国际音乐分析竞赛的所有其他歌唱声音分离方法。
2016-04-01 cs.MM cs.SD
CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis With Structured Melody Control and Guidance
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
CoMelSinger通过离散编码器模型实现零样本歌唱合成，采用结构化旋律控制与对比学习策略，提升旋律准确性与音色一致性。
2026-04-11 cs.AI cs.SD
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University（纽约大学）；University of Florida（佛罗里达大学）；Carnegie Mellon University（卡内基梅隆大学）
编曲生成是自动音乐生成的一个子任务，它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式，但它们缺乏更精确的数据，无法实现更好的评估和更实际的结果。在本文中，我们提出了POP909，一个数据集，其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏，这些都是与原始音频文件对齐的。此外，我们还提供了速度，节拍，基调和和弦的注释，其中速度曲线是手工标记的，其他的是通过MIR算法完成的。最后，我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
YingMusic-Singer: Zero-shot Singing Voice Synthesis and Editing with Annotation-free Melody Guidance
AI Lab, GiantNetwork（GiantNetwork人工智能实验室）；ASLP Lab, Northwestern Polytechnical University（西北工业大学自动化学院实验室）；University College London（伦敦大学学院）
YingMusic-Singer通过无标注旋律引导的方法实现了零样本歌唱语音合成与编辑，提高了旋律稳定性和音频质量。
2025-12-04 cs.AI cs.SD
Vocal Melody Construction for Persian Lyrics Using LSTM Recurrent Neural Networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
该研究构建基于 LSTM 的 seq2seq 模型，学习波斯语歌词音节与音符序列的对应关系，并通过自建数据集和问卷评估其自动旋律生成效果。
2024-10-23 cs.LG cs.SD eess.AS
DiffSynth-Music: Audio-Conditioned KV-Cache Adapters for Controllable Music Generation
Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
针对文本歌词对音乐节奏、旋律控制不足的问题，提出DiffSynth-Music框架，通过音频条件KV缓存注入支持五种控制类型，提升可控性与歌词保真度。
2026-09-14 cs.SD
Melody or Machine: Detecting Synthetic Music with Dual-Stream Contrastive Learning
Indraprastha Institute of Information Technology Delhi (IIIT-Delhi)（印度理工学院德里分校）；Manipal University Jaipur（曼海姆大学斋普尔）；Netaji Subhas University of Technology (NSUT)（尼赫鲁大学技术学院）
本文提出MoM基准和CLAM架构，通过双流对比学习检测合成音乐，实现高精度的合成音乐识别
2025-11-29 cs.AI cs.CL cs.SD
DALI: a large Dataset of synchronized Audio, LyrIcs and notes, automatically created using teacher-student machine learning paradigm
Ircam Lab（Ircam实验室）；CNRS（法国国家科学研究中心）
本文的目的是双重的。首先，我们介绍了DALI，一个大型而丰富的多模态数据集，包含5358个音轨，其时间对齐的声乐旋律音符和歌词在四个粒度级别。第二个目标是解释我们的方法，其中数据集创建和学习模型使用师生机器学习范式进行交互，使彼此受益。我们从一组手工注释的草稿时间对齐的歌词和笔记由Karamas游戏的非专家用户。这套没有音频。因此，我们需要找到相应的音频和适应它的注释。为此，我们从Web检索音频候选。然后，每个候选人都可以使用教师（一种深度卷积神经网络唱歌声音检测系统（SVD））随着时间的推移转换为唱歌声音概率，该系统在经过清理的数据上进行训练。比较时间对齐的歌词和歌唱的声音概率，我们检测匹配，并相应地更新时间对齐的歌词。由此，我们获得了新的音频集。然后，它们被用于训练新的SVD学生，用于再次执行上述比较。该过程可以迭代地重复。我们表明，这可以逐步提高我们的SVD的性能，并获得更好的音频匹配和对齐。
2019-06-25 cs.DB cs.LG cs.SD
Content Based Singing Voice Extraction From a Musical Mixture
Universitat Pompeu Fabra（庞培法布拉大学）；Joint Research Centre, European Commission（欧盟委员会联合研究中心）
我们提出了一种基于深度学习的方法，用于根据底层语言内容从音乐混合物中提取歌声信号。我们的模型遵循一个编码器解码器的架构，并作为输入的音乐混合物与人声的频谱图的幅度分量。该模型的编码器部分通过使用教师网络的知识蒸馏来训练，以学习内容嵌入，该内容嵌入被解码以生成相应的声码器特征。使用这种方法，我们能够从混合物中提取未处理的原始声乐信号，即使是在训练过程中没有看到歌手的处理过的混合物数据集。虽然我们的系统的性质使其与传统的客观评估指标不一致，但我们通过听力测试使用主观评估，将该方法与最先进的基于深度学习的源分离算法进行比较。我们还提供了良好的例子和源代码的可重复性。
2020-02-17 cs.LG cs.SD eess.AS
A Multimodal Machine Learning Framework for Teacher Vocal Delivery Evaluation
TAL Education Group（好未来教育集团）
声乐教学质量是衡量教师教学积极性的重要指标之一，声乐教学质量的高低直接关系到课程的整体质量。然而，现有的声音传递评价主要是通过人工评分进行的，这面临着两个核心挑战：主观性和耗时。在本文中，我们提出了一种新的机器学习方法，利用成对比较和多模态正交融合算法，以产生大规模的客观评价结果的教师声乐交付的流畅性和激情。我们收集了两个真实教育场景的数据集，实验结果证明了我们的算法的有效性。为了鼓励可重复的结果，我们在\url{https://github.com/tal-ai/ML4VocalDelivery.git}上公开了我们的代码。
2021-07-15 cs.CL cs.SD eess.AS
Multitask Learning for Fundamental Frequency Estimation in Music
New York University（纽约大学）
复调音乐基频（f0）估计包括多重f0、旋律、人声和低音线估计的任务。从历史上看，这些问题一直是单独处理的，只是最近，使用基于学习的方法。我们提出了一个多任务深度学习架构，该架构联合估计各种任务的输出，包括多个f0，旋律，声乐和低音线估计，并使用大型半自动注释数据集进行训练。我们表明，多任务模型优于其单任务的同行，并探讨在我们的方法中的各种设计决策的影响，并表明，它表现得更好，或至少有竞争力的强基线方法相比。
2018-09-02 cs.LG cs.SD eess.AS
Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion
University of Sydney, Electrical and Computer Engineering（悉尼大学电气与计算机工程学院）；Sony Computer Science Laboratories, Tokyo, Japan（索尼计算机科学实验室（日本东京））
本文提出基于浅层扩散模型的自监督方法，用于修复因音高转换而降质的歌唱声音，通过保留旋律和时间，减少伪影并提升音质。
2026-01-15 cs.SD
CoCoFormer: A controllable feature-rich polyphonic music generation method
Xi’an University of Technology（西安理工大学）
本文提出CoCoFormer，通过细粒度控制和弦与节奏输入，并结合自监督联合训练与对抗训练，实现了可控且多样化的复调音乐生成。
2023-11-28 cs.AI cs.SD eess.AS
Pseudo-Label Transfer from Frame-Level to Note-Level in a Teacher-Student Framework for Singing Transcription from Polyphonic Music
Neutune Research（Neutune研究中心）；KAIST（韩国科学技术院）
缺乏大规模音符级标注数据是复调音乐歌唱转写的主要障碍。我们解决这个问题，通过使用伪标签的音高估计模型给出未标记的数据。该方法首先通过音高和节奏量化步骤将帧级伪标签转换为音符级伪标签。然后，在师生框架下，通过自我训练进一步提高标签质量。为了验证该方法，我们进行了各种实验设置，通过调查两个音高估计模型作为伪标签生成器，两个设置的师生框架，以及自我训练的迭代次数。实验结果表明，该方法能有效利用大规模未标记音频数据，并通过带噪学生模型进行自训练，提高了性能。最后，我们证明了仅使用未标记数据训练的模型与以前的作品具有相当的性能，并且使用附加标记数据训练的模型比仅使用标记数据训练的模型具有更高的准确性。
2022-03-30 cs.SD eess.AS
Multimodal Learning For Classroom Activity Detection
TAL Education Group（好未来教育集团）
课堂活动检测（CAD）的重点是准确地分类教师或学生是否在说话，并记录在课堂上的个人话语的长度。CAD解决方案可帮助教师获得有关教学指导的即时反馈。这大大提高了教育者的教学技能，从而导致学生的成就。然而，CAD是非常具有挑战性的，因为（1）CAD模型需要针对不同的教师和学生进行足够好的推广;（2）来自声音和语言模态的数据必须明智地融合，以便它们可以互补;以及（3）解决方案不应该严重依赖于额外的记录设备。在本文中，我们通过使用一种新的基于注意力的神经框架来解决上述挑战。我们的框架不仅提取语音和语言信息，但利用注意力机制捕捉长期的语义依赖。我们的框架是无设备的，能够将任何课堂录音作为输入。建议的CAD学习框架在两个现实世界的教育应用程序进行评估。实验结果证明了我们的方法在从不同模式的课堂数据中学习基于注意力的神经网络方面的好处，并表明我们的方法在各种评估指标方面能够超越最先进的基线。
2020-02-10 cs.LG cs.SD eess.AS
