MIDI-Informed Singing Accompaniment Generation in a Compositional Song Pipeline
National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾AI实验室）；University of Rochester（罗切斯特大学）
本文提出基于MIDI的歌唱伴奏生成方法，通过分解任务为旋律创作、人声合成和伴奏生成，提升节奏与和声对齐，实现轻量级高效歌曲创作流水线。
2026-02-24 cs.SD eess.AS
The Florence Price Art Song Dataset and Piano Accompaniment Generator
本文发布了包含112首Florence Price艺术作品的数字数据集，并基于此微调了符号音乐生成模型，实验证明其生成的钢琴伴奏比基线模型更能体现Price的风格。
2025-06-29 cs.SD eess.AS
SongDriver: Real-time Music Accompaniment Generation without Logical Latency nor Exposure Bias
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Jingchu University of Technology（荆楚理工学院）；Shandong University（山东大学）
实时的【形】音乐伴奏生成在音乐教育、现场演出等音乐行业有着广泛的应用。然而，自动实时的【形】音乐伴奏生成仍然是研究不足，往往面临着逻辑延迟和曝光偏差之间的权衡。在本文中，我们提出了SongDriver，一个实时的【形】音乐伴奏生成系统，没有逻辑延迟，也没有曝光偏差。具体来说，SongDriver将一个伴奏生成任务分为两个阶段：1）编曲阶段，其中Transformer模型首先实时的【形】为输入旋律编曲，并缓存和弦以供下一阶段使用，而不是播放它们。2)预测阶段，CRF模型根据先前缓存的和弦为即将到来的旋律生成可播放的多音轨音轨。通过这种两阶段策略，SongDriver直接为即将到来的旋律生成伴奏，实现零逻辑延迟。此外，在预测时间步长的和弦时，SongDriver会参考第一阶段缓存的和弦，而不是之前的预测，这避免了曝光偏差问题。由于输入长度通常在实时的【形】条件下受到约束，另一个潜在的问题是长期顺序信息的丢失。为了弥补这一缺陷，我们从当前时间步之前的长期音乐片段中提取四个音乐特征作为全局信息。在实验中，我们训练SongDriver在一些开源的数据集和原始的àiSong数据集建立从中国风格的现代流行音乐的分数。结果表明，SongDriver在客观和主观指标上都优于现有的SOTA（最先进的）模型，同时显著降低了物理延迟。
2022-10-13 cs.LG cs.MM cs.SD
SongCreator: Lyrics-based Universal Song Generation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）
针对现有模型难以根据歌词同时生成人声与伴奏歌曲的难题，研究团队提出SongCreator系统，通过双序列语言模型与注意力掩码策略实现多任务歌曲生成，在8项任务中表现优异且支持独立调控人声乐件声学条件。
2024-10-30 cs.AI cs.SD eess.AS
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université（巴黎声学/音乐研究与协调研究所 - 索邦大学）；Google Research（谷歌研究院）
我们提出了SingSong，一个系统，生成器乐伴奏输入人声，可能提供音乐家和非音乐家一样，一个直观的新方法来创建音乐特色自己的声音。为了实现这一点，我们建立在音乐声源分离和音频生成的最新发展。具体来说，我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频，以产生对齐的对人声和乐器的来源。然后，我们调整AudioLM（Borsos等人，2022）--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务，并在源分离的（声乐、乐器）对上对其进行训练。在成对比较相同的声乐输入，听众表示出显着的偏好相比，从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Multi-Accent Mandarin Dry-Vocal Singing Dataset: Benchmark for Singing Accent Recognition
Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Innovation Center of Yangtze River Delta, Zhejiang University（长江三角洲创新中心，浙江大学）；Tsinghua University（清华大学）；Hong Kong University of Science（香港科学大学）
本文提出多语调普通话干声唱语料库，用于评估语音模型在歌唱场景中的表现，并探讨方言和元音对语调变化的影响。
2025-12-07 cs.AI cs.SD
MuDiT & MuSiT: Alignment with Colloquial Expression in Description-to-Song Generation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Caichong Artificial Intelligence Research, DuiNiuTanQin Co., Ltd.（追牛探琴有限公司彩创人工智能研究院）
本研究提出口语化描述生成歌曲新任务，发布多主体标注的CaiMD数据集解决数据稀缺问题，还提出MuDiT/MuSiT单阶段框架，实现口语与音乐的跨模态对齐，生成符合用户预期的歌曲。
2024-07-11 cs.AI cs.MM cs.SD
FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft（微软）
针对现有自回归歌唱伴奏生成方法速度慢无法实时应用的问题，提出基于非自回归扩散的FastSAG框架，直接生成梅尔频谱图，搭配投影模块与损失函数保证连贯性，质量优于SingSong且速度至少提升30倍。
2024-05-13 cs.AI cs.CL cs.MM
Drop the beat! Freestyler for Accompaniment Conditioned Rapping Voice Generation
Northwestern Polytechnical University（西北工业大学）；Microsoft（微软）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出首个直接从歌词和伴奏生成说唱人声的系统Freestyler，结合语言模型、条件流匹配和神经声码器实现零样本音色控制，并构建了RapBank数据集，实验证明其生成质量高且节奏对齐强。
2024-08-28 cs.SD eess.AS
An End-to-End Approach for Chord-Conditioned Song Generation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Kunlun Skywork Technology Co.（昆仑智作科技有限公司）；Peng Cheng Lab（鹏城实验室）
针对歌曲生成中音乐表现与控制不足的问题，提出以和弦为条件、结合动态权重交叉注意力的端到端 CSG 模型，提升生成歌曲的音乐性与控制精度。
2024-09-10 cs.AI cs.SD eess.AS
Lead Vocal Separation from Vocal Ensemble Mixtures Using Phoneme Alignment
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
针对声乐合奏中主唱分离难的问题，提出基于BS-RoFormer和音素对齐条件化的模型，利用FiLM注入帧级音素标签，显著提升分离性能。
2026-09-09 cs.SD eess.AS
Addressing the confounds of accompaniments in singer identification
Research Center for IT Innovation, Academia Sinica（中央研究院資訊創新研究中心）；Data Science Team, KKBOX Inc.（KKBOX公司數據科學團隊）
识别歌手是一项重要的任务，有许多应用。然而，由于许多问题，这项任务仍然具有挑战性。一个主要的问题是与音乐制作中与人声混合的背景器乐的混杂因素有关。歌手识别模型可以学习从歌曲的乐器部分提取非声乐相关特征，如果歌手仅在某些音乐上下文中唱歌（例如，流派）。因此，当歌手在看不见的背景下唱歌时，该模型不能很好地推广。在本文中，我们试图解决这个问题。具体来说，我们采用开放的unmix，一个开源的工具与国家的最先进的性能在声源分离，分离声乐和器乐曲目的音乐。然后，我们研究了两种方法来训练歌手识别模型：通过只从分离的声乐学习，或者从一组增强的数据中学习，其中我们“混洗和混音”不同歌曲的分离的声乐曲目和乐器曲目，以人为地使歌手在不同的上下文中演唱。我们还结合了从声乐旋律轮廓中学习到的旋律特征，以获得更好的性能。在一个名为artist 20的基准数据集上的评估结果表明，这种数据增强方法大大提高了歌手识别的准确性。
2020-02-17 cs.LG cs.MM cs.SD
Automatic Stroke Classification of Tabla Accompaniment in Hindustani Vocal Concert Audio
Indian Institute of Technology Bombay（印度理工学院孟买分校）
塔布拉鼓是一种独特的打击乐器，因为它的音色结合了和声和颤音的性质，以及它的两个鼓的对比和声频率范围。这使得塔布拉演奏者能够独特地强调节奏周期（theka）的部分，以标记突出的位置。分析不同周期位置的响度动态和定时偏差是音乐学研究塔布拉伴奏表现力的重要内容。为了在语料库级别实现这一点，而不是将其限制在手动注释可以提供的少数记录中，使用自动Tabla转录系统是有帮助的。虽然已经通过在标记的Tabla笔划上训练模型来构建了一些系统，但所实现的准确性并不一定会传递到看不见的仪器。在这篇文章中，我们报告了我们的工作，建立一个独立于乐器的中风分类系统的基础上更容易获得的塔布拉独奏音轨伴奏塔布拉。我们提出的声学功能，捕捉的独特特征的塔布拉笔画，并建立一个自动系统来预测标签的减少，但音乐动机，目标集四个中风类别之一。为了解决缺乏足够的标记训练数据的问题，我们转向常见的数据增强方法，并发现使用基于音高变换的增强是最有前途的。然后，我们分析了重要的特征，并强调了它们的工具依赖性问题，同时鼓励使用更多针对特定任务的数据增强策略来提高训练数据的多样性。
2021-04-19 cs.SD eess.AS
DiffRhythm: Blazingly Fast and Embarrassingly Simple End-to-End Full-Length Song Generation with Latent Diffusion
针对现有音乐生成方法架构复杂、仅能生成短片段且推理慢的局限，提出首个基于潜在扩散的端到端模型 DiffRhythm，仅需歌词和风格提示即可在十秒内生成高音乐性的 4m45s 完整歌曲，并开源代码与预训练模型。
2025-03-03 eess.AS
Deep Autotuner: A Data-Driven Approach to Natural-Sounding Pitch Correction for Singing Voice in Karaoke Performances
Smule, Inc.（斯穆尔公司）
我们描述了一种机器学习的方法来纠正在卡拉OK环境中的独唱表演，其中独唱的声音和伴奏是在不同的轨道上。所提出的方法解决的情况下，没有乐谱的声乐也不存在的伴奏：它预测的校正量的声乐和伴奏曲目的频谱内容之间的关系。因此，由模型建议的以美分为单位的音高移位可以用于使语音声音与伴奏一致。这种方法不同于商业上使用的自动音高校正系统，在商业上使用的自动音高校正系统中，音轨中的音符被移位为以用户定义的乐谱中的音符为中心，或者被映射到十二个平均音阶度中最接近的音高。我们使用4，702个业余卡拉OK表演的数据集对模型进行训练，这些表演被选为良好的语调。我们提出了一个卷积门递归单元（CGRU）模型来完成这个任务。该方法可以扩展到声乐表演的无监督音高校正，通常称为自动调谐。
2019-02-03 cs.LG cs.SD eess.AS
SingFake: Singing Voice Deepfake Detection
Department of Electrical and Computer Engineering, University of Rochester, Rochester, NY, USA（电气与计算机工程系，罗切斯特大学，罗切斯特，纽约州，美国）
本文提出SingFake数据集，用于评估歌唱语音深度伪造检测方法，发现现有语音反制系统在歌唱语音上表现不佳，需进一步研究
2024-01-21 cs.AI cs.SD eess.AS
A Data-Driven Approach to Smooth Pitch Correction for Singing Voice in Pop Music
Indiana University（印第安纳大学）
在本文中，我们提出了一种机器学习的方法来纠正语音在卡拉OK设置，其中的人声和伴奏是在单独的轨道和时间对齐的音高。该网络将两个音轨的时频表示作为输入，并预测使语音与伴奏一致所需的音高偏移量。它是训练的例子半专业歌唱。所提出的方法不同于现有的实时音高校正方法，通过取代音高跟踪和映射到一组离散的音符-例如，12类的等温和的规模-学习校正，这是连续的频率和时间直接从声乐和伴奏曲目的谐波。递归神经网络（RNN）模型提供了一个考虑上下文的校正，保留了富有表现力的音高弯曲和颤音。这种方法可以扩展到声乐表演的无监督音高校正-通常被称为自动调音。
2018-05-07 cs.SD eess.AS
RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music
School of Information, Renmin University of China（中国人民大学信息学院）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）
针对复调音乐中人声音高估计受限于音乐源分离模型的问题，提出鲁棒模型 RMVPE 直接提取隐藏特征并预测音高，在 RPA、RCA 及各 SNR 水平下均表现优越。
2023-06-28 cs.SD eess.AS
SongEditor: Adapting Zero-Shot Song Generation Language Model as a Multi-Task Editor
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））；Tencent AI Lab（腾讯AI实验室）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
本文提出首个支持片段级和音轨级修改的歌曲编辑范式 SongEditor，通过引入音乐分词器、自回归语言模型和扩散生成器，实现了对歌词、人声、伴奏的灵活调整及从头合成，在端到端歌曲编辑中表现卓越。
2025-01-28 cs.SD eess.AS
Transfer Learning for Improving Singing-voice Detection in Polyphonic Instrumental Music
Microsoft Research Asia（微软亚洲研究院）
复调器乐中的演唱声检测是音乐信息检索的关键。为了训练鲁棒的人声检测器，在帧级标记有人声或非人声标签的大数据集是必不可少的。然而，帧级标记是耗时和劳动力昂贵的，导致很少有良好的标记数据集可用于歌唱语音检测（S-VD）。因此，我们提出了一种通过迁移学习的S-VD数据增强方法。在这项研究中，干净的语音片段与语音活动端点和单独的器乐片段被人工添加在一起，以模拟复调人声训练一个声乐/非声乐检测器。由于说话和唱歌之间的发音和发声不同，用人工数据集训练的人声检测器与人声与乐器伴奏一起唱歌的复调音乐不匹配。为了减少这种不匹配，使用迁移学习来将从人工语音加音乐训练集学到的知识迁移到小但匹配的复音数据集，即，演唱者与歌手通过转移相关知识来弥补S-VD中缺乏良好标记的训练数据，所提出的迁移学习数据增强方法可以提高S-VD的性能，F分数从89.5%提高到93.2%。
2020-08-11 cs.SD eess.AS
Audiovisual Singing Voice Separation
University of Rochester（罗切斯特大学）；ByteDance Inc.（字节跳动公司）
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题，近年来，使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息，以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入，并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性，我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集，分别用于训练和评估，一个来自互联网上的试听录音，另一个来自内部录音。在大多数测试录音的分离质量方面，所提出的方法优于基于音频的方法。当伴奏中有伴唱时，这种优势尤其明显，这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
LeVo: High-Quality Song Generation with Multi-Preference Alignment
Shenzhen International Graduate School, Tsinghua University, Shenzhen（清华大学深圳国际研究生院）；Tencent AI Lab（腾讯AI实验室）；Wuhan University（武汉大学）；The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））；X-LANCE Lab, Shanghai Jiao Tong University, Shanghai（上海交通大学X-LANCE实验室）；School of Intelligence Science and Technology, Nanjing University, Suzhou, China（南京大学智能科学与技术学院）
LeVo提出基于语言模型的歌曲生成框架，结合双token并行建模与多偏好对齐，显著提升音频质量、音乐性和指令遵循，超越现有开源方法。
2025-10-23 cs.AI cs.SD eess.AS
Change your singer: a transfer learning generative adversarial framework for song to song conversion
American University of Beirut（贝鲁特美国大学）
你有没有想过一首歌如果由不同的艺术家演唱会是什么样的？在这项工作中，我们提出了SCM-GAN，这是一个端到端的非并行歌曲转换系统，由生成对抗和迁移学习提供支持，允许用户收听选定的目标歌手演唱任何歌曲。SCM-GAN首先使用U-Net网络将歌曲分为人声和器乐，然后使用先进的CycleGAN-VC将人声片段转换为目标歌手，然后将转换后的人声与相应的背景音乐合并。SCM-GAN首先使用从最先进的语音到语音转换中学习的特征表示进行初始化，然后在非并行歌曲的数据集上进行训练。此外，SCM-GAN评估对一组度量，包括全球方差GV和调制谱MS上的24梅尔倒谱系数（MCEP）。迁移学习平均提高了35%的GV和13%的MS。进行主观比较以测试用户对转换的质量和自然度的满意度。实验结果表明，SCM-GAN的输出与目标歌曲的相似度平均为70%，转换后的歌曲具有很高的自然度。
2020-01-30 cs.LG cs.SD eess.AS
JaCappella Corpus: A Japanese a Cappella Vocal Ensemble Corpus
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所（AIST））
本文构建了含35首六声部、七流派子集日语无伴奏合唱及分轨录音的jaCappella语料库，并验证其为人声分离的挑战性资源。
2023-02-24 cs.LG cs.SD eess.AS
Versatile Framework for Song Generation with Prompt-based Control
Zhejiang University（浙江大学）
VersBand通过多任务框架实现基于提示的可控高质量歌曲生成，包含人声、伴奏、歌词和旋律生成模型，实验表明其在多个任务中表现优异。
2025-08-25 cs.CL cs.SD eess.AS
AccoMontage: Accompaniment Arrangement via Phrase Selection and Style Transfer
NYU Shanghai（纽约大学上海校区）
伴奏编曲是一项困难的音乐生成任务，涉及旋律、和声、织体和音乐结构的交织约束。现有的模型还不能有效地捕捉所有这些限制，特别是对于长期的音乐生成。为了解决这个问题，我们提出了AccoMontage，一个通过统一的乐句选择和神经风格转移的整首音乐的伴奏安排系统。我们专注于基于一个铅表（即，旋律与和弦进行）。具体来说，AccoMontage首先从数据库中检索短语蒙太奇，同时使用动态规划在结构上重新组合它们。其次，检索到的短语的和弦被操纵，以匹配铅表通过风格转移。最后，系统提供对生成过程的控制。与纯粹的基于学习的方法相比，AccoMontage引入了一种新的混合途径，其中基于规则的优化和深度学习都可以相互补充，以实现高质量的生成。实验表明，我们的模型生成结构良好的伴奏与细腻的纹理，显着优于基线。
2021-08-25 cs.IR cs.MM cs.SD
PopMAG: Pop Music Accompaniment Generation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
在流行音乐中，伴奏通常由多种乐器（音轨）演奏，如鼓，贝司，弦乐和吉他，并可以通过与旋律一起安排使歌曲更具表现力和感染力。以往的作品通常是分别生成多个音轨，不同音轨的音符之间没有明确的依赖关系，不利于和声建模。为了提高和谐，在本文中，我们提出了一种新的多轨道表示（Muximity），它使同时多轨道生成在一个单一的序列和明确的模型，从不同的轨道的音符的依赖性。虽然这极大地改善了和声，但不幸的是，它增加了序列长度，并带来了长期音乐建模的新挑战。我们进一步引入两种新技术来解决这一挑战：1）我们对多个音符属性（例如，音高、持续时间、速度），这可以缩短Muffel序列的长度。2)我们引入额外的长期背景作为记忆，以捕捉音乐中的长期依赖性。我们把我们的流行音乐伴奏生成系统称为PopMAG。我们在多个数据集（LMD，FreeMidi和CPMD，中国流行歌曲的私人数据集）上使用主观和客观指标评估PopMAG。实验结果表明PopMAG在多音轨和声建模和长期背景建模方面的有效性。具体来说，PopMAG在LMD、FreeMidi和CPMD数据集上分别获得了42%/38%/40%的选票，并且在主观和客观指标方面大大优于其他最先进的音乐伴奏生成模型和多音轨伴奏表示。
2020-08-18 cs.CL cs.IR cs.LG
Vocal Music under Phoneme-Conditional Analysis
该研究提出音素条件分析方法，通过9种语言的数千首无伴奏歌曲实验，以85.5%的平衡准确率识别语言，发现音系结构在演唱中留下可测量痕迹。
2026-09-10 cs.CL cs.SD eess.AS
VocalCoachBench: Benchmarking Audio-Language Models on Expert Feedback for Singing
KAIST（韩国科学技术院）
该研究推出首个歌唱领域专家声乐教练反馈评估基准VocalCoachBench，通过实验发现现有音频-语言模型在细粒度问题标签识别等方面存在明显差距，推动音频-语言评估向分析性反馈发展。
2026-10-14 cs.SD eess.AS
VietLyrics: A Large-Scale Dataset and Models for Vietnamese Automatic Lyrics Transcription
National University of Singapore（国立新加坡大学）
VietLyrics提出一个大规模越南语ALT数据集和模型，通过微调Whisper模型提升转录性能，推动低资源语言音乐研究。
2025-12-20 cs.AI cs.CL
Melodic and Metrical Elements of Expressiveness in Hindustani Vocal Music
本文通过分析十位艺术家对两首拉格歌曲的表演，提出计算表示以区分表现力差异，研究北印度卡亚尔音乐中的灵活时间与音高变化。
2025-08-06 cs.SD eess.AS
An Overview of Lead and Accompaniment Separation in Music
Gracenote（Gracenote公司）；Inria（法国国家信息与自动化研究所）；LIRMM（蒙彼利埃计算机、机器人与微电子实验室）；Cork School of Music（科克音乐学院）；Cork Institute of Technology（科克理工学院）；Northwestern University（西北大学）
流行音乐通常由伴奏和领唱组成，领唱通常由人声组成。过滤这种混合物以提取一种或两种组分具有许多应用，例如自动卡拉OK和再混合。声源分离的这种特殊情况产生了非常具体的挑战和机遇，包括音乐结构的特殊复杂性，以及来自声学、音乐学或声音工程的相关先验知识。由于其在应用中的重要性和具有挑战性的难度，几十年来，引导和伴奏分离一直是信号处理中的热门话题。在这篇文章中，我们对这一研究主题进行了全面的回顾，根据它们是基于模型还是以数据为中心来组织不同的方法。对于基于模型的方法，我们根据它们是否集中在引导信号、伴奏或两者上来组织它们。对于以数据为中心的方法，我们讨论了获取学习铅分离系统的数据的特殊困难，然后回顾了最近的方法，特别是那些基于深度学习的方法。最后，我们讨论了微妙的问题，通过适当的指标，音乐分离的质量进行评估，并提出了最大的评估结果，到目前为止，铅和伴奏分离系统。结合上述内容，提供了一个全面的参考列表，以及指向可用实现和存储库的相关指针。
2018-04-23 cs.SD eess.AS
Voice and accompaniment separation in music using self-attention convolutional neural network
Ohio State University（俄亥俄州立大学）；Amazon Music, Bangalore（亚马逊音乐（班加罗尔））；Amazon Lab126, CA（亚马逊Lab126（加利福尼亚））
音乐源分离是信号处理领域的一个热门课题，这不仅是因为它的技术难度，而且还因为它对自动卡拉OK和混音等许多商业应用的重要性。在这项工作中，我们提出了一种新的自我注意力网络分离的声音和伴奏音乐。首先，构建一个具有密集连接的CNN块的卷积神经网络（CNN）作为我们的基础网络。然后，我们在基础CNN的不同级别插入自注意力，以利用音乐的长期内部依赖性，即，重复在自我注意力模式中，相同音乐模式的重复通知其他重复的重建，以获得更好的源分离性能。实验结果表明，该方法在SDR方面的人声分离相对提高了19.5%。我们将我们的方法与最先进的系统（即MMDenseNet和MMDenseLSTM）进行比较。
2020-03-19 cs.LG cs.SD eess.AS
Learning the Beauty in Songs: Neural Singing Voice Beautifier
Zhejiang University（浙江大学）
我们感兴趣的是一个新的任务，唱歌的声音（SVB）。鉴于一个业余歌手的歌声，SVB的目的是改善语调和声音的语调，同时保持内容和声音的音色。目前的自动音高校正技术还不成熟，大多数都局限于语调而忽略了整体的美学质量。因此，我们引入了神经歌唱语音美化器（NSVB），这是解决SVB任务的第一个生成模型，它采用条件变分自编码器作为骨干，并学习音调的潜在表示。在NSVB中，我们提出了一种新的时间扭曲方法的音高校正：形状感知动态时间扭曲（SADTW），它改善了现有的时间扭曲方法的鲁棒性，同步业余录音与模板音高曲线。此外，我们提出了一个潜在的映射算法在潜在的空间，业余的声调转换为专业的。为了实现这一目标，我们还提出了一个新的数据集，其中包含业余和专业版本的并行歌唱录音。中文和英文歌曲上的大量实验证明了我们的方法在客观和主观指标方面的有效性。音频样本可在~ \url{https://neuralsvb.github.io}上获得。代码：\url{https://github.com/MoonInTheRiver/NeuralSVB}。
2022-03-02 cs.CL cs.LG cs.MM
Generating Coherent Drum Accompaniment With Fills And Improvisations
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Stanford University（斯坦福大学）
创作像音乐这样复杂的艺术作品需要深刻的创造力。随着深度学习和变形金刚等强大模型的最新进展，自动音乐生成取得了巨大进展。在伴奏生成上下文中，即使对于有经验的鼓手来说，在歌曲中的适当位置处创建具有适当填充和即兴的连贯鼓模式也是一项具有挑战性的任务。鼓点往往遵循一个重复的模式，通过节与填充或即兴在部分边界。在这项工作中，我们解决的任务，鼓模式生成条件的伴奏音乐由四个旋律乐器：钢琴，吉他，低音提琴，弦乐。我们使用Transformer序列到序列模型来生成以旋律伴奏为条件的基本鼓模式，以发现即兴演奏在很大程度上是不存在的，这可能归因于其在训练数据中的相对较低的表示。我们提出了一个新颖的函数来捕捉酒吧相对于邻近酒吧的即兴创作程度。我们训练一个模型来从旋律伴奏音轨中预测即兴演奏的位置。最后，我们使用一种新颖的BERT启发的填充架构，学习鼓和旋律的结构，以填充即兴音乐的元素。
2022-09-01 cs.LG cs.MM cs.SD
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University（复旦大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；National Institute of Informatics（国立信息学研究所）
歌声检测（SVD）是音乐信息检索（MIR）中的一项重要任务，用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起，特别是对于一些复杂的复调音乐，如合唱音乐录音，这项任务仍然具有挑战性。为了解决这个问题，我们研究歌声检测，同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤：i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性，使用长期递归卷积网络（LRCN）来学习成分特征。此外，为了消除离群值，我们选择使用中值滤波器进行时域平滑。实验结果表明，该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
Is One Score Enough? Assessing Singing Quality of Songs with Temporal Score Curves
Xi’an Jiaotong University（西安交通大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
研究针对全长歌曲演唱质量评估难题，提出SongSQA两阶段框架。第一阶段用伪标签训练段分数预测器，第二阶段聚合器整合特征与分数生成嵌入并捕捉联系，有效提升评估效果，在KTAU上相对提高13.95%。
2026-07-21 cs.MM cs.SD eess.AS
STRUM: A Spectral Transcription and Rhythm Understanding Model for End-to-End Generation of Playable Rhythm-Game Charts
Independent Researcher（独立研究者）
STRUM通过多阶段混合模型将原始录音转换为可演奏的节奏游戏图表，无需任何元数据。模型包含多个组件，如CRNN起始检测器、分类器和ASR，在30首歌曲基准上实现了高精度的节奏识别。
2026-05-12 cs.LG cs.SD eess.AS
Collaborative Song Dataset (CoSoD): An annotated dataset of multi-artist collaborations in popular music
Harvard University（哈佛大学）；Graduate Center, City University of New York（纽约城市大学研究生中心）
本研究推出聚焦独立艺人合作的流行音乐标注数据集CoSoD，含331首Billboard Hot 100年终榜合作曲，标注了结构、人声制作特征及性别等信息，并通过实验发现男女在混响使用、立体声位置上存在差异。
2023-07-13 cs.SD eess.AS
Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；NYU Shanghai（上海纽约大学）
针对高质量结构化全曲音乐生成难题，本文提出基于分层符号语言的级联扩散模型，可生成有清晰主副歌结构的完整流行音乐，质量优于基线且支持多维度灵活可控生成。
2024-05-16 cs.AI cs.LG cs.SD
DiffRhythm 2: Efficient and High Fidelity Song Generation via Block Flow Matching
ASLP Lab（语音与语言处理实验室）；MiLM Plus, Xiaomi Inc., China（小米公司）
DiffRhythm 2 通过块流匹配实现高效高保真的歌曲生成，解决歌词与 vocals 对齐及多偏好优化问题。
2026-02-03 eess.AS
Scream Detection in Heavy Metal Music
Georgia Institute of Technology（佐治亚理工学院）
刺耳的声音效果，如尖叫或咆哮，在重金属声乐中比传统的声乐演唱更常见。本文探讨了重金属音乐中极端发声技术的检测和分类问题，特别是不同尖叫技术的识别。我们调查的各种功能表示，包括倒谱，频谱和时间特征作为输入表示分类的适用性。本研究的主要贡献在于：（i）一个由超过280分钟的不同类型的重金属歌曲组成的人工注释数据集，并对重金属音乐中不同极端声乐技术的出现进行统计分析;（ii）对用于重金属声乐分类的不同输入特征表示进行系统研究
2022-05-11 cs.LG cs.SD eess.AS
Singing Style Transfer Using Cycle-Consistent Boundary Equilibrium Generative Adversarial Networks
National Taiwan University（台湾大学）；Academia Sinica, Taiwan（中央研究院（台湾））
我们能让像阿姆这样的著名说唱歌手唱我们最喜欢的歌吗？演唱风格转移试图通过将歌曲的声音从源歌手替换到目标歌手来实现这一点。本文提出了一种使用生成对抗网络从非配对数据中学习歌唱风格转移的方法。
2018-07-06 cs.AI cs.SD eess.AS
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University（纽约大学）；University of Florida（佛罗里达大学）；Carnegie Mellon University（卡内基梅隆大学）
编曲生成是自动音乐生成的一个子任务，它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式，但它们缺乏更精确的数据，无法实现更好的评估和更实际的结果。在本文中，我们提出了POP909，一个数据集，其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏，这些都是与原始音频文件对齐的。此外，我们还提供了速度，节拍，基调和和弦的注释，其中速度曲线是手工标记的，其他的是通过MIR算法完成的。最后，我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
Song Aesthetics Evaluation with Multi-Stem Attention and Hierarchical Uncertainty Modeling
School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an, China（计算机科学与技术学院，西安交通大学，西安，中国）；Central Media Technology Institute, Huawei（中央媒体技术研究院，华为）
针对音乐生成人工智能带来的歌曲美学评估需求，提出含多茎注意力融合与分层粒度感知区间聚合模块的评估框架，在两个数据集上评估并与两个SOTA模型比较，该方法在多维歌曲美学评估中性能更强。
2026-07-20 cs.MM cs.SD eess.AS
Vocal Melody Construction for Persian Lyrics Using LSTM Recurrent Neural Networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
该研究构建基于 LSTM 的 seq2seq 模型，学习波斯语歌词音节与音符序列的对应关系，并通过自建数据集和问卷评估其自动旋律生成效果。
2024-10-23 cs.LG cs.SD eess.AS
DiffRhythm+: Controllable and Flexible Full-Length Song Generation with Preference Optimization
School of Intelligence Science and Technology, Nanjing University, Suzhou, China（智能科学与技术学院，南京大学，苏州，中国）；MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus）
针对全长歌曲生成中的数据不平衡、风格可控性不足和质量不一致问题，本文提出 DiffRhythm+，通过平衡数据集、多模态风格条件化和偏好优化显著提升生成质量与创作灵活性。
2025-07-24 cs.SD eess.AS
SegTune: Structured and Fine-Grained Control for Song Generation
Kling Team, Kuaishou Technology（快手科技 Kling 团队）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
提出基于扩散Transformer的SegTune框架，通过用户或LLM指定局部音乐描述实现结构化细粒度控制，并引入LLM时长预测器实现精确歌词-音乐对齐，在音乐性和可控性上超越现有基线。
2026-05-31 cs.AI cs.SD eess.AS
SongBloom: Coherent Song Generation via Interleaved Autoregressive Sketching and Diffusion Refinement
针对歌曲生成中全局连贯性与局部保真度难平衡的问题，提出SongBloom框架，通过自回归草图与扩散细化交错的方式生成全长歌曲，性能超越现有方法并比肩商用平台。
2025-10-21 cs.MM eess.AS
SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition
The Chinese University of Hong Kong（中国香港大学）；Beihang University（北航）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港下的CPII）
本文提出SongComposer，一个音乐专用大型语言模型，通过灵活元组格式、扩展分词器词汇表和多阶段流程三项创新，首次将同时创作歌词与旋律的能力集成到LLM中，在多项任务中优于GPT-4，并发布大规模中英文训练数据集SongCompose。
2025-05-30 cs.AI cs.CL cs.SD
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services（亚马逊云科技）；Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术，如随机源混合，已被证明可以更好地利用现有数据，并温和地提高模型的性能。我们提出了一种新的数据增强技术，chromagram为基础的音高感知混音，音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验，我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比（SDR）
2022-03-28 cs.LG cs.SD eess.AS
SongCraft: Unified Song Generation and Editing with Reconstructive Learning
Meta AI
SongCraft通过重建预训练统一歌曲生成与编辑，利用条件重建实现细粒度属性编辑，并引入音素对齐、节拍条件等提升质量，达到最低词错误率。
2026-09-16 cs.SD eess.AS eess.SP
Music-robust Automatic Lyrics Transcription of Polyphonic Music
复调音乐的歌词改编是一项具有挑战性的工作，因为声乐演唱会受到背景音乐的影响。为了提高歌词转录的背景音乐的鲁棒性，我们提出了一种策略相结合的功能，强调歌唱的声音，即音乐去除功能，代表歌唱的声音提取的功能，和功能，捕捉歌唱的声音，以及背景音乐，即音乐存在的功能。我们表明，这两组功能相辅相成，它们的组合比单独使用时表现得更好，从而提高了声学模型对背景音乐的鲁棒性。此外，通用语言模型和域内歌词专用语言模型之间的语言模型插值提供了转录结果的进一步改进。我们的实验表明，我们提出的策略优于现有的歌词转录系统的复调音乐。此外，我们发现，我们提出的音乐稳健的功能，特别是提高歌词转录性能的金属风格的歌曲，其中背景音乐是响亮的和占主导地位的。
2022-04-22 eess.AS
High-Fidelity Song Generation with Joint Discrete and Continuous Modeling
The Chinese University of Hong Kong（香港中文大学）；StepFun（阶跃星辰）；MAP（多媒体分析组）
该研究提出结合离散与连续建模的方法，通过VQ tokenizer、SSL衍生变分编码器和全序列流模型，在192个共享提示下提升歌曲生成的SongEval评分、降低微PER并获更高专家评分。
2026-10-14 eess.AS
