Accompanied Singing Voice Synthesis with Fully Text-controlled Melody
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出 MelodyLM，首个以文本完全控制旋律的 TTSong 模型，通过 MIDI 中间建模、语言模型生成人声及潜在扩散模型合成伴奏，在客观与主观评测中均表现优异。
2024-07-02 cs.CL cs.SD eess.AS
RobustSVC: HuBERT-based Melody Extractor and Adversarial Learning for Robust Singing Voice Conversion
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对歌声转换中特征提取易受噪声影响的问题，提出 RobustSVC，用基于 HuBERT 的旋律提取器和三判别器对抗训练提升鲁棒性，并在干净与含噪条件下取得更优自然度和相似度。
2024-09-10 cs.SD eess.AS
Singing Voice Conversion with Accompaniment Using Self-Supervised Representation-Based Melody Features
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出一种基于自监督表示旋律特征的歌声转换方法，以解决伴奏干扰下旋律提取困难的问题，实验证明其在旋律准确性、相似度和自然度上均显著优于现有基线。
2025-02-07 cs.LG cs.SD eess.AS
TokSing: Singing Voice Synthesis based on Discrete Tokens
Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯AI实验室）；Carnegie Mellon University（卡内基梅隆大学）
针对离散Token应用于歌声合成时旋律表现力不足的问题，本文提出TokSing系统，通过Token融合、结合旋律信号与旋律增强策略解决离散化旋律退化问题，在性能、表示空间成本和收敛速度上均优于梅尔频谱基线。
2024-06-20 cs.SD eess.AS
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay（印度理工学院孟买分校）
音乐信息检索是当前一个活跃的研究领域，它致力于从音频信号中提取音乐上重要的信息，以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐，或者帮助音乐学研究，甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性，该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别，其中主要乐器是歌声。歌声比许多乐器更多才多艺，因此对信息检索系统提出了有趣的挑战。在本文中，我们提供了一个简短的概述，在声乐处理的相关工作在印度理工学院孟买的描述，导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
YingMusic-Singer: Zero-shot Singing Voice Synthesis and Editing with Annotation-free Melody Guidance
AI Lab, GiantNetwork（GiantNetwork人工智能实验室）；ASLP Lab, Northwestern Polytechnical University（西北工业大学自动化学院实验室）；University College London（伦敦大学学院）
YingMusic-Singer通过无标注旋律引导的方法实现了零样本歌唱语音合成与编辑，提高了旋律稳定性和音频质量。
2025-12-04 cs.AI cs.SD
TONet: Tone-Octave Network for Singing Melody Extraction from Polyphonic Music
University of California San Diego（加州大学圣地亚哥分校）；Fudan University（复旦大学）；Smule Inc.（Smule公司）
歌唱旋律提取是音乐信息检索领域的一个重要问题。现有的方法通常依赖于频域表示来估计歌唱频率。然而，这种设计在音调（音高级）和八度音的旋律信息的感知方面并不导致人类水平的性能。在本文中，我们提出了TONet，即插即用模型，利用一种新的输入表示和一种新的网络架构，提高了音调和八度感知。首先，我们提出了一种改进的输入表示，音调CFP，明确组谐波通过重新排列的频率箱。其次，我们介绍了一个编码器-解码器架构，旨在获得显着性特征图，音调特征图，和倍频程特征图。第三，我们提出了一个色调-八度融合机制，以改善最终的显着性特征图。通过实验验证了TONet在不同骨干网模型下的性能。我们的研究结果表明，使用Tone-CFP的音调-八度融合可以显着提高各种数据集的歌唱声音提取性能-在八度和音调准确性方面有很大的提高。
2022-02-02 cs.AI cs.LG cs.MM
Towards Improving Harmonic Sensitivity and Prediction Stability for Singing Melody Extraction
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文通过改进CFP输入特征和设计可微损失函数，提升歌唱旋律提取模型对谐波的敏感性和预测稳定性，并在多个模型上验证了有效性。
2023-08-04 cs.AI cs.LG cs.MM
A Mamba-based Network for Semi-supervised Singing Melody Extraction Using Confidence Binary Regularization
School of Comp. Science & Technology（计算机科学与技术学院）；Donghua University（东华大学）；Fudan University（复旦大学）；Grad. School of Adv. Science & Eng.（先进科学与工程研究生院）
针对歌声旋律提取中 transformer 效率低、忽视音符结构及标注不足的问题，提出 SpectMamba，结合 vision mamba、note-f0 解码器与 CBR 半监督模块，并在多个公开数据集上验证有效。
2025-05-13 cs.AI cs.SD eess.AS
Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training
Tencent PCG（腾讯平台与内容事业群）
提出旋律无监督多说话人预训练方法，利用多歌手数据增强单说话人歌声合成音域，并引入可微分时长调节器与双向流模型提升节奏自然度和音质。
2023-09-01 cs.CL cs.SD eess.AS
CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis With Structured Melody Control and Guidance
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
CoMelSinger通过离散编码器模型实现零样本歌唱合成，采用结构化旋律控制与对比学习策略，提升旋律准确性与音色一致性。
2026-04-11 cs.AI cs.SD
CLASVS: Continuous-Latent Autoregression for Melody-Preserving Lyric Editing in Singing Voice Synthesis
CLASVS是用于歌声合成的连续潜变量自回归模型，通过SCT路由与PSCG方法实现保留旋律的歌词编辑，在普通话基准上优于离散自回归Vevo2，降低46.2%的宏观音素错误率。
2026-08-31 cs.SD
MIDI-Informed Singing Accompaniment Generation in a Compositional Song Pipeline
National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾AI实验室）；University of Rochester（罗切斯特大学）
本文提出基于MIDI的歌唱伴奏生成方法，通过分解任务为旋律创作、人声合成和伴奏生成，提升节奏与和声对齐，实现轻量级高效歌曲创作流水线。
2026-02-24 cs.SD eess.AS
Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
ByteDance（字节跳动）
本文提出基于频谱图的 Mel-RoFormer，通过梅尔频带投影与交错 RoPE Transformer 建模频时维度，并采用分离模型预训练后微调转写任务的策略，在两项 MIR 基准上达到最先进水平。
2024-09-07 cs.SD eess.AS
Adversarially Trained End-to-end Korean Singing Voice Synthesis System
Seoul National University（首尔大学）
在本文中，我们提出了一个端到端的韩语歌唱声音合成系统，从歌词和一个象征性的旋律使用以下三种新的方法：1）语音增强掩蔽，2）本地条件的文本和音高的超分辨率网络，和3）条件对抗训练。所提出的系统由两个主要模块组成;从给定的输入信息生成梅尔频谱图的梅尔合成网络，以及将生成的梅尔频谱图上采样为线性频谱图的超分辨率网络。在mel合成网络中，语音增强掩蔽被应用于仅从输入文本生成隐式共振峰掩码，这使得能够更准确地对歌声进行语音控制。此外，我们还发现，另外两种方法-文本和音高的局部调节和有条件对抗训练-对于在超分辨率过程中真实生成人类歌声至关重要。最后，进行定量和定性评价，确认所有提出的方法的有效性。
2019-08-06 cs.SD eess.AS
Note-Level Singing Melody Transcription for Time-Aligned Musical Score Generation
Seoul National University（首尔大学）；Institute for Industrial Systems Innovation（产业系统创新研究院）
本文扩展传统音符级转录任务，提出端到端框架整合时值、音高和时间信息识别，引入伪标签技术解决时值数据稀缺问题，实验表明模型性能更优且鲁棒性强。
2025-02-18 cs.SD eess.AS eess.SP
MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation
本研究针对现有翻唱歌曲生成模型音素错误率高的问题，提出旋律与音素感知的MPEcho框架，集成音素编码器与长度调节器，结合自研Phonsa转录模型，实现了更精准的可控翻唱歌曲生成。
2026-07-30 cs.AI cs.SD eess.AS
Melody Generation using an Interactive Evolutionary Algorithm
Iran Broadcasting University（伊朗广播大学）
计算机辅助音乐生成近年来引起了人工智能领域许多科学家的注意。为此目的，深度学习技术已经发展了序列产生方法。然而，一个具有挑战性的问题是如何评估机器生成的音乐。在本文中，已经开发了一种方法的基础上的交互式进化优化方法，其中所产生的旋律的评分主要是由人类的专业知识，在训练过程中。这种音乐质量评分使用Bi-LSTM递归神经网络建模。此外，通过遗传算法创新生成的旋律将使用该Bi-LSTM网络进行评估。该机制的结果清楚地表明，所提出的方法是能够创建愉快的旋律与所需的风格和作品。与最先进的面向数据的进化系统相比，这种方法也相当快。
2019-07-07 cs.NE cs.SD eess.AS
Towards Computational Analysis of Pansori Singing
Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Sogang University（西江大学）
本文提出基于音频与转录的盘索里计算分析方法，利用现代音乐信息检索任务分析传统音乐并揭示其独特音频特征。
2024-10-16 cs.IR cs.SD eess.AS
Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer
Indian Institute of Science（印度科学学院）；Sony Group Corporation（索尼集团公司）
在本文中，我们提出了一个模型来执行语音风格转移到歌声。与以前的基于信号处理的方法相反，这些方法需要高质量的歌唱模板或音素同步，我们探索了一种数据驱动的方法来解决将自然语音转换为歌唱声音的问题。我们开发了一种新的神经网络架构，称为SymNet，它模拟输入语音与目标旋律的对齐，同时保留扬声器的身份和自然性。所提出的SymNet模型由三种类型的层的对称堆栈组成-卷积层、Transformer层和自我注意层。本文还探讨了新的数据增强和生成损失退火方法，以促进模型训练。实验在NUS和NHSS数据集上进行，这些数据集由语音和歌声的并行数据组成。在这些实验中，我们表明，所提出的SymNet模型提高了客观重建质量显着超过以前公布的方法和基线架构。此外，主观收听测试证实了使用所提出的方法获得的音频的质量得到了改善（在基线系统上平均意见得分测量中绝对改善了0.37）。
2022-08-26 cs.LG cs.SD eess.AS
Latent Space Explorations of Singing Voice Synthesis using DDSP
Aalborg University Copenhagen（奥尔堡大学哥本哈根校区）
基于机器学习的歌声模型需要大量的数据集和漫长的训练时间。在这项工作中，我们提出了一个轻量级的架构，基于差分数字信号处理（DDSP）库，能够输出类似歌曲的话语条件下，只有音高和幅度，经过12个小时的训练，使用小数据集的未处理的音频。结果是有希望的，因为旋律和歌手的声音都是可识别的。此外，我们提出了两个零配置工具，训练新的模型和实验。目前，我们正在探索潜在的空间表示，这是包括在DDSP库，但不是在原来的DDSP的例子。我们的研究结果表明，潜在空间提高了歌手的识别以及歌词的理解。我们的代码可以在https://github.com/juanalonso/DDSP-singing-experiments上找到，其中包含零配置笔记本的链接，我们的声音示例可以在https://juanalonso.github.io/DDSP-singing-experiments/上找到。
2021-03-12 cs.LG cs.MM cs.SD
StylePitcher: Generating Style-Following and Expressive Pitch Curves for Versatile Singing Tasks
Smule Labs（Smule实验室）；University of California, San Diego（加州大学圣地亚哥分校）；University of Rochester（罗切斯特大学）
StylePitcher提出一种基于修正流匹配的通用音高曲线生成器，从参考音频学习歌手风格并保持旋律对齐，无需重训即可适应多种歌唱任务，提升风格相似性和音频质量。
2025-10-24 cs.SD
DiTSinger: Scaling Singing Voice Synthesis with Diffusion Transformer and Implicit Alignment
Migu Music, China Mobile Communications Corporation, China（咪咕音乐，中国移动通信集团，中国）
DiTSinger通过扩散变换器和隐式对齐机制实现高效且高保真的歌唱语音合成，解决了数据稀缺和模型扩展性问题。
2025-12-24 cs.AI cs.SD eess.AS
KaraSinger: Score-Free Singing Voice Synthesis with VQ-VAE using Mel-spectrograms
Earth Species Project（地球物种项目）
在本文中，我们提出了一种新的神经网络模型称为KaraSinger为一个较少研究的歌唱声音合成（SVS）任务命名为无分数SVS，其中的韵律和旋律是由机器自发决定。KaraSinger包括一个矢量量化变分自动编码器（VQ-VAE），它将歌唱音频的Mel频谱图压缩为离散代码序列，以及一个语言模型（LM），它学习预测相应歌词的离散代码。对于VQ-VAE部分，我们采用了连接主义时间分类（CTC）损失，以鼓励离散代码携带音素相关的信息。对于LM部分，我们使用位置敏感的注意力来学习输入音素序列和输出离散代码之间的鲁棒对齐。我们保持了VQ-VAE和LM的轻量级架构，以实现快速训练和推理速度。我们验证了建议的设计选择的有效性，使用多个业余歌手演唱的550首英文流行歌曲的专有集合。听力测试结果表明，卡拉歌手在可懂度、音乐性和整体质量方面都取得了很高的成绩。
2021-10-08 cs.LG cs.SD eess.AS
VocalRender: Score-Native Singing Voice Synthesis for Real-World Composition
VocalRender是一种原生乐谱歌声合成系统，通过歌词、音高等乐谱信息直接合成歌声，采用交错歌词-音符表示与自回归扩散模型，在2300小时数据集训练后，自然度CMOS较最强基线高0.42分，适配实际作曲工作流。
2026-07-31 cs.AI cs.SD
Singing Voice Separation and Vocal F0 Estimation based on Mutual Combination of Robust Principal Component Analysis and Subharmonic Summation
Kyoto University（京都大学）
本文提出了一种新的演唱声分析方法，执行相互依赖的演唱声分离和声乐基频（F0）估计。如果可以从音乐音频信号中分离歌唱声，则认为声乐F0估计变得更容易，并且声乐F0轮廓对于歌唱声分离是有用的。这就需要一种方法，通过使用另一个任务的结果来提高每个任务的性能。所提出的方法首先执行鲁棒主成分分析（RPCA），用于从目标音乐音频信号中粗略地提取歌声。主旋律的F0轮廓，然后估计从分离的歌声通过寻找最佳的时间路径超过F0显着性频谱图。最后，通过将RPCA给出的传统时频掩模与仅通过估计F0的谐波结构的另一个掩模相结合，再次更准确地分离歌声。实验结果表明，该方法在歌唱声分离和F0估计方面都有明显的改善。该方法也优于提交给MIREX 2014国际音乐分析竞赛的所有其他歌唱声音分离方法。
2016-04-01 cs.MM cs.SD
Automatic Transcription of Flamenco Singing from Polyphonic Music Recordings
Universitat Pompeu Fabra（庞培法布拉大学）
音符级自动转写被认为是音乐信息检索中最具挑战性的任务之一。弗拉门戈歌唱转录的具体情况构成了一个特殊的挑战，由于其复杂的旋律进展，语调不准确，使用高度的重复和吉他伴奏的存在。在这项研究中，我们探讨了现有的最先进的转录系统的情况下，弗拉门戈歌唱的局限性，并提出了一个具体的解决方案，这种类型：我们首先提取的主要旋律，并应用一种新的轮廓过滤过程，以消除节段的音高轮廓起源于吉他伴奏。我们制定了一套发病检测功能的基础上的音量和音高特征分割成离散的音符事件的音高轮廓。通过将全局音高类别概率与局部音高轮廓统计相结合，将量化音高标签分配给每个音符事件。所提出的系统优于最先进的歌唱转录系统的发声准确性，发病检测和整体性能评估时，弗拉门戈歌唱数据集。
2015-10-14 cs.IR cs.SD
Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion
University of Sydney, Electrical and Computer Engineering（悉尼大学电气与计算机工程学院）；Sony Computer Science Laboratories, Tokyo, Japan（索尼计算机科学实验室（日本东京））
本文提出基于浅层扩散模型的自监督方法，用于修复因音高转换而降质的歌唱声音，通过保留旋律和时间，减少伪影并提升音质。
2026-01-15 cs.SD
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University（东京城市大学）
本研究提出集成多个RNN模型的交互式旋律生成系统，可基于用户反馈适配创作意图，经不同背景作曲家实验验证能促进音乐创造力，为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt
Zhejiang University（浙江大学）
本文提出 Prompt-Singer，通过自然语言提示实现歌声性别、音域和音量控制，并利用多尺度 decoder-only transformer 与音高解耦表示兼顾控制能力、旋律准确性和音频质量。
2025-01-06 cs.AI cs.LG cs.SD
A Survey on 30+ Years of Automatic Singing Assessment and Singing Information Processing
Faculdade de Engenharia Elétrica e de Computação Universidade Estadual de Campinas（电气与计算机工程学院，坎皮纳斯州立大学）
本文综述了过去30年自动歌唱评估与信息处理的发展，探讨了技术进步与现存挑战，旨在提升自动化评估的准确性和教学相关性。
2026-01-17 cs.SD eess.AS
ByteComposer: a Human-like Melody Composition Method based on Language Model Agent
ByteDance AI Lab（字节跳动人工智能实验室）
针对现有旋律创作系统缺乏人类对齐性与可解释性的问题，提出模拟人类创作四步流程的ByteComposer智能体框架，融合大语言模型与符号音乐生成模型，经实验与专业评估达到新手作曲家水平。
2024-03-07 cs.AI cs.SD eess.AS
A Neural Parametric Singing Synthesizer
Universitat Pompeu Fabra（庞培法布拉大学）
我们提出了一个新的模型，歌唱合成的基础上修改版本的WaveNet架构。而不是建模的原始波形，我们的模型的参数声码器，分离的音高和音色的影响所产生的功能。这允许方便地修改音高以匹配任何目标旋律，便于在更适度的数据集大小上进行训练，并显着减少训练和生成时间。我们的模型使用混合密度输出而不是分类输出进行逐帧预测，以减少所需的参数计数。由于我们发现实验中使用的数据集相对较小，过拟合是一个问题，因此我们提出了一种方法来正则化模型并使自回归生成过程对预测误差更加鲁棒。使用简单的多流架构，谐波、非周期性和有声/无声分量都可以以相干方式预测。我们比较我们的方法，现有的参数统计和国家的最先进的拼接方法，使用定量指标和听力测试。虽然自回归生成算法的简单实现往往效率低下，但使用智能算法，我们可以大大加快这一过程，并获得在速度和质量方面都具有竞争力的系统。
2017-08-17 cs.CL cs.LG cs.SD
An Extensive Analysis of Query by Singing/Humming System Through Query Proportion
S.J.College of Engineering（S.J.工程学院）
QBSH（Query by Singing/Humming）是一个以小音频片段为查询对象的音乐信息检索系统。数字音乐的日益普及为音乐检索提供了有效的方法。此外，MIR系统支持基于内容的音乐搜索，并且不需要熟悉音乐。目前对QBSH的研究主要集中在音高、节奏、音符等旋律特征上，数据库的大小、响应时间、分数匹配和搜索算法。尽管提出了各种QBSH技术，但通过查询摘录来分析QBSH的工作还很缺乏。在这里，我们提出了一个分析，QBSH通过查询摘录。为了证实这一点，我们利用Mel频率倒谱系数（MFCC）、线性预测系数（LPC）和线性预测倒谱系数（LPCC）进行了一系列的实验，以描述知识表示的鲁棒性。建议的实验试图揭示，检索性能以及精度下降，在蜗牛阶段与不断增长的数据库的大小。
2013-01-09 cs.IR cs.MM cs.SD
Lead Vocal Separation from Vocal Ensemble Mixtures Using Phoneme Alignment
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
针对声乐合奏中主唱分离难的问题，提出基于BS-RoFormer和音素对齐条件化的模型，利用FiLM注入帧级音素标签，显著提升分离性能。
2026-09-09 cs.SD eess.AS
Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；ByteDance Seed（字节跳动种子）；Shenzhen Loop Area Institute（深圳河套学院）；City University of Macau（澳门城市大学）；Amphion Technology Co., Ltd.（Amphion科技有限公司）
Vevo2通过统一建模和可控框架实现语音与歌唱语音的生成，结合语调学习策略和多目标训练提升可控性和泛化能力。
2026-03-05 cs.AI cs.CL cs.SD
Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints
Zuoyebang Education Technology（中关村教育科技）
本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。
2026-04-20 cs.CL cs.SD eess.AS
An interactive music infilling interface for pop music composition
University of Sussex（萨塞克斯大学）
人工智能（AI）已广泛应用于音乐生成主题，如延续、旋律/和声生成、流派转移和音乐填充应用。尽管人们对将人工智能应用于音乐的兴趣激增，但音乐家们仍然很少有界面可以利用人工智能技术的最新进展。这使得这些工具在实践中不太有价值，并且如果不在实际场景中使用它们，就很难找到其优点/缺点。本工作建立了一个最大的补丁交互式音乐填充应用程序与不同层次的控制，包括轨道密度/复调/占用率和酒吧音调张力控制。用户可以选择旋律/低音/和声音轨作为最多16小节的填充内容。填充算法基于作者以前的工作，接口向托管在云中的AI系统发送/接收消息。这个界面降低了人工智能技术的门槛，可以生成所选内容的不同变体。这些结果可以为音乐家的创作提供多种选择，交互过程实现了AI填充系统的价值。
2022-03-23 cs.HC cs.MM cs.SD
PPG-based singing voice conversion with adversarial representation learning
ByteDance AI Lab（字节跳动人工智能实验室）
歌唱声音转换是指在保持歌唱内容和旋律的前提下，将一个歌唱者的声音转换为另一个歌唱者的声音。在最近的语音转换工作的顶部，我们提出了一个新的模型，稳步转换歌曲，同时保持其自然性和语调。我们建立了一个端到端的架构，以语音后验图（PPG）作为输入，并生成梅尔频谱图。具体来说，我们实现了两个独立的编码器：一个编码PPG作为内容，另一个压缩梅尔频谱图提供声学和音乐信息。为了提高模型在音色和旋律方面的性能，设计了对抗性的歌手混淆模块和梅尔回归表示学习模块。在我们的私人汉语歌唱语料库上进行了客观实验和主观实验。与基线相比，我们的方法可以显着提高转换性能的自然度，旋律，和语音相似性。此外，我们的PPG为基础的方法被证明是强大的噪声源。
2020-10-28 cs.CL cs.SD eess.AS
Generative Multi-modal Feedback for Singing Voice Synthesis Evaluation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；Columbia University（哥伦比亚大学）；Dalian University of Technology（大连理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出生成式多模态反馈框架，通过音频-语言模型生成多维语言和音频反馈，提升歌唱语音合成评估的准确性和可解释性。
2025-12-02 cs.LG cs.SD
DALI: a large Dataset of synchronized Audio, LyrIcs and notes, automatically created using teacher-student machine learning paradigm
Ircam Lab（Ircam实验室）；CNRS（法国国家科学研究中心）
本文的目的是双重的。首先，我们介绍了DALI，一个大型而丰富的多模态数据集，包含5358个音轨，其时间对齐的声乐旋律音符和歌词在四个粒度级别。第二个目标是解释我们的方法，其中数据集创建和学习模型使用师生机器学习范式进行交互，使彼此受益。我们从一组手工注释的草稿时间对齐的歌词和笔记由Karamas游戏的非专家用户。这套没有音频。因此，我们需要找到相应的音频和适应它的注释。为此，我们从Web检索音频候选。然后，每个候选人都可以使用教师（一种深度卷积神经网络唱歌声音检测系统（SVD））随着时间的推移转换为唱歌声音概率，该系统在经过清理的数据上进行训练。比较时间对齐的歌词和歌唱的声音概率，我们检测匹配，并相应地更新时间对齐的歌词。由此，我们获得了新的音频集。然后，它们被用于训练新的SVD学生，用于再次执行上述比较。该过程可以迭代地重复。我们表明，这可以逐步提高我们的SVD的性能，并获得更好的音频匹配和对齐。
2019-06-25 cs.DB cs.LG cs.SD
Continual Learning for Singing Voice Separation with Human in the Loop Adaptation
本文提出了一种交互式持续学习框架，通过用户反馈优化歌唱语音分离模型，提升在不同音乐场景下的分离性能。
2025-12-02 cs.SD
Speech-to-Singing Conversion in an Encoder-Decoder Framework
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Academia Sinica（中央研究院）
在本文中，我们的目标是将一组口语线转换成唱的。与以前的信号处理为基础的方法，我们采取基于学习的方法来解决这个问题。这使我们能够自动模拟这种转换的各个方面，从而克服对特定输入的依赖，例如高质量的歌唱模板或音素分数同步信息。具体来说，我们提出了一个编码器-解码器框架，我们的任务。给定语音的时频表示和目标旋律轮廓，我们学习编码，使我们能够合成歌唱，保留语言内容和音色的扬声器，同时坚持目标旋律。我们还提出了一个多任务学习为基础的目标，以提高歌词的可理解性。我们提出了一个定量和定性分析我们的框架。
2020-02-16 cs.LG cs.SD eess.AS
A Deep Learning Based Analysis-Synthesis Framework For Unison Singing
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；European Commission, Joint Research Centre（欧盟委员会联合研究中心）
齐唱是指一群歌手同时演唱同一旋律和歌词。虽然每个歌手在同一个合唱团唱相同的主旋律，有轻微的时间和歌手之间的音高偏差，这与合奏的音色，给听众一个感知的感觉“一致”。在本文中，我们提出了一个合唱团的背景下，合唱的研究;利用一些最近提出的基于深度学习的方法，我们分析了单个歌手的基本频率（F0）分布在录音的调和混合。基于分析，我们提出了一个系统，用于从一个无伴奏合唱输入和一个单一的声音原型代表的一致混合物合成的一致信号。我们使用主观听觉测试来评估我们所提出的系统的感知因素，包括质量，坚持的旋律，以及感知一致的程度。
2020-09-21 cs.LG eess.AS
Serenade: A Singing Style Conversion Framework Based On Audio Infilling
Graduate School of Informatics（信息科学研究生院）；Nagoya University（名古屋大学）；Information Technology Center（信息技术中心）
Serenade 提出基于音频填充和流匹配的演唱风格转换框架，通过循环训练解耦源风格，并结合原始 F0 重合成以保留旋律，在相似度和自然度上取得最佳综合效果。
2025-07-04 cs.SD eess.AS
Audio segmentation based on melodic style with hand-crafted features and with convolutional neural networks
Indian Institute of Technology, Bombay（孟买印度理工学院）
我们调查的自动标记的taan部分，一个突出的结构组成部分的印度斯坦Khayal声乐演唱会的方法。该taan包含即兴拉嘎为基础的旋律呈现在快速音高和声音的能量调制的高度独特的风格。我们提出的计算功能，捕捉这些特定的高层次的特点，在复调背景下的歌声。提取的局部特征用于通过训练的多层感知器（MLP）网络实现帧级分类，然后基于新颖性检测进行分组和分割。我们报告的高精度与音乐家注释TAAN部分跨艺术家和音乐会。我们还比较了通过紧凑的专门功能与帧级分类获得的性能，通过卷积神经网络（CNN）直接对音频频谱图补丁进行相同的任务。虽然我们实验的相对简单的架构并不能完全达到手工特征的分类准确性，但它提供了一个远远高于机会的性能，并对网络从标记数据中有效学习区分特征的能力有了有趣的见解。
2018-07-30 cs.SD eess.AS
SongSong: A Time Phonograph for Chinese SongCi Music from Thousand of Years Away
SongSong是一款能够还原古代宋词音乐的生成模型，通过预测旋律并生成演唱和伴奏，结合综合数据集提升古代音乐生成质量。
2026-02-27 cs.CL cs.SD
MusicGen-Chord: Advancing Music Generation through Chord Progressions and Interactive Web-UI
Sogang University（西江大学）；Replicate
针对MusicGen无法利用和弦进行特征的局限，提出MusicGen-Chord模型将旋律色度向量改为多热编码和弦向量，结合和弦与文本生成音乐，还开发混音应用并集成到网络UI，提升音乐生成可控性与可访问性。
2024-11-30 cs.AI cs.LG cs.SD
Transhuman Ansambl - Voice Beyond Language
Monash University（莫纳什大学）
本文提出超人类合唱团——一个由十六个虚拟歌手组成的交互式歌唱语音系统，通过感知音高、语调和音量或超声波距离来回应人类，探索超越语言的语音交互与现场表演创新。
2024-05-06 cs.HC cs.SD eess.AS
MULTIMODAL ANALYSIS: Informed content estimation and audio source separation
Sorbonne Université（索邦大学）；Grenoble-INP - Institut Polytechnique de Grenoble（格勒诺布尔理工学院）；Télécom Paris - Institut Polytechnique de Paris（巴黎电信学院 - 巴黎理工学院）；Spotify；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；I3S（I3S实验室）；ISIR（智能系统与机器人研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；MTG（音乐技术组）；Centre Inria Nancy - Grand Est（法国国家信息与自动化研究院南锡-大东部研究中心）
本文提出了音乐信号背景下的多模态学习研究。在整个过程中，我们专注于音频信号和文本信息之间的相互作用。在可以使用的与音乐相关的许多文本源（例如评论，元数据或社交网络反馈）中，我们专注于歌词。歌声以独特的方式直接连接音频信号和文本信息，结合旋律和歌词，语言维度补充了乐器的抽象。我们的研究重点是音频和歌词的相互作用，有针对性的声源分离和知情的内容估计。
2021-10-29 cs.DB cs.IR cs.LG
Unsupervised Cross-Domain Singing Voice Conversion
Tel Aviv University（特拉维夫大学）
我们提出了一个wav-to-wav生成模型的任务歌唱声音转换从任何身份。我们的方法利用声学模型，训练任务的自动语音识别，连同旋律提取的功能来驱动基于波形的发生器。所提出的生成架构是不变的扬声器的身份，可以训练生成目标歌手从未标记的训练数据，使用语音或歌唱源。该模型以端到端的方式进行优化，无需任何手动监督，例如歌词，音符或平行样本。所提出的方法是完全卷积的，可以实时生成音频。实验表明，我们的方法显着优于基线方法，同时产生令人信服的更好的音频样本比其他尝试。
2020-08-06 cs.LG cs.SD eess.AS
Emotion Manipulation Through Music -- A Deep Learning Interactive Visual Approach
Data Science Institute（数据科学研究所）；Columbia University（哥伦比亚大学）；Central Washington University（中华盛顿大学）；Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）
本文提出一种基于AI的交互式音乐情绪操控流水线，可在保留旋律的同时反转歌曲情绪并用Circumplex模型可视化，且深度学习评估模型在4Q Emotion数据集上达到现有先进水平。
2024-06-12 cs.AI cs.CY cs.LG
SYKI-SVC: Advancing Singing Voice Conversion with Post-Processing Innovations and an Open-Source Professional Testset
Happy Elements（乐元素）；Union Wheatland Culture and Media Ltd.（联合麦田文化传媒有限公司）
本文提出基于 SVCC T02 的高保真歌声转换系统，结合 ContentVec、Whisper 特征提取与源信号高频后处理，并发布专业测试集，验证其自然度和设计有效性。
2025-01-06 cs.SD eess.AS
Leveraging Diverse Semantic-based Audio Pretrained Models for Singing Voice Conversion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对歌声转换中语义预训练特征适配性不足的问题，研究发现不同语义音频预训练模型的知识具有多样性与互补性，提出基于多样化语义特征融合的DSFF-SVC框架，可有效提升多种现有SVC模型在真实场景下的转换效果。
2024-09-16 cs.SD eess.AS
