SingAug: Data Augmentation for Singing Voice Synthesis with Cycle-consistent Training Strategy
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）
与传统的基于统计参数的方法相比，基于深度学习的歌唱声音合成（SVS）系统已被证明可以灵活地生成质量更好的歌唱。然而，神经系统通常是数据饥渴的，并且难以在有限的公共可用训练数据的情况下达到合理的歌唱质量。在这项工作中，我们探索了不同的数据增强方法来提高SVS系统的训练，包括基于音高增强和混合增强为SVS定制的几种策略。为了进一步稳定训练，我们引入了周期一致的训练策略。在两个公共歌唱数据库上的实验表明，我们提出的增强方法和稳定训练策略可以显着提高客观和主观评价的性能。
2022-07-06 cs.LG cs.SD eess.AS
NNSVS: A Neural Network-Based Singing Voice Synthesis Toolkit
LINE Corp.（LINE公司）；Nagoya University（名古屋大学）
介绍了一个用于基于神经网络的歌唱声音合成研究的开源软件NNSVS的设计。NNSVS的灵感来自歌唱声音合成研究的开源先驱Sinsy，并提供了许多额外的功能，如多流模型，自回归基频模型和神经声码器。此外，NNSVS提供了大量的文档和大量的脚本来构建完整的歌唱声音合成系统。实验结果表明，我们最好的系统显着优于我们的再现Sinsy和其他基线系统。该工具包可在https://github.com/nnsvs/nnsvs上查阅。
2023-03-01 cs.LG cs.SD eess.AS
Sequence-to-sequence Singing Voice Synthesis with Perceptual Entropy Loss
Johns Hopkins University（约翰霍普金斯大学）；Renmin University of China（中国人民大学）
基于神经网络（NN）的歌唱声合成（SVS）系统需要足够的数据来进行良好的训练，并且由于数据稀缺而易于过拟合。然而，我们经常遇到的数据限制问题，在建立SVS系统，因为高数据采集和注释成本。在这项工作中，我们提出了一个感知熵（PE）损失来自心理声学听力模型来正则化网络。通过一个一小时的开源歌声数据库，我们探索了PE损失对各种主流序列到序列模型的影响，包括基于RNN的模型，基于transformer的模型和基于conformer的模型。实验结果表明，PE损失可以缓解过拟合问题，并显着提高客观和主观评价中反映的合成歌唱质量。
2021-02-26 cs.LG cs.SD eess.AS
BiSinger: Bilingual Singing Voice Synthesis
Wuhan University（武汉大学）；Duke Kunshan University（昆山杜克大学）
本文提出双语歌声合成系统 BiSinger，通过 CMU 词典与映射规则构建中英共享表示，融合单语歌声数据集与歌声转换技术，使单一模型在英语和语码切换 SVS 上性能提升且保持中文表现。
2024-01-09 cs.LG cs.SD eess.AS
Singing Synthesis: with a little help from my attention
Amazon Research（亚马逊研究院）
我们提出了UTACO，一个基于注意力的序列到序列机制的歌唱合成模型和一个基于扩张因果卷积的声码器。这两类模型对文语转换领域产生了重大影响，但从未被彻底应用于歌唱合成任务。UTACO表明，注意力可以成功地应用到歌唱合成领域，提高了自然的艺术状态。该系统需要相当少的明确建模的语音功能，如F0模式，vibratos，注意和音素持续时间，比以前的模型在文献中。尽管如此，它显示了一个强大的改善自然相对于以前的神经歌唱合成模型。该模型不需要任何持续时间或音高模式作为输入，并学习根据音乐上下文自主插入颤音。然而，我们观察到，通过完全免除任何明确的持续时间建模，它变得更难获得精确匹配歌曲节奏所需的精细控制。
2020-05-06 cs.CL cs.LG cs.SD
Singing Voice Synthesis Using Deep Autoregressive Neural Networks for Acoustic Modeling
University of Science and Technology of China（中国科学技术大学）
本文提出了一种用自回归神经网络进行歌唱声合成声学建模的方法。歌声不同于语音，它包含更多的声学特征的局部动态运动，例如，振动器因此，我们的方法采用深度自回归（DAR）模型来预测的F0和频谱特征的歌声，以更好地描述连续帧的声学特征之间的依赖关系。F0建模采用离散化的F0值，并通过实验分析了DAR中历史长度的影响。还设计了一种F0后处理策略，以减轻预测的F0轮廓和由音符确定的F0值之间的不一致性。此外，我们扩展了DAR模型来处理连续谱特征，并引入了一个具有自注意层的预网模块来处理历史帧。在一个中文歌唱声语料库上的实验表明，该方法能有效地产生带有振动的F0轮廓，并且比传统的递归神经网络（RNNs）方法具有更好的客观和主观性能。
2019-06-21 cs.LG cs.SD eess.AS
Singing-Tacotron: Global duration control attention and dynamic filter for End-to-end singing voice synthesis
NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所自然语言处理实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端的歌唱声合成（SVS）是有吸引力的，由于避免了预对齐的数据。然而，自动学习的歌声与歌词的对齐很难匹配乐谱中的持续时间信息，这将导致模型不稳定，甚至无法合成声音。为了自动学习准确的对齐信息，本文提出了一个端到端的SVS框架，命名为Singing-Tacotron。所提出的框架和Tacotron之间的主要区别是，语音可以控制乐谱的持续时间信息显着。首先，我们提出了一个全局的持续时间控制注意力机制的SVS模型。注意力机制可以控制每个音素的持续时间。其次，提出了一个持续时间编码器，从乐谱中学习一组全局过渡标记。这些转换标记可以帮助注意力机制决定是移动到下一个音素还是停留在每个解码步骤。第三，为了进一步提高模型的稳定性，设计了一个动态滤波器来帮助模型克服噪声干扰，更加关注局部上下文信息。主、客观评价结果验证了该方法的有效性。此外，全球过渡令牌的作用和持续时间控制的效果进行了探讨。实验的例子可以在https://hairuo55.github.io/SingingTacotron上找到。
2022-02-16 cs.LG cs.SD eess.AS
Disentangling Timbre and Singing Style with Multi-singer Singing Synthesis System
Seoul National University（首尔大学）
在这项研究中，我们定义了两个独立的概念-音色和演唱风格-歌手的身份，并提出了一个多歌手歌唱合成系统，可以单独建模。为此，我们扩展我们的单歌手模型到多歌手模型在以下几个方面：首先，我们设计了一个歌手身份编码器，可以充分反映歌手的身份。其次，我们使用编码的歌手身份条件的两个独立的解码器，模型音色和演唱风格，分别。通过用户研究与听力测试，我们实验验证，所提出的框架是能够产生一个自然的歌唱声音的高品质，同时独立控制的音色和演唱风格。此外，通过使用改变演唱风格的方法，而固定的音色，我们建议我们提出的网络可以产生一个更有表现力的歌声。
2019-10-29 cs.SD eess.AS
Karaoker: Alignment-free singing voice synthesis with speech training data
Innoetics, Samsung Electronics（三星电子Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
现有的歌唱声音合成模型（SVS）通常是在歌唱数据上训练的，并且依赖于容易出错的时间对齐和持续时间特征或明确的乐谱信息。在本文中，我们提出了Karaoker，一个多扬声器Tacotron为基础的模型条件的语音特征，专门训练口语数据，而不需要时间对齐。Karaoker根据从看不见的歌手/扬声器的源波形中提取的多维模板合成歌声并传递风格。该模型与单个深度卷积编码器联合调节连续数据，包括音高，强度，谐波，共振峰，倒谱峰值突出和八度。我们通过特征重建、分类和说话人识别任务扩展了文本到语音的训练目标，这些任务可以指导模型获得准确的结果。除了多任务处理之外，我们还采用了Wasserstein GAN训练方案以及声学模型输出的新损失，以进一步改进模型的质量。
2022-08-31 cs.LG cs.SD eess.AS
A Survey on Recent Deep Learning-driven Singing Voice Synthesis Systems
歌唱声音合成（SVS）是一个根据乐谱和歌词生成音频信号的任务。由于其涉及音乐和语言的多面性，产生与人类歌手没有区别的歌声一直是一个未实现的追求。尽管如此，深度学习技术的进步还是为合成歌声的质量和自然度带来了实质性的飞跃。本文旨在回顾一些最先进的深度学习驱动的SVS系统。我们打算总结他们部署的模型架构，并确定每个引入的系统的优势和局限性。因此，我们描绘了这一领域的最新发展轨迹，并总结了在商业应用和学术研究中有待解决的挑战。
2021-10-06 eess.AS
DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism
Zhejiang University（浙江大学）
歌唱声音合成（SVS）系统被构建为合成高质量和富有表现力的歌唱声音，其中声学模型生成声学特征（例如，Mel-spectrogram）。先前的歌唱声学模型采用简单的损失（例如，L1和L2）或生成对抗网络（GAN）来重建声学特征，但它们分别存在过平滑和训练不稳定的问题，影响了合成歌唱的自然度。在这项工作中，我们提出了DiffSinger，一个基于扩散概率模型的SVS声学模型。DiffSinger是一个参数化的马尔可夫链，它迭代地将噪声转换为以乐谱为条件的梅尔频谱图。通过隐式优化变分边界，DiffSinger可以稳定地训练并生成真实的输出。为了进一步提高语音质量和加快推理速度，我们引入了一种浅层扩散机制，以更好地利用简单损失学习到的先验知识。具体地，DiffSinger根据地面实况梅尔频谱图的扩散轨迹和由简单梅尔频谱图解码器预测的扩散轨迹的交点，在小于扩散步骤总数的浅步骤处开始生成。此外，我们提出了边界预测方法来定位相交和自适应地确定浅步长。在中国歌唱数据集上进行的评估表明，DiffSinger优于最先进的SVS工作。扩展实验也证明了我们的方法在文本到语音的任务（DiffSpeech）的推广。音频示例：www.example.com。代码：www.example.com。这部作品的旧标题是：“Diffsinger：Diffusion acoustic model for singing …
2022-03-22 cs.LG cs.SD eess.AS
Learn2Sing: Target Speaker Singing Voice Synthesis by learning from a Singing Teacher
Northwestern Polytechnical University（西北工业大学）；Databaker (Beijing) Technology Co., Ltd.（百度（北京）科技有限公司）
随着语音合成领域的迅速发展，歌唱声合成越来越受到人们的重视。一般来说，一个录音棚级的歌唱语料库通常是必要的，以产生一个自然的歌声从歌词和音乐相关的转录。然而，这样的语料库很难收集，因为我们中的许多人很难像专业歌手那样唱歌。在本文中，我们提出了一种方法-Learn 2Sing，只需要一个歌唱教师来生成目标说话人的歌声，而不需要他们的歌声数据。在我们的方法中，一个教师的歌唱语料库和语音从多个目标扬声器训练的帧级自回归声学模型，唱歌和说话共享共同的扬声器嵌入和风格标签嵌入。同时，由于目标说话人没有与音乐相关的转录，我们使用对数尺度基频（LF 0）作为辅助特征作为声学模型的输入，以建立统一的输入表示。为了使目标说话者在推断阶段中能够在没有演唱参考音频的情况下演唱，还训练了持续时间模型和LF 0预测模型。特别地，我们在声学模型中采用域对抗训练（DAT），其目的是通过从歌唱和说话数据的声学特征中分离风格来提高目标说话者的歌唱性能。实验结果表明，该方法能够在只给出目标说话人语音样本的情况下合成目标说话人的歌声。
2020-11-17 cs.SD eess.AS
Sequence-to-sequence Singing Synthesis Using the Feed-forward Transformer
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术小组）
我们提出了一种序列到序列的歌唱合成器，它避免了需要预先对齐的语音和声学特征的训练数据。而不是一个基于内容的注意力机制结合自回归解码器的更常见的方法，我们使用不同的机制，适合前馈合成。鉴于语音的时间在唱歌是高度限制的乐谱，我们得到一个近似的初始对齐的帮助下，一个简单的持续时间模型。然后，使用基于Transformer模型的前馈变体的解码器，一系列自关注和卷积层细化初始对准的结果以达到目标声学特征。这种方法的优点包括更快的推理和避免影响教师强迫训练的自回归模型的暴露偏差问题。我们评估了该模型的有效性相比，自回归基线，自我注意的重要性，以及持续时间模型的准确性的重要性。
2020-02-20 cs.LG cs.SD eess.AS
Singing voice synthesis based on frame-level sequence-to-sequence models considering vocal timing deviation
Nagoya Institute of Technology（名古屋工业大学）
本文提出了一种基于帧级序列到序列模型的歌唱声合成方法。在SVS中，考虑到实际发声时间和音符开始时间之间存在差异，必须使歌唱时间与由乐谱表示的时间结构同步。在许多SVS系统，包括我们以前的工作，音素级的分数功能转换成帧级的基础上获得的音素边界的外部对准器，以考虑到声乐定时偏差。因此，在该系统中，声音质量受到对准器精度的影响。为了缓解这个问题，我们引入了一个帧级功能的注意力机制。在所提出的系统中，注意机制吸收音素边界的对齐错误。此外，我们评估的系统与伪音素边界定义的启发式规则的基础上的乐谱时，没有对齐。实验结果表明了该系统的有效性。
2023-02-22 cs.LG cs.SD eess.AS
Singing Voice Synthesis with Vibrato Modeling and Latent Energy Representation
Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）；Shanghai Conservatory of Music（上海音乐学院）
本文提出了一种通过引入显式颤音建模和潜在能量表示的富有表现力的歌唱声音合成系统。由于人类歌唱的固有特性，颤音对合成声音的自然性至关重要。因此，本文提出了一种基于深度学习的颤音模型，用于控制歌唱中颤音的似然度、速率、深度和相位，其中颤音似然度代表了颤音存在的概率，有助于提高歌唱声音的自然度。实际上，在现有的歌唱语料库中并没有关于颤音相似性的标注。采用一种新的颤音相似度标注方法对颤音相似度进行自动标注。同时，音频的功率谱图包含了丰富的信息，可以提高歌唱的表现力。提出了一种基于自编码器的潜在能量瓶颈特征，用于富有表现力的歌唱声音合成。在NUS48E开放数据集上的实验结果表明，颤音建模和潜在能量表征都能显著提高歌唱声音的表现力。音频样本显示在演示网站。
2022-11-02 cs.SD eess.AS
Low-Resource Cross-Domain Singing Voice Synthesis via Reduced Self-Supervised Speech Representations
Innoetics, Samsung Electronics（三星电子 Innoetics）；Samsung Electronics（三星电子）
本文提出Karaoker-SSL，一种仅用文本和语音数据训练的低资源歌唱语音合成模型，通过自监督表征和扩散GAN判别器实现无需歌唱数据的高质量合成。
2024-02-02 cs.LG cs.SD eess.AS
ConSinger: Efficient High-Fidelity Singing Voice Generation with Minimal Steps
Beijing University of Technology（北京工业大学）
针对扩散模型歌声合成推理速度慢的问题，提出基于一致性模型的ConSinger方法，通过应用一致性约束，在牺牲少量推理速度下大幅提升生成质量，以最少步数实现高保真歌声合成，在速度与质量上均具竞争力。
2025-03-07 cs.LG cs.SD eess.AS
Expressive Singing Synthesis Using Local Style Token and Dual-path Pitch Encoder
Music and Audio Research Group (MARG), Seoul National University（首尔国立大学音乐与音频研究组（MARG））；supertone Inc.（supertone公司）
本文提出了一种可控的歌声合成系统，能够通过两种新颖的方法生成富有表现力的歌声。首先，提出了从输入音高和文本序列预测帧级风格令牌的局部风格令牌模块，以允许演唱语音系统控制通常在乐谱中未指定的音乐表达（例如，呼吸和强度）。其次，我们提出了一个双路径音高编码器，可以选择两个不同的音高输入：f0轮廓或f1音高序列。因为歌唱声的初始生成通常是通过取一个小音高序列来执行的，所以可以在以后从所生成的歌唱声中提取f0轮廓，并根据需要将f0轮廓修改为更精细的水平。通过定量和定性的评价，我们证实，该模型可以控制各种音乐的表现，而不牺牲歌唱声音合成系统的音质。
2022-04-07 cs.SD eess.AS
SUSing: SU-net for Singing Voice Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
歌唱声音合成是一项生成任务，涉及对歌唱模型的多维控制，包括歌词，音高和持续时间，并包括歌手的音色和歌唱技巧，如颤音。在本文中，我们提出了SU-网络的歌唱声音合成命名为SUSing。歌唱声音的合成被视为歌词和乐谱与频谱之间的翻译任务。歌词和乐谱信息通过卷积层被编码成二维特征表示。二维特征及其频谱通过SU网网络以自回归方式映射到目标频谱。在SU-网络中，用条带池化方法代替交替全局池化方法来学习频谱中的垂直频率关系和时域中的频率变化。在公共数据集Kiritan上的实验结果表明，该方法能够合成出更自然的歌声。
2022-05-24 cs.SD eess.AS
Singing Voice Synthesis Based on a Musical Note Position-Aware Attention Mechanism
Nagoya Institute of Technology（名古屋工业大学）
本文提出了一种新的序列到序列（seq 2seq）模型与音符位置感知注意机制的歌唱声音合成（SVS）。seq 2seq建模方法，可以同时执行声学和时间建模是有吸引力的。然而，由于唱歌的声音的时间建模的困难，许多最近的SVS系统与编码器-解码器为基础的模型仍然依赖于明确的持续时间信息产生的额外的模块。虽然一些研究使用具有注意力机制的seq 2seq模型进行同步建模，但它们对时间建模的鲁棒性不足。所提出的注意力机制被设计为通过考虑乐谱所给出的节奏来估计注意力权重。此外，还介绍了几种技术，以提高歌唱声音的建模性能。实验结果表明，该模型是有效的自然性和鲁棒性的定时。
2023-03-14 cs.LG cs.SD eess.AS
Sinsy: A Deep Neural Network-Based Singing Voice Synthesis System
Nagoya Institute of Technology（名古屋工业大学）
Sinsy是一个基于深度神经网络（DNN）的歌唱声音合成（SVS）系统。近年来，DNN已被用于统计参数SVS系统中，基于DNN的SVS系统已表现出比传统的基于隐马尔可夫模型的系统更好的性能。SVS系统需要合成具有严格遵循给定乐谱的音高和定时的歌唱声音。此外，乐谱上没有描述的歌唱表达，如颤音和定时波动，应该再现。该系统由四个模块组成：一个时滞模型，持续时间模型，声学模型，和声码器，和歌唱的声音可以合成考虑到这些特点的歌唱声音。为了更好地模拟歌唱的声音，所提出的系统采用了改进的方法来建模音高和颤音和更好的训练标准到声学模型。此外，我们将PeriodNet（一种对音高具有鲁棒性的非自回归神经声码器）纳入我们的系统中，以生成高保真的歌声波形。此外，我们提出了基于DNN的SVS的自动音高校正技术，即使训练数据有走调的短语，也可以合成具有正确音高的歌声。实验结果表明，我们的系统可以合成一个更好的时机，更自然的颤音，正确的音高，它可以在主观评价测试中取得更好的平均意见分数的歌声。
2021-08-05 cs.CL cs.LG cs.SD
KaraSinger: Score-Free Singing Voice Synthesis with VQ-VAE using Mel-spectrograms
Earth Species Project（地球物种项目）
在本文中，我们提出了一种新的神经网络模型称为KaraSinger为一个较少研究的歌唱声音合成（SVS）任务命名为无分数SVS，其中的韵律和旋律是由机器自发决定。KaraSinger包括一个矢量量化变分自动编码器（VQ-VAE），它将歌唱音频的Mel频谱图压缩为离散代码序列，以及一个语言模型（LM），它学习预测相应歌词的离散代码。对于VQ-VAE部分，我们采用了连接主义时间分类（CTC）损失，以鼓励离散代码携带音素相关的信息。对于LM部分，我们使用位置敏感的注意力来学习输入音素序列和输出离散代码之间的鲁棒对齐。我们保持了VQ-VAE和LM的轻量级架构，以实现快速训练和推理速度。我们验证了建议的设计选择的有效性，使用多个业余歌手演唱的550首英文流行歌曲的专有集合。听力测试结果表明，卡拉歌手在可懂度、音乐性和整体质量方面都取得了很高的成绩。
2021-10-08 cs.LG cs.SD eess.AS
Learning Singing From Speech
Tencent AI Lab（腾讯人工智能实验室）
我们提出了一种算法，能够合成高质量的目标说话人的歌声只给他们的正常语音样本。该算法首先将语音和歌唱合成集成到一个统一的框架中，并学习语音和歌唱合成任务之间可共享的通用说话人嵌入。具体地，经由语音合成目标从正常语音学习的说话者嵌入与经由统一训练框架中的歌唱合成目标从歌唱样本学习的说话者嵌入共享。这使得学习的说话者嵌入一个可转移的表示，用于说话和唱歌。我们评估所提出的算法上唱歌的声音转换任务，其中原始的歌唱内容是覆盖的音色，另一个扬声器的声音纯粹从他们的正常语音样本。我们的实验表明，该算法产生高品质的歌声，听起来非常相似的目标说话人的声音，只有他或她的正常语音样本。我们相信，该算法将为更广泛的用户和应用开辟新的机会，歌唱合成和转换。
2019-12-20 cs.CL cs.SD eess.AS
CSSinger: End-to-End Chunkwise Streaming Singing Voice Synthesis System Based on Conditional Variational Autoencoder
针对传统歌声合成的延迟问题，提出基于条件变分自编码器的端到端分块流式系统CSSinger，首次用VAE隐表示实现流式音频合成，在两类任务中均实现高表现力与高音准的合成效果。
2024-12-13 eess.AS
Latent Space Explorations of Singing Voice Synthesis using DDSP
Aalborg University Copenhagen（奥尔堡大学哥本哈根校区）
基于机器学习的歌声模型需要大量的数据集和漫长的训练时间。在这项工作中，我们提出了一个轻量级的架构，基于差分数字信号处理（DDSP）库，能够输出类似歌曲的话语条件下，只有音高和幅度，经过12个小时的训练，使用小数据集的未处理的音频。结果是有希望的，因为旋律和歌手的声音都是可识别的。此外，我们提出了两个零配置工具，训练新的模型和实验。目前，我们正在探索潜在的空间表示，这是包括在DDSP库，但不是在原来的DDSP的例子。我们的研究结果表明，潜在空间提高了歌手的识别以及歌词的理解。我们的代码可以在https://github.com/juanalonso/DDSP-singing-experiments上找到，其中包含零配置笔记本的链接，我们的声音示例可以在https://juanalonso.github.io/DDSP-singing-experiments/上找到。
2021-03-12 cs.LG cs.MM cs.SD
Mitigating Latent Mismatch in cVAE-Based Singing Voice Synthesis via Flow Matching
本文提出FM-Singer框架，通过在潜在空间中学习连续向量场来减少训练与推理时的潜在不匹配，提升合成语音的表达性与质量。
2026-03-13 cs.AI cs.SD eess.AS
Rapping-Singing Voice Synthesis based on Phoneme-level Prosody Control
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务）
本文介绍了一个文本到说唱/唱歌系统，它可以适应任何说话人的声音。它利用了一个基于Tacotron的多扬声器声学模型训练的只读语音数据，并提供在音素级的韵律控制。基于传统的DSP算法的数据集增强和额外的韵律操纵也进行了研究。神经TTS模型被微调到一个看不见的扬声器的有限录音，允许说唱/唱歌与目标的扬声器的声音合成。该系统的详细流水线进行了描述，其中包括提取的目标音高和持续时间值从一个无伴奏合唱歌曲和它们的转换成目标扬声器的有效范围的音符合成之前。通过WSOLA输出的韵律操纵的一个额外的阶段也被调查，以更好地匹配目标持续时间值。合成的话语可以与乐器伴奏音轨混合以产生完整的歌曲。所提出的系统进行评估，通过主观听力测试，以及在一个可用的替代系统，其目的也是从只读训练数据产生合成歌声比较。实验结果表明，该方法可以产生高质量的说唱/唱歌的声音与增加的自然度。
2021-11-17 cs.CL cs.LG cs.SD
Real-Time and Accurate: Zero-shot High-Fidelity Singing Voice Conversion with Multi-Condition Flow Synthesis
针对歌声转换中潜在变量提取困难和处理效率低的问题，提出 RASVC 流模型，结合多解耦特征约束、潜在属性编码器与 MS-iSTFT，实现零样本高保真且快速的歌声转换。
2024-09-09 eess.AS
VISinger: Variational Inference with Adversarial Learning for End-to-End Singing Voice Synthesis
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
在本文中，我们提出了VISinger，一个完整的端到端的高品质歌唱声音合成（SVS）系统，直接从歌词和乐谱生成音频波形。我们的方法受到VITS的启发，采用基于VAE的后验编码器与基于归一化流的先验编码器和对抗解码器相结合，实现了完整的端到端语音生成。VISinger遵循了VITS的主要架构，但根据歌唱的特点对现有的编码器进行了实质性的改进。首先，我们引入了长度调节器和帧先验网络来获得声学特征的帧级均值和方差，而不是使用声学特征的音素级均值和方差，从而模拟了歌唱中丰富的声学变化。其次，我们进一步引入F0预测器来指导帧先验网络，从而使演唱性能更稳定。最后，为了改善歌唱节奏，我们修改了持续时间预测器，以具体预测音素音符持续时间比，帮助歌唱音符归一化。在一个专业的普通话歌唱语料库上的实验表明，VISinger的性能明显优于FastSpeech+Neural-Vocoder两阶段方法和Oracle VITS;消融研究证明了不同贡献的有效性。
2022-02-24 cs.SD eess.AS
A Framework for Multi-f0 Modeling in SATB Choir Recordings
Universitat Pompeu Fabra（庞培法布拉大学）；Joint Research Centre (EC)（欧盟委员会联合研究中心）
基频（f0）建模是一个重要的，但相对未开发的合唱团演唱方面。歌唱的性能评估以及听觉分析，无论是个人还是合唱团，通常都依赖于提取歌唱声音的f0轮廓。然而，由于大量的歌手，在类似的频率范围内唱歌，从合唱团录音中提取精确的个人音高轮廓是一项具有挑战性的任务。在本文中，我们解决这一问题，并制定了一个方法来模拟音高轮廓的SATB合唱团录音。一个典型的SATB合唱团由四个部分组成，每个部分涵盖不同的音高范围，通常每个部分有多个歌手。我们首先评估一些国家的最先进的多f0估计系统的特定情况下，合唱团与一个单一的歌手每部分，并观察到，个别歌手的音高可以估计到一个相对较高的准确度。然而，我们观察到，每个合唱团部分（即齐声演唱）的多名歌手的情况更具挑战性。在这项工作中，我们提出了一种方法，该方法基于结合基于深度学习的多f0估计方法，然后采用一组传统的DSP技术来建模f0及其分散，而不是每个合唱团部分的单个f0轨迹。我们提出并讨论了我们的意见和测试我们的框架与不同的歌手配置。
2019-04-10 cs.LG cs.MM cs.SD
Semi-supervised Learning for Singing Synthesis Timbre
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）
我们提出了一个半监督的歌唱合成器，它能够学习新的声音，从音频数据，没有任何注释，如语音分割。我们的系统是一个编码器解码器模型，有两个编码器，语言和声学，和一个（声学）解码器。在第一步中，使用标记的多歌手数据集以监督的方式训练系统。在这里，我们确保两个编码器产生的嵌入是相似的，这样我们以后就可以使用具有声学或语言输入特征的模型。为了以无监督的方式学习新的语音，使用预训练的声学编码器来训练目标歌手的解码器。最后，在推理时，预先训练的语言编码器与新语音的解码器一起使用，以从语言输入中产生声学特征。我们评估我们的系统与听力测试，并表明，结果是相当的监督的方法所获得的。
2020-11-05 cs.LG cs.SD eess.AS
VISinger2+: End-to-End Singing Voice Synthesis Augmented by Self-Supervised Learning Representation
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）
针对歌声合成中标记数据稀缺的问题，本文在VISinger2框架中整合预训练自监督模型的频谱特征，利用未标记数据增强合成质量，实验证明该方法在客观和主观指标上均有效提升歌声质量。
2024-12-14 cs.SD eess.AS
Adversarially Trained End-to-end Korean Singing Voice Synthesis System
Seoul National University（首尔大学）
在本文中，我们提出了一个端到端的韩语歌唱声音合成系统，从歌词和一个象征性的旋律使用以下三种新的方法：1）语音增强掩蔽，2）本地条件的文本和音高的超分辨率网络，和3）条件对抗训练。所提出的系统由两个主要模块组成;从给定的输入信息生成梅尔频谱图的梅尔合成网络，以及将生成的梅尔频谱图上采样为线性频谱图的超分辨率网络。在mel合成网络中，语音增强掩蔽被应用于仅从输入文本生成隐式共振峰掩码，这使得能够更准确地对歌声进行语音控制。此外，我们还发现，另外两种方法-文本和音高的局部调节和有条件对抗训练-对于在超分辨率过程中真实生成人类歌声至关重要。最后，进行定量和定性评价，确认所有提出的方法的有效性。
2019-08-06 cs.SD eess.AS
XiaoiceSing: A High-Quality and Integrated Singing Voice Synthesis System
Xiaoice, Microsoft Software Technology Center Asia（微软亚洲软件技术中心小冰）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了一个高质量的歌唱声音合成系统，它采用了一个集成的网络的频谱，F0和持续时间建模。我们遵循FastSpeech的主要架构，同时提出了一些特定于唱歌的设计：1）除了音素ID和位置编码，还增加了乐谱特征（例如音符音高和长度）。2)为了减少走调问题，我们在F0预测中添加了残差连接。3)除了每个音素的持续时间损失之外，还将音符中所有音素的持续时间累积以计算用于节奏增强的音节持续时间损失。实验结果表明，XiaoceSing在音质、发音准确率和自然度方面分别比卷积神经网络基线系统高1.44 MOS、1.18 MOS和1.38 MOS。在两个A/B测试中，所提出的F0和持续时间建模方法分别获得了97.3%和84.3%的偏好率，这表明了XiaoceSing的压倒性优势。
2020-06-11 cs.CL cs.LG cs.SD
Generative Moment Matching Network-based Random Modulation Post-filter for DNN-based Singing Voice Synthesis and Neural Double-tracking
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
本文提出了一种基于生成矩匹配网络（GMMN）的后置滤波器，为基于深度神经网络（DNN）的歌唱声合成提供话语间音高变化。人类歌唱声音的自然音高变化带来了更丰富的音乐体验，并用于双声道，这是一种记录方法，其中同一乐句的两次表演被记录和混合，以创造更丰富，层次感更强的声音。然而，使用传统的基于DNN的方法合成的歌唱声音永远不会变化，因为合成过程是确定性的，并且从一个乐谱仅合成一个波形。为了解决这个问题，我们使用GMMN来模拟自然歌唱声音的音调轮廓的调制频谱的变化，并将随机话语间变化添加到由传统的基于DNN的歌唱声音合成生成的音调轮廓。实验结果表明，1）我们的方法可以提供可感知的话语间的音高变化，同时保持语音质量。我们将我们的方法扩展到双重跟踪，并且评估表明2）基于GMMN的神经双重跟踪比传统的基于信号处理的人工双重跟踪在感知上更接近自然双重跟踪。
2019-02-09 cs.AI cs.LG cs.MM
DeepSinger: Singing Voice Synthesis with Data Mined From the Web
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
在本文中，我们开发了DeepSinger，这是一个多语言多歌手歌唱声音合成（SVS）系统，它是使用从音乐网站挖掘的歌唱训练数据从头开始构建的。DeepSinger的流水线由几个步骤组成，包括数据抓取，歌唱和伴奏分离，歌词到歌唱对齐，数据过滤和歌唱建模。具体而言，我们设计了一个歌词到歌唱对齐模型，自动提取的歌词从粗粒度的句子级到细粒度的音素级的每个音素的持续时间，并进一步设计了一个多语言的多歌手演唱模型的基础上前馈Transformer直接生成线性声谱图的歌词，并使用Griffin-Lim合成语音。DeepSinger与以前的SVS系统相比有几个优点：1）据我们所知，这是第一个直接从音乐网站挖掘训练数据的SVS系统，2）歌词到演唱对齐模型进一步避免了任何人为的对齐标记，大大降低了标记成本，3）基于前馈Transformer的演唱模型简单高效，通过去除参数合成中复杂的声学特征建模，并利用参考编码器从嘈杂的歌唱数据中捕获歌唱者的音色，以及4）它可以合成多种语言和多个歌唱者的歌唱声音。我们在我们挖掘的歌唱数据集上评估DeepSinger，该数据集由来自89名歌手的三种语言（中文，粤语和英语）的约92小时数据组成。结果表明，使用纯粹从网络上挖掘的歌唱数据，DeepSinger可以在音高准确性和声音自然度方面合成高质量的歌唱声音（脚注：我们的音频样本显示在https：//speechresea…
2020-07-15 cs.CL cs.SD eess.AS
Singing Voice Synthesis Using Differentiable LPC and Glottal-Flow-Inspired Wavetables
Queen Mary University of London（伦敦玛丽女王大学）
本文提出GOLF方法，通过可微分DSP结合声门模型与IIR滤波器实现可解释且高效的歌声合成，在参数、内存和推理速度上优于现有声码器，并能建模人声相位分量。
2024-10-18 cs.SD eess.AS
Robust Singing Voice Transcription Serves Synthesis
Zhejiang University（浙江大学）
本文提出首个服务于歌唱语音合成的鲁棒自动转录模型ROSVOT，采用多尺度框架与基于注意力的音高解码器提升转录准确性与鲁棒性，实验证明其在真实场景中能生成更优的合成数据。
2024-06-03 cs.SD eess.AS
DNN-based ensemble singing voice synthesis with interactions between singers
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））；Meiji University（明治大学）
针对现有独唱歌声合成方法忽略歌手交互、拼接生成的合唱统一性不足的问题，提出一种基于多声部乐谱输入与交互模拟损失函数的DNN合唱SVS方法，有效提升了合唱的统一性。
2024-09-16 cs.SD eess.AS
WeSinger 2: Fully Parallel Singing Voice Synthesis via Multi-Singer Conditional Adversarial Training
Tencent Inc（腾讯公司）
本文旨在介绍一个强大的歌唱声音合成（SVS）系统，以产生非常自然和逼真的歌唱声音，有效地利用对抗训练策略。一方面，我们设计了简单而通用的随机区域条件判别器来帮助监督声学模型，有效地避免了过平滑的谱图预测，提高了SVS的表现力。另一方面，我们巧妙地将频谱图与帧级线性插值F0序列相结合，作为神经声码器的输入，然后在波形域中的多个对抗条件鉴别器和频域中的多尺度距离函数的帮助下进行优化。实验结果和消融研究的结论是，与我们以前的自回归工作相比，我们的新系统可以通过微调覆盖从几分钟到几个小时的不同歌唱数据集来有效地产生高质量的歌唱声音。大量不同音色的合成歌曲可在https://zzw922cn.github.io/wesinger2上找到，我们强烈建议读者去听。
2023-02-16 cs.SD eess.AS
A Preliminary Investigation on Flexible Singing Voice Synthesis Through Decomposed Framework with Inferrable Features
Nagoya University（名古屋大学）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）
本研究提出将歌声合成系统分解为语言、音高轮廓、合成三阶段的框架，从音频直接推断多种歌声特征，降低标注数据需求，提升跨语言、跨歌手适配及歌词补全灵活性，兼具达最优性能的潜力。
2024-07-12 cs.SD eess.AS
Everyone-Can-Sing: Zero-Shot Singing Voice Synthesis and Conversion with Speech Reference
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
提出统一框架，利用预训练内容嵌入和扩散生成器，通过语音参考实现零样本歌声合成与转换，提升音色相似性和音乐性。
2025-01-23 cs.SD eess.AS
VS-Singer: Vision-Guided Stereo Singing Voice Synthesis with Consistency Schrödinger Bridge
School of Computer Science（计算机科学学院）；Department of Electronic Engineering（电子工程系）；School of Cyber Security（网络安全学院）
VS-Singer提出视觉引导的立体歌声合成框架，利用模态交互与一致性薛定谔桥实现一步生成，首次统一立体歌声合成与视觉声学匹配。
2025-06-19 cs.SD eess.AS
StyleSinger: Style Transfer for Out-of-Domain Singing Voice Synthesis
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
提出首个零样本域外歌唱语音风格迁移模型StyleSinger，通过残差风格适配器和不确定性建模层归一化提升泛化能力，在音频质量和参考样本相似度上优于基线模型。
2025-05-30 cs.CL cs.SD eess.AS
N-Singer: A Non-Autoregressive Korean Singing Voice Synthesis System for Pronunciation Enhancement
NCSOFT（网石游戏公司）
最近，已经设计了端到端的韩语歌唱声音系统以生成逼真的歌唱声音。然而，这些系统在发音准确性方面仍然缺乏鲁棒性。在本文中，我们提出了N-Singer，一个非自回归的韩国歌声系统，合成准确和明显的韩国歌声并行。N-Singer由一个基于transformer的mel生成器、一个基于卷积网络的postnet和一个基于卷积感知的鉴别器组成。它可以通过以下方式作出贡献。首先，为了准确发音，N-Singer分别对语言和音高信息进行建模，而不使用其他声学特征。其次，为了实现改进的梅尔频谱图，N-Singer使用了基于transformer的模块和基于卷积网络的模块的组合。第三，在对抗性训练中，使用感知噪声的条件鉴别器来捕获有声段的谐波特征和无声段的噪声分量。实验结果表明，N-Singer可以合成一个自然的歌声并行与更准确的发音比基线模型。
2022-02-21 cs.SD eess.AS
PJS: phoneme-balanced Japanese singing voice corpus
Meiji University（明治大学）；The University of Tokyo（东京大学）
本文介绍了一个免费的日语歌唱声语料库，可用于高适用性和可重复性的歌唱声合成研究。歌唱语音语料库有助于发展歌唱语音合成，但现有的语料库有两个关键问题：数据不平衡（歌唱语音语料库不保证音素平衡，不像说话语音语料库）和版权问题（不能合法共享数据）。为了避免这些问题，我们构建了一个PJS（音素平衡的日本歌唱声）语料库，保证音素平衡，并与CC BY-SA 4.0许可，我们组成的旋律使用音素平衡的说话声语料库。本文介绍了我们如何建立语料库。
2020-06-04 cs.SD eess.AS
PerformSinger: Multimodal Singing Voice Synthesis Leveraging Synchronized Lip Cues from Singing Performance Videos
Xiamen University（厦门大学）；University of Science and Technology Beijing（北京科技大学）；National University of Singapore（新加坡国立大学）
本文提出多模态 PerformSinger 框架，引入演唱视频中的同步唇部线索实现无显式时长的高质量歌声合成，并构建同步视频与音素标注数据集，主客观实验均达到 SOTA。
2025-09-24 cs.MM cs.SD eess.AS
Parametric Representation for Singing Voice Synthesis: a Comparative Evaluation
UMONS（蒙斯大学）；Acapela Group（Acapela集团）
已经提出了各种参数表示来对语音信号进行建模。虽然这样的声码器的性能在语音处理的上下文中是众所周知的，但是它们外推到歌唱声音合成可能不是简单的。本文的目的是双重的。首先，在四个现有的技术进行比较主观评价适合统计参数合成：传统的脉冲声码器，确定性加随机模型，谐波加噪声模型和GlottHMM。这些技术的行为作为一个功能的歌手类型（男中音，反男高音和女高音）进行了研究。其次，对高音语音中出现的伪影进行了讨论，并提出了克服伪影的可能方法。
2020-06-07 cs.CL cs.SD eess.AS
Mandarin Singing Voice Synthesis with Denoising Diffusion Probabilistic Wasserstein GAN
National Tsing Hua University（国立清华大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
歌唱声音合成（SVS）是计算机从给定的乐谱中产生类似人类的歌唱声音。为了有效地实现端到端的SVS，本文采用了为高质量语音和歌唱声合成而建立的声学模型-神经声码器结构。具体来说，这项工作的目的是追求更高水平的表现力，在合成的声音，结合扩散去噪概率模型（DDPM）和\emph{Wasserstein}生成对抗网络（WGAN）构建的声学模型的骨干。在所提出的声学模型之上，采用具有集成微调的HiFi-GAN神经声码器，以确保最终的端到端SVS系统的最佳合成质量。这个端到端的系统进行了评估与多歌手Mpop 600普通话唱歌的声音数据集。在实验中，所提出的系统表现出的音乐表现力和高频声学细节方面比以前的地标同行的改进。此外，对抗性声学模型稳定收敛，而无需强制执行重建目标，表明所提出的DDPM和WGAN组合架构的收敛稳定性优于基于GAN的SVS系统。
2022-09-21 cs.SD eess.AS eess.SP
WeSinger: Data-augmented Singing Voice Synthesis with Auxiliary Losses
Tencent Inc（腾讯公司）
在本文中，我们开发了一个新的多歌手中文神经歌唱声合成（SVS）系统命名为WeSinger。为了提高歌唱声合成的准确性和自然度，我们设计了几个具体的模块和技术：1）基于深度双向LSTM的多尺度节奏损失和后处理的时长模型; 2）具有渐进音高加权解码器损失的类transformer声学模型; 3）24 kHz音高感知LPCNet神经声码器，以产生高质量的歌唱波形; 4）提出了一种新的数据增强方法，该方法采用多歌手预训练，增强了鲁棒性和自然度。据我们所知，WeSinger是第一个同时采用24 kHz LPCNet和多歌手预训练的SVS系统。定量和定性的评价结果均证明了WeSinger在准确性和自然度方面的有效性，WeSinger在最近公开的中文歌唱语料库Opencpop \footnote{https://wenet.org.cn/opencpop/}上的表现达到了最先进的水平。一些合成的歌唱样本可以在\footnote{https://zzw922cn.github.io/wesinger/}上找到。
2022-06-25 cs.CL cs.SD eess.AS
HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis
Microsoft STC Asia（微软亚洲软件技术中心）；Microsoft Research Asia（微软亚洲研究院）
高保真歌声通常需要更高的采样率（例如，48kHz）来传达表情和情感。然而，更高的采样率导致更宽的频段和更长的波形序列，这给歌唱声合成（SVS）在频域和时域上都带来了挑战。采用小采样率的传统SVS系统不能很好地解决上述挑战。在本文中，我们开发了HiFiSinger，一个面向高保真歌唱声音的SVS系统。HiFiSinger由基于FastSpeech的声学模型和基于并行WaveGAN的声码器组成，以确保快速训练和推理以及高语音质量。针对高采样率（宽频段、长波形）给歌唱建模带来的困难，在声学模型和声码器中引入多尺度对抗训练，提高歌唱建模的效果。具体而言，1）为了处理由更高采样率引起的更大频率范围，我们提出了一种新的子频率GAN（SF-GAN）梅尔频谱图生成，其将完整的80维梅尔频率划分为多个子带，并用单独的子带对每个子带进行建模。2)针对采样率较高导致的波形序列较长的问题，提出了一种多长度GAN（ML-GAN GAN）的波形生成方法，利用不同的鉴别器对不同长度的波形序列进行建模。3)我们还介绍了HiFiSinger中的几个额外的设计和发现，这些设计和发现对于高保真语音至关重要，例如添加F0（音高）和V/UV（浊音/清音标志）作为声学特征，为梅尔频谱图选择合适的窗口/跳数大小，以及增加声码器中长元音建模的感受野。实验结果表明，HiFiSinger合成高保真歌唱声，具有更高的质量：0.32/0…
2020-09-03 cs.CL cs.LG cs.SD
Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt
Zhejiang University（浙江大学）
本文提出 Prompt-Singer，通过自然语言提示实现歌声性别、音域和音量控制，并利用多尺度 decoder-only transformer 与音高解耦表示兼顾控制能力、旋律准确性和音频质量。
2025-01-06 cs.AI cs.LG cs.SD
Synthetic Singers: A Review of Deep-Learning-based Singing Voice Synthesis Approaches
Zhejiang University（浙江大学）
本文综述了基于深度学习的歌唱语音合成方法，系统分析了其任务分类、架构范式及核心技术，并提供了相关数据集和评估基准。
2026-01-20 cs.SD eess.AS
MR-SVS: Singing Voice Synthesis with Multi-Reference Encoder
Zhejiang University（浙江大学）
多说话人歌唱声合成是指生成由不同说话人演唱的歌唱声。为了推广到新的扬声器，以前的zero-shot歌唱自适应方法从单个参考音频中以固定大小的嵌入获得目标扬声器的音色。然而，它们面临着几个挑战：1）固定大小的说话人嵌入不足以捕获目标音色的全部细节; 2）单个参考音频不包含目标说话人的足够音色信息; 3）不同说话人之间的音高不一致也导致生成的语音的降级。在本文中，我们提出了一个新的模型称为MR-SVS来解决这些问题。具体来说，我们采用多参考编码器和固定大小的编码器来编码来自多个参考音频的目标扬声器的音色。多参考编码器可以捕捉目标音色的更多细节和变化。此外，我们提出了一个设计良好的音高偏移方法来解决音高不一致的问题。实验结果表明，该方法在自然度和相似度上都优于基线方法。
2022-01-11 cs.SD eess.AS
