Singing voice phoneme segmentation by hierarchically inferring syllable and phoneme onset positions
Universitat Pompeu Fabra(庞培法布拉大学)
在本文中,我们解决了歌唱语音音素分割问题,在歌唱训练的情况下,通过使用语言无关的信息-开始和事先的粗持续时间。我们提出了一个两步法。在第一步中,我们使用卷积神经网络(CNN)联合计算音节和音素起始检测函数(ODF)。在第二步中,音节和音素的边界和标签推断层次通过使用持续时间通知隐马尔可夫模型(HMM)。为了实现推理,我们将先验的持续时间模型作为转移概率和ODF作为发射概率到HMM中。所提出的方法被设计在一个独立的语言的方式,使没有音素类标签使用。对于模型训练和算法评估,我们收集了一个新的京剧(也称为北京或京剧)独唱语音数据集,并在短语,音节和音素级别手动注释边界和标签。数据集是公开的。所提出的方法进行了比较,基于隐半马尔可夫模型(HSMM)的强制对齐的基线方法。评估结果表明,该方法优于基线的分割和发病检测任务的大幅度提高。
2018-06-05 cs.IR cs.SD eess.AS
Singing voice synthesis based on frame-level sequence-to-sequence models considering vocal timing deviation
Nagoya Institute of Technology(名古屋工业大学)
本文提出了一种基于帧级序列到序列模型的歌唱声合成方法。在SVS中,考虑到实际发声时间和音符开始时间之间存在差异,必须使歌唱时间与由乐谱表示的时间结构同步。在许多SVS系统,包括我们以前的工作,音素级的分数功能转换成帧级的基础上获得的音素边界的外部对准器,以考虑到声乐定时偏差。因此,在该系统中,声音质量受到对准器精度的影响。为了缓解这个问题,我们引入了一个帧级功能的注意力机制。在所提出的系统中,注意机制吸收音素边界的对齐错误。此外,我们评估的系统与伪音素边界定义的启发式规则的基础上的乐谱时,没有对齐。实验结果表明了该系统的有效性。
2023-02-22 cs.LG cs.SD eess.AS
An Empirical Study on End-to-End Singing Voice Synthesis with Encoder-Decoder Architectures
Beijing Language and Culture University(北京语言大学);Soochow University(苏州大学);Beijing Forestry University(北京林业大学);the University of Auckland(奥克兰大学)
随着神经网络体系结构和语音处理模型的迅速发展,基于神经网络的歌唱声合成技术正成为数字音乐制作的前沿技术。本工作为了探索如何提高歌唱声合成的质量和效率,采用编解码器神经模型和多个声码器来实现歌唱声合成。我们进行了实验,以证明该模型可以使用语音数据与音高信息,歌词和节拍信息进行训练,训练后的模型可以产生平滑,清晰和自然的歌声,接近真实的人的声音。由于这些模型以端到端的方式工作,它们允许非领域专家的用户通过安排音高、歌词和节拍直接产生歌声。
2021-08-06 cs.LG cs.SD eess.AS
Fast and High-Quality Singing Voice Synthesis System based on Convolutional Neural Networks
Techno-Speech, Inc.(Techno-Speech公司);Nagoya Institute of Technology(名古屋工业大学)
本文描述了基于卷积神经网络(CNN)的歌唱声合成。目前正在提出基于深度神经网络(DNN)的歌唱声音合成系统,并且正在提高合成歌唱声音的自然度。由于歌唱声音代表了丰富的表达形式,因此需要一种强大的技术来准确地对其进行建模。在所提出的技术中,歌唱声音的长期依赖性由CNN建模。该方法针对由长时帧组成的每一个分段生成一个声学特征序列,无需参数生成算法即可获得自然的运动轨迹。此外,提出了一种降低计算复杂度的技术,该技术根据乐谱特征的类型在不同的时间单元中驱动DNN。实验结果表明,该方法能比传统方法更快地合成出自然的歌唱声。
2020-04-22 cs.LG cs.SD eess.AS
A Melody-Unsupervision Model for Singing Voice Synthesis
KAIST(韩国科学技术院)
最近在歌唱声音合成方面的研究已经取得了高质量的结果,这些结果利用了基于深度神经网络的文本到语音模型的进步。训练歌唱声音合成模型的主要问题之一是它们需要旋律和歌词标签与音频数据在时间上对齐。在准备训练数据时,时间对齐是一项耗时的手动工作。为了解决这个问题,我们提出了一个旋律无监督模型,只需要在训练时间没有时间对齐的音频和歌词对,但在推理时间给定的旋律和歌词输入生成歌声音频。该模型由一个音素分类器和一个歌唱声发生器组成,以端到端的方式联合训练。该模型可以通过调整时间对齐的旋律标签的监督量来微调。通过在旋律无监督和半监督环境下的实验,比较了合成歌唱声的音频质量。我们还表明,该模型能够用语音音频和文本标签进行训练,但可以在推理时间内生成歌声。
2022-04-14 cs.LG cs.SD eess.AS
ConSinger: Efficient High-Fidelity Singing Voice Generation with Minimal Steps
Beijing University of Technology(北京工业大学)
针对扩散模型歌声合成推理速度慢的问题,提出基于一致性模型的ConSinger方法,通过应用一致性约束,在牺牲少量推理速度下大幅提升生成质量,以最少步数实现高保真歌声合成,在速度与质量上均具竞争力。
2025-03-07 cs.LG cs.SD eess.AS
BiSinger: Bilingual Singing Voice Synthesis
Wuhan University(武汉大学);Duke Kunshan University(昆山杜克大学)
本文提出双语歌声合成系统 BiSinger,通过 CMU 词典与映射规则构建中英共享表示,融合单语歌声数据集与歌声转换技术,使单一模型在英语和语码切换 SVS 上性能提升且保持中文表现。
2024-01-09 cs.LG cs.SD eess.AS
A cappella: Audio-visual Singing Voice Separation
在音乐视频中分离目标歌唱声音的任务具有有用的应用。在这项工作中,我们探讨了单通道歌唱声音分离问题,从多模态的角度来看,从音频和视觉形态共同学习。为此,我们提出了Acappella,这是一个来自YouTube的约46小时的无伴奏合唱独唱视频数据集。我们还提出了一个基于图的视听卷积网络,它在我们的数据集上实现了最先进的歌声分离结果,并将其与纯音频对应物U-Net和最先进的视听语音分离模型进行了比较。我们在以下具有挑战性的设置中评估模型:i)音频混合中存在重叠的声音,ii)混合中目标声音设置为较低的音量水平,iii)i)和ii)的组合。第三个是最具挑战性的评估设置。我们证明,我们的模型优于基线模型在歌唱的声音分离任务中最具挑战性的评估设置。代码、预训练模型和数据集可在www.example.com上公开获取,网址为https://ipcv.github.io/Acappella/
2021-10-18 cs.LG cs.SD eess.AS
JVS-MuSiC: Japanese multispeaker singing-voice corpus
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
由于机器学习技术的发展,合成单个歌手的高质量歌声已经成为可能。开放的多说话人歌唱语音语料库将进一步促进歌唱语音合成的研究。然而,传统的歌唱声音语料库只包括单个歌手的歌唱声音。我们设计了一个日本多说话人唱歌的声音语料库称为“JVS-MuSiC”的目的是分析和合成各种声音。该语料库由100名歌手录制的同一首歌曲Katatsumuri组成,这是一首日本儿童歌曲。它还包括另一首歌,这是不同的每个歌手。在本文中,我们描述了语料库的设计和实验分析使用JVS-MuSiC。本文探讨了歌唱声音的相似性与合唱声音知觉统一性的关系以及歌唱声音与语音相似性的关系。结果表明:(1)歌唱声相似度与一致性之间存在中等程度的正相关;(2)歌唱声相似度与语音相似度之间的相关性较弱。该语料库可在网上免费获取。
2020-01-20 cs.SD eess.AS
MedleyVox: An Evaluation Dataset for Multiple Singing Voices Separation
Gaudio Lab, Inc.(Gaudio实验室公司)
针对多人声分离研究缺乏基准数据集的问题,本文发布了MedleyVox评估数据集并定义四类分离任务,提出利用单人声数据集构建训练混合数据的策略和改进型超分辨率网络iSRNet,在该数据集子集上取得了与理想时频掩膜相当的分离性能。
2023-05-04 cs.LG cs.SD eess.AS
SingAug: Data Augmentation for Singing Voice Synthesis with Cycle-consistent Training Strategy
Renmin University of China(中国人民大学);Carnegie Mellon University(卡内基梅隆大学)
与传统的基于统计参数的方法相比,基于深度学习的歌唱声音合成(SVS)系统已被证明可以灵活地生成质量更好的歌唱。然而,神经系统通常是数据饥渴的,并且难以在有限的公共可用训练数据的情况下达到合理的歌唱质量。在这项工作中,我们探索了不同的数据增强方法来提高SVS系统的训练,包括基于音高增强和混合增强为SVS定制的几种策略。为了进一步稳定训练,我们引入了周期一致的训练策略。在两个公共歌唱数据库上的实验表明,我们提出的增强方法和稳定训练策略可以显着提高客观和主观评价的性能。
2022-07-06 cs.LG cs.SD eess.AS
Rapping-Singing Voice Synthesis based on Phoneme-level Prosody Control
Innoetics, Samsung Electronics(三星电子 Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信业务)
本文介绍了一个文本到说唱/唱歌系统,它可以适应任何说话人的声音。它利用了一个基于Tacotron的多扬声器声学模型训练的只读语音数据,并提供在音素级的韵律控制。基于传统的DSP算法的数据集增强和额外的韵律操纵也进行了研究。神经TTS模型被微调到一个看不见的扬声器的有限录音,允许说唱/唱歌与目标的扬声器的声音合成。该系统的详细流水线进行了描述,其中包括提取的目标音高和持续时间值从一个无伴奏合唱歌曲和它们的转换成目标扬声器的有效范围的音符合成之前。通过WSOLA输出的韵律操纵的一个额外的阶段也被调查,以更好地匹配目标持续时间值。合成的话语可以与乐器伴奏音轨混合以产生完整的歌曲。所提出的系统进行评估,通过主观听力测试,以及在一个可用的替代系统,其目的也是从只读训练数据产生合成歌声比较。实验结果表明,该方法可以产生高质量的说唱/唱歌的声音与增加的自然度。
2021-11-17 cs.CL cs.LG cs.SD
Sequence-to-sequence Singing Voice Synthesis with Perceptual Entropy Loss
Johns Hopkins University(约翰霍普金斯大学);Renmin University of China(中国人民大学)
基于神经网络(NN)的歌唱声合成(SVS)系统需要足够的数据来进行良好的训练,并且由于数据稀缺而易于过拟合。然而,我们经常遇到的数据限制问题,在建立SVS系统,因为高数据采集和注释成本。在这项工作中,我们提出了一个感知熵(PE)损失来自心理声学听力模型来正则化网络。通过一个一小时的开源歌声数据库,我们探索了PE损失对各种主流序列到序列模型的影响,包括基于RNN的模型,基于transformer的模型和基于conformer的模型。实验结果表明,PE损失可以缓解过拟合问题,并显着提高客观和主观评价中反映的合成歌唱质量。
2021-02-26 cs.LG cs.SD eess.AS
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University(复旦大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);National Institute of Informatics(国立信息学研究所)
歌声检测(SVD)是音乐信息检索(MIR)中的一项重要任务,用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起,特别是对于一些复杂的复调音乐,如合唱音乐录音,这项任务仍然具有挑战性。为了解决这个问题,我们研究歌声检测,同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤:i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性,使用长期递归卷积网络(LRCN)来学习成分特征。此外,为了消除离群值,我们选择使用中值滤波器进行时域平滑。实验结果表明,该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
Singing Voice Synthesis Using Deep Autoregressive Neural Networks for Acoustic Modeling
University of Science and Technology of China(中国科学技术大学)
本文提出了一种用自回归神经网络进行歌唱声合成声学建模的方法。歌声不同于语音,它包含更多的声学特征的局部动态运动,例如,振动器因此,我们的方法采用深度自回归(DAR)模型来预测的F0和频谱特征的歌声,以更好地描述连续帧的声学特征之间的依赖关系。F0建模采用离散化的F0值,并通过实验分析了DAR中历史长度的影响。还设计了一种F0后处理策略,以减轻预测的F0轮廓和由音符确定的F0值之间的不一致性。此外,我们扩展了DAR模型来处理连续谱特征,并引入了一个具有自注意层的预网模块来处理历史帧。在一个中文歌唱声语料库上的实验表明,该方法能有效地产生带有振动的F0轮廓,并且比传统的递归神经网络(RNNs)方法具有更好的客观和主观性能。
2019-06-21 cs.LG cs.SD eess.AS
Controllable Singing Voice Synthesis using Phoneme-Level Energy Sequence
Department of Artificial Intelligence, Korea University(人工智能学院,韩国大学)
本研究提出一种基于音素级能量序列的可控歌唱语音合成方法,通过显式条件化能量序列实现动态控制,显著降低能量误差且不损质量。
2025-09-08 cs.AI cs.SD eess.AS
Controllable and Interpretable Singing Voice Decomposition via Assem-VC
MINDsLab Inc.(MINDsLab公司);Seoul National University(首尔大学)
我们提出了一个歌唱分解系统,编码时间对齐的语言内容,音高,和源扬声器身份通过汇编VC。利用分解后的非特定人信息和目标说话人的信息嵌入,合成目标说话人的歌声。总之,我们用用户的歌声和目标歌手的转换后的歌声制作了一个完美同步的二重唱。
2021-10-25 cs.SD eess.AS
Toward Leveraging Pre-Trained Self-Supervised Frontends for Automatic Singing Voice Understanding Tasks: Three Case Studies
University of Tsukuba(筑波大学)
本文通过三项案例研究,验证了预训练自监督模型在歌手识别、歌声转录和歌唱技巧分类等自动歌声理解任务中的有效性,其性能可与最先进方法媲美甚至超越。
2023-09-05 cs.LG cs.SD eess.AS
NNSVS: A Neural Network-Based Singing Voice Synthesis Toolkit
LINE Corp.(LINE公司);Nagoya University(名古屋大学)
介绍了一个用于基于神经网络的歌唱声音合成研究的开源软件NNSVS的设计。NNSVS的灵感来自歌唱声音合成研究的开源先驱Sinsy,并提供了许多额外的功能,如多流模型,自回归基频模型和神经声码器。此外,NNSVS提供了大量的文档和大量的脚本来构建完整的歌唱声音合成系统。实验结果表明,我们最好的系统显着优于我们的再现Sinsy和其他基线系统。该工具包可在https://github.com/nnsvs/nnsvs上查阅。
2023-03-01 cs.LG cs.SD eess.AS
Singing-Tacotron: Global duration control attention and dynamic filter for End-to-end singing voice synthesis
NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所自然语言处理实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
端到端的歌唱声合成(SVS)是有吸引力的,由于避免了预对齐的数据。然而,自动学习的歌声与歌词的对齐很难匹配乐谱中的持续时间信息,这将导致模型不稳定,甚至无法合成声音。为了自动学习准确的对齐信息,本文提出了一个端到端的SVS框架,命名为Singing-Tacotron。所提出的框架和Tacotron之间的主要区别是,语音可以控制乐谱的持续时间信息显着。首先,我们提出了一个全局的持续时间控制注意力机制的SVS模型。注意力机制可以控制每个音素的持续时间。其次,提出了一个持续时间编码器,从乐谱中学习一组全局过渡标记。这些转换标记可以帮助注意力机制决定是移动到下一个音素还是停留在每个解码步骤。第三,为了进一步提高模型的稳定性,设计了一个动态滤波器来帮助模型克服噪声干扰,更加关注局部上下文信息。主、客观评价结果验证了该方法的有效性。此外,全球过渡令牌的作用和持续时间控制的效果进行了探讨。实验的例子可以在https://hairuo55.github.io/SingingTacotron上找到。
2022-02-16 cs.LG cs.SD eess.AS
Karaoker: Alignment-free singing voice synthesis with speech training data
Innoetics, Samsung Electronics(三星电子Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信事业部)
现有的歌唱声音合成模型(SVS)通常是在歌唱数据上训练的,并且依赖于容易出错的时间对齐和持续时间特征或明确的乐谱信息。在本文中,我们提出了Karaoker,一个多扬声器Tacotron为基础的模型条件的语音特征,专门训练口语数据,而不需要时间对齐。Karaoker根据从看不见的歌手/扬声器的源波形中提取的多维模板合成歌声并传递风格。该模型与单个深度卷积编码器联合调节连续数据,包括音高,强度,谐波,共振峰,倒谱峰值突出和八度。我们通过特征重建、分类和说话人识别任务扩展了文本到语音的训练目标,这些任务可以指导模型获得准确的结果。除了多任务处理之外,我们还采用了Wasserstein GAN训练方案以及声学模型输出的新损失,以进一步改进模型的质量。
2022-08-31 cs.LG cs.SD eess.AS
Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer
Indian Institute of Science(印度科学学院);Sony Group Corporation(索尼集团公司)
在本文中,我们提出了一个模型来执行语音风格转移到歌声。与以前的基于信号处理的方法相反,这些方法需要高质量的歌唱模板或音素同步,我们探索了一种数据驱动的方法来解决将自然语音转换为歌唱声音的问题。我们开发了一种新的神经网络架构,称为SymNet,它模拟输入语音与目标旋律的对齐,同时保留扬声器的身份和自然性。所提出的SymNet模型由三种类型的层的对称堆栈组成-卷积层、Transformer层和自我注意层。本文还探讨了新的数据增强和生成损失退火方法,以促进模型训练。实验在NUS和NHSS数据集上进行,这些数据集由语音和歌声的并行数据组成。在这些实验中,我们表明,所提出的SymNet模型提高了客观重建质量显着超过以前公布的方法和基线架构。此外,主观收听测试证实了使用所提出的方法获得的音频的质量得到了改善(在基线系统上平均意见得分测量中绝对改善了0.37)。
2022-08-26 cs.LG cs.SD eess.AS
Sinsy: A Deep Neural Network-Based Singing Voice Synthesis System
Nagoya Institute of Technology(名古屋工业大学)
Sinsy是一个基于深度神经网络(DNN)的歌唱声音合成(SVS)系统。近年来,DNN已被用于统计参数SVS系统中,基于DNN的SVS系统已表现出比传统的基于隐马尔可夫模型的系统更好的性能。SVS系统需要合成具有严格遵循给定乐谱的音高和定时的歌唱声音。此外,乐谱上没有描述的歌唱表达,如颤音和定时波动,应该再现。该系统由四个模块组成:一个时滞模型,持续时间模型,声学模型,和声码器,和歌唱的声音可以合成考虑到这些特点的歌唱声音。为了更好地模拟歌唱的声音,所提出的系统采用了改进的方法来建模音高和颤音和更好的训练标准到声学模型。此外,我们将PeriodNet(一种对音高具有鲁棒性的非自回归神经声码器)纳入我们的系统中,以生成高保真的歌声波形。此外,我们提出了基于DNN的SVS的自动音高校正技术,即使训练数据有走调的短语,也可以合成具有正确音高的歌声。实验结果表明,我们的系统可以合成一个更好的时机,更自然的颤音,正确的音高,它可以在主观评价测试中取得更好的平均意见分数的歌声。
2021-08-05 cs.CL cs.LG cs.SD
Learn2Sing: Target Speaker Singing Voice Synthesis by learning from a Singing Teacher
Northwestern Polytechnical University(西北工业大学);Databaker (Beijing) Technology Co., Ltd.(百度(北京)科技有限公司)
随着语音合成领域的迅速发展,歌唱声合成越来越受到人们的重视。一般来说,一个录音棚级的歌唱语料库通常是必要的,以产生一个自然的歌声从歌词和音乐相关的转录。然而,这样的语料库很难收集,因为我们中的许多人很难像专业歌手那样唱歌。在本文中,我们提出了一种方法-Learn 2Sing,只需要一个歌唱教师来生成目标说话人的歌声,而不需要他们的歌声数据。在我们的方法中,一个教师的歌唱语料库和语音从多个目标扬声器训练的帧级自回归声学模型,唱歌和说话共享共同的扬声器嵌入和风格标签嵌入。同时,由于目标说话人没有与音乐相关的转录,我们使用对数尺度基频(LF 0)作为辅助特征作为声学模型的输入,以建立统一的输入表示。为了使目标说话者在推断阶段中能够在没有演唱参考音频的情况下演唱,还训练了持续时间模型和LF 0预测模型。特别地,我们在声学模型中采用域对抗训练(DAT),其目的是通过从歌唱和说话数据的声学特征中分离风格来提高目标说话者的歌唱性能。实验结果表明,该方法能够在只给出目标说话人语音样本的情况下合成目标说话人的歌声。
2020-11-17 cs.SD eess.AS
Semi-Supervised Monaural Singing Voice Separation With a Masking Network Trained on Synthetic Mixtures
Tel Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
我们研究了半监督歌声分离问题,其中训练数据包含一组混合音乐(歌唱和器乐)和一组不匹配的器乐样本。我们的解决方案采用了一个单一的映射函数g,它适用于混合样本,恢复基本的器乐,并适用于乐器样本,返回相同的样本。网络g使用纯乐器样本以及通过将重建的歌唱声音与随机乐器样本混合而创建的合成混合样本进行训练。我们的研究结果表明,我们与完全监督方法相当或更好,这些方法也提供了未混合的歌声的训练样本,并且优于最近的其他半监督方法。
2019-05-06 cs.LG cs.SD eess.AS
Pitch Preservation In Singing Voice Synthesis
College of Geophysics, Chengdu University of Technology(成都理工大学地球物理学院);Changhong AI Lab (CHAIR), Sichuan Changhong Electronics Holding Group Co., Ltd.(四川长虹电子控股集团有限公司长虹人工智能实验室)
现有的基于编码-解码神经网络直接生成声谱图的歌唱声合成方法,由于歌唱声语料有限,在推理阶段容易出现跑调问题。为了解决这些问题,本文提出了一种新的声学模型,该模型具有独立的音高编码器和音素编码器,将乐谱中的音素和音高信息分离出来,充分利用语料库。具体地,根据等音律理论,音高编码器受到音高度量损失的约束,该音高度量损失将相邻输入音高之间的距离映射到编码器输出之间的对应频率倍数。对于音素编码器,基于相同的音素对应不同的音高可以产生相似的发音的分析,该编码器之后是一个对抗训练的音高分类器,以强制具有不同音高的相同音素映射到相同的音素特征空间。通过这些方法,可以将原始输入空间中稀疏的音素和音高分别转换到更紧凑的特征空间中,其中相同的元素紧密聚集并相互协作以提高合成质量。然后,将两个编码器的输出相加,以通过声学模型中的后续解码器。实验结果表明,所提出的方法能够表征基音输入之间的内在结构,从而获得更高的基音合成精度,并获得优于先进基线系统的歌唱合成性能。
2021-10-12 cs.AI cs.SD eess.AS
Deep Audio-Visual Singing Voice Transcription based on Self-Supervised Learning Models
National University of Singapore(新加坡国立大学)
本文提出基于自监督学习的纯音频、纯视频及音视频融合歌声转写系统,并构建 N20EMv2 数据集,利用唇部视频与预训练表征提升标注效率、域外泛化和噪声鲁棒性。
2023-04-24 cs.SD eess.AS
DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism
Zhejiang University(浙江大学)
歌唱声音合成(SVS)系统被构建为合成高质量和富有表现力的歌唱声音,其中声学模型生成声学特征(例如,Mel-spectrogram)。先前的歌唱声学模型采用简单的损失(例如,L1和L2)或生成对抗网络(GAN)来重建声学特征,但它们分别存在过平滑和训练不稳定的问题,影响了合成歌唱的自然度。在这项工作中,我们提出了DiffSinger,一个基于扩散概率模型的SVS声学模型。DiffSinger是一个参数化的马尔可夫链,它迭代地将噪声转换为以乐谱为条件的梅尔频谱图。通过隐式优化变分边界,DiffSinger可以稳定地训练并生成真实的输出。为了进一步提高语音质量和加快推理速度,我们引入了一种浅层扩散机制,以更好地利用简单损失学习到的先验知识。具体地,DiffSinger根据地面实况梅尔频谱图的扩散轨迹和由简单梅尔频谱图解码器预测的扩散轨迹的交点,在小于扩散步骤总数的浅步骤处开始生成。此外,我们提出了边界预测方法来定位相交和自适应地确定浅步长。在中国歌唱数据集上进行的评估表明,DiffSinger优于最先进的SVS工作。扩展实验也证明了我们的方法在文本到语音的任务(DiffSpeech)的推广。音频示例:www.example.com。代码:www.example.com。这部作品的旧标题是:“Diffsinger:Diffusion acoustic model for singing …
2022-03-22 cs.LG cs.SD eess.AS
Singing Voice Synthesis with Vibrato Modeling and Latent Energy Representation
Shanghai University(上海大学);JD AI Research(京东人工智能研究院);Shanghai Conservatory of Music(上海音乐学院)
本文提出了一种通过引入显式颤音建模和潜在能量表示的富有表现力的歌唱声音合成系统。由于人类歌唱的固有特性,颤音对合成声音的自然性至关重要。因此,本文提出了一种基于深度学习的颤音模型,用于控制歌唱中颤音的似然度、速率、深度和相位,其中颤音似然度代表了颤音存在的概率,有助于提高歌唱声音的自然度。实际上,在现有的歌唱语料库中并没有关于颤音相似性的标注。采用一种新的颤音相似度标注方法对颤音相似度进行自动标注。同时,音频的功率谱图包含了丰富的信息,可以提高歌唱的表现力。提出了一种基于自编码器的潜在能量瓶颈特征,用于富有表现力的歌唱声音合成。在NUS48E开放数据集上的实验结果表明,颤音建模和潜在能量表征都能显著提高歌唱声音的表现力。音频样本显示在演示网站。
2022-11-02 cs.SD eess.AS
MBTFNet: Multi-Band Temporal-Frequency Neural Network For Singing Voice Enhancement
Northwestern Polytechnical University(西北工业大学);Tencent Music Entertainment(腾讯音乐娱乐集团)
针对现有语音增强和音乐源分离模型在歌声增强场景的不足,提出结合带间带内建模、双路径建模及隐式个性化增强的MBTFNet,性能显著优于现有主流模型。
2023-10-06 cs.LG cs.SD eess.AS
Self-Supervised Singing Voice Pre-Training towards Speech-to-Singing Conversion
Zhejiang University(浙江大学)
本文提出SVPT,一种由自监督歌声预训练模型增强的语音到歌声转换方法,利用口语语言模型技术、离散单元随机重采样和音高破坏策略,实现零样本转换并缓解数据稀缺问题,在STS和SVS任务中均取得显著改进。
2024-06-04 cs.SD eess.AS
SingNet: Towards a Large-Scale, Diverse, and In-the-Wild Singing Voice Dataset
School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳))
本文构建包含3000小时多语言、多风格真实歌声的 SingNet 数据集,给出自动化数据处理流程,并通过预训练开源模型与 ALT、声码器及 SVC 基准验证其价值。
2025-05-14 cs.SD eess.AS
N-Singer: A Non-Autoregressive Korean Singing Voice Synthesis System for Pronunciation Enhancement
NCSOFT(网石游戏公司)
最近,已经设计了端到端的韩语歌唱声音系统以生成逼真的歌唱声音。然而,这些系统在发音准确性方面仍然缺乏鲁棒性。在本文中,我们提出了N-Singer,一个非自回归的韩国歌声系统,合成准确和明显的韩国歌声并行。N-Singer由一个基于transformer的mel生成器、一个基于卷积网络的postnet和一个基于卷积感知的鉴别器组成。它可以通过以下方式作出贡献。首先,为了准确发音,N-Singer分别对语言和音高信息进行建模,而不使用其他声学特征。其次,为了实现改进的梅尔频谱图,N-Singer使用了基于transformer的模块和基于卷积网络的模块的组合。第三,在对抗性训练中,使用感知噪声的条件鉴别器来捕获有声段的谐波特征和无声段的噪声分量。实验结果表明,N-Singer可以合成一个自然的歌声并行与更准确的发音比基线模型。
2022-02-21 cs.SD eess.AS
SUSing: SU-net for Singing Voice Synthesis
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
歌唱声音合成是一项生成任务,涉及对歌唱模型的多维控制,包括歌词,音高和持续时间,并包括歌手的音色和歌唱技巧,如颤音。在本文中,我们提出了SU-网络的歌唱声音合成命名为SUSing。歌唱声音的合成被视为歌词和乐谱与频谱之间的翻译任务。歌词和乐谱信息通过卷积层被编码成二维特征表示。二维特征及其频谱通过SU网网络以自回归方式映射到目标频谱。在SU-网络中,用条带池化方法代替交替全局池化方法来学习频谱中的垂直频率关系和时域中的频率变化。在公共数据集Kiritan上的实验结果表明,该方法能够合成出更自然的歌声。
2022-05-24 cs.SD eess.AS
Resource-constrained stereo singing voice cancellation
Apple(苹果公司)
本文面向资源受限与低延迟场景,将实时单声道语音分离模型改造为立体声歌声消除模型,并通过参数调优、数据扩充及声道一致性指标提升质量。
2024-01-22 cs.LG cs.SD eess.AS
DNN-based ensemble singing voice synthesis with interactions between singers
The University of Tokyo(东京大学);Keio University(庆应义塾大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究所(AIST));Meiji University(明治大学)
针对现有独唱歌声合成方法忽略歌手交互、拼接生成的合唱统一性不足的问题,提出一种基于多声部乐谱输入与交互模拟损失函数的DNN合唱SVS方法,有效提升了合唱的统一性。
2024-09-16 cs.SD eess.AS
Low-Resource Cross-Domain Singing Voice Synthesis via Reduced Self-Supervised Speech Representations
Innoetics, Samsung Electronics(三星电子 Innoetics);Samsung Electronics(三星电子)
本文提出Karaoker-SSL,一种仅用文本和语音数据训练的低资源歌唱语音合成模型,通过自监督表征和扩散GAN判别器实现无需歌唱数据的高质量合成。
2024-02-02 cs.LG cs.SD eess.AS
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services(亚马逊云科技);Stanford University(斯坦福大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术,如随机源混合,已被证明可以更好地利用现有数据,并温和地提高模型的性能。我们提出了一种新的数据增强技术,chromagram为基础的音高感知混音,音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验,我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比(SDR)
2022-03-28 cs.LG cs.SD eess.AS
XiaoiceSing: A High-Quality and Integrated Singing Voice Synthesis System
Xiaoice, Microsoft Software Technology Center Asia(微软亚洲软件技术中心小冰);Microsoft Research Asia(微软亚洲研究院)
本文介绍了一个高质量的歌唱声音合成系统,它采用了一个集成的网络的频谱,F0和持续时间建模。我们遵循FastSpeech的主要架构,同时提出了一些特定于唱歌的设计:1)除了音素ID和位置编码,还增加了乐谱特征(例如音符音高和长度)。2)为了减少走调问题,我们在F0预测中添加了残差连接。3)除了每个音素的持续时间损失之外,还将音符中所有音素的持续时间累积以计算用于节奏增强的音节持续时间损失。实验结果表明,XiaoceSing在音质、发音准确率和自然度方面分别比卷积神经网络基线系统高1.44 MOS、1.18 MOS和1.38 MOS。在两个A/B测试中,所提出的F0和持续时间建模方法分别获得了97.3%和84.3%的偏好率,这表明了XiaoceSing的压倒性优势。
2020-06-11 cs.CL cs.LG cs.SD
Single-Channel Blind Source Separation for Singing Voice Detection: A Comparative Study
提出了一种新的基于单通道盲音频声源分离(BASS)算法的无监督歌声检测方法。为了达到这一目标,我们研究了三个有前途的BASS方法,通过形态学过滤的分析混合物光谱图。本文的贡献是多方面的。首先,研究的BASS方法改写相同的形式主义,我们调查各自的超参数的数值模拟。其次,我们提出了一个扩展的KAM方法,我们提出了一种新的训练算法,用于计算一个特定的源内核从一个给定的孤立的源信号。其次,BASS方法进行了比较,在声源分离的准确性和歌唱声检测的准确性方面,当他们被用于我们的新的歌唱声检测框架。最后,我们做了一个详尽的歌声检测评估,我们比较监督和无监督的歌声检测方法。我们的比较探讨了不同的组合,提出的BASS方法与新的功能,如新提出的KAM功能和散射变换,通过机器学习框架,也考虑了卷积神经网络方法。
2018-05-03 cs.SD eess.AS
Improving singing voice separation with the Wave-U-Net using Minimum Hyperspherical Energy
City, University of London(伦敦城市大学)
近年来,深度学习已经超越了传统方法来解决歌声分离问题。Wave-U-Net是一种直接在时域上运行的最新深度网络架构。标准Wave-U-Net通过数据增强和提前停止进行训练,以防止过度拟合。最小超球能量(MHE)正则化最近被证明可以通过鼓励多样化的滤波器配置来提高图像分类问题的泛化能力。在这项工作中,我们将MHE正则化应用于Wave-U-Net的1D滤波器。我们评估了这种方法在MUSDB 18数据集上从混合音乐音频记录中分离声乐部分。我们发现,添加MHE正则化的损失函数一致地提高歌声分离,在测试录音的信号失真比测量,导致目前最好的时域系统的歌声提取。
2019-10-22 cs.LG cs.SD eess.AS
JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University(密歇根州立大学)
文本无关的说话人识别系统依赖于成功地编码语音因素,如音高,强度和音色,以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而,口语,表现出有限的范围内可能的扬声器动态,从而限制了效用的派生说话人识别模型。另一方面,歌唱声音涵盖了更广泛的声音和环境因素,因此可以用来评估说话人识别系统的鲁棒性。然而,大多数现有的说话人识别数据集只关注口语语音。相比之下,适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题,我们组装\textit{JukeBox} -一个说话人识别数据集,多语言歌唱声音音频注释歌手身份,性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响,无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
Singing Voice Synthesis Based on a Musical Note Position-Aware Attention Mechanism
Nagoya Institute of Technology(名古屋工业大学)
本文提出了一种新的序列到序列(seq 2seq)模型与音符位置感知注意机制的歌唱声音合成(SVS)。seq 2seq建模方法,可以同时执行声学和时间建模是有吸引力的。然而,由于唱歌的声音的时间建模的困难,许多最近的SVS系统与编码器-解码器为基础的模型仍然依赖于明确的持续时间信息产生的额外的模块。虽然一些研究使用具有注意力机制的seq 2seq模型进行同步建模,但它们对时间建模的鲁棒性不足。所提出的注意力机制被设计为通过考虑乐谱所给出的节奏来估计注意力权重。此外,还介绍了几种技术,以提高歌唱声音的建模性能。实验结果表明,该模型是有效的自然性和鲁棒性的定时。
2023-03-14 cs.LG cs.SD eess.AS
Singing Voice Data Scaling-up: An Introduction to ACE-Opencpop and ACE-KiSing
Carnegie Mellon University(卡内基梅隆大学);Duke Kunshan University(昆山杜克大学);Cornell University(康奈尔大学);Multimodal Art Projection Community(多模态艺术投影社区);Renmin University of China(中国人民大学);Georgia Institute of Technology(佐治亚理工学院)
针对歌声合成数据稀缺问题,本文提出用现有合成器结合人工调校进行数据增广,构建ACE-Opencpop和ACE-KiSing两个大规模数据集,并验证其可作为新基准且能提升其他数据集上的SVS性能。
2024-06-12 cs.SD eess.AS
StyleSinger: Style Transfer for Out-of-Domain Singing Voice Synthesis
Zhejiang University(浙江大学);Huawei Cloud(华为云)
提出首个零样本域外歌唱语音风格迁移模型StyleSinger,通过残差风格适配器和不确定性建模层归一化提升泛化能力,在音频质量和参考样本相似度上优于基线模型。
2025-05-30 cs.CL cs.SD eess.AS
Hybrid Y-Net Architecture for Singing Voice Separation
University of Peradeniya(佩拉德尼亚大学)
这篇研究论文提出了一种新的基于深度学习的神经网络架构,名为Y-Net,用于实现音乐声源分离。所提出的架构执行端到端的混合声源分离,从频谱图和波形域提取功能。受U-Net架构的启发,Y-Net预测了一个声谱图掩码,以从混合信号中分离声音源。我们的结果证明了所提出的音乐声源分离体系结构的有效性,并且参数较少。总体而言,我们的工作提出了一个有前途的方法,提高音乐声源分离的准确性和效率。
2023-03-05 cs.LG cs.SD eess.AS
Singing voice separation: a study on training data
Deezer R&D(Deezer研发部)
近年来,由于使用监督训练,歌唱声音分离系统表现出更高的性能。训练数据集的设计被认为是此类系统性能的关键因素。我们研究了训练数据集的特征如何影响最先进的歌唱声音分离算法的分离性能。我们表明,分离质量和多样性是良好训练数据集的两个重要和互补的资产。我们还提供了有关可能的转换的见解,以执行此任务的数据增强。
2019-06-06 cs.SD eess.AS
Expressive Singing Synthesis Using Local Style Token and Dual-path Pitch Encoder
Music and Audio Research Group (MARG), Seoul National University(首尔国立大学音乐与音频研究组(MARG));supertone Inc.(supertone公司)
本文提出了一种可控的歌声合成系统,能够通过两种新颖的方法生成富有表现力的歌声。首先,提出了从输入音高和文本序列预测帧级风格令牌的局部风格令牌模块,以允许演唱语音系统控制通常在乐谱中未指定的音乐表达(例如,呼吸和强度)。其次,我们提出了一个双路径音高编码器,可以选择两个不同的音高输入:f0轮廓或f1音高序列。因为歌唱声的初始生成通常是通过取一个小音高序列来执行的,所以可以在以后从所生成的歌唱声中提取f0轮廓,并根据需要将f0轮廓修改为更精细的水平。通过定量和定性的评价,我们证实,该模型可以控制各种音乐的表现,而不牺牲歌唱声音合成系统的音质。
2022-04-07 cs.SD eess.AS
Unsupervised Interpretable Representation Learning for Singing Voice Separation
Fraunhofer-IDMT(弗劳恩霍夫数字媒体技术研究所);Tampere University(坦佩雷大学);Technical University of Ilmenau(伊尔梅瑙工业大学)
在这项工作中,我们提出了一种直接从波形信号中学习可解释的音乐信号表示的方法。我们的方法可以使用无监督目标进行训练,并依赖于去噪自动编码器模型,该模型使用简单的正弦模型作为解码函数来重建歌声。为了证明我们的方法的好处,我们采用所获得的表示通知歌唱声音分离通过二进制掩蔽的任务,并测量所获得的分离质量的尺度不变的信号失真比。我们的研究结果表明,我们的方法是能够学习有意义的表示唱歌的声音分离,同时保留的便利性,如非负性,平滑度和重建的短时傅里叶变换受到时间-频率掩蔽,音频和音乐源分离所需的。
2020-07-01 cs.SD eess.AS
A Preliminary Investigation on Flexible Singing Voice Synthesis Through Decomposed Framework with Inferrable Features
Nagoya University(名古屋大学);Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室公司)
本研究提出将歌声合成系统分解为语言、音高轮廓、合成三阶段的框架,从音频直接推断多种歌声特征,降低标注数据需求,提升跨语言、跨歌手适配及歌词补全灵活性,兼具达最优性能的潜力。
2024-07-12 cs.SD eess.AS
Singing Voice Synthesis Using Differentiable LPC and Glottal-Flow-Inspired Wavetables
Queen Mary University of London(伦敦玛丽女王大学)
本文提出GOLF方法,通过可微分DSP结合声门模型与IIR滤波器实现可解释且高效的歌声合成,在参数、内存和推理速度上优于现有声码器,并能建模人声相位分量。
2024-10-18 cs.SD eess.AS
VISinger2+: End-to-End Singing Voice Synthesis Augmented by Self-Supervised Learning Representation
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学)
针对歌声合成中标记数据稀缺的问题,本文在VISinger2框架中整合预训练自监督模型的频谱特征,利用未标记数据增强合成质量,实验证明该方法在客观和主观指标上均有效提升歌声质量。
2024-12-14 cs.SD eess.AS
HiFiSinger: Towards High-Fidelity Neural Singing Voice Synthesis
Microsoft STC Asia(微软亚洲软件技术中心);Microsoft Research Asia(微软亚洲研究院)
高保真歌声通常需要更高的采样率(例如,48kHz)来传达表情和情感。然而,更高的采样率导致更宽的频段和更长的波形序列,这给歌唱声合成(SVS)在频域和时域上都带来了挑战。采用小采样率的传统SVS系统不能很好地解决上述挑战。在本文中,我们开发了HiFiSinger,一个面向高保真歌唱声音的SVS系统。HiFiSinger由基于FastSpeech的声学模型和基于并行WaveGAN的声码器组成,以确保快速训练和推理以及高语音质量。针对高采样率(宽频段、长波形)给歌唱建模带来的困难,在声学模型和声码器中引入多尺度对抗训练,提高歌唱建模的效果。具体而言,1)为了处理由更高采样率引起的更大频率范围,我们提出了一种新的子频率GAN(SF-GAN)梅尔频谱图生成,其将完整的80维梅尔频率划分为多个子带,并用单独的子带对每个子带进行建模。2)针对采样率较高导致的波形序列较长的问题,提出了一种多长度GAN(ML-GAN GAN)的波形生成方法,利用不同的鉴别器对不同长度的波形序列进行建模。3)我们还介绍了HiFiSinger中的几个额外的设计和发现,这些设计和发现对于高保真语音至关重要,例如添加F0(音高)和V/UV(浊音/清音标志)作为声学特征,为梅尔频谱图选择合适的窗口/跳数大小,以及增加声码器中长元音建模的感受野。实验结果表明,HiFiSinger合成高保真歌唱声,具有更高的质量:0.32/0…
2020-09-03 cs.CL cs.LG cs.SD
Latent Space Explorations of Singing Voice Synthesis using DDSP
Aalborg University Copenhagen(奥尔堡大学哥本哈根校区)
基于机器学习的歌声模型需要大量的数据集和漫长的训练时间。在这项工作中,我们提出了一个轻量级的架构,基于差分数字信号处理(DDSP)库,能够输出类似歌曲的话语条件下,只有音高和幅度,经过12个小时的训练,使用小数据集的未处理的音频。结果是有希望的,因为旋律和歌手的声音都是可识别的。此外,我们提出了两个零配置工具,训练新的模型和实验。目前,我们正在探索潜在的空间表示,这是包括在DDSP库,但不是在原来的DDSP的例子。我们的研究结果表明,潜在空间提高了歌手的识别以及歌词的理解。我们的代码可以在https://github.com/juanalonso/DDSP-singing-experiments上找到,其中包含零配置笔记本的链接,我们的声音示例可以在https://juanalonso.github.io/DDSP-singing-experiments/上找到。
2021-03-12 cs.LG cs.MM cs.SD