NNSVS: A Neural Network-Based Singing Voice Synthesis Toolkit
LINE Corp.(LINE公司);Nagoya University(名古屋大学)
介绍了一个用于基于神经网络的歌唱声音合成研究的开源软件NNSVS的设计。NNSVS的灵感来自歌唱声音合成研究的开源先驱Sinsy,并提供了许多额外的功能,如多流模型,自回归基频模型和神经声码器。此外,NNSVS提供了大量的文档和大量的脚本来构建完整的歌唱声音合成系统。实验结果表明,我们最好的系统显着优于我们的再现Sinsy和其他基线系统。该工具包可在https://github.com/nnsvs/nnsvs上查阅。
2023-03-01 cs.LG cs.SD eess.AS
Neural Speech Synthesis on a Shoestring: Improving the Efficiency of LPCNet
Amazon Web Services(亚马逊云科技)
神经语音合成模型可以合成高质量的语音,但是通常需要高计算复杂度来这样做。在以前的工作中,我们介绍了LPCNet,它使用线性预测来显着降低神经合成的复杂性。在这项工作中,我们进一步提高了LPCNet的效率-针对算法和计算改进-使其可用于各种设备。我们证明了合成质量的提高,同时操作速度提高了2.5倍。由此产生的开源LPCNet算法可以在大多数现有手机上执行实时神经合成,甚至可以在某些嵌入式设备中使用。
2022-02-22 cs.LG cs.SD eess.AS
LPCNet: Improving Neural Speech Synthesis Through Linear Prediction
Mozilla;Google LLC(谷歌有限责任公司)
神经语音合成模型最近已经证明了为文本到语音和压缩应用合成高质量语音的能力。这些新模型通常需要强大的GPU来实现实时操作,因此能够降低其复杂性将为许多新应用开辟道路。我们提出了LPCNet,这是一种WaveRNN变体,将线性预测与递归神经网络相结合,可显着提高语音合成的效率。我们证明,LPCNet可以实现显着更高的质量比WaveRNN相同的网络规模和高质量的LPCNet语音合成是可实现的复杂度低于3 GFLOPS。这使得在低功耗设备(如嵌入式系统和手机)上部署神经合成应用程序变得更加容易。
2019-02-19 cs.LG cs.SD eess.AS
Neural Synthesis of Footsteps Sound Effects with Generative Adversarial Networks
Queen Mary University of London(伦敦玛丽女王大学)
脚步声是多媒体应用中最普遍的声音效果之一。有大量的研究了解的声学特性和发展的合成模型的脚步声效果。在本文中,我们提出了第一次尝试采用神经合成这项任务。我们实现了两种基于GAN的架构,并将结果与真实录音以及六种传统的声音合成方法进行了比较。我们的架构达到了与记录样本一样高的真实感分数,为手头的任务显示了令人鼓舞的结果。
2021-12-10 cs.AI cs.LG cs.SD
Data Efficient Voice Cloning for Neural Singing Synthesis
Universitat Pompeu Fabra(庞培法布拉大学);Yamaha Corporation(雅马哈公司)
在歌唱合成中有许多用例,其中需要从少量数据创建声音。在文本到语音转换中,将语音克隆技术应用于基于现代深度学习的模型已经取得了一些有希望的成果。在这项工作中,我们适应这样的技术的情况下,歌唱合成。通过利用来自许多说话者的数据首先创建多说话者模型,少量的目标数据可以有效地使模型适应新的看不见的声音。我们使用跨许多不同用例、语言和数据类型的听力测试来评估系统。
2019-02-19 cs.LG cs.SD eess.AS
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab(Brainekt AI实验室);Khulna University of Engineering and Technology(库尔纳工程技术大学)
语音合成是通过深度学习自动化的具有挑战性的任务之一,也是一种低资源语言,很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本,非常短的句子等。这项工作试图通过将Byakta(有史以来第一个基于开源深度学习的双语(孟加拉语和英语)文本)引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集,用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
Embedding a Differentiable Mel-cepstral Synthesis Filter to a Neural Speech Synthesis System
Nagoya Institute of Technology(名古屋工业大学);Techno-Speech, Inc.(Techno-Speech公司)
本文将经典的梅尔倒谱合成滤波器集成到现代神经语音合成系统中,实现端到端可控的语音合成。由于梅尔倒谱合成滤波器显式地嵌入在所提出的系统中的神经波形模型中,语音特性和合成语音的音高分别通过频率弯曲参数和基频进行高度控制。我们实现了梅尔倒谱合成滤波器作为一个微分和GPU友好的模块,使所提出的系统中的声学和波形模型,以端到端的方式同时优化。实验表明,该系统提高了语音质量从基线系统保持可控性。实验中使用的核心PyTorch模块将在GitHub上公开。
2022-11-21 cs.CL cs.SD eess.AS
An Initial study on Birdsong Re-synthesis Using Neural Vocoders
University of Eastern Finland(东芬兰大学)
现代语音合成使用神经声码器直接对原始波形样本进行建模。这种增加的多功能性已经将声码器的范围从语音扩展到其他领域,例如音乐。我们解决另一个有趣的生物声学领域。我们提供了初步的比较分析,再合成实验的鸟鸣使用传统的(世界)和两个神经(WaveNet自动编码器,并行WaveGAN)声码器。我们的主观结果表明,在三个声码器的物种歧视(ABX测试)方面没有差异。尽管如此,WORLD声码器样本在保持类似鸟的质量(MOS测试)方面被评为更高。所有声码器都面临音高和发声的问题。我们的研究结果表明,在处理低质量的野生动物音频数据的一些挑战。
2022-09-21 cs.SD eess.AS eess.SP
Controllable Neural Prosody Synthesis
Adobe Research(Adobe 研究院)
语音合成在神经声码器和神经韵律发生器的出现的推动下,最近在保真度方面有了显著的改进。然而,这些系统缺乏对韵律的直观用户控制,使得它们不能纠正韵律错误(例如,错位的重点和上下文不适当的情绪)或生成具有不同的说话者兴奋水平和情绪的韵律。我们解决这些限制与用户可控,上下文感知神经韵律发生器。给定一个真实的或合成的语音记录,我们的模型允许用户输入韵律约束的某些时间帧,并生成剩余的时间帧从输入文本和上下文韵律。我们还提出了一个音高移位神经声码器来修改输入语音,以匹配合成的韵律。通过客观和主观的评价,我们表明,我们可以成功地将用户控制到我们的韵律生成模型,而不牺牲合成语音的整体自然。
2020-08-11 cs.LG cs.SD eess.AS
Neural Music Synthesis for Flexible Timbre Control
New York University(纽约大学);Spotify
原始音频波形合成模型(如WaveNet)最近的成功激发了一种新的音乐合成方法,其中整个过程--从乐谱和乐器信息创建音频样本--使用生成神经网络建模。本文描述了一种具有灵活音色控制的神经音乐合成模型,该模型由一个以学习乐器嵌入为条件的递归神经网络和一个WaveNet声码器组成。学习的嵌入空间成功地捕获了大型数据集中音色的各种变化,并通过在嵌入空间中的乐器之间进行插值来实现音色控制和变形。合成质量的评价数字和感知,并提出了一个互动的Web演示。
2018-11-01 cs.SD eess.AS stat.ML
Evaluation of Neural Surrogates for Physical Modelling Synthesis of Nonlinear Elastic Plates
Centre for Digital Music, Queen Mary, University of London, London, United Kingdom(伦敦大学女王学院数字音乐中心)
本文比较评估了多种神经网络代理模型在非线性弹性板振动预测中的表现,揭示其在长序列自回归预测中的局限,并为实时音频合成提出改进方向。
2025-07-16 cs.LG cs.SD eess.AS
GraphSpeech: Syntax-Aware Graph Attention Network For Neural Speech Synthesis
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
基于注意力的端到端文本到语音合成(TTS)在许多方面优于传统的统计方法。基于transformer的TTS就是这样一种成功的实现。虽然Transformer TTS很好地利用自注意机制对语音帧序列进行建模,但它没有从句子级别的句法角度将输入文本与输出话语相关联。我们提出了一种新的神经TTS模型,表示为GraphSpeech,这是制定下图神经网络框架。GraphSpeech对句子中输入词汇标记的句法关系进行显式编码,并结合这些信息来导出TTS注意力机制的句法动机字符嵌入。实验表明,GraphSpeech在语音的频谱和韵律渲染方面始终优于Transformer TTS基线。
2021-03-26 cs.LG cs.SD eess.AS
Neural Granular Sound Synthesis
IRCAM(法国声学音乐协调及研究中心);CNRS(法国国家科学研究中心);The University of Tokyo(东京大学);RIKEN(日本理化学研究所)
颗粒声音合成是一种基于重排小波形窗口序列的流行音频生成技术。为了控制合成,在一个给定的语料库中的所有颗粒进行分析,通过一组声学描述符。这提供了反映跨颗粒的某种形式的局部相似性的表示。然而,该颗粒空间的质量受到描述符的质量的约束。它的遍历不是连续可逆的信号,并不呈现任何结构化的时间性。我们证明了生成神经网络可以实现粒度合成,同时减轻其大部分缺点。我们有效地取代其音频描述符的基础上学习的概率潜在空间与变分自动编码器。在这种设置中,学习的颗粒空间是可逆的,这意味着我们可以在遍历其维度时连续合成声音。这也意味着原始的谷物不是为了合成而储存的。我们的方法的另一个主要优点是通过在排列的颗粒序列上训练更高级别的时间嵌入来学习这个潜在空间内的结构化路径。该模型可以应用于许多类型的图书馆,包括音高音符或非音高鼓和环境噪声。我们报告实验上的共同颗粒合成过程以及新的,如条件采样和变形。
2021-07-03 cs.LG cs.SD eess.AS
Fast and High-Quality Singing Voice Synthesis System based on Convolutional Neural Networks
Techno-Speech, Inc.(Techno-Speech公司);Nagoya Institute of Technology(名古屋工业大学)
本文描述了基于卷积神经网络(CNN)的歌唱声合成。目前正在提出基于深度神经网络(DNN)的歌唱声音合成系统,并且正在提高合成歌唱声音的自然度。由于歌唱声音代表了丰富的表达形式,因此需要一种强大的技术来准确地对其进行建模。在所提出的技术中,歌唱声音的长期依赖性由CNN建模。该方法针对由长时帧组成的每一个分段生成一个声学特征序列,无需参数生成算法即可获得自然的运动轨迹。此外,提出了一种降低计算复杂度的技术,该技术根据乐谱特征的类型在不同的时间单元中驱动DNN。实验结果表明,该方法能比传统方法更快地合成出自然的歌唱声。
2020-04-22 cs.LG cs.SD eess.AS
Neural Speech Embeddings for Speech Synthesis Based on Deep Generative Networks
Korea University(高丽大学)
本文介绍脑到语音技术,并系统分析执行语音时的神经特征与神经语音嵌入,探讨其在基于深度生成模型的语音合成中的关键作用。
2024-02-27 cs.AI cs.SD eess.AS
Upsampling artifacts in neural audio synthesis
Dolby Laboratories(杜比实验室)
神经音频合成的许多最新进展依赖于上采样层,这可能会引入不期望的伪影。在计算机视觉中,上采样伪影已经被研究并且被称为棋盘伪影(由于其特征视觉图案)。然而,在音频处理中,它们的作用一直被忽视。在这里,我们通过从音频信号处理的角度研究这个问题来解决这个差距。我们首先表明上采样伪影的主要来源是:(i)有问题的上采样算子引入的色调和滤波伪影,以及(ii)上采样时出现的光谱副本。然后,我们比较了不同的上采样层,表明最近邻上采样器可以替代有问题的(但最先进的)转置和子像素卷积,这些卷积容易引入色调伪影。
2021-02-09 cs.LG cs.SD eess.AS
MiSTR: Multi-Modal iEEG-to-Speech Synthesis with Transformer-Based Prosody Prediction and Neural Phase Reconstruction
Budapest University of Technology and Economics(布达佩斯技术与经济大学);University of Ss. Cyril and Methodius(圣西里尔和美多德大学)
MiSTR利用小波特征提取、Transformer解码器和神经相位声码器,从iEEG信号合成语音,实现最先进的清晰度(Pearson相关0.91)。
2025-08-05 cs.LG cs.SD eess.AS
Learning Control of Neural Sound Effects Synthesis from Physically Inspired Models
Centre for Digital Music(数字音乐中心);Queen Mary University of London(伦敦玛丽女王大学)
本文提出一种由物理启发模型引导的实时神经音效合成方法,在保留物理模型控制接口的同时提升生成音质,解决了神经音效合成中控制困难的问题。
2025-03-11 cs.SD eess.AS
NANSY++: Unified Voice Synthesis with Neural Analysis and Synthesis
Seoul National University(首尔国立大学);Supertone, Inc.(Supertone公司)
语音合成的各种应用程序已经独立开发,尽管它们共同生成“语音”作为输出。此外,大多数语音合成模型仍然需要大量与注释标签配对的音频数据(例如,文本转录和乐谱)用于训练。为此,我们提出了一个统一的框架,合成和操纵语音信号的分析功能,被称为NANSY++。NANSY++的骨干网络以自我监督的方式进行训练,不需要任何与音频配对的注释。训练骨干网络后,我们通过对每个任务所需的分析功能进行部分建模,有效地解决了四个语音应用程序--即语音转换、文本到语音、歌唱语音合成和语音设计。大量的实验表明,所提出的框架提供了竞争优势,如可控性,数据效率和快速训练收敛,同时提供高质量的合成。音频示例:tinyurl.com/8tnsy3uc。
2022-11-17 cs.SD eess.AS
Singing voice synthesis based on convolutional neural networks
Techno-Speech, Inc.(Techno-Speech公司);Nagoya Institute of Technology(名古屋工业大学)
本文描述了一种基于卷积神经网络(CNN)的歌唱声合成方法。目前正在提出基于深度神经网络(DNN)的歌唱声音合成系统,并且正在提高合成歌唱声音的自然度。在这些系统中,乐谱特征序列和从歌唱声音中提取的声学特征序列之间的关系由DNN建模。然后,通过训练的DNN以帧为单位输出任意乐谱的声学特征序列,并且通过使用参数生成算法来获得歌唱声音的自然轨迹。由于歌唱声音包含丰富的表达,需要一种强大的技术来准确地建模它们。在所提出的技术中,歌唱声音的长期依赖性由CNN建模。以由长期帧组成的段为单位生成声学特征序列,并且在没有参数生成算法的情况下获得自然轨迹。主观听觉测试的实验结果表明,所提出的架构可以合成自然发声的歌声。
2019-06-25 cs.LG cs.SD eess.AS
UFANS: U-shaped Fully-Parallel Acoustic Neural Structure For Statistical Parametric Speech Synthesis With 20X Faster
Turing Robot co.ltd(图灵机器人有限公司);Chinese University of Hongkong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data (SRIBD)(深圳大数据研究院)
具有自回归结构的神经网络,如递归神经网络(RNN),已成为近年来参数化文本到语音合成(TTS)的声学建模研究中最具吸引力的结构。尽管这些模型具有捕获长期依赖性的突出能力,但这些模型由无法完全并行的大量顺序计算组成。在本文中,我们提出了一个U形的全并行声学神经结构(UFANS),这是一个去卷积的替代RNN的统计参数语音合成(SPSS)。实验证明,我们提出的模型比基于RNN的声学模型快20倍以上,在GPU上进行训练和推理,语音质量相当。此外,我们还研究了信息依赖性的长短对合成语音质量的影响。
2018-11-28 cs.SD eess.AS
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
Comparative Analysis of Fast and High-Fidelity Neural Vocoders for Low-Latency Streaming Synthesis in Resource-Constrained Environments
Nagoya University(名古屋大学);LY Corporation(LY公司)
本文提出多流 Wavehax(MS-Wavehax),通过多流分解扩展无混叠神经声码器 Wavehax,实现低延迟流式语音合成,并分析 CPU 环境下的延迟-吞吐量权衡及关键瓶颈,验证其在资源受限场景中的高质量与易部署性。
2025-06-04 cs.SD eess.AS
A Neural Network Based Framework for Archetypical Sound Synthesis
Conservatorio C.Pollini of Padua(帕多瓦的C.波里尼音乐学院)
本文介绍了一种初步的方法来算法再现人类采用的原型结构进行分类的声音。特别是,我们提出了一种方法来预测人类感知的混乱/秩序水平的声音和合成新的音色,目前所需的量,这一功能。我们采用了一种基于神经网络的方法,以利用其内在的倾向模型的感知和抽象的功能。最后,我们讨论了所获得的准确性和可能的影响,在创造性的背景下。
2020-03-10 cs.SD eess.AS
Manipulation of oral cancer speech using neural articulatory synthesis
University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所);University Medical Center Groningen(格罗宁根大学医学中心);University of Groningen(格罗宁根大学);Delft University of Technology(代尔夫特理工大学)
我们提出了一个发音合成框架的合成和处理口腔癌的语音临床决策和减轻病人的压力。客观和主观评价表明,该框架具有可接受的自然度,值得进一步研究。随后的主观元音和辅音识别实验表明,发音合成系统可以操纵发音轨迹,使合成的语音再现存在于地面真实口腔癌语音的问题。
2022-03-31 cs.CL cs.SD eess.AS
Aliasing-Free Neural Audio Synthesis
Aalto University School of Science(阿alto大学科学学院);Aalto University(阿alto大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Spellbrush, Akihabara, Tokyo(东京秋叶原Spellbrush)
本文提出Pupu-Vocoder和Pupu-Codec,通过可微抗混叠技术提升音乐和歌声合成质量,实验显示其在歌声、音乐和音频上表现更优。
2026-06-29 cs.SD eess.AS eess.SP
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University(阿尔托大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学)
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征,这便于建模,但对声码化提出了额外的挑战(即,从声学特征产生波形)。高质量的合成可以通过神经声码器实现,例如WaveNet,但是这种自回归模型会受到缓慢的顺序推理的影响。同时,它们现有的并行推理对应物难以训练,并且需要越来越大的模型尺寸。在本文中,我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络,并集成了线性预测合成滤波器的模型。实验结果表明,该模型在推理速度上有显著提高,同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
ExcitNet vocoder: A neural excitation model for parametric speech synthesis systems
NAVER Corp.(NAVER公司);Yonsei University(延世大学)
提出了一种基于WaveNet的神经元激励模型(ExcitNet),用于统计参数化语音合成系统。传统的基于WaveNet的神经语音编码系统通过自回归框架统计地生成语音波形的时间序列来显著地提高合成语音的感知质量。然而,他们往往遭受噪声输出,因为在捕捉语音信号的复杂的时变性质的困难。为了提高建模效率,所提出的ExcitNet声码器采用自适应逆滤波器来将频谱分量从语音信号中解耦。然后在WaveNet框架内训练和生成残差分量,即激励信号。通过这种方式,可以进一步提高合成语音信号的质量,因为频谱分量由深度学习框架很好地表示,此外,残差分量由WaveNet框架有效地生成。实验结果表明,建议的ExcitNet声码器,训练的说话人相关和说话人无关,优于传统的线性预测声码器和类似配置的传统WaveNet声码器。
2019-08-21 cs.LG cs.SD eess.AS
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney(悉尼大学)
针对神经音频合成依赖离散标签、难以细微控制声音的问题,本文提出基于GAN的隐式条件化方法ICGAN,构建连续条件空间实现无显式标签的可解释音色操控,并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University(斯泰伦博斯大学);The University of Edinburgh(爱丁堡大学)
对于我们提交的ZeroSpeech 2019挑战,我们将离散潜变量神经网络应用于未标记的语音,并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器(AE)架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时,单元发现从一个看不见的扬声器的语音进行,然后由一个已知的目标扬声器单元解码条件,以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化,分类变分自编码器(CatVAE),矢量量化的VAE(VQ-VAE)和直通估计进行了比较,在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码,VQ-VAE离散化,解卷积解码和FFTNet声码器。我们表明,解耦扬声器调节本质上提高了离散的声学表示,产生竞争力的合成质量相比,挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Neural Percussive Synthesis Parameterised by High-Level Timbral Features
Universitat Pompeu Fabra(庞培法布拉大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心)
我们提出了一种基于深度神经网络的方法,用于合成具有高级音色特征的声音。这种方法允许对合成器进行直观的控制,使用户能够在没有信号处理的广泛知识的情况下对声音进行整形。我们使用基于前馈卷积神经网络的架构,该架构能够将输入参数映射到相应的波形。我们提出了两个数据集来评估我们的方法在限制性的背景下,并在一个覆盖更广泛的声音。作为参数的音色特征取自信号处理中的最新文献。我们还使用这些功能的评估和验证所提出的模型,以确保改变输入参数产生一个一致的波形与所需的特性。最后,我们使用主观听力测试来评估输出声音的质量。我们提供了良好的例子和系统的源代码的可重复性。
2020-04-03 cs.LG cs.SD eess.AS
DDSP-based Neural Waveform Synthesis of Polyphonic Guitar Performance from String-wise MIDI Input
KTH Royal Institute of Technology(KTH皇家理工学院);National Institute of Informatics(国立信息学研究所);Aalto University(阿尔托大学)
本文探索从逐弦MIDI输入进行原声吉他神经合成,提出四种系统并与基线对比,发现将控制特征预测设为分类任务效果更好,且直接预测合成参数的最简系统表现最佳。
2023-09-14 cs.SD eess.AS
Towards Lightweight Controllable Audio Synthesis with Conditional Implicit Neural Representations
University of Amsterdam(阿姆斯特丹大学);Royal Conservatoire The Hague(海牙皇家音乐学院);AMLab(阿姆斯特丹机器学习实验室)
音频的高时间分辨率和我们对波形中的小不规则性的感知敏感性使得以高采样率进行合成成为复杂且计算密集的任务,从而在许多方法中禁止实时可控合成。在这项工作中,我们的目标是阐明条件隐式神经表征(CINRs)作为音频合成生成框架中的轻量级骨干的潜力。我们的实验表明,小的周期性条件INR(PCINR)学习速度更快,通常比具有相同参数计数的转置卷积神经网络产生定量更好的音频重建。然而,它们的性能对激活缩放超参数非常敏感。当学习表示更均匀的集合时,PCINR倾向于在重建中引入人工高频分量。我们验证了这种噪声可以通过在训练过程中应用标准权重正则化或降低PCINR的组成深度来最小化,并为未来的研究提出了方向。
2021-12-02 cs.LG cs.SD
A Survey on Neural Speech Synthesis
Microsoft Research Asia(微软亚洲研究院)
文本转语音(TTS)或语音合成,其目的是在给定文本的情况下合成可理解且自然的语音,是语音、语言和机器学习社区中的热门研究课题,并且在工业中具有广泛的应用。近年来,随着深度学习和人工智能的发展,基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中,我们进行了全面的调查,神经TTS,旨在提供一个很好的理解,目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件,包括文本分析,声学模型和声码器,以及几个高级主题,包括快速TTS,低资源TTS,鲁棒TTS,表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源(例如,数据集,开源实现),并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
Deep neural network Based Low-latency Speech Separation with Asymmetric analysis-Synthesis Window Pair
Tampere University(坦佩雷大学)
通过短对称窗口计算的时频掩蔽或频谱预测通常用于基于低延迟深度神经网络(DNN)的源分离。在本文中,我们提出了一个不对称的分析合成窗口对,它允许训练与目标具有更好的频率分辨率,同时保留低延迟推理适合实时语音增强或辅助听力应用。为了在各种模型类型和数据集上评估我们的方法,我们使用与说话者无关的深度聚类(DC)模型和与说话者相关的掩码推理(MI)模型对其进行评估。我们报告了高达1.5 dB的源失真比(SDR)方面的分离性能的改善,同时保持8 ms的算法延迟。
2021-06-22 cs.SD eess.AS
HiFi-Glot: High-Fidelity Neural Formant Synthesis with Differentiable Resonant Filters
Acoustic Lab, Department of Information Communications Engineering, Aalto University(声学实验室,信息与通信工程系,艾尔沃大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳));Department of Speech, Music and Hearing, KTH Royal Institute of Technology(语音、音乐与听觉系,皇家理工学院)
HiFi-Glot通过可微共振滤波器实现高保真神经元音合成,提供精确的元音控制和自然语音生成。
2026-02-16 cs.SD eess.AS
GANSynth: Adversarial Neural Audio Synthesis
Google AI(谷歌AI)
高效的音频合成是一项固有的困难的机器学习任务,因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型,如WaveNet,以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模,而生成对抗网络(GANs)具有全局潜在条件和高效的并行采样,但难以生成局部相干的音频波形。在本文中,我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究,我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线,并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Sound texture synthesis using convolutional neural networks
Sorbonne Université(索邦大学);IRCAM(声学/音乐研究和协作学院);CNRS(法国国家科学研究中心)
下面的文章介绍了一种新的参数化合成算法的声音纹理的启发,现有的方法用于视觉纹理。使用二维卷积神经网络(CNN),声音信号被修改,直到其对数谱图的特征图的时间互相关类似于目标纹理的时间互相关。我们表明,所得到的合成声音信号是既不同于原来的和高品质的,同时能够再现奇异事件出现在原来的。该过程在时域中执行,丢弃了有害的相位恢复步骤,该步骤通常结束在时频域中执行的合成。它也是简单和灵活的,因为它不需要在合成不同的声音纹理时在几个损失之间进行任何微调。还介绍了一种扩展合成以产生任何长度的声音的方法,之后展示了合成的频谱图和声音信号。我们还讨论了CNN的选择,在我们的合成信号的边界效应和修改算法,以改善其目前的长计算时间的可能方法。
2019-05-09 cs.SD eess.AS
Brain2Speech-Net: Fast and Intelligible Brain-to-Speech Synthesis Without Text Decoding
Johns Hopkins University(约翰霍普金斯大学);Academia Sinica(中央研究院);University of Edinburgh(爱丁堡大学)
该研究针对瘫痪患者言语丧失问题,提出Brain2Speech-Net单阶段框架,通过可微分音素瓶颈与深度HMM对齐器实现无需文本解码的实时可理解语音合成,性能优于级联系统。
2026-09-23 cs.SD eess.AS
Speech Enhancement with Intelligent Neural Homomorphic Synthesis
Tencent Ethereal Audio Lab(腾讯天籁音频实验室)
大多数神经网络语音增强模型通过直接映射傅立叶变换频谱或波形而忽略语音产生数学模型。在这项工作中,我们提出了一个神经源滤波器网络的语音增强。具体地说,我们使用同态信号处理和倒谱分析来获得含噪语音的激励和声道。与传统的信号处理不同,我们使用一个专注递归网络(ARN)模型预测的比率掩模来代替提升分离函数。然后,使用两个卷积注意递归网络(CARN)网络分别预测干净语音的激励和声道。系统的输出是从估计的激励和人声合成的。实验证明,我们提出的方法性能更好,与FullSubNet相比,SI-SNR提高了1.363dB。
2022-10-28 cs.SD eess.AS
Song Data Cleansing for End-to-End Neural Singer Diarization Using Neural Analysis and Synthesis Framework
LY Corporation(LY公司)
针对含合唱的歌曲数据不利于端到端神经歌手分离模型训练的问题,提出基于NANSY++框架的数据清洗方法,将合唱转为非重叠独唱数据,实验显示该方法使分离错误率降低14.8个点。
2024-06-24 cs.CL cs.SD eess.AS
Semi-supervised learning of glottal pulse positions in a neural analysis-synthesis framework
UMR 9912 STMS IRCAM(UMR 9912 声音与音乐科学与技术研究所);Sorbonne University(索邦大学);CNRS(法国国家科学研究中心)
本文研究了最近出现的使用深度神经网络估计声门闭合时刻(GCI)的方法。我们建立在我们以前的方法,专门使用合成语音来创建完美的注释训练数据,并已被证明可以与使用电声门图(EGG)信号的其他训练方法进行比较。在这里,我们介绍了一种半监督训练策略,允许通过使用真实语音信号的分析-合成设置来改进估计器,其中GCI地面实况不存在。通过将从分析仪生成的声门流信号中提取的GCI与从CMU北极数据集上的EGG中提取的GCI进行比较来执行分析仪的评估,其中除了语音之外还记录EGG信号。我们观察到(1.)在我们先前的合成数据库的构建中使用的脉冲形状多样性的人工增加是有益的,(2.)在分析-合成设置中训练GCI网络允许实现GCI分析器的非常显著的改进,(3.)当在分析-合成设置中训练时,附加的正则化策略允许改进最终的分析网络。
2020-03-02 cs.SD eess.AS
The Potential of Neural Speech Synthesis-based Data Augmentation for Personalized Speech Enhancement
Indiana University, Luddy School of Informatics, Computing, and Engineering(印第安纳大学卢迪信息、计算与工程学院)
随着深度学习的进步,语音增强系统受益于大型神经网络架构,并实现了最先进的质量。然而,说话人不可知的方法并不总是可取的,无论是在质量和它们的复杂性,当它们被用于资源受限的环境。一种有前途的方法是个性化语音增强(PSE),这是一个更小,更容易的语音增强问题的小模型来解决,因为它专注于一个特定的测试时的用户。为了实现个性化的目标,同时处理典型的个人数据的缺乏,我们调查的数据增强的神经语音合成(NSS)的基础上的效果。在所提出的方法中,我们表明NSS系统的合成数据的质量很重要,如果它们足够好,则可以使用增强的数据集来改进优于说话者不可知基线的PSE系统。所提出的PSE系统表现出显着的复杂性降低,同时保持增强质量。
2022-11-14 cs.SD eess.AS
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California(南加州大学);National Institute of Informatics(国立信息学研究所)
由于音乐与符号输入的语音合成的相似性以及文语转换(TTS)技术的快速发展,借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中,我们分析了基于TTS的MIDI到音频系统的不足之处,并改进它的特征计算,模型选择和训练策略,旨在合成高度自然的声音。此外,我们进行了广泛的模型评估,通过听力测试,音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成,而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
Neural Steerer: Novel Steering Vector Synthesis with a Causal Neural Field over Frequency and Source Positions
Center for Advanced Intelligence Project (AIP), RIKEN(理化学研究所先进智能项目中心(AIP));Graduate School of Informatics, Kyoto University(京都大学信息学研究科);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院巴黎电信学院LTCI实验室);National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
本文提出 neural steerer,用融合频率、方向、通道间相位差及因果正则化的连续复值神经场插值实测无响导向矢量,减少声源分离与定位所需测量。
2024-03-01 cs.SD eess.AS
NoiseBandNet: Controllable Time-Varying Neural Synthesis of Sound Effects Using Filterbanks
University of York(约克大学);University of Miami(迈阿密大学);Music Artificial Intelligence Algorithms, Inc.(音乐人工智能算法公司)
本文提出 NoiseBandNet,利用滤波器组滤波白噪声实现可控时变音效合成,在多类音效重建中优于 DDSP 滤波噪声基线,并支持变体生成、响度迁移和自定义控制。
2023-07-16 cs.SD eess.AS
Generative Moment Matching Network-based Random Modulation Post-filter for DNN-based Singing Voice Synthesis and Neural Double-tracking
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
本文提出了一种基于生成矩匹配网络(GMMN)的后置滤波器,为基于深度神经网络(DNN)的歌唱声合成提供话语间音高变化。人类歌唱声音的自然音高变化带来了更丰富的音乐体验,并用于双声道,这是一种记录方法,其中同一乐句的两次表演被记录和混合,以创造更丰富,层次感更强的声音。然而,使用传统的基于DNN的方法合成的歌唱声音永远不会变化,因为合成过程是确定性的,并且从一个乐谱仅合成一个波形。为了解决这个问题,我们使用GMMN来模拟自然歌唱声音的音调轮廓的调制频谱的变化,并将随机话语间变化添加到由传统的基于DNN的歌唱声音合成生成的音调轮廓。实验结果表明,1)我们的方法可以提供可感知的话语间的音高变化,同时保持语音质量。我们将我们的方法扩展到双重跟踪,并且评估表明2)基于GMMN的神经双重跟踪比传统的基于信号处理的人工双重跟踪在感知上更接近自然双重跟踪。
2019-02-09 cs.AI cs.LG cs.MM
Neural Harmonic-plus-Noise Waveform Model with Trainable Maximum Voice Frequency for Text-to-Speech Synthesis
National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学)
神经源滤波器(NSF)模型是深度神经网络,它在给定输入声学特征的情况下产生波形。它们使用基于扩张卷积的神经滤波器模块来过滤基于正弦的激励以生成波形,这与WaveNet和基于流的模型不同。其中一种NSF模型称为谐波加噪声NSF(h-NSF)模型,它使用单独的源滤波器和神经滤波器对来生成谐波和噪声波形分量。它在语音质量方面接近WaveNet,同时在生成速度方面更优越。H-NSF模型还可以进一步改进。虽然h-NSF使用预定义的数字低通和高通滤波器合并谐波和噪声分量,但众所周知,分离周期性和非周期性谱带的最大语音频率(MVF)是时变的。因此,我们提出了一个新的h-NSF模型的时变和可训练的MVF。我们将数字低通和高通滤波器参数化为加窗sinc滤波器,并预测它们的截止频率(即,MVF)从输入声学特征中提取。我们的实验表明,新模型可以预测MVF的良好轨迹,并为文本转语音合成系统产生高质量的语音。
2019-08-27 cs.SD eess.AS
On-device neural speech synthesis
Apple(苹果公司)
文本到语音(TTS)合成的最新进展,如Tacotron和WaveRNN,使得有可能通过将两个组件耦合在一起来构建一个完全基于神经网络的TTS系统。这样的系统在概念上是简单的,因为它只需要字素或音素输入,使用梅尔频谱图作为中间特征,并直接生成语音样本。该系统实现了等于或接近自然语音的质量。然而,系统的高计算成本和鲁棒性问题限制了它们在现实世界的语音合成应用和产品中的使用。在本文中,我们提出了关键的建模改进和优化策略,使部署这些模型,不仅在GPU服务器上,而且在移动设备上。该系统可以生成高质量的24 kHz语音,速度比服务器上的实时速度快5倍,比移动设备上的实时速度快3倍。
2021-09-17 cs.CL cs.PF cs.SD
VocBench: A Neural Vocoder Benchmark for Speech Synthesis
Facebook AI(脸书人工智能研究院);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
用于将音频信号的频谱表示转换为波形的神经声码器是语音合成流水线中常用的组件。它专注于从低维表示合成波形,例如Mel频谱图。近年来,已经引入了不同的方法来开发这样的声码器。然而,评估这些新的声码器并将其性能与以前的声码器进行比较变得更具挑战性。为了解决这个问题,我们提出了VocBench,一个基准测试最先进的神经声码器性能的框架。VocBench使用系统的研究来评估共享环境中不同的神经声码器,从而能够在它们之间进行公平的比较。在我们的实验中,我们对所有神经声码器的数据集、训练管道和评估指标使用相同的设置。我们进行了主观和客观的评价,比较性能的每个声码器沿不同的轴。我们的研究结果表明,该框架是能够显示的竞争力和质量的合成样本为每个声码器。VocBench框架可在https://github.com/facebookresearch/vocoder-benchmark上获得。
2021-12-06 cs.CL cs.SD eess.AS
Neural Analysis and Synthesis: Reconstructing Speech from Self-Supervised Representations
Supertone Inc.(Supertone公司);Seoul National University(首尔大学)
我们提出了一个神经分析和合成(NANSY)框架,可以操纵语音,音高和速度的任意语音信号。以往的研究主要集中在利用信息瓶颈来分解分析特征,这通常会导致重构质量不高。我们解决这个问题,提出了一种新的训练策略的基础上信息扰动。其思想是扰动原始输入信号中的信息(例如,共振峰、音调和频率响应),从而让合成网络选择性地采用基本属性来重构输入信号。由于NANSY不需要任何瓶颈结构,因此具有高重建质量和可控性。此外,NANSY不需要与语音数据(诸如文本和说话者信息)相关联的任何标签,而是使用一组新的分析特征,即,wav2vec特征和新提出的音高特征Yingram,允许完全自我监督训练。利用完全自我监督的训练,NANSY可以通过简单地使用多语言数据集进行训练而轻松地扩展到多语言环境。实验结果表明,NANSY在zero-shot语音转换、音高变换和时间尺度修改等应用中,性能都有显著提高。
2021-10-28 cs.AI cs.SD eess.AS