Frequency Tracking: LMS and RLS Applied to Speech Formant Estimation (2000)
介绍几种语音处理算法假设信号在短时间间隔(约20至30毫秒)是固定的。这个假设对几个应用程序都是有效的,但在某些上下文中限制太多。本文研究了自适应信号处理在语音共振峰频率估计中的应用。两个算法的实施和测试。第一种是传统的最小均方(LMS)算法,第二种是传统的递归最小二乘(RLS)算法。共振峰频率是声道的共振频率。语音是激励和声道脉冲响应之间卷积的结果[Rabiner,78],因此需要一种“去卷积”来恢复共振峰。这不是一个容易的问题,因为没有可用的激励信号。共振峰估计有几种算法[Rabiner,78],[Snell,93],[Laprie,94
2018-12-06 cs.SD eess.AS eess.SP
Quantifying and Correlating Rhythm Formants in Speech
Bielefeld University(比勒费尔德大学);Guangdong University of Finance(广东财经大学)
本研究的目的是探索性的:介绍和应用一种新的理论的语音节奏区或节奏共振峰(R-共振峰)。R共振峰是低频(LF)长期频谱(LTS)中的高幅度频率区域,而类似于元音和辅音的短期频谱中的共振峰。举例说明的方法后,R-共振峰分析的非引发提取公众演讲。比较了幅度调制(AM)绝对(整流)信号、幅度包络调制(AEM)信号和频率调制(FM,F0,“基音”)信号三个域的LF-LTS。前两个相关性很好,但第三个与其他两个相关性不一致,可能是由于音调,音高重音和语调的变化。因此,在经验分析中仅使用绝对语音信号的LF LTS。非正式的讨论之间的关系R-共振峰模式和话语结构和语用变量的选择在相同的话语显示了一些趋势R-共振峰功能,从而为未来的研究提供了有益的方向。
2019-09-03 cs.CL cs.SD eess.AS
Formant Estimation and Tracking using Probabilistic Heat-Maps
Technion--Israel Institute of Technology(以色列理工学院);Bar-Ilan University(巴伊兰大学)
共振峰是由人类声道的声学共振产生的频谱最大值,并且其准确估计是最基本的语音处理问题之一。最近的研究表明,可以使用深度学习技术准确地估计这些频率。然而,当呈现来自不同领域的语音时,这些方法表现出性能下降,限制了它们作为通用工具的使用。本文的贡献是提出了一种新的网络架构,表现良好的各种不同的扬声器和语音域。我们提出的模型是由一个共享的编码器,作为输入的频谱图和输出域不变的表示。然后,多个解码器进一步处理该表示,每个解码器负责预测不同的共振峰,同时考虑较低的共振峰预测。我们的模型的一个优点是,它是基于热图,生成共振峰预测的概率分布。结果表明,我们提出的模型更好地代表了信号在各个领域,并导致更好的共振峰频率跟踪和估计。
2022-06-23 cs.SD eess.AS
J-MAC: Japanese multi-speaker audiobook corpus for speech synthesis
The University of Tokyo(东京大学)
在本文中,我们构建了一个日语有声读物语音语料库称为“J-MAC”的语音合成研究。随着阅读式语音合成的成功,其研究对象逐渐转向使用复杂语境的任务。有声读物语音合成就是一个很好的例子,它需要跨句子、表达力等。与阅读式语音不同,有声读物语音中特定于说话人的表达力也成为上下文。为了加强这一研究,我们提出了一种方法来构建一个语料库从有声读物阅读的专业人士。从许多有声读物及其文本中,我们的方法可以自动提取和提炼数据,而不依赖于任何语言。具体来说,我们使用声乐乐器分离来提取干净的数据,连接主义的时间分类来粗略对齐文本和音频,语音活动检测来细化对齐。J-MAC在我们的项目页面中是开源的。我们还进行有声读物语音合成的评估,结果给有声读物语音合成的见解。
2022-01-26 cs.SD eess.AS
Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University(新西伯利亚国立大学)
语音合成在许多实际应用中有着广泛的应用。近年来,语音合成技术发展迅速。然而,合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度,首先提取语音的mel-声谱图并将其转换为真实图像,然后将过平滑的mel-声谱图图像作为输入,使用图像到图像翻译生成对抗网络(GANs)框架生成更真实的mel-声谱图。实验结果表明,该方法大大降低了合成语音的过平滑度,使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion
The University of Tokyo(东京大学)
本文提出一种结合语言语音正则化与伪填充停顿插入的训练方法,通过稳定非填充停顿语音合成并利用预测模型采样伪填充停顿,显著提升了自发语音合成在面对多样化填充停顿插入时的鲁棒性和自然度。
2023-09-19 cs.SD eess.AS
ToneUnit: A Speech Discretization Approach for Tonal Language Speech Synthesis
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出ToneUnit框架,利用声调标注数据作为CTC监督学习声调感知的离散语音单元,以解决中文语音合成中的“声调偏移”问题,并在中英文合成中验证了其有效性。
2024-09-03 cs.SD eess.AS
MASS: Multi-task Anthropomorphic Speech Synthesis Framework
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
文语转换(TTS)合成在人机交互中起着重要的作用。目前,大多数TTS技术都关注语音的自然性,即使语音听起来像人。然而,语音合成技术中的情感表达和说话人身份识别这两个关键任务却被忽略了,这限制了语音合成技术的应用场景。为了使合成的语音更加逼真,扩展应用场景,提出了一种多任务拟人语音合成框架(MASS),该框架可以从文本中合成具有特定情感和说话人身份的语音。MASS框架包括一个基本的TTS模块和两个新的语音转换模块:情感语音转换模块和扬声器语音转换模块。提出了基于卷积残差网络的深度情感语音转换模型(DEVC)和深度说话人语音转换模型(DSVC)。它解决了语音转换过程中的特征丢失问题。模型训练独立于并行数据集,并且能够进行多对多语音转换。在情感语音转换实验、说话人语音转换实验以及多任务语音合成实验中,实验结果表明DEVC和DSVC对语音转换效果良好。多任务语音合成实验的定量和定性评价结果表明,MASS能够有效地合成具有特定文本、情感和说话人身份的语音。
2021-05-10 cs.SD eess.AS
MSceneSpeech: A Multi-Scene Speech Dataset For Expressive Speech Synthesis
Zhejiang University(浙江大学);Huawei Cloud(华为云)
本文提出开源多场景普通话TTS数据集MSceneSpeech,涵盖多说话人和多样韵律,并基于提示机制建立基线,实现用户音色与场景韵律的合成。
2024-07-19 cs.SD eess.AS
Pairwise Evaluation of Accent Similarity in Speech Synthesis
Centre for Speech Technology Research(语音技术研究中心);Department of Linguistics(语言学系)
本研究通过改进主观和客观评估方法,探讨了语音合成中口音相似性的评估,并揭示了现有度量标准在评估少数口音时的局限性。
2025-05-20 cs.CL cs.SD eess.AS
Continuous Wavelet Vocoder-based Decomposition of Parametric Speech Waveform Synthesis
Budapest University of Technology and Economics(布达佩斯技术与经济大学);MTA-ELTE Lendület Lingual Articulation Research Group(MTA-ELTE Lendület 语言发音研究组)
迄今为止,各种语音技术系统都采用了声码器方法,这是一种合成语音波形的方法,在统计参数语音合成的性能中发挥着重要作用。WaveNet是最好的模型之一,几乎类似于人类的声音,必须以非常复杂的神经网络结构以耗时的顺序方式生成波形。
2021-06-12 cs.SD eess.AS
Comprehensive evaluation of statistical speech waveform synthesis
Amazon(亚马逊)
直接预测语音波形的统计TTS系统最近报道了合成质量的改进。这项调查评估亚马逊的统计语音波形合成(SSWS)系统。在多个领域对SSWS进行深入评估,以更好地了解质量的一致性。通过在单独的一组测试人员上重复该程序来确认该评估的结果。最后,分析了SSWS与混合单元选择合成相比的语音错误的性质,以确定SSWS的优点和缺点。对SSWS有更深入的了解使我们能够更好地确定未来工作的重点,以改进这项新技术。
2018-12-11 cs.SD eess.AS
Analysing Shortcomings of Statistical Parametric Speech Synthesis
Amazon(亚马逊)
统计参数语音合成(SPSS)的输出在质量、自然度、说话人相似性和噪声中的可懂度方面仍然明显低于自然语音记录。关于这些缺点的起源有许多假设,但这些假设通常是模糊的,并且没有经验证据可以证实和量化特定缺点如何导致合成语音中的不完美。在整个语音合成文献中,令人惊讶的是,很少有工作致力于识别语音合成中感知上最重要的问题,即使这些知识对于创建更好的SPSS系统具有很大的价值。在本章中,我们分析了SPSS的一些缺点。特别是,我们讨论了声码的问题,并提出了一个通用的方法来量化任何的许多假设和设计选择,阻碍SPSS的效果。该方法是伴随着一个例子,仔细测量和比较声码以及其他因素,如统计模型和它的使用所施加的感知限制的严重程度。
2018-07-28 cs.SD eess.AS
Brain2Speech-Net: Fast and Intelligible Brain-to-Speech Synthesis Without Text Decoding
Johns Hopkins University(约翰霍普金斯大学);Academia Sinica(中央研究院);University of Edinburgh(爱丁堡大学)
该研究针对瘫痪患者言语丧失问题,提出Brain2Speech-Net单阶段框架,通过可微分音素瓶颈与深度HMM对齐器实现无需文本解码的实时可理解语音合成,性能优于级联系统。
2026-09-23 cs.SD eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield(谢菲尔德大学)
针对构音障碍语音数据稀缺问题,本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音,并微调Whisper等ASR基础模型,显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(深圳国际研究生院,清华大学,深圳,中国)
提出3阶段多模态可控语音合成框架,通过监督学习与知识蒸馏优化人脸编码器,并在文本-人脸与文本-语音数据上训练文本编码器,有效提升了生成语音的多样性与质量,优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Fine-grained Style Modeling, Transfer and Prediction in Text-to-Speech Synthesis via Phone-Level Content-Style Disentanglement
The Chinese University of Hong Kong(香港中文大学)
提出了一种新的神经网络系统设计,用于表达性文本转语音(TTS)合成中的细粒度风格建模、转换和预测。通过从音素级语音段的梅尔谱图中提取风格嵌入,实现了细粒度建模。采用协作学习和对抗学习策略,有效地分离语音中的内容和风格因素,缓解风格建模中的“内容泄漏”问题。该系统可用于单说话人情况下的变内容语音风格传输。客观和主观评价的结果表明,我们的系统性能优于其他细粒度的语音风格转移模型,特别是在内容保存方面。通过结合风格预测器,所提出的系统也可以用于文本转语音合成。提供音频样本用于系统演示https://daxintan-cuhk.github.io/pl-csd-speech。
2021-10-08 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University(西北工业大学);Tencent AI Lab(腾讯人工智能实验室)
表达性合成语音对于许多人机交互和音频广播场景至关重要,因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签,要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成,这两种方法都只能学习平均风格,从而忽略了语音韵律的多尺度特性。在本文中,我们提出了一个多尺度情感语音合成框架MssweetTTS,从不同的层次来建模的情感。具体而言,该方法是一个典型的基于注意力的序列到序列模型,并提出了三个模块,包括全球级情感呈现模块(GM),话语级情感呈现模块(UM)和本地级情感呈现模块(LM),分别建模的全球情感类别,话语级情感变化,音节级情感强度。除了从不同层次对情感进行建模之外,所提出的方法还允许我们以不同的方式合成情感语音,即,从参考音频中转移情感,从输入文本中预测情感,以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明,该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外,实验还表明,该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong(香港中文大学)
神经文本到语音(TTS)方法通常需要大量的高质量的语音数据,这使得很难获得这样的数据集与额外的情感标签。在本文中,我们提出了一种新的方法,情感TTS合成的TTS数据集没有情感标签。具体来说,我们提出的方法包括一个跨域语音情感识别(SER)模型和情感TTS模型。首先,我们在SER和TTS数据集上训练跨域SER模型。然后,我们使用情绪标签的TTS数据集预测训练SER模型,建立一个辅助SER任务,并联合训练它与TTS模型。实验结果表明,我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
I2TTS: Image-indicated Immersive Text-to-speech Synthesis with Spatial Perception
University of Science and Technology Beijing(北京科技大学);Tencent AI Lab(腾讯AI实验室);National University of Singapore(新加坡国立大学)
针对现有TTS忽略空间感知的问题,提出I2TTS多模态方法,通过场景提示编码器和混响分类优化技术,在保证语音自然度的同时实现高质量场景空间匹配,推动上下文感知语音合成发展。
2025-09-03 cs.SD eess.AS
Going Retro: Astonishingly Simple Yet Effective Rule-based Prosody Modelling for Speech Synthesis Simulating Emotion Dimensions
audEERING GmbH(audEERING公司);University of Augsburg(奥格斯堡大学);Imperial College London(伦敦帝国学院)
本文提出两个基于SSML的规则模型,通过修改语音合成韵律来模拟情感维度,实验证明简单方法即可有效模拟唤醒度和效价。
2023-07-05 cs.SD eess.AS
Wavebender GAN: An architecture for phonetically meaningful speech manipulation
Division of Speech, Music and Hearing, KTH Royal Institute of Technology(皇家理工学院语音、音乐与听觉系)
深度学习彻底改变了合成语音质量。然而,到目前为止,它对语音科学界的价值不大。新方法不符合该领域从业者要求的可控性要求,例如:在听力测试中使用人工语言刺激。相反,通过使用传统的信号处理方法来实现对这种刺激中的不同语音属性的控制。这限制了操作的范围、准确度和语音质量。此外,听觉伪影有负面影响的方法有效性的结果在言语感知研究。这项工作引入了一个能够通过学习而不是设计来操纵语音属性的系统。该架构学习控制任意语音属性,并利用神经声码器的进展来获得逼真的输出。复制合成和操纵的一小组核心语音功能(音高,共振峰,语音质量的措施)的实验说明了承诺的方法,用于产生语音刺激,具有准确的控制和高感知质量。
2022-02-22 cs.HC cs.LG cs.SD
Speech Synthesis from Text and Ultrasound Tongue Image-based Articulatory Input
Budapest University of Technology and Economics(布达佩斯技术与经济大学);MTA-ELTE Lendület Lingual Articulation Research Group(MTA-ELTE Lendület 舌部发音研究组);University of Szeged(塞格德大学);MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE 人工智能研究组);Eötvös Loránd University(厄特沃什·罗兰大学)
发音信息已被证明在提高基于HMM和基于DNN的文本到语音合成的性能方面是有效的。语音合成的研究传统上集中在文本到语音的转换,当输入是文本或估计的语言表示,和目标是合成语音。然而,在过去十年中已经兴起的研究领域是发音到语音合成(具有无声语音接口SSI的目标应用),当目标是从发音器官的运动的某种表示合成语音时。在本文中,我们扩展了传统的(基于声码器的)DNN-TTS与发音输入,估计从超声舌图像。我们比较了纯文本、纯超声和组合输入。使用来自八个扬声器的数据,我们表明,组合的文本和发音输入可以在有限的数据场景中具有优势,即,它可以增加合成语音的自然度相比,单一的文本输入。此外,我们分析了几个扬声器的超声舌记录,并表明在超声换能器定位的错位可能会对最终的合成性能产生负面影响。
2021-07-05 cs.SD eess.AS
Speech Synthesis and Control Using Differentiable DSP
Sony Europe B.V.(索尼欧洲有限公司);Technical University of Munich(慕尼黑工业大学)
现代文本到语音系统能够产生自然和高质量的语音,但语音包含文本本身无法包含的变化因素(例如音高,节奏,响度,音色)。在这项工作中,我们走向一个语音合成系统,可以通过允许(但不要求)明确控制的各种因素的变化,产生不同的语音再现的文本。我们提出了一种新的神经声码器,提供控制这些因素的变化。这是通过采用可微分数字信号处理(DDSP)(以前只用于音乐而不是语音)来实现的,其暴露了这些变化因素。实验结果表明,该方法能够产生具有真实音色的自然语音,并且可以自由控制语音的变化因素。
2020-10-28 cs.SD eess.AS
High-quality Speech Synthesis Using Super-resolution Mel-Spectrogram
UBTECH Robotics Corporate(优必选机器人公司);Novosibirsk State University(新西伯利亚国立大学)
在语音合成和语音增强系统中,梅尔声谱图在声学表示中需要是精确的。然而,生成的频谱图过于平滑,不能产生高质量的合成语音。受图像到图像转换的启发,我们通过使用基于学习的后置滤波器结合Pix 2 PixHD和ResUnet来解决这个问题,以重建梅尔光谱图以及超分辨率。从由此产生的超分辨率频谱图网络,我们可以生成增强的频谱图,以产生高质量的合成语音。我们提出的模型实现了改进的平均意见分数(MOS)的3.71和4.01比基线结果的3.29和3.84,而使用声码器Griffin-Lim和WaveNet,分别。
2019-12-03 cs.SD eess.AS
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics(国立信息学研究所)
语音合成和从符号输入生成音乐音频在许多方面不同,但有一些相似之处。在这项研究中,我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件,我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统,例如基于样本和基于物理建模的方法。主观实验结果表明,所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声,给定的自然声学特征,从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法,但我们鼓励TTS研究人员测试他们的TTS模型,以完成这项新任务,并提高性能。
2022-02-24 cs.SD eess.AS
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法,但是它们通常在计算上是昂贵的,并且因此不适合于实时实现,特别是在嵌入式环境中。因此,需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中,我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器,通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组,简要概述如下。
2021-01-25 cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院)
针对基于序列到序列的细粒度情感语音合成,提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节,往往导致平均的情感表达交付,并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成,我们引入音素级的情感强度表示,通过学习排名功能来描述本地的情感细节,并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符,我们可以通过其情感描述符(用于传输)或直接从音素级手动标签(用于控制)从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成,该模型也可以从文本中预测音素级的情感表达,不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
SqueezeWave: Extremely Lightweight Vocoders for On-device Speech Synthesis
UC Berkeley(加州大学伯克利分校)
自动语音合成是一项具有挑战性的任务,随着边缘设备开始通过语音与用户交互,该任务变得越来越重要。典型的文本到语音流水线包括声码器,其将中间音频表示转换成音频波形。大多数现有的声码器难以并行化,因为每个生成的样本是以先前的样本为条件的。WaveGlow是这些自回归模型的基于流量的前馈替代方案(Prenger等人,2019年)。然而,虽然WaveGlow可以很容易地并行化,但该模型对于边缘上的实时语音合成来说太昂贵了。本文介绍了SqueezeWave,一个基于WaveGlow的轻量级声码器家族,它可以生成与WaveGlow相似质量的音频,而MAC数减少61 - 214倍。代码、训练模型和生成的音频可在https://github.com/tianrengao/SqueezeWave上公开获取。
2020-01-16 cs.SD eess.AS
Macedonian Speech Synthesis for Assistive Technology Applications
Ss Cyril and Methodius University in Skopje(斯科普里圣西里尔与美多德大学);Melon Inc.(Melon公司)
该研究针对马其顿语低资源辅助沟通场景,在新录制语料上比较参数化与深度学习 TTS 模型,发现参数化方案性能相当且更省资源、可控性更强。
2022-06-18 cs.SD eess.AS
Expressive paragraph text-to-speech synthesis with multi-step variational autoencoder
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出基于多步变分自编码器的段落语音合成系统EP-MSTTS,通过五层级建模可变风格并在段落切分数据上训练,有效提升了有声读物语音合成的表现力。
2024-06-11 cs.SD eess.AS
Msdtron: a high-capability multi-speaker speech synthesis system for diverse data using characteristic information
Xiaomi Corporation(小米公司)
在多说话人语音合成中,由于多个说话人在年龄、说话风格、情感等方面存在很大差异,因此多说话人语音合成的建模能力是一个重要而又具有挑战性的问题。针对这一问题,本文提出了一种高性能的语音合成系统Msdtron,该系统包括:1)设计了一种语音谐波结构的表示方法,称为激励谱图,用于直接指导语音谐波的学习。2)提出了条件选通LSTM(CGLSTM),通过使用说话人信息重新加权LSTM的门来控制文本内容信息通过网络的流动。实验结果表明,在训练多说话人模型时,Mel声谱图的重建误差明显减小,说话人自适应模型的主观评价也有很大提高。
2022-02-11 cs.SD eess.AS
Distinguishable Speaker Anonymization based on Formant and Fundamental Frequency Scaling
Northwestern Polytechnical University(西北工业大学);Huawei Cloud(华为云)
由于社交媒体的出现,互联网上的语音数据呈指数级增长,而这些个人数据的共享引起了明显的安全和隐私问题。缓解这些问题的一种解决方案涉及在共享语音数据之前隐藏说话者身份,也称为说话者匿名化。在我们以前的工作中,我们已经开发了一个自动说话人验证(ASV)无模型匿名框架,以保护说话人隐私,同时保持语音清晰度。虽然该框架在VoicePrivacy 2022挑战中排名第一,但匿名化是不完美的,因为匿名化语音的说话人可识别性恶化。为了解决这个问题,在本文中,我们直接建模的共振峰分布和基频(F0)来表示说话人的身份和匿名的源语音的均匀缩放共振峰和F0。通过直接缩放共振峰和F0,防止了由其他说话者的引入引起的匿名化语音的说话者可识别性降级。实验结果表明,我们提出的框架可以提高说话人的可重复性和显着优于我们以前的框架在语音的独特性。此外,我们提出的方法还可以权衡隐私效用通过使用不同的缩放因子。
2022-11-06 cs.CR cs.SD eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练,提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
Recovering implicit pitch contours from formants in whispered speech
本文提出一种两步机器学习方法,利用去噪自编码器将耳语共振峰转换为正常发声形式,并据此预测隐式音高轮廓,证明耳语共振峰中保留了语调信息。
2023-07-06 eess.AS
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab(Brainekt AI实验室);Khulna University of Engineering and Technology(库尔纳工程技术大学)
语音合成是通过深度学习自动化的具有挑战性的任务之一,也是一种低资源语言,很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本,非常短的句子等。这项工作试图通过将Byakta(有史以来第一个基于开源深度学习的双语(孟加拉语和英语)文本)引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集,用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
Simple and Effective Unsupervised Speech Synthesis
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Meta AI
我们介绍了第一个无监督的语音合成系统的基础上,一个简单的,但有效的配方。该框架利用了最近在无监督语音识别以及现有的基于神经的语音合成的工作。仅使用未标记的语音音频和未标记的文本以及词典,我们的方法使语音合成,而不需要人类标记的语料库。实验表明,无监督的系统可以合成类似的语音监督同行的自然度和可懂度衡量的人的评价。
2022-04-20 cs.CL cs.SD eess.AS
Neural Speech Embeddings for Speech Synthesis Based on Deep Generative Networks
Korea University(高丽大学)
本文介绍脑到语音技术,并系统分析执行语音时的神经特征与神经语音嵌入,探讨其在基于深度生成模型的语音合成中的关键作用。
2024-02-27 cs.AI cs.SD eess.AS
A review-based study on different Text-to-Speech technologies
Leading University(领先大学)
本文通过综述研究梳理了拼接式、共振峰合成、统计参数等传统TTS技术及神经、混合等前沿TTS技术,从语音自然度、系统复杂度、应用适配性维度对比优劣,为相关从业者和用户提供参考。
2023-12-17 cs.CL cs.LG cs.SD
Embedding a Differentiable Mel-cepstral Synthesis Filter to a Neural Speech Synthesis System
Nagoya Institute of Technology(名古屋工业大学);Techno-Speech, Inc.(Techno-Speech公司)
本文将经典的梅尔倒谱合成滤波器集成到现代神经语音合成系统中,实现端到端可控的语音合成。由于梅尔倒谱合成滤波器显式地嵌入在所提出的系统中的神经波形模型中,语音特性和合成语音的音高分别通过频率弯曲参数和基频进行高度控制。我们实现了梅尔倒谱合成滤波器作为一个微分和GPU友好的模块,使所提出的系统中的声学和波形模型,以端到端的方式同时优化。实验表明,该系统提高了语音质量从基线系统保持可控性。实验中使用的核心PyTorch模块将在GitHub上公开。
2022-11-21 cs.CL cs.SD eess.AS
Speech Synthesis as Augmentation for Low-Resource ASR
Raytheon BBN(雷神BBN公司)
语音合成可能是低资源语音识别的关键。数据增强技术已成为现代语音识别训练的重要组成部分。然而,它们是简单的,天真的,很少反映现实世界的条件。与此同时,语音合成技术已经快速地接近实现类人语音的目标。在本文中,我们研究了使用合成语音作为数据增强的一种形式,以降低构建语音识别器所需的资源的可能性。我们使用三种不同的合成器进行实验:统计参数合成器、神经合成器和对抗合成器。我们的发现很有趣,并为未来指明了新的研究方向。
2020-12-23 cs.CL cs.SD eess.AS
LPCNet: Improving Neural Speech Synthesis Through Linear Prediction
Mozilla;Google LLC(谷歌有限责任公司)
神经语音合成模型最近已经证明了为文本到语音和压缩应用合成高质量语音的能力。这些新模型通常需要强大的GPU来实现实时操作,因此能够降低其复杂性将为许多新应用开辟道路。我们提出了LPCNet,这是一种WaveRNN变体,将线性预测与递归神经网络相结合,可显着提高语音合成的效率。我们证明,LPCNet可以实现显着更高的质量比WaveRNN相同的网络规模和高质量的LPCNet语音合成是可实现的复杂度低于3 GFLOPS。这使得在低功耗设备(如嵌入式系统和手机)上部署神经合成应用程序变得更加容易。
2019-02-19 cs.LG cs.SD eess.AS
Time-Varying Quasi-Closed-Phase Analysis for Accurate Formant Tracking in Speech Signals
Aalto University(阿尔托大学);Samsung Research Korea(三星韩国研究院);University of Arizona(亚利桑那大学)
提出一种时变准闭相(TVQCP)单阶段共振峰跟踪方法,结合时间加权准闭相分析、L1优化和长时间窗时变线性预测,在合成和自然语音上优于现有工具。
2023-08-31 cs.CL cs.SD eess.AS
Classifying Rhoticity of /r/ in Speech Sound Disorder using Age-and-Sex Normalized Formants
提出基于年龄与性别归一化共振峰和门控循环网络的 /r/ 卷舌性分类方法,在 PERCEPT-R 语料库上优于倒谱特征且不受年龄性别显著影响。
2023-05-25 eess.AS
Speech to Speech Synthesis for Voice Impersonation
University of California San Diego(加州大学圣迭戈分校)
本文提出STSSN模型,通过融合语音识别与合成技术,实现语音到语音风格迁移,用于语音模仿任务,实验表明其生成逼真音频效果优于生成对抗模型。
2026-02-13 cs.LG cs.SD eess.AS
Speaker-independent neural formant synthesis
提出一种由共振峰频率等少量语音参数驱动的说话人无关神经合成方法,通过预测梅尔频谱图并结合 WaveNet 或 HiFi-GAN 声码器生成高质量、可控语音。
2023-06-02 eess.AS
Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for Personalized Spontaneous Speech Synthesis
The University of Tokyo(东京大学)
本文通过实证研究探讨个性化自发语音合成中的填充停顿问题,提出结合非个性化外部填充停顿预测器的合成方法,揭示填充停顿位置与词语分别影响自然度和个体性的关键规律。
2023-09-19 cs.CL cs.SD eess.AS
Review of end-to-end speech synthesis technology based on deep learning
Xi'an Jiaotong University(西安交通大学)
语音合成技术作为现代人机交互系统中不可或缺的一部分,帮助用户更方便、更直观地获得智能机器的输出,因而受到越来越多的关注。由于传统语音合成技术复杂度高、效率低的局限性,目前的研究热点是基于深度学习的端到端语音合成技术,它具有更强大的建模能力和更简单的流水线。它主要由三个模块组成:文本前端、声学模型和声码器。本文对这三部分的研究现状进行了综述,并对各种方法按侧重点进行了分类和比较。此外,本文还总结了可用于语音合成任务的英语、汉语等语言的开源语音语料库,并介绍了一些常用的主观和客观语音质量评价方法。最后指出了未来的研究方向。
2021-04-20 cs.CL cs.SD eess.AS
Novel Speech Features for Improved Detection of Spoofing Attacks
Indian Institute of Technology(印度理工学院)
如今,基于语音的生物识别系统(如自动说话人验证(ASV))非常容易受到冒名顶替的欺骗攻击。随着近年来各种语音转换(VC)和语音合成(SS)算法的发展,这些欺骗攻击可能对当前最先进的ASV系统构成严重的潜在威胁。为了阻止这种攻击并增强ASV系统的安全性,开发有效的反欺骗算法是必不可少的,该算法可以将合成或转换的语音与自然或人类语音区分开。在本文中,我们提出了一套新的语音特征检测欺骗攻击。建议的功能计算使用替代频率弯曲技术和共振峰特定的块变换的滤波器组日志能量。我们已经对ASVspoof 2015语料库中的几种合成语音数据评估了现有和拟议的功能。实验结果表明,本文提出的方法在各种欺骗攻击检测任务中的性能优于现有方法。本文研究的技术也可以准确地分类自然和合成语音的平等出错率(EER)为0%已经实现。
2016-03-14 cs.CR cs.SD
Neural Analysis and Synthesis: Reconstructing Speech from Self-Supervised Representations
Supertone Inc.(Supertone公司);Seoul National University(首尔大学)
我们提出了一个神经分析和合成(NANSY)框架,可以操纵语音,音高和速度的任意语音信号。以往的研究主要集中在利用信息瓶颈来分解分析特征,这通常会导致重构质量不高。我们解决这个问题,提出了一种新的训练策略的基础上信息扰动。其思想是扰动原始输入信号中的信息(例如,共振峰、音调和频率响应),从而让合成网络选择性地采用基本属性来重构输入信号。由于NANSY不需要任何瓶颈结构,因此具有高重建质量和可控性。此外,NANSY不需要与语音数据(诸如文本和说话者信息)相关联的任何标签,而是使用一组新的分析特征,即,wav2vec特征和新提出的音高特征Yingram,允许完全自我监督训练。利用完全自我监督的训练,NANSY可以通过简单地使用多语言数据集进行训练而轻松地扩展到多语言环境。实验结果表明,NANSY在zero-shot语音转换、音高变换和时间尺度修改等应用中,性能都有显著提高。
2021-10-28 cs.AI cs.SD eess.AS
A$^3$T: Alignment-Aware Acoustic and Text Pretraining for Speech Synthesis and Editing
University of Waterloo(滑铁卢大学);Baidu Research USA(百度美国研究院);Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
最近,语音表示学习已经改善了许多与语音相关的任务,例如语音识别、语音分类和语音到文本的翻译。然而,所有上述任务都是在语音理解的方向上,但对于相反的方向,语音合成,由于生成高质量语音的挑战性,表征学习的潜力尚未实现。为了解决这个问题,我们提出了我们的框架,Alignment-Aware Acoustic-Text Pretraining(A $^3$ T),它在训练过程中使用文本输入和声学文本对齐来重建掩蔽的声学信号。通过这种方式,预训练的模型可以生成高质量的重建谱图,其可以直接应用于语音编辑和不可见说话人TTS。实验结果表明,$^3$ T在语音编辑方面优于SOTA模型,并且在没有外部说话人确认模型的情况下改善了多说话人语音合成。
2022-06-18 cs.CL cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University(马斯特里赫特大学);Meta AI;Johns Hopkins University(约翰斯·霍普金斯大学)
语音到语音翻译(S2 ST)将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音(iTTS)模型已经显示出很大的质量改进,但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中,我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后,我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量,然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒,而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
End to End Bangla Speech Synthesis
Shahjalal University of Science & Technology(沙赫贾拉尔科技大学)
文语转换(TTS)系统是一个系统,语音合成从一个给定的文本按照任何特定的方法。级联合成、基于隐马尔可夫模型(HMM)的合成、具有多个构建块的基于深度学习(DL)的合成等是用于实现TTS系统的主要方法。在这里,我们将介绍我们基于深度学习的端到端孟加拉语语音合成系统。它已经实现了最少的人工注释,只使用3个主要组件(编码器,解码器,后处理网络,包括波形合成)。它不需要任何前端预处理器和G2 P转换器。我们的模型已经用语音平衡的20小时单说话者语音数据进行了训练。它获得了3.79的平均意见得分(MOS)的规模为5.0的主观评价和0.77的感知评价的语音质量(PESQ)得分的规模为[-0.5,4.5]的客观评价。它的表现优于所有现有的非商业最先进的孟加拉语TTS系统的基础上自然。
2021-08-01 cs.MM cs.SD eess.AS
Neural Speech Synthesis on a Shoestring: Improving the Efficiency of LPCNet
Amazon Web Services(亚马逊云科技)
神经语音合成模型可以合成高质量的语音,但是通常需要高计算复杂度来这样做。在以前的工作中,我们介绍了LPCNet,它使用线性预测来显着降低神经合成的复杂性。在这项工作中,我们进一步提高了LPCNet的效率-针对算法和计算改进-使其可用于各种设备。我们证明了合成质量的提高,同时操作速度提高了2.5倍。由此产生的开源LPCNet算法可以在大多数现有手机上执行实时神经合成,甚至可以在某些嵌入式设备中使用。
2022-02-22 cs.LG cs.SD eess.AS