Non-Linear Speech coding with MLP, RBF and Elman based prediction
Escola Universitària Politècnica de Mataró(马塔罗理工大学学院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出了一种基于多层感知器、径向基函数和Elman网络相结合的非线性标量预测器。该系统应用于ADPCM后向方案中的语音编码。这些预测因子的组合改善了单独一个预测因子的结果。本文还对这三种神经网络进行了语音预测的比较研究。
2022-04-05 cs.SD eess.AS
Predictive-Generative Drift Decomposition for Speech Enhancement and Separation
MERL Cambridge, MA, USA(MERL剑桥马萨诸塞州美国)
本文提出一种结合预测与生成模型的框架,通过分解漂移动态提升语音增强和分离性能,采用统一方法适用于多种任务和降质场景。
2026-11-10 cs.LG eess.AS
Deep MOS Predictor for Synthetic Speech Using Cluster-Based Modeling
KAIST(韩国科学技术院)
虽然深度学习在语音合成和语音转换方面取得了令人印象深刻的进展,但对合成语音的评估仍然由人类参与者进行。最近的几篇论文提出了基于深度学习的评估模型,并显示了自动化语音质量评估的潜力。为了改进先前提出的评估模型,MOSNet,我们提出了三个模型,使用基于集群的建模方法:使用全局质量令牌(GQT)层,使用编码层,并使用它们两者。我们使用2018年语音转换挑战赛的评估结果进行实验,以预测合成语音的平均意见得分以及合成语音与参考语音之间的相似度得分。结果表明,GQT层有助于通过自动学习任务的有用质量标记来更好地预测人类评估,编码层有助于更精确地利用帧级分数。
2020-08-09 cs.LG cs.SD eess.AS
When Does Predictor-Based RL Align with Human Perception? A Study of Subjective Rewards in Codec-Based Speech Language Models
Spellbrush(斯佩尔布拉什公司)
本研究探究基于编解码器的语音语言模型中,预测器式强化学习与人类感知的对齐条件,采用GRPO与CER区间约束,发现单奖励针对性提升对应指标,8最佳重排序性能接近GRPO,为多奖励语音后训练的奖励选择提供诊断方法。
2026-09-01 cs.CL cs.SD eess.AS
Ensemble prosody prediction for expressive speech synthesis
针对文本转语音中单一韵律模型难以适用所有输入的问题,提出基于方差的集成韵律预测方法,通过组合不同架构或参数的模型并自动选择,显著优于任何单一模型。
2023-04-03 eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室)
本文将自监督语音表征用于非侵入式听障语音可懂度预测,在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能,并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
Diverse and Expressive Speech Prosody Prediction with Denoising Diffusion Probabilistic Model
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对现有语音韵律预测器单模态、多样性不足的问题,提出基于去噪扩散概率模型的新型韵律预测器,在参数更少的情况下实现了更优的表现力与多样性。
2023-10-07 cs.SD eess.AS
Neural Predictor for Black-Box Adversarial Attacks on Speech Recognition
Sony(索尼)
最近的工作已经揭示了自动语音识别(ASR)模型对对抗性示例(AE)的脆弱性,即,在音频信号的转录中引起错误的小扰动。因此,研究音频对抗攻击是迈向强大ASR的第一步。尽管在攻击音频示例方面取得了重大进展,但黑盒攻击仍然具有挑战性,因为只提供了传输的硬标签信息。由于这种有限的信息,现有的黑盒方法通常需要过多的查询来攻击单个音频示例。在本文中,我们介绍了NP-攻击,神经预测为基础的方法,逐步演变的搜索对一个小的对抗扰动。给定扰动方向,我们的神经预测器直接估计导致错误转录的最小扰动。特别是,它使NP攻击能够通过基于梯度的优化准确地学习有希望的扰动方向。实验结果表明,NP攻击实现了竞争力的结果与其他国家的最先进的黑盒对抗攻击,而需要显着较少的查询数量。NP-Attack的代码可以在网上找到。
2022-03-18 cs.AI cs.LG cs.SD
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield(谢菲尔德大学)
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中,我们利用一个无监督的不确定性估计方法来预测语音清晰度,它不需要清晰度标签或参考信号来训练预测器。我们的实验表明,国家的最先进的端到端的自动语音识别(ASR)模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估,结果表明,ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
FlexSpeech: Towards Stable, Controllable and Expressive Text-to-Speech
针对语音生成中稳定性与自然度难以兼顾的问题,提出由自回归时长预测器和非自回归声学模型组成的FlexSpeech,实现零样本TTS的SOTA效果,且仅需约100样本即可快速稳定风格迁移。
2025-05-15 eess.AS
APG-MOS: Auditory Perception Guided-MOS Predictor for Synthetic Speech
Beijing Normal University(北京师范大学)
提出APG-MOS模型,通过整合基于生物听觉机制的感知模块与RVQ语义失真建模,并利用残差交叉注意力与渐进式学习实现多模态融合,显著提升了合成语音MOS预测与人类判断的一致性。
2025-04-29 cs.AI cs.SD eess.AS
Utterance-level neural confidence measure for end-to-end children speech recognition
The Chinese University of Hong Kong(香港中文大学)
置信度是自动语音识别(ASR)系统在实际应用中的一个重要性能指标。本文研究了端到端自动语音识别(E2 E ASR)中的话语级神经置信度(NCM)。E2 E系统采用联合CTC关注Transformer架构。NCM的预测被公式化为二元分类的任务,即,基于在ASR解码过程期间获取的一组预测器特征来接受/拒绝输入话语。调查的重点是评估和比较的预测功能,来自不同的内部和外部模块的E2 E系统的效力。实验进行了儿童语音,其中国家的最先进的ASR系统表现出不满意的性能和鲁棒的置信度是特别有用的。值得注意的是,与语音的声学信息相关的预测特征在估计置信度方面比与语言信息相关的预测特征起着更重要的作用。N-best score特征的性能明显优于single-best特征。研究还表明,EER和AUC指标不适合评估具有显著性能差距的不匹配ASR的NCM。
2021-09-16 cs.SD eess.AS
On the robustness of non-intrusive speech quality model by adversarial examples
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
最近已经表明,基于深度学习的模型在语音质量预测上是有效的,并且可以在各种方面优于传统的度量。虽然网络模型有可能成为复杂人类听觉感知的替代品,但它们可能包含预测的不稳定性。这项工作表明,深度语音质量预测器可能容易受到对抗性扰动的影响,其中与语音输入相比,预测可能会因小至$-30$ dB的不明显扰动而急剧变化。除了暴露深度语音质量预测因子的脆弱性外,我们还进一步探索和确认对抗训练对于增强模型鲁棒性的可行性。
2022-11-11 cs.LG cs.SD eess.AS
LongFNT: Long-form Speech Recognition with Factorized Neural Transducer
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
传统的自动语音识别(ASR)系统通常只关注单个语音,而没有考虑到具有有用历史信息的长语音,这在实际应用中更加实用。在我们的初步实验中,简单地关注香草神经转换器模型的更长转录历史没有显示出太大的增益,因为预测网络不是纯语言模型。这促使我们利用因子化的神经转换器结构,包含一个真正的语言模型,词汇预测。我们提出了{LongFNT-Text}架构,该架构将词汇级别的长形式特征直接与词汇预测器的输出融合,然后将标记级别的长形式特征嵌入词汇预测器中,并使用预训练的上下文编码器RoBERTa进一步提高性能。此外,我们提出了{LongFNT}架构,通过扩展的长形式的语音到原始的语音输入,并取得了最佳的性能。在LibriSpeech和GigaSpeech语料库上验证了LongFNT方法的有效性,相对单词出错率~(WER)分别降低了19%和12%。
2022-11-17 cs.CL cs.SD eess.AS
A Variational-Flow Analysis of Diffusion-Based Speech Enhancement under Noise-Power Mismatch
University of Maryland, College Park(马里兰大学帕克分校)
针对扩散语音增强中SI-SDR退化曲线在训练噪声幅度处的非光滑转折,通过变分流分析将非光滑性定位到预测器阶段,并给出参数灵敏度的精确分解。
2026-07-10 eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield(谢菲尔德大学);TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室)
本文识别了感知度量驱动的语音增强网络中的幻觉问题,即增强系统通过欺骗语音质量预测器来引入幻觉,并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
Enhancing Listened Speech Decoding from EEG via Parallel Phoneme Sequence Prediction
University of Southern California(南加州大学)
本文提出在 EEG 所听语音解码中加入并行辅助音素预测器,使模型可同时输出语音波形与文本音素序列,并在两种模态上超越以往方法。
2025-01-08 cs.AI cs.CL eess.AS
The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern Text-to-Speech
本研究检验无参考TTS质量指标作为评估器与奖励的可靠性,发现其在干净音频上无法可靠追踪人类偏好,而组合指标作为奖励更稳健,并诊断了单一分数失效的原因。
2026-09-15 cs.CL cs.LG cs.SD
WhiSQA: Non-Intrusive Speech Quality Prediction Using Whisper Encoder Features
ConnexAI;School of Computer Science, The University of Sheffield(计算机科学学院,谢菲尔德大学);South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学);Centre for Doctoral Training in Speech and Language Technologies (SLT) and their Applications(语音与语言技术博士培训中心及其应用)
提出基于Whisper编码器特征的非侵入式语音质量预测器WhiSQA,在NISQA测试集上优于现有方法,且域适应性显著强于DNSMOS。
2025-08-04 cs.LG cs.SD eess.AS
AdaSpeech 3: Adaptive Text to Speech for Spontaneous Style
Microsoft(微软)
虽然最近的文本到语音(TTS)模型在合成阅读风格(例如,有声读物)语音,但是合成自发式语音(例如,播客或对话),主要是因为两个原因:1)缺乏用于自发语音的训练数据; 2)难以对自发语音中的填充停顿(um和uh)和不同节奏进行建模。在本文中,我们开发了AdaSpeech 3,这是一个自适应TTS系统,可以微调训练有素的阅读式TTS模型,用于自发式语音。具体来说,1)为了在文本序列中适当地插入填充停顿(FP),我们在TTS模型中引入了FP预测器; 2)为了对变化的节奏建模,我们引入了混合专家模型的时长预测器(MoE),它包含三个分别负责生成快、中、慢语音的专家,并对时长预测器和音高预测器进行微调以适应节奏; 3)为了适应其他说话人的音色,我们在解码器中对一些参数进行了微调,只需要少量的语音数据。为了解决训练数据缺乏的问题,我们挖掘了一个自发语音数据集,以支持我们的研究工作,并促进未来的研究自发TTS。实验表明,AdaSpeech 3合成的语音具有自然的FP和节奏的自发风格,并取得了更好的MOS和SMOS分数比以前的自适应TTS系统。
2021-07-06 cs.CL cs.LG cs.SD
Transducer-Llama: Integrating LLMs into Streamable Transducer-based Speech Recognition
Meta AI;University of Cambridge(剑桥大学)
本文提出Transducer-Llama架构,通过将LLM集成到Factorized Transducer模型实现流式ASR,并采用弱到强LM替换与MWER微调策略,在LibriSpeech上较基线最高降低32%词错率。
2024-12-21 cs.CL eess.AS
TalkNet: Fully-Convolutional Non-Autoregressive Speech Synthesis Model
我们提出了TalkNet,一个用于语音合成的卷积非自回归神经模型。该模型由两个前馈卷积网络组成。第一个网络预测字素持续时间。通过根据预测的持续时间重复每个符号来扩展输入文本。第二个网络从扩展的文本中生成梅尔频谱图。为了训练字形持续时间预测器,我们使用预先训练的基于连接主义时间分类(CTC)的语音识别模型将字形持续时间添加到训练数据集。显式持续时间预测消除了单词跳过和重复。在LJSpeech数据集上的实验表明,语音质量几乎与自回归模型相匹配。该模型非常紧凑-它有10.8M个参数,几乎比目前最先进的文本到语音模型少3倍。非自回归架构允许快速训练和推理。
2020-05-12 eess.AS
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group(微软语音组)
神经传感器由于其自然的流式传输能力,成为目前最流行的语音识别端到端模型。然而,它是具有挑战性的,以适应它与纯文本数据。因子化神经传感器(FNT)模型的提出,以减轻这个问题。与标准神经传感器模型相比,FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是:在训练过程中增加CTC准则,在自适应过程中增加KL发散损失,使用预训练的语言模型来播种词汇预测器,以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外,使用词汇预测器的n-gram插值极大地提高了自适应速度,具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
A Neural Vocoder with Hierarchical Generation of Amplitude and Phase Spectra for Statistical Parametric Speech Synthesis
本文提出了一种神经元声码器HiNet,它通过对幅度谱和相位谱的分层预测,从声学特征中重构语音波形。与现有的WaveNet、SampleRNN和WaveRNN等直接使用单个神经网络产生波形样本的神经声码器不同,HiNet声码器由幅度谱预测器(ASP)和相位谱预测器(PSP)组成。ASP是一个简单的DNN模型,它从声学特征预测对数振幅谱(LAS)。预测的LAS被发送到PSP中用于相位恢复。考虑到相位扭曲问题和相位建模的困难,PSP是通过级联一个神经源滤波器(NSF)波形发生器和相位提取器。我们还将生成对抗网络(GANs)引入ASP和PSP。最后,将ASP和PSP的输出结合起来,通过短时傅立叶合成来重构语音波形。由于两种预测器都没有自回归结构,HiNet声码器可以高效地产生语音波形。客观和主观的实验结果表明,我们提出的HiNet声码器实现了更好的自然度比传统的STRAIGHT声码器,一个16位的WaveNet声码器使用开源实现和NSF声码器具有类似的复杂度的PSP,并获得类似的性能与16位的WaverRNN声码器的重建语音。我们还发现,在一定程度上,HiNet的性能是不敏感的神经波形发生器在PSP中的复杂性。在简化其模型结构后,使用GPU生成16kHz语音的1s波形所消耗的时间可以从0.34s进一步减少到0.19s,而不会显着降低质量。
2020-02-05 cs.SD eess.AS
Mixer-TTS: non-autoregressive, fast and compact text-to-speech model conditioned on language model embeddings
本文介绍了Mixer-TTS,一个非自回归模型的梅尔频谱生成。该模型基于适用于语音合成的MLP混合器架构。基本的Mixer-TTS包含音高和持续时间预测器,后者使用无监督的TTS对齐框架进行训练。除了基本模型之外,我们还提出了扩展版本,该版本还使用了来自预训练语言模型的令牌嵌入。基本Mixer-TTS及其扩展版本分别实现了4.05和4.11的平均意见得分(MOS),而原始LJSpeech样本的MOS为4.27。这两个版本都有少量的参数,并且与具有类似质量的模型相比,能够实现更快的语音合成。
2021-10-22 eess.AS
Speech Quality-Based Localization of Low-Quality Speech and Text-to-Speech Synthesis Artefacts
Paderborn University(帕德博恩大学)
本文提出通过语句级语音质量预测器的正则化方法,减少帧级随机性,并应用于检测合成伪影和部分伪装场景。
2026-01-29 eess.AS
Controllable Context-aware Conversational Speech Synthesis
Tencent AI Lab(腾讯人工智能实验室)
在口语会话中,经常会出现充满停顿和停顿的自发行为。会话伙伴倾向于使他们的言语特征与他们的对话者一致,这被称为夹带。为了产生类似人类的对话,我们提出了一个统一的可控自发会话语音合成框架来模拟上述两种现象。具体来说,我们使用显式标签来表示两个典型的自发行为充满了声学模型中的暂停和延长,并开发了一个基于神经网络的预测器来预测这两个行为的发生从文本。我们随后开发了一种基于预测器的算法来控制行为的出现频率,使合成的语音从不流利到更不流利。为了在声学水平上对语音夹带进行建模,我们利用上下文声学编码器从当前语音合成的先前语音条件中提取全局风格嵌入。此外,由于当前和先前的话语属于对话中的不同说话者,我们添加了一个域对抗训练模块,以消除声学编码器中的说话者相关信息,同时保持风格相关信息。实验结果表明,该方法可以合成真实的会话,并自然地控制自发行为的发生。
2021-06-21 cs.SD eess.AS
Multi-speaker Emotion Conversion via Latent Variable Regularization and a Chained Encoder-Decoder-Predictor Network
Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种基于链式编码-解码-预测神经网络结构的语音情感转换方法。编码器构建了一个潜在的嵌入的基频(F0)的轮廓和频谱,我们正则化使用大尺度映射(LDDMM)注册框架。解码器使用该嵌入来预测目标情感类中的修改的F0轮廓。最后,预测器使用原始谱和修改的F0轮廓来生成对应的目标谱。我们的联合目标函数同时优化三个模型块的参数。我们表明,我们的方法在情感转换的显着性和重新合成语音的质量方面都优于现有的最先进方法。此外,LDDMM正则化允许我们的模型转换训练中不存在的短语,从而为样本外泛化提供证据。
2020-08-10 cs.LG cs.SD eess.AS
Voice Conversion for Likability Control via Automated Rating of Speech Synthesis Corpora
National Institute of Advanced Industrial Science and Technology (AIST)(日本先进工业科学和技术研究所);Keio University(庆应大学);The University of Tokyo(东京大学)
本文提出一种语音转换方法,通过训练好感度预测器自动标注大型语音合成语料库,在保留说话人身份和语言内容的同时有效控制语音好感度,实验验证了其有效性。
2025-07-02 cs.SD eess.AS
Unsupervised Face-Masked Speech Enhancement Using Generative Adversarial Networks With Human-in-the-Loop Assessment Metrics
针对佩戴口罩导致的语音质量下降问题,提出HL-StarGAN无监督增强方法,引入含人类评估的MaskQSS模块,在FMVD数据库上优于现有方法。
2024-07-20 eess.AS eess.SP
StrengthNet: Deep Learning-based Emotion Strength Assessment for Emotional Speech Synthesis
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,情感语音合成取得了显著的成绩。通过情感属性排序函数得到强度描述子,可以灵活地控制合成语音的情感强度。然而,在特定数据上训练的排名函数具有较差的泛化能力,这限制了其在更现实情况下的适用性。在本文中,我们提出了一个基于深度学习的情感强度评估网络,用于强度预测,称为StrengthNet。我们的模型符合多任务学习框架的结构,其中包括一个声学编码器,强度预测器和一个辅助情感预测器。采用数据增强策略提高模型的泛化能力。实验表明,所提出的StrengthNet的预测情感强度与可见和不可见语音的地面真实分数高度相关。我们的代码可在https://github.com/ttslr/StrengthNet上获得。
2021-10-08 cs.AI cs.SD eess.AS
Text-To-Speech with Chain-of-Details: modeling temporal dynamics in speech generation
Canva research(Canva研究)
本文提出Chain-of-Details框架,通过多阶段逐步细化时间细节,实现更自然的语音合成,相比现有方法参数更少。
2026-04-29 eess.AS
Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification
Indiana University(印第安纳大学)
训练个性化的语音增强模型本质上是一个无镜头学习问题,由于隐私的限制和有限的访问从目标用户的无噪声语音。如果测试时用户有大量未标记的嘈杂语音,则可以使用自监督学习来训练个性化的语音增强模型。模型个性化的一种直接方法是使用目标说话者的嘈杂录音作为伪源。然后,伪去噪模型学习去除注入的训练噪声并恢复伪源。然而,这种方法是不稳定的,因为它取决于伪源的质量,这可能是太嘈杂。作为补救措施,我们提出了一个改进的自我监督的方法,通过数据净化。我们首先训练一个SNR预测器模型来估计伪源的逐帧SNR。然后,预测器的估计被转换成权重,该权重调整伪源对训练个性化模型的逐帧贡献。我们的经验表明,建议的数据净化步骤提高了可用性的扬声器特定的噪声数据的背景下,个性化的语音增强。在不依赖任何干净的语音记录或说话者嵌入的情况下,我们的方法可以被视为隐私保护。
2021-04-05 cs.LG cs.SD eess.AS
Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning
Inner Mongolia University(内蒙古大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Imperial College London(帝国理工学院)
在情感文本到语音和语音转换等应用中,需要对语音进行情感分类和情感强度评估。提出了基于支持向量机(SVM)的情感属性排序函数,用于情感语音语料的情感强度预测。然而,训练的排序函数不能推广到新的领域,这限制了应用范围,特别是对于域外或看不见的语音。在本文中,我们提出了一个数据驱动的深度学习模型,即StrengthNet,以提高对可见和不可见语音的情感强度评估的泛化能力。这是通过融合来自各个领域的情感数据来实现的。我们遵循一个多任务学习网络架构,其中包括一个声学编码器,一个强度预测器,和一个辅助情感预测器。实验表明,所提出的StrengthNet的预测的情感强度是高度相关的地面真实分数为可见和不可见的语音。我们在https://github.com/ttslr/StrengthNet上发布源代码。
2022-06-15 cs.LG cs.SD eess.AS
ProsoSpeech: Enhancing Prosody With Quantized Vector Pre-training in Text-to-Speech
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
表达型文本转语音(TTS)是近年来的研究热点,主要研究语音中的韵律建模。韵律建模存在几个挑战:1)在先前的韵律建模工作中使用的提取的音高存在不可避免的错误,这损害了韵律建模; 2)韵律的不同属性(例如,音高、时长和能量)相互依赖,共同产生自然韵律; 3)由于韵律的高度可变性和用于TTS训练的高质量数据的有限量,韵律的分布不能完全成形。为了解决这些问题,我们提出了ProsoSpeech,它使用在大规模未配对和低质量文本和语音数据上预训练的量化潜在向量来增强韵律。具体来说,我们首先介绍了一个字级韵律编码器,它量化的低频段的语音和压缩的韵律属性的潜在韵律向量(LPV)。然后,我们介绍了一个LPV预测器,预测LPV给定的词序列。我们在大规模文本和低质量语音数据上预训练LPV预测器,并在高质量TTS数据集上对其进行微调。最后,我们的模型可以生成表达语音的预测LPV的条件。实验结果表明,与基线方法相比,ProsoSpeech可以生成具有更丰富韵律的语音。
2022-02-16 cs.CL cs.SD eess.AS
Stochastic Pitch Prediction Improves the Diversity and Naturalness of Speech in Glow-TTS
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室)
本文针对零样本多说话人 TTS 中语音多样性不足的问题,提出在 Glow-TTS 中引入随机流基频预测器显式建模每个说话人的音高轮廓分布,并在推理时以生成音高为条件,显著提升了语音的自然度和多样性。
2023-05-28 cs.SD eess.AS
Conditioning and Sampling in Variational Diffusion Models for Speech Super-Resolution
Queen Mary University of London(伦敦玛丽女王大学)
本文提出一种通过反向采样过程传递低分辨率音频信息的新颖采样算法,可直接替换普通采样并显著提升语音超分辨率性能,且与无条件扩散模型结合后可推广到多种设置,在VCTK Multi-Speaker基准上取得最先进结果。
2024-10-20 cs.SD eess.AS eess.SP
iEmoTTS: Toward Robust Cross-Speaker Emotion Transfer and Control for Speech Synthesis based on Disentanglement between Prosody and Timbre
生成具有特定类型情感的语音的能力是人机交互的许多应用所期望的。跨说话人情感转移是一种常见的方法来产生情感语音时,语音与情感标签的目标说话人是不能用于模型训练。本文提出了一种新颖的跨说话人情感传递系统,命名为iPhoneTTS。该系统由情感编码器、韵律预测器和音色编码器组成。情感编码器从输入语音的梅尔频谱图中提取情感类型的标识以及相应的情感强度。情感强度由输入话语携带该情感的后验概率来测量。韵律预测器用于为情感传递提供韵律特征。木材编码器为系统提供与木材相关的信息。与其他研究不同的是,它的研究重点是将说话人和说话风格因素分开,而语音合成是通过将韵律和音色分开来实现跨说话人的情感传递。韵律被认为是与情感相关的语音特征的主要载体,而音色则是说话人识别的基本特征。Zero-shot情感转移,即在模型训练中看不到目标说话人的语音,也是通过iPhoneTTS实现的。进行了大量的主观评价实验。实验结果表明,与其他最近提出的跨说话人情感传递系统相比,iPhoneTTS的有效性。实验结果表明,人工语音合成系统能够产生具有指定情感类型和可控情感强度的语音。在适当的信息瓶颈容量下,语音合成TTS能够有效地将情感信息传递给新的说话人。音频样本可在https://patrick-g-zhang.github.io/iemotts/上公开获取
2023-01-04 cs.HC eess.AS
Detection of Prosodic Boundaries in Speech Using Wav2Vec 2.0
语音中的韵律边界对语音合成和音频标注都有重要意义。在本文中,我们应用wav2vec 2.0框架的任务检测这些边界的语音信号,只使用声学信息。我们测试了一组录音的捷克广播新闻,由语音专家标记的方法,并将其与现有的基于文本的预测,它使用相同的数据的成绩单。尽管使用了相对少量的标记数据,wav2vec2模型在句子内韵律边界上实现了94%的准确度和83%的F1测量(或在所有韵律边界上实现了95%和89%),优于基于文本的方法。然而,通过结合两个不同模型的输出,我们可以进一步改善结果。
2022-09-29 eess.AS
Central Kurdish Text-to-Speech Synthesis with Novel End-to-End Transformer Training
Salahaddin University-Erbil(埃尔比勒萨拉赫丁大学);University of Kurdistan Hawler(库尔德斯坦豪勒大学)
针对中库尔德语 Sorani 方言 TTS 资源不足的问题,提出结合 VAE、对抗潜分布对齐和随机时长预测器的端到端 Transformer 模型,实现高质量实时语音合成,MOS 达 3.94。
2024-08-06 cs.SD eess.AS
MSStyleTTS: Multi-Scale Style Modeling with Hierarchical Context Information for Expressive Speech Synthesis
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Xverse Inc.(Xverse公司);Skywork AI Pte. Ltd.(Skywork AI私人有限公司)
本文提出MSStyleTTS,通过多尺度风格提取器和预测器结合FastSpeech 2声学模型,利用层次上下文信息预测全局、句子和子词级风格,显著提升了多句文本语音合成的表现力。
2023-07-29 cs.SD eess.AS
Towards Multi-Scale Speaking Style Modelling with Hierarchical Context Information for Mandarin Speech Synthesis
Huya Inc.(虎牙公司)
以往的表达性语音合成研究主要集中在从当前句子或语境中嵌入单尺度风格的建模上,而忽略了人类语音中说话风格的多尺度特性。为了提高合成语音的自然度和表现力,本文提出了一种多尺度说话风格建模方法来捕捉和预测多尺度说话风格。提出了一种多尺度提取器,用于从地面真实语音中提取三个不同层次的说话风格嵌入,并明确指导基于分层上下文信息的多尺度风格预测器的训练。在普通话有声读物数据集上的客观和主观评价表明,我们提出的方法可以显着提高合成语音的自然度和表现力。
2022-07-05 cs.SD eess.AS
Technical report: Impact of Duration Prediction on Speaker-specific TTS for Indian Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);BharatGen(巴哈特基因)
该研究训练基于非自回归 CNF 的印度语言语音模型,比较多种时长预测策略,揭示其在零样本说话人特定生成中的语言与任务相关权衡。
2025-07-22 cs.LG eess.AS
DMOSpeech 2: Reinforcement Learning for Duration Prediction in Metric-Optimized Speech Synthesis
DMOSpeech 2通过强化学习将度量优化扩展到时长预测器,并引入教师引导采样,在保持质量的同时将采样步骤减半,构建了更完整的度量优化语音合成流程。
2025-07-20 eess.AS
The T05 System for The VoiceMOS Challenge 2024: Transfer Learning from Deep Image Classifier to Naturalness MOS Prediction of High-Quality Synthetic Speech
The University of Tokyo(东京大学)
本研究提出用于2024年VoiceMOS挑战赛赛道1的T05系统,融合自监督语音特征与预训练图像提取的语谱图特征,通过两阶段训练预测高质量合成语音自然度MOS,在16项指标中7项第一、9项第二,并通过消融实验分析关键因素。
2024-09-14 cs.AI cs.LG cs.SD
Into-TTS : Intonation Template Based Prosody Control System
Samsung Research(三星研究院)
语调在表达说话人的意图方面起着重要的作用。然而,目前的端到端TTS系统往往无法正确的语调建模。为了缓解这个问题,我们提出了一种新颖的,直观的方法来合成语音在不同的语调使用预定义的语调模板。在TTS模型训练之前,语音数据以无监督的方式被分组到语调模板中。两个建议的模块添加到端到端的TTS框架:语调预测器和语调编码器。语调预测器为给定的文本推荐合适的语调模板。连接到文本编码器输出端的语调编码器按照所需的语调模板合成语音。我们的论文的主要贡献是:(a)一个易于使用的语调控制系统,涵盖了广泛的用户;(b)更好的性能包装语音在所要求的语调与改进的客观和主观评价;(c)将预先训练的语言模型的语调建模。音频样本可在https://srtts.github.io/IntoTTS上获得。
2022-11-06 cs.LG cs.SD eess.AS
Effect of noise suppression losses on speech distortion and ASR performance
Microsoft Research(微软研究院)
基于深度学习的语音增强在提高质量方面取得了快速发展,同时模型变得更加紧凑,可用于实时边缘推理。然而,语音质量直接与模型大小成比例,并且小模型通常仍然无法实现足够的质量。此外,引入的语音失真和伪像极大地损害语音质量和可懂度,并且通常显著降低自动语音识别(ASR)速率。在这项工作中,我们揭示了频谱复杂的压缩均方误差(MSE)损失的成功,以及它的幅度和相位感知的条款是如何与语音失真与降噪权衡。我们进一步研究了将预训练的无参考预测因子用于平均意见得分(MOS)和单词错误率(WER),以及预训练的ASR和声音事件检测嵌入。我们的分析表明,没有一个预训练的网络在强频谱损失上增加了显着的性能。
2021-11-23 cs.SD eess.AS
Objective Evaluation of Prosody and Intelligibility in Speech Synthesis via Conditional Prediction of Discrete Tokens
Center for Language and Speech Processing (CLSP), Johns Hopkins University(语言与语音处理中心(CLSP),约翰·霍普金斯大学);National University of Singapore(新加坡国立大学)
本文提出TTScore,一种基于条件预测离散语音令牌的无参考评估框架,用于更准确地评估语音合成的语调和可懂性。
2026-01-19 cs.LG cs.SD eess.AS
Fine-grained Style Modeling, Transfer and Prediction in Text-to-Speech Synthesis via Phone-Level Content-Style Disentanglement
The Chinese University of Hong Kong(香港中文大学)
提出了一种新的神经网络系统设计,用于表达性文本转语音(TTS)合成中的细粒度风格建模、转换和预测。通过从音素级语音段的梅尔谱图中提取风格嵌入,实现了细粒度建模。采用协作学习和对抗学习策略,有效地分离语音中的内容和风格因素,缓解风格建模中的“内容泄漏”问题。该系统可用于单说话人情况下的变内容语音风格传输。客观和主观评价的结果表明,我们的系统性能优于其他细粒度的语音风格转移模型,特别是在内容保存方面。通过结合风格预测器,所提出的系统也可以用于文本转语音合成。提供音频样本用于系统演示https://daxintan-cuhk.github.io/pl-csd-speech。
2021-10-08 cs.SD eess.AS
A Neural Denoising Vocoder for Clean Waveform Generation from Noisy Mel-Spectrogram based on Amplitude and Phase Predictions
本文提出一种神经降噪声码器,通过频谱预测器和增强模块从含噪梅尔频谱中恢复干净幅度与相位谱,并经iSTFT重建波形,在VoiceBank+DEMAND上取得最先进性能。
2024-11-19 eess.AS eess.SP
MetricGAN+/-: Increasing Robustness of Noise Reduction on Unseen Data
The University of Sheffield(谢菲尔德大学)
语音增强系统的训练通常不包含人类感知的知识,因此可能导致不自然的声音结果。通过预测器网络将心理声学激励的语音感知度量作为模型训练的一部分最近引起了人们的兴趣。然而,这种预测器的性能受到出现在训练数据中的度量分数的分布的限制。在这项工作中,我们提出了MetricGAN+/-(MetricGAN+的扩展,一个这样的度量激励系统),它引入了一个额外的网络-一个“去生成器”,试图通过确保在训练中观察更广泛的度量分数来提高预测网络的鲁棒性(并通过扩展生成器)。在VoiceBank-DEMAND数据集上的实验结果显示,PESQ评分相对提高了3.8%(3.05 vs 3.22 PESQ评分),并且对看不见的噪声和语音有更好的泛化能力。
2022-06-15 cs.LG cs.SD eess.AS
Context-aware Coherent Speaking Style Prediction with Hierarchical Transformers for Audiobook Speech Synthesis
Xverse Inc.(Xverse公司)
针对有声书多句语音合成中风格不连贯的问题,本文提出基于层次化Transformer和混合注意力掩码的上下文感知风格预测方法,结合文本与语音历史信息,实现风格连贯的长篇语音生成。
2023-04-13 cs.SD eess.AS
Reference-aware SFM layers for intrusive intelligibility prediction
UBC ECE(不列颠哥伦比亚大学电子与计算机工程系);Orka Labs Inc.(Orka实验室公司);Stanford EE(斯坦福大学电气工程系)
本文提出结合参考条件与多层语音基础模型表示来改进侵入式语音可懂度预测,最终在CPC3上以开发集RMSE 22.36、评估集24.98排名第一。
2025-09-21 cs.SD eess.AS
Sidon: Fast and Robust Open-Source Multilingual Speech Restoration for Large-scale Dataset Cleansing
The University of Tokyo, Japan(东京大学)
Sidon是一种快速且鲁棒的开源多语言语音恢复模型,用于大规模数据集清洗,通过清洗噪声语音特征并合成高质量语音,提升语音合成质量。
2026-01-26 cs.SD eess.AS