Learning latent representations for style control and transfer in end-to-end speech synthesis
Microsoft STC Asia（微软亚洲研究院语音技术中心）
在本文中，我们引入变分自编码器（VAE）到一个端到端的语音合成模型，学习说话风格的潜在表示在一个无监督的方式。通过VAE学习的样式表示具有良好的特性，如分解、缩放和组合，这使得样式控制变得容易。在该框架中，首先通过VAE的识别网络推断风格表示，然后将其输入TTS网络，以指导合成语音的风格。为了避免Kullback-Leibler（KL）发散崩溃的训练，采用了几种技术。最后，该模型显示出良好的风格控制性能，并优于全球风格令牌（GST）模型在ABX偏好测试的风格转移。
2019-02-14 cs.CL cs.SD eess.AS
Utterance-level Sequential Modeling For Deep Gaussian Process Based Speech Synthesis Using Simple Recurrent Unit
The University of Tokyo（东京大学）
本文提出了一种递归结构的深度高斯过程（DGP）模型，用于语音序列建模。DGP是一种贝叶斯深度模型，可以在考虑模型复杂性的情况下进行有效训练，并且是一种可以具有高表达性的核回归模型。在以前的研究中，它表明，基于DGP的语音合成优于基于神经网络的，其中两个模型使用前馈结构。为了提高合成语音的自然度，在本文中，我们表明，DGP可以应用于话语级建模使用循环架构模型。我们采用了一个简单的递归单元（SRU）的建议模型，以实现一个循环的架构，在其中，我们可以执行快速的语音参数生成，通过使用SRU的高度并行化的性质。客观和主观评价结果表明，所提出的基于SRU-DGP的语音合成不仅优于前馈DGP，而且还优于基于自动调谐SRU和长短期记忆（LSTM）的神经网络。
2020-04-22 cs.LG cs.SD eess.AS
CycleSpeech: Reciprocal Alignment for Instruction-Controlled Speech Synthesis and Paralinguistic Understanding
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tsinghua University（清华大学）；Amphion Technology Co., Ltd.（Amphion科技有限公司）
CycleSpeech通过结构化语音画像连接语音合成与理解，利用前向和后向循环互惠反馈及CycleGRPO策略优化，在双语基准上显著提升指令遵循与画像恢复，无需人工偏好标注。
2026-09-22 cs.SD
Non-Autoregressive Neural Text-to-Speech
Baidu Research（百度研究院）
在这项工作中，我们提出了ParaNet，一个非自回归seq2seq模型，将文本转换为频谱图。它是完全卷积的，在合成时比轻量级的Deep Voice 3加速46.7倍，同时获得相当好的语音质量。ParaNet还通过逐层迭代地提高注意力，在具有挑战性的测试句子上产生文本和语音之间的稳定对齐。此外，我们建立了并行的文本到语音系统，并测试了各种并行神经声码器，它可以合成语音从文本通过一个单一的前馈通过。我们还探索了一种新的基于VAE的方法，从零开始训练基于逆自回归流（IAF）的并行声码器，这避免了需要从一个单独训练的WaveNet蒸馏作为以前的工作。
2020-06-29 cs.CL cs.LG cs.SD
End-to-End Adversarial Text-to-Speech
DeepMind（深度思维公司）
现代文本到语音合成流水线通常涉及多个处理阶段，每个处理阶段都是独立于其余部分设计或学习的。在这项工作中，我们承担了一项具有挑战性的任务，即学习以端到端的方式从标准化文本或音素合成语音，从而产生直接对字符或音素输入序列进行操作并产生原始语音音频输出的模型。我们提出的生成器是前馈的，因此有效的训练和推理，使用基于令牌长度预测的可微分对齐方案。它通过对抗性反馈和预测损失的组合来学习产生高保真音频，从而限制生成的音频在其总持续时间和梅尔频谱图方面与地面实况大致匹配。为了允许模型捕获所生成的音频中的时间变化，我们在基于频谱的预测损失中采用软动态时间扭曲。由此产生的模型在5分制上实现了超过4的平均意见得分，这与依赖于多阶段训练和额外监督的最先进模型相当。
2021-03-17 cs.LG cs.SD eess.AS
Visual-Aware Text-to-Speech
JD Explore Academy（京东探索研究院）
提出视觉感知文本到语音合成（VA-TTS）任务，融合文本与听者视觉反馈，通过基线模型在ViCo-X数据集上验证，生成更自然的语音。
2023-06-21 cs.CL cs.SD eess.AS
Automatic Prosody Prediction for Chinese Speech Synthesis using BLSTM-RNN and Embedding Features
Northwestern Polytechnical University（西北工业大学）
韵律影响语音的自然度和可懂度。然而，汉语语音合成中从文本中自动预测韵律仍然是一个巨大的挑战，传统的基于条件随机场（CRF）的方法往往严重依赖于特征工程。在本文中，我们提出使用神经网络预测韵律边界标签直接从汉字没有任何特征工程。实验结果表明，堆叠前馈和双向长短期记忆（BLSTM）递归网络层实现优于基于CRF的方法的性能。从原始文本中学习的嵌入特征进一步增强了性能。
2015-11-02 cs.CL cs.SD
Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts
Rakuten Group, Inc.（乐天集团）；The University of Tokyo（东京大学）
我们提出了一个多扬声器日本有声读物文本到语音（TTS）系统，利用多模态上下文信息的声学上下文和双边文本上下文，以提高合成语音的韵律。以往的研究要么使用单通道语境，要么使用单通道语境，不能完全表征语境信息。该方法使用一个声学上下文编码器和一个文本上下文编码器来聚合上下文信息，并将其馈送到TTS模型，这使得该模型能够预测上下文相关的韵律。我们进行了全面的客观和主观评价的多扬声器日本有声读物数据集。实验结果表明，该方法显着优于以前的两个作品。此外，我们提出的见解不同的选择的背景下-模态，横向信息和长度-有声读物TTS，从来没有讨论过的文献。
2022-11-04 cs.SD eess.AS
SqueezeWave: Extremely Lightweight Vocoders for On-device Speech Synthesis
UC Berkeley（加州大学伯克利分校）
自动语音合成是一项具有挑战性的任务，随着边缘设备开始通过语音与用户交互，该任务变得越来越重要。典型的文本到语音流水线包括声码器，其将中间音频表示转换成音频波形。大多数现有的声码器难以并行化，因为每个生成的样本是以先前的样本为条件的。WaveGlow是这些自回归模型的基于流量的前馈替代方案（Prenger等人，2019年）。然而，虽然WaveGlow可以很容易地并行化，但该模型对于边缘上的实时语音合成来说太昂贵了。本文介绍了SqueezeWave，一个基于WaveGlow的轻量级声码器家族，它可以生成与WaveGlow相似质量的音频，而MAC数减少61 - 214倍。代码、训练模型和生成的音频可在https://github.com/tianrengao/SqueezeWave上公开获取。
2020-01-16 cs.SD eess.AS
High Fidelity Speech Synthesis with Adversarial Networks
Imperial College London（帝国理工学院）；DeepMind（深度思维）
生成对抗网络近年来发展迅速，并在图像生成建模方面取得了显着进步。然而，它们在音频域中的应用受到了有限的关注，并且自回归模型（诸如WaveNet）仍然是音频信号（诸如人类语音）的生成建模的最新技术。为了解决这一问题，我们引入了GAN-TTS，这是一种用于文本到语音的生成对抗网络。我们的架构是由一个有条件的前馈生成器产生原始语音音频，和一个合奏的歧视，不同大小的随机窗口上操作。鉴别器分析音频的一般真实性以及音频与应该发音的话语的对应程度。为了衡量GAN-TTS的性能，我们采用了主观的人类评价（MOS -平均意见得分）以及新的定量指标（Fréchet DeepSpeech距离和Kernel DeepSpeech距离），我们发现这些指标与MOS有很好的相关性。我们表明，GAN-TTS能够生成高保真语音，其自然度可与最先进的模型相媲美，并且与自回归模型不同，由于高效的前馈发生器，它具有高度的并行性。请在https://storage.googleapis.com/deepmind-media/research/abstract.wav上收听GAN-TTS阅读这篇摘要。
2019-09-26 cs.LG cs.SD eess.AS
SpeechJudge: Towards Human-Level Judgment for Speech Naturalness
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
SpeechJudge通过构建大规模人类反馈数据集和生成奖励模型，提升语音自然度判断的准确性，显著优于现有方法。
2025-11-30 cs.AI cs.CL cs.SD
Feedback Recurrent AutoEncoder
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通技术公司高通人工智能研究院）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通技术荷兰私人有限公司高通人工智能研究院）；University of California San Diego（加州大学圣地亚哥分校）
在这项工作中，我们提出了一个新的经常性的自动编码器架构，称为反馈递归自动编码器（FRAE），在线压缩的时间依赖性的顺序数据。FRAE的递归结构被设计为有效地提取沿时间维度的冗余，并允许学习数据的紧凑离散表示。我们证明了它在语音谱图压缩中的有效性。具体来说，我们表明，FRAE，与一个强大的神经声码器配对，可以产生高质量的语音波形在一个低的，固定的比特率。我们进一步表明，通过为潜在空间添加学习的先验知识并使用熵编码器，我们可以实现更低的可变比特率。
2020-02-17 cs.LG cs.SD eess.AS
Active Learning for Text-to-Speech Synthesis with Informative Sample Collection
The University of Tokyo, Japan（东京大学）；Keio University, Japan（庆应大学）
针对文本到语音系统中数据规模增长带来的存储挑战，提出一种基于主动学习的语料库构建方法，通过数据采集与模型训练迭代交替获取高信息量数据，在同等规模下实现了更高质量的语音合成。
2025-07-11 cs.SD eess.AS
UniFLG: Unified Facial Landmark Generator from Text or Speech
rinna Co., Ltd.（Rinna株式会社）
本文提出统一面部标志点生成器UniFLG，利用端到端文本转语音提取文本与语音共有的潜在表示生成面部标志点，整合了文本与语音驱动框架，在自然度上超越现有方法，且能从无视频或语音数据的说话者语音中生成标志点。
2023-05-19 cs.CL cs.CV cs.SD
The VoiceMOS Challenge 2026: Evaluating Speech Enhancement, Emotional TTS and Accented TTS Systems
Nagoya University（名古屋大学）；Shanghai Jiao Tong University（上海交通大学）；Technische Universität Braunschweig（布伦瑞克工业大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Edinburgh（爱丁堡大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
VoiceMOS挑战赛2026评估语音增强、情感TTS和带口音TTS系统，设三个赛道，吸引18支队伍，多数超越基线，并总结结果与未来方向。
2026-09-15 cs.SD eess.AS
Problem-Agnostic Speech Embeddings for Multi-Speaker Text-to-Speech with SampleRNN
Amazon Research（亚马逊研究院）
文语转换（TTS）声学模型将语言特征映射到生成可听波形的声学表示中。最新和最自然的TTS系统在语言和波形域之间建立了直接映射，如SampleRNN。这样，由于中间声学表示被丢弃，避免了可能的信号自然度损失。除了自然性之外，研究的另一个重要方面是它们对从训练期间看不见的新说话者发出声音的适应性。在本文中，我们首先提出了使用问题不可知的语音嵌入在一个多扬声器声学模型的TTS基于SampleRNN。通过这种方式，我们为声学模型提供了扬声器声学相关的表示，这些表示比与这些因素无关的离散嵌入更丰富了波形生成。我们的第一个结果表明，所提出的嵌入导致更好的质量的声音比那些获得离散嵌入。此外，由于我们可以在推理过程中使用任何语音片段作为编码表示，因此该模型能够推广到新的说话人身份，而无需重新训练网络。我们最后表明，随着嵌入提取器中语音持续时间的小幅增加，我们大大降低了频谱失真，以缩小目标身份的差距。
2019-09-22 cs.SD eess.AS
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University（俄亥俄州立大学）
虽然深度学习系统在语音增强研究中取得了显著进展，但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是，语音反馈是罕见的语音增强的研究，即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统，并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈，即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据，我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
FastPitchFormant: Source-filter based Decomposed Modeling for Speech Synthesis
Speech AI Lab, NCSOFT（NCSOFT语音AI实验室）
已经提出了用于对具有声学特征的韵律进行建模和控制的方法用于神经文本到语音（TTS）模型。韵律语音可以通过调节声学特征来生成。然而，合成语音与大的音高移位规模遭受音频质量下降，和扬声器特性变形。为了解决这个问题，我们提出了一个基于前馈Transformer的TTS模型，该模型基于源滤波器理论设计。这个模型称为FastPitchForcenter，它有一个独特的结构，可以并行处理文本和声学特征。通过分别对每个特征建模，可以减轻模型学习两个特征之间的关系的趋势。
2021-06-29 cs.LG cs.SD eess.AS
Universal Adaptor: Converting Mel-Spectrograms Between Different Configurations for Speech Synthesis
National Taiwan University（国立台湾大学）
最新的语音合成系统由合成器和声码器组成。然而，现有的合成器和声码器只能匹配到用特定配置提取的声学特征。因此，我们不能将任意的合成器和声码器组合在一起形成一个完整的系统，更不用说应用于新开发的模型。在本文中，我们提出了通用适配器，它采取由源配置参数化的梅尔频谱图，并将其转换成由目标配置参数化的梅尔频谱图，只要我们在源和目标配置的饲料。实验结果表明，无论是在单说话人还是多说话人情况下，基于Universal Adaptor的语音合成质量都可以与基于真实Mel-声谱图的语音合成质量相媲美。此外，通用适配器可以应用于最近的TTS系统和语音转换系统，而不会降低质量。
2022-10-29 cs.SD eess.AS
Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization
本文提出EASPO框架，通过偏好引导优化实现扩散文本到语音模型的情感对齐生成，提升语音的表达性和自然度。
2026-02-06 cs.AI cs.CL cs.SD
EfficientTTS: An Efficient and High-Quality Text-to-Speech Architecture
Ping An Technology（平安科技）
在这项工作中，我们解决了文本转语音（TTS）的任务，提出了一个非自回归架构称为EfficientTTS。与主要的非自回归TTS模型（需要外部校准器进行训练）不同，EfficientTTS通过稳定的端到端训练过程优化了所有参数，同时允许以快速有效的方式合成高质量语音。EfficientTTS的动机是一个新的单调对齐建模方法（也介绍了这项工作），它指定单调约束的序列比对，几乎没有增加计算。通过将EfficientTTS与不同的前馈网络结构相结合，我们开发了一系列TTS模型，包括文本到语音频谱图和文本到波形网络。实验结果表明，该模型在语音质量、训练效率和合成速度等方面均明显优于Tacotron 2和Glow-TTS等同类模型，同时仍能生成鲁棒性强、多样性高的语音。此外，我们证明了所提出的方法可以很容易地扩展到自回归模型，如Tacotron 2。
2020-12-07 cs.SD eess.AS
MPO: Multidimensional Preference Optimization for Language Model-based Text-to-Speech
School of Computer Science, Northwestern Polytechnical University（计算机科学学院）
针对现有基于语言模型的TTS系统多维偏好优化难、易因奖励过度自信降质的问题，提出引入偏好集简化多维权衡数据构建、搭配训练正则化的MPO方法，实验验证其在可懂度等多维度上优于基线。
2025-08-31 cs.SD eess.AS
A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer（弗劳恩霍夫）；Fantasmo（范塔斯莫）
最近，GAN声码器在语音合成方面取得了快速进展，开始以更高的生成速度在感知质量方面优于自回归模型。然而，自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中，我们提出了一个GAN声码器，它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器，可以运行在逐帧的方式，使其适合于流媒体应用。实验结果表明，该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器，计算复杂度约为5 GMAC，为该领域提供了一个新的发展方向.此外，这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器（例如EVS）竞争的质量，这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
SVTS: Scalable Video-to-Speech Synthesis
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
视频到语音合成（也称为唇到语音）是指将无声的嘴唇运动翻译成相应的音频。这项任务由于其自我监督的性质（即，可以在没有人工标记的情况下进行培训），并结合不断增加的在线视听数据收集。尽管有这些强烈的动机，当代的视频到语音作品主要集中在中小型语料库与词汇和设置的实质性限制。在这项工作中，我们引入了一个可扩展的视频到语音的框架，由两个组件组成：一个视频到频谱图预测器和一个预先训练的神经声码器，它将梅尔频谱图转换成波形音频。我们实现了国家的最先进的结果网格和大大优于以前的方法LRW。更重要的是，通过使用简单的前馈模型专注于谱图预测，我们可以有效地将我们的方法扩展到非常大且无约束的数据集：据我们所知，我们是第一个在具有挑战性的LRS3数据集上显示出可理解结果的人。
2022-08-15 cs.CV cs.LG cs.SD
Imitation Learning for Elder-Facing Speech Synthesis
The Chinese University of Hong Kong（香港中文大学）；Tencent Hunyuan（腾讯混元）
提出模仿学习框架，结合两阶段在线策略奖励学习改进GRPO，从专家演示中学习TTS模型，以解决老年人偏好数据获取困难的问题，在客观和主观指标上优于基线。
2026-06-23 cs.AI cs.SD
Identifying Speaker Information in Feed-Forward Layers of Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所）；Centre of Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
本文通过识别自监督语音 Transformer 前馈层中与说话人信息相关的神经元，发现其与自监督特征和 i-vector 的 k-means 聚类相关，并在剪枝中保护这些神经元以显著保留说话人任务性能。
2025-06-26 cs.CL cs.SD eess.AS
Harnessing AI for Speech Reconstruction using Multi-view Silent Video Feed
Adobe Systems（奥多比系统公司）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；National Institute of Informatics（国立信息学研究所）；National University of Singapore（新加坡国立大学）
唇读是从说话人的唇、脸、牙、舌等视觉特征中理解和获取语音特征的一种技术。它有广泛的多媒体应用，如监控，互联网电话，并作为一个人的听力障碍的援助。然而，语音阅读的大部分工作都局限于从无声视频中生成文本。最近，研究已经开始冒险从无声视频序列生成（音频）语音，但迄今为止在处理不同的观点和说话者的姿势方面还没有进展。因此，虽然我们有多个摄像机馈送用于用户的语音，但是我们未能使用这些多个视频馈送来处理不同的姿势。为此，本文提出了世界上第一个多视角语音阅读和重建系统。这项工作涵盖了多媒体研究的边界，提出了一个模型，利用多个摄像机记录同一主题的无声视频馈送，为扬声器生成智能语音。初步结果证实了利用多个摄像机视图在构建高效的语音阅读和重建系统方面的有用性。它进一步显示了相机的最佳位置，这将导致最大的语音清晰度。接下来，它列出了所提出的系统的各种创新应用程序，重点关注其潜在的巨大影响，不仅在安全领域，但在许多其他多媒体分析问题。
2018-08-12 cs.SD eess.AS
Temporal Feedback Convolutional Recurrent Neural Networks for Speech Command Recognition
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
使用原始波形作为输入的端到端学习模型在许多音频识别任务中表现出优异的性能。然而，大多数模型架构都是基于卷积神经网络（CNN），主要是为视觉识别任务而开发的。在本文中，我们提出了一个扩展的挤压和激励网络（SENets），增加了时间反馈控制从顶层功能通道的功能激活在较低层使用一个经常性的模块。这类似于人类听觉系统中的外毛细胞的自适应增益控制机制。我们将所提出的模型应用于语音命令识别，并表明它的性能略优于SENets和其他基于CNN的模型。我们还调查了性能改善的细节进行故障分析和可视化的通道的功能缩放引起的时间反馈。
2022-09-18 cs.CL cs.LG cs.SD
When Can Self-Attention Be Replaced by Feed Forward Layers?
University of Edinburgh（爱丁堡大学）
最近，自注意力模型，如Transformers在语音识别中已经给出了与递归神经网络系统相比具有竞争力的结果。自我注意力模型表现出色的关键因素是它们能够捕捉时间关系，而不受两个相关事件之间距离的限制。然而，我们注意到，学习的上下文范围从较低的自我注意层到较高的自我注意层逐渐增加，而声学事件通常以从左到右的顺序在短时间内发生。这就引出了一个问题：对于语音识别，对于Transformers的编码器中的自注意上层，整个序列的全局视图仍然重要吗？为了研究这一点，我们用前馈层取代了这些自我关注层。在我们的语音识别实验（《华尔街日报》和Switchboard）中，我们确实观察到了一个有趣的结果：用前馈层取代编码器中的上层自注意层不会导致性能下降，甚至会有轻微的提高。我们的实验提供了自我注意层如何处理语音信号的见解，从而得出结论，编码器的较低的自我注意层编码足够广泛的输入，因此在上层学习进一步的上下文信息是不必要的。
2020-05-28 cs.CL cs.SD eess.AS
Deep Feed-Forward Neural Network for Bangla Isolated Speech Recognition
Power Grid Company of Bangladesh Limited（孟加拉国电网公司）；Louisiana Tech University（路易斯安那理工大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）
本文针对孟加拉语语音识别研究不足的问题，提出基于MFCC特征提取和7层深度前馈全连接神经网络（DFFNN）的孤立词识别方法，在自建数据集上实现了93.42%的准确率。
2025-07-08 cs.SD eess.AS
Property Neurons in Self-Supervised Speech Transformers
National Taiwan University（台湾大学）；University of Edinburgh（爱丁堡大学）
本文在自监督语音Transformer的前馈层中识别属性神经元，并证明在剪枝时保护这些神经元比基于范数的剪枝更有效，从而提升下游性能。
2024-09-20 cs.CL cs.LG cs.SD
Domain Adapting Deep Reinforcement Learning for Real-world Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；University of Augsburg（奥格斯堡大学）；Imperial College London（伦敦帝国学院）
本文提出基于深度强化学习的领域自适应策略 RL-DA，使预训练语音情感识别模型在实时数据流中通过环境交互与持续反馈自我调优，在跨语料库和跨语言场景中分别比基线提升 11% 和 14%。
2024-12-16 cs.LG cs.SD eess.AS
token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
自监督预训练在文本和语音处理方面都取得了成功。语音和文本提供不同但互补的信息。问题是我们是否能够对未配对的语音和文本进行语音-文本联合预训练。在本文中，我们将自监督预训练的思想更进一步，并提出了token 2 vec，这是一种基于语音离散表示的非成对语音和文本的新型联合预训练框架。首先，由于语音和文本模态之间的不同特征，其中语音是连续的，而文本是离散的，我们首先将语音离散成一系列离散的语音令牌来解决模态失配问题。其次，为了解决语音序列通常比文本序列长得多的长度不匹配问题，我们将文本中的单词转换为音素序列，并随机重复序列中的每个音素。最后，我们将离散的语音和文本令牌馈送到与模态无关的Transformer编码器中，并使用令牌级掩蔽语言建模（tMLM）进行预训练。实验表明，token 2 vec显着优于各种仅语音预训练基线，相对WER降低高达17.7%。Token 2 vec模型也在非ASR任务上进行验证，即，口语意图分类，并表现出良好的可移植性。
2022-10-30 cs.CL cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Multi-SpectroGAN: High-Diversity and High-Fidelity Spectrogram Generation with Adversarial Style Combination for Speech Synthesis
虽然基于生成对抗网络（GANs）的神经文本到语音（TTS）系统在神经语音合成方面已经显示出显著的改进，但是没有TTS系统能够学习仅利用对抗反馈从文本序列合成语音。由于对抗反馈本身不足以训练生成器，因此与地面实况和直接生成的梅尔频谱图相比，当前模型仍然需要重建损失。在本文中，我们提出了多光谱GAN（MSG），它可以训练的多说话人模型，只有对抗性反馈的条件下，一个自我监督的隐藏表示的生成器的条件约束。这将为发电机培训提供更好的指导。此外，我们还提出了对抗风格组合（ASC），以更好地概括看不见的说话风格和成绩单，它可以从多个梅尔频谱图中学习组合风格嵌入的潜在表示。通过ASC和特征匹配训练，MSG通过控制和混合个体说话风格（例如，持续时间、音高和能量）。实验结果表明，MSG合成的Mel声谱图具有与地面真实Mel声谱图相同的自然度MOS值。
2020-12-14 eess.AS
On the Usefulness of Self-Attention for Automatic Speech Recognition with Transformers
University of Edinburgh（爱丁堡大学）
诸如Transformers之类的自注意模型可以捕获时间关系而不受事件之间距离的限制，已经给出了竞争性的语音识别结果。然而，我们注意到学习的上下文范围从较低的自我注意层到较高的自我注意层增加，而声学事件通常以从左到右的顺序在短时间内发生。这就引出了一个问题：对于语音识别，整个序列的全局视图对于Transformers中的自注意编码器上层有用吗？为了研究这一点，我们训练模型与较低的自我关注/上前馈层编码器在华尔街日报和交换机。与基线Transformers相比，没有观察到性能下降，但略有增益。我们进一步开发了一种新的注意矩阵对角性度量，发现学习的对角性确实从较低的编码器自注意层到较高的编码器自注意层增加。我们得出结论，在训练上层编码器层时，全局视图是不必要的。
2020-11-08 cs.CL cs.SD eess.AS
Reinforce-Aligner: Reinforcement Alignment Search for Robust End-to-End Text-to-Speech
文本转语音（TTS）合成是从文本或音素输入产生合成语音的过程。传统的TTS模型包含多个处理步骤，需要外部对齐器，它提供音素到帧序列的注意力对齐。随着每一个额外步骤的复杂性增加和效率降低，现代合成流水线对具有高效内部对齐器的端到端TTS的需求不断扩大。在这项工作中，我们提出了一个端到端的文本到波形网络与一种新的强化学习为基础的持续时间搜索方法。我们提出的发电机是前馈和对准训练代理，使最佳的持续时间预测，通过接收积极的反馈，采取行动，以最大限度地提高累积奖励。我们证明了从训练有素的代理生成的音素到帧序列的准确对齐增强了合成音频的保真度和自然度。实验结果也表明，我们提出的模型相比，其他国家的最先进的TTS模型与内部和外部对准的优越性。
2021-06-05 eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
Speculative Speech Recognition by Audio-Prefixed Low-Rank Adaptation of Language Models
Google Inc.（谷歌公司）；Bogazici University（海峡大学）；Brno University of Technology（布尔诺理工大学）
本文提出推测式语音识别（SSR），通过将RNN-Transducer ASR与音频前缀语言模型结合，使识别器能先于音频预测转录补全，实验证明该方法可有效降低ASR延迟。
2024-07-05 cs.CL eess.AS
Speech Recognition Model Improves Text-to-Speech Synthesis using Fine-Grained Reward
通过利用语音识别模型的注意力机制，W3AR提升了文本到语音合成的质量和鲁棒性，为生成模型提供了细粒度优化的新方法。
2025-11-12 cs.CL eess.AS
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Corti（Corti公司）
口语理解（SLU）任务通常通过首先用自动语音识别（ASR）转录话语，然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0，最先进的ASR成绩单和地面真实文本中学习到的语音特征，作为一种新的基于语音的命名实体识别任务，一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现，学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译，ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性，以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
TalkNet: Fully-Convolutional Non-Autoregressive Speech Synthesis Model
我们提出了TalkNet，一个用于语音合成的卷积非自回归神经模型。该模型由两个前馈卷积网络组成。第一个网络预测字素持续时间。通过根据预测的持续时间重复每个符号来扩展输入文本。第二个网络从扩展的文本中生成梅尔频谱图。为了训练字形持续时间预测器，我们使用预先训练的基于连接主义时间分类（CTC）的语音识别模型将字形持续时间添加到训练数据集。显式持续时间预测消除了单词跳过和重复。在LJSpeech数据集上的实验表明，语音质量几乎与自回归模型相匹配。该模型非常紧凑-它有10.8M个参数，几乎比目前最先进的文本到语音模型少3倍。非自回归架构允许快速训练和推理。
2020-05-12 eess.AS
I-vector Based Within Speaker Voice Quality Identification on connected speech
Georgia Institute of Technology（佐治亚理工学院）；Georgia State University（佐治亚州立大学）
语音障碍影响了很大一部分人口，特别是像教师或呼叫中心工作人员这样的重度语音用户。大多数语音障碍可以通过行为语音疗法有效治疗，该疗法教导患者用最佳的语音产生技术取代有问题的习惯性语音产生机制，从而改善语音质量。然而，治疗通常失败，因为患者难以独立地区分他们的习惯性声音与目标技术，当临床医生反馈在治疗会话之间不可用时。因此，为了将临床医生的反馈扩展到临床外环境，我们建立了两个系统，可以自动区分同一个人产生的各种语音质量。我们假设：1）基于i向量的系统可以将这些质量分类，就好像它们代表不同的说话者一样; 2）这样的系统将优于基于传统语音信号处理算法的系统。训练录音由13名业余演员提供，每个演员在连接语音中产生5种感知不同的声音质量：正常，呼吸，油炸，鼻音和鼻下。正如假设的那样，i-向量系统在分类准确性方面优于声学测量系统（即，分别为97.5%和77.2%）。调查结果是预期的，因为i向量系统映射功能到一个集成的空间，更好地代表每个语音质量比基线系统的22个特征空间。因此，基于i向量的系统具有在语音治疗和语音训练中的临床应用的潜力。
2021-02-15 cs.LG cs.SD eess.AS
Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs
Imperial College London（伦敦帝国学院）
本文提出Llama-MTSK，首个基于套娃式表示学习的多模态大语言模型，用于音视频语音识别，通过灵活调整令牌分配适应不同计算约束，在主要数据集上达到或超越固定压缩模型的性能。
2025-08-06 cs.CV cs.MM cs.SD
TalkNet 2: Non-Autoregressive Depth-Wise Separable Convolutional Model for Speech Synthesis with Explicit Pitch and Duration Prediction
NVIDIA（英伟达）
我们提出了TalkNet，一个非自回归卷积神经模型的语音合成与明确的音高和持续时间预测。该模型由三个前馈卷积网络组成。第一个网络预测字素持续时间。通过根据预测的持续时间重复每个符号来扩展输入文本。第二个网络预测每个梅尔帧的音高值。第三个网络根据预测的音高从扩展的文本生成梅尔频谱图。所有网络都基于1D深度可分离卷积架构。显式持续时间预测消除了单词跳过和重复。生成的语音质量几乎与最佳自回归模型相匹配-在LJSpeech数据集上训练的TalkNet获得了MOS 4.08。该模型只有1320万个参数，几乎是目前最先进的文本到语音模型的2倍。非自回归架构允许快速训练和推理。小的模型尺寸和快速推理使TalkNet成为嵌入式语音合成的有吸引力的候选者。
2021-06-17 cs.AI eess.AS
USDnet: Unsupervised Speech Dereverberation via Neural Forward Filtering
针对单说话人多麦克风混响场景，提出无监督语音去混响网络USDnet，利用多麦克风信号作为约束，结合神经前向滤波正则化网络输出，实现单源混响语音的无监督去混响。
2024-08-13 eess.AS eess.SP
Phase Aware Speech Enhancement using Realisation of Complex-valued LSTM
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
大多数基于深度学习的语音增强（SE）方法依赖于通过幅度谱掩蔽或回归从观察到的有噪语音信号估计干净语音信号的幅度谱。这些方法在从估计的幅度谱合成时域波形的同时重复使用噪声相位。然而，最近的作品强调了阶段在SE中的重要性。有一种尝试，估计复比掩模考虑使用复值前馈神经网络（FFNN）的相位。但是FFNN不能捕获相位估计所必需的序列信息。在这项工作中，我们提出了一个实现的复值长短期记忆（RCLSTM）网络来估计复杂的比率掩模（CRM）使用顺序信息沿时间。所提出的RCLSTM被设计为使用复数算术处理复值序列，因此它保留了CRM的实部和虚部之间的依赖关系，从而保留了相位。所提出的方法进行了评估，从语音银行语料库和DEMAND数据库形成的嘈杂的语音混合。当与基于实值的掩蔽方法相比时，所提出的RCLSTM在几个客观指标上都有所改善，包括语音质量的感知评估（PESQ），其中它提高了4.3%以上
2020-10-27 cs.AI eess.AS eess.SP
