Very Low Complexity Speech Synthesis Using Framewise Autoregressive GAN (FARGAN) with Pitch Prediction
针对神经声码器复杂度过高的问题，提出利用长期音高预测、无需教师强制的逐帧自回归声码器 FARGAN，以 600 MFLOPS 实现优于低复杂度方案并媲美高复杂度方案的语音质量。
2024-08-05 eess.AS
SphereVAE: Hyperspherical Latent Autoencoders for Robust Autoregressive Speech Representation Modeling
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
SphereVAE通过将VAE潜空间约束到单位超球面，为自回归语音生成提供有界预测目标，缓解误差累积与潜变量漂移，提升长文本生成稳定性。
2026-09-10 eess.AS
Hierarchical Context-Aware Transformers for Non-Autoregressive Text to Speech
在本文中，我们提出了一种方法，用于提高基于transformer的非自回归文本到语音（TNA-TTS）模型的建模性能。尽管文本编码器和音频解码器处理不同类型和长度的数据（即，文本和音频），TNA-TTS模型的设计没有考虑这些变化。因此，为了提高TNA-TTS模型的建模性能，我们提出了一个分层的Transformer结构为基础的文本编码器和音频解码器，旨在适应每个模块的特点。对于文本编码器，我们约束每个自关注层，以便编码器从局部范围到全局范围关注文本序列。相反，音频解码器约束其自注意层以在相反方向上聚焦，即，从全球范围到地方范围。此外，我们进一步提高音高建模的准确性的音频解码器提供句子和单词级的音高作为条件。各种客观和主观评价验证了所提出的方法优于基线TNA-TTS。
2021-06-29 eess.AS
End-to-End Speech Recognition With Joint Dereverberation Of Sub-Band Autoregressive Envelopes
端到端（E2E）自动语音识别（ASR）系统通常需要在混响条件下操作，其中语音的长期子带包络在时间上模糊。在本文中，我们开发了一个功能增强的方法，使用神经模型的子带时间包络。时域包络建模使用频域线性预测（FDLP）的框架。本文提出的神经增强模型执行基于包络增益的时间包络增强。模型架构由卷积和长短期记忆（LSTM）神经网络层的组合组成。此外，使用基于Transformer的E2E ASR的包络去混响、特征提取和声学建模都可以针对语音识别任务联合优化。联合优化确保去混响模型以ASR代价函数为目标。我们在REVERB挑战数据集和VOiCES数据集上进行E2E语音识别实验。在这些实验中，与基线E2E ASR系统相比，所提出的联合建模方法产生了显著的改进（在REVERB挑战数据集上平均相对改进21%，在VOiCES数据集上平均相对改进约10%）。
2022-02-18 eess.AS
CLEAR: Continuous Latent Autoregressive Modeling for High-quality and Low-latency Speech Synthesis
针对传统AR-based TTS系统离散token化的有损压缩、高延迟问题，提出连续潜在自回归模型CLEAR，直接建模连续音频表示，在零样本TTS任务中实现高质量低延迟合成，在LibriSpeech数据集上取得SOTA结果。
2025-08-26 eess.AS
CTC-Seeded Token Edit Refinement for Non-Autoregressive Speech Recognition
University of Iowa（爱荷华大学）
提出一种非自回归语音识别方法，利用CTC假设作为初始序列，通过编辑流解码器并行预测插入、删除和替换操作，仅需两步编辑即可显著降低词错误率。
2026-10-09 eess.AS
TFGAN: Time and Frequency Domain Based Generative Adversarial Network for High-fidelity Speech Synthesis
近来，基于GAN的语音合成方法（诸如Mel GAN）已经变得非常流行。与传统的基于自回归的方法相比，基于并行结构的波形发生器使波形发生过程快速、稳定。然而，由基于自回归的神经声码器（诸如WaveRNN）生成的语音的质量仍然高于GAN。为了解决这个问题，我们提出了一种新的声码器模型：TFGAN，这是在时域和频域的对抗学习。一方面，我们建议在频域中区分地面真实波形和合成波形，以提供更多的一致性保证，而不是仅在时域中。另一方面，与传统的频域STFT损失方法或特征图损失相比，我们提出了一组时域损失，鼓励发生器直接捕获波形。TFGAN具有与MelGAN几乎相同的合成速度，但通过我们的新学习方法，保真度得到了显着提高。在我们的实验中，TFGAN显示出在语音合成上下文中实现与自回归声码器相当的平均意见得分（MOS）的能力。
2020-11-24 eess.AS
The Evolving Bottleneck in Speech Generation: Interface Co-design and Staged Alignment from CosyVoice to Qwen-Audio-3.0-TTS
Alibaba Token Foundry（阿里通义实验室）
本文回顾CosyVoice系列到Qwen-Audio-3.0-TTS的演进，揭示语音生成系统通过反复迁移主导瓶颈实现进步，提出接口协同设计与分阶段对齐方法，并总结出诊断和训练模块化语音生成器的实用原则。
2026-09-16 eess.AS
Hierarchical and Multi-Scale Variational Autoencoder for Diverse and Natural Non-Autoregressive Text-to-Speech
Samsung Research（三星研究院）；Supertone, Inc.（Supertone公司）；NCSOFT Corp.（NCSoft公司）
提出了一种基于分层多尺度变分自编码器的非自回归文本转语音模型（HiMuV-TTS），用于生成具有不同说话风格的自然语音。非自回归TTS（NAR-TTS）模型的最新进展显着提高了合成语音的推理速度和鲁棒性。但口语的多样性和自然性有待提高。为了解决这个问题，我们提出了HiMuV-TTS模型，首先确定全球规模的韵律，然后通过调节全球规模的韵律和学习的文本表示来确定本地规模的韵律。此外，我们还采用了对抗训练技术来提高语音质量。实验结果表明，与单尺度变分自编码器的TTS模型相比，该模型能够产生更加多样、自然的语音，并且能够在每个尺度上表现不同的韵律信息。
2022-08-15 cs.SD eess.AS
NLE: Non-autoregressive LLM-based ASR by Transcript Editing
IBM Research（IBM研究院）
NLE通过非自回归方法实现高效语音识别，利用转录编辑技术在保持准确性的同时显著提升处理速度，适用于实时应用场景。
2026-03-09 eess.AS
Parallel Synthesis for Autoregressive Speech Generation
National Taiwan University（国立台湾大学）
本文提出频域自回归生成（FAR）和逐位自回归生成（BAR）两种并行合成方法，将自回归迭代次数从与话语长度成正比改为与子带数/位数成正比，显著提升推理效率，无需GPU即可实现比实时更快的语音合成，并在MUSHRA和泛化能力上优于基线声码器。
2024-06-05 cs.SD eess.AS
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab（Soul AI实验室）
该研究提出SemBridge框架，通过离散语义令牌监督自回归LM状态，在零样本TTS和SVS任务中提升内容准确性，同时保持说话人相似度与感知质量，为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
Boosting Diffusion Model for Spectrogram Up-sampling in Text-to-speech: An Empirical Study
本文系统研究了文本到语音中基于LM与扩散架构的流式合成瓶颈——上采样阶段，通过比较多种扩散模型的架构与主客观指标，展示了语音重建质量和效率的提升。
2024-06-07 eess.AS
Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech
NetEase Games AI Lab（网易游戏人工智能实验室）
本文从多个方面研究了非自回归跨语言TTS模型中说话人和语言表征的分离问题。我们提出了一个音素长度调节器，解决了IPA输入序列和单语对齐结果之间的长度不匹配问题。使用音素长度调节器，我们提出了一个基于FastPitch的跨语言模型，IPA符号作为输入表示。我们的实验表明，语言独立的输入表示（如IPA符号），越来越多的训练扬声器，语音方差信息的显式建模都鼓励非自回归跨语言TTS模型解开扬声器和语言表示。主观评价表明，我们提出的模型可以实现体面的自然度和说话人的相似性在跨语言的语音克隆。
2022-08-31 cs.SD eess.AS
Quasi-Periodic Parallel WaveGAN Vocoder: A Non-autoregressive Pitch-dependent Dilated Convolution Model for Parametric Speech Generation
Nagoya University（名古屋大学）
在本文中，我们提出了一个并行的WaveGAN（PWG）类神经声码器与准周期（QP）架构，以提高PWG的音调可控性。PWG是一种紧凑的非自回归（non-AR）语音生成模型，其生成速度远远快于实时。在利用PWG作为声码器以基于诸如频谱和韵律特征的声学特征来生成语音的同时，PWG生成高保真语音。然而，当输入的声学特征包括看不见的音高时，PWG生成的语音的音高准确性降低，因为PWG的固定和通用网络没有语音周期性的先验知识。QPPWG采用了一个基音相关的扩张卷积网络（PDCNN）模块，通过动态改变网络结构将基音信息引入PWG，提高了vanilla PWG的基音可控性和语音建模能力。客观和主观评价结果表明，当QPPWG模型大小仅为vanilla PWG模型大小的70%时，QPPWG生成的语音具有更高的基音精度和相当的语音质量。
2020-08-07 cs.SD eess.AS
Knowledge Transfer and Distillation from Autoregressive to Non-Autoregressive Speech Recognition
Shanghai Jiao Tong University（上海交通大学）
现代非自回归（NAR）语音识别系统的目标是加快推理速度，但与自回归（AR）模型相比，它们的性能下降，并且存在模型规模过大的问题。我们提出了一种新的知识转移和蒸馏架构，利用AR模型的知识，以提高NAR的性能，同时减少模型的大小。框架级和序列级目标是为迁移学习精心设计的。为了进一步提高NAR的性能，提出了一种基于Mask-CTC的束搜索方法，以扩大推理阶段的搜索空间。实验结果表明，NAR束搜索在允许的实时因子RTF增量下，相对于AISHELL-1基准测试，CER降低了5%以上。通过知识转移，与AR老师身材相同的NAR学生在AISHELL-1开发/测试集上获得了8/16%的相对CER减少，在LibriSpeech测试干净/其他集上获得了超过25%的相对WER减少。此外，在AISHELL-1和LibriSpeech基准测试中，通过提出的知识转移和蒸馏，约9倍小的NAR模型实现了约25%的相对CER/WER降低。
2022-07-15 cs.SD eess.AS
Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
虽然基于注意力的端到端模型在语音识别中取得了很好的性能，但波束搜索中的多遍前向计算增加了推理时间开销，限制了其实际应用。为了解决这个问题，我们提出了一个非自回归的端到端的语音识别系统称为LASO（认真听，拼写一次）。由于非自回归特性，LASO预测序列中的文本标记，而不依赖于其他标记。由于不需要波束搜索，一次传播大大减少了LASO的推理时间。由于该模型采用了基于注意力的前馈结构，计算可以高效地并行实现。我们在公开的中文数据集AISHELL-1上进行了实验。LASO实现了6.4%的字符错误率，优于最先进的自回归Transformer模型（6.7%）。平均推理延迟为21 ms，是自回归Transformer模型的1/50。
2020-08-06 cs.CL eess.AS
Accelerating Autoregressive Speech Synthesis Inference With Speech Speculative Decoding
Shenzhen International Graduate School（深圳国际研究生院）
本文提出语音推测解码（SSD）框架，通过轻量级草稿模型生成候选token序列并由目标模型并行验证，在保持高保真度和自然度的同时实现1.4倍的自回归语音合成推理加速。
2025-06-03 cs.AI cs.SD eess.AS
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong（香港大学）；Meituan Inc.（美团公司）
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架，通过引入兼容约束与异构下采样策略，提升了语言模型在语音数据上的持续预训练效果，验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
Paraformer-v2: An improved non-autoregressive transformer for noise-robust speech recognition
Alibaba Group（阿里巴巴集团）
本文提出改进的非自回归语音识别模型Paraformer-v2，利用CTC模块替代连续整合触发模块提取token embeddings，在多个数据集上显著降低WER并提升了噪声环境下的鲁棒性。
2024-09-26 cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现，发现连续表示更优，非自回归模型更实用，编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Parallel Tacotron: Non-Autoregressive and Controllable TTS
Google（谷歌）
虽然神经端到端文本到语音模型可以合成高度自然的语音，但其效率和自然度仍有改进的空间。提出了一种基于变分自编码器的非自回归神经文语转换模型。这个模型称为\emph{Parallel Tacotron}，在训练和推理过程中都是高度并行的，允许在现代并行硬件上进行有效的合成。变分自编码器的使用放松了文本到语音问题的一对多映射性质并提高了自然度。为了进一步提高自然度，我们使用轻量级卷积，它可以有效地捕获局部上下文，并引入迭代细化启发的迭代频谱图损失。实验结果表明，并行Tacotron匹配一个强大的自回归基线的主观评价，显着减少推理时间。
2020-10-22 cs.SD eess.AS
Hierarchical prosody modeling and control in non-autoregressive parallel neural TTS
Apple（苹果公司）
神经文本到语音（TTS）合成可以生成与自然语音无法区分的语音。然而，合成语音通常代表数据库的平均韵律风格，而不是具有更通用的韵律变化。此外，许多模型缺乏控制输出韵律的能力，这不允许对相同的文本输入使用不同的风格。在这项工作中，我们训练一个非自回归并行神经TTS前端模型分层条件下的粗粒度和细粒度的声学语音功能，学习一个潜在的韵律空间直观和有意义的尺寸。实验表明，一个非自回归TTS模型分层条件的话语明智的音高，音高范围，持续时间，能量和频谱倾斜可以有效地控制每个韵律维度，产生各种各样的说话风格，并提供字明智的重点控制，同时保持相等或更好的质量的基线模型。
2022-03-22 cs.CL eess.AS
Non-Autoregressive Minimum Bayes' Risk Decoding for Fast Speech Recognition
NTT, Inc.（日本NTT公司）
提出基于最小贝叶斯风险解码的非自回归解码框架，通过单次前向计算高效采样多个候选，在保持速度优势的同时提升识别性能。
2026-06-17 cs.CL eess.AS
Unifying Speech Recognition, Synthesis and Conversion with Autoregressive Transformers
AutoArk-AI
本文提出GPA模型，通过统一的自回归架构整合语音识别、合成与转换任务，实现高效多任务处理和低延迟部署。
2026-01-15 cs.AI cs.SD eess.AS
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research（谷歌研究院）
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限：LibriSpeech，Fisher+Switchboard和华尔街日报。我们的配方的关键是，我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER，在Switchboard上实现了5.1%/9.8%的WER，在华尔街日报上实现了3.4%的WER，所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
Training Autoregressive Speech Recognition Models with Limited in-domain Supervision
Raytheon BBN（雷神BBN公司）
自监督学习的进步已经显著减少了训练所需的转录音频的量。然而，这一领域的大部分工作都集中在阅读语音上。我们探讨有限的监督领域的会话讲话。虽然我们假设域内数据的数量是有限的，但我们用开源的阅读语音数据来增强模型。XLS-R模型在适应数据有限的情况下表现良好，可作为一个强有力的基线。我们在自回归编码器-解码器模型中使用未转录的数据进行自监督学习和半监督训练。我们证明，通过使用XLS-R模型的伪转录，一个小得多的自回归模型可以优于微调XLS-R模型时，转录的域内数据是有限的，减少WER高达8%的绝对值。
2022-10-27 cs.CL cs.SD eess.AS
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University（香港理工大学）
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法，引入随机单调对齐机制，以VALL-E 10.3%的参数实现更优性能，为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
Controllable and Lossless Non-Autoregressive End-to-End Text-to-Speech
ByteDance（字节跳动）；Tsinghua University（清华大学）
最近的一些研究已经证明了单级神经文本到语音的可行性，它不需要生成梅尔频谱图，而是直接从文本中生成原始波形。单阶段文本到语音通常面临两个问题：a）由于多个语音变化而导致的一对多映射问题，以及b）由于在训练期间缺乏对地面实况声学特征的监督而导致的高频重建不足。为了解决a）问题并生成更有表现力的语音，我们提出了一种基于变分自编码器的音素级韵律建模方法，该方法具有归一化流来建模语音中的底层韵律信息。我们还使用韵律预测器来支持端到端的表达性语音合成。此外，我们提出了双并行自动编码器，以在训练过程中引入对地面实况声学特征的监督，以解决b）问题，使我们的模型能够生成高质量的语音。我们比较的合成质量与国家的最先进的文本到语音系统的内部表达英语数据集。定性和定量的评价表明，我们的方法的无损语音生成的优越性和鲁棒性，同时也表现出很强的韵律建模能力。
2022-07-13 cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法，通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出，在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd（东芝欧洲有限公司）
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架，在SLURP上提升SLU性能并保持ASR准确率，同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
Non-Autoregressive Neural Text-to-Speech
Baidu Research（百度研究院）
在这项工作中，我们提出了ParaNet，一个非自回归seq2seq模型，将文本转换为频谱图。它是完全卷积的，在合成时比轻量级的Deep Voice 3加速46.7倍，同时获得相当好的语音质量。ParaNet还通过逐层迭代地提高注意力，在具有挑战性的测试句子上产生文本和语音之间的稳定对齐。此外，我们建立了并行的文本到语音系统，并测试了各种并行神经声码器，它可以合成语音从文本通过一个单一的前馈通过。我们还探索了一种新的基于VAE的方法，从零开始训练基于逆自回归流（IAF）的并行声码器，这避免了需要从一个单独训练的WaveNet蒸馏作为以前的工作。
2020-06-29 cs.CL cs.LG cs.SD
KALL-E:Autoregressive Speech Synthesis with Next-Distribution Prediction
提出KALL-E，一种基于下一分布预测的自回归TTS模型，利用Flow-VAE提取连续语音表示并由AR Transformer预测分布，无需扩散组件，实现了高质量语音合成及单样本说话人适应。
2025-09-17 cs.CL cs.SD eess.AS
Decoding Order Matters in Autoregressive Speech Synthesis
School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）
该研究发现自回归语音合成中解码顺序对语音质量有显著影响，自适应解码优于固定顺序方法，且1位量化可支持高质量语音生成。
2026-09-22 cs.AI cs.SD eess.AS
Autoregressive Speech Enhancement via Acoustic Tokens
Concordia University（康科德大学）；Mila-Quebec AI Institute（魁北克人工智能研究所）；Université Laval（拉瓦尔大学）
本文研究基于声学令牌的语音增强，提出新型 transducer 自回归架构，实验表明其优于语义令牌并能保留说话人身份，但离散表示仍不及连续表示。
2025-07-17 cs.LG cs.SD eess.AS
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文研究基于CTC的非自回归语音到语音翻译，结合预训练、知识蒸馏及glancing training等技术，在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
Improving non-autoregressive end-to-end speech recognition with pre-trained acoustic and language models
虽然Transformers在端到端（E2 E）自动语音识别（ASR）中取得了令人鼓舞的结果，但是它们的自回归（AR）结构成为加速解码过程的瓶颈。对于实际部署，期望ASR系统在实现快速推理的同时具有高度准确性。非自回归（NAR）模型由于其快速的推理速度而成为一种流行的替代方案，但它们在识别精度方面仍然落后于AR系统。为了满足这两个需求，在本文中，我们提出了一个NAR CTC/注意力模型，利用预先训练的声学和语言模型：wav2vec2.0和BERT。为了弥合从预训练模型获得的语音和文本表示之间的模态差距，我们设计了一种新的模态转换机制，它更适合于语标语言。在推理过程中，我们使用CTC分支来生成目标长度，这使得BERT能够并行预测令牌。我们还设计了一个基于缓存的CTC/注意力联合解码方法，以提高识别精度，同时保持解码速度快。实验结果表明，所提出的NAR模型大大优于我们强大的wav2vec2.0 CTC基线（AISHELL-1上的相对CER减少15.1%）。建议的NAR模型显着超过以前的NAR系统的AISHELL-1基准测试，并显示了英语任务的潜力。
2022-01-26 cs.SD eess.AS
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Hierarchical Prosody Modeling for Non-Autoregressive Speech Synthesis
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
韵律建模是现代文语转换（TTS）框架的重要组成部分。通过显式地提供韵律特征的TTS模型，合成的话语的风格，从而可以控制。然而，在推理时预测自然和合理的韵律是具有挑战性的。在这项工作中，我们分析了非自回归TTS模型在不同的韵律建模设置下的行为，并提出了一个层次结构，其中音素级韵律特征的预测是以词级韵律特征为条件的。该方法优于其他竞争对手的音频质量和韵律自然度在我们的客观和主观评价。
2021-05-01 cs.LG cs.SD eess.AS
An Improved Single Step Non-autoregressive Transformer for Automatic Speech Recognition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；PAII Inc.（PAII公司）
非自回归机制可以显着减少语音Transformers的推理时间，特别是当单步变量被应用时。基于CTC的单步非自回归Transformer（CASS-NAT）的先前工作已经显示出比自回归Transformers（AT）大的实时因子（RTF）改进。在这项工作中，我们提出了几种方法来提高端到端CASS-NAT的准确性，其次是性能分析。首先，卷积增强的自注意块被应用于编码器和解码器模块。其次，我们建议扩大每个令牌的触发掩模（声学边界），以增加CTC对齐的鲁棒性。此外，迭代损失函数用于增强低层参数的梯度更新。在不使用外部语言模型的情况下，改进后的CASS-NAT在Librispeech测试clean/other集上的WER分别为3.1%/7.2%，在Aishell 1测试集上的CER为5.4%，WER/CER相对提高了7%~21%。为了进行分析，我们绘制了解码器中的注意力权重分布，以可视化标记级声学嵌入之间的关系。当声学嵌入可视化时，我们发现它们具有与单词嵌入相似的行为，这解释了为什么改进的CASS-NAT的性能与AT相似。
2021-07-22 cs.AI eess.AS
Generative Pre-Training for Speech with Autoregressive Predictive Coding
从未注释的语音中学习适用于广泛任务的有意义的和一般的表示仍然具有挑战性。在本文中，我们建议使用自回归预测编码（APC），最近提出的自我监督的目标，作为一种生成的预训练方法学习有意义的，非特定的，可转移的语音表示。我们在大规模未标记数据上预训练APC，并在三个语音应用程序上进行迁移学习实验，这些应用程序需要关于语音特征的不同信息才能表现良好：语音识别，语音翻译和说话人识别。大量的实验表明，APC不仅优于表面特征（例如，log Mel spectrograms）和其他流行的表示学习方法，但在减少下游标记数据大小和模型参数方面也很有效。我们还研究了使用Transformers对APC进行建模，并发现它优于RNN。
2020-01-26 cs.CL cs.LG cs.SD
Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
非自回归Transformer模型在神经机器翻译中实现了极快的推理速度和与自回归序列到序列模型相当的性能。大多数非自回归Transformers从预定义长度的掩码序列解码目标序列。如果预定义的长度太长，则会导致大量的冗余计算。如果预定义的长度小于目标序列的长度，则会损害模型的性能。为了解决这个问题，提高推理速度，本文提出了一种用于端到端语音识别的尖峰触发非自回归Transformer模型，该模型引入CTC模块来预测目标序列的长度，加速收敛。所有的实验都是在公开的汉语普通话数据集AISHELL-1上进行的。结果表明，该模型能够准确预测目标序列的长度，并取得了与先进的Transformers竞争的性能。更重要的是，该模型甚至达到了0.0056的实时系数，超过了所有主流的语音识别模型。
2020-05-16 cs.CL cs.SD eess.AS
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA（英伟达）
在本文中，我们提出了Flowtron：一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解，并对Tacotron进行了改造，以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化，这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射，可以操纵该潜在空间来控制语音合成的许多方面（音高、音调、语速、节奏、口音）。我们的平均意见得分（MOS）显示，Flowtron在语音质量方面与最先进的TTS模型相匹配。此外，我们还提供了控制语音变化，样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
VAENAR-TTS: Variational Auto-Encoder based Non-AutoRegressive Text-to-Speech Synthesis
Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；Huya Inc.（虎牙公司）
提出了一种基于变分自编码器的非自回归文语转换（VAENAR-TTS）模型。基于序列到序列结构的自回归TTS（AR-TTS）模型可以产生高质量的语音，但其顺序解码过程可能是耗时的。最近，非自回归TTS（NAR-TTS）模型已被证明是更有效的并行解码过程。然而，这些NAR-TTS模型依赖于音素级持续时间来生成文本和声谱图之间的硬对齐。无论是通过强制对齐还是通过知识蒸馏来获得持续时间标签都是很麻烦的。此外，基于音素扩展的硬对齐会降低合成语音的自然度。相比之下，所提出的模型VAENAR-TTS是一个端到端的方法，不需要音素级的持续时间。VAENAR-TTS模型不包含递归结构，并且在训练和推理阶段都是完全非自回归的。基于VAE架构，对齐信息被编码在潜在变量中，并且在解码器中使用文本和潜在变量之间的基于注意力的软对齐来重建频谱图。实验结果表明，VAENAR-TTS实现了最先进的合成质量，而合成速度与其他NAR-TTS模型相当。
2021-07-07 cs.MM cs.SD eess.AS
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
本文提出非自回归端到端同声语音翻译框架NAST-S2X，统一语音到文本与语音到语音任务，通过并发生成多标记和CTC动态调延迟，在3秒内实现高质量同传并获28倍解码加速。
2024-10-19 cs.AI cs.CL cs.SD
A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation
Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Yahoo Japan Corporation（雅虎日本公司）；Kyoto University（京都大学）；LINE Corporation（LINE公司）；Naver Corporation（NAVER公司）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型在一个序列中同时生成多个输出，与自回归基线相比，这显著降低了推理速度，但代价是精度下降。NAR模型在实时应用中显示出巨大的潜力，越来越多的NAR模型在不同的领域中被探索，以缩小与AR模型的性能差距。在这项工作中，我们进行了各种NAR建模方法的端到端的自动语音识别（ASR）的比较研究。实验在最先进的环境中使用ESPnet进行。各种任务的结果为理解NAR ASR提供了有趣的发现，例如准确性-速度权衡和对长形式话语的鲁棒性。我们还表明，这些技术可以结合起来，以进一步改善和应用到NAR端到端的语音翻译。所有的实现都是公开的，以鼓励在NAR语音处理的进一步研究。
2021-10-11 cs.CL cs.SD eess.AS
Improved Speech Representations with Multi-Target Autoregressive Predictive Coding
Massachusetts Institute of Technology（麻省理工学院）
基于预测编码的训练目标最近被证明在从未标记的语音中学习有意义的表示方面非常有效。一个示例是自回归预测编码（Chung等人，2019），它训练自回归RNN在给定上下文（如最近过去的帧）的情况下生成一个看不见的未来帧。这些方法的基本假设是，可以准确预测未来帧的隐藏状态是许多下游任务的有用表示。在本文中，我们扩展了这一假设，旨在通过训练模型来丰富隐藏状态中编码的信息，以做出更准确的未来预测。我们提出了一个辅助目标，作为一个正则化，以提高泛化的未来帧预测任务。语音分类、语音识别和语音翻译的实验结果不仅支持了这一假设，而且证明了该方法在学习包含更丰富语音内容的表征方面的有效性。
2020-04-11 cs.CL cs.LG cs.SD
Pseudo-Autoregressive Neural Codec Language Models for Efficient Zero-Shot Text-to-Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）；Shanghai Jiao Tong University, Shanghai Innovation Institute（上海交通大学上海创新研究院）
提出伪自回归编解码器语言模型PALLE，结合自回归时间建模与非自回归并行生成，实现高效零样本TTS，在质量、相似度和速度上超越现有系统。
2025-08-05 cs.CL eess.AS
LLM-ForcedAligner: A Non-Autoregressive and Accurate LLM-Based Forced Aligner for Multilingual and Long-Form Speech
College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
LLM-ForcedAligner通过非自回归方法实现多语言和长文本语音的准确强制对齐，显著减少时间偏移。
2026-01-30 cs.SD eess.AS
UniVoice: Unifying Autoregressive ASR and Flow-Matching based TTS with Large Language Models
Xiamen University, China（厦门大学）；Shanghai Innovation Institute, China（上海创新研究院）；Shanghai Jiao Tong University, China（上海交通大学）；Zhejiang University, China（浙江大学）
提出UniVoice，通过连续表示统一语音识别与合成，结合自回归建模和流匹配，设计双重注意力机制解决模态差异，实现高质量零样本语音克隆。
2026-09-07 cs.SD eess.AS
Align-Refine: Non-Autoregressive Speech Recognition via Iterative Realignment
Stanford University（斯坦福大学）；Amazon AWS AI（亚马逊AWS人工智能）
非自回归模型大大提高了解码速度超过典型的序列到序列模型，但遭受性能下降。填充和迭代细化模型通过编辑非自回归模型的输出来弥补这一差距，但它们可以进行的编辑受到限制。我们提出迭代重新对齐，其中细化发生在潜在对齐而不是输出序列空间上。我们证明了这一点，在语音识别与Align-Refine，一个端到端的转换器为基础的模型，细化连接时间分类（CTC）的路线，允许长度变化的插入和删除。Align-Refine的性能优于Imputer和Mask-CTC，在WSJ上以1/14的实时因子匹配自回归基线，并在没有LM的情况下获得了9.0%的LibriSpeech测试-其他WER。我们的模型是强大的，即使在一个迭代与浅解码器。
2020-10-24 cs.CL cs.LG cs.SD
An Unsupervised Autoregressive Model for Speech Representation Learning
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的无监督自回归神经模型学习通用语音表示。与其他旨在去除噪声或说话人可变性的语音表示学习方法相比，我们的方法旨在为广泛的下游任务保留信息。此外，该模型不需要任何语音或词边界标签，使该模型能够受益于大量未标记的数据。通过我们的模型学习的语音表示显著提高了电话分类和说话人验证的性能，超过了表面特征和其他监督和无监督方法。进一步的分析表明，我们的模型在不同层捕获了不同级别的语音信息。特别是，较低的层往往对说话者更具辨别力，而较高的层提供更多的语音内容。
2019-06-19 cs.CL cs.LG cs.SD
ARECHO: Autoregressive Evaluation via Chain-Based Hypothesis Optimization for Speech Multi-Metric Estimation
Carnegie Mellon University（卡内基梅隆大学）；Huazhong University of Science and Technology（华中科技大学）
针对语音多指标联合估计难题，提出基于自回归依赖建模的ARECHO评估系统，通过语音令牌化、动态分类器链和置信度解码三项创新，在多场景下性能优于基线，支持无参考评估与子集查询，减少误差传播。
2025-10-30 cs.MM cs.SD eess.AS
Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder
Kyoto University（京都大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
快速推理速度是语音翻译（ST）系统在现实世界中部署的一个重要目标。基于编解码器架构的端到端（E2 E）模型比传统的级联系统更适合于这一目标，但迄今为止尚未探索其在解码速度方面的有效性。受基于文本的翻译中非自回归（NAR）方法的最新进展的启发，通过消除条件依赖并行生成目标令牌，我们研究了E2 E-ST的NAR解码问题。我们提出了一种新的NAR E2 E-ST框架，Orthros，其中NAR和自回归（AR）解码器在共享的语音编码器上联合训练。后者用于在从前者生成的各种长度候选中选择更好的平移，这显著提高了大长度波束的有效性，而开销可以忽略不计。我们进一步研究有效长度预测方法从语音输入和词汇量的影响。四个基准测试的实验表明，该方法在提高推理速度，同时保持有竞争力的翻译质量相比，最先进的AR E2 E-ST系统的有效性。
2021-02-18 cs.CL cs.SD eess.AS
