Mask CTC: Non-Autoregressive End-to-End ASR with CTC and Mask Predict
Johns Hopkins University（约翰斯·霍普金斯大学）；Waseda University（早稻田大学）
我们提出了掩码CTC，一种新的非自回归端到端的自动语音识别（ASR）框架，它产生一个序列，通过细化输出的连接时间分类（CTC）。神经序列到序列模型通常是\textit{autoregressive}：每个输出令牌都是通过对先前生成的令牌进行调节来生成的，代价是需要与输出长度一样多的迭代。另一方面，非自回归模型可以在恒定的迭代次数内同时生成令牌，这导致显著的推理时间减少，并且更适合真实场景的端到端ASR模型。在这项工作中，使用Transformer编码器-解码器与掩码预测和CTC的联合训练来训练掩码CTC模型。在推理过程中，目标序列被初始化与贪婪的CTC输出和低置信度的令牌被掩盖的基础上的CTC概率。基于输出令牌之间的条件依赖性，然后以高置信度令牌为条件来预测这些掩蔽的低置信度令牌。在不同的语音识别任务上的实验结果表明，Mask CTC优于标准CTC模型（例如，WSJ上的WER为17.9% -> 12.1%），并接近自回归模型，使用CPU需要更少的推理时间（Python实现中为0.07 RTF）。我们所有的代码都将公开。
2020-08-17 cs.SD eess.AS
Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input
Tencent AI Lab（腾讯AI实验室）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中取得了显著的推理加速，但其代价是精度不如自回归（AR）模型。大多数NAR Transformers采用填充有MASK令牌的固定长度序列或从编码器状态复制的冗余序列作为解码器输入，它们不能提供有效的目标侧信息，从而导致精度下降。为了解决这个问题，我们提出了一个CTC增强的NAR Transformer，它通过改进CTC模块的预测来生成目标序列。实验结果表明，我们的方法优于所有以前的NAR同行，实现了50倍的解码速度比强AR基线只有0.0 ~ 0.3绝对CER下降Aishell-1和Aishell-2数据集。
2021-04-16 cs.CL cs.SD eess.AS
SA-Paraformer: Non-autoregressive End-to-End Speaker-Attributed ASR
Northwestern Polytechnical University（西北工业大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；University of Science and Technology of China（中国科学技术大学）
本文提出非自回归端到端 SA-Paraformer，通过单步并行解码、说话人填充和 inter-CTC 提升 SA-ASR 效率与性能。
2023-10-07 cs.SD eess.AS
Achieving Timestamp Prediction While Recognizing with Non-Autoregressive End-to-End ASR Model
Alibaba Group（阿里巴巴集团）
传统的语音识别系统使用帧级音素后验进行力对齐和提供时间戳，而端到端语音识别系统尤其是基于AED的语音识别系统缺乏这种能力。本文提出利用非自回归ASR模型Paraformer中的连续积分触发机制，在识别的同时进行时间戳预测TP。针对CIF中的“火点偏向"问题，提出了火点延迟和静默插入等后处理策略。此外，我们建议使用scaled-CIF平滑CIF输出的权重，这被证明是有益的ASR和TP任务。采用累积平均位移AAS和日志化出错率DER来衡量时间戳的质量，并将该系统与传统的混合力对准系统进行了比较。在人工标注时间戳测试集上的实验结果表明，所提出的优化方法显著提高了CIF时间戳的准确性，AAS和DER分别降低了66.7%和82.1%。与使用相同数据训练的Kaldi力对齐相比，优化的CIF时间戳实现了12.3%的相对AAS减少。
2023-01-29 cs.CL cs.SD eess.AS
Spelling Correction through Rewriting of Non-Autoregressive ASR Lattices
Google, Inc（谷歌公司）
提出一种基于FST的CTC词格重写拼写纠错技术，直接从词片段进行G2P转换，无需重训ASR模型，在上下文实体测试集上实现15.2%的SER相对降低。
2024-09-24 cs.CL cs.SD eess.AS
Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study
Google Research（谷歌研究院）
本文提出融合USM与PaLM 2的全非自回归多语言ASR系统，利用并行解码降低延迟，并通过多数据集实验和大规模消融验证其性能与关键影响因素。
2024-01-23 cs.CL cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Improved Mask-CTC for Non-Autoregressive End-to-End ASR
Waseda University（早稻田大学）；Kyoto University（京都大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
对于自动语音识别（ASR）的实际部署，期望系统能够快速推理，同时减轻对计算资源的需求。最近提出的端到端ASR系统的基础上掩码预测与连接主义时间分类（CTC），掩码CTC，满足这一需求，通过生成令牌在一个非自回归的方式。虽然Mask-CTC实现了非常快的推理速度，但其识别性能落后于传统的自回归（AR）系统。为了提高Mask-CTC的性能，我们首先建议通过采用最近提出的称为Conformer的架构来增强编码器网络架构。接下来，我们提出了新的训练和解码方法，通过引入辅助目标来预测部分目标序列的长度，这允许模型在推理过程中删除或插入令牌。不同ASR任务的实验结果表明，所提出的方法显着改善Mask-CTC，优于标准的CTC模型（15.5% $\rightarrow$ 9.1% WER上WSJ）。此外，Mask-CTC现在实现了与AR模型竞争的结果，而不会降低推理速度（使用CPU的$<$ 0.1 RTF）。我们还展示了Mask-CTC在端到端语音翻译中的潜在应用。
2021-02-16 cs.CL cs.SD eess.AS
Listen and Fill in the Missing Letters: Non-Autoregressive Transformer for Speech Recognition
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰霍普金斯大学）
最近，在语音识别中，非常深的Transformers的性能大大优于传统的双向长短期记忆网络。然而，要将其投入生产使用，推理计算成本在实际场景中仍然是一个严重的问题。本文研究了两种用于自动语音识别（ASR）的非自回归Transformer结构：A-CMLM和A-FMLM。在训练期间，对于这两个框架，馈送到解码器的输入令牌被特殊的掩码令牌随机替换。网络需要通过考虑未屏蔽的上下文和输入语音来预测与这些屏蔽令牌相对应的令牌。在推理过程中，我们从所有掩码令牌开始，网络根据部分结果迭代预测丢失的令牌。我们表明，该框架可以支持不同的解码策略，包括传统的从左到右。作为一个例子，提出了一种新的解码策略，它从最容易的预测到最困难的。对普通话（Aishell）和日语（CSJ）ASR基准测试的结果表明，训练这种非自回归网络的ASR的可能性。特别是在Aishell中，所提出的方法优于Kaldi ASR系统，并且它与最先进的自回归Transformer的性能相匹配，具有7倍的加速比。预训练的模型和代码将在发布后提供。
2020-04-06 cs.LG cs.SD eess.AS
Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于连接主义时态分类（CTC）的模型由于其非自回归特性而在自动语音识别（ASR）中受到广泛关注。为了充分利用纯文本数据，语言模型（LM）集成方法，如重评分和浅层融合已被广泛用于CTC。然而，由于需要束搜索，它们失去了CTC的非自回归性质，这降低了推理速度。在这项研究中，我们提出了一个错误纠正方法与音素条件掩蔽LM（PC-MLM）。在所提出的方法中，不太自信的词令牌在一个贪婪的解码输出CTC被掩盖。PC-MLM然后预测这些屏蔽词令牌给出未屏蔽的单词和电话从CTC预测。我们进一步将其扩展到可删除的PC-MLM，以解决插入错误。由于CTC和PC-MLM都是非自回归模型，因此该方法能够实现快速LM积分。在领域自适应环境下对自然日语语料库（CSJ）和TED-LIUM 2进行的实验结果表明，该方法在推理速度和识别准确率方面均优于再评分和浅层融合。
2022-09-08 cs.CL cs.SD eess.AS
Semi-Autoregressive Streaming ASR With Label Context
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
本文提出一种流式半自回归ASR模型，通过语言模型子网络引入历史标签上下文，并设计新贪心解码算法减少块边界错误，在多个数据集上显著提升准确率并降低延迟。
2024-02-20 cs.CL cs.SD eess.AS
Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）；Nagaoka University of Technology（长冈技术科学大学）
提出了一种新的单通道多说话人重叠自动语音识别（ASR）系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练，其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而，传统的建模方法不能显式地考虑个体话语的说话者属性，例如性别和年龄信息。事实上，当每个说话者是同一性别或年龄接近时，性能会恶化。为了解决这个问题，我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中，基于变换的自回归模型不仅递归地生成文本标记，而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
SeACo-Paraformer: A Non-Autoregressive ASR System with Flexible and Effective Hotword Customization Ability
Speech Lab of DAMO Academy, Alibaba Group（阿里巴巴集团达摩院语音实验室）
本文提出SeACo-Paraformer，一种基于非自回归的语音识别系统，结合AED准确性、NAR效率和显式热词定制能力，在5万小时工业数据上优于强基线，并开源模型、代码和测试集。
2023-12-25 cs.CL cs.SD eess.AS
SpellMapper: A non-autoregressive neural spellchecker for ASR customization with candidate retrieval based on n-gram mappings
NVIDIA（英伟达）
本文提出 SpellMapper，用基于 n-gram 映射的候选检索和融合十候选的 BERT 非自回归纠错模型，提升面向用户词汇表的 ASR 定制效果。
2023-06-04 cs.AI cs.CL cs.SD
Boundary and Context Aware Training for CIF-based Non-Autoregressive End-to-end ASR
Northwestern Polytechnical University（西北工业大学）；China Mobile Research Institute（中国移动研究院）
基于连续积分激发（CIF）模型的非自回归（NAR）语音识别方法采用了一种软的、单调的对齐机制，与其他NAR方法相比，具有很好的性能。然而，这样的对准学习策略可能遭受错误的声学边界估计，严重阻碍收敛速度以及系统性能。在本文中，我们提出了一个边界和上下文感知的训练方法CIF基于NAR模型。首先，利用连接主义时间分类（CTC）锋电位信息指导CIF中的声学边界学习。此外，在CIF解码器之后引入了额外的上下文解码器，旨在捕获句子内的语言依赖。最后，我们采用了最近提出的Conformer架构，以提高声学建模的能力。在开源汉语AISHELL-1语料库上的实验表明，该方法与现有的AR模型相比，在只有1/24延迟的情况下，字符出错率达到了4.9%.然而，当评估内部7500小时的汉语语料库，我们的模型仍然优于其他NAR方法，甚至达到AR Conformer模型在一个具有挑战性的现实世界的噪音测试集。
2021-09-26 cs.SD eess.AS
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd（东芝欧洲有限公司）
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架，在SLURP上提升SLU性能并保持ASR准确率，同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
Run-and-back stitch search: novel block synchronous decoding for streaming encoder-decoder ASR
编码器-解码器自动语音识别（ASR）系统的流式推理对于减少延迟是重要的，这对于交互式用例是必要的。为此，我们提出了一种新的块同步解码算法，结合端点预测和端点后确定的混合方法。在端点预测中，我们使用CTC后验来计算当前块的编码器特征中尚未发出的令牌数量的期望值。基于期望值，解码器预测端点以实现连续块同步，作为运行缝合。同时，端点后确定概率检测源-目标注意的后跳，这是由端点的错误预测。然后，它通过丢弃这些假设来恢复解码，如回缝。我们将这些方法结合成一个混合的方法，即运行和返回缝合搜索，这降低了计算成本和延迟。各种ASR任务的评估显示了我们提出的解码算法的效率，该算法实现了延迟减少，例如在Librispeech测试集中从1487 ms到821 ms的第90百分位数，同时保持了较高的识别精度。
2022-01-25 cs.SD eess.AS
Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding
NTT Corporation（NTT公司）
本文提出内部声学模型训练策略和双空白阈值方法，通过联合训练HAT与IAM同步发出空白并跳过非空白计算，在保持性能的同时实现42-75%的解码加速。
2024-09-30 cs.CL cs.SD eess.AS
Whisfusion: Parallel ASR Decoding with Masked Diffusion
Seoul National University（首尔国立大学）；Soongsil University（顺天大学）；NVIDIA Corporation（英伟达公司）
提出Whisfusion，在冻结的Whisper音频嵌入上训练专用掩码扩散解码器，通过并行扩散解码实现非自回归ASR，在多种语言基准上超越Whisper-large-v3，速度提升4-5倍。
2026-06-09 cs.AI cs.LG cs.SD
FastCorrect: Fast Error Correction with Edit Alignment for Automatic Speech Recognition
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音部门）；Tsinghua University（清华大学）
纠错技术已经被用于改进来自自动语音识别（ASR）模型的输出句子，并且实现比原始ASR输出更低的单词出错率（WER）。以往的工作通常使用序列到序列模型来自回归地校正ASR输出句子，这导致大的延迟并且不能部署在在线ASR服务中。受非自回归（NAR）神经机器翻译启发，减少延迟的直接解决方案是使用NAR序列生成模型进行ASR纠错，然而，这是以显著增加的ASR出错率为代价的。在本文中，观察不同的错误模式和校正操作（即，插入、删除和替换），我们提出了一种新的基于编辑比对的NAR纠错模型FastCorrect。在训练中，FastCorrect基于源句子和目标句子之间的编辑距离将来自ASR输出句子的每个源标记与来自对应的地面实况句子的目标标记对齐，并在编辑/校正期间提取与每个源标记相对应的目标标记的数量，然后将其用于训练长度预测器并调整源标记以匹配用于并行生成的目标句子的长度。在推理中，由长度预测器预测的令牌数用于调整用于目标序列生成的源令牌。在公开的AISHELL-1数据集和内部工业规模的ASR数据集上的实验表明，FastCorrect用于ASR错误校正的有效性：1）与自回归校正模型相比，它将推理速度提高了6-9倍，并保持了准确性（WER降低了8-14%）; 2）它大大优于神经机器翻译和文本编辑中采用的流行NAR模型。
2022-11-29 cs.CL cs.LG cs.SD
Decoding Strategies for Diffusion-Based ASR: A Systematic Evaluation of Confidence-Based Thresholding
KAIST（韩国科学技术院）；Google DeepMind（谷歌DeepMind）
本文系统评估了基于扩散语言模型的ASR中三种解码策略，提出使用基于负对数似然的不确定性度量来监控解码进度，发现基于阈值的策略在准确率和速度上均优于固定步数策略，其中静态阈值策略在匹配自回归解码准确率的同时具有更高效率。
2026-09-02 cs.SD eess.AS
Statistical Testing on ASR Performance via Blockwise Bootstrap
Facebook AI（脸书人工智能实验室）
在自动语音识别（ASR）评估中提出的一个常见问题是，比较两个ASR系统，观察到的字错误率（WER）改善的可靠性如何，其中统计假设检验和置信区间（CI）可以用于判断这种改善是真实的还是仅仅由于随机机会。Bootstrap回归方法具有直观、易用的特点，在显著性分析中得到了广泛的应用。然而，这种方法无法处理语音世界中普遍存在的相关数据-例如，来自同一说话人的话语的ASR性能可能是相关的。在本文中，我们提出了分块自举方法-通过将评价话语分为不重叠的块，这种方法重新采样这些块，而不是原始数据。我们证明了在温和的条件下，两个ASR系统之间的绝对WER差的方差估计是一致的。我们还证明了分块自举方法在合成语音数据和真实语音数据上的有效性。
2020-05-20 cs.LG eess.AS stat.ML
Insertion-Based Modeling for End-to-End Automatic Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
端到端（E2E）模型在自动语音识别（ASR）的研究领域中得到了关注。迄今为止提出的许多E2E模型假设输出令牌序列的从左到右自回归生成，除了连接主义时间分类（CTC）及其变体。然而，从左到右解码不能考虑未来的输出上下文，并且它并不总是最佳的ASR。其中一种非从左到右的模型被称为非自回归Transformer（NAT），并在神经机器翻译（NMT）研究领域得到了广泛的研究。一个NAT模型，掩码预测，已被应用于ASR，但该模型需要一些算法或额外的组件来估计输出令牌序列的长度。本文提出了另一种类型的NAT称为基于插入的模型，最初提出的NMT，ASR任务。基于插入的模型解决了上述掩码预测问题，并且可以生成任意生成顺序的输出序列。此外，我们介绍了一种新的配方的联合训练的基于插入的模型和CTC。该公式通过使其以非自回归方式依赖于基于插入的令牌生成来加强CTC。我们在三个公共基准上进行了实验，并在类似的解码条件下实现了与强自回归Transformer竞争的性能。
2020-11-16 cs.SD eess.AS
Mask The Bias: Improving Domain-Adaptive Generalization of CTC-based ASR with Internal Language Model Estimation
AWS AI Labs（AWS人工智能实验室）
针对CTC-based ASR的域自适应问题，提出一种通过迭代掩蔽音频时间步长估计内部语言模型伪对数似然的新ILME方法，在仅文本或零样本场景下显著提升WER和OOV F1。
2023-05-05 cs.LG cs.SD eess.AS
BECTRA: Transducer-based End-to-End ASR with BERT-Enhanced Encoder
Waseda University（早稻田大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了BERT-CTC-Transducer（BECTRA），一种新的端到端自动语音识别（E2 E-ASR）模型制定的换能器与BERT增强编码器。将大规模预训练语言模型（LM）集成到E2 E-ASR中已经得到了积极的研究，旨在利用通用的语言知识来生成准确的文本。使这种集成具有挑战性的一个关键因素在于词汇不匹配;为预训练的LM构建的词汇通常对于E2 E-ASR训练来说太大，并且可能与目标ASR域不匹配。为了克服这个问题，我们提出了BECTRA，我们以前的BERT-CTC的扩展版本，实现基于BERT的E2 E-ASR使用感兴趣的词汇。BECTRA是一个基于转换器的模型，它采用BERT-CTC作为编码器，并使用适合目标任务的词汇表训练ASR特定的解码器。结合传感器和BERT-CTC，我们还提出了一种新的推理算法，利用自回归和非自回归解码。在不同数据量、说话风格和语言的多个ASR任务上的实验结果表明，BECTRA在利用BERT知识的同时有效地处理词汇不匹配问题，优于BERT-CTC。
2023-03-17 cs.CL cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
UniEnc-CASSNAT: An Encoder-only Non-autoregressive ASR for Speech SSL Models
UCLA（加州大学洛杉矶分校）
提出UniEnc-CASSNAT，一种仅含编码器的非自回归ASR模型，通过两次前向传递结合CTC与CASS-NAT优势，高效集成语音基础模型，在多个数据集上取得SOTA结果且参数更少。
2024-02-14 cs.CL cs.SD eess.AS
A Study of Non-autoregressive Model for Sequence Generation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
非自回归（NAR）模型并行生成序列的所有标记，与自回归（AR）模型相比，生成速度更快，但精度较低。已经提出了包括知识蒸馏和源-目标对准的不同技术，以在诸如神经机器翻译（NMT）、自动语音识别（ASR）和文本到语音（TTS）的各种任务中弥合AR和NAR模型之间的差距。在这些技术的帮助下，NAR模型在某些任务中可以赶上AR模型的准确性，但在另一些任务中则不然。在这项工作中，我们进行了研究，以了解NAR序列生成的困难，并试图回答：（1）为什么NAR模型可以赶上AR模型在某些任务，但不是所有？(2)为什么像知识蒸馏和源目标对齐这样的技术可以帮助NAR模型。由于AR和NAR模型之间的主要区别在于NAR模型不使用目标标记之间的依赖性，而AR模型使用，因此直观地，NAR序列生成的难度在很大程度上取决于目标标记之间的依赖性的强度。为了量化这种依赖关系，我们提出了一个分析模型，称为CoMMA来描述不同的NAR序列生成任务的难度。我们有几个有趣的发现：1）在NMT，ASR和TTS任务中，ASR具有最大的目标-令牌依赖性，而TTS具有最小的目标-令牌依赖性。2)知识蒸馏降低了目标序列中的目标-标记依赖性，从而提高了NAR模型的精度。3)源-目标对齐约束鼓励目标标记对源标记的依赖性，从而简化了NAR模型的训练。
2020-05-11 cs.CL cs.LG cs.SD
Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出基于扩散的LLaDA模型用于ASR，通过改进解码策略降低WER，展示其在语音识别中的有效性。
2026-02-27 cs.AI cs.SD eess.AS
Lossless Inference Acceleration for ASR via EAGLE-Style Speculative Decoding
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；ASUS Intelligent Cloud Services（华硕智能云服务）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
该研究针对ASR推理延迟问题，提出EAGLE-ASR框架，通过EAGLE风格推测解码结合轻量草稿模型Speech-Draft实现无损加速，在Whisper等模型上获最高2.4倍加速，还可泛化至多语言ASR等任务。
2026-10-12 cs.SD eess.AS
Accurate and Reliable Confidence Estimation Based on Non-Autoregressive End-to-End Speech Recognition System
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出基于Paraformer和CIF机制的CA-CEM模型，通过生成token同步声学嵌入解决端到端置信度估计中删除与插入错误导致的不可靠问题，在ECE-U、AUC和RMSE指标上均取得显著提升。
2023-05-25 cs.CL cs.SD eess.AS
Unsupervised Subword Modeling Using Autoregressive Pretraining and Cross-Lingual Phone-Aware Modeling
Delft University of Technology（代尔夫特理工大学）
这项研究解决了无监督子字建模，即，学习可以区分语言的子字单元的特征表示。该方法采用两阶段瓶颈特征（BNF）学习框架，由自回归预测编码（APC）作为前端和DNN-BNF模型作为后端组成。APC预训练的特征被设置为DNN-BNF模型的输入特征。语言不匹配的ASR系统用于为DNN-BNF模型训练提供跨语言的电话标签。最后，BNF被提取作为子词区分特征表示。这项工作的第二个目的是调查我们的方法的有效性的鲁棒性不同数量的训练数据。在Libri-light和ZeroSpeech 2017数据库上的结果表明，APC在前端特征预训练中是有效的。我们的整个系统在这两个数据库上的性能都超过了最先进的水平。荷兰语ASR对英语数据的跨语言电话标签优于普通话ASR，这可能与荷兰语与英语的相似性大于普通话与英语的相似性有关。当训练数据超过50小时时，我们的系统对训练数据量不太敏感。APC预培训将所需的培训材料从5,000多小时减少到200小时左右，性能几乎没有下降。
2020-08-06 cs.CL cs.SD eess.AS
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
连接主义时间分类（CTC）是一种广泛使用的自动语音识别（ASR）方法，它执行条件独立的单调对齐。然而，对于翻译，CTC表现出明显的局限性，由于上下文和非单调的性质的任务，因此落后于注意解码器的翻译质量方面的方法。在这项工作中，我们认为，CTC实际上是有意义的翻译，如果应用在联合CTC/注意力框架，其中CTC的核心属性可以抵消几个关键的弱点，纯注意力模型在训练和解码。为了验证这一猜想，我们修改了最初为ASR提出的混合CTC/Attention模型，以支持文本到文本翻译（MT）和语音到文本翻译（ST）。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
Segment-Level Vectorized Beam Search Based on Partially Autoregressive Inference
IBM Japan Ltd.（IBM日本有限公司）；The University of Auckland（奥克兰大学）；Waseda University（早稻田大学）；Carnegie Mellon University（卡内基梅隆大学）
针对自回归解码推理慢的问题，提出部分自回归框架，采用段级向量化束搜索并行重测低置信度token，在LibriSpeech上提速12-13倍且保持高准确率。
2023-10-01 cs.SD eess.AS
Improving non-autoregressive end-to-end speech recognition with pre-trained acoustic and language models
虽然Transformers在端到端（E2 E）自动语音识别（ASR）中取得了令人鼓舞的结果，但是它们的自回归（AR）结构成为加速解码过程的瓶颈。对于实际部署，期望ASR系统在实现快速推理的同时具有高度准确性。非自回归（NAR）模型由于其快速的推理速度而成为一种流行的替代方案，但它们在识别精度方面仍然落后于AR系统。为了满足这两个需求，在本文中，我们提出了一个NAR CTC/注意力模型，利用预先训练的声学和语言模型：wav2vec2.0和BERT。为了弥合从预训练模型获得的语音和文本表示之间的模态差距，我们设计了一种新的模态转换机制，它更适合于语标语言。在推理过程中，我们使用CTC分支来生成目标长度，这使得BERT能够并行预测令牌。我们还设计了一个基于缓存的CTC/注意力联合解码方法，以提高识别精度，同时保持解码速度快。实验结果表明，所提出的NAR模型大大优于我们强大的wav2vec2.0 CTC基线（AISHELL-1上的相对CER减少15.1%）。建议的NAR模型显着超过以前的NAR系统的AISHELL-1基准测试，并显示了英语任务的潜力。
2022-01-26 cs.SD eess.AS
A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation
Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Yahoo Japan Corporation（雅虎日本公司）；Kyoto University（京都大学）；LINE Corporation（LINE公司）；Naver Corporation（NAVER公司）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型在一个序列中同时生成多个输出，与自回归基线相比，这显著降低了推理速度，但代价是精度下降。NAR模型在实时应用中显示出巨大的潜力，越来越多的NAR模型在不同的领域中被探索，以缩小与AR模型的性能差距。在这项工作中，我们进行了各种NAR建模方法的端到端的自动语音识别（ASR）的比较研究。实验在最先进的环境中使用ESPnet进行。各种任务的结果为理解NAR ASR提供了有趣的发现，例如准确性-速度权衡和对长形式话语的鲁棒性。我们还表明，这些技术可以结合起来，以进一步改善和应用到NAR端到端的语音翻译。所有的实现都是公开的，以鼓励在NAR语音处理的进一步研究。
2021-10-11 cs.CL cs.SD eess.AS
TTS Skins: Speaker Conversion via ASR
Tel Aviv University（特拉维夫大学）
我们提出了一个完全卷积的wav-to-wav网络，用于在说话者的声音之间进行转换，而不依赖于文本。我们的网络是基于一个编码器-解码器架构，其中的编码器是预先训练的自动语音识别的任务，和多扬声器波形解码器进行训练，以重建原始信号的自回归方式。我们训练讲述有声读物的网络，并在这些声音中演示多语音TTS，通过转换语音的TTS机器人。
2020-07-26 cs.LG cs.SD stat.ML
WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition
Sogou Inc.（搜狗公司）
近年来，基于注意力的编码器-解码器（AED）端到端（E2 E）模型在自动语音识别（ASR）领域引起了越来越多的关注。然而，AED模型在商业应用中部署时仍然具有缺点。自回归束搜索解码使得其对于高并发应用是低效的。集成外部单词级语言模型也不方便。最重要的是，AED模型由于全局注意力机制而难以进行流识别。在本文中，我们提出了一个新的框架，即WNARS，使用混合CTC注意AED模型和加权有限状态传感器（WFST）来解决这些问题。我们从自回归束搜索切换到CTC分支解码，CTC分支解码以块方式使用WFST执行第一遍解码。解码器分支然后对所生成的假设非自回归地执行第二遍重新评分。在AISHELL-1任务上，我们的WNARS实现了5.22%的字符出错率和640 ms的延迟，据我们所知，这是在线ASR的最先进的性能。在我们的10，000小时普通话任务上的进一步实验表明，与强大的TDNN-BLSTM无格MMI基线相比，所提出的方法在50%的延迟下实现了20%以上的改进。
2021-04-21 cs.CL cs.SD eess.AS
Unifying Speech Recognition, Synthesis and Conversion with Autoregressive Transformers
AutoArk-AI
本文提出GPA模型，通过统一的自回归架构整合语音识别、合成与转换任务，实现高效多任务处理和低延迟部署。
2026-01-15 cs.AI cs.SD eess.AS
Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data
Microsoft Research Asia（微软亚洲研究院）
本文研究了一种新的预训练技术Speech 2C，用于基于编解码器的自动语音识别（ASR）。在多任务学习框架内，我们使用声学单元为编码器-解码器网络引入两个预训练任务，即，伪代码，源自离线集群模型。一种是通过编码器输出中的掩码语言建模（如HuBERT模型）来预测伪代码，而另一种是让解码器学习自回归地重建伪代码，而不是生成文本脚本。通过这种方式，解码器在学习生成正确的文本之前学习用代码重构原始语音信息。在LibriSpeech语料库上的综合实验表明，与不进行解码器预训练的方法相比，Speech 2C可以将词出错率（WER）降低19.2%，并且在10 h和100 h的微调子集上也明显优于最先进的wav 2 vec 2.0和HuBERT。我们在https://github.com/microsoft/SpeechT5/tree/main/Speech2C上发布我们的代码和模型。
2022-06-20 cs.LG cs.SD eess.AS
M-CIF: Multi-Scale Alignment For CIF-Based Non-Autoregressive ASR
School of Computer Science and Engineering, Northeastern University, Shenyang, China（计算机科学与工程学院，东北大学，沈阳，中国）；NiuTrans Research（NiuTrans研究院）；Kunming University of Science and Technology, China（昆明理工大学，中国）
针对CIF机制在非自回归语音识别中对齐稳定性不足的问题，提出多尺度CIF（M-CIF），通过逐步蒸馏字符和音素监督到子词表示实现多级对齐，在CommonVoice上德语和法语WER分别降低4.21%和3.05%。
2026-09-22 cs.CL cs.SD
Text-only domain adaptation for end-to-end ASR using integrated text-to-mel-spectrogram generator
NVIDIA（英伟达）；University of London（伦敦大学）；ITMO University（ITMO大学）；Higher School of Economics（高等经济学院）
本文提出一种端到端ASR系统，通过集成非自回归多说话人文本到梅尔频谱生成器和GAN增强器，利用纯文本数据实现领域自适应，在准确率、自适应质量和训练速度上均优于仅用转写语音训练及级联TTS方案。
2023-08-16 cs.CL cs.LG cs.SD
Boosting CTC-Based ASR Using LLM-Based Intermediate Loss Regularization
Independent Researcher（独立研究者）
针对CTC模型难以建模语言依赖的问题，提出辅助损失框架LAIL，利用LLM的语言知识增强CTC-based ASR，在保持计算效率的同时显著降低WER并实现SOTA。
2025-06-28 cs.CL cs.SD eess.AS
EffectiveASR: A Single-Step Non-Autoregressive Mandarin Speech Recognition Architecture with High Accuracy and Inference Speed
Ping An Technology（平安科技）；Georgia Institute of Technology（佐治亚理工学院）
本文提出单步非自回归普通话 ASR 架构 EffectiveASR，通过 IMV 对齐生成与预测实现端到端训练，在 AISHELL-1 上准确率超过 AR Conformer 且推理加速约 30 倍。
2025-01-09 cs.SD eess.AS
Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss
语码转换（CS）是自动语音识别（ASR）的一个难题，尤其是基于字符的模型。由于组合选择了多种语言中的字符，基于字符的模型的结果会受到音素重复的影响，从而导致语言不一致的拼写。我们提出了上下文连接时间分类（CCTC）的损失，以鼓励拼写错误的字符为基础的非自回归ASR，允许更快的推理。CCTC损失条件的主要预测的预测上下文，以确保语言的拼写一致性。与现有的基于CTC的方法相比，CCTC损失不需要帧级对齐，因为上下文地面真值是从模型的估计路径中获得的。与使用常规CTC损失训练的相同模型相比，我们的方法一致地提高了CS和单语语料库上的ASR性能。
2021-06-22 cs.CL cs.SD eess.AS
Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems
Microsoft（微软）
上下文偏置是端到端自动语音识别（ASR）系统中一个重要且具有挑战性的任务，其目的是通过将ASR系统偏置到特定的上下文短语（如人名、音乐列表、专有名词等）来获得更好的识别性能。现有的方法主要包括上下文LM偏置和在端到端ASR模型中添加偏置编码器。在这项工作中，我们引入了一种新的方法来做上下文偏置添加上下文拼写校正模型上的端到端ASR系统。我们将上下文信息与共享的上下文编码器的序列到序列的拼写校正模型。我们提出的模型包括两种不同的机制：自回归（AR）和非自回归（NAR）。我们提出了过滤算法来处理大尺寸的上下文列表，和性能平衡机制来控制模型的偏置程度。我们证明了所提出的模型是一个一般的偏置解决方案，这是域不敏感，可以在不同的情况下采用。实验结果表明，该方法实现了高达51%的相对字出错率（WER）减少ASR系统，并优于传统的偏置方法。与AR模型相比，NAR模型的模型规模减少了43.2%，推理速度提高了2.1倍。
2022-09-07 cs.CL cs.SD eess.AS
Drax: Speech Recognition with Discrete Flow Matching
本研究针对非自回归模型在自动语音识别领域潜力未充分挖掘的问题，提出离散流匹配框架Drax，通过构建音频条件概率路径对齐训练与推理，实现了与SOTA相当的准确率及更优的准确率-效率权衡。
2025-10-05 cs.LG cs.SD eess.AS
dLLM-ASR: A Faster Diffusion LLM-based Framework for Speech Recognition
Northwestern Polytechnical University（西北工业大学）
dLLM-ASR通过将扩散大语言模型的解码过程转化为先验引导的去噪流程，实现高效的语音识别，达到与自回归模型相当的准确率并提升4.44倍推理速度。
2026-01-25 cs.SD eess.AS
A context-aware knowledge transferring strategy for CTC-based ASR
National Taiwan University of Science and Technology（台湾科技大学）
非自回归自动语音识别（ASR）建模因其解码速度快、性能优越而受到越来越多的关注。其中，基于联结主义时态分类（CTC）的方法仍然是一个主流。然而，理论上固有的缺陷--符记之间的独立性假设，给作品学派造成了表演上的障碍。为了缓解这一挑战，我们提出了一个上下文感知的知识转移策略，包括一个知识转移模块和上下文感知的培训策略，基于CTC的ASR。前者的目的是从一个预先训练好的语言模型中提取语言信息，而后者的框架是为了调整由条件独立假设引起的限制。因此，本文提出了一个知识注入的上下文感知CTC的ASR建立在wav 2 vec 2. 0。在AISHELL-1和AISHELL-2数据集上的一系列实验证明了该方法的有效性。
2022-10-12 cs.CL cs.SD eess.AS
Relaxing the Conditional Independence Assumption of CTC-based ASR by Conditioning on Intermediate Predictions
LINE Corporation（LINE公司）；Kyoto University（京都大学）
提出了一种放松基于连接主义时态分类（CTC）的自动语音识别（ASR）模型条件独立性假设的方法。我们训练一个基于CTC的ASR模型，除了最后一层的原始CTC损失外，中间层中还具有辅助CTC损失。在训练和推理期间，中间层中生成的每个预测都被求和到下一层的输入，以使最后一层的预测取决于这些中间预测。该方法易于实现，并保留了基于CTC的ASR的优点：模型结构简单，解码速度快。我们在三个不同的ASR语料库上进行实验。我们提出的方法显著改进了标准CTC模型（例如，在WSJ语料库上超过20%的相对单词错误率降低）而具有一点计算开销。此外，对于TEDLIUM 2语料库和AISHELL-1语料库，它实现了与具有波束搜索的强自回归模型相当的性能，但解码速度至少快30倍。
2021-10-08 cs.CL cs.SD eess.AS
End-to-End Joint Target and Non-Target Speakers ASR
NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司NTT计算机与数据科学实验室）
针对多说话人重叠语音需同时转写目标与非目标说话人的问题，提出利用目标说话人注册语音并递归生成文本及说话人身份标记的端到端自回归ASR方法，实验验证了其有效性。
2023-06-04 cs.CL cs.SD eess.AS
Dereverberation of Autoregressive Envelopes for Far-field Speech Recognition
College of Engineering, Thiruvananthapuram（特里凡得琅工程学院）；Indian Institute of Science（印度科学理工学院）
远场环境中的语音识别任务受到混响伪像的不利影响，混响伪像引起子带包络的时间拖尾。在本文中，我们开发了一个神经模型的语音去混响使用长期子带包络的语音。使用频域线性预测（FDLP）导出子带包络，该频域线性预测执行希尔伯特包络的自回归估计。神经去混响模型估计包络增益，该包络增益在应用于混响信号时抑制远场信号中的后期反射分量。去混响后的包络用于语音识别中的特征提取。此外，针对ASR的包络去混响、特征提取和声学建模中涉及的步骤序列可以被实现为单个神经处理流水线，其允许去混响网络和声学模型的联合学习。在REVERB挑战数据集、CHiME-3数据集和VOiCES数据集上进行了几个实验。在这些实验中，包络去混响和声学模型的联合学习产生了基于对数梅尔频谱图的基线ASR系统以及用于去混响的其他过去方法的显著性能改进（相对于基线系统的平均相对改进为10-24%）。文中还对包络去混响中超参数的选择和代价函数进行了详细的分析。
2021-08-13 cs.SD eess.AS eess.SP
PRoDeliberation: Parallel Robust Deliberation for End-to-End Spoken Language Understanding
Meta
PRoDeliberation 提出基于 CTC 解码和去噪目标的非自回归 deliberation 方法，在保持纠正 ASR 错误能力的同时实现 2-10 倍并行解码延迟降低。
2024-06-12 cs.CL cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
