A context-aware knowledge transferring strategy for CTC-based ASR
National Taiwan University of Science and Technology（台湾科技大学）
非自回归自动语音识别（ASR）建模因其解码速度快、性能优越而受到越来越多的关注。其中，基于联结主义时态分类（CTC）的方法仍然是一个主流。然而，理论上固有的缺陷--符记之间的独立性假设，给作品学派造成了表演上的障碍。为了缓解这一挑战，我们提出了一个上下文感知的知识转移策略，包括一个知识转移模块和上下文感知的培训策略，基于CTC的ASR。前者的目的是从一个预先训练好的语言模型中提取语言信息，而后者的框架是为了调整由条件独立假设引起的限制。因此，本文提出了一个知识注入的上下文感知CTC的ASR建立在wav 2 vec 2. 0。在AISHELL-1和AISHELL-2数据集上的一系列实验证明了该方法的有效性。
2022-10-12 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input
Tencent AI Lab（腾讯AI实验室）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中取得了显著的推理加速，但其代价是精度不如自回归（AR）模型。大多数NAR Transformers采用填充有MASK令牌的固定长度序列或从编码器状态复制的冗余序列作为解码器输入，它们不能提供有效的目标侧信息，从而导致精度下降。为了解决这个问题，我们提出了一个CTC增强的NAR Transformer，它通过改进CTC模块的预测来生成目标序列。实验结果表明，我们的方法优于所有以前的NAR同行，实现了50倍的解码速度比强AR基线只有0.0 ~ 0.3绝对CER下降Aishell-1和Aishell-2数据集。
2021-04-16 cs.CL cs.SD eess.AS
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation
从特定领域进行高质量的数据标记是昂贵的，并且耗时。在这项工作中，我们提出了一个自我监督的领域自适应方法，基于迭代伪强制对齐算法。所产生的对齐被用于定制端到端自动语音识别（ASR）并迭代地细化。该算法由种子ASR产生的逐帧字符后验提供，用域外数据进行训练，并在整个连接主义时间分类（CTC）损失中进行优化。在广播电视的语料库上迭代地计算对准。通过减少要对齐的文本数量或扩大对齐窗口来重复该过程，直到找到最佳的音频-文本对齐。起始时间戳或时间锚是基于最后对齐的话语的置信度分数唯一地产生的。这个分数是用CTC比对矩阵的路径计算的。使用这种方法，不需要人工修改的文本参考。来自具有低质量透明度的长音频文件的对齐（如电视字幕）通过置信度分数过滤掉，并准备好进一步的ASR适配。在西班牙RTVE 2022和CommonVoice数据库上获得的结果支持了使用基于CTC的系统执行以下操作的可行性：高度准确的音频文本对齐、领域自适应和端到端ASR的半监督训练。
2023-01-15 cs.CL cs.SD eess.AS
kNN-CTC: Enhancing ASR via Retrieval of CTC Pseudo Labels
Nankai University（南开大学）；Beijing University of Technology（北京工业大学）；Lingxi (Beijing) Technology Co., Ltd.（灵犀（北京）科技有限公司）
kNN-CTC利用CTC伪标签构建帧级音频-文本数据存储，结合k近邻检索和跳过空白策略，显著提升预训练CTC语音识别系统的性能。
2024-02-03 cs.SD eess.AS
Improving Massively Multilingual ASR With Auxiliary CTC Objectives
Carnegie Mellon University（卡内基梅隆大学）
多语言自动语音识别（ASR）模型已经将语音技术的可用性扩展到多种语言。然而，考虑到这些模型必须处理多少种语言，理解它们在不同语言之间不平衡的性能的关键是检查模型是否真的知道它应该转录哪种语言。在本文中，我们介绍了我们的工作，提高性能的FLEURS，102语言的开放ASR基准，通过调节整个模型的语言身份（LID）。我们调查技术的灵感来自最近的联结主义时间分类（CTC）的研究，以帮助该模型处理大量的语言，条件的LID预测的辅助任务。我们的实验结果表明，我们的技术的有效性超过标准的CTC/基于注意力的混合模型。此外，我们使用具有Conformer架构的自监督模型的最先进系统比FLEURS先前工作的结果提高了相对28.4%的CER。可在https://github.com/espnet/espnet/tree/master/egs2/fleurs/asr1上获得经过训练的模型和可再现的配方。
2023-02-27 cs.CL cs.SD eess.AS
Boosting CTC-Based ASR Using LLM-Based Intermediate Loss Regularization
Independent Researcher（独立研究者）
针对CTC模型难以建模语言依赖的问题，提出辅助损失框架LAIL，利用LLM的语言知识增强CTC-based ASR，在保持计算效率的同时显著降低WER并实现SOTA。
2025-06-28 cs.CL cs.SD eess.AS
BECTRA: Transducer-based End-to-End ASR with BERT-Enhanced Encoder
Waseda University（早稻田大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了BERT-CTC-Transducer（BECTRA），一种新的端到端自动语音识别（E2 E-ASR）模型制定的换能器与BERT增强编码器。将大规模预训练语言模型（LM）集成到E2 E-ASR中已经得到了积极的研究，旨在利用通用的语言知识来生成准确的文本。使这种集成具有挑战性的一个关键因素在于词汇不匹配;为预训练的LM构建的词汇通常对于E2 E-ASR训练来说太大，并且可能与目标ASR域不匹配。为了克服这个问题，我们提出了BECTRA，我们以前的BERT-CTC的扩展版本，实现基于BERT的E2 E-ASR使用感兴趣的词汇。BECTRA是一个基于转换器的模型，它采用BERT-CTC作为编码器，并使用适合目标任务的词汇表训练ASR特定的解码器。结合传感器和BERT-CTC，我们还提出了一种新的推理算法，利用自回归和非自回归解码。在不同数据量、说话风格和语言的多个ASR任务上的实验结果表明，BECTRA在利用BERT知识的同时有效地处理词汇不匹配问题，优于BERT-CTC。
2023-03-17 cs.CL cs.SD eess.AS
Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter
NVIDIA（英伟达）；University of London（伦敦大学）
本文提出基于CTC词识别器的快速上下文偏置方法，通过CTC对数概率与紧凑上下文图匹配检测候选词并替换贪婪识别结果，结合混合Transducer-CTC模型，在加速推理的同时提升F-score并降低WER，已集成于NVIDIA NeMo工具包。
2024-06-11 cs.AI cs.CL cs.LG
InterAug: Augmenting Noisy Intermediate Predictions for CTC-based ASR
LINE Corporation（LINE公司）
本文提出了InterAug：一种新的训练方法，用于基于CTC的ASR，使用增强的中间表示条件反射。该方法利用自调节CTC的调节框架，通过调节“噪声”中间预测来训练鲁棒模型。在训练过程中，中间预测被改变为不正确的中间预测，并被馈送到下一层进行调节。随后的层被训练以用中间损失来校正不正确的中间预测。通过重复增强和校正，通常需要特殊解码器的迭代细化可以仅用音频编码器来实现。为了产生有噪声的中间预测，我们还引入了新的增强：中间特征空间增强和中间令牌空间增强，旨在模拟典型的错误。所提出的InterAug框架与新增强的组合允许对鲁棒音频编码器进行显式训练。在使用增强模拟删除，插入和替换错误的实验中，我们证实了训练的模型对每个错误都具有鲁棒性，提高了强自适应CTC基线的语音识别性能。
2022-04-01 cs.CL cs.SD eess.AS
Mask CTC: Non-Autoregressive End-to-End ASR with CTC and Mask Predict
Johns Hopkins University（约翰斯·霍普金斯大学）；Waseda University（早稻田大学）
我们提出了掩码CTC，一种新的非自回归端到端的自动语音识别（ASR）框架，它产生一个序列，通过细化输出的连接时间分类（CTC）。神经序列到序列模型通常是\textit{autoregressive}：每个输出令牌都是通过对先前生成的令牌进行调节来生成的，代价是需要与输出长度一样多的迭代。另一方面，非自回归模型可以在恒定的迭代次数内同时生成令牌，这导致显著的推理时间减少，并且更适合真实场景的端到端ASR模型。在这项工作中，使用Transformer编码器-解码器与掩码预测和CTC的联合训练来训练掩码CTC模型。在推理过程中，目标序列被初始化与贪婪的CTC输出和低置信度的令牌被掩盖的基础上的CTC概率。基于输出令牌之间的条件依赖性，然后以高置信度令牌为条件来预测这些掩蔽的低置信度令牌。在不同的语音识别任务上的实验结果表明，Mask CTC优于标准CTC模型（例如，WSJ上的WER为17.9% -> 12.1%），并接近自回归模型，使用CPU需要更少的推理时间（Python实现中为0.07 RTF）。我们所有的代码都将公开。
2020-08-17 cs.SD eess.AS
Audio Adversarial Examples for Robust Hybrid CTC/Attention Speech Recognition
Technical University of Munich（慕尼黑工业大学）
自动语音识别（ASR）的最新进展展示了端到端系统如何能够实现最先进的性能。有一种趋势是更深入的神经网络，但是这些ASR模型也更复杂，更容易受到精心设计的噪声数据的影响。这些音频对抗示例（AAE）之前在使用连接主义时间分类（CTC）以及基于注意力的编码器-解码器架构的ASR系统上进行了演示。根据混合CTC/注意力ASR系统的思想，本文提出了生成AAE的算法，将这两种方法结合到一个联合CTC-注意力梯度方法中。使用混合CTC/注意力端到端ASR模型对两个参考句子进行评估作为案例研究，以及TEDSTV 2语音识别任务。然后，我们展示了该算法在对抗训练中的应用，以获得更强大的ASR模型。
2020-07-21 cs.SD eess.AS
Bridging the gap between streaming and non-streaming ASR systems bydistilling ensembles of CTC and RNN-T models
Google Inc.（谷歌公司）
流传输端到端自动语音识别（ASR）系统广泛用于需要实时将语音转录为文本的日常应用中。它们的最小延迟使它们适合这些任务。与它们的非流模型不同，流模型被限制为因果关系，没有未来的上下文，并遭受更高的字出错率（WER）。为了改进流模型，最近的一项研究[1]提出了在无监督的话语上提取非流教师模型，然后使用教师的预测训练流学生。然而，教师和学生之间的绩效差距仍然很大。在本文中，我们的目标是通过使用一组多样化的非流教师模型并使用识别器输出投票错误减少（ROVER）将它们结合起来来缩小这一差距。特别是，我们表明，尽管比RNN-T模型弱，但CTC模型是出色的教师。此外，通过将RNN-T和CTC模型融合在一起，我们构建了最强大的教师。由此产生的学生模型大大改善了以前工作的流模型[1]：西班牙语的WER下降了41%，葡萄牙语下降了27%，法语下降了13%。
2021-04-25 cs.CL cs.SD eess.AS
Benchmarking LF-MMI, CTC and RNN-T Criteria for Streaming ASR
Facebook AI（Facebook人工智能）
在这项工作中，为了测量延迟控制的流式自动语音识别（ASR）应用的准确性和效率，我们对三个流行的训练标准进行了全面的评估：LF-MMI，CTC和RNN-T。在使用3 K-14 K小时的训练数据转录7种语言的社交媒体视频时，我们使用相同的数据集和编码器模型架构对每个标准进行了大规模的受控实验。我们发现RNN-T在ASR准确性方面具有一致的优势，而CTC模型在推理效率方面表现出色。此外，我们有选择地研究了不同训练标准的各种建模策略，包括建模单元，编码器架构，预训练等。鉴于这种大规模的真实世界流媒体ASR应用，据我们所知，我们提出了这三个广泛使用的训练标准的第一个全面的基准测试。
2020-11-09 cs.SD eess.AS
Two-Stage Augmentation and Adaptive CTC Fusion for Improved Robustness of Multi-Stream End-to-End ASR
The Johns Hopkins University（约翰斯·霍普金斯大学）
自动语音识别（ASR）系统的性能下降时，通常观察到的测试声学条件是不同于训练。因此，必须使ASR系统对各种环境失真（例如背景噪声和混响）具有鲁棒性。在多流范例中，提高鲁棒性考虑到处理各种看不见的单流条件和流间动态。以前，在多流端到端ASR中提出了一种实用的两阶段训练策略，其中第2阶段使用来自第1阶段通用特征提取器（UFE）的特征来制定多流模型。在本文中，作为扩展，我们介绍了一个两阶段的增强计划，重点是不匹配的情况下：第一阶段增强旨在解决单流输入品种与数据增强技术;第二阶段的时间掩蔽适用于时间掩模的UFE功能随机选择的流，以模拟不同的流组合。在推理过程中，我们还提出了自适应的连接主义时间分类（CTC）融合的帮助下，分层注意力机制。实验已经进行了两个数据集，DIRHA和AMI，作为一个多流的情况下。与以前的训练策略相比，有很大的改进，在几个看不见的流组合的相对字出错率减少29.7-59.3%。
2021-02-05 cs.CL cs.SD eess.AS
End-to-end contextual asr based on posterior distribution adaptation for hybrid ctc/attention system
Sogou Inc.（搜狗公司）
端到端（E2 E）语音识别体系结构将传统语音识别系统的所有组件组装到单个模型中。虽然它简化了ASR系统，但它引入了上下文ASR的缺点：E2 E模型对包含不频繁专有名词的话语的性能较差。在这项工作中，我们提出了一个上下文偏置注意（CBA）模块的注意基于编码器解码器（AED）模型，以提高其识别能力的上下文短语。具体地说，CBA利用解码器中源注意力的上下文向量来关注特定的偏置嵌入。通过与基本AED参数共同学习，CBA可以告诉模型何时以及在何处偏移其输出概率分布。在推理阶段，我们预先加载了一个偏见短语列表，并根据CBA的关注偏见短语调整CTC和注意解码器的后验分布。我们在GigaSpeech上对所提出的方法进行了评估，与基线模型相比，偏见短语的召回率从15%到28%得到了一致的相对改善。同时，我们的方法表现出很强的抗偏见能力，即使存在2,000个偏见短语，在一般测试中的性能也仅下降1.7%。
2022-02-18 cs.CL cs.SD eess.AS
FastInject: Injecting Unpaired Text Data into CTC-based ASR training
University of Cambridge（剑桥大学）
针对基于CTC的端到端ASR模型的域偏移问题，提出FastInject平启动联合训练方法，通过预上采样文本单元和AM3机制注入多域未配对文本数据，有效提升了域内和域外识别性能。
2023-12-14 cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
Joint Masked CPC and CTC Training for ASR
Facebook AI Research（脸书人工智能研究院）
自监督学习（SSL）在学习对自动语音识别（ASR）有用的音频表示方面已经显示出前景。但是，像wav 2 vec ~2.0这样的SSL模型需要两个阶段的管道。在本文中，我们展示了一个可以利用未标记和标记数据的ASR模型的单阶段训练。在训练过程中，我们交替地最小化两个损失：无监督的掩蔽对比预测编码（CPC）损失和有监督的音频到文本对齐损失连接主义时间分类（CTC）。我们表明，这种联合训练方法使用无监督数据直接优化了下游ASR任务的性能，同时在Librispeech 100小时数据集上实现了与wav 2 vec ~2.0相似的单词出错率。最后，我们假设解决对比任务是对监督CTC损失的正则化。
2021-02-13 cs.CL cs.LG cs.SD
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
连接主义时间分类（CTC）是一种广泛使用的自动语音识别（ASR）方法，它执行条件独立的单调对齐。然而，对于翻译，CTC表现出明显的局限性，由于上下文和非单调的性质的任务，因此落后于注意解码器的翻译质量方面的方法。在这项工作中，我们认为，CTC实际上是有意义的翻译，如果应用在联合CTC/注意力框架，其中CTC的核心属性可以抵消几个关键的弱点，纯注意力模型在训练和解码。为了验证这一猜想，我们修改了最初为ASR提出的混合CTC/Attention模型，以支持文本到文本翻译（MT）和语音到文本翻译（ST）。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）
多解码器（MD）端到端语音翻译模型通过搜索更好的中间自动语音识别（ASR）解码器状态作为隐藏中间体（HI）来展示高翻译质量。它是一个两遍解码模型，将整个任务分解为ASR和机器翻译子任务。然而，解码速度对于现实世界的应用来说不够快，因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD，一个快速MD模型，产生HI的非自回归（NAR）解码的基础上连接主义时间分类（CTC）的输出，然后由ASR解码器。我们研究了两种类型的NAR HI：（1）使用自回归Transformer ASR解码器的并行HI和（2）使用Mask-CTC的掩码HI，该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配，我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明，Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍，翻译质量相当。采用Conformer编码器和中间CTC损失，在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
InterMPL: Momentum Pseudo-Labeling with Intermediate CTC Loss
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）
提出了一种端到端自动语音识别（ASR）的半监督学习方法InterMPL，该方法在中间监督的情况下进行伪标记（PL）。Momentum PL（MPL）通过不断动态生成伪标签并提高其质量，在未标记数据上训练基于连接主义时态分类（CTC）的模型。与自回归公式（例如基于注意力的编码器-解码器和换能器）相比，CTC通常非常适合MPL或基于PL的半监督ASR，这是由于其简单/快速的推理算法和对生成折叠标签的鲁棒性。然而，由于条件独立性假设，CTC通常产生比自回归模型差的性能，从而限制了MPL的性能。我们建议通过引入中间损耗来增强MPL，这是受到基于CTC的建模的最新进展的启发。具体来说，我们专注于自条件和分层条件CTC，应用辅助CTC损失的中间层，这样的条件独立性假设是明确放松。我们还探讨了如何生成伪标签，并将其用作中间损失的监督。实验结果表明，在不同的半监督设置所提出的方法优于MPL和提高ASR模型的绝对性能增益高达12.1%。此外，我们的详细分析验证了中间损失的重要性。
2023-03-17 cs.CL cs.SD eess.AS
Improving LSTM-CTC based ASR performance in domains with limited training data
本文讨论了在有限数据域上，基于使用连接主义时间分类（CTC）损失函数训练的长短期记忆（LSTM）神经网络的自动语音识别（ASR）系统与基于使用交叉熵（CE）损失函数训练的混合深度神经网络（DNN）的系统之间观察到的性能差距。我们逐步通过一些实验，显示了基于LSTM-CTC ASR系统的基线EESEN工具包在Librispeech 100 hr（train-clean-100）语料库上训练的增量改进。我们的结果表明，通过数据增强和规则化的有效结合，基于LSTM-CTC的系统可以超过在相同数据上训练的基于Kaldi的强基线的性能。
2018-05-23 cs.CL
Hierarchical Conditional End-to-End ASR with CTC and Multi-Granular Subword Units
Waseda University（早稻田大学）
在端到端的自动语音识别（ASR）中，期望模型隐式地学习适于识别单词级序列的表示。然而，输入声学信号和输出语言标记之间的巨大抽象差距使得模型学习表示具有挑战性。在这项工作中，以促进端到端ASR的词级表征学习，我们提出了一个分层的条件模型，是基于连接主义的时间分类（CTC）。我们的模型是通过应用于中间层的辅助CTC损失来训练的，其中每个目标子词序列的词汇量随着层变得接近单词级输出而逐渐增加。在这里，我们使每个级别的序列预测显式地以在较低级别预测的先前序列为条件。与所提出的方法，我们希望所提出的模型，学习词级表示有效地利用层次结构的语言。在LibriSpeech-{100 h，960 h}和TEDLIUM 2上的实验结果表明，该模型优于标准CTC模型和其他竞争模型。我们进一步分析了结果，以确认我们的模型预期的表征学习的有效性。
2022-02-08 cs.CL eess.AS
Intermediate Loss Regularization for CTC-based Speech Recognition
Naver Corporation（NAVER 公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种简单有效的辅助损失函数，用于自动语音识别（ASR），该函数基于联结主义时态分类（CTC）目标。所提出的目标，一个中间CTC损失，是附加到一个中间层的CTC编码器网络。这种中间CTC损失很好地规范了CTC训练，并提高了性能，分别只需要对代码进行小的修改，并且在训练和推理期间的开销很小且没有开销。此外，我们建议将这种中间CTC损失与随机深度训练相结合，并将这种组合应用于最近提出的Conformer网络。我们评估所提出的方法在各种语料库，达到字错误率（WER）9.9%的华尔街日报语料库和字符错误率（CER）5.2%的AISHELL-1语料库分别，基于CTC贪婪搜索没有语言模型。特别是，AISHELL-1任务可与基于具有波束搜索的自回归解码器的其他最先进的ASR系统相媲美。
2021-02-05 cs.CL cs.SD eess.AS
Timestamped Embedding-Matching Acoustic-to-Word CTC ASR
Apple（苹果公司）
提出一种嵌入匹配词级CTC ASR训练方法，直接输出词时间戳，分段精度与DNN-HMM相当，误差小于3ms，词错误率相对增加小于5%。
2023-06-20 cs.CL eess.AS
Cross-modal Alignment with Optimal Transport for CTC-based ASR
National Institute of Information and Communications Technology（国立信息与通信技术研究所）；Research Center for Information Technology Innovation, Academic Sinica（中央研究院资讯科技创新研究中心）
提出基于最优传输的跨模态对齐方法，将PLM的上下文语言知识迁移到CTC声学表示中，并在AISHELL-1上显著降低CER。
2023-09-24 cs.SD eess.AS
Disentangleing Content and Fine-grained Prosody Information via Hybrid ASR Bottleneck Features for Voice Conversion
Huya Inc.（虎牙公司）
通过引入自动语音识别（ASR）模型提取的瓶颈特征（BNF），非并行数据语音转换（VC）近年来取得了相当大的突破。然而，BNF的选择对VC结果有显著影响。例如，当从用交叉熵损失（CE-BNF）训练的ASR中提取BNF并馈送到神经网络中以训练VC系统时，转换语音的音色相似性显著降低。如果从使用连接主义时间分类损失（CTC-BNF）训练的ASR中提取BNF，则转换的语音的自然度可能降低。这种现象是由BNF所包含的信息的差异造成的。本文提出了一种基于CTC-BNF和CE-BNF的混合瓶颈特征互补的任意对一VC方法。采用梯度反转层和实例归一化技术分别从CE-BNF和CTC-BNF中提取韵律信息和内容信息。采用自回归解码器和Hifi-GAN声码器产生高质量的波形。实验结果表明，该方法在相似度、自然度、质量等方面均优于基线方法，并揭示了CE-BNF和CTC-BNF所含信息的差异及其对转换后语音的影响。
2022-03-24 cs.CL cs.SD eess.AS
CJST: CTC Compressor based Joint Speech and Text Training for Decoder-Only ASR
Meta AI
本文提出CJST框架，通过CTC压缩器实现语音与文本双向联合训练，无需时长处理即可在解码器专用ASR中有效注入文本，并在Librispeech和TED-LIUM2上取得域内与跨域最佳性能。
2024-12-31 cs.LG cs.SD eess.AS
4D ASR: Joint modeling of CTC, Attention, Transducer, and Mask-Predict decoders
Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出 CTC、注意力、RNN-T 与 mask-predict 四解码器联合建模（4D），通过联合训练和单遍联合解码提升 ASR 鲁棒性与性能，并支持按应用场景灵活切换。
2023-05-29 cs.CL cs.SD eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
CTC-Assisted LLM-Based Contextual ASR
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
提出一种CTC辅助的基于大语言模型的上下文语音识别模型，利用CTC解码结果过滤热词并融入提示，显著提升稀有词识别，在Librispeech上WER/B-WER大幅优于基线。
2024-11-10 cs.AI cs.CL eess.AS
Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，自我监督预训练在端到端（E2 E）自动语音识别（ASR）中取得了令人印象深刻的结果。然而，占主导地位的序列到序列（S2 S）E2 E模型仍然难以充分利用自监督预训练方法，因为其解码器以声学表示为条件，因此无法单独进行预训练。在本文中，我们提出了一个预训练的Transformer（Preformer）S2 S ASR架构的基础上混合CTC/注意力E2 E模型，充分利用预训练的声学模型（AM）和语言模型（LM）。在我们的框架中，编码器使用预训练的AM（wav2vec2.0）初始化。Preformer利用CTC作为训练和推理期间的辅助任务。此外，我们设计了一个单交叉解码器（OCD），它放松了对声学表示的依赖，以便可以使用预训练的LM（DistilGPT 2）进行初始化。在AISHELL-1语料库上进行了实验，并在测试集上获得了$4.6\%$字符错误率（CER）。与我们的香草混合CTC/注意力Transformer基线相比，我们提出的CTC/注意力为基础的预生成器产生$27\%$相对CER减少。据我们所知，这是第一个在S2 S ASR系统中利用预训练的AM和LM的工作。
2021-12-14 cs.CL cs.SD eess.AS
Phonemic and Graphemic Multilingual CTC Based Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
训练自动语音识别（ASR）系统需要目标语言的大量数据以实现良好的性能。虽然大型培训语料库是现成的语言，如英语，有一个长尾的语言，确实遭受缺乏资源。处理数据稀疏性的一种方法是使用来自其他源语言的数据并构建多语言系统。最近，基于连接主义时间分类（CTC）训练的递归神经网络（RNN）的ASR系统获得了大量的研究兴趣。在这项工作中，我们扩展了我们以前的方法对培训CTC为基础的系统多语言。我们的系统具有一个全球音素集，基于每种源语言的联合音素集。我们评估了不同语言组合的使用以及语言特征向量（LFV）的添加。作为对比实验，我们也建立了基于字素的系统。已知具有多语言音素集的系统与其单语言对应物相比在性能上受到影响。通过我们提出的方法，我们可以减少这些单语言和多语言设置之间的差距，使用字素或音素。
2017-11-13 cs.AI cs.CL eess.AS
Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University（阿尔及利亚科学与技术大学）；University of MEDEA（迈代阿大学）；College of Engineering and Information Technology, University of Dubai（迪拜大学工程与信息技术学院）
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展，阐述了其架构、应用、相关研究及局限性，为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
Hierarchical Cross-Modality Knowledge Transfer with Sinkhorn Attention for CTC-based ASR
National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）；Research Center for Information Technology Innovation, Academic Sinica（中央研究院资讯科技创新研究中心）
本文提出带 Sinkhorn 注意力的分层跨模态知识迁移框架，将 PLM 语言学知识注入 CTC ASR 声学编码器，并在 AISHELL-1 上无语言模型取得 3.64%/3.94% CER 的最优结果。
2023-09-28 cs.SD eess.AS
Building Robust Spoken Language Understanding by Cross Attention between Phoneme Sequence and ASR Hypothesis
JD AI（京东人工智能）；Hunan University（湖南大学）；University of Cambridge（剑桥大学）
构建对自动语音识别（ASR）错误鲁棒的口语语言理解（SLU）是各种启用语音的虚拟助理的基本问题。考虑到大多数ASR错误是由发音相似的表达之间的语音混淆引起的，直观地，利用语音的音素序列可以补充ASR假设，并增强SLU的鲁棒性。提出了一种新的带交叉注意的SLU模型（CASLU）.交叉注意块的设计是为了捕捉音素和词嵌入之间的细粒度的相互作用，以使联合表示捕捉输入的语音和语义特征的同时，克服在下游的自然语言理解（NLU）任务的ASR错误。在三个数据集上进行了大量的实验，显示了我们的方法的有效性和竞争力。此外，我们还验证了CASLU的通用性，并证明了它与其他鲁棒SLU技术相结合时的互补性。
2022-03-22 cs.CL cs.SD eess.AS
Spelling Correction through Rewriting of Non-Autoregressive ASR Lattices
Google, Inc（谷歌公司）
提出一种基于FST的CTC词格重写拼写纠错技术，直接从词片段进行G2P转换，无需重训ASR模型，在上下文实体测试集上实现15.2%的SER相对降低。
2024-09-24 cs.CL cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）
本文提出了一种简单有效的自动识别提示语音（CS）的方法，提示语音是一种视觉交流工具，可以帮助听力障碍者理解口语的帮助下，手势，可以唯一地识别出的音素，补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络，并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%，所提出的系统优于我们以前的CNN-HMM解码器，并与更复杂的基线竞争。
2022-04-11 cs.CL cs.SD eess.AS
CAT: A CTC-CRF based ASR Toolkit Bridging the Hybrid and the End-to-end Approaches towards Data Efficiency and Low Latency
Tsinghua University（清华大学）
在本文中，我们提出了一个新的开放源码的语音识别工具包，命名为CAT（CTC-CRF为基础的ASR工具包）。CAT继承了混合方法的数据效率和E2 E方法的简单性，提供了CTC-CRF的全面实施以及针对多个英文和中文基准的完整培训和测试脚本。实验表明，CAT获得了最先进的结果，这是在Kaldi的微调混合模型，但更简单的训练管道。与现有的非模块化E2 E模型相比，CAT在有限规模的数据集上表现更好，证明了其数据效率。此外，我们提出了一种新的方法，称为上下文软遗忘，它使CAT做流ASR没有准确性下降。我们希望计算机辅助翻译，特别是以CTC-CRF为基础的框架和软件，能引起社会的广泛兴趣，并能得到进一步的研究和改进。
2020-08-05 cs.LG cs.SD eess.AS
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Idiap Research Institute（伊迪亚普研究所）
用于自动语音识别（ASR）的多语言模型是有吸引力的，因为它们已被证明受益于更多的训练数据，并且更好地适应资源不足的语言。然而，从单语上下文相关的模型初始化导致爆炸的上下文相关的状态。连接主义时间分类（CTC）是一个潜在的解决方案，因为它与单音素标签表现良好。我们调查多语言CTC的背景下，适应和正规化技术，已被证明是有益的，在更传统的背景下。多语言模型被训练为使用CTC损失函数对基于通用国际音标（IPA）的音素集进行建模。学习隐藏单元贡献（LHUC）进行语言自适应训练。此外，跨语言适应过程中的辍学也进行了研究和测试，以减轻过拟合问题。实验结果表明，LHUC可以提高基于音素的通用CTC系统的性能，并且在跨语言适应过程中可以扩展到新的音素。更新所有参数显示在有限数据上的一致改善。在自适应过程中应用dropout可以进一步改进系统，并在有限的数据上实现与深度神经网络/隐马尔可夫模型（DNN/HMM）系统竞争的性能。
2018-01-23 cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Layer Pruning on Demand with Intermediate CTC
Naver Corporation（Naver公司）；Carnegie Mellon University（卡内基梅隆大学）
在移动/嵌入式设备上部署端到端的自动语音识别（ASR）模型是一项具有挑战性的任务，因为设备的计算能力和能耗要求在实践中是动态变化的。为了克服这个问题，我们提出了一个训练和修剪方法的ASR的基础上的连接主义的时间分类（CTC），它允许减少模型深度在运行时没有任何额外的微调。为了实现这一目标，我们采用了两种正则化方法，中间CTC和随机深度，训练一个模型，其性能不会下降后修剪。我们提出了一个深入的分析层的行为，使用奇异向量典型相关分析（SVCCA），和有效的策略，找到层是安全的修剪。使用所提出的方法，我们表明，一个transformer-CTC模型可以根据需要在不同的深度修剪，提高GPU上的实时因子从0.005到0.002，而每个修剪的子模型保持相同深度的单独训练模型的准确性。
2021-06-17 cs.CL cs.SD eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
Enhancing Code-Switching ASR Leveraging Non-Peaky CTC Loss and Deep Language Posterior Injection
National Taiwan Normal University（国立台湾师范大学）
针对语码转换场景下端到端ASR系统性能下降的问题，提出融入语言识别信息、应用语言边界对齐损失、利用语言后验促进编码器深度交互的方法，在SEAME语料库上性能优于D-MoE方法。
2024-11-26 cs.CL cs.LG cs.SD
Phoneme-BERT: Joint Language Modelling of Phoneme Sequence and ASR Transcript
近年来，在识别口语的ASR系统中已经见证了显著的改进。然而，它仍然是一个具有挑战性的任务，噪声和域外数据，其中替换和删除错误是普遍存在的转录文本。这些错误会显著降低下游任务的性能。在这项工作中，我们提出了一个BERT风格的语言模型，称为PhonemeBERT，学习一个联合语言模型与音素序列和ASR成绩单学习语音感知表示，是强大的ASR错误。我们表明，PhonemeBERT可以用于下游任务使用音素序列作为附加功能，也可以在低资源设置，我们只有ASR转录的下游任务没有可用的音素信息。我们通过为三个基准数据集生成噪声数据来广泛评估我们的方法-斯坦福情绪树库，TREC和ATIS分别用于情绪，问题和意图分类任务。所提出的方法的结果在每个数据集上全面击败了最先进的基线。
2021-06-15 cs.CL eess.AS
Multiple-hypothesis CTC-based semi-supervised adaptation of end-to-end speech recognition
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）；The University of Sheffield（谢菲尔德大学）
本文提出了一种用于端到端语音识别的自适应方法。在该方法中，多个自动语音识别（ASR）1-最佳假设被集成在计算的连接主义时间分类（CTC）损失函数。当使用ASR假设时，多个ASR假设的整合有助于减轻ASR假设中的误差对CTC损失计算的影响。当应用于部分自适应数据没有标签的半监督自适应场景时，所提出的方法的CTC损失从通过解码未标记的自适应数据获得的不同ASR 1-best假设计算。在干净和多条件训练场景中进行实验，其中基于CTC的端到端ASR系统分别在华尔街日报（WSJ）干净训练数据和CHiME-4多条件训练数据上进行训练，并在Aurora-4测试数据上进行测试。所提出的自适应方法产生6.6%和5.8%的相对字出错率（WER）减少清洁和多条件的训练方案，分别相比，基线系统，这是适应与部分的自适应数据具有手动transmittance使用反向传播微调。
2021-03-31 cs.CL
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Phoneme-aware Encoding for Prefix-tree-based Contextual ASR
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对上下文语音识别中稀有词识别难题，提出为基于前缀树的TCPGen模型扩展音素感知编码，通过音素-子词对齐及CTC音素预测注入优化，在英日双语数据集上均优于字素编码方法。
2023-12-15 cs.CL cs.SD eess.AS
Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers
Tsinghua University（清华大学）；Beijing Language and Culture University（北京语言大学）
自动语音识别系统在过去的几十年中已经得到了很大的改进，并且当前的系统主要是基于混合的和基于端到端的。最近提出的气候技术中心通用报告格式框架继承了混合方法的数据效率和端到端方法的简单性。在本文中，我们进一步提出了基于CTC-CRF的ASR技术与探索的建模单元和神经结构。具体来说，我们调查的技术，使最近开发的词段建模单元和构象神经网络成功地应用于CTC-CRF。实验进行了两个英语数据集（Switchboard，Librispeech）和德国数据集从CommonVoice。实验结果表明，（i）Conformer可以显着提高识别性能;（ii）与基于音素的系统相比，基于单词的系统执行略差的目标语言与低程度的字形音素的对应关系（如英语），而这两个系统可以执行同样强大的对应程度高的目标语言（如德语）。
2021-07-08 cs.CL cs.SD eess.AS
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute Japan（日本本田研究所）
提出基于CTC的仅编码器语音基础模型OWSM-CTC，使用180k小时公开数据训练，在ASR和ST任务上取得竞争力且推理更快，促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS
LegoSLM: Connecting LLM with Speech Encoder using CTC Posteriors
University of Cambridge（剑桥大学）；Google Deepmind（谷歌DeepMind）
针对现有语音编码器与大语言模型融合方法性能次优、灵活性不足的问题，提出LegoSLM范式，通过CTC后验重构伪音频嵌入桥接两类模型，在ASR等任务上取得优异效果，兼具模块化特性与领域自适应能力。
2025-05-16 cs.CL cs.SD eess.AS
