Disentangling Speakers in Multi-Talker Speech Recognition with Speaker-Aware CTC
The Chinese University of Hong Kong（香港中文大学）
本文提出说话人感知CTC训练目标，通过约束编码器在特定时间帧表示不同说话人token，与SOT结合后显著降低多说话人语音识别词错误率。
2025-01-03 cs.AI cs.SD eess.AS
Speaker-Distinguishable CTC: Learning Speaker Distinction Using CTC for Multi-Talker Speech Recognition
NHK Science and Technology Research Laboratories（日本国立放送理事会科学技术研究所）；Waseda University（早稻田大学）
本文提出 SD-CTC 并将其集成到 SOT 框架中，使多人语音识别无需时间戳等辅助信息即可学习说话人区分性，错误率降低 26%。
2025-06-09 cs.CL cs.SD eess.AS
Intermediate Loss Regularization for CTC-based Speech Recognition
Naver Corporation（NAVER 公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种简单有效的辅助损失函数，用于自动语音识别（ASR），该函数基于联结主义时态分类（CTC）目标。所提出的目标，一个中间CTC损失，是附加到一个中间层的CTC编码器网络。这种中间CTC损失很好地规范了CTC训练，并提高了性能，分别只需要对代码进行小的修改，并且在训练和推理期间的开销很小且没有开销。此外，我们建议将这种中间CTC损失与随机深度训练相结合，并将这种组合应用于最近提出的Conformer网络。我们评估所提出的方法在各种语料库，达到字错误率（WER）9.9%的华尔街日报语料库和字符错误率（CER）5.2%的AISHELL-1语料库分别，基于CTC贪婪搜索没有语言模型。特别是，AISHELL-1任务可与基于具有波束搜索的自回归解码器的其他最先进的ASR系统相媲美。
2021-02-05 cs.CL cs.SD eess.AS
CJST: CTC Compressor based Joint Speech and Text Training for Decoder-Only ASR
Meta AI
本文提出CJST框架，通过CTC压缩器实现语音与文本双向联合训练，无需时长处理即可在解码器专用ASR中有效注入文本，并在Librispeech和TED-LIUM2上取得域内与跨域最佳性能。
2024-12-31 cs.LG cs.SD eess.AS
CR-CTC: Consistency regularization on CTC for improved speech recognition
Xiaomi Corp.（小米公司）
针对CTC在语音识别中性能不足的问题，提出CR-CTC方法，通过强制输入语音不同增强视图的CTC分布一致性，从自蒸馏、掩码预测学习上下文表示、抑制尖峰分布三方面改进，实验证明其性能显著提升，可与Transducer等先进系统媲美。
2025-02-14 cs.LG cs.SD eess.AS
Automatic Spelling Correction with Transformer for CTC-based End-to-End Speech Recognition
Alibaba Group（阿里巴巴集团）
基于连接主义时间分类（CTC）的端到端语音识别系统通常需要通过基于WFST的解码来结合外部语言模型，以获得有希望的结果。这对于普通话语音识别来说是非常必要的，因为普通话有一个特殊的现象，即同音异义词，它会导致大量的替换错误。语言模型引入的语言信息将有助于区分这些替代错误。在这项工作中，我们提出了一个基于Transformer的拼写校正模型，自动纠正错误，特别是基于CTC的普通话语音识别系统的替代错误。具体来说，我们研究使用CTC为基础的系统作为输入和地面实况translation作为输出的识别结果，训练一个Transformer与编码器-解码器架构，这是非常类似的机器翻译。在20，000小时的普通话语音识别任务中的结果表明，所提出的拼写校正模型可以达到3.41%的CER，这导致与基线CTC为基础的系统解码与语言模型和不使用的分别提高了22.9%和53.2%。
2019-03-27 cs.NE cs.SD eess.AS
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将语音活动检测（VAD）功能与端到端自动语音识别集成到一个在线语音界面，并转录很长的音频记录。我们专注于连接主义时间分类（CTC）及其扩展的CTC/注意架构。与基于注意力的架构相反，输入同步标签预测可以基于具有CTC（预）softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签，可以将其视为非语音区域。我们使用的标签作为一个线索，检测语音段与简单的阈值。阈值与非语音区域的长度直接相关，这比传统的VAD超参数更直观，更容易控制。未分割数据的实验结果表明，该方法优于基线方法使用传统的基于能量和神经网络的VAD方法，并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
FastInject: Injecting Unpaired Text Data into CTC-based ASR training
University of Cambridge（剑桥大学）
针对基于CTC的端到端ASR模型的域偏移问题，提出FastInject平启动联合训练方法，通过预上采样文本单元和AM3机制注入多域未配对文本数据，有效提升了域内和域外识别性能。
2023-12-14 cs.SD eess.AS
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute Japan（日本本田研究所）
提出基于CTC的仅编码器语音基础模型OWSM-CTC，使用180k小时公开数据训练，在ASR和ST任务上取得竞争力且推理更快，促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS
Hybrid CTC-Attention based End-to-End Speech Recognition using Subword Units
Tsinghua University（清华大学）；Shanghai Liulishuo Information Technology Co., Ltd（上海流利说信息技术有限公司）
在本文中，我们提出了一个端到端的自动语音识别系统，它成功地采用子字单元的混合CTC注意力为基础的系统。子字单元由字节对编码（BPE）压缩算法获得。与使用单词作为建模单元相比，使用字符或子单词单元不会遭受词汇表外（OOV）问题。此外，使用子字单元还提供了比使用字符更长的上下文建模的能力。我们在LibriSpeech 1000 h数据集上评估了不同的系统。基于子词的混合CTC-Attention系统在没有任何词典或外部语言模型的情况下，在test_clean子集上获得6.8%的词错误率（WER）。这代表了一个显着的改善（12.8%的WER相对减少），基于字符的混合CTC的注意力系统。
2018-09-06 cs.CL cs.SD eess.AS
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Improving CTC-based speech recognition via knowledge transferring from pre-trained language models
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，端到端的自动语音识别模型的基础上连接时间分类（CTC）取得了令人印象深刻的结果，特别是当微调从wav2vec2.0模型。由于条件独立性假设，基于CTC的模型总是弱于基于注意力的编码器-解码器模型，并且需要外部语言模型（LM）的帮助。为了解决这个问题，我们提出了两种知识转移方法，利用预先训练的LM，如BERT和GPT 2，以改善基于CTC的模型。第一种方法是基于表示学习，其中基于CTC的模型使用由BERT产生的表示作为辅助学习目标。第二种方法是基于联合分类学习，它结合了GPT 2的文本建模与混合CTC/注意力架构。在AISHELL-1语料库上的实验表明，该方法的字符出错率为4.2%。当与从wav2vec2.0模型微调的基于vanilla CTC的模型相比时，我们的知识转移方法在没有外部LM的情况下相对减少了16.1%的CER。
2022-02-22 cs.CL cs.SD eess.AS
Decoder-only Architecture for Speech Recognition with CTC Prompts and Text Data Augmentation
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
提出一种带有CTC提示和文本数据增强的decoder-only ASR架构，利用纯文本数据提升识别性能，在多个基准上降低词错率并提升计算效率。
2024-01-09 cs.SD eess.AS
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs（AWS人工智能实验室）
端到端语音识别模型训练使用联合连接时间分类（CTC）-注意力损失最近得到普及。在这些模型中，非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而，这样的模型很难个性化，因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题，我们提出了一种新的双向方法，首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外（OOV）单词列表上，然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法，以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd（东芝欧洲有限公司）
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架，在SLURP上提升SLU性能并保持ASR准确率，同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
Back from the future: bidirectional CTC decoding using future information in speech recognition
Naver Corporation（Naver公司）
在本文中，我们提出了一个简单而有效的方法来解码的连接时间分类器（CTC）模型的输出使用双向神经语言模型。双向语言模型使用未来以及过去的信息，以便预测序列中的下一个输出。基于双向束搜索的方法利用CTC贪心解码的输出来表示噪声的未来信息。Librispeechdataset上的实验证明了我们所提出的方法相比使用单向解码的基线的优越性。特别地，提升不准确性在序列的开始处最明显，该序列是基于单向解码的现有系统的最错误的部分。
2021-10-07 cs.CL cs.SD eess.AS
Unimodal Aggregation for CTC-based Speech Recognition
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出单峰聚合（UMA）方法用于非自回归语音识别，通过分割并整合同一文本标记的特征帧以学习更优表示并缩短序列长度，在降低计算复杂度的同时减少了识别错误，在中文数据集上表现优于或媲美其他先进方法。
2024-03-20 cs.CL cs.SD eess.AS
Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers
Tsinghua University（清华大学）；Beijing Language and Culture University（北京语言大学）
自动语音识别系统在过去的几十年中已经得到了很大的改进，并且当前的系统主要是基于混合的和基于端到端的。最近提出的气候技术中心通用报告格式框架继承了混合方法的数据效率和端到端方法的简单性。在本文中，我们进一步提出了基于CTC-CRF的ASR技术与探索的建模单元和神经结构。具体来说，我们调查的技术，使最近开发的词段建模单元和构象神经网络成功地应用于CTC-CRF。实验进行了两个英语数据集（Switchboard，Librispeech）和德国数据集从CommonVoice。实验结果表明，（i）Conformer可以显着提高识别性能;（ii）与基于音素的系统相比，基于单词的系统执行略差的目标语言与低程度的字形音素的对应关系（如英语），而这两个系统可以执行同样强大的对应程度高的目标语言（如德语）。
2021-07-08 cs.CL cs.SD eess.AS
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc（PAII公司）
提出了一种基于CTC分解的单步非自回归Transformer（CASS-NAT）的语音识别方法。具体地，CTC对准包含（a）用于解码器输入的令牌的数量和（b）每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示，即标记级声学嵌入，它代替自回归Transformer（AT）中的词嵌入，实现解码器的并行生成。在推理过程中，提出了一种基于误差的对齐采样方法应用于CTC输出空间，降低了WER，同时保持了并行性。实验结果表明，该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM，和5.8%的CER的Aishell 1普通话语料库，分别1。与AT基线相比，CASS-NAT在WER上的性能有所降低，但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时，在测试干净集上，不使用LM的WER下限达到2.3%，这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
Mask CTC: Non-Autoregressive End-to-End ASR with CTC and Mask Predict
Johns Hopkins University（约翰斯·霍普金斯大学）；Waseda University（早稻田大学）
我们提出了掩码CTC，一种新的非自回归端到端的自动语音识别（ASR）框架，它产生一个序列，通过细化输出的连接时间分类（CTC）。神经序列到序列模型通常是\textit{autoregressive}：每个输出令牌都是通过对先前生成的令牌进行调节来生成的，代价是需要与输出长度一样多的迭代。另一方面，非自回归模型可以在恒定的迭代次数内同时生成令牌，这导致显著的推理时间减少，并且更适合真实场景的端到端ASR模型。在这项工作中，使用Transformer编码器-解码器与掩码预测和CTC的联合训练来训练掩码CTC模型。在推理过程中，目标序列被初始化与贪婪的CTC输出和低置信度的令牌被掩盖的基础上的CTC概率。基于输出令牌之间的条件依赖性，然后以高置信度令牌为条件来预测这些掩蔽的低置信度令牌。在不同的语音识别任务上的实验结果表明，Mask CTC优于标准CTC模型（例如，WSJ上的WER为17.9% -> 12.1%），并接近自回归模型，使用CPU需要更少的推理时间（Python实现中为0.07 RTF）。我们所有的代码都将公开。
2020-08-17 cs.SD eess.AS
Fast-U2++: Fast and Accurate End-to-End Speech Recognition in Joint CTC/Attention Frames
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）；WeNet Open Source Community（WeNet开源社区）
最近，用于语音识别的统一的流和非流两遍（U2/U2++）端到端模型在流能力、准确性和延迟方面表现出很好的性能。在本文中，我们提出了快速U2 ++，U2++的增强版本，以进一步减少部分延迟。fast-U2++的核心思想是在其编码器中使用小块输出底层的部分结果，同时在其编码器的顶层使用大块来补偿由小块引起的性能下降。此外，我们使用知识蒸馏的方法来减少令牌的发射延迟。我们在Aishell-1数据集上进行了大量的实验。实验和消融研究表明，与U2++相比，fast-U2++将模型延迟从320 ms降低到80 ms，并在流设置下实现了5.06%的字符出错率（CER）。
2022-11-02 cs.SD eess.AS
An Investigation of Monotonic Transducers for Large-Scale Automatic Speech Recognition
Meta AI
流传输端到端自动语音识别（ASR）的两个最流行的损失函数是RNN转换器（RNN-T）和连接主义时间分类（CTC）。在这两种损失类型之间，我们可以将单调RNN-T（MonoRNN-T）和最近提出的类CTC换能器（CTC-T）分类。单调换能器具有一些优点。首先，RNN-T可能会遭受失控的幻觉，其中一个模型不断发出非空白符号，而没有及时推进。其次，单调换能器每个时间步长消耗一个模型分数，因此与传统的基于FST的ASR解码器更兼容。然而，到目前为止，MonoRNN-T的准确性比RNN-T差。它不一定是这样的：通过联合LAS训练或RNN-T的参数初始化来正则化训练，MonoRNN-T和CTC-T的性能与RNN-T一样好或更好。这是证明LibriSpeech和一个大规模的内部数据集。
2022-10-21 cs.SD eess.AS
Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，自我监督预训练在端到端（E2 E）自动语音识别（ASR）中取得了令人印象深刻的结果。然而，占主导地位的序列到序列（S2 S）E2 E模型仍然难以充分利用自监督预训练方法，因为其解码器以声学表示为条件，因此无法单独进行预训练。在本文中，我们提出了一个预训练的Transformer（Preformer）S2 S ASR架构的基础上混合CTC/注意力E2 E模型，充分利用预训练的声学模型（AM）和语言模型（LM）。在我们的框架中，编码器使用预训练的AM（wav2vec2.0）初始化。Preformer利用CTC作为训练和推理期间的辅助任务。此外，我们设计了一个单交叉解码器（OCD），它放松了对声学表示的依赖，以便可以使用预训练的LM（DistilGPT 2）进行初始化。在AISHELL-1语料库上进行了实验，并在测试集上获得了$4.6\%$字符错误率（CER）。与我们的香草混合CTC/注意力Transformer基线相比，我们提出的CTC/注意力为基础的预生成器产生$27\%$相对CER减少。据我们所知，这是第一个在S2 S ASR系统中利用预训练的AM和LM的工作。
2021-12-14 cs.CL cs.SD eess.AS
Cascaded CNN-resBiLSTM-CTC: An End-to-End Acoustic Model For Speech Recognition
CloudWalk（云从科技）
自动语音识别（ASR）任务通过端到端深度学习模型来解决，这使我们减少了原始数据的准备工作，并且更容易在语言之间进行转换。我们提出了一种新的端到端深度学习模型架构，即级联CNN-resBiLSTM-CTC。在该模型中，我们在BiLSTM层中加入残差块，以同时提取复杂的音素和语义信息，并采用级联结构来更加关注硬负样本的挖掘信息。通过应用简单的快速傅里叶变换（FFT）技术和n-gram语言模型（LM）重评分方法，我们在LibriSpeech测试干净语料库上实现了3.41%的单词错误率（WER）。此外，我们提出了一种新的批量变化的方法，以加快训练过程中的长度变化的任务，这导致减少25%的训练时间。
2018-10-30 cs.CL cs.SD eess.AS
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
连接主义时间分类（CTC）是一种广泛使用的自动语音识别（ASR）方法，它执行条件独立的单调对齐。然而，对于翻译，CTC表现出明显的局限性，由于上下文和非单调的性质的任务，因此落后于注意解码器的翻译质量方面的方法。在这项工作中，我们认为，CTC实际上是有意义的翻译，如果应用在联合CTC/注意力框架，其中CTC的核心属性可以抵消几个关键的弱点，纯注意力模型在训练和解码。为了验证这一猜想，我们修改了最初为ASR提出的混合CTC/Attention模型，以支持文本到文本翻译（MT）和语音到文本翻译（ST）。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI（亚马逊人工智能）；University of Washington（华盛顿大学）
自注意在自然语言处理中的成功，导致最近的应用在端到端的编码器-解码器架构的语音识别。另外，连接主义时间分类（CTC）已经成熟为一个无干扰，非自回归的方法，序列转导，无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC，一个深度的，完全自我注意的CTC网络，并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快，性能优于现有的CTC模型和大多数编码器-解码器模型，在WSJ eval 92上1天内的字符错误率（CER）为4.7%，在LibriSpeech test-clean上1周内为2.8%，具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话，评估位置和下采样方法，并探讨标签字母（字符，音素，子字）如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD
LegoSLM: Connecting LLM with Speech Encoder using CTC Posteriors
University of Cambridge（剑桥大学）；Google Deepmind（谷歌DeepMind）
针对现有语音编码器与大语言模型融合方法性能次优、灵活性不足的问题，提出LegoSLM范式，通过CTC后验重构伪音频嵌入桥接两类模型，在ASR等任务上取得优异效果，兼具模块化特性与领域自适应能力。
2025-05-16 cs.CL cs.SD eess.AS
Improving non-autoregressive end-to-end speech recognition with pre-trained acoustic and language models
虽然Transformers在端到端（E2 E）自动语音识别（ASR）中取得了令人鼓舞的结果，但是它们的自回归（AR）结构成为加速解码过程的瓶颈。对于实际部署，期望ASR系统在实现快速推理的同时具有高度准确性。非自回归（NAR）模型由于其快速的推理速度而成为一种流行的替代方案，但它们在识别精度方面仍然落后于AR系统。为了满足这两个需求，在本文中，我们提出了一个NAR CTC/注意力模型，利用预先训练的声学和语言模型：wav2vec2.0和BERT。为了弥合从预训练模型获得的语音和文本表示之间的模态差距，我们设计了一种新的模态转换机制，它更适合于语标语言。在推理过程中，我们使用CTC分支来生成目标长度，这使得BERT能够并行预测令牌。我们还设计了一个基于缓存的CTC/注意力联合解码方法，以提高识别精度，同时保持解码速度快。实验结果表明，所提出的NAR模型大大优于我们强大的wav2vec2.0 CTC基线（AISHELL-1上的相对CER减少15.1%）。建议的NAR模型显着超过以前的NAR系统的AISHELL-1基准测试，并显示了英语任务的潜力。
2022-01-26 cs.SD eess.AS
Pay Attention to CTC: Fast and Robust Pseudo-Labelling for Unified Speech Recognition
NatWest AI Research（NatWest人工智能研究）；Imperial College London（伦敦帝国理工学院）
本文提出USR 2.0，通过CTC驱动的教师强制和混合采样提升统一语音识别的训练效率和鲁棒性，实现训练时间减半并在多个基准上取得最佳性能。
2026-02-22 cs.CV cs.SD
Transformer-based Online CTC/attention End-to-End Speech Recognition Architecture
University of Chinese Academy of Sciences（中国科学院大学）
近年来，Transformer在自动语音识别（ASR）领域取得了成功。然而，部署基于Transformer的端到端（E2 E）模型用于在线语音识别具有挑战性。本文提出了一种基于transformer的在线CTC/attention E2 E ASR体系结构，该体系结构包含块自注意编码器（chunk-SAE）和基于单调截断注意（MTA）的自注意解码器（SAD）。首先，组块SAE将语音分割成孤立的组块。为了减少计算开销，提高性能，我们提出了状态重用块SAE。其次，基于MTA的SAD单调地截断语音特征，并对截断的特征进行关注。为了支持在线识别，我们将状态重用块SAE和基于MTA的SAD集成到在线CTC/注意力架构中。我们在HKUST Mandarin ASR基准测试中评估了所提出的在线模型，并在320 ms的延迟下实现了23.66%的字符错误率（CER）。与离线基线相比，我们的在线模型产生的绝对CER下降仅为0.19%，并且比我们先前基于长短期记忆（LSTM）的在线E2 E模型的工作有了显着的改进。
2020-02-11 cs.LG cs.NE cs.SD
End-to-end acoustic modelling for phone recognition of young readers
Paul Sabatier University（保罗萨巴蒂尔大学）；CNRS（法国国家科学研究中心）；Lalilo（拉利洛公司）
儿童语音自动识别系统在性能竞赛中落后于成人语音自动识别系统。这一现象是由于儿童语音中存在由其身体发育引起的高声学和语言变异性，以及缺乏可用的儿童语音数据。年轻读者的言语还显示出一些特殊性，如阅读速度慢和存在阅读错误，这使得任务变得困难。这项工作试图解决电话声学建模的主要挑战，为幼儿语音有限的数据，并提高在这一领域的广泛选择的模型架构的优势和劣势的理解。我们发现，迁移学习技术在端到端架构上非常有效，可以用少量的儿童语音数据进行成人到儿童的适应。通过迁移学习，Transformer模型补充了连接主义时间分类（CTC）目标函数，达到了28.1%的电话错误率，比最先进的DNN-HMM模型相对高6.6%，比其他端到端架构相对高8.5%以上。通过对两个具体的阅读任务（孤立词和句子）的分析，说明了话语长度对基于注意力和基于CTC的模型的影响。Transformer+CTC模型显示出更好地检测儿童所犯的阅读错误的能力，这可以归因于CTC目标函数有效地将注意力机制约束为单调的。
2021-03-04 cs.SD eess.AS
Distilling Knowledge from Ensembles of Acoustic Models for Joint CTC-Attention End-to-End Speech Recognition
University of Cambridge（剑桥大学）；Avignon University（阿维尼翁大学）；Samsung AI（三星人工智能）
知识蒸馏已被广泛用于压缩现有的深度学习模型，同时在广泛的应用中保持性能。在自动语音识别（ASR）的特定背景下，最近从声学模型的集合中提取在提高识别性能方面显示出有希望的结果。在本文中，我们提出了一个扩展的多教师蒸馏方法联合CTC注意端到端ASR系统。我们还介绍了三种新的蒸馏策略。他们背后的核心直觉是将出错率指标整合到教师选择中，而不是仅仅关注观察到的损失。通过这种方式，我们直接提取和优化学生对语音识别的相关度量。我们在不同的数据集（TIMIT，Librispeech，Common Voice）和各种语言（英语，法语，意大利语）上选择训练程序来评估这些策略。特别是，国家的最先进的出错率的共同语音法语，意大利语和TIMIT数据集的报告。
2021-07-04 cs.LG cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training
Microsoft（微软）
近年来，在语音识别的自监督学习（SSL）中，掩蔽预测预训练取得了显著的进展。它通常需要以无监督的方式获得的码本，这使得它不太准确并且难以解释。我们提出了两种监督引导的码本生成方法，以提高自动语音识别（ASR）的性能和预训练效率，通过解码与混合ASR系统生成音素级对齐（命名为PBERT），或执行从端到端的CTC模型（命名为CTC聚类）提取的监督语音特征上。混合模型和CTC模型都是在与微调中使用的相同的少量标记语音上训练的。实验表明，我们的方法具有显着的优越性，各种SSL和自我训练基线，高达17.0%的相对WER减少。我们的预训练模型在非ASR语音任务中也表现出良好的可转移性。
2022-06-21 cs.CL cs.SD eess.AS
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）
本文提出了一种简单有效的自动识别提示语音（CS）的方法，提示语音是一种视觉交流工具，可以帮助听力障碍者理解口语的帮助下，手势，可以唯一地识别出的音素，补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络，并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%，所提出的系统优于我们以前的CNN-HMM解码器，并与更复杂的基线竞争。
2022-04-11 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Improved Mask-CTC for Non-Autoregressive End-to-End ASR
Waseda University（早稻田大学）；Kyoto University（京都大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
对于自动语音识别（ASR）的实际部署，期望系统能够快速推理，同时减轻对计算资源的需求。最近提出的端到端ASR系统的基础上掩码预测与连接主义时间分类（CTC），掩码CTC，满足这一需求，通过生成令牌在一个非自回归的方式。虽然Mask-CTC实现了非常快的推理速度，但其识别性能落后于传统的自回归（AR）系统。为了提高Mask-CTC的性能，我们首先建议通过采用最近提出的称为Conformer的架构来增强编码器网络架构。接下来，我们提出了新的训练和解码方法，通过引入辅助目标来预测部分目标序列的长度，这允许模型在推理过程中删除或插入令牌。不同ASR任务的实验结果表明，所提出的方法显着改善Mask-CTC，优于标准的CTC模型（15.5% $\rightarrow$ 9.1% WER上WSJ）。此外，Mask-CTC现在实现了与AR模型竞争的结果，而不会降低推理速度（使用CPU的$<$ 0.1 RTF）。我们还展示了Mask-CTC在端到端语音翻译中的潜在应用。
2021-02-16 cs.CL cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
Enhancing CTC-based speech recognition with diverse modeling units
Apple Inc.（苹果公司）
本文研究基于CTC的语音识别中多样化建模单元的作用，提出E2E模型与音素、字素等单元联合训练的方法，揭示协同使用异构单元可显著提升ASR准确率。
2024-06-11 cs.AI cs.SD eess.AS
Exploring Turkish Speech Recognition via Hybrid CTC/Attention Architecture and Multi-feature Fusion Network
Xinjiang University（新疆大学）
近年来，基于深度学习的端到端语音识别技术发展迅速。由于缺乏土耳其语语音数据，土耳其语语音识别系统的性能较差。本文首先研究了一系列语音识别调谐技术。结果表明，采用速度扰动与加噪相结合的数据增强技术，束搜索宽度设为16。其次，为了最大限度地利用有效特征信息，提高特征提取的准确性，本文提出了一种新的特征提取器LSPC。将LSPC和LiGRU网络相结合，形成共享的编码器结构，实现了模型压缩。实验结果表明，在仅使用Fbank特征时，LSPC的性能优于MSPC和VGGnet，WER分别提高了1.01%和2.53%。最后，基于以上两点，提出了一种新的多特征融合网络作为编码器的主体结构。实验结果表明，与基于LSPC的单一特征（Fbank特征和Spectrogram特征）提取相比，基于LSPC的特征融合网络的WER分别提高了0.82%和1.94%。我们的模型实现了与先进的端到端模型相当的性能。
2023-03-22 cs.CL cs.SD eess.AS
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer
NVIDIA（英伟达）
提出一种多语言音视频语音识别模型，采用混合CTC/RNN-T架构的Fast Conformer，扩展训练数据，在LRS3上WER达0.8%，在MuAViC上平均WER降低11.9%，支持音频、视觉及音视频识别。
2024-03-14 cs.AI cs.CV cs.MM
SegAug: CTC-Aligned Segmented Augmentation For Robust RNN-Transducer Based Speech Recognition
ZaloAI；Ho Chi Minh City University of Science（胡志明市科学大学）；Vietnam National University（越南国家大学）
针对 RNN-T 过度依赖语言上下文导致删除错误的问题，本文提出基于 CTC 对齐的分段增强 SegAug，通过生成低句级语义的音频-文本对强化声学建模，并在多个数据集上显著降低 WER 与删除率。
2025-02-20 cs.SD eess.AS
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
kNN-CTC: Enhancing ASR via Retrieval of CTC Pseudo Labels
Nankai University（南开大学）；Beijing University of Technology（北京工业大学）；Lingxi (Beijing) Technology Co., Ltd.（灵犀（北京）科技有限公司）
kNN-CTC利用CTC伪标签构建帧级音频-文本数据存储，结合k近邻检索和跳过空白策略，显著提升预训练CTC语音识别系统的性能。
2024-02-03 cs.SD eess.AS
CarneliNet: Neural Mixture Model for Automatic Speech Recognition
NVIDIA（英伟达）
端到端的自动语音识别系统通过使用越来越深的模型已经实现了很高的准确性。然而，增加的深度带来了更大的感受野，这可能会对流媒体场景中的模型性能产生负面影响。我们提出了一种替代方法，我们称之为神经混合模型。其基本思想是引入一个并行的浅网络混合体，而不是一个非常深的网络。为了验证这个想法，我们设计了CarneliNet --一个由三个巨型块组成的基于CTC的神经网络。每个宏块由基于一维深度可分离卷积的多个并行浅子网络组成。我们在LibriSpeech，MLS和AISHELL-2数据集上评估了该模型，并取得了接近基于CTC模型的最新结果。最后，我们证明了可以动态地重新配置并行子网络的数量，以适应计算的要求，而无需重新训练。
2021-07-22 cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对CTC架构多语言语音识别难以融入语言提示的问题，提出自条件CTC框架下的编码器提示技术，实现零样本语言适配，平均降错28%，低资源语言降错41%。
2024-06-18 cs.CL cs.SD eess.AS
Insertion-Based Modeling for End-to-End Automatic Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
端到端（E2E）模型在自动语音识别（ASR）的研究领域中得到了关注。迄今为止提出的许多E2E模型假设输出令牌序列的从左到右自回归生成，除了连接主义时间分类（CTC）及其变体。然而，从左到右解码不能考虑未来的输出上下文，并且它并不总是最佳的ASR。其中一种非从左到右的模型被称为非自回归Transformer（NAT），并在神经机器翻译（NMT）研究领域得到了广泛的研究。一个NAT模型，掩码预测，已被应用于ASR，但该模型需要一些算法或额外的组件来估计输出令牌序列的长度。本文提出了另一种类型的NAT称为基于插入的模型，最初提出的NMT，ASR任务。基于插入的模型解决了上述掩码预测问题，并且可以生成任意生成顺序的输出序列。此外，我们介绍了一种新的配方的联合训练的基于插入的模型和CTC。该公式通过使其以非自回归方式依赖于基于插入的令牌生成来加强CTC。我们在三个公共基准上进行了实验，并在类似的解码条件下实现了与强自回归Transformer竞争的性能。
2020-11-16 cs.SD eess.AS
Fast offline Transformer-based end-to-end automatic speech recognition for real-world applications
Electronics and Telecommunications Research Institute（电子通信研究院）
随着近年来技术的进步，自动语音识别（ASR）在实际应用中得到了广泛的应用。利用有限的资源将大量语音准确转换为文本的效率变得比以往任何时候都更加重要。本文提出了一种基于Transformer的端到端模型来快速识别大型语音库的方法。Transformers提高了许多领域的最先进性能。然而，它们不容易用于长序列。在本文中，提出并测试了各种技术，以加快现实世界的语音识别，包括解码通过多话语批量波束搜索，检测语音结束的基础上的连接主义时间分类（CTC），限制CTC前缀分数，和分裂成短段的长语音。实验进行了Librispeech英语和现实世界的韩国ASR任务，以验证所提出的方法。实验结果表明，该系统可以在3分钟内将8小时的会议发言转换为文本，字符错误率为10.73%，比传统系统低27.1%。
2021-09-11 cs.SD eess.AS
IKFST: IOO and KOO Algorithms for Accelerated and Precise WFST-based End-to-End Automatic Speech Recognition
Fliggy Alibaba（阿里巴巴飞猪）；University of Science and Technology Beijing（北京科技大学）；Carnegie Mellon University（卡内基梅隆大学）
IKFST通过IOO和KOO算法优化WFST解码，提升端到端语音识别的效率与准确性。
2026-01-01 cs.SD eess.AS
Blank Collapse: Compressing CTC emission for the faster decoding
Channel Corporation（频道公司）；Naver Cloud（Naver云）
本文深入分析了CTC beam search中的blank标签，提出一种简单的计算量缩减方法，在LibriSpeech数据集上实现最高78%的解码加速且精度损失极小，并从实验与理论两方面证明了其有效性。
2023-06-27 cs.CL cs.SD eess.AS
