Improving End-To-End Modeling for Mispronunciation Detection with Effective Augmentation Mechanisms
National Taiwan Normal University（台湾师范大学）
近年来，端到端（E2 E）模型，它允许采取的频谱向量序列的第二语言（第二语言）学习者的话语作为输入，并产生相应的音素级序列作为输出，引起了研究的关注，在开发的发音错误检测（MD）系统。然而，由于缺乏足够的L2扬声器的标记语音数据用于模型估计，E2 E MD模型相对于建立在DNN-HMM声学模型上的传统模型容易过拟合。为了缓解这一关键问题，我们在本文中提出了两种建模策略，以提高E2 E MD模型的区分能力，每一种都可以隐式地利用编码在预训练声学模型中的语音和音韵特征，并分别包含在训练数据的参考转录本中。第一个是输入增强，其目的是从DNN-HMM声学模型中提取有关语音识别的知识。第二种是标签增强，它设法从训练数据的转录本中捕获更多的语音模式。在L2-ARCTIC英语数据集上进行的一系列实证实验似乎证实了我们的E2 E MD模型与一些顶级E2 E MD模型和基于DNN-HMM声学模型的经典发音评分方法相比的有效性。
2021-10-17 cs.AI cs.SD eess.AS
An improved hybrid CTC-Attention model for speech recognition
CloudWalk（云从科技）
最近，端到端的语音识别与连接主义的时间分类（CTC）和注意编码器-解码器组成的混合模型取得了最先进的结果。在本文中，我们提出了一种新的CTC解码器结构的基础上，我们进行了实验，并探讨解码性能和编码器的深度之间的关系。我们还应用注意力平滑机制来获取更多的上下文信息，以子字为基础的解码。总的来说，这些策略使我们能够在LibriSpeech语料库的测试干净子集上实现4.43%的单词出错率（WER），而没有LM和3.34%的RNN-LM，这是迄今为止在该数据集上报告的端到端ASR系统的最佳WER。
2018-11-01 cs.SD eess.AS
Using Phonological-Level Wav2Vec2 for Mandarin Automatic Mispronunciation Detection and Diagnosis
School of Electrical Engineering and Telecommunications（电气工程与电信学院）
提出基于音系特征的MDD框架，在Wav2Vec2 CTC架构中联合建模音段和声调属性，相比纯音素基线系统，误接受率降低10.1%，诊断错误率降低23.6%。
2026-06-23 cs.SD eess.AS
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
连接主义时间分类（CTC）是一种广泛使用的自动语音识别（ASR）方法，它执行条件独立的单调对齐。然而，对于翻译，CTC表现出明显的局限性，由于上下文和非单调的性质的任务，因此落后于注意解码器的翻译质量方面的方法。在这项工作中，我们认为，CTC实际上是有意义的翻译，如果应用在联合CTC/注意力框架，其中CTC的核心属性可以抵消几个关键的弱点，纯注意力模型在训练和解码。为了验证这一猜想，我们修改了最初为ASR提出的混合CTC/Attention模型，以支持文本到文本翻译（MT）和语音到文本翻译（ST）。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
Improving CTC-AED model with integrated-CTC and auxiliary loss regularization
Inner Mongolia University（内蒙古大学）；Xinjiang University（新疆大学）
针对 CTC-AED 联合建模，本文提出 integrated-CTC，通过 DAL、PMP 融合注意力与 CTC 输出，并加入辅助损失正则化，在不同解码方式下取得性能优势。
2023-08-15 cs.CL cs.SD eess.AS
Hierarchical Cross-Modality Knowledge Transfer with Sinkhorn Attention for CTC-based ASR
National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）；Research Center for Information Technology Innovation, Academic Sinica（中央研究院资讯科技创新研究中心）
本文提出带 Sinkhorn 注意力的分层跨模态知识迁移框架，将 PLM 语言学知识注入 CTC ASR 声学编码器，并在 AISHELL-1 上无语言模型取得 3.64%/3.94% CER 的最优结果。
2023-09-28 cs.SD eess.AS
Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
在自动语音识别（ASR）中，基于连接主义时态分类（CTC）的模型因其快速推理而备受关注。语言模型（LM）集成方法，如浅层融合和重评分，可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而，它们显著减慢了CTC的推断。在这项研究中，我们建议提取BERT的知识，基于CTC的ASR，扩展我们以前的研究，基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识，在测试过程中不使用BERT，保持了CTC的快速推理能力。与基于注意力的模型不同，基于CTC的模型进行帧级预测，因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库（CSJ）和TED-LIUM 2上的实验结果表明，该方法在不影响推理速度的前提下，提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
Hybrid CTC-Attention based End-to-End Speech Recognition using Subword Units
Tsinghua University（清华大学）；Shanghai Liulishuo Information Technology Co., Ltd（上海流利说信息技术有限公司）
在本文中，我们提出了一个端到端的自动语音识别系统，它成功地采用子字单元的混合CTC注意力为基础的系统。子字单元由字节对编码（BPE）压缩算法获得。与使用单词作为建模单元相比，使用字符或子单词单元不会遭受词汇表外（OOV）问题。此外，使用子字单元还提供了比使用字符更长的上下文建模的能力。我们在LibriSpeech 1000 h数据集上评估了不同的系统。基于子词的混合CTC-Attention系统在没有任何词典或外部语言模型的情况下，在test_clean子集上获得6.8%的词错误率（WER）。这代表了一个显着的改善（12.8%的WER相对减少），基于字符的混合CTC的注意力系统。
2018-09-06 cs.CL cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University（早稻田大学）
本文尝试将Mask-CTC和触发式注意力机制相结合，构建一个流媒体端到端自动语音识别（ASR）系统，该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而，为了保持基于CTC输出的对准估计的高精度（这是其性能的关键），不可避免的是，应当利用一些未来信息输入（即，具有更高的延迟）。应当注意，在流式传输ASR中，期望能够实现高识别准确度，同时保持低延迟。因此，本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR，Mask-CTC能够学习预测未来信息的特征表示（即，可以考虑长期上下文）到编码器预训练。使用华尔街日报数据进行的实验比较表明，该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan（京都大学信息学研究科）
在这项工作中，我们提出了新的解码算法，使流自动语音识别（ASR）的未分割的长形式的录音没有语音活动检测（VAD），基于单调块注意（MoChA）与辅助连接时间分类（CTC）的目标。我们提出了一种块同步波束搜索解码，以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法，利用CTC概率来确定一个合适的时间来重置模型状态，以解决长格式数据的脆弱性。实验结果表明，块同步解码达到相当的精度标签同步之一。此外，无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Gaussian Kernelized Self-Attention for Long Sequence Data and Its Application to CTC-based Speech Recognition
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于自注意（SA）的模型由于其灵活的上下文建模能力，最近在混合和端到端自动语音识别（ASR）系统中取得了显著的性能改进。然而，还已知的是，当将SA应用于长序列数据时，准确度降低。这主要是由于推理和训练数据之间的长度不匹配，因为训练数据通常被划分为短段以进行有效训练。为了减轻这种不匹配，我们提出了一种新的架构，这是高斯内核的一个变体，它本身就是一个平移不变内核。首先，我们从数学上证明了具有查询和键的共享权重参数的自关注等价于归一化核函数。通过将该核函数替换为所提出的高斯核，该架构变得完全平移不变，并且使用帧索引技术嵌入相对位置信息。提出的高斯核SA应用于连接主义时态分类（CTC）的ASR。使用自发日语语料库（CSJ）和TEDLIUM 3基准的实验评估表明，所提出的SA在准确性方面实现了显着提高（例如，从24.0%WER到CSJ中的6.0%）。
2021-02-18 cs.SD eess.AS
Joint Beam Search Integrating CTC, Attention, and Transducer Decoders
针对不同E2E-ASR解码器架构各有优劣的问题，提出共享编码器的4D联合建模方案与两阶段训练策略，还设计三种以不同解码器为主的联合波束搜索算法，实验证明其性能优于单解码器模型与传统CTC/attention解码。
2025-01-14 cs.CL cs.SD eess.AS
Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，自我监督预训练在端到端（E2 E）自动语音识别（ASR）中取得了令人印象深刻的结果。然而，占主导地位的序列到序列（S2 S）E2 E模型仍然难以充分利用自监督预训练方法，因为其解码器以声学表示为条件，因此无法单独进行预训练。在本文中，我们提出了一个预训练的Transformer（Preformer）S2 S ASR架构的基础上混合CTC/注意力E2 E模型，充分利用预训练的声学模型（AM）和语言模型（LM）。在我们的框架中，编码器使用预训练的AM（wav2vec2.0）初始化。Preformer利用CTC作为训练和推理期间的辅助任务。此外，我们设计了一个单交叉解码器（OCD），它放松了对声学表示的依赖，以便可以使用预训练的LM（DistilGPT 2）进行初始化。在AISHELL-1语料库上进行了实验，并在测试集上获得了$4.6\%$字符错误率（CER）。与我们的香草混合CTC/注意力Transformer基线相比，我们提出的CTC/注意力为基础的预生成器产生$27\%$相对CER减少。据我们所知，这是第一个在S2 S ASR系统中利用预训练的AM和LM的工作。
2021-12-14 cs.CL cs.SD eess.AS
Inter-KD: Intermediate Knowledge Distillation for CTC-Based Automatic Speech Recognition
Seoul National University（首尔大学）
最近，深度学习的进步在端到端语音识别领域带来了相当大的改进，简化了传统的管道，同时产生了有希望的结果。在端到端模型中，基于联结主义时态分类（CTC）的模型由于其非自回归性质而引起了研究兴趣。然而，这样的CTC模型需要大量的计算成本来实现出色的性能。为了减轻计算负担，我们提出了一个简单而有效的知识蒸馏（KD）的CTC框架，即跨KD，另外转移教师的知识到学生网络的中间CTC层。从LibriSpeech上的实验结果来看，我们验证了Inter-KD与传统KD方法相比具有更好的效果。在不使用任何语言模型（LM）和数据增强的情况下，Inter-KD将单词错误率（WER）性能从8.85%提高到了6.30%。
2022-11-28 cs.SD eess.AS
Mask-CTC-based Encoder Pre-training for Streaming End-to-End Speech Recognition
Waseda University（早稻田大学）；LINE Corporation（LINE公司）
本文研究了基于Mask-CTC的编码器预训练方法在流式端到端ASR中的应用，验证其在不同模型架构（如Transformer-Transducer）上降低延迟、提升准确率及获得准确输出脉冲时序的有效性。
2023-09-09 cs.SD eess.AS
CR-CTC: Consistency regularization on CTC for improved speech recognition
Xiaomi Corp.（小米公司）
针对CTC在语音识别中性能不足的问题，提出CR-CTC方法，通过强制输入语音不同增强视图的CTC分布一致性，从自蒸馏、掩码预测学习上下文表示、抑制尖峰分布三方面改进，实验证明其性能显著提升，可与Transducer等先进系统媲美。
2025-02-14 cs.LG cs.SD eess.AS
Fast-U2++: Fast and Accurate End-to-End Speech Recognition in Joint CTC/Attention Frames
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）；WeNet Open Source Community（WeNet开源社区）
最近，用于语音识别的统一的流和非流两遍（U2/U2++）端到端模型在流能力、准确性和延迟方面表现出很好的性能。在本文中，我们提出了快速U2 ++，U2++的增强版本，以进一步减少部分延迟。fast-U2++的核心思想是在其编码器中使用小块输出底层的部分结果，同时在其编码器的顶层使用大块来补偿由小块引起的性能下降。此外，我们使用知识蒸馏的方法来减少令牌的发射延迟。我们在Aishell-1数据集上进行了大量的实验。实验和消融研究表明，与U2++相比，fast-U2++将模型延迟从320 ms降低到80 ms，并在流设置下实现了5.06%的字符出错率（CER）。
2022-11-02 cs.SD eess.AS
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Idiap Research Institute（伊迪亚普研究所）
用于自动语音识别（ASR）的多语言模型是有吸引力的，因为它们已被证明受益于更多的训练数据，并且更好地适应资源不足的语言。然而，从单语上下文相关的模型初始化导致爆炸的上下文相关的状态。连接主义时间分类（CTC）是一个潜在的解决方案，因为它与单音素标签表现良好。我们调查多语言CTC的背景下，适应和正规化技术，已被证明是有益的，在更传统的背景下。多语言模型被训练为使用CTC损失函数对基于通用国际音标（IPA）的音素集进行建模。学习隐藏单元贡献（LHUC）进行语言自适应训练。此外，跨语言适应过程中的辍学也进行了研究和测试，以减轻过拟合问题。实验结果表明，LHUC可以提高基于音素的通用CTC系统的性能，并且在跨语言适应过程中可以扩展到新的音素。更新所有参数显示在有限数据上的一致改善。在自适应过程中应用dropout可以进一步改进系统，并在有限的数据上实现与深度神经网络/隐马尔可夫模型（DNN/HMM）系统竞争的性能。
2018-01-23 cs.SD eess.AS
Improving CTC-based speech recognition via knowledge transferring from pre-trained language models
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，端到端的自动语音识别模型的基础上连接时间分类（CTC）取得了令人印象深刻的结果，特别是当微调从wav2vec2.0模型。由于条件独立性假设，基于CTC的模型总是弱于基于注意力的编码器-解码器模型，并且需要外部语言模型（LM）的帮助。为了解决这个问题，我们提出了两种知识转移方法，利用预先训练的LM，如BERT和GPT 2，以改善基于CTC的模型。第一种方法是基于表示学习，其中基于CTC的模型使用由BERT产生的表示作为辅助学习目标。第二种方法是基于联合分类学习，它结合了GPT 2的文本建模与混合CTC/注意力架构。在AISHELL-1语料库上的实验表明，该方法的字符出错率为4.2%。当与从wav2vec2.0模型微调的基于vanilla CTC的模型相比时，我们的知识转移方法在没有外部LM的情况下相对减少了16.1%的CER。
2022-02-22 cs.CL cs.SD eess.AS
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University（京都大学）
本文描述了一种有效的训练方法，在线流的注意力为基础的编码器-解码器（AED）的自动语音识别（ASR）系统。AED机型通过联合优化所有组件，在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架，通过模型，如单调分块注意力（MoChA）。然而，精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外，序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题，我们提出了CTC同步训练（CTC-ST），其中利用CTC对齐作为令牌边界的参考，使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标，以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外，所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此，CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明，该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法，并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器（RNN-T）相当的识别准确性，同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
FastInject: Injecting Unpaired Text Data into CTC-based ASR training
University of Cambridge（剑桥大学）
针对基于CTC的端到端ASR模型的域偏移问题，提出FastInject平启动联合训练方法，通过预上采样文本单元和AM3机制注入多域未配对文本数据，有效提升了域内和域外识别性能。
2023-12-14 cs.SD eess.AS
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs（AWS人工智能实验室）
端到端语音识别模型训练使用联合连接时间分类（CTC）-注意力损失最近得到普及。在这些模型中，非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而，这样的模型很难个性化，因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题，我们提出了一种新的双向方法，首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外（OOV）单词列表上，然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法，以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
提出Delayed-KD方法，通过延迟知识蒸馏和时间对齐缓冲区（TAB）对齐CTC输出并控制词元发射延迟，在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
End-to-end contextual asr based on posterior distribution adaptation for hybrid ctc/attention system
Sogou Inc.（搜狗公司）
端到端（E2 E）语音识别体系结构将传统语音识别系统的所有组件组装到单个模型中。虽然它简化了ASR系统，但它引入了上下文ASR的缺点：E2 E模型对包含不频繁专有名词的话语的性能较差。在这项工作中，我们提出了一个上下文偏置注意（CBA）模块的注意基于编码器解码器（AED）模型，以提高其识别能力的上下文短语。具体地说，CBA利用解码器中源注意力的上下文向量来关注特定的偏置嵌入。通过与基本AED参数共同学习，CBA可以告诉模型何时以及在何处偏移其输出概率分布。在推理阶段，我们预先加载了一个偏见短语列表，并根据CBA的关注偏见短语调整CTC和注意解码器的后验分布。我们在GigaSpeech上对所提出的方法进行了评估，与基线模型相比，偏见短语的召回率从15%到28%得到了一致的相对改善。同时，我们的方法表现出很强的抗偏见能力，即使存在2,000个偏见短语，在一般测试中的性能也仅下降1.7%。
2022-02-18 cs.CL cs.SD eess.AS
Subphonetic Acoustic Modeling via Optimal Transport for Pronunciation Assessment
The University of Tokyo（东京大学）；Chunghwa Telecom Co., Ltd.（中华电信股份有限公司）
本文提出一种拓扑感知的逐帧声学模型，结合有序次音素状态与最优时间传输分类，实现密集单调的状态判别，提升发音评估中的分割精度与错音检测性能。
2026-09-15 cs.SD eess.AS
Intermediate Loss Regularization for CTC-based Speech Recognition
Naver Corporation（NAVER 公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种简单有效的辅助损失函数，用于自动语音识别（ASR），该函数基于联结主义时态分类（CTC）目标。所提出的目标，一个中间CTC损失，是附加到一个中间层的CTC编码器网络。这种中间CTC损失很好地规范了CTC训练，并提高了性能，分别只需要对代码进行小的修改，并且在训练和推理期间的开销很小且没有开销。此外，我们建议将这种中间CTC损失与随机深度训练相结合，并将这种组合应用于最近提出的Conformer网络。我们评估所提出的方法在各种语料库，达到字错误率（WER）9.9%的华尔街日报语料库和字符错误率（CER）5.2%的AISHELL-1语料库分别，基于CTC贪婪搜索没有语言模型。特别是，AISHELL-1任务可与基于具有波束搜索的自回归解码器的其他最先进的ASR系统相媲美。
2021-02-05 cs.CL cs.SD eess.AS
Towards Real-time Mispronunciation Detection in Kids' Speech
The Ohio State University（俄亥俄州立大学）
由于引入了深度学习，现代的发音错误检测和诊断系统在准确性上有了显著的提高。然而，这些系统还没有被评估的能力，实时运行，一个重要的因素，在应用程序中，提供快速反馈。特别地，现有技术使用双向循环网络，其中单向网络可能更合适。师生学习是一种自然的方法来改善单向模型，但当使用CTC目标时，这受到输出与证据对齐不良的限制。我们通过尝试两个损失项来改善我们模型的对齐来解决这个限制。一种损失是“对齐损失”术语，其仅在特征不类似于沉默时才鼓励输出。另一个损失项使用单向模型作为教师模型来对齐双向模型。我们提出的模型使用这些对齐的双向模型作为教师模型。在CSLU儿童语料库上的实验表明，这些变化减少了输出的延迟，提高了检测率，并在这些目标之间进行了权衡。
2020-03-03 cs.CL cs.SD eess.AS
Pay Attention to CTC: Fast and Robust Pseudo-Labelling for Unified Speech Recognition
NatWest AI Research（NatWest人工智能研究）；Imperial College London（伦敦帝国理工学院）
本文提出USR 2.0，通过CTC驱动的教师强制和混合采样提升统一语音识别的训练效率和鲁棒性，实现训练时间减半并在多个基准上取得最佳性能。
2026-02-22 cs.CV cs.SD
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将语音活动检测（VAD）功能与端到端自动语音识别集成到一个在线语音界面，并转录很长的音频记录。我们专注于连接主义时间分类（CTC）及其扩展的CTC/注意架构。与基于注意力的架构相反，输入同步标签预测可以基于具有CTC（预）softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签，可以将其视为非语音区域。我们使用的标签作为一个线索，检测语音段与简单的阈值。阈值与非语音区域的长度直接相关，这比传统的VAD超参数更直观，更容易控制。未分割数据的实验结果表明，该方法优于基线方法使用传统的基于能量和神经网络的VAD方法，并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
4D ASR: Joint modeling of CTC, Attention, Transducer, and Mask-Predict decoders
Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出 CTC、注意力、RNN-T 与 mask-predict 四解码器联合建模（4D），通过联合训练和单遍联合解码提升 ASR 鲁棒性与性能，并支持按应用场景灵活切换。
2023-05-29 cs.CL cs.SD eess.AS
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI（亚马逊人工智能）；University of Washington（华盛顿大学）
自注意在自然语言处理中的成功，导致最近的应用在端到端的编码器-解码器架构的语音识别。另外，连接主义时间分类（CTC）已经成熟为一个无干扰，非自回归的方法，序列转导，无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC，一个深度的，完全自我注意的CTC网络，并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快，性能优于现有的CTC模型和大多数编码器-解码器模型，在WSJ eval 92上1天内的字符错误率（CER）为4.7%，在LibriSpeech test-clean上1周内为2.8%，具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话，评估位置和下采样方法，并探讨标签字母（字符，音素，子字）如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD
Transformer-based Online CTC/attention End-to-End Speech Recognition Architecture
University of Chinese Academy of Sciences（中国科学院大学）
近年来，Transformer在自动语音识别（ASR）领域取得了成功。然而，部署基于Transformer的端到端（E2 E）模型用于在线语音识别具有挑战性。本文提出了一种基于transformer的在线CTC/attention E2 E ASR体系结构，该体系结构包含块自注意编码器（chunk-SAE）和基于单调截断注意（MTA）的自注意解码器（SAD）。首先，组块SAE将语音分割成孤立的组块。为了减少计算开销，提高性能，我们提出了状态重用块SAE。其次，基于MTA的SAD单调地截断语音特征，并对截断的特征进行关注。为了支持在线识别，我们将状态重用块SAE和基于MTA的SAD集成到在线CTC/注意力架构中。我们在HKUST Mandarin ASR基准测试中评估了所提出的在线模型，并在320 ms的延迟下实现了23.66%的字符错误率（CER）。与离线基线相比，我们的在线模型产生的绝对CER下降仅为0.19%，并且比我们先前基于长短期记忆（LSTM）的在线E2 E模型的工作有了显着的改进。
2020-02-11 cs.LG cs.NE cs.SD
Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于连接主义时态分类（CTC）的模型由于其非自回归特性而在自动语音识别（ASR）中受到广泛关注。为了充分利用纯文本数据，语言模型（LM）集成方法，如重评分和浅层融合已被广泛用于CTC。然而，由于需要束搜索，它们失去了CTC的非自回归性质，这降低了推理速度。在这项研究中，我们提出了一个错误纠正方法与音素条件掩蔽LM（PC-MLM）。在所提出的方法中，不太自信的词令牌在一个贪婪的解码输出CTC被掩盖。PC-MLM然后预测这些屏蔽词令牌给出未屏蔽的单词和电话从CTC预测。我们进一步将其扩展到可删除的PC-MLM，以解决插入错误。由于CTC和PC-MLM都是非自回归模型，因此该方法能够实现快速LM积分。在领域自适应环境下对自然日语语料库（CSJ）和TED-LIUM 2进行的实验结果表明，该方法在推理速度和识别准确率方面均优于再评分和浅层融合。
2022-09-08 cs.CL cs.SD eess.AS
Boosting CTC-Based ASR Using LLM-Based Intermediate Loss Regularization
Independent Researcher（独立研究者）
针对CTC模型难以建模语言依赖的问题，提出辅助损失框架LAIL，利用LLM的语言知识增强CTC-based ASR，在保持计算效率的同时显著降低WER并实现SOTA。
2025-06-28 cs.CL cs.SD eess.AS
End-to-end acoustic modelling for phone recognition of young readers
Paul Sabatier University（保罗萨巴蒂尔大学）；CNRS（法国国家科学研究中心）；Lalilo（拉利洛公司）
儿童语音自动识别系统在性能竞赛中落后于成人语音自动识别系统。这一现象是由于儿童语音中存在由其身体发育引起的高声学和语言变异性，以及缺乏可用的儿童语音数据。年轻读者的言语还显示出一些特殊性，如阅读速度慢和存在阅读错误，这使得任务变得困难。这项工作试图解决电话声学建模的主要挑战，为幼儿语音有限的数据，并提高在这一领域的广泛选择的模型架构的优势和劣势的理解。我们发现，迁移学习技术在端到端架构上非常有效，可以用少量的儿童语音数据进行成人到儿童的适应。通过迁移学习，Transformer模型补充了连接主义时间分类（CTC）目标函数，达到了28.1%的电话错误率，比最先进的DNN-HMM模型相对高6.6%，比其他端到端架构相对高8.5%以上。通过对两个具体的阅读任务（孤立词和句子）的分析，说明了话语长度对基于注意力和基于CTC的模型的影响。Transformer+CTC模型显示出更好地检测儿童所犯的阅读错误的能力，这可以归因于CTC目标函数有效地将注意力机制约束为单调的。
2021-03-04 cs.SD eess.AS
Distilling Knowledge from Ensembles of Acoustic Models for Joint CTC-Attention End-to-End Speech Recognition
University of Cambridge（剑桥大学）；Avignon University（阿维尼翁大学）；Samsung AI（三星人工智能）
知识蒸馏已被广泛用于压缩现有的深度学习模型，同时在广泛的应用中保持性能。在自动语音识别（ASR）的特定背景下，最近从声学模型的集合中提取在提高识别性能方面显示出有希望的结果。在本文中，我们提出了一个扩展的多教师蒸馏方法联合CTC注意端到端ASR系统。我们还介绍了三种新的蒸馏策略。他们背后的核心直觉是将出错率指标整合到教师选择中，而不是仅仅关注观察到的损失。通过这种方式，我们直接提取和优化学生对语音识别的相关度量。我们在不同的数据集（TIMIT，Librispeech，Common Voice）和各种语言（英语，法语，意大利语）上选择训练程序来评估这些策略。特别是，国家的最先进的出错率的共同语音法语，意大利语和TIMIT数据集的报告。
2021-07-04 cs.LG cs.SD eess.AS
Multi-Task Network for Noise-Robust Keyword Spotting and Speaker Verification using CTC-based Soft VAD and Global Query Attention
KAIST（韩国科学技术院）
关键字定位（KWS）和说话人确认（SV）已经独立研究，虽然它是已知的，声学和扬声器域是互补的。在本文中，我们提出了一个同时执行KWS和SV的多任务网络，以充分利用相互关联的域信息。多任务网络紧密结合的子网络，旨在提高性能的挑战性条件下，如嘈杂的环境，开放的词汇KWS，和短时间SV，通过引入新的技术的连接时间分类（CTC）的软语音活动检测（VAD）和全球查询注意。帧级的声学和说话人信息与语音起源的权重相结合，从而形成单词级的全局表示。然后将其用于特征向量的聚合以生成区分性嵌入。我们提出的方法显示，4.06%和26.71%的相对改善等错误率（EER）相比，这两个任务的基线。我们还提出了一个可视化的例子和烧蚀实验的结果。
2020-08-07 cs.CL cs.LG cs.SD
InterMPL: Momentum Pseudo-Labeling with Intermediate CTC Loss
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）
提出了一种端到端自动语音识别（ASR）的半监督学习方法InterMPL，该方法在中间监督的情况下进行伪标记（PL）。Momentum PL（MPL）通过不断动态生成伪标签并提高其质量，在未标记数据上训练基于连接主义时态分类（CTC）的模型。与自回归公式（例如基于注意力的编码器-解码器和换能器）相比，CTC通常非常适合MPL或基于PL的半监督ASR，这是由于其简单/快速的推理算法和对生成折叠标签的鲁棒性。然而，由于条件独立性假设，CTC通常产生比自回归模型差的性能，从而限制了MPL的性能。我们建议通过引入中间损耗来增强MPL，这是受到基于CTC的建模的最新进展的启发。具体来说，我们专注于自条件和分层条件CTC，应用辅助CTC损失的中间层，这样的条件独立性假设是明确放松。我们还探讨了如何生成伪标签，并将其用作中间损失的监督。实验结果表明，在不同的半监督设置所提出的方法优于MPL和提高ASR模型的绝对性能增益高达12.1%。此外，我们的详细分析验证了中间损失的重要性。
2023-03-17 cs.CL cs.SD eess.AS
A context-aware knowledge transferring strategy for CTC-based ASR
National Taiwan University of Science and Technology（台湾科技大学）
非自回归自动语音识别（ASR）建模因其解码速度快、性能优越而受到越来越多的关注。其中，基于联结主义时态分类（CTC）的方法仍然是一个主流。然而，理论上固有的缺陷--符记之间的独立性假设，给作品学派造成了表演上的障碍。为了缓解这一挑战，我们提出了一个上下文感知的知识转移策略，包括一个知识转移模块和上下文感知的培训策略，基于CTC的ASR。前者的目的是从一个预先训练好的语言模型中提取语言信息，而后者的框架是为了调整由条件独立假设引起的限制。因此，本文提出了一个知识注入的上下文感知CTC的ASR建立在wav 2 vec 2. 0。在AISHELL-1和AISHELL-2数据集上的一系列实验证明了该方法的有效性。
2022-10-12 cs.CL cs.SD eess.AS
Hybrid Transformer/CTC Networks for Hardware Efficient Voice Triggering
Apple（苹果公司）
我们考虑设计的双通语音触发检测系统。我们重点关注第二遍中的网络，这些网络用于对从第一遍获得的候选片段进行重新评分。我们的基线是一个声学模型（AM），具有BiLSTM层，通过最小化CTC损失进行训练。我们将BiLSTM层替换为自我关注层。内部评估集的结果表明，自注意网络产生更好的准确性，同时需要更少的参数。我们在自注意层的顶部添加自回归解码器网络，并联合最小化编码器上的CTC损失和解码器上的交叉熵损失。这种设计比基线有进一步的改进。我们在多任务学习（MTL）设置中重新训练了上述所有模型，其中共享网络的一个分支被训练为AM，而第二个分支将整个序列分类为真触发或非真触发。结果表明，网络与自我注意层产生$\sim$ 60%的相对减少的错误拒绝率为一个给定的误报率，而需要的参数少10%。当在MTL设置中进行训练时，自注意力网络会进一步提高准确性。设备上的测量表明，我们观察到推理时间相对减少了70%。此外，所提出的网络架构的$\sim$训练速度快5倍。
2020-08-05 cs.HC cs.LG cs.SD
Improving non-autoregressive end-to-end speech recognition with pre-trained acoustic and language models
虽然Transformers在端到端（E2 E）自动语音识别（ASR）中取得了令人鼓舞的结果，但是它们的自回归（AR）结构成为加速解码过程的瓶颈。对于实际部署，期望ASR系统在实现快速推理的同时具有高度准确性。非自回归（NAR）模型由于其快速的推理速度而成为一种流行的替代方案，但它们在识别精度方面仍然落后于AR系统。为了满足这两个需求，在本文中，我们提出了一个NAR CTC/注意力模型，利用预先训练的声学和语言模型：wav2vec2.0和BERT。为了弥合从预训练模型获得的语音和文本表示之间的模态差距，我们设计了一种新的模态转换机制，它更适合于语标语言。在推理过程中，我们使用CTC分支来生成目标长度，这使得BERT能够并行预测令牌。我们还设计了一个基于缓存的CTC/注意力联合解码方法，以提高识别精度，同时保持解码速度快。实验结果表明，所提出的NAR模型大大优于我们强大的wav2vec2.0 CTC基线（AISHELL-1上的相对CER减少15.1%）。建议的NAR模型显着超过以前的NAR系统的AISHELL-1基准测试，并显示了英语任务的潜力。
2022-01-26 cs.SD eess.AS
CTC-aligned Audio-Text Embedding for Streaming Open-vocabulary Keyword Spotting
Samsung Research（三星研究院）
本文提出一种基于CTC动态对齐音频与文本的流式开放词汇关键词检索方法，在LibriPhrase上以155K参数实现与非流式方法相当的性能。
2024-06-12 cs.AI cs.SD eess.AS
Multi-Stream End-to-End Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
基于注意力的方法和连接主义时间分类（CTC）网络是端到端（E2 E）自动语音识别（ASR）的重要研究方向。联合CTC/Attention模型在多任务训练和联合解码过程中利用了两种架构，取得了很大的成功。在这项工作中，我们提出了一个多流框架的基础上联合CTC/注意力E2 E ASR的并行流表示的单独的编码器，旨在捕捉不同的信息。在常规注意力网络之上，引入了分层注意力网络（HAN），以将解码器转向信息量最大的编码器。一个单独的CTC网络被分配给每个流，以强制单调对齐。提出并讨论了两种具有代表性的框架，分别是多编码器多分辨率（MEM-Res）框架和多编码器多阵列（MEM-Array）框架。在MEM-Res框架中，具有不同架构、时间分辨率和独立CTC网络的两个异构编码器并行工作，以从相同声学中提取互补信息。实验在华尔街日报（WSJ）和CHiME-4上进行，导致相对字错误率（WER）降低18.0-32.1%，并且在WSJ eval 92测试集中最好的WER为3.6%。MEM-Array框架旨在使用由单独编码器激活的多个麦克风阵列来提高远场ASR鲁棒性。与最好的单阵列结果相比，所提出的框架在AMI和DIRHA多阵列语料库中分别实现了3.7%和9.7%的相对WER降低，这也优于传统的融合策略。
2019-10-18 cs.CL cs.SD eess.AS
Cascaded CNN-resBiLSTM-CTC: An End-to-End Acoustic Model For Speech Recognition
CloudWalk（云从科技）
自动语音识别（ASR）任务通过端到端深度学习模型来解决，这使我们减少了原始数据的准备工作，并且更容易在语言之间进行转换。我们提出了一种新的端到端深度学习模型架构，即级联CNN-resBiLSTM-CTC。在该模型中，我们在BiLSTM层中加入残差块，以同时提取复杂的音素和语义信息，并采用级联结构来更加关注硬负样本的挖掘信息。通过应用简单的快速傅里叶变换（FFT）技术和n-gram语言模型（LM）重评分方法，我们在LibriSpeech测试干净语料库上实现了3.41%的单词错误率（WER）。此外，我们提出了一种新的批量变化的方法，以加快训练过程中的长度变化的任务，这导致减少25%的训练时间。
2018-10-30 cs.CL cs.SD eess.AS
Exploring Turkish Speech Recognition via Hybrid CTC/Attention Architecture and Multi-feature Fusion Network
Xinjiang University（新疆大学）
近年来，基于深度学习的端到端语音识别技术发展迅速。由于缺乏土耳其语语音数据，土耳其语语音识别系统的性能较差。本文首先研究了一系列语音识别调谐技术。结果表明，采用速度扰动与加噪相结合的数据增强技术，束搜索宽度设为16。其次，为了最大限度地利用有效特征信息，提高特征提取的准确性，本文提出了一种新的特征提取器LSPC。将LSPC和LiGRU网络相结合，形成共享的编码器结构，实现了模型压缩。实验结果表明，在仅使用Fbank特征时，LSPC的性能优于MSPC和VGGnet，WER分别提高了1.01%和2.53%。最后，基于以上两点，提出了一种新的多特征融合网络作为编码器的主体结构。实验结果表明，与基于LSPC的单一特征（Fbank特征和Spectrogram特征）提取相比，基于LSPC的特征融合网络的WER分别提高了0.82%和1.94%。我们的模型实现了与先进的端到端模型相当的性能。
2023-03-22 cs.CL cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
A Comparative Analysis on ASR System Combination for Attention, CTC, Factored Hybrid, and Transducer Models
本文比较了注意力、CTC、分解混合和转换器等ASR架构的模型组合方法，提出一种基于序列级分数对数线性组合的两遍重打分方法，确保跨架构系统组合的一致比较，并在Librispeech 960h任务上验证了有效性。
2025-08-13 cs.SD
Mask The Bias: Improving Domain-Adaptive Generalization of CTC-based ASR with Internal Language Model Estimation
AWS AI Labs（AWS人工智能实验室）
针对CTC-based ASR的域自适应问题，提出一种通过迭代掩蔽音频时间步长估计内部语言模型伪对数似然的新ILME方法，在仅文本或零样本场景下显著提升WER和OOV F1。
2023-05-05 cs.LG cs.SD eess.AS
KFC-KWS: Keyframe Fusion with CTC for User-Defined Keyword Spotting
School of Electronics and Information Engineering, Hangzhou Dianzi University（杭州电子科技大学电子信息学院）；School of Communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院）
提出KFC-KWS多模态框架，利用CTC引导的关键帧选择对齐音频、音素和文本模态，通过交叉注意力融合关键帧与全句表示，在LibriPhrase上达到98.73% AUC，困难子集上97.65% AUC和7.75% EER，有效区分易混淆关键词。
2026-06-09 cs.SD
Two-Stage Augmentation and Adaptive CTC Fusion for Improved Robustness of Multi-Stream End-to-End ASR
The Johns Hopkins University（约翰斯·霍普金斯大学）
自动语音识别（ASR）系统的性能下降时，通常观察到的测试声学条件是不同于训练。因此，必须使ASR系统对各种环境失真（例如背景噪声和混响）具有鲁棒性。在多流范例中，提高鲁棒性考虑到处理各种看不见的单流条件和流间动态。以前，在多流端到端ASR中提出了一种实用的两阶段训练策略，其中第2阶段使用来自第1阶段通用特征提取器（UFE）的特征来制定多流模型。在本文中，作为扩展，我们介绍了一个两阶段的增强计划，重点是不匹配的情况下：第一阶段增强旨在解决单流输入品种与数据增强技术;第二阶段的时间掩蔽适用于时间掩模的UFE功能随机选择的流，以模拟不同的流组合。在推理过程中，我们还提出了自适应的连接主义时间分类（CTC）融合的帮助下，分层注意力机制。实验已经进行了两个数据集，DIRHA和AMI，作为一个多流的情况下。与以前的训练策略相比，有很大的改进，在几个看不见的流组合的相对字出错率减少29.7-59.3%。
2021-02-05 cs.CL cs.SD eess.AS
Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition
Mobvoi Inc.（出门问问公司）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种新的两遍方法，统一流和非流端到端（E2 E）语音识别在一个单一的模型。我们的模型采用了混合CTC/注意力架构，在编码器中的构象层进行修改。我们提出了一个动态的基于组块的注意策略，允许任意的右上下文长度。在推理时，CTC解码器以流方式生成n个最佳假设。推理延迟可以很容易地控制，只需改变块的大小。CTC假设然后由注意力解码器重新评分以获得最终结果。这种高效的重新评分过程导致非常小的缓存级延迟。在开放的170小时AISHELL-1数据集上的实验表明，该方法能够简单有效地统一流模型和非流模型。在AISHELL-1测试集上，我们的统一模型在非流式ASR中实现了5.60%的相对字符出错率（CER）降低，与标准的非流式Transformer相比。相同的模型在流式ASR系统中以640 ms的延迟实现5.42%的CER。
2021-12-29 cs.CL cs.SD eess.AS
Efficient conformer: Progressive downsampling and grouped attention for automatic speech recognition
Orange Labs（Orange 实验室）
最近提出的Conformer架构已经在自动语音识别中显示出最先进的性能，其通过将卷积与注意力相结合来对局部和全局依赖性进行建模。在本文中，我们研究了如何降低Conformer架构的复杂性与有限的计算预算，导致一个更有效的架构设计，我们称之为高效的Conformer。我们引入渐进下采样的构象编码器，并提出了一种新的注意机制命名为分组注意，使我们能够减少注意的复杂性从$O(n^{2}d)$到$O(n^{2}d / g)$的序列长度$n$，隐藏维度$d$和组大小参数$g$。我们还实验了使用跨步多头自我注意作为一个全局下采样操作。我们的实验是在具有CTC和RNN换能器损失的LibriSpeech数据集上进行的。我们表明，在相同的计算预算下，与Conformer相比，所提出的架构可以实现更好的性能，并且训练和解码速度更快。我们的13 M参数CTC模型在不使用语言模型的情况下实现了3.6%/9.0%的竞争性WER，在使用外部n-gram语言模型的情况下实现了2.7%/6.7%的竞争性WER，同时在推理方面比我们的CTC Conformer基线快29%，在训练方面快36%。
2021-09-08 cs.AI cs.CL cs.SD
Integration of Frame- and Label-synchronous Beam Search for Streaming Encoder-decoder Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对流式语音识别中帧同步解码易错误剪枝、标签同步解码易过拟合训练域的问题，提出一种集成帧同步与标签同步解码的单束搜索方案，通过交替解码、保留两类假设实现有效剪枝，在降低错误率的同时提升了域外场景鲁棒性。
2023-07-24 cs.SD eess.AS
