Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
在自动语音识别(ASR)中,基于连接主义时态分类(CTC)的模型因其快速推理而备受关注。语言模型(LM)集成方法,如浅层融合和重评分,可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而,它们显著减慢了CTC的推断。在这项研究中,我们建议提取BERT的知识,基于CTC的ASR,扩展我们以前的研究,基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识,在测试过程中不使用BERT,保持了CTC的快速推理能力。与基于注意力的模型不同,基于CTC的模型进行帧级预测,因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库(CSJ)和TED-LIUM 2上的实验结果表明,该方法在不影响推理速度的前提下,提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
CTCBERT: Advancing Hidden-unit BERT with CTC Objectives
Microsoft(微软)
针对HuBERT帧级交叉熵训练易受ID对齐误差影响的问题,提出用CTC目标训练的CTCBERT,在Librispeech基准上取得2%-11%的相对WER提升。
2023-04-28 cs.SD eess.AS
Accelerating RNN-T Training and Inference Using CTC guidance
Google(谷歌)
提出了一种基于协同训练的关联时态分类(CTC)模型指导的递归神经网络转换器(RNN-T)的训练和推理加速方法。我们做了一个关键的假设,如果编码器嵌入帧被CTC模型分类为空白帧,那么对于RNN-T中的所有部分对齐或假设,该帧很可能会被对齐为空白,并且可以从解码器输入中丢弃。我们还表明,这种帧缩减操作可以应用于编码器的中间,这将显著加快RNN-T中的训练和推理速度。我们进一步表明,CTC对齐,CTC解码器的副产品,也可以用于在训练过程中对RNN-T进行格约简。我们的方法进行评估的Librispeech和SpeechStew任务。我们证明了所提出的方法能够将RNN-T推理加速2.2倍,并且具有相似或稍好的单词错误率(WER)。
2022-10-29 cs.CL cs.SD eess.AS
Less Peaky and More Accurate CTC Forced Alignment by Label Priors
Meta
本文利用标签先验改进 CTC 强制对齐,缓解峰值分布,提升音素和词边界预测精度,在 Buckeye 和 TIMIT 上优于标准 CTC,且训练简单高效。
2024-07-18 cs.AI cs.CL cs.LG
Guiding Frame-Level CTC Alignments Using Self-knowledge Distillation
KAIST(韩国科学技术院)
本文提出通过自我知识蒸馏引导帧级CTC对齐,以解决传统知识蒸馏中教师-学生模型在帧级对齐上的分歧问题,提升模型性能和资源效率。
2024-06-12 cs.CL cs.SD eess.AS
HMM vs. CTC for Automatic Speech Recognition: Comparison Based on Full-Sum Training from Scratch
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
在这项工作中,我们比较从头开始的序列级交叉熵(全和)训练的隐马尔可夫模型(HMM)和连接主义时间分类(CTC)的拓扑结构的自动语音识别(ASR)。除了准确性,我们进一步分析了它们在语音信号和转录之间生成高质量时间对准的能力,这对许多后续应用至关重要。此外,我们提出了几种方法,通过解决对齐建模问题来提高从头开始的全和训练的收敛性。系统的比较进行Switchboard和LibriSpeech语料库跨CTC,后验HMM和W/O的转移概率,和标准的混合HMM。我们还提供了一个详细的分析维特比强制对齐和鲍姆-韦尔奇全和占用概率。
2022-10-18 cs.SD eess.AS
Cross-modal Alignment with Optimal Transport for CTC-based ASR
National Institute of Information and Communications Technology(国立信息与通信技术研究所);Research Center for Information Technology Innovation, Academic Sinica(中央研究院资讯科技创新研究中心)
提出基于最优传输的跨模态对齐方法,将PLM的上下文语言知识迁移到CTC声学表示中,并在AISHELL-1上显著降低CER。
2023-09-24 cs.SD eess.AS
CTC-aligned Audio-Text Embedding for Streaming Open-vocabulary Keyword Spotting
Samsung Research(三星研究院)
本文提出一种基于CTC动态对齐音频与文本的流式开放词汇关键词检索方法,在LibriPhrase上以155K参数实现与非流式方法相当的性能。
2024-06-12 cs.AI cs.SD eess.AS
A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition
University of California, Los Angeles(加州大学洛杉矶分校);PAII Inc.(平安科技(美国)有限公司)
本文提出基于CTC对齐的单步非自回归Transformer(CASS-NAT),用词元级声学嵌入替代词嵌入实现并行解码,在保持接近自回归模型识别精度的同时获得约24倍推理加速,并在多个数据集上刷新非自回归ASR最优结果。
2023-04-15 cs.CL eess.AS
Align-Refine: Non-Autoregressive Speech Recognition via Iterative Realignment
Stanford University(斯坦福大学);Amazon AWS AI(亚马逊AWS人工智能)
非自回归模型大大提高了解码速度超过典型的序列到序列模型,但遭受性能下降。填充和迭代细化模型通过编辑非自回归模型的输出来弥补这一差距,但它们可以进行的编辑受到限制。我们提出迭代重新对齐,其中细化发生在潜在对齐而不是输出序列空间上。我们证明了这一点,在语音识别与Align-Refine,一个端到端的转换器为基础的模型,细化连接时间分类(CTC)的路线,允许长度变化的插入和删除。Align-Refine的性能优于Imputer和Mask-CTC,在WSJ上以1/14的实时因子匹配自回归基线,并在没有LM的情况下获得了9.0%的LibriSpeech测试-其他WER。我们的模型是强大的,即使在一个迭代与浅解码器。
2020-10-24 cs.CL cs.LG cs.SD
Manner of Articulation Detection using Connectionist Temporal Classification to Improve Automatic Speech Recognition Performance
Department of Computer Science
常规地,使用区别性信号处理技术或深度学习方法来导出语音信号中的发音方式。然而,训练这样复杂的系统涉及特征提取、音素力对齐和深度神经网络训练。在我们的工作中,我们最初检测的发音方式没有音素对齐使用端到端的方式的连接主义的时间分类(CTC)的基础上的发音建模。在传统的字符CTC路径中加入发音方式知识,重新生成新的字符CTC路径,并在AN 4、LibriSpeech和TEDLIUM-2等开源语音数据集上进行测试,结果表明,改进后的基于发音方式的字符CTC性能优于基线字符CTC。
2018-11-05 cs.SD eess.AS
A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport
Idiap Research Institute(Idiap研究机构);EPFL(瑞士联邦理工学院);BUT(布拉格技术大学)
本文提出基于最优传输的可微对齐框架,改进序列到序列模型的对齐性能,同时在ASR性能上有所权衡。
2025-11-21 cs.LG cs.SD eess.AS
CJST: CTC Compressor based Joint Speech and Text Training for Decoder-Only ASR
Meta AI
本文提出CJST框架,通过CTC压缩器实现语音与文本双向联合训练,无需时长处理即可在解码器专用ASR中有效注入文本,并在Librispeech和TED-LIUM2上取得域内与跨域最佳性能。
2024-12-31 cs.LG cs.SD eess.AS
Joint Masked CPC and CTC Training for ASR
Facebook AI Research(脸书人工智能研究院)
自监督学习(SSL)在学习对自动语音识别(ASR)有用的音频表示方面已经显示出前景。但是,像wav 2 vec ~2.0这样的SSL模型需要两个阶段的管道。在本文中,我们展示了一个可以利用未标记和标记数据的ASR模型的单阶段训练。在训练过程中,我们交替地最小化两个损失:无监督的掩蔽对比预测编码(CPC)损失和有监督的音频到文本对齐损失连接主义时间分类(CTC)。我们表明,这种联合训练方法使用无监督数据直接优化了下游ASR任务的性能,同时在Librispeech 100小时数据集上实现了与wav 2 vec ~2.0相似的单词出错率。最后,我们假设解决对比任务是对监督CTC损失的正则化。
2021-02-13 cs.CL cs.LG cs.SD
Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss
语码转换(CS)是自动语音识别(ASR)的一个难题,尤其是基于字符的模型。由于组合选择了多种语言中的字符,基于字符的模型的结果会受到音素重复的影响,从而导致语言不一致的拼写。我们提出了上下文连接时间分类(CCTC)的损失,以鼓励拼写错误的字符为基础的非自回归ASR,允许更快的推理。CCTC损失条件的主要预测的预测上下文,以确保语言的拼写一致性。与现有的基于CTC的方法相比,CCTC损失不需要帧级对齐,因为上下文地面真值是从模型的估计路径中获得的。与使用常规CTC损失训练的相同模型相比,我们的方法一致地提高了CS和单语语料库上的ASR性能。
2021-06-22 cs.CL cs.SD eess.AS
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI(亚马逊人工智能);University of Washington(华盛顿大学)
自注意在自然语言处理中的成功,导致最近的应用在端到端的编码器-解码器架构的语音识别。另外,连接主义时间分类(CTC)已经成熟为一个无干扰,非自回归的方法,序列转导,无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC,一个深度的,完全自我注意的CTC网络,并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快,性能优于现有的CTC模型和大多数编码器-解码器模型,在WSJ eval 92上1天内的字符错误率(CER)为4.7%,在LibriSpeech test-clean上1周内为2.8%,具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话,评估位置和下采样方法,并探讨标签字母(字符,音素,子字)如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs(AWS人工智能实验室)
端到端语音识别模型训练使用联合连接时间分类(CTC)-注意力损失最近得到普及。在这些模型中,非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而,这样的模型很难个性化,因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题,我们提出了一种新的双向方法,首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外(OOV)单词列表上,然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法,以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
Delayed-KD: Delayed Knowledge Distillation based CTC for Low-Latency Streaming ASR
Northwestern Polytechnical University(西北工业大学);Huawei Cloud(华为云)
提出Delayed-KD方法,通过延迟知识蒸馏和时间对齐缓冲区(TAB)对齐CTC输出并控制词元发射延迟,在极低延迟下显著提升了流式ASR的准确率。
2025-05-28 cs.SD eess.AS
Joint CTC-Attention based End-to-End Speech Recognition using Multi-task Learning
MERL(三菱电机研究实验室)
最近,人们对端到端语音识别越来越感兴趣,端到端语音识别直接将语音转录为文本,而无需任何预定义的对齐。一种方法是基于注意力的编码器-解码器框架,该框架使用纯数据驱动的方法在一个步骤中学习可变长度输入和输出序列之间的映射。注意力模型经常被证明比另一种端到端的方法,连接主义时间分类(CTC),提高了性能,主要是因为它明确地使用了目标字符的历史,而没有任何条件独立性假设。然而,我们观察到,在噪声条件下,注意力的表现表现不佳,并且在初始训练阶段很难学习长输入序列。这是因为注意力模型过于灵活,无法在这种情况下预测正确的对齐,因为缺乏CTC中使用的从左到右的约束。本文提出了一种新的方法,用于端到端的语音识别,以提高鲁棒性和实现快速收敛,通过使用联合CTC的注意力模型的多任务学习框架内,从而减轻对齐问题。在WSJ和CHiME-4任务上的实验证明了其优于CTC和基于注意力的编码器-解码器基线,在字符出错率(CER)上显示出5.4-14.6%的相对改善。
2017-01-31 cs.CL
A Holistic Framework for Robust Bangla ASR and Speaker Diarization with Optimized VAD and CTC Alignment
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种优化VAD和CTC对齐的孟加拉语音识别与说话人识别框架,以解决长音频处理中的鲁棒性问题。
2026-02-26 cs.AI cs.SD
kNN-CTC: Enhancing ASR via Retrieval of CTC Pseudo Labels
Nankai University(南开大学);Beijing University of Technology(北京工业大学);Lingxi (Beijing) Technology Co., Ltd.(灵犀(北京)科技有限公司)
kNN-CTC利用CTC伪标签构建帧级音频-文本数据存储,结合k近邻检索和跳过空白策略,显著提升预训练CTC语音识别系统的性能。
2024-02-03 cs.SD eess.AS
An Investigation of Enhancing CTC Model for Triggered Attention-based Streaming ASR
Waseda University(早稻田大学)
本文尝试将Mask-CTC和触发式注意力机制相结合,构建一个流媒体端到端自动语音识别(ASR)系统,该系统具有高性能和低延迟。执行由CTC尖峰触发的自回归解码的触发注意力机制已被证明在流式传输ASR中是有效的。然而,为了保持基于CTC输出的对准估计的高精度(这是其性能的关键),不可避免的是,应当利用一些未来信息输入(即,具有更高的延迟)。应当注意,在流式传输ASR中,期望能够实现高识别准确度,同时保持低延迟。因此,本研究旨在通过引入Mask-CTC来实现具有低延迟的高度准确的流式ASR,Mask-CTC能够学习预测未来信息的特征表示(即,可以考虑长期上下文)到编码器预训练。使用华尔街日报数据进行的实验比较表明,该方法实现了更高的准确性与更低的延迟比传统的触发注意力为基础的流ASR系统。
2021-10-20 cs.LG cs.SD eess.AS
Sequence Transduction with Graph-based Supervision
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Carnegie Mellon University(卡内基梅隆大学)
递归神经网络转换器(RNN-T)目标在构建当今最好的生产自动语音识别(ASR)系统中发挥着重要作用。与连接主义时间分类(CTC)目标类似,RNN-T损失使用特定的规则来定义如何生成一组对齐以形成用于全和训练的网格。然而,这些规则是否是最佳的,是否确实导致最佳的ASR结果,在很大程度上还不清楚。在这项工作中,我们提出了一个新的转换器目标函数,它将RNN-T损失推广到接受标签的图形表示,从而提供了一个灵活有效的框架来操纵训练格,例如,用于研究不同的转换规则、实现不同的换能器损耗或限制对准。我们证明了与标准RNN-T相比,具有CTC样网格的基于传感器的ASR实现了更好的结果,同时还确保了严格的单调对齐,这将允许更好地优化解码过程。例如,相对于等效的基于RNN-T的系统,所提出的类CTC换能器在LibriSpeech的测试其他条件上实现了4.8%的改进。
2022-03-31 cs.CL cs.LG cs.SD
When CTC Training Meets Acoustic Landmarks
University of Illinois(伊利诺伊大学);Beckman Institute(贝克曼研究所);Novumind Inc(诺维明德公司);Amazon Alexa Speech(亚马逊Alexa语音部门)
连接主义时间分类(CTC)提供了一种端到端的声学模型(AM)训练策略。CTC在没有时间对齐的语音音标的情况下学习准确的AM,但有时无法收敛,特别是在资源受限的情况下。在本文中,CTC的收敛性能得到改善,通过纳入声学地标。我们量身定制了一组新的声学地标,以帮助CTC训练更快速、更平滑地收敛,同时降低识别错误率。我们利用新的目标标签序列与语音和方式变化相结合来指导CTC训练。在TIMIT上的实验表明,基于CTC的声学模型收敛更快,更平滑时,他们被增强的声学地标。使用混合目标标签预训练的模型可以进一步微调,导致TIMIT上的电话错误率低于基线8.72%。在WSJ(较大的语料库)和减少TIMIT(较小)上也观察到一致的性能增益。通过WSJ,我们是第一个成功验证声学地标理论在中型ASR任务中的有效性的人。
2019-02-26 cs.AI cs.SD eess.AS
A Novel Topology for End-to-end Temporal Classification and Segmentation with Recurrent Neural Network
连接主义时间分类(CTC)作为一种不需要序列转换的对齐方法已经成熟,并在端到端语音识别中显示出竞争力。在CTC拓扑结构中,空白符号占据了状态网格的一半以上,这导致了非空白符号的尖峰现象。对于分类任务,尖峰工作得很好,但对于分割任务,它不提供边界信息。在本文中,一种新的拓扑结构被引入到一个框架中的时间分类和分割能力相结合。
2019-12-10 cs.CL cs.LG cs.SD
Hierarchical Cross-Modality Knowledge Transfer with Sinkhorn Attention for CTC-based ASR
National Institute of Information and Communications Technology(日本国立信息与通信技术研究所);Research Center for Information Technology Innovation, Academic Sinica(中央研究院资讯科技创新研究中心)
本文提出带 Sinkhorn 注意力的分层跨模态知识迁移框架,将 PLM 语言学知识注入 CTC ASR 声学编码器,并在 AISHELL-1 上无语言模型取得 3.64%/3.94% CER 的最优结果。
2023-09-28 cs.SD eess.AS
Alternating Weak Triphone/BPE Alignment Supervision from Hybrid Model Improves End-to-End ASR
AppTek(AppTek公司);AppTek GmbH(AppTek有限责任公司)
本文提出利用混合ASR系统提取三音素和BPE对齐,通过强标签平滑弱监督和交替辅助损失训练端到端ASR,在TED-LIUM 2上实现超过10%的相对错误率降低。
2024-02-23 cs.CL cs.SD eess.AS
SegAug: CTC-Aligned Segmented Augmentation For Robust RNN-Transducer Based Speech Recognition
ZaloAI;Ho Chi Minh City University of Science(胡志明市科学大学);Vietnam National University(越南国家大学)
针对 RNN-T 过度依赖语言上下文导致删除错误的问题,本文提出基于 CTC 对齐的分段增强 SegAug,通过生成低句级语义的音频-文本对强化声学建模,并在多个数据集上显著降低 WER 与删除率。
2025-02-20 cs.SD eess.AS
Enhancing Code-Switching ASR Leveraging Non-Peaky CTC Loss and Deep Language Posterior Injection
National Taiwan Normal University(国立台湾师范大学)
针对语码转换场景下端到端ASR系统性能下降的问题,提出融入语言识别信息、应用语言边界对齐损失、利用语言后验促进编码器深度交互的方法,在SEAME语料库上性能优于D-MoE方法。
2024-11-26 cs.CL cs.LG cs.SD
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);KU Leuven(鲁汶大学)
提出wav2tok 2.0,通过分阶段训练(对比学习、向量量化、CTC对齐损失和DTW对齐帧预测)实现可扩展的语音分词,在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
Timestamped Embedding-Matching Acoustic-to-Word CTC ASR
Apple(苹果公司)
提出一种嵌入匹配词级CTC ASR训练方法,直接输出词时间戳,分段精度与DNN-HMM相当,误差小于3ms,词错误率相对增加小于5%。
2023-06-20 cs.CL eess.AS
Contrastive Learning-Based Audio to Lyrics Alignment for Multiple Languages
Spotify
针对现有歌词对齐方法的缺陷,提出基于对比学习的跨模态嵌入对齐方案,实现了Jamendo数据集上的最优精度,且跨语言鲁棒性强,并发布了多语言数据集的词级对齐结果。
2023-06-13 cs.LG cs.SD eess.AS
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training
Microsoft(微软)
近年来,在语音识别的自监督学习(SSL)中,掩蔽预测预训练取得了显著的进展。它通常需要以无监督的方式获得的码本,这使得它不太准确并且难以解释。我们提出了两种监督引导的码本生成方法,以提高自动语音识别(ASR)的性能和预训练效率,通过解码与混合ASR系统生成音素级对齐(命名为PBERT),或执行从端到端的CTC模型(命名为CTC聚类)提取的监督语音特征上。混合模型和CTC模型都是在与微调中使用的相同的少量标记语音上训练的。实验表明,我们的方法具有显着的优越性,各种SSL和自我训练基线,高达17.0%的相对WER减少。我们的预训练模型在非ASR语音任务中也表现出良好的可转移性。
2022-06-21 cs.CL cs.SD eess.AS
Robust end-to-end deep audiovisual speech recognition
Carnegie Mellon University(卡内基梅隆大学)
语言是人类最有效的交流方式之一。尽管音频是最常见的语音传输方式,但非常重要的信息可以在其他形式中找到,例如视觉。当声学信号被破坏时,视觉特别有用。然而,多模态语音识别还没有得到广泛的应用,主要是因为不同信息源的时间对准和融合是具有挑战性的。本文提出了一种端到端的视听语音识别器(AVSR),基于递归神经网络(RNN)与连接主义的时间分类(CTC)损失函数。CTC创建稀疏的“峰值”输出激活,我们分析的输出目标(音素或视位)之间的音频,视频,和视听功能表示对齐的差异。我们提出了第一个这样的实验上的大词汇量IBM ViaVoice数据库,它优于以前发表的方法在干净和嘈杂的条件下对手机的准确性。
2016-11-21 cs.CL cs.LG cs.SD
Simplified End-to-End MMI Training and Voting for ASR
Tel-Aviv University(特拉维夫大学)
一个简化的语音识别系统,使用最大互信息(MMI)的标准被认为是。建议使用梯度下降的端到端训练,类似于连接主义时间分类(CTC)的训练。我们使用一个MMI标准与一个简单的语言模型在训练阶段,和一个标准的HMM解码器。我们的方法相比,毫不逊色CTC的性能,鲁棒性,解码时间,磁盘足迹和比对质量。良好的比对使得能够使用简单的集成方法,该方法通过简单地平均几个神经网络模型的预测来获得,这些模型分别进行端到端的训练。集成方法产生了相当大的减少字出错率。
2017-07-16 cs.CL cs.LG cs.NE
Mixture-of-Experts with Intermediate CTC Supervision for Accented Speech Recognition
Department of Computer Science and Engineering, POSTECH(计算机科学与工程系,POSTECH);Graduate School of Artificial Intelligence, POSTECH(人工智能研究生院,POSTECH)
Moe-Ctc通过中间CTC监督的专家混合模型,提升口音语音识别的鲁棒性和泛化能力,实现对多种口音的性能提升。
2026-02-02 cs.AI cs.CL
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft(微软)
近年来,递归神经网络转换器(RNN-T)结构由于其能够进行在线流式语音识别的优点,成为端到端自动语音识别研究的一个新兴趋势。然而,RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类(CTC)模型以及RNN语言模型(RNNLM)来初始化RNN-T参数。在这项工作中,我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索,分别称为编码器预训练,和全网络预训练。在微软65,000小时的匿名生产数据上进行评估,删除了个人身份信息,我们提出的方法可以获得显着的改善。特别地,当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时,编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
KFC-KWS: Keyframe Fusion with CTC for User-Defined Keyword Spotting
School of Electronics and Information Engineering, Hangzhou Dianzi University(杭州电子科技大学电子信息学院);School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院)
提出KFC-KWS多模态框架,利用CTC引导的关键帧选择对齐音频、音素和文本模态,通过交叉注意力融合关键帧与全句表示,在LibriPhrase上达到98.73% AUC,困难子集上97.65% AUC和7.75% EER,有效区分易混淆关键词。
2026-06-09 cs.SD
Multi-Stream End-to-End Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
基于注意力的方法和连接主义时间分类(CTC)网络是端到端(E2 E)自动语音识别(ASR)的重要研究方向。联合CTC/Attention模型在多任务训练和联合解码过程中利用了两种架构,取得了很大的成功。在这项工作中,我们提出了一个多流框架的基础上联合CTC/注意力E2 E ASR的并行流表示的单独的编码器,旨在捕捉不同的信息。在常规注意力网络之上,引入了分层注意力网络(HAN),以将解码器转向信息量最大的编码器。一个单独的CTC网络被分配给每个流,以强制单调对齐。提出并讨论了两种具有代表性的框架,分别是多编码器多分辨率(MEM-Res)框架和多编码器多阵列(MEM-Array)框架。在MEM-Res框架中,具有不同架构、时间分辨率和独立CTC网络的两个异构编码器并行工作,以从相同声学中提取互补信息。实验在华尔街日报(WSJ)和CHiME-4上进行,导致相对字错误率(WER)降低18.0-32.1%,并且在WSJ eval 92测试集中最好的WER为3.6%。MEM-Array框架旨在使用由单独编码器激活的多个麦克风阵列来提高远场ASR鲁棒性。与最好的单阵列结果相比,所提出的框架在AMI和DIRHA多阵列语料库中分别实现了3.7%和9.7%的相对WER降低,这也优于传统的融合策略。
2019-10-18 cs.CL cs.SD eess.AS
End-to-end Speech Recognition with similar length speech and text
College of Computer Science and Cyber Security, Chengdu University of Technology(计算机科学与网络安全学院,成都理工大学);National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University(合成视觉基础科学国家重点实验室,四川大学)
针对语音下采样至与文本相似长度时的对齐难题,本文提出时间独立性损失(TIL)和基于编辑距离的对齐交叉熵(AXE)损失两种方法,并结合帧融合技术,在AISHELL-1和AISHELL-2上显著降低帧数并提升识别性能。
2025-10-12 cs.CL
Bayes risk CTC: Controllable CTC alignment in Sequence-to-Sequence tasks
Tencent AI LAB(腾讯人工智能实验室);Carnegie Mellon University(卡内基梅隆大学)
序列到序列(seq2seq)任务将输入序列转录为目标序列。连接主义时间分类(CTC)标准被广泛用于多个seq2seq任务。除了预测靶序列之外,CTC的副产品是预测比对,其是指定输入和靶单元之间的硬比对关系的最可能的长输入序列。由于存在在CTC制定中同等考虑的多个潜在比对序列(称为路径),因此选择哪条路径将最有可能并成为预测比对总是不确定的。此外,通常观察到vanilla CTC预测的比对与其参考相比会漂移,并且很少提供实际功能。因此,这项工作的动机是使CTC比对预测可控,从而为CTC提供额外的功能。贝叶斯风险CTC(BRCTC)的标准,然后提出了这项工作中,其中一个可定制的贝叶斯风险函数是通过执行所需的特性的预测对齐。通过风险函数,BRCTC是一个通用框架,用于对路径采用一些可定制的偏好,以便将后验集中到路径的特定子集中。在应用中,我们探索了一种特定的偏好,它产生具有下采样能力和降低推理成本的模型。通过使用BRCTC与另一种偏好的早期排放,我们获得了改进的性能延迟权衡在线模型。在实验中,所提出的BRCTC将离线模型的推理成本降低了47%,而不会降低性能,并将在线系统的整体延迟降低到一个看不见的水平。
2023-01-31 cs.CL cs.SD eess.AS
Enhancing CTC-based speech recognition with diverse modeling units
Apple Inc.(苹果公司)
本文研究基于CTC的语音识别中多样化建模单元的作用,提出E2E模型与音素、字素等单元联合训练的方法,揭示协同使用异构单元可显著提升ASR准确率。
2024-06-11 cs.AI cs.SD eess.AS
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统,采用分块自注意力与触发注意力实现流式识别,并引入对齐正则化技术促进音视频编码器同步,在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
Sequential End-to-End Intent and Slot Label Classification and Localization
University of Waterloo(滑铁卢大学);Huawei Noah's Ark Lab(华为诺亚方舟实验室)
人机交互(HCI)受到来自口语对话系统的延迟响应的显著影响。因此,最近提出了端到端(e2 e)口语语言理解(SLU)解决方案来减少延迟。这样的方法允许直接从语音信号中提取语义信息,从而绕过对来自自动语音识别(ASR)系统的转录的需要。在本文中,我们提出了一个紧凑的e2 e SLU架构的流媒体的情况下,连续处理块的语音信号预测意图和时隙值。我们的模型基于3D卷积神经网络(3D-CNN)和单向长短期记忆(LSTM)。我们比较了两种无干扰损失的性能:连接主义时间分类(CTC)方法及其适应版本,即连接主义时间定位(CTL)。后者不仅执行分类,但也定位的顺序音频事件。在Fluent Speech Command数据集上对所提出的解决方案进行了评估,结果表明我们的模型能够处理输入的语音信号,在单标签分类上,CTC和CTL的准确率分别高达98.97%和98.78%,在双标签预测上,CTC和CTL的准确率分别高达95.69%和95.28%。
2021-06-08 cs.CL cs.SD eess.AS
Progressive Alignment Objectives for Aligner-Encoder based ASR
NTT, Inc.(NTT公司)
针对对齐器-编码器ASR模型中上层对齐突变导致训练不稳定的问题,提出InterAligner方法,通过中间对齐目标和CTC损失实现渐进对齐,在LibriSpeech上词错误率降至3.1/5.6。
2026-06-24 cs.CL cs.SD eess.AS
Speech recognition for medical conversations
Google(谷歌)
在这项工作中,我们探讨了建立自动语音识别模型转录医生病人的谈话。我们收集了一个大规模的临床会话数据集($14,000$ hr),设计了代表真实世界场景的任务,并探索了几种对齐方法,以迭代地提高数据质量。我们探讨了CTC和LAS系统建立语音识别模型。LAS对噪声数据更具弹性,CTC需要更多的数据清理。提供了详细的分析,以了解临床任务的性能。我们的分析表明,语音识别模型在重要的医疗话语上表现良好,而在因果对话中出现错误。总的来说,我们相信由此产生的模型可以在实践中提供合理的质量。
2018-06-20 cs.CL cs.SD eess.AS
A Training Criterion with Token-Level Tolerance to Transcription Ambiguity for Automatic Speech Recognition
Indian Institute of Science (IISc)(印度科学研究院)
针对转录歧义,提出词元级通配符弧的CTC变体OTC,结合词元与词级逃逸路径及熵索引调度,在19语言25任务上优于CTC,平均相对WER降低9.45%。
2026-09-25 cs.CL eess.AS
Faster, Simpler and More Accurate Hybrid ASR Systems Using Wordpieces
Facebook AI(Facebook人工智能)
在这项工作中,我们首先表明,在广泛使用的LibriSpeech基准,我们的基于变换的上下文相关的连接主义时间分类(CTC)系统产生的最先进的结果。然后,我们表明,使用词片作为建模单元结合CTC训练,与传统的基于帧的交叉熵训练相比,我们可以通过排除所有的GMM自举,决策树构建和力对齐步骤来大大简化工程管道,同时仍然实现非常有竞争力的单词错误率。此外,使用字段作为建模单元可以显着提高运行时效率,因为我们可以使用更大的步幅而不会失去准确性。我们在两个内部VideoASR数据集上进一步证实了这些发现:德语,类似于英语作为融合语言,土耳其语,这是一种粘着语言。
2020-08-16 cs.CL eess.AS
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation(LINE公司)
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别(ASR)。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同,该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐,受益于最先进的基于注意力的编码器-解码器模型的强推理能力,这不能应用于传统方法。两种不同的Transformer模型,即前向Transformer和后向Transformer,分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语(CSJ)的实验表明,所提出的方法提供了一个准确的话语明智的对齐,匹配手动注释对齐的误差只有0.2%。实验结果表明,基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据,可以将字符错误率降低到59.0%,明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
UniEnc-CASSNAT: An Encoder-only Non-autoregressive ASR for Speech SSL Models
UCLA(加州大学洛杉矶分校)
提出UniEnc-CASSNAT,一种仅含编码器的非自回归ASR模型,通过两次前向传递结合CTC与CASS-NAT优势,高效集成语音基础模型,在多个数据集上取得SOTA结果且参数更少。
2024-02-14 cs.CL cs.SD eess.AS
Weak Alignment Supervision from Hybrid Model Improves End-to-end ASR
AppTek;AppTek GmbH
本文提出利用现有混合ASR系统生成三音子对齐,并在编码器第三层引入标签平滑参数为0.5的弱对齐交叉熵损失,在TED-LIUM 2上实现约5%的相对WER降低,且可迁移到他加禄语端到端ASR系统。
2023-11-30 cs.CL cs.SD eess.AS
Wav2Letter: an End-to-End ConvNet-based Speech Recognition System
Facebook AI Research(Facebook AI研究院)
本文提出了一种简单的端到端的语音识别模型,结合基于卷积网络的声学模型和图解码。它被训练输出字母,转录语音,而不需要强制对齐音素。我们引入了一个自动分割标准,用于在没有比对的情况下从序列注释进行训练,该标准与CTC相当,同时更简单。我们在具有MFCC特征的Librispeech语料库上显示出具有竞争力的字出错率结果,并且从原始波形中获得了有希望的结果。
2016-09-13 cs.AI cs.CL cs.LG
Improvement in Sign Language Translation Using Text CTC Alignment
Institute of Science Tokyo(东京科学大学);NHK Science & Technology Research Laboratories(NHK科学技术研究实验室)
本文提出结合联合CTC/Attention与迁移学习的手语翻译方法,有效处理单调与非单调对齐并弥合视觉与语言模态鸿沟,在主流基准上取得与SOTA相当且优于纯注意力基线的表现,为无gloss SLT研究开辟新方向。
2024-12-24 cs.CL
Learning from Flawed Data: Weakly Supervised Automatic Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);NVIDIA Corp.(英伟达公司);Xiaomi Corp.(小米公司)
针对弱监督、非逐字且含大量错误的语音转录数据,本文提出基于加权有限状态转换器的 OTC 训练准则,扩展 CTC 以建模标签不确定性,并在 LibriSpeech 和 LibriVox 上证明其在转录错误率高达70%时仍可避免性能下降。
2023-09-26 cs.CL cs.LG eess.AS