Multiple-hypothesis CTC-based semi-supervised adaptation of end-to-end speech recognition
Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室);The University of Sheffield(谢菲尔德大学)
本文提出了一种用于端到端语音识别的自适应方法。在该方法中,多个自动语音识别(ASR)1-最佳假设被集成在计算的连接主义时间分类(CTC)损失函数。当使用ASR假设时,多个ASR假设的整合有助于减轻ASR假设中的误差对CTC损失计算的影响。当应用于部分自适应数据没有标签的半监督自适应场景时,所提出的方法的CTC损失从通过解码未标记的自适应数据获得的不同ASR 1-best假设计算。在干净和多条件训练场景中进行实验,其中基于CTC的端到端ASR系统分别在华尔街日报(WSJ)干净训练数据和CHiME-4多条件训练数据上进行训练,并在Aurora-4测试数据上进行测试。所提出的自适应方法产生6.6%和5.8%的相对字出错率(WER)减少清洁和多条件的训练方案,分别相比,基线系统,这是适应与部分的自适应数据具有手动transmittance使用反向传播微调。
2021-03-31 cs.CL
Hierarchical Multitask Learning for CTC-based Speech Recognition
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);TTI-Chicago(芝加哥丰田技术研究所)
以前的工作表明,神经编码器-解码器语音识别可以通过分层多任务学习来改进,其中在深度编码器的中间层添加辅助任务。我们探讨了层次多任务学习的影响,在连接主义时间分类(CTC)为基础的语音识别的上下文中,并调查这种方法的几个方面。与以前的工作相一致,我们观察到的性能改善电话会话语音识别(特别是Eval 2000测试集)时,训练一个子字级CTC模型与辅助电话损失在中间层。我们分析了一些实验变量的影响(如插值常数和辅助损失函数的位置),在低资源设置中的性能,以及预训练和多任务学习之间的关系。我们观察到,在我们的高数据实验中,分层多任务方法比标准多任务训练有所改善,而在低资源设置中,标准多任务训练效果良好。最好的结果是通过结合分层多任务学习和预训练获得的,它在Eval 2000测试集上将单词出错率绝对提高了3.4%。
2019-03-07 cs.CL
CTC-based Non-autoregressive Speech Translation
Northeastern University(东北大学);ByteDance(字节跳动);NiuTrans Research(小牛翻译研究院)
本文研究基于CTC的非自回归语音翻译,提出预测感知编码、跨层注意力和课程学习以解决条件独立生成与单调对齐假设问题,在MuST-C上取得29.5 BLEU并实现5.67倍加速。
2023-05-27 cs.CL
Bridging the Gaps of Both Modality and Language: Synchronous Bilingual CTC for Speech Translation and Speech Recognition
Harbin Engineering University(哈尔滨工程大学);Northeastern University(东北大学);ByteDance(字节跳动);NiuTrans Research(小牛翻译研究院)
本文提出同步双语CTC框架,以转录和翻译为并行目标同时弥合模态与语言鸿沟,其增强变体BiL-CTC+在MuST-C语音翻译基准上取得最优性能,并显著提升语音识别效果。
2023-09-21 cs.CL eess.AS
Constrained CTC Decoding for Efficient Diacritic Restoration
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
研究阿拉伯语音转录本变音符恢复问题,提出基于 CTC 的高效非自回归方法,通过构建标注格并纳入硬约束进行解码,在相关测试集上评估,相比基线降低了变音符错误率,实现性能和效率提升。
2026-07-29 cs.CL
Speaker-Distinguishable CTC: Learning Speaker Distinction Using CTC for Multi-Talker Speech Recognition
NHK Science and Technology Research Laboratories(日本国立放送理事会科学技术研究所);Waseda University(早稻田大学)
本文提出 SD-CTC 并将其集成到 SOT 框架中,使多人语音识别无需时间戳等辅助信息即可学习说话人区分性,错误率降低 26%。
2025-06-09 cs.CL cs.SD eess.AS
BERT Meets CTC: New Formulation of End-to-End Speech Recognition with Pre-trained Masked Language Model
Waseda University(早稻田大学)
提出 BERT-CTC,将 BERT 融入 CTC 端到端语音识别,通过自注意力建模音频与 token 的上下文依赖,并结合 mask-predict 迭代解码,在多风格、多语言识别及下游口语理解上取得提升。
2023-04-20 cs.CL eess.AS
Intermediate Loss Regularization for CTC-based Speech Recognition
Naver Corporation(NAVER 公司);Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种简单有效的辅助损失函数,用于自动语音识别(ASR),该函数基于联结主义时态分类(CTC)目标。所提出的目标,一个中间CTC损失,是附加到一个中间层的CTC编码器网络。这种中间CTC损失很好地规范了CTC训练,并提高了性能,分别只需要对代码进行小的修改,并且在训练和推理期间的开销很小且没有开销。此外,我们建议将这种中间CTC损失与随机深度训练相结合,并将这种组合应用于最近提出的Conformer网络。我们评估所提出的方法在各种语料库,达到字错误率(WER)9.9%的华尔街日报语料库和字符错误率(CER)5.2%的AISHELL-1语料库分别,基于CTC贪婪搜索没有语言模型。特别是,AISHELL-1任务可与基于具有波束搜索的自回归解码器的其他最先进的ASR系统相媲美。
2021-02-05 cs.CL cs.SD eess.AS
Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University(阿尔及利亚科学与技术大学);University of MEDEA(迈代阿大学);College of Engineering and Information Technology, University of Dubai(迪拜大学工程与信息技术学院)
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展,阐述了其架构、应用、相关研究及局限性,为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
Multi-encoder multi-resolution framework for end-to-end speech recognition
The Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
基于注意力的方法和连接主义时间分类(CTC)网络是端到端自动语音识别(ASR)的重要研究方向。联合CTC/Attention模型在多任务训练和联合解码过程中利用了两种架构,取得了很大的成功。在这项工作中,我们提出了一种新的多编码器多分辨率(MEMR)框架的基础上联合CTC/注意力模型。具有不同架构、时间分辨率和独立CTC网络的两个异构编码器并行工作以提取互补声学信息。然后使用分层注意力机制来组合编码器级信息。为了证明所提出的模型的有效性,在华尔街日报(WSJ)和CHiME-4上进行实验,导致相对字出错率(WER)降低18.0- 32.1%。此外,提出的MEMR模型在WSJ eval 92测试集中实现了3.6%的WER,这是该基准测试中端到端系统报告的最佳WER。
2018-11-12 cs.CL
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University(名古屋大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文将语音活动检测(VAD)功能与端到端自动语音识别集成到一个在线语音界面,并转录很长的音频记录。我们专注于连接主义时间分类(CTC)及其扩展的CTC/注意架构。与基于注意力的架构相反,输入同步标签预测可以基于具有CTC(预)softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签,可以将其视为非语音区域。我们使用的标签作为一个线索,检测语音段与简单的阈值。阈值与非语音区域的长度直接相关,这比传统的VAD超参数更直观,更容易控制。未分割数据的实验结果表明,该方法优于基线方法使用传统的基于能量和神经网络的VAD方法,并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation
Microsoft(微软公司)
针对流式语音翻译标注数据成本高的问题,提出CTC-GMM方法,利用CTC压缩语音序列匹配文本序列,借助MT文本数据优化模型,在FLEURS、CoVoST2上提升准确率并加快GPU解码速度。
2024-10-07 cs.AI cs.CL eess.AS
Efficient CTC Regularization via Coarse Labels for End-to-End Speech Translation
University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
对于端到端的语音翻译,使用源转录本或目标翻译作为标签,使用连接时间分类(CTC)目标正则化编码器可以大大提高质量度量。然而,CTC需要在词汇空间上额外的预测层,带来不可忽略的模型参数和计算开销,尽管该层通常不用于推理。在本文中,我们重新审视了CTC正则化对真正词汇标签的需求,并探索了减少CTC标签空间的策略,目标是在不降低质量的情况下提高效率。我们提出了粗标记CTC(CoLaCTC),通过简单的启发式规则,如使用截断,除法或模(MOD)操作合并词汇标签。尽管它很简单,但我们在4种源语言和8种目标语言上的实验表明,CoLaCTC特别是MOD可以将标签空间压缩到256甚至更高,获得训练效率(1.18倍~1.77倍加速,取决于原始词汇量),但仍然提供与CTC基线相当或更好的性能。我们还表明,CoLaCTC成功地推广到CTC正则化,无论使用转录或翻译标记。
2023-02-21 cs.CL cs.SD eess.AS
Mixture-of-Experts with Intermediate CTC Supervision for Accented Speech Recognition
Department of Computer Science and Engineering, POSTECH(计算机科学与工程系,POSTECH);Graduate School of Artificial Intelligence, POSTECH(人工智能研究生院,POSTECH)
Moe-Ctc通过中间CTC监督的专家混合模型,提升口音语音识别的鲁棒性和泛化能力,实现对多种口音的性能提升。
2026-02-02 cs.AI cs.CL
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute Japan(日本本田研究所)
提出基于CTC的仅编码器语音基础模型OWSM-CTC,使用180k小时公开数据训练,在ASR和ST任务上取得竞争力且推理更快,促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS
Hybrid CTC-Attention based End-to-End Speech Recognition using Subword Units
Tsinghua University(清华大学);Shanghai Liulishuo Information Technology Co., Ltd(上海流利说信息技术有限公司)
在本文中,我们提出了一个端到端的自动语音识别系统,它成功地采用子字单元的混合CTC注意力为基础的系统。子字单元由字节对编码(BPE)压缩算法获得。与使用单词作为建模单元相比,使用字符或子单词单元不会遭受词汇表外(OOV)问题。此外,使用子字单元还提供了比使用字符更长的上下文建模的能力。我们在LibriSpeech 1000 h数据集上评估了不同的系统。基于子词的混合CTC-Attention系统在没有任何词典或外部语言模型的情况下,在test_clean子集上获得6.8%的词错误率(WER)。这代表了一个显着的改善(12.8%的WER相对减少),基于字符的混合CTC的注意力系统。
2018-09-06 cs.CL cs.SD eess.AS
Investigating the dynamics of hand and lips in French Cued Speech using attention mechanisms and CTC-based decoding
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像、语音、信号与自动化实验室)
本研究针对法国提示语中手唇动态关系问题,提出用注意力机制探究神经网络识别时的手唇关联学习方法,录制新数据集并发布首个词级识别基准。
2023-06-14 cs.CL
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
最近出现的联合CTC-注意力模型在自动语音识别(ASR)中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而,解码器的训练语料仅限于语音翻译,这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题,我们提出了语言增强的Transformer,它在训练过程中将细化的CTC信息引入到解码器中,从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明,字符出错率(CER)相对降低了7%。我们还发现,在联合CTC-Attention ASR模型中,解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Improving CTC-based speech recognition via knowledge transferring from pre-trained language models
Tencent Cloud Xiaowei(腾讯云小微);Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,端到端的自动语音识别模型的基础上连接时间分类(CTC)取得了令人印象深刻的结果,特别是当微调从wav2vec2.0模型。由于条件独立性假设,基于CTC的模型总是弱于基于注意力的编码器-解码器模型,并且需要外部语言模型(LM)的帮助。为了解决这个问题,我们提出了两种知识转移方法,利用预先训练的LM,如BERT和GPT 2,以改善基于CTC的模型。第一种方法是基于表示学习,其中基于CTC的模型使用由BERT产生的表示作为辅助学习目标。第二种方法是基于联合分类学习,它结合了GPT 2的文本建模与混合CTC/注意力架构。在AISHELL-1语料库上的实验表明,该方法的字符出错率为4.2%。当与从wav2vec2.0模型微调的基于vanilla CTC的模型相比时,我们的知识转移方法在没有外部LM的情况下相对减少了16.1%的CER。
2022-02-22 cs.CL cs.SD eess.AS
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences(中国科学院大学);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
本文研究基于CTC的非自回归语音到语音翻译,结合预训练、知识蒸馏及glancing training等技术,在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
Comparison of Decoding Strategies for CTC Acoustic Models
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
连接主义时间分类最近吸引了大量的兴趣,因为它提供了一个优雅的方法来建立声学模型(AM)的语音识别。CTC损失函数将可观察特征向量的输入序列映射到符号的输出序列。输出符号在CTC丢失的情况下是有条件地相互独立的,因此语言模型(LM)可以在解码期间方便地并入,保留了ASR中声学和语言分量的传统分离。对于固定词汇表,加权有限状态转换器为CTC AM与n-gram LM的有效集成提供了强大的基线。基于编码器的神经LM为开放词汇语音识别和全神经模型提供了一种直接的解决方案,并且可以使用束搜索进行解码。最后,序列到序列模型可用于将单个声音的序列翻译成单词串。我们比较了这三种方法的性能,并分析了它们的错误模式,这为未来在这一重要领域的研究和开发提供了有见地的指导。
2017-08-15 cs.CL
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs(AWS人工智能实验室)
端到端语音识别模型训练使用联合连接时间分类(CTC)-注意力损失最近得到普及。在这些模型中,非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而,这样的模型很难个性化,因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题,我们提出了一种新的双向方法,首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外(OOV)单词列表上,然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法,以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
CTC-DRO: Robust Optimization for Reducing Language Disparities in Speech Recognition
Department of Computer Science, Stanford University(计算机科学系,斯坦福大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
CTC-DRO通过平滑群体权重更新和输入长度匹配分组,有效减少语音识别中语言差异,提升多语言ASR性能。
2026-01-28 cs.CL cs.LG eess.AS
Back from the future: bidirectional CTC decoding using future information in speech recognition
Naver Corporation(Naver公司)
在本文中,我们提出了一个简单而有效的方法来解码的连接时间分类器(CTC)模型的输出使用双向神经语言模型。双向语言模型使用未来以及过去的信息,以便预测序列中的下一个输出。基于双向束搜索的方法利用CTC贪心解码的输出来表示噪声的未来信息。Librispeechdataset上的实验证明了我们所提出的方法相比使用单向解码的基线的优越性。特别地,提升不准确性在序列的开始处最明显,该序列是基于单向解码的现有系统的最错误的部分。
2021-10-07 cs.CL cs.SD eess.AS
End-to-end Speech Recognition with similar length speech and text
College of Computer Science and Cyber Security, Chengdu University of Technology(计算机科学与网络安全学院,成都理工大学);National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University(合成视觉基础科学国家重点实验室,四川大学)
针对语音下采样至与文本相似长度时的对齐难题,本文提出时间独立性损失(TIL)和基于编辑距离的对齐交叉熵(AXE)损失两种方法,并结合帧融合技术,在AISHELL-1和AISHELL-2上显著降低帧数并提升识别性能。
2025-10-12 cs.CL
Advances in All-Neural Speech Recognition
Microsoft Research(微软研究院)
本文提出了基于CTC的全神经(或端到端)语音识别器的设计。我们提出了一种新的符号库存,和一种新的迭代CTC方法,其中第二个系统是用来将一个嘈杂的初始输出到一个清洁的版本。我们提出了一些稳定和初始化的方法,我们发现有用的训练这些网络。我们评估我们的系统上常用的NIST 2000会话电话测试集,并显着超过以前公布的类似系统的性能,无论是使用和不使用外部语言模型和解码技术。
2017-01-25 cs.CL
Unimodal Aggregation for CTC-based Speech Recognition
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
本文提出单峰聚合(UMA)方法用于非自回归语音识别,通过分割并整合同一文本标记的特征帧以学习更优表示并缩短序列长度,在降低计算复杂度的同时减少了识别错误,在中文数据集上表现优于或媲美其他先进方法。
2024-03-20 cs.CL cs.SD eess.AS
Towards End-to-end Automatic Code-Switching Speech Recognition
HKUST(香港科技大学)
混合语言中的语音识别由于缺乏数据和重叠的音素集(例如,在诸如英语中的“one”和中文中的“wàn”的单词中)而难以适应端到端框架。本文提出了一种基于CTC的端到端自动语音识别模型,用于语码转换。该模型通过在单语数据集上进行联合训练,并与混合语言语料库进行微调来训练。在解码过程中,我们应用束搜索并结合CTC预测和语言模型得分。该方法在利用单语语料库和检测语言转换方面是有效的,它将CER提高了5%。
2018-10-30 cs.CL
Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers
Tsinghua University(清华大学);Beijing Language and Culture University(北京语言大学)
自动语音识别系统在过去的几十年中已经得到了很大的改进,并且当前的系统主要是基于混合的和基于端到端的。最近提出的气候技术中心通用报告格式框架继承了混合方法的数据效率和端到端方法的简单性。在本文中,我们进一步提出了基于CTC-CRF的ASR技术与探索的建模单元和神经结构。具体来说,我们调查的技术,使最近开发的词段建模单元和构象神经网络成功地应用于CTC-CRF。实验进行了两个英语数据集(Switchboard,Librispeech)和德国数据集从CommonVoice。实验结果表明,(i)Conformer可以显着提高识别性能;(ii)与基于音素的系统相比,基于单词的系统执行略差的目标语言与低程度的字形音素的对应关系(如英语),而这两个系统可以执行同样强大的对应程度高的目标语言(如德语)。
2021-07-08 cs.CL cs.SD eess.AS
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc(PAII公司)
提出了一种基于CTC分解的单步非自回归Transformer(CASS-NAT)的语音识别方法。具体地,CTC对准包含(a)用于解码器输入的令牌的数量和(b)每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示,即标记级声学嵌入,它代替自回归Transformer(AT)中的词嵌入,实现解码器的并行生成。在推理过程中,提出了一种基于误差的对齐采样方法应用于CTC输出空间,降低了WER,同时保持了并行性。实验结果表明,该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM,和5.8%的CER的Aishell 1普通话语料库,分别1。与AT基线相比,CASS-NAT在WER上的性能有所降低,但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时,在测试干净集上,不使用LM的WER下限达到2.3%,这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
IIIT Delhi(德里印度理工学院);Microsoft Research(微软研究院);National University of Singapore(新加坡国立大学)
DirectSpeech2LLM提出一种简单端到端框架,通过基于距离的CTC损失对齐语音嵌入,缓解语音LLM的提示过拟合,实现零样本泛化至语音翻译和情感识别。
2026-10-07 cs.CL
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University(京都大学)
本文描述了一种有效的训练方法,在线流的注意力为基础的编码器-解码器(AED)的自动语音识别(ASR)系统。AED机型通过联合优化所有组件,在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架,通过模型,如单调分块注意力(MoChA)。然而,精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外,序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题,我们提出了CTC同步训练(CTC-ST),其中利用CTC对齐作为令牌边界的参考,使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标,以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外,所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此,CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明,该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法,并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器(RNN-T)相当的识别准确性,同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
Tencent Cloud Xiaowei(腾讯云小微);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,自我监督预训练在端到端(E2 E)自动语音识别(ASR)中取得了令人印象深刻的结果。然而,占主导地位的序列到序列(S2 S)E2 E模型仍然难以充分利用自监督预训练方法,因为其解码器以声学表示为条件,因此无法单独进行预训练。在本文中,我们提出了一个预训练的Transformer(Preformer)S2 S ASR架构的基础上混合CTC/注意力E2 E模型,充分利用预训练的声学模型(AM)和语言模型(LM)。在我们的框架中,编码器使用预训练的AM(wav2vec2.0)初始化。Preformer利用CTC作为训练和推理期间的辅助任务。此外,我们设计了一个单交叉解码器(OCD),它放松了对声学表示的依赖,以便可以使用预训练的LM(DistilGPT 2)进行初始化。在AISHELL-1语料库上进行了实验,并在测试集上获得了$4.6\%$字符错误率(CER)。与我们的香草混合CTC/注意力Transformer基线相比,我们提出的CTC/注意力为基础的预生成器产生$27\%$相对CER减少。据我们所知,这是第一个在S2 S ASR系统中利用预训练的AM和LM的工作。
2021-12-14 cs.CL cs.SD eess.AS
Self-Attention Networks for Connectionist Temporal Classification in Speech Recognition
Amazon AI(亚马逊人工智能);University of Washington(华盛顿大学)
自注意在自然语言处理中的成功,导致最近的应用在端到端的编码器-解码器架构的语音识别。另外,连接主义时间分类(CTC)已经成熟为一个无干扰,非自回归的方法,序列转导,无论是本身或在各种多任务和解码框架。我们提出了SAN-CTC,一个深度的,完全自我注意的CTC网络,并表明它是易于处理的和有竞争力的端到端的语音识别。SAN-CTC训练速度快,性能优于现有的CTC模型和大多数编码器-解码器模型,在WSJ eval 92上1天内的字符错误率(CER)为4.7%,在LibriSpeech test-clean上1周内为2.8%,具有固定架构和一个GPU。类似的改进适用于LM解码之后的WER。我们激励架构的讲话,评估位置和下采样方法,并探讨标签字母(字符,音素,子字)如何影响注意头和性能。
2019-02-19 cs.CL cs.LG cs.SD
Direct Acoustics-to-Word Models for English Conversational Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);IBM
端到端自动语音识别(ASR)的最新研究表明,连接主义时间分类(CTC)损失可用于将声学转换为音素或字符序列。这样的系统与字典和单独训练的语言模型(LM)一起使用以产生单词序列。然而,它们并不是真正的端到端,因为它们将声学直接映射到单词,而不需要中间的音素表示。在本文中,我们提出了第一个结果,采用直接声学字CTC模型上两个著名的公共基准任务:总机和CallHome。这些模型在运行时不需要LM甚至解码器,因此以最小的复杂度识别语音。然而,由于大量的字输出单元,与传统系统相比,CTC字模型需要数量级更多的数据来可靠地训练。我们提出了一些技术来缓解这个问题。我们的CTC字模型实现了一个字的出错率的13.0%/18.8%的集线器5 -2000交换机/CallHome测试集没有任何LM或解码器相比,9.6%/16.0%的电话为基础的CTC与4克LM。我们还提出了CTC字模型格子的重新评分结果,以量化LM的性能优势,并对比字和电话CTC模型的性能。
2017-03-22 cs.CL cs.NE stat.ML
Cascaded CNN-resBiLSTM-CTC: An End-to-End Acoustic Model For Speech Recognition
CloudWalk(云从科技)
自动语音识别(ASR)任务通过端到端深度学习模型来解决,这使我们减少了原始数据的准备工作,并且更容易在语言之间进行转换。我们提出了一种新的端到端深度学习模型架构,即级联CNN-resBiLSTM-CTC。在该模型中,我们在BiLSTM层中加入残差块,以同时提取复杂的音素和语义信息,并采用级联结构来更加关注硬负样本的挖掘信息。通过应用简单的快速傅里叶变换(FFT)技术和n-gram语言模型(LM)重评分方法,我们在LibriSpeech测试干净语料库上实现了3.41%的单词错误率(WER)。此外,我们提出了一种新的批量变化的方法,以加快训练过程中的长度变化的任务,这导致减少25%的训练时间。
2018-10-30 cs.CL cs.SD eess.AS
Subword and Crossword Units for CTC Acoustic Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的方法来创建一个基于CTC的语音识别系统的单元集。通过使用字节对编码,我们在给定的训练文本上学习任意大小的单元集。与使用字符或单词作为单位相比,这使我们能够在单位集的大小和可用的训练数据之间找到一个很好的折衷。我们评估填字游戏单位,这可能会跨越多个字,和子字单位。通过将这种方法与使用单独的语言模型的解码方法相结合,我们能够实现基于字素的CTC系统的最新结果。
2018-06-18 cs.CL
Phonemic and Graphemic Multilingual CTC Based Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
训练自动语音识别(ASR)系统需要目标语言的大量数据以实现良好的性能。虽然大型培训语料库是现成的语言,如英语,有一个长尾的语言,确实遭受缺乏资源。处理数据稀疏性的一种方法是使用来自其他源语言的数据并构建多语言系统。最近,基于连接主义时间分类(CTC)训练的递归神经网络(RNN)的ASR系统获得了大量的研究兴趣。在这项工作中,我们扩展了我们以前的方法对培训CTC为基础的系统多语言。我们的系统具有一个全球音素集,基于每种源语言的联合音素集。我们评估了不同语言组合的使用以及语言特征向量(LFV)的添加。作为对比实验,我们也建立了基于字素的系统。已知具有多语言音素集的系统与其单语言对应物相比在性能上受到影响。通过我们提出的方法,我们可以减少这些单语言和多语言设置之间的差距,使用字素或音素。
2017-11-13 cs.AI cs.CL eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University(卡内基梅隆大学)
本文针对ML-SUPERB 2.0多语言语音任务,提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略,使LID准确率相对提升14%、ASR CER相对降低30%,并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University(卡内基梅隆大学);Waseda University(早稻田大学);Johns Hopkins University(约翰斯·霍普金斯大学)
连接主义时间分类(CTC)是一种广泛使用的自动语音识别(ASR)方法,它执行条件独立的单调对齐。然而,对于翻译,CTC表现出明显的局限性,由于上下文和非单调的性质的任务,因此落后于注意解码器的翻译质量方面的方法。在这项工作中,我们认为,CTC实际上是有意义的翻译,如果应用在联合CTC/注意力框架,其中CTC的核心属性可以抵消几个关键的弱点,纯注意力模型在训练和解码。为了验证这一猜想,我们修改了最初为ASR提出的混合CTC/Attention模型,以支持文本到文本翻译(MT)和语音到文本翻译(ST)。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
LegoSLM: Connecting LLM with Speech Encoder using CTC Posteriors
University of Cambridge(剑桥大学);Google Deepmind(谷歌DeepMind)
针对现有语音编码器与大语言模型融合方法性能次优、灵活性不足的问题,提出LegoSLM范式,通过CTC后验重构伪音频嵌入桥接两类模型,在ASR等任务上取得优异效果,兼具模块化特性与领域自适应能力。
2025-05-16 cs.CL cs.SD eess.AS
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University(京都大学);Carnegie Mellon University(卡内基梅隆大学)
多解码器(MD)端到端语音翻译模型通过搜索更好的中间自动语音识别(ASR)解码器状态作为隐藏中间体(HI)来展示高翻译质量。它是一个两遍解码模型,将整个任务分解为ASR和机器翻译子任务。然而,解码速度对于现实世界的应用来说不够快,因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD,一个快速MD模型,产生HI的非自回归(NAR)解码的基础上连接主义时间分类(CTC)的输出,然后由ASR解码器。我们研究了两种类型的NAR HI:(1)使用自回归Transformer ASR解码器的并行HI和(2)使用Mask-CTC的掩码HI,该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配,我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明,Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍,翻译质量相当。采用Conformer编码器和中间CTC损失,在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
Exploring Neural Transducers for End-to-End Speech Recognition
Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室)
在这项工作中,我们进行了CTC,RNN传感器,和基于注意力的Seq 2Seq模型之间的经验比较,用于端到端的语音识别。我们表明,在没有任何语言模型的情况下,Seq 2Seq和RNN-Transducer模型在流行的Hub 5 '00基准测试中的表现都优于具有语言模型的最佳CTC模型。在我们内部的多样化数据集上,这些趋势仍在继续-在束搜索之后,使用语言模型重新评分的RNNTransducer模型优于我们最好的CTC模型。这些结果简化了语音识别流水线,使得解码现在可以纯粹地表示为神经网络操作。我们还研究了编码器架构的选择如何影响这三种模型的性能-当所有编码器层都只向前时,以及当编码器对输入表示进行下采样时。
2017-07-24 cs.CL cs.NE
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.(谷歌公司)
我们目前的结果表明,它是有可能建立一个有竞争力的,大大简化,大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125,000小时的半监督声学训练数据上训练的,这使我们能够减轻单词模型的数据稀疏问题。我们表明,CTC字模型工作得很好,作为一个端到端的全神经语音识别模型,而不使用传统的上下文相关的子字音素单位,需要一个发音词典,没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的,更复杂的,最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research(商汤科技研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
流自动语音识别模型与非流模型相比性能较差,这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性,本文采用了一种帧级模型,该模型采用高效的扩充存储器Transformer块和动态延迟训练方法,用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中,作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存,并在下一个块中重用以减少计算。之后,提出了一种动态延迟训练方法,以获得更好的性能,并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下,我们的模型与截断块式Transformer相比,在测试-clean上实现了6.0%的相对WER降低,在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training
Microsoft(微软)
近年来,在语音识别的自监督学习(SSL)中,掩蔽预测预训练取得了显著的进展。它通常需要以无监督的方式获得的码本,这使得它不太准确并且难以解释。我们提出了两种监督引导的码本生成方法,以提高自动语音识别(ASR)的性能和预训练效率,通过解码与混合ASR系统生成音素级对齐(命名为PBERT),或执行从端到端的CTC模型(命名为CTC聚类)提取的监督语音特征上。混合模型和CTC模型都是在与微调中使用的相同的少量标记语音上训练的。实验表明,我们的方法具有显着的优越性,各种SSL和自我训练基线,高达17.0%的相对WER减少。我们的预训练模型在非ASR语音任务中也表现出良好的可转移性。
2022-06-21 cs.CL cs.SD eess.AS
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像语音信号自动化实验室)
本文提出了一种简单有效的自动识别提示语音(CS)的方法,提示语音是一种视觉交流工具,可以帮助听力障碍者理解口语的帮助下,手势,可以唯一地识别出的音素,补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络,并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%,所提出的系统优于我们以前的CNN-HMM解码器,并与更复杂的基线竞争。
2022-04-11 cs.CL cs.SD eess.AS
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息学研究科)
在这项工作中,我们提出了新的解码算法,使流自动语音识别(ASR)的未分割的长形式的录音没有语音活动检测(VAD),基于单调块注意(MoChA)与辅助连接时间分类(CTC)的目标。我们提出了一种块同步波束搜索解码,以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法,利用CTC概率来确定一个合适的时间来重置模型状态,以解决长格式数据的脆弱性。实验结果表明,块同步解码达到相当的精度标签同步之一。此外,无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Improved Mask-CTC for Non-Autoregressive End-to-End ASR
Waseda University(早稻田大学);Kyoto University(京都大学);Johns Hopkins University(约翰斯·霍普金斯大学)
对于自动语音识别(ASR)的实际部署,期望系统能够快速推理,同时减轻对计算资源的需求。最近提出的端到端ASR系统的基础上掩码预测与连接主义时间分类(CTC),掩码CTC,满足这一需求,通过生成令牌在一个非自回归的方式。虽然Mask-CTC实现了非常快的推理速度,但其识别性能落后于传统的自回归(AR)系统。为了提高Mask-CTC的性能,我们首先建议通过采用最近提出的称为Conformer的架构来增强编码器网络架构。接下来,我们提出了新的训练和解码方法,通过引入辅助目标来预测部分目标序列的长度,这允许模型在推理过程中删除或插入令牌。不同ASR任务的实验结果表明,所提出的方法显着改善Mask-CTC,优于标准的CTC模型(15.5% $\rightarrow$ 9.1% WER上WSJ)。此外,Mask-CTC现在实现了与AR模型竞争的结果,而不会降低推理速度(使用CPU的$<$ 0.1 RTF)。我们还展示了Mask-CTC在端到端语音翻译中的潜在应用。
2021-02-16 cs.CL cs.SD eess.AS
A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition
University of California, Los Angeles(加州大学洛杉矶分校);PAII Inc.(平安科技(美国)有限公司)
本文提出基于CTC对齐的单步非自回归Transformer(CASS-NAT),用词元级声学嵌入替代词嵌入实现并行解码,在保持接近自回归模型识别精度的同时获得约24倍推理加速,并在多个数据集上刷新非自回归ASR最优结果。
2023-04-15 cs.CL eess.AS
Exploring Turkish Speech Recognition via Hybrid CTC/Attention Architecture and Multi-feature Fusion Network
Xinjiang University(新疆大学)
近年来,基于深度学习的端到端语音识别技术发展迅速。由于缺乏土耳其语语音数据,土耳其语语音识别系统的性能较差。本文首先研究了一系列语音识别调谐技术。结果表明,采用速度扰动与加噪相结合的数据增强技术,束搜索宽度设为16。其次,为了最大限度地利用有效特征信息,提高特征提取的准确性,本文提出了一种新的特征提取器LSPC。将LSPC和LiGRU网络相结合,形成共享的编码器结构,实现了模型压缩。实验结果表明,在仅使用Fbank特征时,LSPC的性能优于MSPC和VGGnet,WER分别提高了1.01%和2.53%。最后,基于以上两点,提出了一种新的多特征融合网络作为编码器的主体结构。实验结果表明,与基于LSPC的单一特征(Fbank特征和Spectrogram特征)提取相比,基于LSPC的特征融合网络的WER分别提高了0.82%和1.94%。我们的模型实现了与先进的端到端模型相当的性能。
2023-03-22 cs.CL cs.SD eess.AS
Gradient-Based Speech-to-Text Alignment for Any ASR Model: From CTC to Speech LLMs
Machine Learning and Human Language Technology Group, RWTH Aachen University(机器学习与人类语言技术组,亚琛工业大学);AppTek GmbH(AppTek公司)
研究基于梯度的任意可微语音识别模型的语音到文本对齐方法,通过对教师强制令牌对数概率取梯度并解码,无需训练、改模型及对齐头,适用于各模型家族,在多模型上评估,结果显示该方法能产生可用对齐,有优有劣。
2026-07-09 cs.AI cs.CL cs.CV
Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced Code-Switching Speech Recognition
National Taiwan Normal University(國立臺灣師範大學)
针对语码转换训练数据稀缺导致ASR模型性能骤降的问题,本文提出将语言识别信息引入ASR编码器中间层,生成隐含语言区分性的声学特征以降低语言切换混淆,提升语码转换语音识别效果。
2023-12-15 cs.CL cs.SD eess.AS
2D-CTC for Scene Text Recognition
Megvii(旷视科技);Huazhong University of Science and Technology(华中科技大学)
场景文本识别一直是计算机视觉中一个重要而活跃的研究课题。以往的方法主要是将文本看作一维信号,将场景文本识别看作序列预测问题,利用CTC或基于注意力的编解码器框架的特点,而这种框架最初是为语音识别而设计的。然而,与语音语音不同,语音是1D信号,文本实例基本上分布在2D图像空间中。为了坚持和利用文本的2D性质以获得更高的识别精度,我们将vanilla CTC模型扩展到第二维,从而创建2D-CTC。2D-CTC可以自适应地集中于最相关的特征,同时排除背景中的杂波和噪声的影响;它还可以自然地处理各种形式的文本实例(水平,定向和弯曲),同时给出更多可解释的中间预测。在IIIT-5 K、ICDAR 2015、SVP-Perspective和CUTE 80等场景文本识别标准基准上的实验表明,所提出的2D-CTC模型在规则和不规则形状的文本上的性能优于现有的方法。此外,2D-CTC在训练和测试速度方面表现出优于现有技术的优势。我们的2D-CTC的实施和模型将在不久之后公开。
2019-07-23 cs.CL cs.CV cs.LG