A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers
Tsinghua University（清华大学）；Beijing Language and Culture University（北京语言大学）
自动语音识别系统在过去的几十年中已经得到了很大的改进，并且当前的系统主要是基于混合的和基于端到端的。最近提出的气候技术中心通用报告格式框架继承了混合方法的数据效率和端到端方法的简单性。在本文中，我们进一步提出了基于CTC-CRF的ASR技术与探索的建模单元和神经结构。具体来说，我们调查的技术，使最近开发的词段建模单元和构象神经网络成功地应用于CTC-CRF。实验进行了两个英语数据集（Switchboard，Librispeech）和德国数据集从CommonVoice。实验结果表明，（i）Conformer可以显着提高识别性能;（ii）与基于音素的系统相比，基于单词的系统执行略差的目标语言与低程度的字形音素的对应关系（如英语），而这两个系统可以执行同样强大的对应程度高的目标语言（如德语）。
2021-07-08 cs.CL cs.SD eess.AS
Adding Connectionist Temporal Summarization into Conformer to Improve Its Decoder Efficiency For Speech Recognition
Ping An Technology（平安科技）
Conformer模型是一种优秀的语音识别建模体系结构，它有效地利用了连接主义时间分类（CTC）的混合损失和对训练模型参数的关注。为了提高解码效率的构象，我们提出了一种新的连接主义的时间摘要（CTS）的方法，减少了所需的帧的数量的注意解码器从由编码器产生的声学序列，从而减少操作。然而，为了实现这种解码改进，我们必须微调模型参数，因为交叉注意观察会发生变化，因此需要相应的改进。我们的最终实验表明，在波束宽度为4的情况下，LibriSpeech的解码预算可以减少多达20%，对于FluentSpeech数据，可以减少11%，而不会损失ASR的准确性。LibriSpeech“test-other”集的准确性甚至有所提高。字出错率（WER）在波束宽度为1时相对降低6%，在波束宽度为4时相对降低3%。
2022-04-08 cs.CL cs.SD eess.AS
Efficient conformer-based speech recognition with linear attention
Northwestern Polytechnical University（西北工业大学）
最近，基于一致性的端到端自动语音识别，它优于基于递归神经网络的，受到了广泛的关注。虽然构象的并行计算比递归神经网络更有效，但其点积自注意的计算复杂性与输入特征的长度成二次关系。为了降低自注意层的计算复杂性，提出了一种多头线性自注意层，将自注意层的计算复杂性降低到线性阶。此外，我们提出了因式分解的前馈模块的构象低秩矩阵因式分解，成功地减少了约50%的参数的数量，几乎没有性能损失。提出的基于线性注意力的整合器模型（LAC）可以与连接主义时态分类目标联合训练和推理，进一步提高了LAC的性能。为了评估LAC的有效性，我们在AISHELL-1和LibriSpeech语料库上进行了实验。实验结果表明，所提出的LAC比最近提出的7种语音识别模型具有更好的识别性能，与现有的一致性识别器相比具有一定的竞争力。同时，建议的LAC有一些参数，只有50%以上的构象与更快的训练速度比后者。
2021-07-23 cs.SD eess.AS
Efficient conformer: Progressive downsampling and grouped attention for automatic speech recognition
Orange Labs（Orange 实验室）
最近提出的Conformer架构已经在自动语音识别中显示出最先进的性能，其通过将卷积与注意力相结合来对局部和全局依赖性进行建模。在本文中，我们研究了如何降低Conformer架构的复杂性与有限的计算预算，导致一个更有效的架构设计，我们称之为高效的Conformer。我们引入渐进下采样的构象编码器，并提出了一种新的注意机制命名为分组注意，使我们能够减少注意的复杂性从$O(n^{2}d)$到$O(n^{2}d / g)$的序列长度$n$，隐藏维度$d$和组大小参数$g$。我们还实验了使用跨步多头自我注意作为一个全局下采样操作。我们的实验是在具有CTC和RNN换能器损失的LibriSpeech数据集上进行的。我们表明，在相同的计算预算下，与Conformer相比，所提出的架构可以实现更好的性能，并且训练和解码速度更快。我们的13 M参数CTC模型在不使用语言模型的情况下实现了3.6%/9.0%的竞争性WER，在使用外部n-gram语言模型的情况下实现了2.7%/6.7%的竞争性WER，同时在推理方面比我们的CTC Conformer基线快29%，在训练方面快36%。
2021-09-08 cs.AI cs.CL cs.SD
Analysis of Self-Attention Head Diversity for Conformer-based Automatic Speech Recognition
Google LLC（谷歌有限责任公司）
注意层是现代端到端自动语音识别系统的组成部分，例如作为Transformer或Conformer架构的一部分。注意力通常是多头的，其中每个头具有学习参数的独立集并且对相同的输入特征序列进行操作。多头注意的输出是来自各个头的输出的融合。我们实证分析了不同的注意头所产生的表征之间的差异，并证明了头部在训练过程中变得高度相关。我们研究了几种增加注意力头部多样性的方法，包括对每个头部使用不同的注意力机制和辅助训练损失函数来促进头部多样性。我们发现，在训练过程中引入多样性促进辅助损失函数是一种更有效的方法，并获得WER相对于Libri语音语料库的6%的改善。最后，我们得出了注意头的多样性和头部参数梯度的相似性之间的联系。
2022-09-13 cs.CL cs.SD eess.AS
Augmenting conformers with structured state-space sequence models for online speech recognition
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；Google LLC.（谷歌有限责任公司）
针对在线语音识别中左侧上下文受限的问题，提出将结构化状态空间序列模型（S4）与卷积结合以增强Conformer编码器，最佳设计为小型S4与局部卷积堆叠，在Librispeech上取得4.01%/8.53%的WER，优于调优卷积的Conformer。
2023-12-27 cs.CL cs.SD eess.AS
Parameter-Efficient Conformers via Sharing Sparsely-Gated Experts for End-to-End Speech Recognition
Kuaishou Technology Co., Ltd（快手科技有限公司）
虽然Transformers及其变体构象在语音识别中表现出很好的性能，但其参数化特性导致在训练和推理过程中消耗大量内存。一些作品使用跨层权重共享来减少模型的参数。然而，不可避免的容量损失损害了模型性能。为了解决这个问题，本文提出了一个参数有效的构象通过共享稀疏门控专家。具体来说，我们使用稀疏门控混合专家（MoE），以扩大容量的构象块，而不增加计算。然后，共享分组的构象异构体块的参数，从而减少参数的数量。接下来，为了确保共享块具有在不同级别上适应表示的灵活性，我们分别设计了MoE路由器和归一化。此外，我们使用知识蒸馏，以进一步提高性能。实验结果表明，与全参数模型相比，该模型仅需1/3的编码器参数就能获得较好的性能。
2022-09-17 cs.CL eess.AS
Self-consistent context aware conformer transducer for speech recognition
Webex Intelligence, Cisco Systems（思科系统公司Webex智能部门）
本研究提出一种自洽递归神经网络模块，基于其构建上下文感知的扩展Conformer Transducer架构，结合上下文语言模型浅层融合可将稀有词语音识别准确率提升至多4.5倍，且不影响常用词词错误率，方法兼容多种编码器。
2024-10-03 cs.CL cs.SD eess.AS
Unfolding A Few Structures for The Many: Memory-Efficient Compression of Conformer and Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Institute of Software（软件研究所）；Department of Electronic Engineering（电子工程系）
本文提出一种内存高效的模型压缩方法，通过训练并多次展开少量结构的种子模型来模拟大模型，结合自蒸馏最小化性能差距，在Conformer和wav2vec2上实现无性能损失的参数量减少。
2025-05-27 cs.SD eess.AS
Key Frame Mechanism For Efficient Conformer Based End-to-end Speech Recognition
Sichuan University（四川大学）；Du Xiaoman Financial（度小满金融）
本文提出关键帧机制，利用中间CTC输出引导Conformer编码器下采样，通过KFSA和KFDS降低自注意力计算量并丢弃60%以上无用帧，在保持或提升性能的同时显著加速端到端语音识别推理。
2023-10-28 cs.CL cs.SD eess.AS
Audio-Visual Efficient Conformer for Robust Speech Recognition
University of Würzburg（维尔茨堡大学）
近年来，基于神经网络的端到端自动语音识别（ASR）系统有了很大的改进。大规模手工标记数据集和充足的计算资源的可用性使得训练强大的深度神经网络成为可能，在学术基准上达到非常低的单词出错率（WER）。然而，尽管在干净的音频样本上有令人印象深刻的性能，但在嘈杂的语音上经常观察到性能下降。在这项工作中，我们建议通过处理音频和视觉模态来提高最近提出的基于高效构象连接时间分类（CTC）的架构的噪声鲁棒性。我们改进了以前的唇读方法，在ResNet-18视觉前端上使用Efficient Conformer后端，并通过在块之间添加中间CTC损失。我们使用CTC间残差模块来放松基于CTC模型的条件独立性假设，从而在早期预测上调节中间块特征。我们还用一种更有效、更简单的注意力机制来代替高效一致性分组注意力，我们称之为补丁注意力。我们使用公开的唇读句子2（LRS 2）和唇读句子3（LRS 3）数据集进行实验。我们的实验表明，使用音频和视觉模态可以在存在环境噪声的情况下更好地识别语音，并显着加速训练，以4倍的训练步骤达到较低的WER。我们的视听高效一致性（AVEC）模型实现了最先进的性能，在LRS 2和LRS 3测试集上分别达到2.3%和1.8%的WER。代码和预训练模型可在https://github.com/burchim/AVEC上获得。
2023-01-04 cs.CL cs.CV cs.SD
LMEC: Learnable Multiplicative Absolute Position Embedding Based Conformer for Speech Recognition
Ximalaya Inc.（喜马拉雅公司）；University of Alberta（阿尔伯塔大学）
本文提出了一种可学习的基于乘法绝对位置嵌入的保形器（LMEC）。它包含一个称为LMLA的内核化线性注意力（LA）模块，以解决长序列语音识别的耗时问题，以及FFN结构的替代方案。首先，采用ELU函数作为我们提出的LA模块的核函数。其次，我们提出了一种新的基于可学习乘法绝对位置嵌入（LM-APE）的重新加权机制，可以降低softmax自注意的二次时空复杂度。第三，我们使用门控线性单元（GLU）来代替前馈网络（FFN），以获得更好的性能。已经在公共LibriSpeech数据集上进行了广泛的实验。与具有cosFormer风格线性注意力的Conformer模型相比，我们提出的方法可以在测试其他上实现高达0.63%的单词错误率改善，并在LA模块上将推理速度提高高达13%（左产品）和33%（右产品）。
2022-12-05 cs.SD eess.AS
Factorised Speaker-environment Adaptive Training of Conformer Speech Recognition Systems
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文为Conformer ASR模型提出一种贝叶斯分解式说话人-环境自适应训练方法，通过分离与组合特征并建模参数不确定性，在噪声数据上显著降低词错率并具备快速适应能力。
2023-06-26 cs.CL eess.AS
Efficient and Robust Long-Form Speech Recognition with Hybrid H3-Conformer
Kyoto University（京都大学）
针对Transformer类模型长语音识别性能下降的问题，提出结合状态空间模型H3的H3-Conformer及混合结构，在两个数据集上实现了高效鲁棒的长语音识别，并行混合方案性能最优。
2024-10-05 cs.SD eess.AS
Length-Aware Rotary Position Embedding for Text-Speech Alignment
Supertone, Inc.（Supertone公司）
本文提出长度感知旋转位置编码（LARoPE），通过长度归一化索引计算相对距离以改进文本-语音对齐，在收敛速度、对齐准确度、长语音稳定性和零样本 TTS 基准上均优于 RoPE。
2025-09-14 cs.AI cs.CL cs.SD
Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR
NTT, Inc., Japan（日本NTT公司）
本文提出了一种仅解码器的Conformer模型，通过模态感知的稀疏混合专家实现更高效的ASR，减少了参数使用并提升了识别准确率。
2026-02-13 cs.AI cs.CL cs.SD
Uconv-Conformer: High Reduction of Input Sequence Length for End-to-End Speech Recognition
ITMO University（ITMO大学）；STC-innovations Ltd（STC创新有限公司）
现代ASR架构的优化是最高优先级的任务之一，因为它节省了许多用于模型训练和推理的计算资源。在标准Conformer模型的基础上提出了一种新的Uconv-Conformer体系结构。它始终将输入序列长度减少了16倍，从而加快了中间层的工作。为了解决与时间维度的显著减少相关的收敛问题，我们使用了U-Net架构中的上采样模块，以确保正确的CTC损失计算和稳定的网络训练。Uconv-Conformer架构似乎不仅在训练和推理速度方面更快，而且与基线Conformer相比也显示出更好的WER。我们最好的Uconv-Conformer模型在CPU和GPU上分别显示了47.8%和23.5%的推理加速。在LibriSpeech test_clean和test_other上，相对WER减少分别为7.3%和9.2%。
2023-03-11 cs.LG cs.SD eess.AS
Conformer Based Elderly Speech Recognition System for Alzheimer's Disease Detection
The Chinese University of Hong Kong（香港中文大学）
阿尔茨海默病（AD）的早期诊断对于促进预防性护理以延迟进一步进展至关重要。本文介绍了一个国家的最先进的Conformer为基础的语音识别系统建立在DementiaBank皮特语料库的自动AD检测的发展。通过结合一组有目的地设计的建模特征，包括除了参数微调之外的基于神经结构搜索的特定领域Conformer超参数的自动配置、使用学习隐藏单元贡献（LHUC）的细粒度老年人说话人自适应、使用速度扰动和基于SpecAugment的数据增强训练的基线Conformer系统被显著地改进。以及基于双通道跨系统再评分的与混合TDNN系统的组合。48名老年人的评估数据的整体字错误率（WER）减少13.6%的绝对（34.8%的相对）。使用最终系统的识别输出来提取文本特征，获得了91.7%的基于语音识别的AD检测准确率。
2022-06-23 cs.LG cs.SD eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge（三星剑桥人工智能中心）
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题，将SummaryMixing扩展至支持流/离线模式的Conformer Transducer，实现线性复杂度，且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
Recent Developments on ESPnet Toolkit Boosted by Conformer
Northwestern Polytechnical University（西北工业大学）；LaBRI, University of Bordeaux（波尔多大学LaBRI实验室）；Airudit（Airudit公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）；Waseda University（早稻田大学）；Kyoto University（京都大学）；NTT Corporation（日本电报电话公司）；Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在这项研究中，我们提出了最近的发展ESPnet：端到端语音处理工具包，其中主要涉及最近提出的架构称为Conformer，卷积增强Transformer。本文展示了广泛的端到端语音处理应用程序的结果，如自动语音识别（ASR），语音翻译（ST），语音分离（SS）和文本到语音（TTS）。我们的实验揭示了各种训练技巧和显着的性能优势，获得了不同的任务与一致性。这些结果具有竞争力，甚至优于当前最先进的Transformer模型。我们正准备使用开源和公开可用的语料库发布所有功能于一身的食谱，用于所有上述任务和预先训练的模型。我们这项工作的目的是通过减少准备通常需要高资源的最先进的研究环境的负担，为我们的研究社区做出贡献。
2020-10-29 cs.SD eess.AS
Confidence Score Based Conformer Speaker Adaptation for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
自动语音识别（ASR）系统的一个关键挑战是对说话人电平的变化进行建模。在本文中，紧凑的说话人相关学习隐藏单元贡献（LHUC）被用来促进说话人自适应训练（SAT）和测试时间无监督说话人自适应国家的最先进的基于Conformer的端到端ASR系统。使用基于置信度分数的对说话者特定数据的更“可信”子集的选择来降低对监督错误率的适应期间的灵敏度。置信度估计模块用于在用作置信度分数之前平滑过度置信的Conformer解码器输出概率。使用贝叶斯估计的LHUC参数，由于扬声器级数据选择的数据稀疏性增加。在300小时的Switchboard语料库上的实验表明，基于置信度分数的测试时间无监督自适应的LHUC-SAT Conformer系统的性能比基本的说话人独立和i向量自适应Conformer系统分别高出1.0%、1.0%和1.2 NIST Hub 5 '00、RT 02和RT 03评估集上的字错误率（WER）分别降低了9.0%、7.9%和8.9%（相对）。在使用外部Transformer和LSTM语言模型进行重新评分后，保持了一致的性能改进。
2022-06-24 cs.SD eess.AS
Efficient End-to-End Speech Recognition Using Performers in Conformers
设备端到端语音识别对模型效率提出了很高的要求。大多数现有的工作提高了效率，通过减少模型的大小。我们建议，以减少模型架构的复杂性，除了模型的大小。更具体地说，我们通过将Transformer模块替换为执行器来减少conformer中的浮点运算。所提出的基于注意力的高效端到端语音识别模型在具有1000万参数和线性计算复杂度的LibriSpeech语料库上产生了具有竞争力的性能。该模型在字错误率出错率方面也优于以前的轻量级端到端模型约20%。
2020-11-11 cs.CL
Conformer: Convolution-augmented Transformer for Speech Recognition
Google Inc.（谷歌公司）
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将卷积神经网络和Transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而实现两全其美。为此，我们提出了卷积增强的Transformer用于语音识别，命名为Conformer。Conformer的性能显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。在广泛使用的LibriSpeech基准测试中，我们的模型在不使用语言模型的情况下实现了2.1%/4.3%的WER，在使用外部语言模型的情况下实现了1.9%/3.9%的WER。我们还观察到2.7%/6.3%的竞争性能，只有10 M参数的小模型。
2020-05-16 cs.LG cs.SD eess.AS
Squeezeformer: An Efficient Transformer for Automatic Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）；Google（谷歌）
最近提出的Conformer模型已成为事实上的骨干模型的各种下游语音任务的基础上，其混合注意力卷积架构，捕捉本地和全球的功能。然而，通过一系列系统的研究，我们发现Conformer架构的设计选择并不是最优的。在重新审视Conformer的宏观和微观架构的设计选择后，我们提出了Squeezeformer，它在相同的训练方案下始终优于最先进的ASR模型。特别地，对于宏架构，Squeezeformer结合了（i）时间U-网络结构，其降低了长序列上多头注意力模块的成本，以及（ii）由前馈模块跟随的多头注意力或卷积模块的更简单的块结构，而不是Conformer中提出的Macaron结构。此外，对于微架构，Squeezeformer（i）简化了卷积块中的激活，（ii）去除了冗余的层归一化操作，（iii）引入了一个高效的降采样层，以有效地对输入信号进行子采样。在没有外部语言模型的情况下，Squeezeformer在LibriSpeech test-other上实现了7.5%，6.5%和6.0%的单词错误率（WER）的最新结果，比具有相同数量FLOP的Conformer-CTC好3.1%，1.4%和0.6%。我们的代码是开源的，可以在线获得。
2022-10-15 cs.CL cs.SD eess.AS
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
Multi-Level Embedding Conformer Framework for Bengali Automatic Speech Recognition
Dhaka International University（达卡国际大学）；Dhaka University of Engineering & Technology（达卡工程技术大学）
本文提出多级嵌入Conformer框架，通过整合音素、音节和词片表示，提升孟加拉语ASR的识别性能，达到词错误率10.01%和字符错误率5.03%。
2025-12-23 cs.CL eess.AS
CB-Conformer: Contextual biasing Conformer for biased word recognition
XVerse Inc.（X Verse公司）
本文提出 CB-Conformer，通过轻量上下文偏置模块和依据召回率、精确率调节权重的自适应语言模型提升偏置词识别，并发布基于 WenetSpeech 的开源普通话数据集。
2023-04-25 cs.CL cs.SD eess.AS
Conformers are All You Need for Visual Speech Recognition
Google, Inc（谷歌公司）
该研究针对视觉语音识别，提出用线性视觉前端搭配更大Conformer编码器替代复杂前端的方案，在TED LRS3数据集上取得12.8% WER的新SOTA，同时降低延迟、提升内存效率。
2023-12-13 cs.CL cs.CV cs.LG
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.（Meta公司）
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法，通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应，并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Improved Conformer-based End-to-End Speech Recognition Using Neural Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
最近，神经结构搜索（NAS）已被成功地用于图像分类，自然语言处理，和自动语音识别（ASR）的任务，寻找国家的最先进的（SOTA）的架构比那些人类设计的架构。NAS可以通过搜索算法从预定义的搜索空间中获得验证数据上的SOTA和数据特定架构。受NAS在ASR任务中的成功启发，我们提出了一个基于NAS的ASR框架，该框架包含一个搜索空间和一个可区分的搜索算法，称为可区分的架构搜索（DARTS）。我们的搜索空间遵循卷积增强的Transformer（Conformer）主干，这是一个比现有的基于NAS的ASR框架中使用的更具表现力的ASR架构。为了提高算法的性能，采用了动态搜索调度（DSS）的调整方法。在一个广泛使用的普通话基准AISHELL-1上，我们的最佳搜索架构明显优于基线一致模型，约11%的CER相对改善，我们的方法被证明是非常有效的搜索成本比较。
2021-04-13 cs.SD eess.AS
Towards Effective and Compact Contextual Representation for Conformer Transducer Speech Recognition Systems
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
针对ASR系统跨句子上下文建模问题，提出在Conformer-Transducer Encoder中利用注意力池化层学习紧凑低维上下文特征，在1000小时Gigaspeech上取得显著WER降低。
2023-06-26 cs.CL eess.AS
Sharing Low Rank Conformer Weights for Tiny Always-On Ambient Speech Recognition Models
Google（谷歌）
机器学习技术的持续改进通过使用更大的模型和更大的训练数据集提供了令人兴奋的新机会。然而，越来越需要在低功耗设备上提供这些新功能，例如智能手机，可穿戴设备和其他只有低内存可用的嵌入式环境。为此，我们考虑的方法，以减少模型大小的符合者为基础的语音识别模型，通常需要模型的参数大于100 M下降到只有$5$ M参数，同时尽量减少对模型质量的影响。这样的模型使我们能够在具有低内存神经处理器的边缘设备上实现始终在线的环境语音识别。我们建议在我们的模型架构中的不同级别的模型权重重用：（i）重复完整的构象块层，（ii）跨层共享特定的构象模块，（iii）共享每个构象模块的子组件，以及（iv）共享低秩分解后分解的子组件权重。通过在模型的不同级别共享权重，我们可以在内存中保留完整的模型，同时增加应用于输入的虚拟转换的数量。通过一系列的消融研究和评估，我们发现，与权重共享和低秩架构，我们可以实现一个WER为2.84和2.94 Librispeech dev-clean和test-clean分别与$5$ M参数模型。
2023-03-15 cs.AI cs.LG cs.SD
Locality Matters: A Locality-Biased Linear Attention for Automatic Speech Recognition
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Conformer在自动语音识别（ASR）方面在许多公共基准测试中都取得了巨大的成功。其关键缺点之一是相对于输入序列长度的二次时间-空间复杂度，这禁止模型按比例放大以及处理更长的输入音频序列。为了解决这个问题，已经提出了许多线性注意力方法。然而，这些方法通常在ASR上具有有限的性能，因为它们在建模中平等地对待令牌，忽略了相邻令牌通常比距离较远的令牌连接得更多的事实。在本文中，我们考虑到这一事实，并提出了一个新的局部偏向线性注意力的构象。它不仅比vanilla Conformer具有更高的精度，而且具有线性时空计算复杂性。具体来说，我们在Conformer块中用局部偏向的线性注意力（LBLA）机制取代softmax注意力。LBLA包含一个核函数来确保线性复杂度，以及一个余弦重新加权矩阵来对相邻令牌施加更多权重。LibriSpeech语料库上的大量实验表明，通过将这种局部偏差引入到Conformer中，我们的方法在推理速度超过22%的情况下实现了较低的单词出错率。
2022-03-29 cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
AI Center, Samsung Cambridge, UK（三星人工智能中心，英国坎特伯雷）
本研究针对自动语音识别领域中相对位置嵌入复杂度高、适配性差的问题，评估了旋转位置嵌入（RoPE）在多场景多数据规模下的表现，证明其效果更优且训练速度更快。
2025-06-15 cs.AI cs.CL eess.AS
Modular Domain Adaptation for Conformer-Based Streaming ASR
Google LLC（谷歌有限责任公司）
提出模块化领域自适应（MDA）框架，通过在Conformer编码器中添加领域特定的适配器和前馈网络，使单一模型在保持参数领域特定性的同时处理多领域数据，并在语音搜索和听写等任务上达到与多领域模型相似的性能。
2023-05-22 cs.CL cs.LG cs.SD
Confidence Score Based Speaker Adaptation of Conformer Speech Recognition Systems
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
说话人自适应技术为个体用户定制自动语音识别（ASR）系统提供了一种强大的解决方案。基于无监督模型的说话人自适应技术在数据密集型端到端ASR系统中的实际应用受到说话人级别数据的稀缺性和对转录错误的性能敏感性的阻碍。为了解决这些问题，一组紧凑和数据高效的说话人相关（SD）参数表示，以促进说话人自适应训练和测试时间无监督说话人自适应的国家的最先进的构象ASR系统。使用基于置信度分数的扬声器级自适应数据的较少错误子集的选择来降低对监督质量的敏感度。提出了两个轻量级的置信度估计模块，以产生更可靠的置信度。的数据稀疏性问题，这是加剧了数据的选择，解决了建模的SD参数的不确定性，使用贝叶斯学习。在基准300小时Switchboard和233小时AMI数据集上的实验表明，所提出的基于置信度分数的自适应方案始终优于基线说话者独立（SI）Conformer模型和传统的非贝叶斯，基于点估计的自适应，不使用说话者数据选择。在外部Transformer和LSTM语言模型重新评分后，保持了类似的一致性能改进。特别是，在300小时Switchboard语料库中，NIST Hub5'00、RT02和RT03评价集上的基线SI Conformer分别获得了1.0%、1.3%和1.4%的绝对（9.5%、10.9%和11.3%）统计学显著WER降低。在AMI发展和评价集上也获得了相似的绝对WER降低2.7%和3.3%（…
2023-02-15 cs.SD eess.AS
ChunkFormer: Masked Chunking Conformer For Long-Form Speech Transcription
ZaloAI（扎洛AI）；Ho Chi Minh City University of Science（胡志明市科学大学）；Vietnam National University（越南国家大学）
针对长语音转录中Conformer模型处理时长有限、标准批处理填充导致资源浪费的问题，提出带相对右上下文分块处理和掩码批处理的ChunkFormer，可在80GB GPU处理16小时音频，词错率最多降7.7%，批处理耗时和显存占用降3倍以上。
2025-02-20 cs.SD eess.AS
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer
NVIDIA（英伟达）
提出一种多语言音视频语音识别模型，采用混合CTC/RNN-T架构的Fast Conformer，扩展训练数据，在LRS3上WER达0.8%，在MuAViC上平均WER降低11.9%，支持音频、视觉及音视频识别。
2024-03-14 cs.AI cs.CV cs.MM
SRU++: Pioneering Fast Recurrence with Attention for Speech Recognition
ASAPP Inc.（ASAPP公司）；Carnegie Mellon University（卡内基梅隆大学）
由于Transformer的注意力机制在捕获长距离依赖关系方面表现出色，因此在包括自动语音识别（ASR）在内的大多数序列转换任务中，它已被广泛采用为主导架构。虽然仅基于注意力构建的模型可以比常规RNN更好地并行化，但最近提出了一种新的网络架构SRU++。通过结合快速递归和注意力机制，SRU++在序列建模方面表现出强大的能力，并在各种语言建模和机器翻译任务中实现了接近最先进的结果，提高了计算效率。在这项工作中，我们提出了在ASR任务中应用SRU++的优势，通过比较与Conformer在多个ASR基准，并研究如何可以推广到长形式的语音输入的好处。在流行的LibriSpeech基准测试中，我们的SRU++模型在test-clean / test-other上实现了2.0% / 4.7%的WER，与相同设置下最先进的Conformer编码器相比，表现出了竞争力。具体来说，根据我们的分析，SRU++在长格式语音输入方面可以超过Conformer。
2021-10-11 cs.CL eess.AS
Conformer LLMs -- Convolution Augmented Large Language Models
Stanford University（斯坦福大学）
本工作将卷积层与Transformer结合用于大型语言模型，通过因果卷积滤波器结合局部与全局依赖，在性能上取得显著提升，并展示了一种可超越语音应用用于大规模语言建模的稳健架构。
2023-07-02 cs.AI cs.CL cs.LG
Bring the Noise: Introducing Noise Robustness to Pretrained Automatic Speech Recognition
University of Hamburg（汉堡大学）；Örebro University（厄勒布鲁大学）；exXxa GmbH（exXxa有限责任公司）
本研究提出Cleancoder预处理架构，从Conformer ASR模型中提取去噪能力，作为前端应用于任意编码器-解码器模型，在噪声条件下显著降低下游ASR的词错误率。
2023-09-05 cs.CL cs.SD eess.AS
Conformer-1: Robust ASR via Large-Scale Semisupervised Bootstrapping
AssemblyAI Inc.（AssemblyAI公司）
本研究提出端到端ASR模型Conformer-1，利用公开语音数据生成伪标签并结合噪声学生训练开展半监督学习，有效提升了识别准确率与噪声鲁棒性。
2024-04-12 cs.CL cs.LG cs.SD
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Layer Reduction: Accelerating Conformer-Based Self-Supervised Model via Layer Consistency
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
基于transformer的自监督模型被训练为特征提取器，并使许多下游语音任务能够实现最先进的性能。然而，这些模型的训练和推理过程可能会遇到过高的计算成本和大的参数预算。虽然ALBERT提出的参数共享策略（PSS）为参数减少铺平了道路，但所需的计算量仍然是相同的。有趣的是，我们在实验中发现，从不同的Transformer层的特征嵌入的分布是相似的，当PSS集成：在本文中被称为层一致性（LC）的属性。鉴于特征分布的这种相似性，我们假设来自不同层的特征嵌入将具有相似的表示能力。在这项工作中，层一致性使我们能够以更有效的方式采用基于Transformer的模型：每次训练迭代中的Conformer层数可以均匀采样，并且可以应用浅层推理（SLI）来减少推理阶段的层数。在实验中，我们的模型使用LibriSpeech数据集进行训练，然后在电话分类和语音识别任务上进行评估。我们在实验中实现了7.8倍的参数减少，41.9%的训练加速和37.7%的推理加速，同时保持了与传统BERT类自监督方法相当的性能。
2021-04-08 cs.CL cs.SD eess.AS
Improving Mandarin Speech Recogntion with Block-augmented Transformer
Mininglamp Technology（明略科技）
最近，卷积增强的Transformer（Conformer）在自动语音识别（ASR）中表现出了良好的效果，超过了之前最好的Transformer Transducer。在本工作中，我们认为编码器和解码器中每个块的输出信息不是完全包容的，换句话说，它们的输出信息可能是互补的。我们研究了如何利用每个块的互补信息的参数有效的方式，预计这可能会导致更强大的性能。因此，我们提出了块增强的Transformer的语音识别，命名为Blockformer。我们实现了两种块集成方法：基本块输出加权和（Base-WSBO）和块输出加权和（SE-WSBO）的挤压和激励模块。在AISHELL-1上的实验表明，Blockformer模型的性能明显优于现有的Conformer模型，在不使用语言模型的情况下，该模型的CER为4.29%，在使用外部语言模型的情况下，该模型的CER为4.05%.
2022-12-01 cs.CL cs.SD eess.AS
Branchformer: Parallel MLP-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding
Carnegie Mellon University（卡内基梅隆大学）
Conformer已被证明在许多语音处理任务中是有效的。它结合了使用卷积提取局部依赖和使用自注意提取全局依赖的优点。受此启发，我们提出了一种更灵活，可解释和可定制的编码器替代方案，Branchformer，具有并行分支，用于在端到端语音处理中建模各种范围依赖关系。在每个编码器层中，一个分支采用自注意或其变体来捕获长程依赖性，而另一个分支利用具有卷积门控的MLP模块（cgMLP）来提取局部关系。我们对几个语音识别和口语语言理解基准进行了实验。结果表明，我们的模型优于Transformer和cgMLP。它还与Conformer实现的最先进的结果相匹配或优于Conformer。此外，我们展示了各种策略，以减少计算感谢两个分支架构，包括在一个单一的训练模型具有可变的推理复杂性的能力。为合并分支学习的权重指示了如何在不同层中利用局部和全局依赖性，这有利于模型设计。
2022-07-06 cs.CL cs.SD eess.AS
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
On the limit of English conversational speech recognition
IBM Research AI（IBM研究院人工智能部门）
在我们之前的工作中，我们证明了一个单头注意编码器-解码器模型能够在会话语音识别中达到最先进的结果。在本文中，我们进一步改进了Switchboard 300和2000的结果。通过使用改进的优化器、说话人向量嵌入和替代语音表示，我们将LSTM系统在Switchboard-300上的识别错误相对减少了4%。使用概率比方法对解码器模型进行补偿，可以更有效地集成外部语言模型，我们报告了Hub 5 '00的SWB和CHM部分的5.9%和11.5% WER，使用非常简单的LSTM模型。我们的研究还考虑了最近提出的一致性，更先进的自我注意力为基础的语言模型。总体而言，conformer表现出与LSTM相似的性能;然而，它们的组合和解码与改进的LM在Switchboard-300上达到了新的记录，SWB和CHM上的WER分别为5.0%和10.0%。我们的研究结果也证实了在Switchboard-2000上，并报告了一个新的艺术状态，实际上达到了基准的极限。
2021-05-03 cs.CL cs.SD eess.AS
One-pass Multiple Conformer and Foundation Speech Systems Compression and Quantization Using An All-in-one Neural Model
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
提出一体化神经模型的单遍多 ASR 系统联合压缩量化方法，可一次构建多种嵌套配置，并在显著压缩模型、缩短训练时间的同时保持或降低 WER。
2024-06-14 cs.AI cs.SD eess.AS
Advancing Momentum Pseudo-Labeling with Conformer and Initialization Strategy
MERL（三菱电机美国研究实验室）
伪标记（PL）是一种半监督学习（SSL）方法，其中种子模型使用从未转录语音生成的伪标记执行自训练，已被证明可以增强端到端自动语音识别（ASR）的性能。我们之前的工作提出了动量伪标记（MPL），它通过在线和离线模型之间的交互来执行基于PL的SSL，灵感来自平均教师框架。MPL在各种半监督设置上取得了显着的效果，对数据量和域失配严重程度的变化表现出鲁棒性。然而，用于初始化MPL训练的种子模型还有进一步改进的空间，因为对于基于PL的方法来说，从高质量的伪标签开始训练通常是至关重要的。为此，我们建议通过以下方式增强MPL：（1）引入Conformer架构以提高整体识别精度;（2）在应用MPL之前，利用语言模型的迭代伪标记来改进种子模型。实验结果表明，所提出的方法有效地提高MPL的性能，优于其他PL的方法。我们还提出了深入的调查，使我们的改进有效，例如，关于通常在Conformer和LM质量中使用的批次归一化。
2021-10-11 cs.SD eess.AS
Towards One-bit ASR: Extremely Low-bit Conformer Quantization Using Co-training and Stochastic Precision
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出利用多精度模型协同训练、随机精度及张量级可学习缩放因子，实现Conformer ASR系统的2-bit和1-bit极低位宽量化，在Switchboard和LibriSpeech语料库上分别达到16.2倍和16.6倍的无损压缩比且词错率无显著增加。
2025-05-27 cs.SD eess.AS
