CB-Conformer: Contextual biasing Conformer for biased word recognition
XVerse Inc.（X Verse公司）
本文提出 CB-Conformer，通过轻量上下文偏置模块和依据召回率、精确率调节权重的自适应语言模型提升偏置词识别，并发布基于 WenetSpeech 的开源普通话数据集。
2023-04-25 cs.CL cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Deep Sparse Conformer for Speech Recognition
NVIDIA（英伟达）
通过利用Transformer捕获基于内容的全局交互和卷积神经网络利用局部特征，Conformer在自动语音识别（ASR）方面取得了令人印象深刻的结果。在Conformer中，两个具有半步残差连接的马卡龙式前馈层将多头自注意和卷积模块夹在中间，然后进行后层归一化。我们在两个方向上改进了Conformer的长序列表示能力：\emph{sparser}和\emph{deeper}。在时间复杂度和内存使用方面，我们采用了一种基于$\mathcal{O}(L\text{log}L)$的稀疏自注意力机制.在执行残差连接时，使用了深度归一化策略，以确保我们对百级Conformer块的训练。在日本CSJ-500 h数据集上，该深度稀疏Conformer在三个评估集上分别实现了5.52%、4.03%和4.50%的CER，在集成12到16、17、50和100个编码器层的五个深度稀疏Conformer变体时分别实现了4.16%、2.84%和3.20%的CER。
2022-09-01 cs.CL cs.LG cs.SD
Conformer Based Elderly Speech Recognition System for Alzheimer's Disease Detection
The Chinese University of Hong Kong（香港中文大学）
阿尔茨海默病（AD）的早期诊断对于促进预防性护理以延迟进一步进展至关重要。本文介绍了一个国家的最先进的Conformer为基础的语音识别系统建立在DementiaBank皮特语料库的自动AD检测的发展。通过结合一组有目的地设计的建模特征，包括除了参数微调之外的基于神经结构搜索的特定领域Conformer超参数的自动配置、使用学习隐藏单元贡献（LHUC）的细粒度老年人说话人自适应、使用速度扰动和基于SpecAugment的数据增强训练的基线Conformer系统被显著地改进。以及基于双通道跨系统再评分的与混合TDNN系统的组合。48名老年人的评估数据的整体字错误率（WER）减少13.6%的绝对（34.8%的相对）。使用最终系统的识别输出来提取文本特征，获得了91.7%的基于语音识别的AD检测准确率。
2022-06-23 cs.LG cs.SD eess.AS
Uconv-Conformer: High Reduction of Input Sequence Length for End-to-End Speech Recognition
ITMO University（ITMO大学）；STC-innovations Ltd（STC创新有限公司）
现代ASR架构的优化是最高优先级的任务之一，因为它节省了许多用于模型训练和推理的计算资源。在标准Conformer模型的基础上提出了一种新的Uconv-Conformer体系结构。它始终将输入序列长度减少了16倍，从而加快了中间层的工作。为了解决与时间维度的显著减少相关的收敛问题，我们使用了U-Net架构中的上采样模块，以确保正确的CTC损失计算和稳定的网络训练。Uconv-Conformer架构似乎不仅在训练和推理速度方面更快，而且与基线Conformer相比也显示出更好的WER。我们最好的Uconv-Conformer模型在CPU和GPU上分别显示了47.8%和23.5%的推理加速。在LibriSpeech test_clean和test_other上，相对WER减少分别为7.3%和9.2%。
2023-03-11 cs.LG cs.SD eess.AS
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Improved Conformer-based End-to-End Speech Recognition Using Neural Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
最近，神经结构搜索（NAS）已被成功地用于图像分类，自然语言处理，和自动语音识别（ASR）的任务，寻找国家的最先进的（SOTA）的架构比那些人类设计的架构。NAS可以通过搜索算法从预定义的搜索空间中获得验证数据上的SOTA和数据特定架构。受NAS在ASR任务中的成功启发，我们提出了一个基于NAS的ASR框架，该框架包含一个搜索空间和一个可区分的搜索算法，称为可区分的架构搜索（DARTS）。我们的搜索空间遵循卷积增强的Transformer（Conformer）主干，这是一个比现有的基于NAS的ASR框架中使用的更具表现力的ASR架构。为了提高算法的性能，采用了动态搜索调度（DSS）的调整方法。在一个广泛使用的普通话基准AISHELL-1上，我们的最佳搜索架构明显优于基线一致模型，约11%的CER相对改善，我们的方法被证明是非常有效的搜索成本比较。
2021-04-13 cs.SD eess.AS
A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks
Carnegie Mellon University（卡内基梅隆大学）；ASAPP Inc.（ASAPP公司）
本研究通过大量端到端实验对比了E-Branchformer与Conformer编码器，发现在15个ASR、2个ST和3个SLU基准测试中，E-Branchformer表现相当或更优且训练更稳定。
2023-05-18 cs.CL cs.SD eess.AS
Conformer: Convolution-augmented Transformer for Speech Recognition
Google Inc.（谷歌公司）
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将卷积神经网络和Transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而实现两全其美。为此，我们提出了卷积增强的Transformer用于语音识别，命名为Conformer。Conformer的性能显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。在广泛使用的LibriSpeech基准测试中，我们的模型在不使用语言模型的情况下实现了2.1%/4.3%的WER，在使用外部语言模型的情况下实现了1.9%/3.9%的WER。我们还观察到2.7%/6.3%的竞争性能，只有10 M参数的小模型。
2020-05-16 cs.LG cs.SD eess.AS
Conformer-based End-to-end Speech Recognition With Rotary Position Embedding
Northwestern Polytechnical University（西北工业大学）
近年来，基于transformer的端到端语音识别模型由于其高训练速度和对长距离全局上下文建模的能力而受到相当大的关注。Transformer架构中的位置嵌入是必不可少的，因为它为输入序列中不同位置的元素之间的依赖性建模提供了监督。为了利用输入序列的时间顺序，许多作品将元素的相对或绝对位置信息注入到输入序列中。在这项工作中，我们研究了各种位置嵌入方法的卷积增强的Transformer（conformer），并采用了一种新的实现称为旋转位置嵌入（RoPE）。RoPE通过旋转矩阵将绝对位置信息编码到输入序列中，然后自然地将显式相对位置信息并入自注意模块中。为了评估RoPE方法的有效性，我们在AISHELL-1和LibriSpeech语料库上进行了实验。实验结果表明，在语音识别任务中，用RoPE增强的构象子取得了较好的性能.具体来说，我们的模型实现了一个相对字的出错率减少8.70%和7.27%，分别在测试清洁和测试其他集的LibriSpeech语料库的一致。
2021-07-13 cs.CL cs.SD eess.AS
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
Advancing CTC-CRF Based End-to-End Speech Recognition with Wordpieces and Conformers
Tsinghua University（清华大学）；Beijing Language and Culture University（北京语言大学）
自动语音识别系统在过去的几十年中已经得到了很大的改进，并且当前的系统主要是基于混合的和基于端到端的。最近提出的气候技术中心通用报告格式框架继承了混合方法的数据效率和端到端方法的简单性。在本文中，我们进一步提出了基于CTC-CRF的ASR技术与探索的建模单元和神经结构。具体来说，我们调查的技术，使最近开发的词段建模单元和构象神经网络成功地应用于CTC-CRF。实验进行了两个英语数据集（Switchboard，Librispeech）和德国数据集从CommonVoice。实验结果表明，（i）Conformer可以显着提高识别性能;（ii）与基于音素的系统相比，基于单词的系统执行略差的目标语言与低程度的字形音素的对应关系（如英语），而这两个系统可以执行同样强大的对应程度高的目标语言（如德语）。
2021-07-08 cs.CL cs.SD eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge（三星剑桥人工智能中心）
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题，将SummaryMixing扩展至支持流/离线模式的Conformer Transducer，实现线性复杂度，且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
Efficient conformer: Progressive downsampling and grouped attention for automatic speech recognition
Orange Labs（Orange 实验室）
最近提出的Conformer架构已经在自动语音识别中显示出最先进的性能，其通过将卷积与注意力相结合来对局部和全局依赖性进行建模。在本文中，我们研究了如何降低Conformer架构的复杂性与有限的计算预算，导致一个更有效的架构设计，我们称之为高效的Conformer。我们引入渐进下采样的构象编码器，并提出了一种新的注意机制命名为分组注意，使我们能够减少注意的复杂性从$O(n^{2}d)$到$O(n^{2}d / g)$的序列长度$n$，隐藏维度$d$和组大小参数$g$。我们还实验了使用跨步多头自我注意作为一个全局下采样操作。我们的实验是在具有CTC和RNN换能器损失的LibriSpeech数据集上进行的。我们表明，在相同的计算预算下，与Conformer相比，所提出的架构可以实现更好的性能，并且训练和解码速度更快。我们的13 M参数CTC模型在不使用语言模型的情况下实现了3.6%/9.0%的竞争性WER，在使用外部n-gram语言模型的情况下实现了2.7%/6.7%的竞争性WER，同时在推理方面比我们的CTC Conformer基线快29%，在训练方面快36%。
2021-09-08 cs.AI cs.CL cs.SD
Locality Matters: A Locality-Biased Linear Attention for Automatic Speech Recognition
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Conformer在自动语音识别（ASR）方面在许多公共基准测试中都取得了巨大的成功。其关键缺点之一是相对于输入序列长度的二次时间-空间复杂度，这禁止模型按比例放大以及处理更长的输入音频序列。为了解决这个问题，已经提出了许多线性注意力方法。然而，这些方法通常在ASR上具有有限的性能，因为它们在建模中平等地对待令牌，忽略了相邻令牌通常比距离较远的令牌连接得更多的事实。在本文中，我们考虑到这一事实，并提出了一个新的局部偏向线性注意力的构象。它不仅比vanilla Conformer具有更高的精度，而且具有线性时空计算复杂性。具体来说，我们在Conformer块中用局部偏向的线性注意力（LBLA）机制取代softmax注意力。LBLA包含一个核函数来确保线性复杂度，以及一个余弦重新加权矩阵来对相邻令牌施加更多权重。LibriSpeech语料库上的大量实验表明，通过将这种局部偏差引入到Conformer中，我们的方法在推理速度超过22%的情况下实现了较低的单词出错率。
2022-03-29 cs.SD eess.AS
Adding Connectionist Temporal Summarization into Conformer to Improve Its Decoder Efficiency For Speech Recognition
Ping An Technology（平安科技）
Conformer模型是一种优秀的语音识别建模体系结构，它有效地利用了连接主义时间分类（CTC）的混合损失和对训练模型参数的关注。为了提高解码效率的构象，我们提出了一种新的连接主义的时间摘要（CTS）的方法，减少了所需的帧的数量的注意解码器从由编码器产生的声学序列，从而减少操作。然而，为了实现这种解码改进，我们必须微调模型参数，因为交叉注意观察会发生变化，因此需要相应的改进。我们的最终实验表明，在波束宽度为4的情况下，LibriSpeech的解码预算可以减少多达20%，对于FluentSpeech数据，可以减少11%，而不会损失ASR的准确性。LibriSpeech“test-other”集的准确性甚至有所提高。字出错率（WER）在波束宽度为1时相对降低6%，在波束宽度为4时相对降低3%。
2022-04-08 cs.CL cs.SD eess.AS
Confidence Score Based Speaker Adaptation of Conformer Speech Recognition Systems
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
说话人自适应技术为个体用户定制自动语音识别（ASR）系统提供了一种强大的解决方案。基于无监督模型的说话人自适应技术在数据密集型端到端ASR系统中的实际应用受到说话人级别数据的稀缺性和对转录错误的性能敏感性的阻碍。为了解决这些问题，一组紧凑和数据高效的说话人相关（SD）参数表示，以促进说话人自适应训练和测试时间无监督说话人自适应的国家的最先进的构象ASR系统。使用基于置信度分数的扬声器级自适应数据的较少错误子集的选择来降低对监督质量的敏感度。提出了两个轻量级的置信度估计模块，以产生更可靠的置信度。的数据稀疏性问题，这是加剧了数据的选择，解决了建模的SD参数的不确定性，使用贝叶斯学习。在基准300小时Switchboard和233小时AMI数据集上的实验表明，所提出的基于置信度分数的自适应方案始终优于基线说话者独立（SI）Conformer模型和传统的非贝叶斯，基于点估计的自适应，不使用说话者数据选择。在外部Transformer和LSTM语言模型重新评分后，保持了类似的一致性能改进。特别是，在300小时Switchboard语料库中，NIST Hub5'00、RT02和RT03评价集上的基线SI Conformer分别获得了1.0%、1.3%和1.4%的绝对（9.5%、10.9%和11.3%）统计学显著WER降低。在AMI发展和评价集上也获得了相似的绝对WER降低2.7%和3.3%（…
2023-02-15 cs.SD eess.AS
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Sharing Low Rank Conformer Weights for Tiny Always-On Ambient Speech Recognition Models
Google（谷歌）
机器学习技术的持续改进通过使用更大的模型和更大的训练数据集提供了令人兴奋的新机会。然而，越来越需要在低功耗设备上提供这些新功能，例如智能手机，可穿戴设备和其他只有低内存可用的嵌入式环境。为此，我们考虑的方法，以减少模型大小的符合者为基础的语音识别模型，通常需要模型的参数大于100 M下降到只有$5$ M参数，同时尽量减少对模型质量的影响。这样的模型使我们能够在具有低内存神经处理器的边缘设备上实现始终在线的环境语音识别。我们建议在我们的模型架构中的不同级别的模型权重重用：（i）重复完整的构象块层，（ii）跨层共享特定的构象模块，（iii）共享每个构象模块的子组件，以及（iv）共享低秩分解后分解的子组件权重。通过在模型的不同级别共享权重，我们可以在内存中保留完整的模型，同时增加应用于输入的虚拟转换的数量。通过一系列的消融研究和评估，我们发现，与权重共享和低秩架构，我们可以实现一个WER为2.84和2.94 Librispeech dev-clean和test-clean分别与$5$ M参数模型。
2023-03-15 cs.AI cs.LG cs.SD
Analysis of Self-Attention Head Diversity for Conformer-based Automatic Speech Recognition
Google LLC（谷歌有限责任公司）
注意层是现代端到端自动语音识别系统的组成部分，例如作为Transformer或Conformer架构的一部分。注意力通常是多头的，其中每个头具有学习参数的独立集并且对相同的输入特征序列进行操作。多头注意的输出是来自各个头的输出的融合。我们实证分析了不同的注意头所产生的表征之间的差异，并证明了头部在训练过程中变得高度相关。我们研究了几种增加注意力头部多样性的方法，包括对每个头部使用不同的注意力机制和辅助训练损失函数来促进头部多样性。我们发现，在训练过程中引入多样性促进辅助损失函数是一种更有效的方法，并获得WER相对于Libri语音语料库的6%的改善。最后，我们得出了注意头的多样性和头部参数梯度的相似性之间的联系。
2022-09-13 cs.CL cs.SD eess.AS
Augmenting conformers with structured state-space sequence models for online speech recognition
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；Google LLC.（谷歌有限责任公司）
针对在线语音识别中左侧上下文受限的问题，提出将结构化状态空间序列模型（S4）与卷积结合以增强Conformer编码器，最佳设计为小型S4与局部卷积堆叠，在Librispeech上取得4.01%/8.53%的WER，优于调优卷积的Conformer。
2023-12-27 cs.CL cs.SD eess.AS
Key Frame Mechanism For Efficient Conformer Based End-to-end Speech Recognition
Sichuan University（四川大学）；Du Xiaoman Financial（度小满金融）
本文提出关键帧机制，利用中间CTC输出引导Conformer编码器下采样，通过KFSA和KFDS降低自注意力计算量并丢弃60%以上无用帧，在保持或提升性能的同时显著加速端到端语音识别推理。
2023-10-28 cs.CL cs.SD eess.AS
Self-consistent context aware conformer transducer for speech recognition
Webex Intelligence, Cisco Systems（思科系统公司Webex智能部门）
本研究提出一种自洽递归神经网络模块，基于其构建上下文感知的扩展Conformer Transducer架构，结合上下文语言模型浅层融合可将稀有词语音识别准确率提升至多4.5倍，且不影响常用词词错误率，方法兼容多种编码器。
2024-10-03 cs.CL cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
Audio-Visual Efficient Conformer for Robust Speech Recognition
University of Würzburg（维尔茨堡大学）
近年来，基于神经网络的端到端自动语音识别（ASR）系统有了很大的改进。大规模手工标记数据集和充足的计算资源的可用性使得训练强大的深度神经网络成为可能，在学术基准上达到非常低的单词出错率（WER）。然而，尽管在干净的音频样本上有令人印象深刻的性能，但在嘈杂的语音上经常观察到性能下降。在这项工作中，我们建议通过处理音频和视觉模态来提高最近提出的基于高效构象连接时间分类（CTC）的架构的噪声鲁棒性。我们改进了以前的唇读方法，在ResNet-18视觉前端上使用Efficient Conformer后端，并通过在块之间添加中间CTC损失。我们使用CTC间残差模块来放松基于CTC模型的条件独立性假设，从而在早期预测上调节中间块特征。我们还用一种更有效、更简单的注意力机制来代替高效一致性分组注意力，我们称之为补丁注意力。我们使用公开的唇读句子2（LRS 2）和唇读句子3（LRS 3）数据集进行实验。我们的实验表明，使用音频和视觉模态可以在存在环境噪声的情况下更好地识别语音，并显着加速训练，以4倍的训练步骤达到较低的WER。我们的视听高效一致性（AVEC）模型实现了最先进的性能，在LRS 2和LRS 3测试集上分别达到2.3%和1.8%的WER。代码和预训练模型可在https://github.com/burchim/AVEC上获得。
2023-01-04 cs.CL cs.CV cs.SD
Advancing Momentum Pseudo-Labeling with Conformer and Initialization Strategy
MERL（三菱电机美国研究实验室）
伪标记（PL）是一种半监督学习（SSL）方法，其中种子模型使用从未转录语音生成的伪标记执行自训练，已被证明可以增强端到端自动语音识别（ASR）的性能。我们之前的工作提出了动量伪标记（MPL），它通过在线和离线模型之间的交互来执行基于PL的SSL，灵感来自平均教师框架。MPL在各种半监督设置上取得了显着的效果，对数据量和域失配严重程度的变化表现出鲁棒性。然而，用于初始化MPL训练的种子模型还有进一步改进的空间，因为对于基于PL的方法来说，从高质量的伪标签开始训练通常是至关重要的。为此，我们建议通过以下方式增强MPL：（1）引入Conformer架构以提高整体识别精度;（2）在应用MPL之前，利用语言模型的迭代伪标记来改进种子模型。实验结果表明，所提出的方法有效地提高MPL的性能，优于其他PL的方法。我们还提出了深入的调查，使我们的改进有效，例如，关于通常在Conformer和LM质量中使用的批次归一化。
2021-10-11 cs.SD eess.AS
Conformers are All You Need for Visual Speech Recognition
Google, Inc（谷歌公司）
该研究针对视觉语音识别，提出用线性视觉前端搭配更大Conformer编码器替代复杂前端的方案，在TED LRS3数据集上取得12.8% WER的新SOTA，同时降低延迟、提升内存效率。
2023-12-13 cs.CL cs.CV cs.LG
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer
NVIDIA（英伟达）
提出一种多语言音视频语音识别模型，采用混合CTC/RNN-T架构的Fast Conformer，扩展训练数据，在LRS3上WER达0.8%，在MuAViC上平均WER降低11.9%，支持音频、视觉及音视频识别。
2024-03-14 cs.AI cs.CV cs.MM
Towards A Unified Conformer Structure: from ASR to ASV Task
Xiamen University（厦门大学）；Xiamen Talentedsoft Co., Ltd.（厦门泰尔软件有限公司）
Transformer凭借其强大的自注意机制在自然语言处理和计算机视觉任务中取得了非凡的性能，其变体Conformer已成为自动语音识别（ASR）领域最先进的架构。然而，自动说话人确认（ASV）的主流架构是卷积神经网络，并且基于Conformer的ASV还有很大的研究空间。在本文中，首先，我们修改的Conformer架构从ASR到ASV非常微小的变化。为了提高模型的泛化能力，采用了长度尺度注意力（LSA）方法和锐度感知最小化（SAM）方法。在VoxCeleb和CN-Celeb上进行的实验表明，与流行的ECAPA-TDNN相比，我们基于Conformer的ASV具有竞争力的性能。其次，受迁移学习策略的启发，ASV Conformer很自然地从预训练的ASR模型初始化。通过参数转移，自注意机制能够更好地关注序列特征之间的关系，在VoxCeleb和CN-Celeb测试集上的EER相对提高了11%，这表明Conformer具有统一ASV和ASR任务的潜力。最后，我们在ASV-Subtools中提供了一个运行时，以评估其在生产场景中的推理速度。我们的代码发布在https://github.com/Snowdar/asv-subtools/tree/master/doc/papers/conformer.md。
2023-01-16 cs.SD eess.AS
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.（Meta公司）
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法，通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应，并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Squeezeformer: An Efficient Transformer for Automatic Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）；Google（谷歌）
最近提出的Conformer模型已成为事实上的骨干模型的各种下游语音任务的基础上，其混合注意力卷积架构，捕捉本地和全球的功能。然而，通过一系列系统的研究，我们发现Conformer架构的设计选择并不是最优的。在重新审视Conformer的宏观和微观架构的设计选择后，我们提出了Squeezeformer，它在相同的训练方案下始终优于最先进的ASR模型。特别地，对于宏架构，Squeezeformer结合了（i）时间U-网络结构，其降低了长序列上多头注意力模块的成本，以及（ii）由前馈模块跟随的多头注意力或卷积模块的更简单的块结构，而不是Conformer中提出的Macaron结构。此外，对于微架构，Squeezeformer（i）简化了卷积块中的激活，（ii）去除了冗余的层归一化操作，（iii）引入了一个高效的降采样层，以有效地对输入信号进行子采样。在没有外部语言模型的情况下，Squeezeformer在LibriSpeech test-other上实现了7.5%，6.5%和6.0%的单词错误率（WER）的最新结果，比具有相同数量FLOP的Conformer-CTC好3.1%，1.4%和0.6%。我们的代码是开源的，可以在线获得。
2022-10-15 cs.CL cs.SD eess.AS
Generalizing RNN-Transducer to Out-Domain Audio via Sparse Self-Attention Layers
SK Telecom（SK电讯）；Kakao Enterprise Corporation（Kakao企业公司）
递归神经网络转换器（RNN-T）是一个端到端的语音识别框架，它将输入的声学帧转换为字符序列。RNN-T最先进的编码器网络是Conformer，它可以通过卷积和自注意层有效地对局部-全局上下文信息进行建模。尽管Conformer RNN-T表现出了出色的性能，但大多数研究都是在训练和测试数据来自同一领域的情况下进行验证的。Conformer RNN-T的域失配问题是产品级语音识别系统中的一个重要问题，但目前还没有得到深入研究。在这项研究中，我们发现，完全连接的自我注意层的一致性导致高删除错误，特别是在长形式的域外话语。为了解决这个问题，我们为基于Conformer的编码器网络引入了稀疏自注意层，它可以通过修剪大多数域内拟合的全局连接来利用局部和广义全局信息。此外，我们提出了一个状态重置方法的预测网络的泛化，以应付长形式的话语。将所提出的方法应用于域外测试，与基于全连接自注意层的构象相比，我们获得了27.6%的相对字符错误率（CER）降低。
2022-06-17 cs.AI cs.SD eess.AS
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
Towards One-bit ASR: Extremely Low-bit Conformer Quantization Using Co-training and Stochastic Precision
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出利用多精度模型协同训练、随机精度及张量级可学习缩放因子，实现Conformer ASR系统的2-bit和1-bit极低位宽量化，在Switchboard和LibriSpeech语料库上分别达到16.2倍和16.6倍的无损压缩比且词错率无显著增加。
2025-05-27 cs.SD eess.AS
SC-MoE: Switch Conformer Mixture of Experts for Unified Streaming and Non-streaming Code-Switching ASR
HiThink RoyalFlush AI Research Institute（HiThink RoyalFlush AI研究院）
本文提出SC-MoE，一种基于Switch-Conformer的专家混合系统，通过编码器中的CTC损失LID路由器及解码器MoE层，实现统一流式与非流式代码切换ASR，在保持计算效率的同时显著提升识别性能。
2024-06-26 cs.LG cs.SD eess.AS
Recent Developments on ESPnet Toolkit Boosted by Conformer
Northwestern Polytechnical University（西北工业大学）；LaBRI, University of Bordeaux（波尔多大学LaBRI实验室）；Airudit（Airudit公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）；Waseda University（早稻田大学）；Kyoto University（京都大学）；NTT Corporation（日本电报电话公司）；Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在这项研究中，我们提出了最近的发展ESPnet：端到端语音处理工具包，其中主要涉及最近提出的架构称为Conformer，卷积增强Transformer。本文展示了广泛的端到端语音处理应用程序的结果，如自动语音识别（ASR），语音翻译（ST），语音分离（SS）和文本到语音（TTS）。我们的实验揭示了各种训练技巧和显着的性能优势，获得了不同的任务与一致性。这些结果具有竞争力，甚至优于当前最先进的Transformer模型。我们正准备使用开源和公开可用的语料库发布所有功能于一身的食谱，用于所有上述任务和预先训练的模型。我们这项工作的目的是通过减少准备通常需要高资源的最先进的研究环境的负担，为我们的研究社区做出贡献。
2020-10-29 cs.SD eess.AS
Leveraging Phone Mask Training for Phonetic-Reduction-Robust E2E Uyghur Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯少数民族-普通话翻译部门）
维吾尔语语音中经常会遇到辅音和元音的压缩，特别是在高速率的自发语音中，这会导致语音识别性能的下降。针对这一问题，本文提出了一种有效的音素模板训练方法，用于基于Conformer的维吾尔语端到端（E2 E）语音识别。其思想是在模型训练过程中随机屏蔽一定比例的手机特征，模拟上述言语现象，便于E2 E模型学习更多的上下文信息。根据实验，上述问题可以大大缓解。此外，对不同的掩蔽单元进行了深入的研究，这表明了我们提出的掩蔽单元的有效性。本文还进一步研究了手机蒙版的遮盖方法和优化填充策略。最后，与没有模板训练的基于Conformer的E2 E基线相比，我们的模型在阅读语音和自发语音上分别表现出约5.51%和12.92%的相对字出错率（WER）降低。在开放源数据THUYG-20的测试集上验证了上述方法，结果显示相对于传统方法有20%的改进。
2022-04-02 cs.SD eess.AS
A Conformer-based Waveform-domain Neural Acoustic Echo Canceller Optimized for ASR Accuracy
Google LLC（谷歌有限责任公司）
声学回声消除（AEC）对于准确识别向正在播放音频的智能扬声器发出的查询至关重要。先前的工作已经表明，当利用预训练的ASR模型编码器利用辅助损失进行优化时，对log-mel频谱特征（下文中表示为“logmel”）进行操作的神经AEC模型可以极大地提高自动语音识别（ASR）准确度。在本文中，我们开发了一个基于一致性的波形域神经AEC模型的启发“TasNet”架构。该模型通过在大型语音数据集上联合优化负尺度不变SNR（SISNR）和ASR损失来训练。在一个现实的重录测试集上，我们发现级联线性自适应AEC和波形域神经AEC是非常有效的，单独线性AEC的字错误率（WER）降低了56-59%。在该测试集上，1.6M参数波形域神经AEC在易于调节的条件下也比更大的6.5M参数对数域神经AEC模型提高了20-29%。通过在较小的帧上操作，波形神经模型能够在较小的尺寸下执行得更好，并且更适合于存储器有限的应用。
2022-05-06 cs.SD eess.AS eess.SP
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出 DCTX-Conformer，通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入，在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Raw Waveform Encoder with Multi-Scale Globally Attentive Locally Recurrent Networks for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
端到端语音识别通常使用手工设计的声学特征作为输入，并且将特征提取模块从其联合优化中排除。为了提取可学习和自适应的特征并减少信息丢失，我们提出了一种新的编码器，该编码器采用全局注意局部递归（GALR）网络，并直接将原始波形作为输入。我们观察到改进的ASR性能和鲁棒性，通过在不同的窗口长度上应用GALR来将细粒度的时间信息聚合成多尺度的声学特征。实验在基准数据集AISHELL-2和两个5,000小时和21,000小时的大规模汉语语音语料库上进行。凭借更快的速度和可比的模型大小，我们提出的多尺度GALR波形编码器实现了一致的字符出错率降低（CERR）从7.9%到28.1%相对于强基线，包括构象和TDNN构象。特别是，我们的方法比传统的手工特征表现出显着的鲁棒性，并且在音乐混合的真实世界语音测试集上的表现优于基于MFCC的TDNN-Conformer模型的15.2%CERR。
2021-06-08 cs.AI cs.SD eess.AS
Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR
Google LLC（谷歌公司）
本文设计了一种优化的 Conformer，通过纯卷积块替换、架构缩减和 RNNAttention-Performer 等技术，在 TPU 上实现快速推理，延迟降低 6.8 倍，并通过级联编码器设置完全恢复识别准确率，适用于端上和云端 ASR。
2023-03-31 cs.CL cs.SD eess.AS
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland（三星波兰研发研究院）；Samsung AI Center Warsaw（三星华沙人工智能中心）
针对Poleval 2024波兰语自动语音识别挑战赛，研究提出基于Voicebox的语音合成流水线，用合成数据增强Conformer和Whisper模型，证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Phonetic-assisted Multi-Target Units Modeling for Improving Conformer-Transducer ASR system
Shanghai Normal University（上海师范大学）
本文提出语音辅助多目标单元（PMU）建模方法，通过融合发音辅助子词建模与BPE单元，在CTC和Transducer多任务训练中增强Conformer编码器，在LibriSpeech及带口音ASR任务上显著降低词错误率。
2023-07-07 cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd（东芝欧洲有限公司）
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架，在SLURP上提升SLU性能并保持ASR准确率，同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
Memory-augmented conformer for improved end-to-end long-form ASR
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）
本文针对端到端ASR模型在长语音上性能下降的问题，提出在Conformer编解码器之间引入神经图灵机作为外部记忆，构建Conformer-NTM架构，并在Librispeech数据集上验证其优于基线Conformer。
2023-09-22 cs.AI cs.LG cs.SD
SNRi Target Training for Joint Speech Enhancement and Recognition
Google Research（谷歌研究院）
语音增强（SE）在包括自动语音识别（ASR）和电信的语音应用中被用作前端。使用SE前端的困难在于，适当的降噪水平取决于应用和/或噪声特性而不同。在这项研究中，我们提出了“信噪比改善（SNRi）目标训练”; SE前端被训练输出一个信号，其SNRi由辅助标量输入控制。在与后端的联合训练中，目标SNRi值由辅助网络估计。通过训练所有网络以最小化后端任务损失，我们可以在数据驱动方案中估计每个噪声输入的适当降噪水平。我们的实验表明，SNRi目标训练能够控制输出SNRi。此外，与基于Conformer的标准ASR模型和传统的SE-ASR联合训练模型相比，本文提出的联合训练方法分别将误词率降低了4.0%和5.7%。此外，通过分析预测的目标SNRi，我们观察到联合训练的网络自动控制目标SNRi根据噪声特性。音频演示可在我们的演示页面：google.github.io/df-conformer/snri_target/。
2022-03-28 cs.SD eess.AS
Diagonal State Space Augmented Transformers for Speech Recognition
IBM Research AI（IBM研究院人工智能部门）
我们通过用对角状态空间（DSS）模型取代深度时间卷积来改进流行的一致性体系结构。DSS是最近引入的线性RNN的变体，通过用对角状态转移矩阵离散线性动力系统获得。DSS层将输入序列投影到正交多项式空间上，其中基函数、度量和支持度的选择由过渡矩阵的特征值控制。我们比较神经传感器与conformer或我们提出的DSS增强的Transformer（DSSformer）编码器在三个公共语料库：总机英语会话电话语音300小时，总机+费舍尔2000小时，和大屠杀幸存者的证词称为MALACH 176小时的口语档案。在Switchboard 300/2000小时上，我们分别在Hub 5 2000评估的组合测试集上达到8.9%/6.7%WER的单个模型性能，并且在MALACH上，我们相对于先前最佳公布结果将WER提高了7%。此外，我们提出的经验证据表明，DSS层学习阻尼傅立叶基函数的衰减系数是层特定的，而频率系数收敛到几乎相同的线性间隔值在所有层。
2023-02-27 cs.SD eess.AS
Noisy Disentanglement with Tri-stage Training for Noise-Robust Speech Recognition
Shanghai Engineering Research Center of Intelligent Education and Bigdata（智能教育与大数据上海工程研究中心）；Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（Unisound AI技术有限公司）
针对低信噪比下语音识别性能下降问题，提出基于Conformer-Transducer的NoisyD-CT三阶段训练框架，通过紧凑型噪声解耦模块与双损失约束实现噪声抑制，在多数据集上显著降低词错误率且保持干净语音性能。
2025-09-01 cs.SD eess.AS
Multi-Convformer: Extending Conformer with Multiple Convolution Kernels
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）
提出Multi-Convformer，在Conformer卷积模块中结合门控机制使用多个卷积核以建模不同粒度的局部依赖，在多数据集和建模范式下最高实现8%相对词错率降低，且参数效率优于现有变体。
2024-07-24 cs.AI cs.CL cs.LG
Modular Domain Adaptation for Conformer-Based Streaming ASR
Google LLC（谷歌有限责任公司）
提出模块化领域自适应（MDA）框架，通过在Conformer编码器中添加领域特定的适配器和前馈网络，使单一模型在保持参数领域特定性的同时处理多领域数据，并在语音搜索和听写等任务上达到与多领域模型相似的性能。
2023-05-22 cs.CL cs.LG cs.SD
On the limit of English conversational speech recognition
IBM Research AI（IBM研究院人工智能部门）
在我们之前的工作中，我们证明了一个单头注意编码器-解码器模型能够在会话语音识别中达到最先进的结果。在本文中，我们进一步改进了Switchboard 300和2000的结果。通过使用改进的优化器、说话人向量嵌入和替代语音表示，我们将LSTM系统在Switchboard-300上的识别错误相对减少了4%。使用概率比方法对解码器模型进行补偿，可以更有效地集成外部语言模型，我们报告了Hub 5 '00的SWB和CHM部分的5.9%和11.5% WER，使用非常简单的LSTM模型。我们的研究还考虑了最近提出的一致性，更先进的自我注意力为基础的语言模型。总体而言，conformer表现出与LSTM相似的性能;然而，它们的组合和解码与改进的LM在Switchboard-300上达到了新的记录，SWB和CHM上的WER分别为5.0%和10.0%。我们的研究结果也证实了在Switchboard-2000上，并报告了一个新的艺术状态，实际上达到了基准的极限。
2021-05-03 cs.CL cs.SD eess.AS
