Improved Conformer-based End-to-End Speech Recognition Using Neural Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
最近，神经结构搜索（NAS）已被成功地用于图像分类，自然语言处理，和自动语音识别（ASR）的任务，寻找国家的最先进的（SOTA）的架构比那些人类设计的架构。NAS可以通过搜索算法从预定义的搜索空间中获得验证数据上的SOTA和数据特定架构。受NAS在ASR任务中的成功启发，我们提出了一个基于NAS的ASR框架，该框架包含一个搜索空间和一个可区分的搜索算法，称为可区分的架构搜索（DARTS）。我们的搜索空间遵循卷积增强的Transformer（Conformer）主干，这是一个比现有的基于NAS的ASR框架中使用的更具表现力的ASR架构。为了提高算法的性能，采用了动态搜索调度（DSS）的调整方法。在一个广泛使用的普通话基准AISHELL-1上，我们的最佳搜索架构明显优于基线一致模型，约11%的CER相对改善，我们的方法被证明是非常有效的搜索成本比较。
2021-04-13 cs.SD eess.AS
Memory-augmented conformer for improved end-to-end long-form ASR
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）
本文针对端到端ASR模型在长语音上性能下降的问题，提出在Conformer编解码器之间引入神经图灵机作为外部记忆，构建Conformer-NTM架构，并在Librispeech数据集上验证其优于基线Conformer。
2023-09-22 cs.AI cs.LG cs.SD
Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR
Google LLC（谷歌公司）
本文设计了一种优化的 Conformer，通过纯卷积块替换、架构缩减和 RNNAttention-Performer 等技术，在 TPU 上实现快速推理，延迟降低 6.8 倍，并通过级联编码器设置完全恢复识别准确率，适用于端上和云端 ASR。
2023-03-31 cs.CL cs.SD eess.AS
SC-MoE: Switch Conformer Mixture of Experts for Unified Streaming and Non-streaming Code-Switching ASR
HiThink RoyalFlush AI Research Institute（HiThink RoyalFlush AI研究院）
本文提出SC-MoE，一种基于Switch-Conformer的专家混合系统，通过编码器中的CTC损失LID路由器及解码器MoE层，实现统一流式与非流式代码切换ASR，在保持计算效率的同时显著提升识别性能。
2024-06-26 cs.LG cs.SD eess.AS
A Conformer-based Waveform-domain Neural Acoustic Echo Canceller Optimized for ASR Accuracy
Google LLC（谷歌有限责任公司）
声学回声消除（AEC）对于准确识别向正在播放音频的智能扬声器发出的查询至关重要。先前的工作已经表明，当利用预训练的ASR模型编码器利用辅助损失进行优化时，对log-mel频谱特征（下文中表示为“logmel”）进行操作的神经AEC模型可以极大地提高自动语音识别（ASR）准确度。在本文中，我们开发了一个基于一致性的波形域神经AEC模型的启发“TasNet”架构。该模型通过在大型语音数据集上联合优化负尺度不变SNR（SISNR）和ASR损失来训练。在一个现实的重录测试集上，我们发现级联线性自适应AEC和波形域神经AEC是非常有效的，单独线性AEC的字错误率（WER）降低了56-59%。在该测试集上，1.6M参数波形域神经AEC在易于调节的条件下也比更大的6.5M参数对数域神经AEC模型提高了20-29%。通过在较小的帧上操作，波形神经模型能够在较小的尺寸下执行得更好，并且更适合于存储器有限的应用。
2022-05-06 cs.SD eess.AS eess.SP
Conformer-1: Robust ASR via Large-Scale Semisupervised Bootstrapping
AssemblyAI Inc.（AssemblyAI公司）
本研究提出端到端ASR模型Conformer-1，利用公开语音数据生成伪标签并结合噪声学生训练开展半监督学习，有效提升了识别准确率与噪声鲁棒性。
2024-04-12 cs.CL cs.LG cs.SD
Promptformer: Prompted Conformer Transducer for ASR
Amazon AGI（亚马逊AGI）
本文提出Promptformer，通过超提示机制将文本上下文融入Conformer Transducer的注意力模块，在多轮ASR交互中实现5.9%的相对词错误率降低，且无上下文时性能不退化。
2024-01-14 cs.CL cs.SD eess.AS
Modular Domain Adaptation for Conformer-Based Streaming ASR
Google LLC（谷歌有限责任公司）
提出模块化领域自适应（MDA）框架，通过在Conformer编码器中添加领域特定的适配器和前馈网络，使单一模型在保持参数领域特定性的同时处理多领域数据，并在语音搜索和听写等任务上达到与多领域模型相似的性能。
2023-05-22 cs.CL cs.LG cs.SD
SSCFormer: Push the Limit of Chunk-wise Conformer for Streaming ASR Using Sequentially Sampled Chunks and Chunked Causal Convolution
Rice University（莱斯大学）；Colorado State University（科罗拉多州立大学）
SSCFormer通过顺序采样块和分块因果卷积技术，在流式ASR中实现全局上下文捕获与线性复杂度推理，AISHELL-1上CER达5.33%，优于U2基线。
2024-02-04 cs.CL cs.SD eess.AS
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR
NTT, Inc., Japan（日本NTT公司）
本文提出了一种仅解码器的Conformer模型，通过模态感知的稀疏混合专家实现更高效的ASR，减少了参数使用并提升了识别准确率。
2026-02-13 cs.AI cs.CL cs.SD
A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks
Carnegie Mellon University（卡内基梅隆大学）；ASAPP Inc.（ASAPP公司）
本研究通过大量端到端实验对比了E-Branchformer与Conformer编码器，发现在15个ASR、2个ST和3个SLU基准测试中，E-Branchformer表现相当或更优且训练更稳定。
2023-05-18 cs.CL cs.SD eess.AS
Dynamic Chunk Convolution for Unified Streaming and Non-Streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
针对流式与非流式统一语音识别模型性能差距较大的问题，提出动态块卷积替换Conformer架构中的因果卷积，结合全上下文模型权重初始化与模块并行化，显著降低流式模式性能下降，提升了统一模型的识别精度。
2023-04-25 cs.SD eess.AS
I-Parakeet: Integer-Only Conformer ASR on Mobile NPU
Sony Interactive Entertainment（索尼互动娱乐）
提出I-Parakeet，一种纯整数实现的Conformer ASR模型，通过整数注意力、Swish近似和激活校准，在移动NPU上实现4.97% WER，速度比CPU快7.5倍。
2026-09-28 cs.CL cs.SD eess.AS
Unfolding A Few Structures for The Many: Memory-Efficient Compression of Conformer and Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Institute of Software（软件研究所）；Department of Electronic Engineering（电子工程系）
本文提出一种内存高效的模型压缩方法，通过训练并多次展开少量结构的种子模型来模拟大模型，结合自蒸馏最小化性能差距，在Conformer和wav2vec2上实现无性能损失的参数量减少。
2025-05-27 cs.SD eess.AS
ChunkFormer: Masked Chunking Conformer For Long-Form Speech Transcription
ZaloAI（扎洛AI）；Ho Chi Minh City University of Science（胡志明市科学大学）；Vietnam National University（越南国家大学）
针对长语音转录中Conformer模型处理时长有限、标准批处理填充导致资源浪费的问题，提出带相对右上下文分块处理和掩码批处理的ChunkFormer，可在80GB GPU处理16小时音频，词错率最多降7.7%，批处理耗时和显存占用降3倍以上。
2025-02-20 cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Confidence Score Based Conformer Speaker Adaptation for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
自动语音识别（ASR）系统的一个关键挑战是对说话人电平的变化进行建模。在本文中，紧凑的说话人相关学习隐藏单元贡献（LHUC）被用来促进说话人自适应训练（SAT）和测试时间无监督说话人自适应国家的最先进的基于Conformer的端到端ASR系统。使用基于置信度分数的对说话者特定数据的更“可信”子集的选择来降低对监督错误率的适应期间的灵敏度。置信度估计模块用于在用作置信度分数之前平滑过度置信的Conformer解码器输出概率。使用贝叶斯估计的LHUC参数，由于扬声器级数据选择的数据稀疏性增加。在300小时的Switchboard语料库上的实验表明，基于置信度分数的测试时间无监督自适应的LHUC-SAT Conformer系统的性能比基本的说话人独立和i向量自适应Conformer系统分别高出1.0%、1.0%和1.2 NIST Hub 5 '00、RT 02和RT 03评估集上的字错误率（WER）分别降低了9.0%、7.9%和8.9%（相对）。在使用外部Transformer和LSTM语言模型进行重新评分后，保持了一致的性能改进。
2022-06-24 cs.SD eess.AS
Mixture-of-Expert Conformer for Streaming Multilingual ASR
Google LLC（谷歌有限责任公司）
本文提出一种融合专家混合层的流式多语言 Conformer，在推理时仅激活固定数量参数，在 12 种语言上相比基线平均相对降低 11.9% 的词错误率，且无需语言信息即可达到与适配器模型相当的性能。
2023-05-25 cs.CL cs.SD eess.AS
Confidence Score Based Speaker Adaptation of Conformer Speech Recognition Systems
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
说话人自适应技术为个体用户定制自动语音识别（ASR）系统提供了一种强大的解决方案。基于无监督模型的说话人自适应技术在数据密集型端到端ASR系统中的实际应用受到说话人级别数据的稀缺性和对转录错误的性能敏感性的阻碍。为了解决这些问题，一组紧凑和数据高效的说话人相关（SD）参数表示，以促进说话人自适应训练和测试时间无监督说话人自适应的国家的最先进的构象ASR系统。使用基于置信度分数的扬声器级自适应数据的较少错误子集的选择来降低对监督质量的敏感度。提出了两个轻量级的置信度估计模块，以产生更可靠的置信度。的数据稀疏性问题，这是加剧了数据的选择，解决了建模的SD参数的不确定性，使用贝叶斯学习。在基准300小时Switchboard和233小时AMI数据集上的实验表明，所提出的基于置信度分数的自适应方案始终优于基线说话者独立（SI）Conformer模型和传统的非贝叶斯，基于点估计的自适应，不使用说话者数据选择。在外部Transformer和LSTM语言模型重新评分后，保持了类似的一致性能改进。特别是，在300小时Switchboard语料库中，NIST Hub5'00、RT02和RT03评价集上的基线SI Conformer分别获得了1.0%、1.3%和1.4%的绝对（9.5%、10.9%和11.3%）统计学显著WER降低。在AMI发展和评价集上也获得了相似的绝对WER降低2.7%和3.3%（…
2023-02-15 cs.SD eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
Boundary and Context Aware Training for CIF-based Non-Autoregressive End-to-end ASR
Northwestern Polytechnical University（西北工业大学）；China Mobile Research Institute（中国移动研究院）
基于连续积分激发（CIF）模型的非自回归（NAR）语音识别方法采用了一种软的、单调的对齐机制，与其他NAR方法相比，具有很好的性能。然而，这样的对准学习策略可能遭受错误的声学边界估计，严重阻碍收敛速度以及系统性能。在本文中，我们提出了一个边界和上下文感知的训练方法CIF基于NAR模型。首先，利用连接主义时间分类（CTC）锋电位信息指导CIF中的声学边界学习。此外，在CIF解码器之后引入了额外的上下文解码器，旨在捕获句子内的语言依赖。最后，我们采用了最近提出的Conformer架构，以提高声学建模的能力。在开源汉语AISHELL-1语料库上的实验表明，该方法与现有的AR模型相比，在只有1/24延迟的情况下，字符出错率达到了4.9%.然而，当评估内部7500小时的汉语语料库，我们的模型仍然优于其他NAR方法，甚至达到AR Conformer模型在一个具有挑战性的现实世界的噪音测试集。
2021-09-26 cs.SD eess.AS
Locality Matters: A Locality-Biased Linear Attention for Automatic Speech Recognition
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
Conformer在自动语音识别（ASR）方面在许多公共基准测试中都取得了巨大的成功。其关键缺点之一是相对于输入序列长度的二次时间-空间复杂度，这禁止模型按比例放大以及处理更长的输入音频序列。为了解决这个问题，已经提出了许多线性注意力方法。然而，这些方法通常在ASR上具有有限的性能，因为它们在建模中平等地对待令牌，忽略了相邻令牌通常比距离较远的令牌连接得更多的事实。在本文中，我们考虑到这一事实，并提出了一个新的局部偏向线性注意力的构象。它不仅比vanilla Conformer具有更高的精度，而且具有线性时空计算复杂性。具体来说，我们在Conformer块中用局部偏向的线性注意力（LBLA）机制取代softmax注意力。LBLA包含一个核函数来确保线性复杂度，以及一个余弦重新加权矩阵来对相邻令牌施加更多权重。LibriSpeech语料库上的大量实验表明，通过将这种局部偏差引入到Conformer中，我们的方法在推理速度超过22%的情况下实现了较低的单词出错率。
2022-03-29 cs.SD eess.AS
ASR-Aware End-to-end Neural Diarization
Amazon Alexa AI（亚马逊Alexa人工智能部门）
我们提出了一个基于Conformer的端到端神经日志化（EEND）模型，该模型使用来自自动语音识别（ASR）模型的声学输入和特征。两类功能进行了探讨：功能直接来自ASR输出（电话，在词中的位置和词的边界）和功能来自词汇说话人变化检测模型，通过微调预训练的BERT模型的ASR输出进行训练。三个修改的一致性为基础的EEND体系结构，提出了将功能。首先，将ASR特征与声学特征级联。其次，我们提出了一种新的注意力机制，称为语境化的自我注意，利用ASR功能来建立强大的发言人表示。最后，使用多任务学习来训练模型，以最小化ASR特征的分类损失以及日志化损失。在Switchboard+SRE数据集上的两人英语会话上的实验表明，利用词中位置信息的多任务学习是利用ASR特征的最有效方法，相对于基线，将日志化出错率（DER）降低了20%。
2022-02-02 cs.CL cs.SD eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge（三星剑桥人工智能中心）
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题，将SummaryMixing扩展至支持流/离线模式的Conformer Transducer，实现线性复杂度，且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Multi-Convformer: Extending Conformer with Multiple Convolution Kernels
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）
提出Multi-Convformer，在Conformer卷积模块中结合门控机制使用多个卷积核以建模不同粒度的局部依赖，在多数据集和建模范式下最高实现8%相对词错率降低，且参数效率优于现有变体。
2024-07-24 cs.AI cs.CL cs.LG
Efficient Conformer with Prob-Sparse Attention Mechanism for End-to-EndSpeech Recognition
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，Transformer和Conformer已经达到了最先进的识别精度，其中自我注意力在捕获重要的全局信息方面起着至关重要的作用。然而，自我注意的时间和记忆复杂性随着句子的长度而增加。本文在Conformer中引入概率稀疏的自注意力机制，使自注意力的计算过程稀疏化，从而加快推理速度，减少空间消耗。具体来说，我们采用Kullback-Leibler分歧为基础的稀疏性测量每个查询，以决定我们是否计算注意力函数在这个查询。通过使用概率稀疏的注意力机制，我们实现了令人印象深刻的8%至45%的推理速度和15%至45%的内存使用减少的自注意模块的构象传感器，而保持相同的水平的出错率。
2021-06-17 cs.SD eess.AS
Augmenting conformers with structured state-space sequence models for online speech recognition
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；Google LLC.（谷歌有限责任公司）
针对在线语音识别中左侧上下文受限的问题，提出将结构化状态空间序列模型（S4）与卷积结合以增强Conformer编码器，最佳设计为小型S4与局部卷积堆叠，在Librispeech上取得4.01%/8.53%的WER，优于调优卷积的Conformer。
2023-12-27 cs.CL cs.SD eess.AS
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
Lossless Inference Acceleration for ASR via EAGLE-Style Speculative Decoding
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；ASUS Intelligent Cloud Services（华硕智能云服务）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
该研究针对ASR推理延迟问题，提出EAGLE-ASR框架，通过EAGLE风格推测解码结合轻量草稿模型Speech-Draft实现无损加速，在Whisper等模型上获最高2.4倍加速，还可泛化至多语言ASR等任务。
2026-10-12 cs.SD eess.AS
Shifted Chunk Encoder for Transformer Based Streaming End-to-End ASR
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
目前，主要存在三种基于Transformer编码器的流式端到端（E2 E）自动语音识别（ASR）方法，即时间限制方法、块方式方法和基于存储器的方法。一般来说，它们都在线性计算复杂性、全局上下文建模和并行训练方面存在局限性。在这项工作中，我们的目标是建立一个模型，采取所有这三个优点的流Transformer ASR。特别是，我们提出了一个移位块机制的块式Transformer，它提供了跨块之间的连接。因此，块模型的全局上下文建模能力可以得到显着提高，而所有原有的优点继承。我们将该方案与分块的Transformer和Conformer相结合，并将它们分别标识为SChunk-Transformer和SChunk-Conformer。在AISHELL-1上的实验结果表明，SChunk-Transformer和SChunk-Conformer的CER分别达到6.43%和5.77%。线性复杂度使它们可以进行大批量的训练，从而更有效地进行推理。我们的模型可以显着优于传统的块明智的同行，同时具有竞争力，只有0.22的绝对CER下降，与U2相比，具有二次复杂性。如果与现有的分块或基于内存的方法（如HS-DACS和MMA）相比，可以实现更好的CER。代码被释放。
2022-09-26 cs.CL cs.SD eess.AS
A Study of Different Ways to Use The Conformer Model For Spoken Language Understanding
Ping An Technology（平安科技）
SLU结合了ASR和NLU功能，以实现语音到意图的理解。在本文中，我们比较了结合ASR和NLU的不同方法，特别是使用单个Conformer模型，并以不同的方式使用其组件，以更好地了解每种方法的优点和缺点。我们发现，它不一定是一个两阶段的解码和端到端的系统，决定了最好的系统的研究或应用之间的选择。系统优化仍然需要仔细改进每个组件的性能。很难证明一个方向确实比另一个更好。在本文中，我们还提出了一种新的连接主义时间摘要（CTS）方法，以减少声学编码序列的长度，同时提高端到端模型的准确性和处理速度。该方法实现了与最佳两阶段SLU识别相同的意图准确度，但具有复杂和耗时的解码，但计算成本较低。这种堆叠式端到端SLU系统在SmartLights远场集、近场集和FluentSpeech中的意图准确率分别为93.97%、95.18%和99.71%。
2022-04-08 cs.CL cs.SD eess.AS
Cross-modal Alignment with Optimal Transport for CTC-based ASR
National Institute of Information and Communications Technology（国立信息与通信技术研究所）；Research Center for Information Technology Innovation, Academic Sinica（中央研究院资讯科技创新研究中心）
提出基于最优传输的跨模态对齐方法，将PLM的上下文语言知识迁移到CTC声学表示中，并在AISHELL-1上显著降低CER。
2023-09-24 cs.SD eess.AS
Speaker Adaptation for Quantised End-to-End ASR Models
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
本文提出P4Q策略，通过结合NF4量化和LoRA说话人自适应，在模型缩小7倍且仅增加1%参数的情况下，使量化Whisper和Conformer ASR模型的WER分别相对降低15.1%和23.3%。
2024-08-07 cs.SD eess.AS
Uconv-Conformer: High Reduction of Input Sequence Length for End-to-End Speech Recognition
ITMO University（ITMO大学）；STC-innovations Ltd（STC创新有限公司）
现代ASR架构的优化是最高优先级的任务之一，因为它节省了许多用于模型训练和推理的计算资源。在标准Conformer模型的基础上提出了一种新的Uconv-Conformer体系结构。它始终将输入序列长度减少了16倍，从而加快了中间层的工作。为了解决与时间维度的显著减少相关的收敛问题，我们使用了U-Net架构中的上采样模块，以确保正确的CTC损失计算和稳定的网络训练。Uconv-Conformer架构似乎不仅在训练和推理速度方面更快，而且与基线Conformer相比也显示出更好的WER。我们最好的Uconv-Conformer模型在CPU和GPU上分别显示了47.8%和23.5%的推理加速。在LibriSpeech test_clean和test_other上，相对WER减少分别为7.3%和9.2%。
2023-03-11 cs.LG cs.SD eess.AS
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.（Meta公司）
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法，通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应，并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Federated Learning of Large ASR Models in the Real World
Google LLC（谷歌公司）
本文提出系统性方案，通过联邦学习训练1.3亿参数的完整ASR模型，首次实现Conformer模型真实世界FL应用，并证明其能提升模型质量。
2024-08-19 cs.CL cs.LG cs.SD
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
Deep Sparse Conformer for Speech Recognition
NVIDIA（英伟达）
通过利用Transformer捕获基于内容的全局交互和卷积神经网络利用局部特征，Conformer在自动语音识别（ASR）方面取得了令人印象深刻的结果。在Conformer中，两个具有半步残差连接的马卡龙式前馈层将多头自注意和卷积模块夹在中间，然后进行后层归一化。我们在两个方向上改进了Conformer的长序列表示能力：\emph{sparser}和\emph{deeper}。在时间复杂度和内存使用方面，我们采用了一种基于$\mathcal{O}(L\text{log}L)$的稀疏自注意力机制.在执行残差连接时，使用了深度归一化策略，以确保我们对百级Conformer块的训练。在日本CSJ-500 h数据集上，该深度稀疏Conformer在三个评估集上分别实现了5.52%、4.03%和4.50%的CER，在集成12到16、17、50和100个编码器层的五个深度稀疏Conformer变体时分别实现了4.16%、2.84%和3.20%的CER。
2022-09-01 cs.CL cs.LG cs.SD
Bring the Noise: Introducing Noise Robustness to Pretrained Automatic Speech Recognition
University of Hamburg（汉堡大学）；Örebro University（厄勒布鲁大学）；exXxa GmbH（exXxa有限责任公司）
本研究提出Cleancoder预处理架构，从Conformer ASR模型中提取去噪能力，作为前端应用于任意编码器-解码器模型，在噪声条件下显著降低下游ASR的词错误率。
2023-09-05 cs.CL cs.SD eess.AS
One-pass Multiple Conformer and Foundation Speech Systems Compression and Quantization Using An All-in-one Neural Model
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
提出一体化神经模型的单遍多 ASR 系统联合压缩量化方法，可一次构建多种嵌套配置，并在显著压缩模型、缩短训练时间的同时保持或降低 WER。
2024-06-14 cs.AI cs.SD eess.AS
Advancing Momentum Pseudo-Labeling with Conformer and Initialization Strategy
MERL（三菱电机美国研究实验室）
伪标记（PL）是一种半监督学习（SSL）方法，其中种子模型使用从未转录语音生成的伪标记执行自训练，已被证明可以增强端到端自动语音识别（ASR）的性能。我们之前的工作提出了动量伪标记（MPL），它通过在线和离线模型之间的交互来执行基于PL的SSL，灵感来自平均教师框架。MPL在各种半监督设置上取得了显着的效果，对数据量和域失配严重程度的变化表现出鲁棒性。然而，用于初始化MPL训练的种子模型还有进一步改进的空间，因为对于基于PL的方法来说，从高质量的伪标签开始训练通常是至关重要的。为此，我们建议通过以下方式增强MPL：（1）引入Conformer架构以提高整体识别精度;（2）在应用MPL之前，利用语言模型的迭代伪标记来改进种子模型。实验结果表明，所提出的方法有效地提高MPL的性能，优于其他PL的方法。我们还提出了深入的调查，使我们的改进有效，例如，关于通常在Conformer和LM质量中使用的批次归一化。
2021-10-11 cs.SD eess.AS
Recent Developments on ESPnet Toolkit Boosted by Conformer
Northwestern Polytechnical University（西北工业大学）；LaBRI, University of Bordeaux（波尔多大学LaBRI实验室）；Airudit（Airudit公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）；Waseda University（早稻田大学）；Kyoto University（京都大学）；NTT Corporation（日本电报电话公司）；Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
在这项研究中，我们提出了最近的发展ESPnet：端到端语音处理工具包，其中主要涉及最近提出的架构称为Conformer，卷积增强Transformer。本文展示了广泛的端到端语音处理应用程序的结果，如自动语音识别（ASR），语音翻译（ST），语音分离（SS）和文本到语音（TTS）。我们的实验揭示了各种训练技巧和显着的性能优势，获得了不同的任务与一致性。这些结果具有竞争力，甚至优于当前最先进的Transformer模型。我们正准备使用开源和公开可用的语料库发布所有功能于一身的食谱，用于所有上述任务和预先训练的模型。我们这项工作的目的是通过减少准备通常需要高资源的最先进的研究环境的负担，为我们的研究社区做出贡献。
2020-10-29 cs.SD eess.AS
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd（东芝欧洲有限公司）
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架，在SLURP上提升SLU性能并保持ASR准确率，同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
Exploring Self-supervised Pre-trained ASR Models For Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文探索将领域自适应wav2vec2.0模型集成到TDNN/Conformer ASR系统，通过特征融合、联合解码和多遍重评分，在构音障碍和老年语音识别上取得显著WER降低，达到最低已发表结果。
2023-06-22 cs.AI cs.SD eess.AS
Effect and Analysis of Large-scale Language Model Rescoring on Competitive ASR Systems
IBM Research - Tokyo（IBM研究院（东京））；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
大规模语言模型（LLM），如GPT-2，BERT和RoBERTa已成功地应用于ASR N-最佳重新评分。然而，它们是否或如何能够使具有竞争力的、接近最先进的ASR系统受益仍然是未知的。在这项研究中，我们将LLM重新评分纳入最具竞争力的ASR基线之一：一致性换能器模型。我们证明了LLM的双向性，预训练，域微调和上下文增强实现了一致的改进。此外，我们的词法分析揭示了这些组件中的每一个如何对ASR性能做出贡献。
2022-08-18 cs.CL cs.SD eess.AS
Technical Report: A Practical Guide to Kaldi ASR Optimization
针对基于Kaldi的ASR系统，提出融合多流TDNN-F的定制Conformer块、数据增强、动态超参数优化及贝叶斯优化与$n$-gram剪枝的语言模型管理策略，提升识别准确率、鲁棒性与计算效率。
2025-06-08 cs.SD eess.AS
Self-supervised ASR Models and Features For Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文探索将领域微调的自监督语音模型及特征集成到TDNN/Conformer系统中，用于构音障碍和老年人语音识别，在四个数据集上显著降低词错误率，并提升阿尔茨海默病检测准确率。
2024-07-03 cs.AI cs.SD eess.AS
SNRi Target Training for Joint Speech Enhancement and Recognition
Google Research（谷歌研究院）
语音增强（SE）在包括自动语音识别（ASR）和电信的语音应用中被用作前端。使用SE前端的困难在于，适当的降噪水平取决于应用和/或噪声特性而不同。在这项研究中，我们提出了“信噪比改善（SNRi）目标训练”; SE前端被训练输出一个信号，其SNRi由辅助标量输入控制。在与后端的联合训练中，目标SNRi值由辅助网络估计。通过训练所有网络以最小化后端任务损失，我们可以在数据驱动方案中估计每个噪声输入的适当降噪水平。我们的实验表明，SNRi目标训练能够控制输出SNRi。此外，与基于Conformer的标准ASR模型和传统的SE-ASR联合训练模型相比，本文提出的联合训练方法分别将误词率降低了4.0%和5.7%。此外，通过分析预测的目标SNRi，我们观察到联合训练的网络自动控制目标SNRi根据噪声特性。音频演示可在我们的演示页面：google.github.io/df-conformer/snri_target/。
2022-03-28 cs.SD eess.AS
Conformer: Convolution-augmented Transformer for Speech Recognition
Google Inc.（谷歌公司）
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将卷积神经网络和Transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而实现两全其美。为此，我们提出了卷积增强的Transformer用于语音识别，命名为Conformer。Conformer的性能显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。在广泛使用的LibriSpeech基准测试中，我们的模型在不使用语言模型的情况下实现了2.1%/4.3%的WER，在使用外部语言模型的情况下实现了1.9%/3.9%的WER。我们还观察到2.7%/6.3%的竞争性能，只有10 M参数的小模型。
2020-05-16 cs.LG cs.SD eess.AS
