LEAP Submission to CHiME-6 ASR Challenge}
本文报告了LEAP提交CHiME-6挑战。CHiME-6自动语音识别（ASR）挑战赛第一部分涉及在具有多方交互的家庭环境中的嘈杂和混响声学条件下的语音识别。对于挑战提交，LEAP系统使用了广泛的数据增强和因子化时间延迟神经网络（TDNN）架构。我们还探索了一种将TDNN层与LSTM层交错的神经架构。提交的系统在相对单词错误率方面将Kaldi配方改进了2%。
2020-05-22 eess.AS
Conformer-based Hybrid ASR System for Switchboard Dataset
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
最近提出的一致性架构已被成功地用于端到端自动语音识别（ASR）架构，实现国家的最先进的性能在不同的数据集。据我们所知，没有研究使用构象声学模型对混合ASR的影响。在本文中，我们提出并评估了一个有竞争力的符合者为基础的混合模型训练配方。我们研究了不同的训练方面和方法，以改善单词错误率，以及提高训练速度。我们应用时间下采样方法进行有效的训练，并使用转置卷积再次对输出序列进行上采样。我们在Switchboard 300h数据集上进行了实验，与其他架构相比，我们基于一致性的混合模型取得了有竞争力的结果。该模型在Hub5'01测试集上具有很好的泛化能力，性能明显优于基于BLSTM的混合模型。
2022-02-19 cs.CL eess.AS stat.ML
Cross-attention conformer for context modeling in speech enhancement for ASR
Google LLC（谷歌有限责任公司）
本文介绍了一种基于注意力的语音增强上下文建模体系结构\emph{cross-attention conformer}。考虑到上下文信息通常是连续的，并且与要增强的音频具有不同的长度，我们利用交叉注意来总结和合并上下文信息与输入特征。基于最近提出的使用自我注意层作为构建块的一致性模型，所提出的交叉注意一致性模型可以用于构建深度上下文模型。作为一个具体的例子，我们展示了噪声背景，即，在话语之前的短的仅噪声音频段可以用于使用交叉注意一致性层来构建语音增强特征前端，以提高自动语音识别的噪声鲁棒性。
2021-10-30 cs.SD eess.AS
Conformer with dual-mode chunked attention for joint online and offline ASR
在本文中，我们提出了一个深入的研究在线注意机制和蒸馏技术的双模的【形】（即，联合在线和离线）使用Conformer传感器的ASR。在双模的【形】Conformer Transducer模型中，各层可以在线或离线工作，同时共享参数，并在训练中应用从离线到在线模式的就地知识蒸馏，以提高在线精度。在我们的研究中，我们首先证明了在Conformer编码器中使用分块注意力与有和没有前瞻的自回归注意力相比的准确性提高。此外，我们探讨了有效的KLD和1-最好的KLD损失与不同的移动之间的在线和离线输出的知识蒸馏。最后，我们表明，一个简化的双模的【形】构象，只有模式特定的自注意力，以及一个也有模式特定的卷积和归一化。我们的实验是基于两个非常不同的数据集：Librispeech任务和医疗对话的内部语料库。结果表明，所提出的双模式系统，使用组块注意力产生5%和4%的相对WER改善的Librispeech和医疗任务，相比，双模的【形】系统，使用自回归注意力与类似的平均前瞻。
2022-06-22 eess.AS
Exploring Self-supervised Pre-trained ASR Models For Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文探索将领域自适应wav2vec2.0模型集成到TDNN/Conformer ASR系统，通过特征融合、联合解码和多遍重评分，在构音障碍和老年语音识别上取得显著WER降低，达到最低已发表结果。
2023-06-22 cs.AI cs.SD eess.AS
Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR
NTT, Inc., Japan（日本NTT公司）
本文提出了一种仅解码器的Conformer模型，通过模态感知的稀疏混合专家实现更高效的ASR，减少了参数使用并提升了识别准确率。
2026-02-13 cs.AI cs.CL cs.SD
An investigation of modularity for noise robustness in conformer-based ASR
本文研究模块化能否提升基于 Conformer 的 ASR 对新声学环境的适配能力，发现固定路由的环境感知有效，但二分清噪与带噪语音优于细分噪声环境。
2024-09-09 eess.AS
4-bit Conformer with Native Quantization Aware Training for Speech Recognition
Google LLC（谷歌有限责任公司）
降低延迟和模型大小一直是现场自动语音识别（ASR）应用场景的重要研究问题。沿着这个方向，模型量化已经成为压缩神经网络和降低计算成本的一种越来越流行的方法。大多数现有的实际ASR系统应用训练后的8位量化。为了在不引入额外性能回归的情况下实现更高的压缩率，在这项研究中，我们建议开发具有本地量化感知训练的4位ASR模型，该模型利用本地整数运算来有效地优化训练和推理。我们进行了两个实验的国家的最先进的一致性为基础的ASR模型，以评估我们提出的量化技术。首先，我们探索了权重和激活量化的不同精度对LibriSpeech数据集的影响，并获得了一个无损的4位Conformer模型，与float32模型相比，其大小减少了5.8倍。在此之后，我们首次研究并揭示了4位量化在使用大规模数据集训练的实际ASR系统上的可行性，并产生了具有混合4位和8位权重的无损Conformer ASR模型，与float32模型相比，其大小减少了5倍。
2023-03-03 cs.LG eess.AS
Phonetic-assisted Multi-Target Units Modeling for Improving Conformer-Transducer ASR system
Shanghai Normal University（上海师范大学）
本文提出语音辅助多目标单元（PMU）建模方法，通过融合发音辅助子词建模与BPE单元，在CTC和Transducer多任务训练中增强Conformer编码器，在LibriSpeech及带口音ASR任务上显著降低词错误率。
2023-07-07 cs.SD eess.AS
Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR
Google LLC（谷歌公司）
本文设计了一种优化的 Conformer，通过纯卷积块替换、架构缩减和 RNNAttention-Performer 等技术，在 TPU 上实现快速推理，延迟降低 6.8 倍，并通过级联编码器设置完全恢复识别准确率，适用于端上和云端 ASR。
2023-03-31 cs.CL cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Raw Waveform Encoder with Multi-Scale Globally Attentive Locally Recurrent Networks for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
端到端语音识别通常使用手工设计的声学特征作为输入，并且将特征提取模块从其联合优化中排除。为了提取可学习和自适应的特征并减少信息丢失，我们提出了一种新的编码器，该编码器采用全局注意局部递归（GALR）网络，并直接将原始波形作为输入。我们观察到改进的ASR性能和鲁棒性，通过在不同的窗口长度上应用GALR来将细粒度的时间信息聚合成多尺度的声学特征。实验在基准数据集AISHELL-2和两个5,000小时和21,000小时的大规模汉语语音语料库上进行。凭借更快的速度和可比的模型大小，我们提出的多尺度GALR波形编码器实现了一致的字符出错率降低（CERR）从7.9%到28.1%相对于强基线，包括构象和TDNN构象。特别是，我们的方法比传统的手工特征表现出显着的鲁棒性，并且在音乐混合的真实世界语音测试集上的表现优于基于MFCC的TDNN-Conformer模型的15.2%CERR。
2021-06-08 cs.AI cs.SD eess.AS
Low-resource speech recognition and dialect identification of Irish in a multi-task framework
Trinity College Dublin（都柏林三一学院）；Cambridge University（剑桥大学）
本文提出用InterCTC训练混合CTC/注意力模型，结合多任务微调和LM浅层融合，在爱尔兰语低资源ASR和DID上取得DID准确率相对提升10.8%、WER接近TDNN-HMM的效果。
2024-05-02 cs.AI cs.CL cs.SD
Conformer-1: Robust ASR via Large-Scale Semisupervised Bootstrapping
AssemblyAI Inc.（AssemblyAI公司）
本研究提出端到端ASR模型Conformer-1，利用公开语音数据生成伪标签并结合噪声学生训练开展半监督学习，有效提升了识别准确率与噪声鲁棒性。
2024-04-12 cs.CL cs.LG cs.SD
Pretraining Conformer with ASR or ASV for Anti-Spoofing Countermeasure
University of Yamanashi（山梨大学）；Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
本文提出基于迁移学习的MFA-Conformer反欺骗对策，通过ASR或ASV预训练增强鲁棒性，在FAD干净集上EER达0.04%，显著优于基线并与Wav2Vec 2.0方法相当。
2023-10-30 cs.SD eess.AS
Towards One-bit ASR: Extremely Low-bit Conformer Quantization Using Co-training and Stochastic Precision
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出利用多精度模型协同训练、随机精度及张量级可学习缩放因子，实现Conformer ASR系统的2-bit和1-bit极低位宽量化，在Switchboard和LibriSpeech语料库上分别达到16.2倍和16.6倍的无损压缩比且词错率无显著增加。
2025-05-27 cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
SC-MoE: Switch Conformer Mixture of Experts for Unified Streaming and Non-streaming Code-Switching ASR
HiThink RoyalFlush AI Research Institute（HiThink RoyalFlush AI研究院）
本文提出SC-MoE，一种基于Switch-Conformer的专家混合系统，通过编码器中的CTC损失LID路由器及解码器MoE层，实现统一流式与非流式代码切换ASR，在保持计算效率的同时显著提升识别性能。
2024-06-26 cs.LG cs.SD eess.AS
Modular Domain Adaptation for Conformer-Based Streaming ASR
Google LLC（谷歌有限责任公司）
提出模块化领域自适应（MDA）框架，通过在Conformer编码器中添加领域特定的适配器和前馈网络，使单一模型在保持参数领域特定性的同时处理多领域数据，并在语音搜索和听写等任务上达到与多领域模型相似的性能。
2023-05-22 cs.CL cs.LG cs.SD
A Conformer-based Waveform-domain Neural Acoustic Echo Canceller Optimized for ASR Accuracy
Google LLC（谷歌有限责任公司）
声学回声消除（AEC）对于准确识别向正在播放音频的智能扬声器发出的查询至关重要。先前的工作已经表明，当利用预训练的ASR模型编码器利用辅助损失进行优化时，对log-mel频谱特征（下文中表示为“logmel”）进行操作的神经AEC模型可以极大地提高自动语音识别（ASR）准确度。在本文中，我们开发了一个基于一致性的波形域神经AEC模型的启发“TasNet”架构。该模型通过在大型语音数据集上联合优化负尺度不变SNR（SISNR）和ASR损失来训练。在一个现实的重录测试集上，我们发现级联线性自适应AEC和波形域神经AEC是非常有效的，单独线性AEC的字错误率（WER）降低了56-59%。在该测试集上，1.6M参数波形域神经AEC在易于调节的条件下也比更大的6.5M参数对数域神经AEC模型提高了20-29%。通过在较小的帧上操作，波形神经模型能够在较小的尺寸下执行得更好，并且更适合于存储器有限的应用。
2022-05-06 cs.SD eess.AS eess.SP
Improved Conformer-based End-to-End Speech Recognition Using Neural Architecture Search
University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
最近，神经结构搜索（NAS）已被成功地用于图像分类，自然语言处理，和自动语音识别（ASR）的任务，寻找国家的最先进的（SOTA）的架构比那些人类设计的架构。NAS可以通过搜索算法从预定义的搜索空间中获得验证数据上的SOTA和数据特定架构。受NAS在ASR任务中的成功启发，我们提出了一个基于NAS的ASR框架，该框架包含一个搜索空间和一个可区分的搜索算法，称为可区分的架构搜索（DARTS）。我们的搜索空间遵循卷积增强的Transformer（Conformer）主干，这是一个比现有的基于NAS的ASR框架中使用的更具表现力的ASR架构。为了提高算法的性能，采用了动态搜索调度（DSS）的调整方法。在一个广泛使用的普通话基准AISHELL-1上，我们的最佳搜索架构明显优于基线一致模型，约11%的CER相对改善，我们的方法被证明是非常有效的搜索成本比较。
2021-04-13 cs.SD eess.AS
Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本文研究了Conformer ASR系统在老年和构音障碍语音识别中的超参数自适应方法，发现其相比仅参数微调在DBank和UASpeech任务上分别降低0.45%和0.67%的词错率，且性能提升与源域和目标域数据的相对话语长度比相关。
2023-06-27 cs.LG eess.AS
Domain Adaptation of low-resource Target-Domain models using well-trained ASR Conformer Models
IIT Madras（印度理工学院马德拉斯分校）
本文提出利用训练良好的ASR模型编码器层嵌入作为低资源目标域Conformer模型的特征，并辅以SpecAug增强，在LibriSpeech-100-clean和WSJ上分别取得30%和50%的相对改进。
2023-05-29 cs.SD eess.AS
Promptformer: Prompted Conformer Transducer for ASR
Amazon AGI（亚马逊AGI）
本文提出Promptformer，通过超提示机制将文本上下文融入Conformer Transducer的注意力模块，在多轮ASR交互中实现5.9%的相对词错误率降低，且无上下文时性能不退化。
2024-01-14 cs.CL cs.SD eess.AS
Towards Effective and Efficient Non-autoregressive decoders for Conformer and LLM-based ASR using Block-based Attention Mask
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Tsinghua University（清华大学）；National Research Council Canada（加拿大国家研究委员会）；Nanyang Technological University（南洋理工大学）
针对ASR中AR解码器并行化效率低的问题，提出块基注意力掩码解码器（AMD），在Conformer和LLM-based ASR系统上平衡性能与效率，实现解码加速且无精度损失，还能灵活权衡性能效率。
2025-11-12 eess.AS
MFA-Conformer: Multi-scale Feature Aggregation Conformer for Automatic Speaker Verification
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）；National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
在本文中，我们提出了多尺度特征聚合一致性（MFA-Conformer），一个易于实现的，简单，但有效的骨干自动说话人确认的卷积增强的Transformer（Conformer）的基础上。MFA-Conformer的架构受到了语音识别和说话人验证中最新模型的启发。首先，我们引入卷积子采样层来降低模型的计算成本。其次，我们采用了Conformer模块，它结合了Transformers和卷积神经网络（CNN），以有效地捕获全局和局部特征。最后，来自所有Conformer块的输出特征图在最终池化之前被连接以聚合多尺度表示。我们在广泛使用的基准上评估MFA-Conformer。最佳系统在VoxCeleb 1-O、SITW.Dev和SITW.Eval集上分别获得0.64%、1.29%和1.63%的EER。MFA-Conformer在识别性能和推理速度方面都明显优于流行的ECAPA-TDNN系统。最后，消融研究清楚地表明，全局和局部特征学习的结合可以导致鲁棒和准确的说话人嵌入提取。我们还发布了代码以供将来比较。
2022-11-11 cs.SD eess.AS
Code-Switched Urdu ASR for Noisy Telephonic Environment using Data Centric Approach with Hybrid HMM and CNN-TDNN
Pakistan Navy Engineering College（巴基斯坦海军工程学院）；National University of Science and Technology（国立科技大学）；Bahria University Karachi Campus（巴哈里亚大学卡拉奇校区）
针对嘈杂呼叫中心场景下乌尔都语语码切换ASR资源受限的问题，本文提出混合HMM与CNN-TDNN的高效框架，结合数据标注优化，在干净/嘈杂环境的孤立词与连续语音中均实现5.2%的WER。
2023-07-24 cs.CL cs.SD eess.AS
SSCFormer: Push the Limit of Chunk-wise Conformer for Streaming ASR Using Sequentially Sampled Chunks and Chunked Causal Convolution
Rice University（莱斯大学）；Colorado State University（科罗拉多州立大学）
SSCFormer通过顺序采样块和分块因果卷积技术，在流式ASR中实现全局上下文捕获与线性复杂度推理，AISHELL-1上CER达5.33%，优于U2基线。
2024-02-04 cs.CL cs.SD eess.AS
A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks
Carnegie Mellon University（卡内基梅隆大学）；ASAPP Inc.（ASAPP公司）
本研究通过大量端到端实验对比了E-Branchformer与Conformer编码器，发现在15个ASR、2个ST和3个SLU基准测试中，E-Branchformer表现相当或更优且训练更稳定。
2023-05-18 cs.CL cs.SD eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge（三星剑桥人工智能中心）
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题，将SummaryMixing扩展至支持流/离线模式的Conformer Transducer，实现线性复杂度，且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
I-Parakeet: Integer-Only Conformer ASR on Mobile NPU
Sony Interactive Entertainment（索尼互动娱乐）
提出I-Parakeet，一种纯整数实现的Conformer ASR模型，通过整数注意力、Swish近似和激活校准，在移动NPU上实现4.97% WER，速度比CPU快7.5倍。
2026-09-28 cs.CL cs.SD eess.AS
Multi-Convformer: Extending Conformer with Multiple Convolution Kernels
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）
提出Multi-Convformer，在Conformer卷积模块中结合门控机制使用多个卷积核以建模不同粒度的局部依赖，在多数据集和建模范式下最高实现8%相对词错率降低，且参数效率优于现有变体。
2024-07-24 cs.AI cs.CL cs.LG
2-bit Conformer quantization for automatic speech recognition
本文研究将ASR模型权重量化至2-bit，结合对称/非对称量化、子通道量化和裁剪，在LibriSpeech上实现无损且模型缩小32%，在大规模数据上缩小超40%但词错误率相对上升17%。
2023-05-26 eess.AS
A Conformer-based ASR Frontend for Joint Acoustic Echo Cancellation, Speech Enhancement and Speech Separation
Google LLC（谷歌有限责任公司）
我们提出了一种提高自动语音识别（ASR）的鲁棒性的前端，该前端在单个模型中联合实现三个模块：声学回声消除、语音增强和语音分离。这通过使用上下文增强神经网络来实现，该上下文增强神经网络可以可选地利用不同类型的侧输入：（1）回放音频的参考信号，其对于回声消除是必要的;（2）噪声上下文，其对于语音增强是有用的;以及（3）表示感兴趣的目标说话者的语音特征的嵌入向量，这不仅在语音分离中是关键的，而且有助于回声消除和语音增强。我们提出了详细的评估表明，联合模型的性能几乎以及特定于任务的模型，并显着降低在嘈杂的条件下，即使使用大规模的最先进的ASR模型的单词错误率。与噪声基线相比，联合模型在低信噪比条件下将回声消除数据集上的单词错误率降低了至少71%，在噪声数据集上降低了10%，在多说话者数据集上降低了26%。与特定于任务的模型相比，联合模型在回声消除数据集上的性能在10%以内，在噪声数据集上的性能在2%以内，在多说话者数据集上的性能在3%以内。
2021-11-18 cs.SD eess.AS
Multi-Level Embedding Conformer Framework for Bengali Automatic Speech Recognition
Dhaka International University（达卡国际大学）；Dhaka University of Engineering & Technology（达卡工程技术大学）
本文提出多级嵌入Conformer框架，通过整合音素、音节和词片表示，提升孟加拉语ASR的识别性能，达到词错误率10.01%和字符错误率5.03%。
2025-12-23 cs.CL eess.AS
Mixture-of-Expert Conformer for Streaming Multilingual ASR
Google LLC（谷歌有限责任公司）
本文提出一种融合专家混合层的流式多语言 Conformer，在推理时仅激活固定数量参数，在 12 种语言上相比基线平均相对降低 11.9% 的词错误率，且无需语言信息即可达到与适配器模型相当的性能。
2023-05-25 cs.CL cs.SD eess.AS
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition
University of Galway（戈尔韦大学）；C3 Imaging Research Center（C3成像研究中心）
针对儿童语音识别难度高的问题，对比分析Conformer-transducer、wav2vec2和Whisper三种模型在儿童语音上的适配效果，发现wav2vec2的性能提升最稳定。
2023-11-07 cs.AI cs.CL cs.SD
A Better and Faster End-to-End Model for Streaming ASR
Google LLC, USA（谷歌有限责任公司）
端到端（E2 E）模型在许多维度上都表现出优于流语音识别的最先进的传统模型[1]，包括质量（以字错误率（WER）衡量）和端点延迟[2]。然而，该模型仍然倾向于在最后延迟预测，因此与传统的ASR模型相比，具有更高的部分延迟。为了解决这个问题，我们考虑通过一种名为FastEmit的算法来鼓励E2 E模型尽早发出单词。当然，延迟的改善导致质量下降。为了解决这个问题，我们探索用Conformer层[4]替换E2 E模型编码器中的LSTM层，这对ASR有很好的改进。其次，我们还探索运行第二遍波束搜索以提高质量。为了确保第二遍快速完成，我们探索了馈送到相同的第一遍RNN-T解码器的非因果Conformer层，该算法称为级联编码器[5]。总的来说，我们发现具有级联编码器的Conformer RNN-T为流式ASR提供了更好的质量和延迟权衡。
2021-02-11 cs.SD eess.AS
Dynamic Chunk Convolution for Unified Streaming and Non-Streaming Conformer ASR
AWS AI Labs（亚马逊云科技人工智能实验室）
针对流式与非流式统一语音识别模型性能差距较大的问题，提出动态块卷积替换Conformer架构中的因果卷积，结合全上下文模型权重初始化与模块并行化，显著降低流式模式性能下降，提升了统一模型的识别精度。
2023-04-25 cs.SD eess.AS
Unfolding A Few Structures for The Many: Memory-Efficient Compression of Conformer and Speech Foundation Models
The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Institute of Software（软件研究所）；Department of Electronic Engineering（电子工程系）
本文提出一种内存高效的模型压缩方法，通过训练并多次展开少量结构的种子模型来模拟大模型，结合自蒸馏最小化性能差距，在Conformer和wav2vec2上实现无性能损失的参数量减少。
2025-05-27 cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
ChunkFormer: Masked Chunking Conformer For Long-Form Speech Transcription
ZaloAI（扎洛AI）；Ho Chi Minh City University of Science（胡志明市科学大学）；Vietnam National University（越南国家大学）
针对长语音转录中Conformer模型处理时长有限、标准批处理填充导致资源浪费的问题，提出带相对右上下文分块处理和掩码批处理的ChunkFormer，可在80GB GPU处理16小时音频，词错率最多降7.7%，批处理耗时和显存占用降3倍以上。
2025-02-20 cs.SD eess.AS
Multi-stage Progressive Compression of Conformer Transducer for On-device Speech Recognition
Samsung Research（三星研究院）
智能设备中较小的内存带宽促使开发较小的自动语音识别（ASR）模型。为了获得较小的模型，可以采用模型压缩技术。知识蒸馏（KD）是一种流行的模型压缩方法，它可以实现较小的模型大小，同时降低模型性能。在这种方法中，知识是从一个受过训练的大尺寸的教师模型提取到一个较小尺寸的学生模型。此外，基于换能器的模型最近已被证明对于设备上流式传输ASR任务表现良好，而一致性模型在处理长期依赖性方面是有效的。因此，在这项工作中，我们采用了一个流传感器架构与conformer作为编码器。我们提出了一个多阶段的渐进方法来压缩的构象换能器模型使用KD。我们逐步更新我们的教师模型与蒸馏学生模型在多阶段设置。在标准LibriSpeech数据集上，我们的实验结果成功地实现了大于60%的压缩率，与较大的教师模型相比，性能没有显着下降。
2022-10-01 cs.LG cs.SD eess.AS
Cross-Dataset, Age, and Gender Generalization: A Comprehensive Analysis of Fine-Tuning Strategies for Low-Resource Children's ASR
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（印度西西姆国立技术学院电子与通信工程系）；Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA（美国南加州大学洛杉矶分校信号分析与解释实验室）
针对低资源儿童语音识别，系统分析了不同微调策略在跨数据集、年龄和性别泛化上的表现，发现特定策略能显著提升泛化能力。
2026-06-24 cs.AI cs.SD eess.AS
One-pass Multiple Conformer and Foundation Speech Systems Compression and Quantization Using An All-in-one Neural Model
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
提出一体化神经模型的单遍多 ASR 系统联合压缩量化方法，可一次构建多种嵌套配置，并在显著压缩模型、缩短训练时间的同时保持或降低 WER。
2024-06-14 cs.AI cs.SD eess.AS
ASR-Aware End-to-end Neural Diarization
Amazon Alexa AI（亚马逊Alexa人工智能部门）
我们提出了一个基于Conformer的端到端神经日志化（EEND）模型，该模型使用来自自动语音识别（ASR）模型的声学输入和特征。两类功能进行了探讨：功能直接来自ASR输出（电话，在词中的位置和词的边界）和功能来自词汇说话人变化检测模型，通过微调预训练的BERT模型的ASR输出进行训练。三个修改的一致性为基础的EEND体系结构，提出了将功能。首先，将ASR特征与声学特征级联。其次，我们提出了一种新的注意力机制，称为语境化的自我注意，利用ASR功能来建立强大的发言人表示。最后，使用多任务学习来训练模型，以最小化ASR特征的分类损失以及日志化损失。在Switchboard+SRE数据集上的两人英语会话上的实验表明，利用词中位置信息的多任务学习是利用ASR特征的最有效方法，相对于基线，将日志化出错率（DER）降低了20%。
2022-02-02 cs.CL cs.SD eess.AS
Confidence Score Based Conformer Speaker Adaptation for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
自动语音识别（ASR）系统的一个关键挑战是对说话人电平的变化进行建模。在本文中，紧凑的说话人相关学习隐藏单元贡献（LHUC）被用来促进说话人自适应训练（SAT）和测试时间无监督说话人自适应国家的最先进的基于Conformer的端到端ASR系统。使用基于置信度分数的对说话者特定数据的更“可信”子集的选择来降低对监督错误率的适应期间的灵敏度。置信度估计模块用于在用作置信度分数之前平滑过度置信的Conformer解码器输出概率。使用贝叶斯估计的LHUC参数，由于扬声器级数据选择的数据稀疏性增加。在300小时的Switchboard语料库上的实验表明，基于置信度分数的测试时间无监督自适应的LHUC-SAT Conformer系统的性能比基本的说话人独立和i向量自适应Conformer系统分别高出1.0%、1.0%和1.2 NIST Hub 5 '00、RT 02和RT 03评估集上的字错误率（WER）分别降低了9.0%、7.9%和8.9%（相对）。在使用外部Transformer和LSTM语言模型进行重新评分后，保持了一致的性能改进。
2022-06-24 cs.SD eess.AS
Confidence Score Based Speaker Adaptation of Conformer Speech Recognition Systems
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
说话人自适应技术为个体用户定制自动语音识别（ASR）系统提供了一种强大的解决方案。基于无监督模型的说话人自适应技术在数据密集型端到端ASR系统中的实际应用受到说话人级别数据的稀缺性和对转录错误的性能敏感性的阻碍。为了解决这些问题，一组紧凑和数据高效的说话人相关（SD）参数表示，以促进说话人自适应训练和测试时间无监督说话人自适应的国家的最先进的构象ASR系统。使用基于置信度分数的扬声器级自适应数据的较少错误子集的选择来降低对监督质量的敏感度。提出了两个轻量级的置信度估计模块，以产生更可靠的置信度。的数据稀疏性问题，这是加剧了数据的选择，解决了建模的SD参数的不确定性，使用贝叶斯学习。在基准300小时Switchboard和233小时AMI数据集上的实验表明，所提出的基于置信度分数的自适应方案始终优于基线说话者独立（SI）Conformer模型和传统的非贝叶斯，基于点估计的自适应，不使用说话者数据选择。在外部Transformer和LSTM语言模型重新评分后，保持了类似的一致性能改进。特别是，在300小时Switchboard语料库中，NIST Hub5'00、RT02和RT03评价集上的基线SI Conformer分别获得了1.0%、1.3%和1.4%的绝对（9.5%、10.9%和11.3%）统计学显著WER降低。在AMI发展和评价集上也获得了相似的绝对WER降低2.7%和3.3%（…
2023-02-15 cs.SD eess.AS
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.（Freshworks公司）
Transformers最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。在这项工作中，我们提出了一个基于多任务学习的Transformer模型，用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器（PHN-DEC）的音素识别任务和字素解码器（GRP-DEC）预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案，在预测字素序列之前将语言信息注入模型。我们的实验表明，我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明，我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后，我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
Exploring RWKV for Memory Efficient and Low Latency Streaming ASR
Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
本文将兼具 transformer 性能与 RNN 效率的 RWKV 用于流式 ASR，在 100 至 10000 小时数据上验证其准确率相当或更优，并显著降低延迟和内存开销。
2023-09-26 cs.SD eess.AS
Augmenting conformers with structured state-space sequence models for online speech recognition
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；Google LLC.（谷歌有限责任公司）
针对在线语音识别中左侧上下文受限的问题，提出将结构化状态空间序列模型（S4）与卷积结合以增强Conformer编码器，最佳设计为小型S4与局部卷积堆叠，在Librispeech上取得4.01%/8.53%的WER，优于调优卷积的Conformer。
2023-12-27 cs.CL cs.SD eess.AS
Semi-supervised acoustic model training for five-lingual code-switched ASR
Stellenbosch University（斯泰伦博斯大学）；National University of Singapore（新加坡国立大学）
本文介绍了在声学建模的资源不足的代码切换（CS）语音在多种南非语言的最新进展。我们考虑两种方法。第一个构造单独的双语声学模型，对应于语言对（英语-isiZulu，英语-isiXhosa，英语-Sethem和英语-Seshem）。第二个构建了一个统一的五种语言的声学模型，代表所有的语言（英语，isiZulu，isiXhosa，Seturan和Sesuran）。对于这两种方法，我们考虑半监督训练的有效性，以增加非常稀疏的声学训练集的大小。使用大约11个小时的未转录语音，我们表明这两种方法都受益于半监督训练。双语TDNN-F声学模型也受益于添加CNN层（CNN-TDNN-F），而五种语言系统没有显示出任何显著的改进。此外，由于英语对我们数据中的所有语言对都是通用的，因此在训练统一的语言模型时，它占主导地位，从而以牺牲其他语言为代价提高英语ASR性能。尽管如此，五种语言模型提供了灵活性，因为它可以同时处理两种以上的语言，因此作为半监督训练管道中的自动转录系统是一个有吸引力的选择。
2019-10-15 cs.CL cs.SD eess.AS
SRU++: Pioneering Fast Recurrence with Attention for Speech Recognition
ASAPP Inc.（ASAPP公司）；Carnegie Mellon University（卡内基梅隆大学）
由于Transformer的注意力机制在捕获长距离依赖关系方面表现出色，因此在包括自动语音识别（ASR）在内的大多数序列转换任务中，它已被广泛采用为主导架构。虽然仅基于注意力构建的模型可以比常规RNN更好地并行化，但最近提出了一种新的网络架构SRU++。通过结合快速递归和注意力机制，SRU++在序列建模方面表现出强大的能力，并在各种语言建模和机器翻译任务中实现了接近最先进的结果，提高了计算效率。在这项工作中，我们提出了在ASR任务中应用SRU++的优势，通过比较与Conformer在多个ASR基准，并研究如何可以推广到长形式的语音输入的好处。在流行的LibriSpeech基准测试中，我们的SRU++模型在test-clean / test-other上实现了2.0% / 4.7%的WER，与相同设置下最先进的Conformer编码器相比，表现出了竞争力。具体来说，根据我们的分析，SRU++在长格式语音输入方面可以超过Conformer。
2021-10-11 cs.CL eess.AS
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
