Contextualized Streaming End-to-End Speech Recognition with Trie-Based Deep Biasing and Shallow Fusion
Facebook AI
如何在端到端语音识别中充分利用动态上下文信息一直是一个活跃的研究领域。以前解决这个问题的方案要么是针对特殊用例设计的，这些用例不能很好地推广到开放域场景，不能扩展到大型偏置列表，或者在罕见的长尾词上表现不佳。我们通过提出一种新的解决方案来解决这些限制，该解决方案结合了浅层融合、基于trie的深度偏置和神经网络语言模型上下文化。这些技术导致显着的19.5%的相对字出错率改善现有的上下文偏置方法和5.4%-9.3%的改善相比，一个强大的混合基线上的开放域和受约束的上下文任务，其中的目标包括大多数罕见的长尾词。我们的最终系统仍然是轻量级和模块化的，允许快速修改，而无需模型重新训练。
2021-06-11 cs.CL cs.LG eess.AS
Improving Synthetic Data Training for Contextual Biasing Models with a Keyword-Aware Cost Function
College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
针对上下文偏置模型在合成数据训练中的过拟合问题，提出关键词感知损失函数，增强TCPGen方法，将Whisper适配10小时合成数据后，词错误率从29.71%降至11.81%。
2025-09-11 cs.AI cs.CL
Improving ASR Contextual Biasing with Guided Attention
ASAPP
本文提出引导注意力辅助训练损失，在不增加参数的情况下提升ASR上下文偏置效果，并缓解偏置短语增多时WER降低效果减弱的问题。
2024-01-16 cs.CL eess.AS
A Neural Model for Contextual Biasing Score Learning and Filtering
Computer Science Department University of Iowa（计算机科学系 印第安纳大学）
本研究提出一种用于上下文偏置分数学习与过滤的神经模型，通过基于注意力的偏置解码器和逐词元判别目标生成候选短语分数，可过滤低概率短语并提升浅层融合偏置的识别准确率，模型模块化适配性强。
2025-10-27 cs.AI cs.CL cs.SD
Can Contextual Biasing Remain Effective with Whisper and GPT-2?
University of Cambridge（剑桥大学）
本文针对 Whisper 与 GPT-2 中的低频实词识别问题，提出适配 TCPGen 的神经上下文偏置方法及专用训练方案，在不修改 Whisper 参数的前提下显著降低偏置词错误并保持模型通用性。
2023-06-02 cs.CL cs.SD eess.AS
Minimising Biasing Word Errors for Contextual ASR with the Tree-Constrained Pointer Generator
本文提出树约束指针生成器TCPGen及MBWE损失、BLMD方法，使端到端ASR高效利用上下文长尾词列表，并在Librispeech和DSTC上显著降低偏置词与集外词WER。
2022-05-23 cs.CL cs.SD eess.AS
Robust Acoustic and Semantic Contextual Biasing in Neural Transducers for Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对神经传感器语音识别，提出结合轻量级字符编码声学偏置与预训练语言模型语义偏置的上下文偏置方法，显著提升罕见词识别，相对WER改进达36.8%。
2023-05-09 cs.CL cs.LG cs.SD
Lightweight Prompt Biasing for Contextualized End-to-End ASR Systems
Microsoft, One Microsoft Way, Redmond, USA（微软）
本文提出了一种轻量级提示偏置方法，通过统一多任务学习框架提升端到端ASR对罕见和领域特定实体的识别准确率。
2025-08-15 cs.CL eess.AS
Boundary-Free Contextual Biasing: Depth-Adaptive Gating and Reading-Space Matching for Unsegmented Languages
Recho Inc.（Recho公司）
提出无边界上下文偏置解码器，利用字符级Aho-Corasick自动机与深度门控和阅读空间匹配，在日语和汉语无词边界场景下提升罕见词召回率，并发布首个开放日语基准。
2026-10-08 cs.CL cs.SD eess.AS
Enhancing the Robustness of Contextual ASR to Varying Biasing Information Volumes Through Purified Semantic Correlation Joint Modeling
Research Center of Auditory Intelligence（听觉智能研究中心）；School of Computer Science and Technology（计算机科学与技术学院）；Faculty of Computing（计算学院）；Harbin Institute of Technology（哈尔滨工业大学）
针对上下文ASR中偏置信息量变化影响识别性能的问题，提出PSC-Joint方法，通过联合建模列表级、短语级和词元级语义相关性并采用净化机制，在AISHELL-1和KeSpeech上分别提升F1分数21.34%和28.46%。
2025-09-07 cs.CL cs.SD eess.AS
Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems
Microsoft（微软）
上下文偏置是端到端自动语音识别（ASR）系统中一个重要且具有挑战性的任务，其目的是通过将ASR系统偏置到特定的上下文短语（如人名、音乐列表、专有名词等）来获得更好的识别性能。现有的方法主要包括上下文LM偏置和在端到端ASR模型中添加偏置编码器。在这项工作中，我们引入了一种新的方法来做上下文偏置添加上下文拼写校正模型上的端到端ASR系统。我们将上下文信息与共享的上下文编码器的序列到序列的拼写校正模型。我们提出的模型包括两种不同的机制：自回归（AR）和非自回归（NAR）。我们提出了过滤算法来处理大尺寸的上下文列表，和性能平衡机制来控制模型的偏置程度。我们证明了所提出的模型是一个一般的偏置解决方案，这是域不敏感，可以在不同的情况下采用。实验结果表明，该方法实现了高达51%的相对字出错率（WER）减少ASR系统，并优于传统的偏置方法。与AR模型相比，NAR模型的模型规模减少了43.2%，推理速度提高了2.1倍。
2022-09-07 cs.CL cs.SD eess.AS
Tree-constrained Pointer Generator for End-to-end Contextual Speech Recognition
Cambridge University（剑桥大学）
背景知识对于真实世界的自动语音识别（ASR）应用是重要的。在本文中，提出了一种新的树约束指针生成器（TCPGen）组件，将这样的知识作为一个列表的偏置单词到基于注意力的编码器-解码器和换能器端到端ASR模型中的神经符号的方式。TCPGen将偏置词构造成有效的前缀树作为其符号输入，并在树和最终ASR输出分布之间创建神经捷径，以便于在解码期间识别偏置词。在Librispeech语料库上对系统进行了训练和评估，其中在话语，章节或书籍的尺度上提取了偏见词，以模拟不同的应用场景。实验结果表明，TCPGen一贯改善字出错率（WER）相比，基线，特别是，取得了显着的WER减少偏见的话。TCPGen非常高效：它可以处理5，000个偏置词和干扰项，并且只会增加少量的内存使用和计算开销。
2021-09-17 cs.CL cs.SD
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
Text Injection for Neural Contextual Biasing
Google LLC.（谷歌公司）
本文提出上下文文本注入 CTI 及 CTI-MWER 训练，利用海量非成对文本引导 ASR 模型关注偏置短语，显著降低词错率。
2024-06-11 cs.AI cs.CL cs.LG
Tree-constrained Pointer Generator with Graph Neural Network Encodings for Contextual Speech Recognition
Cambridge University（剑桥大学）
对作为上下文知识获得的偏置词进行分类对于许多自动语音识别（ASR）应用是至关重要的。本文提出了使用图神经网络（GNN）编码的树约束指针生成器（TCPGen）组件的端到端上下文ASR。通过使用基于树的GNN对前缀树中的偏置词进行编码，通过合并关于以其为根的树枝上的所有词段的信息，在每个树节点处实现端到端ASR解码中的未来词段的前瞻，这允许更准确地预测偏置词的生成概率。系统进行了评估Librispeech语料库使用模拟偏置任务，并提出了一种新的视觉接地上下文ASR管道，提取偏置的话幻灯片旁边的每个会议的AMI语料库。结果表明，与原始TCPGen相比，具有GNN编码的TCPGen在偏置字上实现了约15%的相对WER降低，而解码的计算成本的增加可以忽略不计。
2022-07-02 cs.CL cs.SD eess.AS
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University（西北工业大学）
针对流式语音识别中个性化词偏置损害常用词识别的问题，提出基于CATT的自适应上下文偏置方法，动态开关偏置列表，显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
XCB: an effective contextual biasing approach to bias cross-lingual phrases in speech recognition
IT Innovation and Research Center, Huawei Technologies Co., Ltd.（华为技术有限公司IT创新研究中心）
本研究提出XCB模块，通过辅助语言偏置和语言特定损失增强预训练ASR模型，有效提升语码转换中次要语言短语的识别准确率，且无额外推理开销。
2024-08-20 cs.AI cs.CL cs.SD
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出自动文本发音相关性（ATPC）方法，利用语音与文本标注对齐和语音嵌入距离比较，在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
Locality enhanced dynamic biasing and sampling strategies for contextual ASR
Samsung Research UK（三星英国研究院）；Centre for Research and Technology Hellas（希腊研究与技术中心）；Samsung Electronics（三星电子）
本文分析上下文 ASR 偏置训练中的采样策略，并提出邻域注意力以局部化自注意力、优化偏置输出，在 LibriSpeech 和稀有词评估上取得 25.84% 的相对 WER 改善。
2024-01-23 cs.CL cs.SD eess.AS
CB-Conformer: Contextual biasing Conformer for biased word recognition
XVerse Inc.（X Verse公司）
本文提出 CB-Conformer，通过轻量上下文偏置模块和依据召回率、精确率调节权重的自适应语言模型提升偏置词识别，并发布基于 WenetSpeech 的开源普通话数据集。
2023-04-25 cs.CL cs.SD eess.AS
Improving Neural Biasing for Contextual Speech Recognition by Early Context Injection and Text Perturbation
Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi Corp.（小米公司）
针对上下文语音识别的神经偏置优化，提出早期上下文注入与文本扰动训练两种技术，显著降低稀有词错误率，在多个数据集上取得性能提升。
2024-07-14 cs.CL eess.AS
Phoneme-Based Contextualization for Cross-Lingual Speech Recognition in End-to-End Models
Google, LLC（谷歌有限责任公司）
上下文自动语音识别，即，在端到端（E2E）模型中，将识别偏向给定的上下文（例如，用户的播放列表或联系人）是具有挑战性的。这种模型在波束搜索解码期间保持有限数量的候选者，并且已经发现识别罕见的命名实体很差。当偏向于外语中的专有名词时，这个问题会加剧，例如，地理位置名称，在训练中几乎看不到，因此是词汇表外（OOV）。虽然字素或词段E2E模型可能很难拼写OOV单词，但音素在声学上更突出，过去的工作表明E2E音素模型可以更好地预测这些单词。在这项工作中，我们提出了一个E2E模型，包含英语单词和音素的建模空间，并执行上下文偏置的外国单词在音素层面上的外国单词的发音映射到类似的英语音素。在实验评估中，我们发现，所提出的方法比一个纯字素偏置模型的性能好16%，比一个纯字段偏置模型在外国地名识别任务上的性能好8%，在常规英语任务上只有轻微的退化。
2019-07-22 cs.CL cs.SD eess.AS
OWSM-Biasing: Contextualizing Open Whisper-Style Speech Models for Automatic Speech Recognition with Dynamic Vocabulary
SB IntuitionsJapan（SB Intuitions日本）
本文提出将现有上下文偏置方法集成到冻结参数的 OWSM v3.1 中，以借助预训练语音基础模型知识改善罕见词识别，并在 LibriSpeech 上显著降低 B-WER、WER 和实时因子。
2025-06-11 cs.CL cs.SD eess.AS
A Multitask Training Approach to Enhance Whisper with Contextual Biasing and Open-Vocabulary Keyword Spotting
Huawei Translation Services Center（华为翻译服务中心）
本文提出KWS-Whisper，通过在Whisper编码器隐藏状态上进行开放词汇关键词识别，并以多任务训练结合上下文ASR，显著提升罕见命名实体的识别召回率，且OV-KWS可作为即插即用模块增强纠错与冻结模型。
2024-06-06 cs.AI cs.CL
Improving Contextual Spelling Correction by External Acoustics Attention and Semantic Aware Data Augmentation
Microsoft Corporation（微软公司）
我们以前提出了上下文拼写校正（CSC），以纠正输出端到端（E2 E）自动语音识别（ASR）模型与上下文信息，如姓名，地点等，虽然CSC已经取得了合理的改善偏置问题，仍然有两个缺点，进一步提高准确性。首先，由于纯文本假设中的信息限制或ASR模型在稀有域上的弱性能，CSC模型可能无法纠正具有相似发音的短语或反上下文情况，其中所有偏见短语都不存在于话语中。第二，CSC的训练和推理之间存在差异。训练中的偏差列表是随机选择的，但在推理中，地面真实短语和其他短语之间可能存在更多的相似性。针对上述问题，本文提出了一种改进的非自回归（NAR）拼写纠正模型，用于E2 E神经元ASR系统中的语境偏差问题，从两个方面对已有的CSC模型进行了改进：首先，在CSC模型中加入了带有外部注意力的声学信息以及文本假设，以更好地区分目标短语和不相似或不相关的短语。其次，我们在训练短语中设计了一个语义感知的数据增强模式，以减少训练和推理之间的不匹配，从而进一步提高偏置精度。实验结果表明，在不同的偏置列表名字覆盖率下，改进的方法比基准ASR+Biasing系统的相对名字召回率提高了20.3%，并且与之前的CSC方法相比，取得了稳定的改进。
2023-02-22 cs.CL cs.LG cs.SD
Approximate Nearest Neighbour Phrase Mining for Contextual Speech Recognition
University of Amsterdam（阿姆斯特丹大学）；Apple（苹果公司）
提出从上下文编码器潜在空间用近似最近邻搜索挖掘困难负短语以训练端到端 CATT，增强相似偏置短语区分能力，并在大规模及流式语音识别中降低词错率。
2023-08-16 cs.CL eess.AS
Class LM and word mapping for contextual biasing in End-to-End ASR
Apple（苹果公司）
近年来，全神经端到端（E2E）ASR系统在语音识别界获得了迅速的兴趣。它们将语音输入转换为单个可训练神经网络模型中的文本单元。在ASR中，许多话语包含丰富的命名实体。这样的命名实体可以是用户或位置特定的，并且在训练期间看不到它们。单一的模型使得在推理过程中利用动态上下文信息变得不灵活。在本文中，我们提出了训练上下文感知的E2E模型，并允许束搜索在推理过程中遍历到上下文FST。我们还提出了一种简单的方法来调整上下文FST和基础模型之间的成本差异。该算法能够减少命名实体话语WER的57%，而对规则话语的准确性几乎没有下降。虽然E2E模型不需要发音字典，但利用现有的发音知识来提高准确性是很有趣的。在本文中，我们提出了一种算法，通过发音映射到常见的词，并把映射的词作为替代形式的原始词在识别过程中。该算法进一步将命名实体话语上的WER降低了另外31%。
2020-08-10 cs.CL cs.SD eess.AS
Zero-shot Context Biasing with Trie-based Decoding using Synthetic Multi-Pronunciation
Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-国立科技大学全球可持续发展公司实验室）；Nanyang Technological University（南洋理工大学）；College of Computing and Data Science（计算与数据科学学院）
针对上下文ASR中OOV词识别的发音歧义等难题，提出合成驱动的多发音偏置方法，通过TTS合成样本提取发音变体构建前缀树辅助解码，在LibriSpeech上显著降低B-WER且不影响U-WER。
2025-09-02 cs.CL eess.AS
Record Deduplication for Entity Distribution Modeling in ASR Transcripts
Alexa AI, Amazon.com Inc（亚马逊公司Alexa AI）
针对语音助手实体集更新及ASR识别错误导致实体分布难获取的问题，提出用记录去重技术从ASR输出建模真实实体分布，可检索95%错识实体，搭配上下文偏置能降低5%相对词错误率。
2023-06-09 cs.CL
CIF-based Collaborative Decoding for End-to-end Contextual Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
端到端（E2 E）模型在多个语音识别基准测试中取得了可喜的成果，并显示出成为主流的潜力。然而，统一的结构和E2 E训练阻碍了将上下文信息注入到它们中以用于上下文偏置。虽然上下文LAS（CLAS）提供了一个很好的全神经解决方案，给定的上下文信息的偏差程度是不明确的控制。在本文中，我们专注于将上下文信息纳入连续集成和消防（CIF）为基础的模型，支持上下文偏置在一个更可控的方式。具体而言，引入额外的上下文处理网络来提取上下文嵌入，整合声学相关的上下文信息并解码上下文输出分布，从而与基于CIF的模型的解码器形成协作解码。在HKUST/AISHELL-2的命名实体丰富评估集上进行评估，与强基线相比，我们的方法使相对字符出错率（CER）降低了8.83%/21.13%，相对命名实体字符出错率（NE-CER）降低了40.14%/51.50%。此外，它保持了原有的评估集上的性能没有退化。
2021-02-18 cs.AI cs.CL cs.LG
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
NVIDIA（英伟达）
本文提出面向生产环境的TurboBias 2.0框架，通过GPU加速的不区分大小写增强图与每流批量解码，在兼顾低延迟高吞吐量的同时，提升了ASR系统的上下文短语识别效果，支持多用户个性化偏置及多种解码方式。
2026-08-24 cs.AI cs.CL cs.LG
BaLEEN: Biasing with Latent Encoded Entities for Context-Aware ASR
Sakana AI
BaLEEN提出一种基于超网络的轻量级上下文适配方法，利用预训练语言模型编码关键词并注入偏置向量，在不微调ASR模型的情况下，将关键词漏检率降低8.7%，词错误率提升21%，字符错误率提升28%。
2026-09-30 cs.AI cs.CL
Improving End-to-End Contextual Speech Recognition with Fine-Grained Contextual Knowledge Selection
Bytedance AI Lab（字节跳动人工智能实验室）；Chinese Academy of Sciences（中国科学院）
目前，大多数端到端的上下文语音识别方法都偏向于上下文知识。由于全神经上下文偏置方法依赖于短语级上下文建模和基于注意力的相关性建模，因此它们可能会遇到类似的上下文特定短语之间的混淆，这会损害令牌级的预测。在这项工作中，我们专注于减轻混淆问题与细粒度的上下文知识选择（FineCoS）。在FineCoS中，我们引入了细粒度的知识来减少令牌预测的不确定性。具体来说，我们首先应用短语选择来缩小短语候选者的范围，然后对所选择的短语候选者中的标记进行标记注意。此外，我们重新规范化的最相关的短语在推理中的注意力权重，以获得更集中的短语级上下文表示，并注入位置信息，以更好地区分短语或令牌。在LibriSpeech和内部160，000小时的数据集上，我们探索了基于可控全神经偏置方法，协作解码（ColDec）的方法。所提出的方法提供了最多6.1%的相对字出错率减少LibriSpeech和16.4%的相对字符出错率减少内部数据集超过ColDec。
2022-03-02 cs.AI cs.CL cs.SD
CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.（本田研究院日本株式会社）；Carnegie Mellon University（卡内基梅隆大学）
CALM通过端到端框架整合目标说话人条件和上下文偏差，降低多说话人语音识别的词错误率和字符错误率，验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
Improving Large-scale Deep Biasing with Phoneme Features and Text-only Data in Streaming Transducer
ByteDance（字节跳动）
本文提出结合音素特征与纯文本数据训练，改进流式Transducer的大规模深度偏置，以区分相似发音或拼写的罕见词，在LibriSpeech上取得最先进罕见词错误率。
2023-11-15 cs.CL cs.SD eess.AS
Efficient Trie-based Biasing using K-step Prediction for Rare Word Recognition
College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
提出基于K步预测的Trie偏置改进方法，通过前瞻多步预测避免奖励撤销，仅用10小时数据微调Whisper，将罕见词识别词错误率从30.86%降至12.19%。
2025-09-11 cs.AI cs.CL
TurboBias: Universal ASR Context-Biasing powered by GPU-accelerated Phrase-Boosting Tree
NVIDIA
本文提出TurboBias，一种基于GPU加速短语提升树的通用ASR上下文偏置框架，支持CTC、Transducers和Attention Encoder-Decoder模型，在无显著速度损失下处理最多20K关键短语，并在准确率和解码速度上超越现有开源方案。
2025-08-12 cs.AI cs.CL cs.SD
Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter
NVIDIA（英伟达）；University of London（伦敦大学）
本文提出基于CTC词识别器的快速上下文偏置方法，通过CTC对数概率与紧凑上下文图匹配检测候选词并替换贪婪识别结果，结合混合Transducer-CTC模型，在加速推理的同时提升F-score并降低WER，已集成于NVIDIA NeMo工具包。
2024-06-11 cs.AI cs.CL cs.LG
Graph Neural Networks for Contextual ASR with the Tree-Constrained Pointer Generator
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）
本文提出基于树约束指针生成器的图神经网络编码方法，通过前瞻树分支词片信息提升端到端上下文ASR中偏置词预测精度，在Librispeech和AMI上对罕见及未见词实现超60%的WER降低。
2023-05-30 cs.CL cs.SD eess.AS
End-to-end Spoken Language Understanding with Tree-constrained Pointer Generator
University of Cambridge（剑桥大学）
端到端口语语言理解（SLU）面临长尾词问题。本文利用上下文偏置，一种技术，以提高语音识别的罕见的话，在端到端SLU系统。具体而言，树约束指针生成器（TCPGen），一个强大而有效的偏置模型组件，研究，利用槽入围与相应的实体提取偏置列表。同时，为了偏置SLU模型输出时隙分布，提出了时隙概率偏置（SPB）机制来从TCPGen计算时隙分布。在SLURP数据集上的实验表明，使用TCPGen和SPB，特别是在看不见的实体上，SLU-F1得到了一致的改进。在一个新的分裂，通过举行了5个插槽类型的测试，TCPGen与SPB实现了零样本学习与SLU-F1得分超过50%相比，基线不能处理它。除了插槽填充，意图分类精度也得到了提高。
2023-03-14 cs.CL cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft（微软）
在基于传感器的自动语音识别（ASR）系统中，背景信息是动态的，在模型训练过程中是不可用的。在这项工作中，我们引入了一个轻量级的上下文拼写校正模型，以纠正上下文相关的识别错误，在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型，并使用过滤算法来处理大尺寸的上下文列表。实验表明，该模型提高了基线ASR模型的性能，相对词出错率降低了约50%，也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents
面向目标的会话界面旨在完成特定的任务，通常具有倾向于跨越多个回合的交互，这些交互遵循预定义的结构和目标。然而，自动语音识别（ASR）系统中的传统神经语言模型（NLM）大多是在有限的上下文下逐段训练的。在本文中，我们探索了将上下文纳入基于LSTM的NLM的不同方法，以便对长程依赖关系进行建模并改进语音识别。具体来说，我们使用跨多个回合的上下文结转，并使用词汇上下文线索，例如来自自然语言理解（NLU）模型的系统对话行为和用户提供的聊天机器人结构。我们还提出了一个新的架构，利用上下文嵌入来自BERT在推理时间提供的样本话语。我们的实验表明，一个字的出错率（WER）相对减少7%以上的非上下文话语级NLM rescorers目标为导向的音频数据集。
2021-06-04 cs.CL
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University（西北工业大学）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车有限公司）
针对ASR中子词独立增强损害短语完整性的问题，提出基于动态词表预测与激活的短语级语境化ASR方法，引入偏置损失和置信度激活解码，在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network
Northwestern Polytechnical University（西北工业大学）
本文提出上下文短语预测网络，通过显式偏置损失增强基于注意力的深度偏置，显著降低多种端到端模型及上下文短语的词错率。
2023-07-12 cs.CL cs.SD eess.AS
Wiki-En-ASR-Adapt: Large-scale synthetic dataset for English ASR Customization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文构建 Wiki-En-ASR-Adapt 大规模合成数据集，模拟受损 ASR 假设与偏置列表并注入两类难负样本，实验证明其可降低定制模型的 WER 与误报。
2023-09-29 cs.CL cs.SD eess.AS
Dialog act guided contextual adapter for personalized speech recognition
Alexa, Amazon（亚马逊Alexa）
提出对话行为引导的上下文适配器网络，利用对话行为选择用户目录并结合音频与语义关系创建查询，在工业语音助手数据集上相较无上下文模型实现58%的平均相对词错误率降低，显著优于现有方法。
2023-03-31 cs.CL cs.SD eess.AS
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan（本田研究院日本）；Carnegie Mellon University（卡内基梅隆大学）
本文提出DYNAC，一种将动态词表集成到CTC中间层的自条件非自回归方法，在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
LOGIC: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration
Microsoft（微软）
LOGIC通过logit空间整合实现语音大语言模型的高效且鲁棒的上下文偏差，有效降低实体识别错误率。
2026-09-25 cs.AI cs.CL cs.SD
CTC-Assisted LLM-Based Contextual ASR
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
提出一种CTC辅助的基于大语言模型的上下文语音识别模型，利用CTC解码结果过滤热词并融入提示，显著提升稀有词识别，在Librispeech上WER/B-WER大幅优于基线。
2024-11-10 cs.AI cs.CL eess.AS
PARCO: Phoneme-Augmented Robust Contextual ASR via Contrastive Entity Disambiguation
Graduate School of Informatics（信息科学研究生院）；Nagoya University（名古屋大学）；AI Lab（人工智能实验室）；CyberAgent（CyberAgent公司）；Information Technology Center（信息技术中心）
针对ASR系统在领域特定命名实体尤其是同音字识别上的难点，提出整合音素感知编码等模块的PARCO方法，通过对比实体检索消歧提升识别效果，在多数据集上显著优于基线且跨域鲁棒性强。
2025-09-04 cs.AI cs.CL cs.LG
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
Contextual RNN-T For Open Domain ASR
Facebook AI（Facebook人工智能研究院）
用于自动语音识别（ASR）的端到端（E2 E）系统，诸如RNN换能器（RNN-T）和听-听-拼（LAS），将传统混合ASR系统的各个组件（声学模型、语言模型、发音模型）混合到单个神经网络中。虽然这有一些很好的优点，但它限制了系统只能使用配对的音频和文本进行训练。正因为如此，E2 E模型往往难以正确识别在训练过程中不经常出现的罕见单词，例如实体名称。在本文中，我们提出了对RNN-T模型的修改，允许模型利用额外的元数据文本，以提高这些命名实体词的性能。我们评估了我们的方法在内部数据集上的采样从去识别的公共社交媒体视频，这代表了一个开放域ASR任务。通过使用注意力模型和偏置模型来利用伴随视频的上下文元数据，我们观察到具有相关元数据的视频的命名实体（WER-NE）的字错误率相对提高了约16%。
2020-08-12 cs.CL cs.LG cs.SD
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.（本田日本研究所株式会社）；Carnegie Mellon University（卡内基梅隆大学）
针对端到端ASR难以适配未见上下文的问题，提出基于注意力的可编辑短语偏置方法及BPB束搜索算法，在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
Phoneme-aware Encoding for Prefix-tree-based Contextual ASR
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对上下文语音识别中稀有词识别难题，提出为基于前缀树的TCPGen模型扩展音素感知编码，通过音素-子词对齐及CTC音素预测注入优化，在英日双语数据集上均优于字素编码方法。
2023-12-15 cs.CL cs.SD eess.AS
