Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network
Northwestern Polytechnical University（西北工业大学）
本文提出上下文短语预测网络，通过显式偏置损失增强基于注意力的深度偏置，显著降低多种端到端模型及上下文短语的词错率。
2023-07-12 cs.CL cs.SD eess.AS
End-to-end Spoken Language Understanding with Tree-constrained Pointer Generator
University of Cambridge（剑桥大学）
端到端口语语言理解（SLU）面临长尾词问题。本文利用上下文偏置，一种技术，以提高语音识别的罕见的话，在端到端SLU系统。具体而言，树约束指针生成器（TCPGen），一个强大而有效的偏置模型组件，研究，利用槽入围与相应的实体提取偏置列表。同时，为了偏置SLU模型输出时隙分布，提出了时隙概率偏置（SPB）机制来从TCPGen计算时隙分布。在SLURP数据集上的实验表明，使用TCPGen和SPB，特别是在看不见的实体上，SLU-F1得到了一致的改进。在一个新的分裂，通过举行了5个插槽类型的测试，TCPGen与SPB实现了零样本学习与SLU-F1得分超过50%相比，基线不能处理它。除了插槽填充，意图分类精度也得到了提高。
2023-03-14 cs.CL cs.SD eess.AS
Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild
Argmax, Inc.（Argmax公司）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出Contextual Earnings-22基准测试，通过真实自定义词汇场景推动研究，揭示潜在进展。关键词提示和增强方法在扩展到大规模系统时表现出色。
2026-03-28 cs.AI cs.CL cs.SD
Speech-Aware Long Context Pruning and Integration for Contextualized Automatic Speech Recognition
SAP$^{2}$通过两阶段动态剪枝与集成机制，有效提升上下文化自动语音识别在长上下文场景中的性能，显著降低词错误率。
2026-01-23 cs.CL
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University（西北工业大学）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车有限公司）
针对ASR中子词独立增强损害短语完整性的问题，提出基于动态词表预测与激活的短语级语境化ASR方法，引入偏置损失和置信度激活解码，在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies（华为技术有限公司 IT 创新研究中心）；Research Center, Huawei Technologies（华为技术有限公司 研究中心）
针对情境化普通话 ASR 面临的语音-文本数据不足问题，提出利用纯文本和码本查找的文本增强方法，以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
Contextualized End-to-end Automatic Speech Recognition with Intermediate Biasing Loss
Honda Research Institute Japan Co., Ltd.（日本本田研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对现有上下文化端到端语音识别忽略中间层上下文知识的问题，提出在编码器中间层加入显式偏置损失的方法，在LibriSpeech语料库上显著降低词错误率，提升模型鲁棒性。
2024-06-23 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
端到端的声学到词语音识别模型最近得到了普及，因为它们易于训练，可以很好地扩展到大量的训练数据，并且不需要词典。此外，单词模型也可以更容易地与下游任务（例如口语语言理解）集成，因为推理（搜索）与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中，我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中，我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外，我们评估这些嵌入在语言理解任务，并观察到，我们的嵌入匹配的性能，基于文本的嵌入在管道中的第一次执行语音识别，然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
LOGIC: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration
Microsoft（微软）
LOGIC通过logit空间整合实现语音大语言模型的高效且鲁棒的上下文偏差，有效降低实体识别错误率。
2026-09-25 cs.AI cs.CL cs.SD
Dialog act guided contextual adapter for personalized speech recognition
Alexa, Amazon（亚马逊Alexa）
提出对话行为引导的上下文适配器网络，利用对话行为选择用户目录并结合音频与语义关系创建查询，在工业语音助手数据集上相较无上下文模型实现58%的平均相对词错误率降低，显著优于现有方法。
2023-03-31 cs.CL cs.SD eess.AS
CLAR: CIF-Localized Alignment for Retrieval-Augmented Speech LLM-Based Contextual ASR
BRVoice Team, Bairong, Inc., China（BRVoice团队，百融云创，中国）
CLAR通过CIF学习单调性token级对齐，提升语音识别中专有名词和长尾词的识别效果，减少表示稀释和注意力漂移，提高检索准确率。
2026-03-26 cs.SD
Improving End-to-End Contextual Speech Recognition with Fine-Grained Contextual Knowledge Selection
Bytedance AI Lab（字节跳动人工智能实验室）；Chinese Academy of Sciences（中国科学院）
目前，大多数端到端的上下文语音识别方法都偏向于上下文知识。由于全神经上下文偏置方法依赖于短语级上下文建模和基于注意力的相关性建模，因此它们可能会遇到类似的上下文特定短语之间的混淆，这会损害令牌级的预测。在这项工作中，我们专注于减轻混淆问题与细粒度的上下文知识选择（FineCoS）。在FineCoS中，我们引入了细粒度的知识来减少令牌预测的不确定性。具体来说，我们首先应用短语选择来缩小短语候选者的范围，然后对所选择的短语候选者中的标记进行标记注意。此外，我们重新规范化的最相关的短语在推理中的注意力权重，以获得更集中的短语级上下文表示，并注入位置信息，以更好地区分短语或令牌。在LibriSpeech和内部160，000小时的数据集上，我们探索了基于可控全神经偏置方法，协作解码（ColDec）的方法。所提出的方法提供了最多6.1%的相对字出错率减少LibriSpeech和16.4%的相对字符出错率减少内部数据集超过ColDec。
2022-03-02 cs.AI cs.CL cs.SD
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft（微软）
在基于传感器的自动语音识别（ASR）系统中，背景信息是动态的，在模型训练过程中是不可用的。在这项工作中，我们引入了一个轻量级的上下文拼写校正模型，以纠正上下文相关的识别错误，在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型，并使用过滤算法来处理大尺寸的上下文列表。实验表明，该模型提高了基线ASR模型的性能，相对词出错率降低了约50%，也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems
Microsoft（微软）
上下文偏置是端到端自动语音识别（ASR）系统中一个重要且具有挑战性的任务，其目的是通过将ASR系统偏置到特定的上下文短语（如人名、音乐列表、专有名词等）来获得更好的识别性能。现有的方法主要包括上下文LM偏置和在端到端ASR模型中添加偏置编码器。在这项工作中，我们引入了一种新的方法来做上下文偏置添加上下文拼写校正模型上的端到端ASR系统。我们将上下文信息与共享的上下文编码器的序列到序列的拼写校正模型。我们提出的模型包括两种不同的机制：自回归（AR）和非自回归（NAR）。我们提出了过滤算法来处理大尺寸的上下文列表，和性能平衡机制来控制模型的偏置程度。我们证明了所提出的模型是一个一般的偏置解决方案，这是域不敏感，可以在不同的情况下采用。实验结果表明，该方法实现了高达51%的相对字出错率（WER）减少ASR系统，并优于传统的偏置方法。与AR模型相比，NAR模型的模型规模减少了43.2%，推理速度提高了2.1倍。
2022-09-07 cs.CL cs.SD eess.AS
OWSM-Biasing: Contextualizing Open Whisper-Style Speech Models for Automatic Speech Recognition with Dynamic Vocabulary
SB IntuitionsJapan（SB Intuitions日本）
本文提出将现有上下文偏置方法集成到冻结参数的 OWSM v3.1 中，以借助预训练语音基础模型知识改善罕见词识别，并在 LibriSpeech 上显著降低 B-WER、WER 和实时因子。
2025-06-11 cs.CL cs.SD eess.AS
COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University（国立台湾师范大学）
研究旨在增强复杂多实体场景中的语音增强语言模型，提出COALA框架，通过将SLM潜在表示映射到判别空间量化匹配强度，并解决训练崩溃问题，在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
Attention-based Contextual Language Model Adaptation for Speech Recognition
Amazon Alexa（亚马逊Alexa）
用于自动语音识别（ASR）的语言建模（LM）通常不包括话语级上下文信息。然而，对于像语音助理这样的一些领域，附加的上下文（诸如说出话语的时间）提供了丰富的输入信号。我们引入了一种注意力机制，用于在文本和非语言上下文数据上训练神经语音识别语言模型。当应用于一个流行的语音助手平台收集的大量去识别的话语数据集时，我们的方法相对于不包含上下文信息的标准LM减少了7.0%的困惑。当从数据集的长尾中提取的话语进行评估时，我们的方法相对于标准LM提高了9.0%的困惑度，与最先进的上下文LM模型相比，相对提高了2.8%。
2021-06-02 cs.AI cs.CL
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.（本田日本研究所株式会社）；Carnegie Mellon University（卡内基梅隆大学）
针对端到端ASR难以适配未见上下文的问题，提出基于注意力的可编辑短语偏置方法及BPB束搜索算法，在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University（佛罗里达国际大学）
针对2024年SLT-GenSEC挑战赛，提出基于上下文对话分割与提示优化的LLM语音情感识别方法，最佳提交未加权准确率超基线20%，获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan（本田研究院日本）；Carnegie Mellon University（卡内基梅隆大学）
本文提出DYNAC，一种将动态词表集成到CTC中间层的自条件非自回归方法，在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
Preferred Elements, Inc.（Preferred Elements公司）
本文提出一种基于LLM的ASR系统，通过在文本提示中提供关键词作为先验信息进行上下文化，利用Whisper编码器和PLaMo-100B解码器，在不修改架构的情况下显著提升了稀有和歧义词的识别性能。
2024-10-11 cs.CL cs.SD eess.AS
Enhancing Dialogue Speech Recognition with Robust Contextual Awareness via Noise Representation Learning
POSTECH（浦项科技大学）
针对对话ASR中自回归生成的上下文易带噪导致性能受限的问题，提出CNRL方法，结合文本对话数据解码器预训练与上下文编码器噪声表示学习，提升带噪上下文鲁棒性，在语音对话及嘈杂环境下均取得更优识别效果。
2024-08-12 cs.CL cs.SD eess.AS
An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features
National Taiwan Normal University（国立台湾师范大学）
大量与语音信息相关的多媒体信息迫切需要开发高效的自动摘要方法。为此，我们已经看到在将基于监督的深度神经网络的方法应用于提取语音摘要方面取得了快速进展。最近，双向编码器表示从Transformers（BERT）模型被提出，并取得了破纪录的成功，在许多自然语言处理（NLP）任务，如问答和语言理解。鉴于此，我们在本文中的语境和增强的国家的最先进的基于BERT的模型的语音摘要，而其贡献至少是三倍。首先，我们探讨了将置信度分数纳入句子表示，看看这样的尝试是否有助于减轻不完美的自动语音识别（ASR）所造成的负面影响。其次，我们还增加了额外的结构和语言特征，如句子位置和逆文档频率（IDF）的统计信息，从BERT得到的句子嵌入。最后，我们在一个基准数据集上验证了我们提出的方法的有效性，与几个经典和著名的语音摘要方法相比。
2020-06-01 cs.CL
Phoneme-Based Contextualization for Cross-Lingual Speech Recognition in End-to-End Models
Google, LLC（谷歌有限责任公司）
上下文自动语音识别，即，在端到端（E2E）模型中，将识别偏向给定的上下文（例如，用户的播放列表或联系人）是具有挑战性的。这种模型在波束搜索解码期间保持有限数量的候选者，并且已经发现识别罕见的命名实体很差。当偏向于外语中的专有名词时，这个问题会加剧，例如，地理位置名称，在训练中几乎看不到，因此是词汇表外（OOV）。虽然字素或词段E2E模型可能很难拼写OOV单词，但音素在声学上更突出，过去的工作表明E2E音素模型可以更好地预测这些单词。在这项工作中，我们提出了一个E2E模型，包含英语单词和音素的建模空间，并执行上下文偏置的外国单词在音素层面上的外国单词的发音映射到类似的英语音素。在实验评估中，我们发现，所提出的方法比一个纯字素偏置模型的性能好16%，比一个纯字段偏置模型在外国地名识别任务上的性能好8%，在常规英语任务上只有轻微的退化。
2019-07-22 cs.CL cs.SD eess.AS
End-to-End Speech Recognition Contextualization with Large Language Models
Meta AI
本文提出将语音识别建模为基于预训练大语言模型的混合模态语言建模任务，通过适配器仅添加少量可训练参数即可实现上下文化语音识别，在WER上相比基线RNN-T系统显著提升，尤其在罕见词上提升17%。
2023-09-19 cs.AI cs.CL cs.LG
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University（西北工业大学）
针对流式语音识别中个性化词偏置损害常用词识别的问题，提出基于CATT的自适应上下文偏置方法，动态开关偏置列表，显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出一种基于跨模态对话表示的对话ASR系统，通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性，在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Training-Free Contextual ASR via SpeechLLM-Based Error-Aware Selective Retrieval
Hitachi, Ltd., Research & Development Group（株式会社日立制作所研发集团）；Hitachi Advanced Systems Corporation（日立先进系统株式会社）
提出无训练上下文ASR框架，利用SpeechLLM定位错误跨度并选择性检索术语，减少词典查询并提升多领域识别性能。
2026-09-28 cs.SD eess.AS
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs（AWS人工智能实验室）
端到端语音识别模型训练使用联合连接时间分类（CTC）-注意力损失最近得到普及。在这些模型中，非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而，这样的模型很难个性化，因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题，我们提出了一种新的双向方法，首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外（OOV）单词列表上，然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法，以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook（脸书）
自动语音识别（ASR）的端到端建模（E2E）将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程，但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中，我们专注于上下文语音识别，这是特别具有挑战性的E2E模型，因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能，在复杂的上下文信息的存在下，我们建议使用基于类的语言模型（CLM），可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员，并尽量减少搜索错误，我们提出了一个令牌传递解码器，有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR，并实现相对62%的字出错率（WER）减少上下文的ASR，而不损害一般ASR的性能。我们表明，该方法在不修改跨任务的解码超参数的情况下表现良好，使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文首次系统评估多种语音语言模型中的上下文句法与语义特征，通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。
2025-09-19 cs.CL eess.AS
CMT-LLM: Contextual Multi-Talker ASR Utilizing Large Language Models
Graduate School of Informatics（信息科学研究生学校）；AI Lab（人工智能实验室）；Information Technology Center（信息技术中心）
针对传统多说话人ASR与上下文偏置分离处理性能受限的问题，提出CMT-LLM统一框架，结合预训练语音编码器与LLM，引入两阶段过滤算法优化偏置词注入，在复杂场景下稀有词识别与词错率表现优于传统方法。
2025-05-31 cs.AI cs.CL cs.SD
CIF-based Collaborative Decoding for End-to-end Contextual Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
端到端（E2 E）模型在多个语音识别基准测试中取得了可喜的成果，并显示出成为主流的潜力。然而，统一的结构和E2 E训练阻碍了将上下文信息注入到它们中以用于上下文偏置。虽然上下文LAS（CLAS）提供了一个很好的全神经解决方案，给定的上下文信息的偏差程度是不明确的控制。在本文中，我们专注于将上下文信息纳入连续集成和消防（CIF）为基础的模型，支持上下文偏置在一个更可控的方式。具体而言，引入额外的上下文处理网络来提取上下文嵌入，整合声学相关的上下文信息并解码上下文输出分布，从而与基于CIF的模型的解码器形成协作解码。在HKUST/AISHELL-2的命名实体丰富评估集上进行评估，与强基线相比，我们的方法使相对字符出错率（CER）降低了8.83%/21.13%，相对命名实体字符出错率（NE-CER）降低了40.14%/51.50%。此外，它保持了原有的评估集上的性能没有退化。
2021-02-18 cs.AI cs.CL cs.LG
Automatic Speech Recognition of African American English: Lexical and Contextual Effects
Department of English Language and Linguistics（英语语言与语言学系）；Department of Linguistics（语言学系）
本研究针对ASR模型处理AAE语音特征的困难，分析CCR和ING简化对ASR误识别的影响，比较有无LM的端到端ASR系统受词汇邻域效应和语境可预测性的差异，发现相关特征对WER有显著影响及无LM系统的词汇邻域效应更强。
2025-08-23 cs.CL cs.SD eess.AS
CPPF: A contextual and post-processing-free model for automatic speech recognition
Meituan（美团）
本文提出 CPPF 模型，将上下文 ASR 与多种 ASR 后处理任务无缝集成到单一模型中，以缩短流水线、避免级联错误，并在不显著损失识别性能的情况下直接生成后处理文本。
2023-09-21 cs.CL cs.SD eess.AS
Deep Contextualized Acoustic Representations For Semi-Supervised Speech Recognition
Amazon AWS AI（亚马逊AWS人工智能）
提出了一种新的半监督自动语音识别方法。我们首先通过表示学习利用大量未标记的音频数据，在那里我们从过去和未来的上下文帧中重建滤波器组特征的时间切片。然后使用所得到的深度情境化声学表示（DeCoAR）来使用较少量的标记音频数据训练基于CTC的端到端ASR系统。在我们的实验中，我们表明，在DeCoAR上训练的系统始终优于在传统滤波器组特征上训练的系统，在WSJ eval 92和LibriSpeech test-clean上分别比基线提高了42%和19%。我们的方法可以大大减少所需的标记数据量;在LibriSpeech上进行无监督训练，然后用100小时的标记数据进行监督，其性能与直接在所有960小时上进行训练的性能相当。预训练的模型和代码将在线发布。
2020-04-09 cs.CL cs.LG cs.SD
Device Directedness with Contextual Cues for Spoken Dialog Systems
AWS AI Labs（AWS人工智能实验室）
在这项工作中，我们将打断验证定义为监督学习任务，其中仅使用音频信息将用户口语对话分类为真和假打断。在预训练模型成功之后，我们使用来自自监督表示学习模型的低级语音表示进行下游分类任务。此外，我们还提出了一种新的技术，将词汇信息直接注入语音表示，以提高在预训练过程中隐式学习的特定领域的语言信息。对口语对话数据进行的实验表明，我们提出的经过训练以完全从语音表示验证插入的模型比使用音频和自动语音识别的基线LSTM模型相对快38%，并实现了4.5%的相对F1分数改进（ASR）1-最佳假设。最重要的是，我们提出的最好的模型与词汇注入表示以及上下文特征提供了进一步的相对改善5.7%的F1得分，但只有22%比基线快。
2022-11-23 cs.CL cs.SD eess.AS
Spike-Triggered Contextual Biasing for End-to-End Mandarin Speech Recognition
Northwestern Polytechnical University（西北工业大学）；WeNet Open Source Community（WeNet开源社区）
针对深度上下文偏置方法偏置程度难控的问题，提出支持显式隐式偏置的尖峰触发深度偏置方法，搭配采样增强与短语过滤改进，在WenetSpeech数据集上CER相对降32.0%，上下文短语降68.6%。
2023-10-07 cs.SD eess.AS
XCB: an effective contextual biasing approach to bias cross-lingual phrases in speech recognition
IT Innovation and Research Center, Huawei Technologies Co., Ltd.（华为技术有限公司IT创新研究中心）
本研究提出XCB模块，通过辅助语言偏置和语言特定损失增强预训练ASR模型，有效提升语码转换中次要语言短语的识别准确率，且无额外推理开销。
2024-08-20 cs.AI cs.CL cs.SD
Contextual-Utterance Training for Automatic Speech Recognition
Amazon Alexa（亚马逊Alexa）
最近的研究流自动语音识别（ASR）循环神经网络传感器（RNN-T）为基础的系统已经美联储的编码器与过去的上下文信息，以提高其字错误率（WER）的性能。在本文中，我们首先提出了一种上下文话语训练技术，它利用以前和未来的上下文话语，以做一个隐式的适应说话人，主题和声环境。此外，我们提出了一个双模式的上下文话语训练技术的流式自动语音识别（ASR）系统。这种方法允许更好地利用流模型中的可用声学上下文，通过将能够看到过去和未来上下文话语的教师的知识“就地”提取给只能看到当前和过去上下文话语的学生。实验结果表明，与传统的RNN-T损失训练的相同的系统相比，使用所提出的技术训练的一致性换能器系统的性能更好。具体地，所提出的技术能够将WER和平均最后令牌发射延迟分别减少超过6%和40 ms。
2022-10-27 cs.LG cs.SD eess.AS
High-Accuracy and Low-Latency Speech Recognition with Two-Head Contextual Layer Trajectory LSTM Model
Microsoft（微软）
虽然社区一直在推广端到端模型，而传统的混合模型通常是用交叉熵标准训练的长短期记忆（LSTM）模型，然后是序列判别训练标准，但我们认为这种传统的混合模型仍然可以显着改进。在本文中，我们详细介绍了我们最近为改进传统的混合LSTM声学模型以实现高精度和低延迟的自动语音识别所做的努力。为了实现高精度，我们使用了上下文层轨迹LSTM（cltLSTM），它将时间建模和目标分类任务合并，并结合未来的上下文帧以获得更多信息，从而实现准确的声学建模。进一步完善了序列级师生学习的培训策略。为了获得低延迟，我们设计了一个双头cltLSTM，与LSTM相比，其中一个头具有零延迟，另一个头具有较小的延迟。当使用微软6.5万小时的匿名训练数据进行训练并使用180万个单词的测试集进行评估时，采用所提出的训练策略的双头cltLSTM模型与传统的LSTM声学模型相比，相对WER减少了28.2%，并且具有类似的感知延迟。
2020-03-17 cs.CL cs.SD eess.AS
Deep context: end-to-end contextual speech recognition
Google Inc.（谷歌公司）
在自动语音识别（ASR）中，用户说什么取决于她所处的特定上下文。通常，该上下文被表示为一组单词n-gram。在这项工作中，我们提出了一种新的，全神经，端到端（E2 E）ASR系统，利用这样的背景。我们的方法，我们称之为上下文听，参加和拼写（CLAS）联合优化的ASR组件以及嵌入的上下文n-gram。在推理过程中，CLAS系统可以呈现上下文短语，这些短语可能包含在训练过程中看不到的词汇表外（OOV）术语。我们将所提出的系统与更传统的contextualiza- tion方法进行比较，该方法在beam搜索期间在独立训练的LAS和上下文n-gram模型之间进行浅融合。在许多任务中，我们发现拟议的CLAS系统的相对WER比基线方法高出68%，这表明联合优化优于单独训练的组件。索引术语：语音识别、序列到序列模型、倾听和拼写、LAS、注意力、嵌入式语音识别。
2018-08-07 cs.LG cs.SD eess.AS
Incorporating Contextual Paralinguistic Understanding in Large Speech-Language Models
Institute for Infocomm Research (I 2 R), Agency for Science, Technology
针对Speech-LLMs共情推理受限于缺乏整合语境与副语言线索数据集的问题，提出显式与隐式两种结合语境副语言信息的训练方法，在人工标注QA基准上性能显著提升，并验证了LLM评判的可靠性。
2025-08-10 cs.AI cs.CL eess.AS
Contextualized Streaming End-to-End Speech Recognition with Trie-Based Deep Biasing and Shallow Fusion
Facebook AI
如何在端到端语音识别中充分利用动态上下文信息一直是一个活跃的研究领域。以前解决这个问题的方案要么是针对特殊用例设计的，这些用例不能很好地推广到开放域场景，不能扩展到大型偏置列表，或者在罕见的长尾词上表现不佳。我们通过提出一种新的解决方案来解决这些限制，该解决方案结合了浅层融合、基于trie的深度偏置和神经网络语言模型上下文化。这些技术导致显着的19.5%的相对字出错率改善现有的上下文偏置方法和5.4%-9.3%的改善相比，一个强大的混合基线上的开放域和受约束的上下文任务，其中的目标包括大多数罕见的长尾词。我们的最终系统仍然是轻量级和模块化的，允许快速修改，而无需模型重新训练。
2021-06-11 cs.CL cs.LG eess.AS
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
利用上下文信息是提高会话式自动语音识别（ASR）性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境，由于历史认知错误的不可避免，这可能会使当前公认的假设产生偏差。为了避免这个问题，我们提出了一个音频文本跨模态表示提取器，直接从前面的语音学习上下文表示。具体来说，它由两个模态相关编码器和一个跨模态编码器组成，前者从语音和相应的文本中提取高级潜在特征，后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此，该模型不仅捕获特定模态中的双向上下文依赖性，而且捕获不同模态之间的关系。然后，在会话式ASR系统的训练期间，提取器将被冻结以提取先前语音的文本表示，而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性，并在MagicData数据集上实现了高达16%的字符错误率（CER）降低。
2022-07-03 cs.CL cs.SD eess.AS
Contextualized Automatic Speech Recognition with Dynamic Vocabulary
Honda Research Institute Japan Co., Ltd.（本田日本研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种动态词汇方法，将每个偏置短语作为单一词元加入推理过程，仅需扩展嵌入层和输出层，在英日数据集上将偏置短语WER降低3.1至4.9个百分点。
2024-08-30 cs.CL cs.SD eess.AS
DM-Codec: Distilling Multimodal Representations for Speech Tokenization
Center for Computational & Data Sciences, Independent University, Bangladesh（计算与数据科学中心，独立大学，孟加拉国）；Amazon GenAI（亚马逊生成人工智能）；Qatar Computing Research Institute（卡塔尔计算研究所）；University of Virginia（弗吉尼亚大学）
针对语音离散令牌缺少上下文表示的问题，提出DM-Codec，通过LM与SM引导蒸馏融合声学、语义和上下文信息，显著降低转写错误并提升语音质量。
2025-09-29 cs.AI cs.CL cs.SD
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google（谷歌）
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别（ASR），并且当与设备上的个性化训练相结合时，它可以产生更好的识别结果。然而，传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中，我们介绍了一个基于模型的端到端的上下文自适应方法，是解码器不可知的，并服从设备上的个性化。我们的设备上的模拟实验表明，所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
Using External Off-Policy Speech-To-Text Mappings in Contextual End-To-End Automated Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
尽管自动语音识别（ASR）模型的泛化性能有所改进，但针对下游任务的专用ASR模型仍然是一项具有挑战性的任务，这主要是由于数据可用性降低（需要增加数据收集）和数据分布快速变化（需要更频繁的模型微调）。在这项工作中，我们研究了利用外部知识的潜力，特别是通过使用文本到语音方法生成的非策略键值存储，以允许灵活的训练后适应新的数据分布。在我们的方法中，从文本到语音捕获的音频嵌入，以及语义文本嵌入，用于通过基于近似k-最近邻（KNN）的专注融合步骤来偏置ASR。我们在LibiriSpeech和内部语音助手/搜索数据集上的实验表明，与微调基线相比，所提出的方法可以将域适应时间减少多达1 K GPU小时，同时提供高达3%的WER改进，这表明在具有挑战性的零和Few-Shot场景中适应生产ASR系统的方法很有前途。
2023-01-06 cs.LG cs.SD eess.AS
Robust Acoustic and Semantic Contextual Biasing in Neural Transducers for Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对神经传感器语音识别，提出结合轻量级字符编码声学偏置与预训练语言模型语义偏置的上下文偏置方法，显著提升罕见词识别，相对WER改进达36.8%。
2023-05-09 cs.CL cs.LG cs.SD
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出自动文本发音相关性（ATPC）方法，利用语音与文本标注对齐和语音嵌入距离比较，在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
Contextual Adapters for Personalized Speech Recognition in Neural Transducers
Amazon Alexa（亚马逊Alexa）
由于缺乏训练数据，端到端自动语音识别（E2E ASR）模型中的个人稀有词识别是一个挑战。解决这个问题的标准方法是在推理时使用浅层融合方法。然而，由于它们依赖于外部语言模型和确定性的方法来提高权重，它们的性能是有限的。在本文中，我们提出了在基于神经换能器的ASR模型中训练用于个性化的神经上下文适配器。我们的方法不仅可以偏向用户定义的单词，而且可以灵活地使用预训练的ASR模型。使用内部数据集，我们证明了上下文适配器可以应用于任何通用的预训练ASR模型，以提高个性化。我们的方法优于浅层融合，同时通过不改变任何模型权重来保留预训练模型的功能。我们进一步表明，适配器风格的训练优于在具有用户定义内容的数据集上对ASR模型进行全微调。
2022-05-26 cs.CL cs.LG
Improving Streaming Speech Recognition With Time-Shifted Contextual Attention And Dynamic Right Context Masking
Zalo AI（Zalo人工智能）；University of Science（科学大学）；Vietnam National University（越南国立大学）
针对流式语音识别中基于块的推理因缺乏未来上下文导致性能下降的问题，提出结合TSCA与DRC掩码的方法，在Librispeech上实现10%-13.9%的词错误率相对下降，并设计了低延迟、支持批处理的实用流式ASR流水线。
2025-02-21 cs.SD eess.AS
