Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network
Northwestern Polytechnical University（西北工业大学）
本文提出上下文短语预测网络，通过显式偏置损失增强基于注意力的深度偏置，显著降低多种端到端模型及上下文短语的词错率。
2023-07-12 cs.CL cs.SD eess.AS
Approximate Nearest Neighbour Phrase Mining for Contextual Speech Recognition
University of Amsterdam（阿姆斯特丹大学）；Apple（苹果公司）
提出从上下文编码器潜在空间用近似最近邻搜索挖掘困难负短语以训练端到端 CATT，增强相似偏置短语区分能力，并在大规模及流式语音识别中降低词错率。
2023-08-16 cs.CL eess.AS
XCB: an effective contextual biasing approach to bias cross-lingual phrases in speech recognition
IT Innovation and Research Center, Huawei Technologies Co., Ltd.（华为技术有限公司IT创新研究中心）
本研究提出XCB模块，通过辅助语言偏置和语言特定损失增强预训练ASR模型，有效提升语码转换中次要语言短语的识别准确率，且无额外推理开销。
2024-08-20 cs.AI cs.CL cs.SD
NSURL-2019 Task 7: Named Entity Recognition (NER) in Farsi
University of Tehran（德黑兰大学）
NSURL-2019任务7重点关注波斯语中的命名实体识别（NER）。选择这项任务是为了比较不同的方法来找到指定波斯语文本中的命名实体的短语，并为未来在波斯语中进行这项任务的研究建立一个标准的测试平台。本文介绍了训练和测试数据的制作过程、参赛队伍（6支队伍）名单以及对他们的系统的评估结果。最优系统对人、组织、地点、日期、时间、金钱和百分比七类网元进行短语级评价，获得了85.4%的F1分数。
2020-03-19 cs.CL
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University（西北工业大学）；Chongqing Changan Automobile Co., Ltd.（重庆长安汽车有限公司）
针对ASR中子词独立增强损害短语完整性的问题，提出基于动态词表预测与激活的短语级语境化ASR方法，引入偏置损失和置信度激活解码，在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.（本田日本研究所株式会社）；Carnegie Mellon University（卡内基梅隆大学）
针对端到端ASR难以适配未见上下文的问题，提出基于注意力的可编辑短语偏置方法及BPB束搜索算法，在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
Lexicon Infused Phrase Embeddings for Named Entity Resolution
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
大多数用于命名实体识别（NER）的最先进的方法使用词簇和词典形式的半监督信息。最近，已经探索了基于神经网络的语言模型，因为它们作为副产品生成词的高度信息化的向量表示，称为词嵌入。在本文中，我们提出了两个贡献：一种新的形式的学习词嵌入，可以利用相关词汇的信息，以改善表示，和第一个系统使用神经词嵌入，以实现国家的最先进的结果，命名实体识别在CoNLL和Ontonotes NER。我们的系统在CoNLL 2003的测试集上获得了90.90的F1分数-明显优于以前任何基于公共数据训练的系统，并与采用大量私有工业查询日志数据的系统相匹配。
2014-04-22 cs.CL
Improving End-to-End Contextual Speech Recognition with Fine-Grained Contextual Knowledge Selection
Bytedance AI Lab（字节跳动人工智能实验室）；Chinese Academy of Sciences（中国科学院）
目前，大多数端到端的上下文语音识别方法都偏向于上下文知识。由于全神经上下文偏置方法依赖于短语级上下文建模和基于注意力的相关性建模，因此它们可能会遇到类似的上下文特定短语之间的混淆，这会损害令牌级的预测。在这项工作中，我们专注于减轻混淆问题与细粒度的上下文知识选择（FineCoS）。在FineCoS中，我们引入了细粒度的知识来减少令牌预测的不确定性。具体来说，我们首先应用短语选择来缩小短语候选者的范围，然后对所选择的短语候选者中的标记进行标记注意。此外，我们重新规范化的最相关的短语在推理中的注意力权重，以获得更集中的短语级上下文表示，并注入位置信息，以更好地区分短语或令牌。在LibriSpeech和内部160，000小时的数据集上，我们探索了基于可控全神经偏置方法，协作解码（ColDec）的方法。所提出的方法提供了最多6.1%的相对字出错率减少LibriSpeech和16.4%的相对字符出错率减少内部数据集超过ColDec。
2022-03-02 cs.AI cs.CL cs.SD
Learning Dictionaries for Named Entity Recognition using Minimal Supervision
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Columbia University（哥伦比亚大学）
本文描述了一种利用大量未标记数据和少量种子实例自动构造命名实体识别（NER）词典的方法。我们使用典型相关分析（CCA）来获得候选短语的低维嵌入（表示），并使用少量的标记示例对这些短语进行分类。我们的方法在疾病和病毒NER上分别实现了16.5%和11.3%的F-1分数提高。我们还表明，通过添加候选短语嵌入作为序列标记器中的功能，提供了更好的性能相比，使用词嵌入。
2015-04-24 cs.CL stat.ML
Latent Phrase Matching for Dysarthric Speech
Apple（苹果公司）
针对消费级语音识别对构音障碍人群识别效果差的问题，提出基于示例查询的个性化短语匹配系统，仅需少量语音训练、语言无关，在内部和公开数据集上均显著优于商用及通用ASR系统。
2023-06-08 cs.AI cs.CL cs.LG
Learning from Past Mistakes: Improving Automatic Speech Recognition Output via Noisy-Clean Phrase Context Modeling
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
自动语音识别（ASR）系统经常由于子系统修剪（声学、语言和发音模型）而产生不可恢复的错误;例如，在基于语言学用长期上下文重新评分之前，由于使用短期上下文的声学而修剪单词。在这项工作中，我们建模ASR作为一个基于短语的嘈杂的变换通道，并提出了一个纠错系统，可以从所有独立的模块组成的ASR的聚合错误，并试图反转这些。所提出的系统可以使用神经网络语言模型来利用长期上下文，并且可以更好地在现有ASR输出可能性之间进行选择，以及重新引入先前修剪的或看不见的（词汇表外的）短语。它在性能不佳的ASR条件下提供校正，而不会降低任何准确的transmittance;这种校正在域外和不匹配的数据ASR上更大。我们的系统始终如一地提供了对基线ASR的改进，即使基线通过递归神经网络语言模型重新评分进一步优化。这表明，任何ASR改进都可以独立利用，并且我们提出的系统仍然可以为高度优化的ASR提供好处。最后，我们提出了一个广泛的分析，我们的系统纠正的错误类型。
2019-03-28 cs.CL cs.SD eess.AS
IR-UWB Radar-Based Contactless Silent Speech Recognition of Vowels, Consonants, Words, and Phrases
School of Integrated Technology, Yonsei University（延世大学综合技术学院）；NVIDIA Corporation（英伟达公司）；Department of Convergence IT Engineering, Pohang University of Science and Technology（浦项科技大学融合IT工程系）
本研究提出基于IR-UWB雷达的非接触式无声语音识别方法，通过新型特征提取算法结合DNN-HMM分类，首次实现音素级识别，验证了元音、辅音、单词和短语的识别效果。
2023-12-15 cs.CL cs.SD eess.AS
Contextualized Automatic Speech Recognition with Dynamic Vocabulary
Honda Research Institute Japan Co., Ltd.（本田日本研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种动态词汇方法，将每个偏置短语作为单一词元加入推理过程，仅需扩展嵌入层和输出层，在英日数据集上将偏置短语WER降低3.1至4.9个百分点。
2024-08-30 cs.CL cs.SD eess.AS
Fully automatic multi-language translation with a catalogue of phrases - successful employment for the Swiss avalanche bulletin
WSL Institute for Snow and Avalanche Research SLF（WSL雪与雪崩研究所SLF）；VU University Amsterdam（阿姆斯特丹自由大学）
瑞士雪崩公告每天用四种语言发布两次。由于缺乏可用于手动翻译的时间，基于预定义短语的目录和这些短语如何组合以产生句子的预定规则，采用全自动翻译系统。由于该短语目录仅限于小的子语言，因此该系统能够自动地将这些句子从德语翻译成目标语言法语、意大利语和英语，而无需随后的校对或校正。已经运作了两个冬季，我们在这里评估的质量产生的文本的基础上，两个不同的调查，参与者从两个来源，短语与手动编写和翻译文本的目录，从真正的雪崩公告的文本。平均识别率为55%，用户很难区分这两种类型的文本，并且对它们的语言质量给出非常相似的评级。总的来说，目录系统的输出可以被认为几乎等同于雪崩预报员编写的文本，然后由专业翻译人员手动翻译。此外，预报员宣布，该系统以足够的准确度捕捉到了所有相关情况。预报员的工作量并没有随着目录的引入而改变：他们不再需要仔细检查手动翻译的文本，从而弥补了寻找匹配句子的额外时间。预计每日翻译费用的减少将在几年内抵消最初的开发费用。
2015-09-23 cs.CL
A Neural Model for Contextual Biasing Score Learning and Filtering
Computer Science Department University of Iowa（计算机科学系 印第安纳大学）
本研究提出一种用于上下文偏置分数学习与过滤的神经模型，通过基于注意力的偏置解码器和逐词元判别目标生成候选短语分数，可过滤低概率短语并提升浅层融合偏置的识别准确率，模型模块化适配性强。
2025-10-27 cs.AI cs.CL cs.SD
Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
神经序列到序列系统为自动语音识别（ASR）提供最先进的性能。当使用适当的建模单位时，例如，字节对编码的字符，这些系统原则上是开放的词汇系统。然而，在实践中，他们经常无法识别在训练期间没有看到的单词，例如，命名实体、数字或技术术语。为了缓解这个问题，我们补充了一个端到端的ASR系统与单词/短语的内存和访问该内存的机制，以正确地识别单词和短语。在ASR系统的训练之后，并且当它已经被部署时，可以立即添加或减去相关单词，而不需要进一步的训练。在本文中，我们证明了通过这种机制，我们的系统能够识别超过85%的新添加的单词，它以前没有识别相比，一个强大的基线。
2021-07-05 cs.CL cs.LG
Improving Contextual ASR via Multi-grained Fusion with Large Language Models
School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学）
针对端到端ASR模型难以识别上下文关键词的问题，提出一种结合大型语言模型的多粒度融合方法，联合词元级与短语级融合并采用后期融合策略，在中英文数据集上实现了关键词识别的最先进性能并保持了非关键词文本的高准确率。
2025-07-16 cs.AI cs.CL
The Complexity of Recognition of Linguistically Adequate Dependency Grammars
计算复杂性的结果存在广泛的短语结构为基础的语法形式主义，而有一个明显的依赖为基础的形式主义缺乏这样的结果。我们在这里适应的ID/LP-文法的依赖框架的复杂性的结果。相反，以前的研究严重限制依赖语法，我们证明了识别（因此，解析）的语言足够的依赖语法是NP完全的。
1997-09-08 cmp-lg cs.CL
Deep Learning Based Named Entity Recognition Models for Recipes
Infosys Centre of Artificial Intelligence, IIIT-Delhi（IIIT-德里 Infosys 人工智能中心）；Department of Computational Biology, IIIT-Delhi（IIIT-德里 计算生物学系）；Department of Computer Science, IIIT-Delhi（IIIT-德里 计算机科学系）
本文构建了手动标注、增强和机器标注三个食谱食材短语数据集，系统比较统计方法、深度学习微调和LLM少样本提示，发现微调spaCy-transformer效果最佳，宏F1超过95%。
2024-06-06 cs.AI cs.CL cs.IR
Evaluating the fully automatic multi-language translation of the Swiss avalanche bulletin
WSL Institute for Snow and Avalanche Research SLF（WSL雪与雪崩研究所SLF）；ETH Zurich（苏黎世联邦理工学院）；Universität Zürich（苏黎世大学）
瑞士雪崩公告每天用四种语言发布两次。由于缺乏可用于手动翻译的时间，基于预定义短语的目录和这些短语如何组合以产生句子的预定规则，采用全自动翻译系统。该系统能够自动将这些句子从德语翻译成目标语言法语、意大利语和英语，而无需随后的校对或更正。我们的短语目录仅限于一个小的子语言。预计每日翻译费用的减少将在几年内抵消最初的开发费用。经过两个冬季的运作，我们在这里评估所产生的文本的质量的基础上进行评估，其中参与者从两个来源，短语目录与手工编写和翻译的文本的真实危险描述的评价。平均识别率为55%，用户几乎无法区分这两种类型的文本，并且对它们的语言质量给出类似的评级。总的来说，目录系统的输出可以被认为几乎等同于雪崩预报员编写的文本，然后由专业翻译人员手动翻译。此外，预报员宣布，该系统在有限的时间内以足够的准确度捕捉到了所有相关情况。
2014-05-23 cs.CL
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan（本田研究院日本）；Carnegie Mellon University（卡内基梅隆大学）
本文提出DYNAC，一种将动态词表集成到CTC中间层的自条件非自回归方法，在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
NVIDIA（英伟达）
本文提出面向生产环境的TurboBias 2.0框架，通过GPU加速的不区分大小写增强图与每流批量解码，在兼顾低延迟高吞吐量的同时，提升了ASR系统的上下文短语识别效果，支持多用户个性化偏置及多种解码方式。
2026-08-24 cs.AI cs.CL cs.LG
Propose-and-Refine: A Two-Stage Set Prediction Network for Nested Named Entity Recognition
Zhejiang University（浙江大学）
嵌套命名实体识别（nested NER）是自然语言处理的一项基本任务。已经提出了各种基于跨度的方法来检测具有跨度表示的嵌套实体。然而，基于跨度的方法没有考虑跨度和其他实体或短语之间的关系，这在NER任务中是有帮助的。此外，基于跨度的方法由于有限的跨度枚举长度而难以预测长实体。为了缓解这些问题，我们提出了建议和优化网络（PnRNet），这是一个用于嵌套NER的两阶段集合预测网络。在提出阶段，我们使用基于跨度的预测器来生成一些粗略的实体预测作为实体建议。在细化阶段，建议相互交互，更丰富的上下文信息被合并到建议表示中。细化的建议表示用于重新预测实体边界和类。通过这种方式，可以消除粗略建议中的错误，并且边界预测不再受跨度枚举长度限制的约束。此外，我们建立多尺度的句子表示，更好地模拟句子的层次结构，并提供更丰富的上下文信息比令牌级表示。实验表明，PnRNet在四个嵌套NER数据集和一个平面NER数据集上实现了最先进的性能。
2022-09-03 cs.CL
A Controllable Model of Grounded Response Generation
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
当前的端到端神经会话模型本质上缺乏在响应生成过程中施加语义控制的灵活性，通常导致无趣的响应。仅仅提高信息量的尝试是以牺牲事实的准确性为代价的，预先训练的语言模型倾向于“幻觉”事实就是证明。虽然可以通过获取背景知识来缓解这一问题，但无法保证生成的答复具有相关性和信息量。我们提出了一个框架，我们称之为可控接地响应生成（CGRG），其中词汇控制短语由用户提供或自动提取的控制短语预测器从对话上下文和接地知识。定量和定性结果表明，使用该框架，基于Transformer的模型具有新的归纳注意力机制，在类似对话的Reddit数据集上训练，优于强大的生成基线。
2021-06-14 cs.CL
Algorithms For Automatic Accentuation And Transcription Of Russian Texts In Speech Recognition Systems
Novosibirsk State University（新西伯利亚国立大学）
本研究提出一种面向语音识别任务的俄语文本自动重音标注与音素转写系统，结合词典、语料、RNN形态信息与专著规则实现，开源工具包训练的CMU Sphinx声学模型交叉验证词准确率达71.2%。
2024-10-03 cs.CL
Flat Multi-modal Interaction Transformer for Named Entity Recognition
South China University of Technology（华南理工大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
多模态命名实体识别（MNER）旨在借助图像识别社交媒体帖子中的实体跨度并识别其类别。然而，在主流的MNER方法中，不同模态之间的交互通常是通过自我注意和交叉注意的交替或过度依赖选通机制来进行的，这导致文本和图像的细粒度语义单元之间的对应不精确和有偏见。为了解决这个问题，我们提出了一个平面多模态交互Transformer（FMIT）的MNER。具体来说，我们首先利用句子中的名词短语和一般领域词来获得视觉线索。然后，我们将视觉和文本的细粒度语义表示转换为统一的格结构，并设计一种新型的相对位置编码来匹配Transformer中的不同模态。同时，我们建议利用实体边界检测作为辅助任务，以减轻视觉偏见。实验表明，我们的方法实现了新的国家的最先进的性能在两个基准数据集。
2023-03-09 cs.CL cs.CV
Fixing Errors of the Google Voice Recognizer through Phonetic Distance Metrics
SoldAI Research（索尔德艾研究机构）；Facultad de Matemáticas, Universidad Autónoma de Yucatán（尤卡坦自治大学数学学院）
用于西班牙语的语音识别系统，例如Google的系统，当用于特定领域的应用时，非常频繁地产生错误。这些错误大多发生在识别对识别器的语言模型来说是新的单词或对域来说是特别的单词时。本文提出了一种利用音素Levenshtein距离来减少语音识别器错误的算法。初步结果表明，它是可能的，以纠正识别器的错误显着使用此度量标准，并使用字典的特定短语从域的应用程序。尽管被设计为特定的领域，这里提出的算法是一般的应用。可以为每个应用明确定义必须识别的短语，而不必修改算法。这足以向算法指出它必须处理的句子集。该算法的复杂度为$O(tn)$，其中$t$是要更正的文本中的单词数量，而$n$是特定于该领域的短语数量。
2021-02-18 cs.CL eess.AS
Machine Reading with Background Knowledge
Carnegie Mellon University（卡内基梅隆大学）
能够自动理解自然语言文本的智能系统对于包括移动电话语音助理、计算机视觉和机器人技术在内的许多人工智能应用是重要的。理解语言通常是将新的信息融入先前获得的世界观。然而，许多机器阅读系统仅依赖于文本来推断其含义。在本文中，我们追求一种不同的方法;机器阅读方法，利用背景知识，以促进语言理解。为此，我们开发了两种方法：第一种方法解决介词短语连接歧义。它在半监督机器学习算法中使用背景知识，该算法从标记和未标记的数据中学习。这种方法在两个数据集上对强基线产生最先进的结果;第二种方法从复合名词中提取关系。我们的复合名词分析的知识感知方法准确地提取关系，并显着优于基线，不利用背景知识。
2016-12-16 cs.AI cs.CL
Dialog act guided contextual adapter for personalized speech recognition
Alexa, Amazon（亚马逊Alexa）
提出对话行为引导的上下文适配器网络，利用对话行为选择用户目录并结合音频与语义关系创建查询，在工业语音助手数据集上相较无上下文模型实现58%的平均相对词错误率降低，显著优于现有方法。
2023-03-31 cs.CL cs.SD eess.AS
Towards a Knowledge Graph based Speech Interface
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）
使用人类语音作为输入的应用需要具有高识别精度的语音接口。识别的文本中的单词或短语被注释有机器可理解的含义，并链接到知识图谱，以供目标应用程序进一步处理。这些被识别的单词的语义注释可以被表示为主语-谓语-宾语三元组，其共同形成通常被称为知识图谱的图。这种类型的知识表示便于与任何口头输入应用一起使用语音接口，因为信息以逻辑、语义形式表示，可以使用任何web标准查询语言来进行检索和存储。在这项工作中，我们开发了一种将语音输入与知识图谱联系起来的方法，并研究了识别错误在整个过程中的影响。我们发现，对于低WER的语料库，DBpedia知识图谱的实体的注释和链接是相当可观的。DBpedia Spotlight是一个将文本文档与链接的开放数据进行链接的工具，用于将语音识别输出链接到DBpedia知识图谱。这种基于知识的语音识别接口对于诸如问答或口语对话系统的应用是有用的。
2017-05-23 cs.CL cs.HC
Investigating the Effect of Music and Lyrics on Spoken-Word Recognition
Radboud University Nijmegen（奈梅亨拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）
社交场合的背景音乐会妨碍谈话。然而，很少有人知道音乐的具体属性如何影响语音处理。本文通过调查1）有歌词的背景音乐的掩蔽效应是否大于没有歌词的音乐，以及2）掩蔽效应是否对于更复杂的音乐更大来解决这个知识缺口。为了回答这些问题，进行了一项单词识别实验，其中荷兰参与者在两种条件下（有和没有歌词）和三种SNR下听嵌入背景音乐中的荷兰CVC单词。三首歌曲被用于不同的风格和复杂性。从同一首歌中采样有歌词和没有歌词的音乐片段，以控制歌词存在以外的因素。结果表明，背景音乐中歌词的存在对口语词识别有明显的负面影响。这种影响与复杂性无关。结果表明，社交空间（例如，餐馆、咖啡馆和酒吧）应谨慎选择音乐，以促进对话，并为今后的工作开辟道路。
2018-03-13 cs.CL cs.SD eess.AS
End-to-end Anchored Speech Recognition
Amazon（亚马逊）
语音控制的家用设备（如Amazon Echo或Google Home）面临在存在干扰背景语音的情况下执行设备引导的语音的语音识别的问题，即，背景噪声和来自邻近的另一个人或媒体设备的干扰语音需要被忽略。我们提出了两个端到端的模型来解决这个问题，从“锚定段”提取的信息。锚定段是指音频流的唤醒词部分，其包含可用于抑制干扰语音和背景噪声的有价值的说话者信息。第一种方法被称为“多源注意”，其中注意力机制考虑说话者信息和解码器状态。第二种方法直接在编码器输出之上学习帧级掩码。我们还探索了一种多任务学习设置，在该设置中，我们使用面具的地面真相来指导学习者。考虑到在我们的训练数据集中带有干扰语音的音频数据是罕见的，我们还提出了一种从“干净”语音合成“嘈杂”语音的方法，以减轻训练数据和测试数据之间的不匹配。我们提出的方法显示，亚马逊Alexa实时数据的WER相对减少了15%，干扰背景语音，而不会显着降低干净的语音。
2019-02-06 cs.CL cs.LG cs.SD
