Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语会话问答(SCQA)要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同,SCQA涉及音频信号处理、段落理解和上下文理解。然而,ASR系统引入了意想不到的噪声信号,这导致SCQA的性能下降。为了克服这个问题,我们提出了CADNet,一种新的上下文化的注意力蒸馏方法,它适用于交叉注意力和自我注意力,以获得ASR鲁棒的上下文嵌入表示的通道和对话历史,以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验,并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Improving Speech Recognition of Named Entities in Classroom Speech with LLM Revision and Phonetic-Semantic Context
本文提出利用LLM修订和音义上下文提升课堂语音中命名实体的识别准确率,通过MIT课程数据集验证,实现30%的WER降低。
2026-04-19 cs.AI cs.CL
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom(SK电信)
本文针对ASR生成口语文本的域外问题,提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略,显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
Alibaba-NTU Global e-Sustainability CorpLab(阿里巴巴-国立科技大学全球可持续发展公司实验室);Nanyang Technological University(国立科技大学);College of Computing and Data Science(计算与数据科学学院)
本文提出将双向上下文融入语音大语言模型,通过字符级上下文掩码训练和两阶段上下文感知解码,在1500小时多语言对话语料上取得18%的相对改进,优于6000小时数据训练的模型。
2025-07-04 cs.CL eess.AS
The Sound of Healthcare: Improving Medical Transcription ASR Accuracy with Large Language Models
Google Cloud(谷歌云)
本研究利用大型语言模型优化PriMock57数据集上的医疗ASR转录,通过零样本和思维链提示技术显著提升了词错误率、医学概念准确率、说话人分离及语义连贯性,达到该领域最先进性能。
2024-02-12 cs.CL cs.SD eess.AS
PMF-CEC: Phoneme-augmented Multimodal Fusion for Context-aware ASR Error Correction with Error-specific Selective Decoding
Graduate School of Informatics, Nagoya University(信息学研究科,名古屋大学);Information Technology Center, Nagoya University(信息科技中心,名古屋大学)
针对ASR模型对近音稀有词纠错准确率低及错误检测过检问题,提出带保留概率机制的音素增强多模态融合纠错方法PMF-CEC,在5个数据集上验证了其在同音词纠错、推理速度及鲁棒性上的优势。
2025-05-31 cs.AI cs.CL cs.SD
Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
Preferred Elements, Inc.(Preferred Elements公司)
本文提出一种基于LLM的ASR系统,通过在文本提示中提供关键词作为先验信息进行上下文化,利用Whisper编码器和PLaMo-100B解码器,在不修改架构的情况下显著提升了稀有和歧义词的识别性能。
2024-10-11 cs.CL cs.SD eess.AS
Large Language Models based ASR Error Correction for Child Conversations
University of Southern California(美国南加州大学);Korea University(韩国大学);University of California, San Francisco(旧金山大学);University of California, Los Angeles(洛杉矶大学);Viterbi School of Engineering(工程学院);School of Psychology(心理学系);Weill Institute for Neurosciences(神经科学研究所);Semel Institute of Neuroscience and Human Behavior(神经科学与人类行为研究所)
本研究探索利用大语言模型纠正儿童对话语音识别错误,实验显示其对零样本和CTC输出有效,但对上下文或自回归输出提升有限。
2025-05-24 cs.CL eess.AS
GEC-RAG: Improving Generative Error Correction via Retrieval-Augmented Generation for Automatic Speech Recognition Systems
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
提出GEC-RAG,结合检索增强生成与上下文学习,在不修改ASR模型的情况下,通过检索相似错误模式指导大语言模型纠错,显著降低波斯语等低资源语言的词错误率。
2025-01-18 cs.AI cs.SD eess.AS
COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University(国立台湾师范大学)
研究旨在增强复杂多实体场景中的语音增强语言模型,提出COALA框架,通过将SLM潜在表示映射到判别空间量化匹配强度,并解决训练崩溃问题,在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
PARCO: Phoneme-Augmented Robust Contextual ASR via Contrastive Entity Disambiguation
Graduate School of Informatics(信息科学研究生院);Nagoya University(名古屋大学);AI Lab(人工智能实验室);CyberAgent(CyberAgent公司);Information Technology Center(信息技术中心)
针对ASR系统在领域特定命名实体尤其是同音字识别上的难点,提出整合音素感知编码等模块的PARCO方法,通过对比实体检索消歧提升识别效果,在多数据集上显著优于基线且跨域鲁棒性强。
2025-09-04 cs.AI cs.CL cs.LG
Contextualizing ASR Lattice Rescoring with Hybrid Pointer Network Language Model
Facebook(脸书)
在社交媒体上上传的视频通常附有文字描述。在为视频构建自动语音识别(ASR)系统时,我们可以利用由这样的视频元数据提供的上下文信息。在本文中,我们探索ASR格rescoring有选择地参加视频描述。我们首先使用基于注意力的方法来提取视频元数据的上下文矢量表示,并使用这些表示作为输入的一部分,以神经语言模型在格重新评分。其次,我们提出了一种混合指针网络的方法来显式地插入元数据中的词出现的词概率。我们对语言建模和ASR任务进行了实验评估,并证明了这两种方法通过选择性地利用视频元数据来提高性能。
2020-05-15 cs.CL cs.SD eess.AS
CopyNE: Better Contextual ASR by Copying Named Entities
Soochow University(苏州大学);Institute of Artificial Intelligence(人工智能研究院);School of Computer Science and Technology(计算机科学与技术学院);Huawei Cloud(华为云)
本文提出CopyNE机制,将命名实体视为不可分割整体并从词典中复制,以解决上下文ASR中实体转录不完整问题,实验证明其持续提升转录准确性。
2024-05-27 cs.CL
Implementing contextual biasing in GPU decoder for online ASR
Idiap(伊迪亚普研究所);Uniphore(尤尼福尔公司)
本文提出了一种在实时GPU解码中集成上下文偏置的方法,利用标准Kaldi GPU解码器,支持对部分ASR预测偏置和动态上下文切换,实现直接在GPU上对语音段灵活重打分。
2023-06-23 cs.CL eess.AS
JSPG: Dynamic Dictionary Filtering via Joint Semantic-Pinyin-Glyph Retrieval for Chinese Contextual ASR
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对中文上下文ASR中大规模关键词字典带来的噪声问题,本文提出JSPG框架,结合语义、拼音和字形特征进行联合检索,有效提升关键词识别准确率。
2026-05-16 cs.CL
A Multitask Training Approach to Enhance Whisper with Contextual Biasing and Open-Vocabulary Keyword Spotting
Huawei Translation Services Center(华为翻译服务中心)
本文提出KWS-Whisper,通过在Whisper编码器隐藏状态上进行开放词汇关键词识别,并以多任务训练结合上下文ASR,显著提升罕见命名实体的识别召回率,且OV-KWS可作为即插即用模块增强纠错与冻结模型。
2024-06-06 cs.AI cs.CL
Lightweight Prompt Biasing for Contextualized End-to-End ASR Systems
Microsoft, One Microsoft Way, Redmond, USA(微软)
本文提出了一种轻量级提示偏置方法,通过统一多任务学习框架提升端到端ASR对罕见和领域特定实体的识别准确率。
2025-08-15 cs.CL eess.AS
BaLEEN: Biasing with Latent Encoded Entities for Context-Aware ASR
Sakana AI
BaLEEN提出一种基于超网络的轻量级上下文适配方法,利用预训练语言模型编码关键词并注入偏置向量,在不微调ASR模型的情况下,将关键词漏检率降低8.7%,词错误率提升21%,字符错误率提升28%。
2026-09-30 cs.AI cs.CL
Transformer ASR with Contextual Block Processing
Sony Corporation(索尼公司);Johns Hopkins University(约翰斯·霍普金斯大学)
Transformer自注意网络最近显示出作为端到端(E2 E)自动语音识别(ASR)系统中的递归神经网络(RNN)的替代方案的有前途的性能。然而,Transformer的缺点在于需要整个输入序列来计算自注意。在本文中,我们提出了一种新的块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码,还有助于对全局语言、通道和扬声器属性进行编码。为了有效地训练模型,我们引入了一种新的掩码技术来实现上下文继承。华尔街日报(WSJ),Librispeech,VoxForge意大利语,和AISHELL-1普通话语音识别数据集的评估表明,我们提出的上下文块处理方法优于天真块处理一致。此外,每一层的注意力权重的趋势进行了分析,以阐明如何添加上下文继承机制模型的全局信息。
2019-10-16 cs.CL eess.AS
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook(脸书)
自动语音识别(ASR)的端到端建模(E2E)将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程,但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中,我们专注于上下文语音识别,这是特别具有挑战性的E2E模型,因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能,在复杂的上下文信息的存在下,我们建议使用基于类的语言模型(CLM),可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员,并尽量减少搜索错误,我们提出了一个令牌传递解码器,有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR,并实现相对62%的字出错率(WER)减少上下文的ASR,而不损害一般ASR的性能。我们表明,该方法在不修改跨任务的解码超参数的情况下表现良好,使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Graph Neural Networks for Contextual ASR with the Tree-Constrained Pointer Generator
University of Cambridge(剑桥大学);Tsinghua University(清华大学)
本文提出基于树约束指针生成器的图神经网络编码方法,通过前瞻树分支词片信息提升端到端上下文ASR中偏置词预测精度,在Librispeech和AMI上对罕见及未见词实现超60%的WER降低。
2023-05-30 cs.CL cs.SD eess.AS
End-to-end contextual asr based on posterior distribution adaptation for hybrid ctc/attention system
Sogou Inc.(搜狗公司)
端到端(E2 E)语音识别体系结构将传统语音识别系统的所有组件组装到单个模型中。虽然它简化了ASR系统,但它引入了上下文ASR的缺点:E2 E模型对包含不频繁专有名词的话语的性能较差。在这项工作中,我们提出了一个上下文偏置注意(CBA)模块的注意基于编码器解码器(AED)模型,以提高其识别能力的上下文短语。具体地说,CBA利用解码器中源注意力的上下文向量来关注特定的偏置嵌入。通过与基本AED参数共同学习,CBA可以告诉模型何时以及在何处偏移其输出概率分布。在推理阶段,我们预先加载了一个偏见短语列表,并根据CBA的关注偏见短语调整CTC和注意解码器的后验分布。我们在GigaSpeech上对所提出的方法进行了评估,与基线模型相比,偏见短语的召回率从15%到28%得到了一致的相对改善。同时,我们的方法表现出很强的抗偏见能力,即使存在2,000个偏见短语,在一般测试中的性能也仅下降1.7%。
2022-02-18 cs.CL cs.SD eess.AS
Locality enhanced dynamic biasing and sampling strategies for contextual ASR
Samsung Research UK(三星英国研究院);Centre for Research and Technology Hellas(希腊研究与技术中心);Samsung Electronics(三星电子)
本文分析上下文 ASR 偏置训练中的采样策略,并提出邻域注意力以局部化自注意力、优化偏置输出,在 LibriSpeech 和稀有词评估上取得 25.84% 的相对 WER 改善。
2024-01-23 cs.CL cs.SD eess.AS
Contextual Adapters for Personalized Speech Recognition in Neural Transducers
Amazon Alexa(亚马逊Alexa)
由于缺乏训练数据,端到端自动语音识别(E2E ASR)模型中的个人稀有词识别是一个挑战。解决这个问题的标准方法是在推理时使用浅层融合方法。然而,由于它们依赖于外部语言模型和确定性的方法来提高权重,它们的性能是有限的。在本文中,我们提出了在基于神经换能器的ASR模型中训练用于个性化的神经上下文适配器。我们的方法不仅可以偏向用户定义的单词,而且可以灵活地使用预训练的ASR模型。使用内部数据集,我们证明了上下文适配器可以应用于任何通用的预训练ASR模型,以提高个性化。我们的方法优于浅层融合,同时通过不改变任何模型权重来保留预训练模型的功能。我们进一步表明,适配器风格的训练优于在具有用户定义内容的数据集上对ASR模型进行全微调。
2022-05-26 cs.CL cs.LG
Contextual Semi-Supervised Learning: An Approach To Leverage Air-Surveillance and Untranscribed ATC Data in ASR Systems
Idiap Research Institute(伊迪亚普研究所);Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);Brno University of Technology(布尔诺理工大学);ReplayWell(ReplayWell公司)
空中交通管理,特别是空中交通管制(ATC)主要依赖于空中交通管制员(ATCos)和飞行员之间的语音通信。在大多数情况下,这些语音通信遵循可以在自动语音识别(ASR)技术中利用的定义良好的语法。用于称呼飞机的呼号是所有ATCo-飞行员通信的重要组成部分。我们提出了一个两步的方法,在半监督训练过程中添加上下文知识,以降低ASR系统在识别包含呼号的话语部分时的出错率。最初,我们表示在WFST的上下文知识(即空中监视数据)的ATCo飞行员通信。然后,在半监督学习(SSL)期间,通过第二遍解码(即,格重新评分)添加上下文知识。结果表明,“看不见的域”(例如,来自机场的数据不存在于监督训练数据)进一步协助上下文SSL相比,独立的SSL。对于这项任务,我们引入呼号字出错率(CA-WER)作为评估指标,它只评估语音呼号在话语中的ASR性能。我们获得了32.1%的CA-WER相对改善应用SSL与额外的17.5%的CA-WER改善通过添加上下文知识在SSL期间从LiveATC收集的具有挑战性的基于ATC的测试集。
2021-08-27 cs.CL cs.CV cs.LG
CPPF: A contextual and post-processing-free model for automatic speech recognition
Meituan(美团)
本文提出 CPPF 模型,将上下文 ASR 与多种 ASR 后处理任务无缝集成到单一模型中,以缩短流水线、避免级联错误,并在不显著损失识别性能的情况下直接生成后处理文本。
2023-09-21 cs.CL cs.SD eess.AS
Contextual RNN-T For Open Domain ASR
Facebook AI(Facebook人工智能研究院)
用于自动语音识别(ASR)的端到端(E2 E)系统,诸如RNN换能器(RNN-T)和听-听-拼(LAS),将传统混合ASR系统的各个组件(声学模型、语言模型、发音模型)混合到单个神经网络中。虽然这有一些很好的优点,但它限制了系统只能使用配对的音频和文本进行训练。正因为如此,E2 E模型往往难以正确识别在训练过程中不经常出现的罕见单词,例如实体名称。在本文中,我们提出了对RNN-T模型的修改,允许模型利用额外的元数据文本,以提高这些命名实体词的性能。我们评估了我们的方法在内部数据集上的采样从去识别的公共社交媒体视频,这代表了一个开放域ASR任务。通过使用注意力模型和偏置模型来利用伴随视频的上下文元数据,我们观察到具有相关元数据的视频的命名实体(WER-NE)的字错误率相对提高了约16%。
2020-08-12 cs.CL cs.LG cs.SD
PromptASR for contextualized ASR with controllable style
Xiaomi Corp.(小米公司)
本文提出 PromptASR 框架,通过文本编码器和跨模态注意力注入内容、偏置及风格提示,实现语境化、风格可控的 E2E ASR,并显著降低词错误率。
2024-01-24 cs.CL cs.SD eess.AS
Improving ASR Contextual Biasing with Guided Attention
ASAPP
本文提出引导注意力辅助训练损失,在不增加参数的情况下提升ASR上下文偏置效果,并缓解偏置短语增多时WER降低效果减弱的问题。
2024-01-16 cs.CL eess.AS
Joint Contextual Modeling for ASR Correction and Language Understanding
Uber AI(优步人工智能实验室)
自动语音识别(ASR)的质量对于对话系统是至关重要的,因为ASR错误传播到并直接影响下游任务,例如语言理解(LU)。在本文中,我们提出了多任务神经方法来执行上下文语言校正的ASR输出与LU同时提高这两个任务的性能。为了衡量这种方法的有效性,我们使用了一个公共基准,第二次对话状态跟踪(DSTC 2)语料库。作为基线方法,我们训练了特定于任务的统计语言模型(SLM)和微调了最先进的广义预训练(GPT)语言模型,以重新排列n个最佳ASR假设,然后是识别对话行为和槽的模型。i)我们使用GPT和分层CNN-RNN模型进一步训练了排名模型,其中具有歧视性损失,以检测给定n-best假设的最佳输出。我们扩展了这些排名模型,首先选择最佳ASR输出,然后以端到端的方式识别对话行为和插槽。ii)我们还提出了一种新的联合ASR纠错和LU模型,一种在顶部具有多头自注意力的单词混淆指针网络(WCN-Ptr),它消耗从n-best填充的单词混淆。我们表明,现成的ASR和以下LU系统的出错率可以显着降低14%,相对于使用少量的域内数据训练的联合模型。
2020-01-28 cs.CL cs.LG cs.SD
Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems
Microsoft(微软)
上下文偏置是端到端自动语音识别(ASR)系统中一个重要且具有挑战性的任务,其目的是通过将ASR系统偏置到特定的上下文短语(如人名、音乐列表、专有名词等)来获得更好的识别性能。现有的方法主要包括上下文LM偏置和在端到端ASR模型中添加偏置编码器。在这项工作中,我们引入了一种新的方法来做上下文偏置添加上下文拼写校正模型上的端到端ASR系统。我们将上下文信息与共享的上下文编码器的序列到序列的拼写校正模型。我们提出的模型包括两种不同的机制:自回归(AR)和非自回归(NAR)。我们提出了过滤算法来处理大尺寸的上下文列表,和性能平衡机制来控制模型的偏置程度。我们证明了所提出的模型是一个一般的偏置解决方案,这是域不敏感,可以在不同的情况下采用。实验结果表明,该方法实现了高达51%的相对字出错率(WER)减少ASR系统,并优于传统的偏置方法。与AR模型相比,NAR模型的模型规模减少了43.2%,推理速度提高了2.1倍。
2022-09-07 cs.CL cs.SD eess.AS
CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.(本田研究院日本株式会社);Carnegie Mellon University(卡内基梅隆大学)
CALM通过端到端框架整合目标说话人条件和上下文偏差,降低多说话人语音识别的词错误率和字符错误率,验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
利用上下文信息是提高会话式自动语音识别(ASR)性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境,由于历史认知错误的不可避免,这可能会使当前公认的假设产生偏差。为了避免这个问题,我们提出了一个音频文本跨模态表示提取器,直接从前面的语音学习上下文表示。具体来说,它由两个模态相关编码器和一个跨模态编码器组成,前者从语音和相应的文本中提取高级潜在特征,后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此,该模型不仅捕获特定模态中的双向上下文依赖性,而且捕获不同模态之间的关系。然后,在会话式ASR系统的训练期间,提取器将被冻结以提取先前语音的文本表示,而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性,并在MagicData数据集上实现了高达16%的字符错误率(CER)降低。
2022-07-03 cs.CL cs.SD eess.AS
ASR error management for improving spoken language understanding
Le Mans University(勒芒大学);University of Avignon(阿维尼翁大学);McGill University(麦吉尔大学)
本文讨论的问题,自动语音识别(ASR)的错误检测和使用,以提高口语语言理解(SLU)系统。在这项研究中,SLU任务包括自动提取,从ASR transmittance,语义概念和概念/值对,例如旅游信息系统。提出了一种方法,用于丰富的语义标签与错误的特定标签的集合,并通过使用最近提出的神经方法的基础上词嵌入来计算良好校准的ASR置信度的措施。实验结果表明,它是可能的,以减少显着的概念/值出错率与最先进的系统的状态,优于以前公布的结果性能相同的实验数据。它还表明,结合SLU方法的基础上的条件随机场与神经编码器/解码器的注意力为基础的架构,它可以有效地识别信心岛和不确定的语义输出段,用于决定适当的错误处理行动的对话管理器策略。
2017-05-26 cs.AI cs.CL cs.NE
Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR
Department of Computer Science and Artificial Intelligence, Dongguk University(计算机科学与人工智能系,东国大学);Department of Biostatistics, Harvard University(生物统计学系,哈佛大学)
本文通过结合大语言模型和语音合成技术,解决老年人ASR数据稀缺问题,实验表明方法有效降低WER达58.2%。
2026-04-15 cs.CL cs.SD
Minimising Biasing Word Errors for Contextual ASR with the Tree-Constrained Pointer Generator
本文提出树约束指针生成器TCPGen及MBWE损失、BLMD方法,使端到端ASR高效利用上下文长尾词列表,并在Librispeech和DSTC上显著降低偏置词与集外词WER。
2022-05-23 cs.CL cs.SD eess.AS
Tree-constrained Pointer Generator with Graph Neural Network Encodings for Contextual Speech Recognition
Cambridge University(剑桥大学)
对作为上下文知识获得的偏置词进行分类对于许多自动语音识别(ASR)应用是至关重要的。本文提出了使用图神经网络(GNN)编码的树约束指针生成器(TCPGen)组件的端到端上下文ASR。通过使用基于树的GNN对前缀树中的偏置词进行编码,通过合并关于以其为根的树枝上的所有词段的信息,在每个树节点处实现端到端ASR解码中的未来词段的前瞻,这允许更准确地预测偏置词的生成概率。系统进行了评估Librispeech语料库使用模拟偏置任务,并提出了一种新的视觉接地上下文ASR管道,提取偏置的话幻灯片旁边的每个会议的AMI语料库。结果表明,与原始TCPGen相比,具有GNN编码的TCPGen在偏置字上实现了约15%的相对WER降低,而解码的计算成本的增加可以忽略不计。
2022-07-02 cs.CL cs.SD eess.AS
Improving RNN-T ASR Performance with Date-Time and Location Awareness
Amazon(亚马逊)
在本文中,我们探讨了将上下文纳入基于递归神经网络(RNN-T)的自动语音识别(ASR)模型的好处,以提高虚拟助手的语音识别。具体地说,我们使用Meta信息提取的时间在发言和近似的位置信息,使ASR上下文感知。我们表明,这些上下文信息,当单独使用时,提高整体性能高达3.48%相对于基线和上下文相结合时,模型学习互补的功能和识别提高了4.62%。在特定领域,这些上下文信号显示出高达11.5%的改善,而其他领域没有任何显着的退化。我们使用在30 K小时和10 K小时数据上训练的模型进行了实验。我们发现,10 K小时数据集的改进规模远远高于30 K小时数据集。我们的研究结果表明,有限的数据训练的ASR模型,上下文信号可以显着提高性能。
2021-06-16 cs.CL eess.AS
Class LM and word mapping for contextual biasing in End-to-End ASR
Apple(苹果公司)
近年来,全神经端到端(E2E)ASR系统在语音识别界获得了迅速的兴趣。它们将语音输入转换为单个可训练神经网络模型中的文本单元。在ASR中,许多话语包含丰富的命名实体。这样的命名实体可以是用户或位置特定的,并且在训练期间看不到它们。单一的模型使得在推理过程中利用动态上下文信息变得不灵活。在本文中,我们提出了训练上下文感知的E2E模型,并允许束搜索在推理过程中遍历到上下文FST。我们还提出了一种简单的方法来调整上下文FST和基础模型之间的成本差异。该算法能够减少命名实体话语WER的57%,而对规则话语的准确性几乎没有下降。虽然E2E模型不需要发音字典,但利用现有的发音知识来提高准确性是很有趣的。在本文中,我们提出了一种算法,通过发音映射到常见的词,并把映射的词作为替代形式的原始词在识别过程中。该算法进一步将命名实体话语上的WER降低了另外31%。
2020-08-10 cs.CL cs.SD eess.AS
Training ASR models by Generation of Contextual Information
Facebook AI(Facebook人工智能)
受监督的ASR模型已经达到了前所未有的准确度,这在一定程度上要归功于不断增加的标记训练数据。然而,在许多应用程序和区域中,只有中等数量的数据可用,这导致了半和弱监督学习研究的激增。在本文中,我们进行了一个大规模的研究评估的有效性弱监督学习的语音识别使用松散相关的上下文信息作为替代地面真理标签。对于弱监督训练,我们使用5万小时的公共英语社交媒体视频及其各自的标题和帖子文本来训练编码器-解码器Transformer模型。我们最好的编码器-解码器模型在1000小时的监督基线上实现了平均20.8%的WER降低,并且当仅使用弱监督编码器进行CTC微调时,平均降低了13.4%的WER。我们的研究结果表明,我们的弱监督设置提高了编码器的声学表示以及解码器的语言生成能力。
2020-02-14 cs.CL cs.LG cs.SD
Multimodal Punctuation Prediction with Contextual Dropout
Apple(苹果公司)
自动语音识别(ASR)广泛应用于消费电子产品中。ASR极大地提高了技术的实用性和可访问性,但通常输出的只是没有标点符号的单词序列。这可能导致在推断用户意图时的模糊性。我们首先提出了一种基于transformer的标点符号预测方法,该方法在2012年的IWC TED任务中实现了8%的改进,击败了以前的最新技术[1]。接下来,我们描述了我们的多模态模型,它从文本和音频中学习,在我们拥有音频和transmittance的内部数据集上,它比纯文本算法提高了8%。最后,我们提出了一种方法来学习一个模型,使用上下文dropout,使我们能够在测试时处理变量的未来上下文。
2021-02-12 cs.AI cs.CL cs.LG
Improving Low Resource Code-switched ASR using Augmented Code-switched TTS
Indian Institute of Technology Bombay(印度理工学院孟买分校);Microsoft India Development Center(微软印度研发中心)
由于语音技术在全球多语言社区的广泛使用,为代码切换语音构建自动语音识别(ASR)系统最近重新获得关注。端到端ASR系统是一个自然的建模选择,因为它们易于使用,在单语环境中性能优越。然而,众所周知,端到端系统需要大量的标记语音。在这项工作中,我们研究通过使用代码交换的文本到语音(TTS)合成的数据增强,在低资源设置提高代码交换的ASR。我们提出了两个有针对性的技术,有效地利用TTS语音样本:1)混合,现有的技术,通过现有的样本的线性插值创建新的训练样本,应用于TTS和真实的语音样本,和2)一个新的损失函数,与TTS样本一起使用,以鼓励代码切换预测。我们报告显着改善ASR性能实现绝对字出错率(WER)减少高达5%,和可衡量的改善代码切换使用我们提出的技术在印度语-英语代码切换ASR任务。
2020-10-12 cs.CL
Improving LSTM-CTC based ASR performance in domains with limited training data
本文讨论了在有限数据域上,基于使用连接主义时间分类(CTC)损失函数训练的长短期记忆(LSTM)神经网络的自动语音识别(ASR)系统与基于使用交叉熵(CE)损失函数训练的混合深度神经网络(DNN)的系统之间观察到的性能差距。我们逐步通过一些实验,显示了基于LSTM-CTC ASR系统的基线EESEN工具包在Librispeech 100 hr(train-clean-100)语料库上训练的增量改进。我们的结果表明,通过数据增强和规则化的有效结合,基于LSTM-CTC的系统可以超过在相同数据上训练的基于Kaldi的强基线的性能。
2018-05-23 cs.CL
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University(北南大学);Apurba Technologies(阿普尔巴技术公司)
虽然全世界有超过3亿人说孟加拉语,但由于孟加拉语是一种低资源语言,因此在改善孟加拉语语音到文本转录方面的工作很少。然而,随着孟加拉语通用语音9.0语音数据集的引入,自动语音识别(ASR)模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录,是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中,我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型,超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后,我们做了一些实验和超参数调整,以产生一个强大的孟加拉ASR模型,比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS
Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex(数据分析与科学研究所,埃塞克斯大学);School of Computer Science and Electronic Engineering, University of Essex(计算机科学与电子工程学院,埃塞克斯大学)
本文提出一种基于对比学习的多语言语音识别框架,通过语境对齐提升识别性能,支持多种语言和口音,实现语音与上下文的高效交互。
2026-08-19 cs.CL
Enhancing the Robustness of Contextual ASR to Varying Biasing Information Volumes Through Purified Semantic Correlation Joint Modeling
Research Center of Auditory Intelligence(听觉智能研究中心);School of Computer Science and Technology(计算机科学与技术学院);Faculty of Computing(计算学院);Harbin Institute of Technology(哈尔滨工业大学)
针对上下文ASR中偏置信息量变化影响识别性能的问题,提出PSC-Joint方法,通过联合建模列表级、短语级和词元级语义相关性并采用净化机制,在AISHELL-1和KeSpeech上分别提升F1分数21.34%和28.46%。
2025-09-07 cs.CL cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft(微软)
在基于传感器的自动语音识别(ASR)系统中,背景信息是动态的,在模型训练过程中是不可用的。在这项工作中,我们引入了一个轻量级的上下文拼写校正模型,以纠正上下文相关的识别错误,在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型,并使用过滤算法来处理大尺寸的上下文列表。实验表明,该模型提高了基线ASR模型的性能,相对词出错率降低了约50%,也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
CUSIDE: Chunking, Simulating Future Context and Decoding for Streaming ASR
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Meituan(美团)
历史和未来的背景信息是已知的,是重要的准确的声学建模。然而,获取未来上下文会给流式ASR带来延迟。在本文中,我们提出了一个新的框架-组块,模拟未来的上下文和解码(CUSIDE)的流式语音识别。引入了一个新的模拟模块来递归地模拟未来的上下文帧,而无需等待未来的上下文。仿真模块使用自监督损失与ASR模型联合训练; ASR模型使用通常的ASR损失进行优化,例如,CTC-CRF如我们实验中所用。实验表明,与使用真实的未来帧作为正确的上下文相比,使用模拟的未来上下文可以大大减少延迟,同时保持识别精度。通过CUSIDE,我们在AISHELL-1数据集上获得了最新的流式ASR结果。
2022-08-02 cs.CL eess.AS
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies(华为技术有限公司 IT 创新研究中心);Research Center, Huawei Technologies(华为技术有限公司 研究中心)
针对情境化普通话 ASR 面临的语音-文本数据不足问题,提出利用纯文本和码本查找的文本增强方法,以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
A Neural Model for Contextual Biasing Score Learning and Filtering
Computer Science Department University of Iowa(计算机科学系 印第安纳大学)
本研究提出一种用于上下文偏置分数学习与过滤的神经模型,通过基于注意力的偏置解码器和逐词元判别目标生成候选短语分数,可过滤低概率短语并提升浅层融合偏置的识别准确率,模型模块化适配性强。
2025-10-27 cs.AI cs.CL cs.SD
XCB: an effective contextual biasing approach to bias cross-lingual phrases in speech recognition
IT Innovation and Research Center, Huawei Technologies Co., Ltd.(华为技术有限公司IT创新研究中心)
本研究提出XCB模块,通过辅助语言偏置和语言特定损失增强预训练ASR模型,有效提升语码转换中次要语言短语的识别准确率,且无额外推理开销。
2024-08-20 cs.AI cs.CL cs.SD
ASR Adaptation for E-commerce Chatbots using Cross-Utterance Context and Multi-Task Language Modeling
Amazon AWS AI(亚马逊AWS人工智能部门)
对插槽实体的自动语音识别(ASR)鲁棒性在涉及货币交易和购买的电子商务语音助理中至关重要。随着有效的领域适应,它是直观的,跨话语上下文线索在消歧领域特定的内容词从语音中起着重要的作用。在本文中,我们研究了各种技术,以提高上下文,内容词的鲁棒性和域自适应的transformer-XL神经语言模型(NLM),以rescore ASR N-best假设。为了提高语境化,我们利用轮级对话行为以及跨话语语境结转。此外,为了使我们的域通用NLM适应电子商务的运行,我们在域内数据上使用来自微调掩码LM的嵌入。最后,为了提高对域内内容词的鲁棒性,我们提出了一个多任务模型,可以联合执行内容词检测和语言建模任务。与非上下文LSTM LM基线相比,我们表现最好的NLM重新评分器在电子商务音频测试集上的内容WER减少了19.2%,插槽标签F1提高了6.4%。
2021-06-15 cs.CL cs.LG cs.SD
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University(国立台湾大学)
口语语言理解(Spoken language understanding,SLU)是机器理解人类语音以实现更好交互的重要任务。然而,来自自动语音识别器(ASR)的错误通常会损害理解性能。实际上,ASR系统可能不容易针对目标场景进行调整。因此,本文采用对比目标学习对ASR错误具有鲁棒性的话语表征,并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Improving Contextual Recognition of Rare Words with an Alternate Spelling Prediction Model
随着ASR的使用越来越广泛,上下文ASR(Contextual ASR)将一系列偏见术语与音频一起作为输入,最近引起了人们的兴趣。我们正在发布与Earnings21数据集相关的背景偏见列表,为这项任务创建一个公共基准。我们使用WeNet工具包中的预训练端到端ASR模型在此基准上呈现基线结果。我们展示了应用于两种不同解码算法的浅融合上下文偏置的结果。我们的基线结果证实了这样的观察结果,即端到端模型特别难以处理在训练过程中很少或从未见过的单词,并且现有的浅层融合技术无法充分解决这个问题。我们提出了一个替代拼写预测模型,提高了34.7%的相对罕见的单词和词汇表外的单词由97.2%的相对召回相比,上下文偏置没有替代拼写。该模型在概念上类似于先前工作中使用的模型,但更容易实现,因为它不依赖于发音词典或现有的文本到语音系统。
2022-09-02 cs.CL cs.SD eess.AS