COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University(国立台湾师范大学)
研究旨在增强复杂多实体场景中的语音增强语言模型,提出COALA框架,通过将SLM潜在表示映射到判别空间量化匹配强度,并解决训练崩溃问题,在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
在本文中,我们研究了使用对抗学习来无监督地适应看不见的记录条件,更具体地说,是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明,我们提出的方法实现了19.8%的相对字错误率(WER)减少相比,未适应的模型。此外,这种自适应方法是有益的,即使当从另一种语言(即法语)的数据上进行,给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition
语音识别近来已成为现实世界应用的实用技术。针对语音驱动的文本检索,这有助于检索信息的口语查询,我们提出了一种方法来集成语音识别和检索方法。由于用户说的内容与目标集合相关,我们适应的统计语言模型用于语音识别的基础上的目标集合,以提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明,我们的方法的有效性。
2002-06-24 cs.CL
An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features
National Taiwan Normal University(国立台湾师范大学)
大量与语音信息相关的多媒体信息迫切需要开发高效的自动摘要方法。为此,我们已经看到在将基于监督的深度神经网络的方法应用于提取语音摘要方面取得了快速进展。最近,双向编码器表示从Transformers(BERT)模型被提出,并取得了破纪录的成功,在许多自然语言处理(NLP)任务,如问答和语言理解。鉴于此,我们在本文中的语境和增强的国家的最先进的基于BERT的模型的语音摘要,而其贡献至少是三倍。首先,我们探讨了将置信度分数纳入句子表示,看看这样的尝试是否有助于减轻不完美的自动语音识别(ASR)所造成的负面影响。其次,我们还增加了额外的结构和语言特征,如句子位置和逆文档频率(IDF)的统计信息,从BERT得到的句子嵌入。最后,我们在一个基准数据集上验证了我们提出的方法的有效性,与几个经典和著名的语音摘要方法相比。
2020-06-01 cs.CL
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google(谷歌)
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别(ASR),并且当与设备上的个性化训练相结合时,它可以产生更好的识别结果。然而,传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中,我们介绍了一个基于模型的端到端的上下文自适应方法,是解码器不可知的,并服从设备上的个性化。我们的设备上的模拟实验表明,所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook(脸书)
自动语音识别(ASR)的端到端建模(E2E)将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程,但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中,我们专注于上下文语音识别,这是特别具有挑战性的E2E模型,因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能,在复杂的上下文信息的存在下,我们建议使用基于类的语言模型(CLM),可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员,并尽量减少搜索错误,我们提出了一个令牌传递解码器,有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR,并实现相对62%的字出错率(WER)减少上下文的ASR,而不损害一般ASR的性能。我们表明,该方法在不修改跨任务的解码超参数的情况下表现良好,使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系)
本文首次系统评估多种语音语言模型中的上下文句法与语义特征,通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。
2025-09-19 cs.CL eess.AS
Contextualized Token Discrimination for Speech Search Query Correction
AI Group, WeBank(WeBank人工智能组);Hong Kong Polytechnic University(香港理工大学);Macau University of Science and Technology(澳门科学理工学院);Hong Kong University of Science and Technology(香港理工大学)
针对语音搜索中ASR导致的查询错误问题,提出基于BERT的上下文化词元判别(CTD)纠错方法,通过组合层增强语义、对比表示纠错,在各指标上性能优异,并发布含错误ASR转写的新基准数据集。
2025-09-04 cs.CL cs.SD
CIF-based Collaborative Decoding for End-to-end Contextual Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
端到端(E2 E)模型在多个语音识别基准测试中取得了可喜的成果,并显示出成为主流的潜力。然而,统一的结构和E2 E训练阻碍了将上下文信息注入到它们中以用于上下文偏置。虽然上下文LAS(CLAS)提供了一个很好的全神经解决方案,给定的上下文信息的偏差程度是不明确的控制。在本文中,我们专注于将上下文信息纳入连续集成和消防(CIF)为基础的模型,支持上下文偏置在一个更可控的方式。具体而言,引入额外的上下文处理网络来提取上下文嵌入,整合声学相关的上下文信息并解码上下文输出分布,从而与基于CIF的模型的解码器形成协作解码。在HKUST/AISHELL-2的命名实体丰富评估集上进行评估,与强基线相比,我们的方法使相对字符出错率(CER)降低了8.83%/21.13%,相对命名实体字符出错率(NE-CER)降低了40.14%/51.50%。此外,它保持了原有的评估集上的性能没有退化。
2021-02-18 cs.AI cs.CL cs.LG
CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
CoSTA是一种解耦生成与合成令牌空间的后处理框架,可提升口语对话模型的生成速度、降低延迟并保持响应质量,还具备跨架构迁移及与低速率分词互补的特性。
2026-10-16 cs.AI cs.CL cs.SD
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University(西北工业大学);Chongqing Changan Automobile Co., Ltd.(重庆长安汽车有限公司)
针对ASR中子词独立增强损害短语完整性的问题,提出基于动态词表预测与激活的短语级语境化ASR方法,引入偏置损失和置信度激活解码,在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Adaptation Algorithms for Neural Network-Based Speech Recognition: An Overview
University of Edinburgh(爱丁堡大学);JPMorgan Chase(摩根大通);Microsoft Corporation(微软公司);University of New South Wales(新南威尔士大学);Apple(苹果公司)
我们提出了一个结构化的基于神经网络的语音识别的自适应算法的概述,考虑混合隐马尔可夫模型/神经网络系统和端到端的神经网络系统,重点是说话人自适应,域自适应,和口音自适应。概述的特点自适应算法的基础上嵌入,模型参数自适应,或数据增强。我们提出了一个荟萃分析的性能语音识别自适应算法,根据文献中报道的相对错误率降低。
2021-02-28 cs.CL cs.SD eess.AS
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google(谷歌)
自动语音识别(ASR)系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是,这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明,通过模型微调的个性化大大提高了性能。然而,为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明,通过所谓的残差适配器向编码器层添加相对少量的额外参数,与模型微调相比,我们可以实现类似的自适应增益,同时只更新一小部分(小于0.5%)模型参数。我们证明了这两个语音适应任务(非典型和重音语音)和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies(华为技术有限公司 IT 创新研究中心);Research Center, Huawei Technologies(华为技术有限公司 研究中心)
针对情境化普通话 ASR 面临的语音-文本数据不足问题,提出利用纯文本和码本查找的文本增强方法,以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
Multiple-hypothesis CTC-based semi-supervised adaptation of end-to-end speech recognition
Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室);The University of Sheffield(谢菲尔德大学)
本文提出了一种用于端到端语音识别的自适应方法。在该方法中,多个自动语音识别(ASR)1-最佳假设被集成在计算的连接主义时间分类(CTC)损失函数。当使用ASR假设时,多个ASR假设的整合有助于减轻ASR假设中的误差对CTC损失计算的影响。当应用于部分自适应数据没有标签的半监督自适应场景时,所提出的方法的CTC损失从通过解码未标记的自适应数据获得的不同ASR 1-best假设计算。在干净和多条件训练场景中进行实验,其中基于CTC的端到端ASR系统分别在华尔街日报(WSJ)干净训练数据和CHiME-4多条件训练数据上进行训练,并在Aurora-4测试数据上进行测试。所提出的自适应方法产生6.6%和5.8%的相对字出错率(WER)减少清洁和多条件的训练方案,分别相比,基线系统,这是适应与部分的自适应数据具有手动transmittance使用反向传播微调。
2021-03-31 cs.CL
XCB: an effective contextual biasing approach to bias cross-lingual phrases in speech recognition
IT Innovation and Research Center, Huawei Technologies Co., Ltd.(华为技术有限公司IT创新研究中心)
本研究提出XCB模块,通过辅助语言偏置和语言特定损失增强预训练ASR模型,有效提升语码转换中次要语言短语的识别准确率,且无额外推理开销。
2024-08-20 cs.AI cs.CL cs.SD
Contextualized Streaming End-to-End Speech Recognition with Trie-Based Deep Biasing and Shallow Fusion
Facebook AI
如何在端到端语音识别中充分利用动态上下文信息一直是一个活跃的研究领域。以前解决这个问题的方案要么是针对特殊用例设计的,这些用例不能很好地推广到开放域场景,不能扩展到大型偏置列表,或者在罕见的长尾词上表现不佳。我们通过提出一种新的解决方案来解决这些限制,该解决方案结合了浅层融合、基于trie的深度偏置和神经网络语言模型上下文化。这些技术导致显着的19.5%的相对字出错率改善现有的上下文偏置方法和5.4%-9.3%的改善相比,一个强大的混合基线上的开放域和受约束的上下文任务,其中的目标包括大多数罕见的长尾词。我们的最终系统仍然是轻量级和模块化的,允许快速修改,而无需模型重新训练。
2021-06-11 cs.CL cs.LG eess.AS
Contextualized End-to-end Automatic Speech Recognition with Intermediate Biasing Loss
Honda Research Institute Japan Co., Ltd.(日本本田研究所);Carnegie Mellon University(卡内基梅隆大学)
针对现有上下文化端到端语音识别忽略中间层上下文知识的问题,提出在编码器中间层加入显式偏置损失的方法,在LibriSpeech语料库上显著降低词错误率,提升模型鲁棒性。
2024-06-23 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University(卡内基梅隆大学)
端到端的声学到词语音识别模型最近得到了普及,因为它们易于训练,可以很好地扩展到大量的训练数据,并且不需要词典。此外,单词模型也可以更容易地与下游任务(例如口语语言理解)集成,因为推理(搜索)与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中,我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中,我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外,我们评估这些嵌入在语言理解任务,并观察到,我们的嵌入匹配的性能,基于文本的嵌入在管道中的第一次执行语音识别,然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft(微软)
在基于传感器的自动语音识别(ASR)系统中,背景信息是动态的,在模型训练过程中是不可用的。在这项工作中,我们引入了一个轻量级的上下文拼写校正模型,以纠正上下文相关的识别错误,在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型,并使用过滤算法来处理大尺寸的上下文列表。实验表明,该模型提高了基线ASR模型的性能,相对词出错率降低了约50%,也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
在近距离说话语音上训练的语音识别器不能推广到远距离语音,并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题,留下很少的努力,以适应近距离说话的语音识别器,以遥远的语音。在这项工作中,我们回顾了几种方法从领域自适应的角度来看。这些方法,包括语音增强,多条件训练,数据增强,和自动编码器,都涉及域之间的数据转换。我们在AMI数据集上进行实验,这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距,为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR
Department of Computer Science and Artificial Intelligence, Dongguk University(计算机科学与人工智能系,东国大学);Department of Biostatistics, Harvard University(生物统计学系,哈佛大学)
本文通过结合大语言模型和语音合成技术,解决老年人ASR数据稀缺问题,实验表明方法有效降低WER达58.2%。
2026-04-15 cs.CL cs.SD
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University(西江大学);Naver Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
通常,由于训练环境和测试环境之间的不匹配,自动语音识别(ASR)系统的性能显著降低。最近,提出了一种基于深度学习的图像到图像翻译技术,将图像从源域翻译到所需域,并应用循环一致性对抗网络(CycleGAN)来学习从说话人到目标说话人的语音到语音转换的映射。然而,该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量,因为它被设计为转换语音本身。在本文中,我们提出了一种基于生成对抗网络(GANs)的域自适应方法,具有解纠缠表示学习,以实现ASR系统的鲁棒性。特别是,两个独立的编码器,上下文和域编码器,引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR,将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外,与基于CycleGAN的方法类似,该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Unsupervised Topic Adaptation for Lecture Speech Retrieval
我们正在开发一个跨媒体的信息检索系统,用户可以通过提交文本查询来查看特定片段的讲座视频。为了产生文本索引,从讲座视频中提取音轨,并通过自动语音识别生成转录。在本文中,为了提高我们的检索系统的质量,我们广泛的调查适应声学和语言模型对语音识别的影响。我们执行基于MLLR的方法来适应声学模型。为了获得用于语言模型适应的语料库,我们使用目标讲座的教科书来搜索与讲座主题相关联的网页的Web集合。我们通过实验证明了我们的方法的有效性。
2004-07-10 cs.CL
Instruction Data Generation and Unsupervised Adaptation for Speech Language Models
NVIDIA(英伟达)
针对多模态大语言模型的语音-文本双模态训练样本稀缺问题,提出三种结合大语言模型与文本转语音的合成数据生成方法,验证了无标注语音数据扩大多语言训练的潜力,提升了模型跨模态整合理解能力。
2024-06-18 cs.AI cs.CL cs.LG
DM-Codec: Distilling Multimodal Representations for Speech Tokenization
Center for Computational & Data Sciences, Independent University, Bangladesh(计算与数据科学中心,独立大学,孟加拉国);Amazon GenAI(亚马逊生成人工智能);Qatar Computing Research Institute(卡塔尔计算研究所);University of Virginia(弗吉尼亚大学)
针对语音离散令牌缺少上下文表示的问题,提出DM-Codec,通过LM与SM引导蒸馏融合声学、语义和上下文信息,显著降低转写错误并提升语音质量。
2025-09-29 cs.AI cs.CL cs.SD
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习(FL),我们引入了一种在私人设备上连续适应神经网络语言模型(NNLM)的有效方法,并应用于自动语音识别(ASR)。为了解决设备上训练语料库中潜在的语音转录错误,我们进行了实证研究,比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明,与无模型自适应相比,该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率(WER)降低。我们还提供了分析,在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
Child ASR Adaptation with Adult Retention: An Empirical Study
Qatar Computing Research Institute(卡塔尔计算研究所)
本研究实证比较了多种ASR适配方法在儿童语音上的效果,发现直接适配会损害成人性能,而权重空间合并(如LERP和TIES)能更好地平衡儿童适配与成人保留。
2026-10-08 cs.AI cs.CL cs.LG
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出自动文本发音相关性(ATPC)方法,利用语音与文本标注对齐和语音嵌入距离比较,在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
Dialog act guided contextual adapter for personalized speech recognition
Alexa, Amazon(亚马逊Alexa)
提出对话行为引导的上下文适配器网络,利用对话行为选择用户目录并结合音频与语义关系创建查询,在工业语音助手数据集上相较无上下文模型实现58%的平均相对词错误率降低,显著优于现有方法。
2023-03-31 cs.CL cs.SD eess.AS
Contextual Adapters for Personalized Speech Recognition in Neural Transducers
Amazon Alexa(亚马逊Alexa)
由于缺乏训练数据,端到端自动语音识别(E2E ASR)模型中的个人稀有词识别是一个挑战。解决这个问题的标准方法是在推理时使用浅层融合方法。然而,由于它们依赖于外部语言模型和确定性的方法来提高权重,它们的性能是有限的。在本文中,我们提出了在基于神经换能器的ASR模型中训练用于个性化的神经上下文适配器。我们的方法不仅可以偏向用户定义的单词,而且可以灵活地使用预训练的ASR模型。使用内部数据集,我们证明了上下文适配器可以应用于任何通用的预训练ASR模型,以提高个性化。我们的方法优于浅层融合,同时通过不改变任何模型权重来保留预训练模型的功能。我们进一步表明,适配器风格的训练优于在具有用户定义内容的数据集上对ASR模型进行全微调。
2022-05-26 cs.CL cs.LG
Tree-constrained Pointer Generator with Graph Neural Network Encodings for Contextual Speech Recognition
Cambridge University(剑桥大学)
对作为上下文知识获得的偏置词进行分类对于许多自动语音识别(ASR)应用是至关重要的。本文提出了使用图神经网络(GNN)编码的树约束指针生成器(TCPGen)组件的端到端上下文ASR。通过使用基于树的GNN对前缀树中的偏置词进行编码,通过合并关于以其为根的树枝上的所有词段的信息,在每个树节点处实现端到端ASR解码中的未来词段的前瞻,这允许更准确地预测偏置词的生成概率。系统进行了评估Librispeech语料库使用模拟偏置任务,并提出了一种新的视觉接地上下文ASR管道,提取偏置的话幻灯片旁边的每个会议的AMI语料库。结果表明,与原始TCPGen相比,具有GNN编码的TCPGen在偏置字上实现了约15%的相对WER降低,而解码的计算成本的增加可以忽略不计。
2022-07-02 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation for Robust Speech Recognition via Variational Autoencoder-Based Data Augmentation
Massachusetts Institute of Technology(麻省理工学院)
在许多机器学习场景中,训练和测试之间的域不匹配可能导致性能显著下降。不幸的是,对于实际应用中的自动语音识别部署,这种情况并不罕见。鲁棒语音识别的研究可以被看作是试图克服这个域失配问题。在本文中,我们解决了鲁棒语音识别的无监督领域自适应问题,其中源和目标域的语音,但单词成绩单只适用于源域语音。我们提出了新的增强为基础的方法,转换语音的方式,不改变成绩单。具体来说,我们首先训练一个变分自编码器的源和目标域数据(没有监督)学习语音的潜在表示。然后,我们通过修改潜在表示来变换与识别无关的语音的讨厌属性,以便用分布更类似于目标域的附加数据来增强标记的训练数据。在CHiME-4数据集上对所提出的方法进行了评估,与非适应基线相比,该方法将绝对字出错率(WER)降低了35%。
2017-09-22 cs.CL cs.LG
In-Context Adaptation of Encoder-Decoder Models in Speech Recognition
University of Edinburgh(爱丁堡大学)
本研究探究上下文自适应是否为所有编码器-解码器语音识别模型的固有能力,通过六种模型和两种示例形式验证,发现均能实现自适应,且词汇与说话人信息均有贡献,表明该能力具有普遍性。
2026-09-29 cs.CL cs.SD eess.AS
Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems
Microsoft(微软)
上下文偏置是端到端自动语音识别(ASR)系统中一个重要且具有挑战性的任务,其目的是通过将ASR系统偏置到特定的上下文短语(如人名、音乐列表、专有名词等)来获得更好的识别性能。现有的方法主要包括上下文LM偏置和在端到端ASR模型中添加偏置编码器。在这项工作中,我们引入了一种新的方法来做上下文偏置添加上下文拼写校正模型上的端到端ASR系统。我们将上下文信息与共享的上下文编码器的序列到序列的拼写校正模型。我们提出的模型包括两种不同的机制:自回归(AR)和非自回归(NAR)。我们提出了过滤算法来处理大尺寸的上下文列表,和性能平衡机制来控制模型的偏置程度。我们证明了所提出的模型是一个一般的偏置解决方案,这是域不敏感,可以在不同的情况下采用。实验结果表明,该方法实现了高达51%的相对字出错率(WER)减少ASR系统,并优于传统的偏置方法。与AR模型相比,NAR模型的模型规模减少了43.2%,推理速度提高了2.1倍。
2022-09-07 cs.CL cs.SD eess.AS
Generative Adversarial Training Data Adaptation for Very Low-resource Automatic Speech Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
濒危语言语音数据的转录和存档对于保护语言文化遗产具有重要意义,而自动语音识别(ASR)技术是实现这一目标的有力工具。然而,由于濒危语言通常不具有具有许多说话者的大型语料库,因此在它们上训练的ASR模型的性能通常相当差。然而,我们经常会留下大量需要转录的自发语音数据记录。在这项工作中,为了减轻这种扬声器稀疏性问题,我们建议转换整个训练语音数据,使其听起来像测试扬声器,以便为该扬声器开发一个高度准确的ASR系统。为此,我们利用基于CycleGAN的非并行语音转换技术来伪造接近测试说话人语音的标记训练数据。我们在两个低资源语料库上评估了这种说话人自适应方法,即阿伊努语和姆博希语。我们在阿伊努语语料库上获得了35-60%的相对改善,在Mboshi语料库上获得了40%的相对改善。这种方法优于两种传统的方法,即无监督的适应和多语言训练这两个语料库。
2020-07-31 cs.CL eess.AS
OWSM-Biasing: Contextualizing Open Whisper-Style Speech Models for Automatic Speech Recognition with Dynamic Vocabulary
SB IntuitionsJapan(SB Intuitions日本)
本文提出将现有上下文偏置方法集成到冻结参数的 OWSM v3.1 中,以借助预训练语音基础模型知识改善罕见词识别,并在 LibriSpeech 上显著降低 B-WER、WER 和实时因子。
2025-06-11 cs.CL cs.SD eess.AS
Tree-constrained Pointer Generator for End-to-end Contextual Speech Recognition
Cambridge University(剑桥大学)
背景知识对于真实世界的自动语音识别(ASR)应用是重要的。在本文中,提出了一种新的树约束指针生成器(TCPGen)组件,将这样的知识作为一个列表的偏置单词到基于注意力的编码器-解码器和换能器端到端ASR模型中的神经符号的方式。TCPGen将偏置词构造成有效的前缀树作为其符号输入,并在树和最终ASR输出分布之间创建神经捷径,以便于在解码期间识别偏置词。在Librispeech语料库上对系统进行了训练和评估,其中在话语,章节或书籍的尺度上提取了偏见词,以模拟不同的应用场景。实验结果表明,TCPGen一贯改善字出错率(WER)相比,基线,特别是,取得了显着的WER减少偏见的话。TCPGen非常高效:它可以处理5,000个偏置词和干扰项,并且只会增加少量的内存使用和计算开销。
2021-09-17 cs.CL cs.SD
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.(本田日本研究所株式会社);Carnegie Mellon University(卡内基梅隆大学)
针对端到端ASR难以适配未见上下文的问题,提出基于注意力的可编辑短语偏置方法及BPB束搜索算法,在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
DeCoAR 2.0: Deep Contextualized Acoustic Representations with Vector Quantization
Amazon AWS AI(亚马逊云计算服务人工智能部门)
最近在语音表示学习方面的成功使得利用未标记数据来训练语音识别模型成为可能。在语音表示学习中,大量未标记的数据以自监督的方式用于学习特征表示。然后,使用较少量的标记数据来使用新的特征表示训练下游ASR系统。基于我们以前的工作DeCoAR和其他语音表示学习的灵感,我们提出了DeCoAR 2.0,一个带有矢量量化的深度上下文化声学表示。我们介绍了几个修改的DeCoAR:第一,我们使用Transformers在编码模块,而不是LSTM;第二,我们引入了一个矢量量化层之间的编码器和重建模块;第三,我们提出了一个目标,结合重建损失与矢量量化的多样性损失训练语音表示。我们的实验表明,在不同的数据稀疏的情况下,其他语音表示一致的改进。在没有微调的情况下,使用DeCoAR 2.0功能在10小时LibriSpeech标记数据上训练的轻量级ASR模型优于使用滤波器组功能在完整的960小时数据集上训练的模型。
2020-12-11 cs.CL cs.LG eess.AS
Deep Contextualized Acoustic Representations For Semi-Supervised Speech Recognition
Amazon AWS AI(亚马逊AWS人工智能)
提出了一种新的半监督自动语音识别方法。我们首先通过表示学习利用大量未标记的音频数据,在那里我们从过去和未来的上下文帧中重建滤波器组特征的时间切片。然后使用所得到的深度情境化声学表示(DeCoAR)来使用较少量的标记音频数据训练基于CTC的端到端ASR系统。在我们的实验中,我们表明,在DeCoAR上训练的系统始终优于在传统滤波器组特征上训练的系统,在WSJ eval 92和LibriSpeech test-clean上分别比基线提高了42%和19%。我们的方法可以大大减少所需的标记数据量;在LibriSpeech上进行无监督训练,然后用100小时的标记数据进行监督,其性能与直接在所有960小时上进行训练的性能相当。预训练的模型和代码将在线发布。
2020-04-09 cs.CL cs.LG cs.SD
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan(本田研究院日本);Carnegie Mellon University(卡内基梅隆大学)
本文提出DYNAC,一种将动态词表集成到CTC中间层的自条件非自回归方法,在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
Enhancing Dialogue Speech Recognition with Robust Contextual Awareness via Noise Representation Learning
POSTECH(浦项科技大学)
针对对话ASR中自回归生成的上下文易带噪导致性能受限的问题,提出CNRL方法,结合文本对话数据解码器预训练与上下文编码器噪声表示学习,提升带噪上下文鲁棒性,在语音对话及嘈杂环境下均取得更优识别效果。
2024-08-12 cs.CL cs.SD eess.AS
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA(英伟达)
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘,其中原始域上的字出错率显著降低。本文讨论的情况下,我们要同时适应自动语音识别模型到一个新的域,并限制在原始域的准确性下降,而无需访问原始的训练数据集。我们提出了几种技术,例如有限的训练策略和用于传感器编码器,预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集,并在新的目标域上获得了强有力的结果,同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Small Pretrained Speech Recognition Transformers
comcast Speech AI(comcast语音人工智能)
提出WhisTLE,一种通过变分自编码器建模文本到编码器输出并微调解码器的文本领域自适应方法,显著降低词错误率。
2026-09-09 cs.CL cs.LG
Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
在之前的工作中,我们开发了一个基于深度学习的闭环语音链模型,该架构使自动语音识别(ASR)和文本到语音合成(TTS)组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能,但在多说话人任务中只能获得轻微的提高。此外,该模型仍然无法处理看不见的扬声器。在本文中,我们提出了一个新的语音链机制,通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力,以处理看不见的扬声器,通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征,即使是来自没有任何说话者信息的文本。在语音链循环机制中,ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力,从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Phoneme-Based Contextualization for Cross-Lingual Speech Recognition in End-to-End Models
Google, LLC(谷歌有限责任公司)
上下文自动语音识别,即,在端到端(E2E)模型中,将识别偏向给定的上下文(例如,用户的播放列表或联系人)是具有挑战性的。这种模型在波束搜索解码期间保持有限数量的候选者,并且已经发现识别罕见的命名实体很差。当偏向于外语中的专有名词时,这个问题会加剧,例如,地理位置名称,在训练中几乎看不到,因此是词汇表外(OOV)。虽然字素或词段E2E模型可能很难拼写OOV单词,但音素在声学上更突出,过去的工作表明E2E音素模型可以更好地预测这些单词。在这项工作中,我们提出了一个E2E模型,包含英语单词和音素的建模空间,并执行上下文偏置的外国单词在音素层面上的外国单词的发音映射到类似的英语音素。在实验评估中,我们发现,所提出的方法比一个纯字素偏置模型的性能好16%,比一个纯字段偏置模型在外国地名识别任务上的性能好8%,在常规英语任务上只有轻微的退化。
2019-07-22 cs.CL cs.SD eess.AS
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne(墨尔本大学);UNSW Sydney(新南威尔士大学悉尼分校)
针对太平洋土著语言数据稀缺和灾难性遗忘问题,研究语音基础模型的适应策略,发现LoRA在顺序学习中会灾难性遗忘,需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
PAC: Pronunciation-Aware Contextualized Large Language Model-based Automatic Speech Recognition
JD AI Research(京东人工智能研究院)
本文提出PAC框架,通过发音引导的上下文学习和发音判别强化学习两阶段范式,解决基于LLM的ASR系统中发音建模与谐音判别问题,在Librispeech和AISHELL-1上显著降低了词错误率。
2025-09-16 cs.CL eess.AS
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University(西北工业大学)
针对流式语音识别中个性化词偏置损害常用词识别的问题,提出基于CATT的自适应上下文偏置方法,动态开关偏置列表,显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出一种基于跨模态对话表示的对话ASR系统,通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性,在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs(AWS人工智能实验室)
端到端语音识别模型训练使用联合连接时间分类(CTC)-注意力损失最近得到普及。在这些模型中,非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而,这样的模型很难个性化,因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题,我们提出了一种新的双向方法,首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外(OOV)单词列表上,然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法,以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition
Amazon Inc.(亚马逊公司);Meta AI
尽管基于深度学习的端到端自动语音识别(ASR)近年来表现出了卓越的性能,但它在从不同数据分布中提取的测试样本上存在严重的性能回归。测试时自适应(TTA),以前在计算机视觉领域进行过探索,旨在调整在源域上训练的模型,以便在不访问源数据的情况下,为测试样本(通常是域外)提供更好的预测。在这里,我们提出了单话语测试时间适应(SUTA)框架的ASR,这是第一个TTA研究ASR,以我们最好的知识。单话语TTA是更现实的设置,其不假设测试数据是从相同的分布中采样的,并且不会由于针对该批自适应数据的预收集而延迟按需推理。SUTA由无监督目标和有效的适应策略组成。实验结果表明,SUTA有效地提高了源ASR模型在多个领域外目标语料库和领域内测试样本上的性能。
2022-06-21 cs.CL cs.SD eess.AS
End-to-end Adaptation with Backpropagation through WFST for On-device Speech Recognition System
Sony Corporation(索尼公司)
设备上的DNN-HMM语音识别系统在存在各种可预测噪声的情况下有效地利用有限的词汇。在这种情况下,词汇和环境适应非常有效。在本文中,我们提出了一种新的方法,端到端(E2 E)的适应,它不仅调整声学模型(AM),但也加权有限状态传感器(WFST)。我们将预训练的WFST转换为可训练的神经网络,并通过与AM的E2 E联合训练使系统适应目标环境/词汇。我们用前向-后向神经网络计算复制Viterbi解码,这类似于递归神经网络(RNN)。通过合并输出分数序列,获得每个话语的词汇后验,并用于判别损失计算。使用2- 10小时的英语/日语自适应数据集的实验表明,只有WFST和只有AM的微调都相当于一个国家的最先进的自适应方法,和E2 E联合训练的两个组件实现了最佳的识别性能。我们还适应每个语言系统的其他语言使用的适应数据,结果表明,所提出的方法也适用于语言适应。
2019-06-24 cs.CL cs.SD eess.AS