Contextual Expressive Text-to-Speech
Alibaba DAMO Academy(阿里巴巴达摩院);Renmin University of China(中国人民大学)
表达性文本转语音(TTS)的目标是以高表达性合成具有期望内容、韵律、情感或音色的自然语音。以往的大多数研究都试图从给定的风格和情感标签中生成语音,这通过将风格和情感分类到固定数量的预定义类别中来过度简化问题。在本文中,我们介绍了一种新的任务设置,上下文TTS(CTTS)。CTTS的主要思想是,一个人说话的方式取决于他所处的特定上下文,其中上下文通常可以表示为文本。因此,在CTTS任务中,我们建议利用这样的上下文来指导语音合成过程,而不是依赖于风格和情感的明确标签。为了实现这一任务,我们构建了一个合成数据集,并开发了一个有效的框架。实验表明,我们的框架可以生成高质量的表达语音的基础上给定的背景下,无论是在合成数据集和现实世界的场景。
2022-11-26 cs.CL cs.LG cs.MM
Attention-based Contextual Language Model Adaptation for Speech Recognition
Amazon Alexa(亚马逊Alexa)
用于自动语音识别(ASR)的语言建模(LM)通常不包括话语级上下文信息。然而,对于像语音助理这样的一些领域,附加的上下文(诸如说出话语的时间)提供了丰富的输入信号。我们引入了一种注意力机制,用于在文本和非语言上下文数据上训练神经语音识别语言模型。当应用于一个流行的语音助手平台收集的大量去识别的话语数据集时,我们的方法相对于不包含上下文信息的标准LM减少了7.0%的困惑。当从数据集的长尾中提取的话语进行评估时,我们的方法相对于标准LM提高了9.0%的困惑度,与最先进的上下文LM模型相比,相对提高了2.8%。
2021-06-02 cs.AI cs.CL
COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University(国立台湾师范大学)
研究旨在增强复杂多实体场景中的语音增强语言模型,提出COALA框架,通过将SLM潜在表示映射到判别空间量化匹配强度,并解决训练崩溃问题,在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network
Northwestern Polytechnical University(西北工业大学)
本文提出上下文短语预测网络,通过显式偏置损失增强基于注意力的深度偏置,显著降低多种端到端模型及上下文短语的词错率。
2023-07-12 cs.CL cs.SD eess.AS
Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents
面向目标的会话界面旨在完成特定的任务,通常具有倾向于跨越多个回合的交互,这些交互遵循预定义的结构和目标。然而,自动语音识别(ASR)系统中的传统神经语言模型(NLM)大多是在有限的上下文下逐段训练的。在本文中,我们探索了将上下文纳入基于LSTM的NLM的不同方法,以便对长程依赖关系进行建模并改进语音识别。具体来说,我们使用跨多个回合的上下文结转,并使用词汇上下文线索,例如来自自然语言理解(NLU)模型的系统对话行为和用户提供的聊天机器人结构。我们还提出了一个新的架构,利用上下文嵌入来自BERT在推理时间提供的样本话语。我们的实验表明,一个字的出错率(WER)相对减少7%以上的非上下文话语级NLM rescorers目标为导向的音频数据集。
2021-06-04 cs.CL
Low-Resource Contextual Topic Identification on Speech
The Johns Hopkins University(约翰斯·霍普金斯大学)
在现实世界的非结构化音频的主题识别(主题ID)中,可变主题转换的音频实例首先被分解成连续的片段,并且每个片段被独立地分类。我们首先提出了一个通用的方法,在低资源的语言口语段的主题ID,使用级联的通用声学建模,翻译词典到英语,英语主题分类。接下来,而不是独立地分类每个段,我们证明,探索跨顺序段的上下文依赖关系可以提供很大的改进。特别是,我们提出了一个基于注意力的上下文模型,它能够利用上下文中有选择的方式。我们测试我们的上下文和非上下文模型四个LORELEI语言,但我们的注意力为基础的上下文模型显着优于上下文无关的模型。
2018-09-28 cs.CL
An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features
National Taiwan Normal University(国立台湾师范大学)
大量与语音信息相关的多媒体信息迫切需要开发高效的自动摘要方法。为此,我们已经看到在将基于监督的深度神经网络的方法应用于提取语音摘要方面取得了快速进展。最近,双向编码器表示从Transformers(BERT)模型被提出,并取得了破纪录的成功,在许多自然语言处理(NLP)任务,如问答和语言理解。鉴于此,我们在本文中的语境和增强的国家的最先进的基于BERT的模型的语音摘要,而其贡献至少是三倍。首先,我们探讨了将置信度分数纳入句子表示,看看这样的尝试是否有助于减轻不完美的自动语音识别(ASR)所造成的负面影响。其次,我们还增加了额外的结构和语言特征,如句子位置和逆文档频率(IDF)的统计信息,从BERT得到的句子嵌入。最后,我们在一个基准数据集上验证了我们提出的方法的有效性,与几个经典和著名的语音摘要方法相比。
2020-06-01 cs.CL
Assessing the impact of contextual information in hate speech detection
Universidad Torcuato Di Tella(托尔夸托·迪·特利亚大学);National Institute of Standards and Technology(美国国家标准与技术研究院);Colorado State University(科罗拉多州立大学)
近年来,仇恨言论在社交网络和其他虚拟媒体中变得越来越重要,因为其强度及其与针对受保护群体成员的暴力行为的关系。由于用户产生的大量内容,在自动工具的研究和开发方面已经做出了很大的努力,以帮助分析和缓和这种语音,至少在其最具威胁性的形式中。当前自动仇恨言论检测方法的局限性之一是缺乏上下文。大多数研究和资源都是在没有上下文的数据上执行的;也就是说,没有任何类型的会话上下文或正在讨论的主题的孤立消息。这限制了可用的信息来定义社交网络上的帖子是否是仇恨的。在这项工作中,我们提供了一个新的语料库,用于基于用户对Twitter上媒体发布的新闻帖子的响应进行上下文化的仇恨言论检测。该语料库以西班牙语的Rioplatense方言种类收集,重点关注与COVID-19大流行相关的仇恨言论。使用最先进的技术的分类实验表明,添加上下文信息,提高仇恨语音检测性能的两个建议的任务(二进制和多标签预测)的证据。我们提供我们的代码、模型和语料库供进一步研究。
2023-03-11 cs.CL
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook(脸书)
自动语音识别(ASR)的端到端建模(E2E)将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程,但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中,我们专注于上下文语音识别,这是特别具有挑战性的E2E模型,因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能,在复杂的上下文信息的存在下,我们建议使用基于类的语言模型(CLM),可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员,并尽量减少搜索错误,我们提出了一个令牌传递解码器,有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR,并实现相对62%的字出错率(WER)减少上下文的ASR,而不损害一般ASR的性能。我们表明,该方法在不修改跨任务的解码超参数的情况下表现良好,使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系)
本文首次系统评估多种语音语言模型中的上下文句法与语义特征,通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。
2025-09-19 cs.CL eess.AS
Contextual Paralinguistic Data Creation for Multi-Modal Speech-LLM: Data Condensation and Spoken QA Generation
Agency for Science, Technology and Research (A ⋆ ⋆ \star ⋆ STAR)(科技研究局);Institute for Infocomm Research (I 2 R)(信息通信研究所)
本文提出首个从自然场景语音中生成上下文副语言问答数据集的框架,通过伪副语言标签数据浓缩和LLM生成CPQA,验证了其有效性并揭示了现有语音LLM在共情推理上的不足。
2025-06-03 cs.AI cs.CL eess.AS
Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild
Argmax, Inc.(Argmax公司);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出Contextual Earnings-22基准测试,通过真实自定义词汇场景推动研究,揭示潜在进展。关键词提示和增强方法在扩展到大规模系统时表现出色。
2026-03-28 cs.AI cs.CL cs.SD
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University(西北工业大学);Chongqing Changan Automobile Co., Ltd.(重庆长安汽车有限公司)
针对ASR中子词独立增强损害短语完整性的问题,提出基于动态词表预测与激活的短语级语境化ASR方法,引入偏置损失和置信度激活解码,在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Evaluation of Hate Speech Detection Using Large Language Models and Geographical Contextualization
Iowa State University(爱荷华州立大学)
本研究提出三维评估框架,系统测试三个大语言模型在多语言地理情境下的仇恨言论检测性能,揭示准确性、情境理解与鲁棒性间的权衡,为开发情境化检测系统奠定基础。
2025-02-26 cs.CL cs.LG
Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data
Institute of Infocomm Research (I 2 R)(信息通信研究所)
针对语音大语言模型在副语言推理上的不足,提出CP-Bench基准,通过两个QA数据集评估模型整合言语与非言语线索的能力,揭示现有评估空白,为构建情感智能语音模型提供方向。
2025-09-24 cs.AI cs.CL
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies(华为技术有限公司 IT 创新研究中心);Research Center, Huawei Technologies(华为技术有限公司 研究中心)
针对情境化普通话 ASR 面临的语音-文本数据不足问题,提出利用纯文本和码本查找的文本增强方法,以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
Surfacing contextual hate speech words within social media
National Tsinghua University(清华大学)
社交媒体平台最近出现了仇恨言论话语的增加,这导致了对改进检测方法的呼吁。其中大多数依赖于注释数据、关键字和分类技术。虽然这种方法提供了很好的覆盖面,但在处理网上极端主义社区产生的新术语时,这种方法可能不够,因为这些新术语是具有其他仇恨言论含义的单词的原始来源。这些暗语(既可以是创造的,也可以是被采用的)被设计成逃避自动检测,并且在常规话语中通常具有善意的含义。例如,“skypes”、“googles”和“yahoos”都是具有可用于仇恨言论的替代含义的单词的实例。这种重叠在依赖于收集仇恨言论特定数据和下游分类的关键词时带来了额外的挑战。在这项工作中,我们开发了一种社区发现方法,用于发现极端主义仇恨言论社区并从其成员那里收集数据。我们还开发了一个词嵌入模型,该模型学习单词的替代仇恨言论含义,并通过几个注释实验证明了我们的代码词的候选资格,旨在确定是否有可能在不知道其替代含义的情况下识别一个词用于仇恨言论。我们报告的注释者间的协议率K=0.871,K=0.676分别从我们的极端主义社区和关键字的方法,支持我们的说法,仇恨言论检测是一个上下文的任务,并不依赖于一个固定的关键字列表。我们的目标是通过提供高质量的仇恨言论数据集以及可以输入现有分类方法的学习代码来推进该领域,从而提高自动检测的准确性。
2017-11-28 cs.CL
Incorporating Contextual Paralinguistic Understanding in Large Speech-Language Models
Institute for Infocomm Research (I 2 R), Agency for Science, Technology
针对Speech-LLMs共情推理受限于缺乏整合语境与副语言线索数据集的问题,提出显式与隐式两种结合语境副语言信息的训练方法,在人工标注QA基准上性能显著提升,并验证了LLM评判的可靠性。
2025-08-10 cs.AI cs.CL eess.AS
Contextualized Streaming End-to-End Speech Recognition with Trie-Based Deep Biasing and Shallow Fusion
Facebook AI
如何在端到端语音识别中充分利用动态上下文信息一直是一个活跃的研究领域。以前解决这个问题的方案要么是针对特殊用例设计的,这些用例不能很好地推广到开放域场景,不能扩展到大型偏置列表,或者在罕见的长尾词上表现不佳。我们通过提出一种新的解决方案来解决这些限制,该解决方案结合了浅层融合、基于trie的深度偏置和神经网络语言模型上下文化。这些技术导致显着的19.5%的相对字出错率改善现有的上下文偏置方法和5.4%-9.3%的改善相比,一个强大的混合基线上的开放域和受约束的上下文任务,其中的目标包括大多数罕见的长尾词。我们的最终系统仍然是轻量级和模块化的,允许快速修改,而无需模型重新训练。
2021-06-11 cs.CL cs.LG eess.AS
Contextualized End-to-end Automatic Speech Recognition with Intermediate Biasing Loss
Honda Research Institute Japan Co., Ltd.(日本本田研究所);Carnegie Mellon University(卡内基梅隆大学)
针对现有上下文化端到端语音识别忽略中间层上下文知识的问题,提出在编码器中间层加入显式偏置损失的方法,在LibriSpeech语料库上显著降低词错误率,提升模型鲁棒性。
2024-06-23 cs.CL cs.SD eess.AS
Improving End-to-End Contextual Speech Recognition with Fine-Grained Contextual Knowledge Selection
Bytedance AI Lab(字节跳动人工智能实验室);Chinese Academy of Sciences(中国科学院)
目前,大多数端到端的上下文语音识别方法都偏向于上下文知识。由于全神经上下文偏置方法依赖于短语级上下文建模和基于注意力的相关性建模,因此它们可能会遇到类似的上下文特定短语之间的混淆,这会损害令牌级的预测。在这项工作中,我们专注于减轻混淆问题与细粒度的上下文知识选择(FineCoS)。在FineCoS中,我们引入了细粒度的知识来减少令牌预测的不确定性。具体来说,我们首先应用短语选择来缩小短语候选者的范围,然后对所选择的短语候选者中的标记进行标记注意。此外,我们重新规范化的最相关的短语在推理中的注意力权重,以获得更集中的短语级上下文表示,并注入位置信息,以更好地区分短语或令牌。在LibriSpeech和内部160,000小时的数据集上,我们探索了基于可控全神经偏置方法,协作解码(ColDec)的方法。所提出的方法提供了最多6.1%的相对字出错率减少LibriSpeech和16.4%的相对字符出错率减少内部数据集超过ColDec。
2022-03-02 cs.AI cs.CL cs.SD
Prosodic Representation Learning and Contextual Sampling for Neural Text-to-Speech
Amazon Research(亚马逊研究院)
在本文中,我们介绍了Kathaka,一个新的两阶段训练过程的神经语音合成与上下文适当的韵律训练模型。在第一阶段,我们从训练过程中可用的梅尔频谱图中学习句子级别的韵律分布。在第二阶段,我们提出了一种新的方法,从这个学习的韵律分布使用文本中的上下文信息进行采样。为此,我们在文本上使用BERT,在从文本中提取的解析树上使用图形注意力网络。与录音相比,我们显示出$13.2\%$在强基线上自然度的统计学显著相对改善。我们还对我们的采样技术的变化进行了消融研究,并显示在每种情况下,在基线上有统计学意义的改善。
2020-11-04 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University(卡内基梅隆大学)
端到端的声学到词语音识别模型最近得到了普及,因为它们易于训练,可以很好地扩展到大量的训练数据,并且不需要词典。此外,单词模型也可以更容易地与下游任务(例如口语语言理解)集成,因为推理(搜索)与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中,我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中,我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外,我们评估这些嵌入在语言理解任务,并观察到,我们的嵌入匹配的性能,基于文本的嵌入在管道中的第一次执行语音识别,然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft(微软)
在基于传感器的自动语音识别(ASR)系统中,背景信息是动态的,在模型训练过程中是不可用的。在这项工作中,我们引入了一个轻量级的上下文拼写校正模型,以纠正上下文相关的识别错误,在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型,并使用过滤算法来处理大尺寸的上下文列表。实验表明,该模型提高了基线ASR模型的性能,相对词出错率降低了约50%,也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
CRUSH: Contextually Regularized and User anchored Self-supervised Hate speech Detection
Indian Institute of Science (IISc)(印度科学学院);Indian Institute of Technology (IIT)(印度理工学院)
在过去的十年里,人们通过社交网络平台进行互动的数量激增。虽然这些社交平台有一些积极的方面,但其扩散已导致它们成为网络欺凌和仇恨言论的滋生地。NLP的最新进展经常被用来减轻这种仇恨内容的传播。由于仇恨言论检测的任务通常适用于社交网络的背景下,我们介绍CRUSH,仇恨言论检测框架,使用用户锚定的自我监督和上下文规则化。我们提出的方法在两种类型的任务和多个流行的英语社交媒体数据集上的测试集指标比以前的最佳方法提高了约1-12%。
2022-05-04 cs.AI cs.CL cs.CY
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google(谷歌)
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别(ASR),并且当与设备上的个性化训练相结合时,它可以产生更好的识别结果。然而,传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中,我们介绍了一个基于模型的端到端的上下文自适应方法,是解码器不可知的,并服从设备上的个性化。我们的设备上的模拟实验表明,所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR
Department of Computer Science and Artificial Intelligence, Dongguk University(计算机科学与人工智能系,东国大学);Department of Biostatistics, Harvard University(生物统计学系,哈佛大学)
本文通过结合大语言模型和语音合成技术,解决老年人ASR数据稀缺问题,实验表明方法有效降低WER达58.2%。
2026-04-15 cs.CL cs.SD
CLARITY: Contextual Linguistic Adaptation and Accent Retrieval for Dual-Bias Mitigation in Text-to-Speech Generation
CLARITY通过双信号优化缓解文本到语音生成中的双偏见问题,通过语境语言适应和检索增强口音提示提高口音准确性和公平性。
2026-02-17 cs.CL cs.SD
FuseCodec: Semantic-Contextual Fusion and Supervision for Neural Codecs
Center for Computational & Data Sciences, Independent University, Bangladesh(计算与数据科学中心,独立大学,孟加拉国);Amazon GenAI(亚马逊生成人工智能);Qatar Computing Research Institute(卡塔尔计算研究所);University of Virginia(弗吉尼亚大学)
本文提出 FuseCodec,通过潜在表示融合、全局语义-上下文监督和时间对齐上下文监督统一声学、语义与上下文信息,在 LibriSpeech 多项指标上取得最优,并支持零样本 TTS。
2025-09-29 cs.AI cs.CL cs.SD
LOGIC: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration
Microsoft(微软)
LOGIC通过logit空间整合实现语音大语言模型的高效且鲁棒的上下文偏差,有效降低实体识别错误率。
2026-09-25 cs.AI cs.CL cs.SD
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出自动文本发音相关性(ATPC)方法,利用语音与文本标注对齐和语音嵌入距离比较,在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
Contextual Adapters for Personalized Speech Recognition in Neural Transducers
Amazon Alexa(亚马逊Alexa)
由于缺乏训练数据,端到端自动语音识别(E2E ASR)模型中的个人稀有词识别是一个挑战。解决这个问题的标准方法是在推理时使用浅层融合方法。然而,由于它们依赖于外部语言模型和确定性的方法来提高权重,它们的性能是有限的。在本文中,我们提出了在基于神经换能器的ASR模型中训练用于个性化的神经上下文适配器。我们的方法不仅可以偏向用户定义的单词,而且可以灵活地使用预训练的ASR模型。使用内部数据集,我们证明了上下文适配器可以应用于任何通用的预训练ASR模型,以提高个性化。我们的方法优于浅层融合,同时通过不改变任何模型权重来保留预训练模型的功能。我们进一步表明,适配器风格的训练优于在具有用户定义内容的数据集上对ASR模型进行全微调。
2022-05-26 cs.CL cs.LG
AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations
Meta AI
本文提出 AV-data2vec,通过预测上下文化目标表示实现音频和视频的联合自监督学习,在 LRS3 上一致超越现有视听语音识别方法。
2024-01-21 cs.AI cs.CL eess.AS
Dialog act guided contextual adapter for personalized speech recognition
Alexa, Amazon(亚马逊Alexa)
提出对话行为引导的上下文适配器网络,利用对话行为选择用户目录并结合音频与语义关系创建查询,在工业语音助手数据集上相较无上下文模型实现58%的平均相对词错误率降低,显著优于现有方法。
2023-03-31 cs.CL cs.SD eess.AS
From Oracle to Noisy Context: Mitigating Contextual Exposure Bias in Speech-LLMs
School of Computer Science and Technology, Xinjiang University, Urumqi, China(新疆大学计算机科学与技术学院,乌鲁木齐,中国);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Urumqi, China(丝绸之路多语种认知计算联合国际研究实验室,乌鲁木齐,中国);Timekettle
本文提出统一训练框架,通过教师错误知识、上下文dropout和直接偏好优化提升语音大语言模型在真实历史下的鲁棒性,实验表明在预测历史解码中性能提升,且在无关上下文攻击下表现更稳健。
2026-03-25 cs.AI cs.CL
Tree-constrained Pointer Generator with Graph Neural Network Encodings for Contextual Speech Recognition
Cambridge University(剑桥大学)
对作为上下文知识获得的偏置词进行分类对于许多自动语音识别(ASR)应用是至关重要的。本文提出了使用图神经网络(GNN)编码的树约束指针生成器(TCPGen)组件的端到端上下文ASR。通过使用基于树的GNN对前缀树中的偏置词进行编码,通过合并关于以其为根的树枝上的所有词段的信息,在每个树节点处实现端到端ASR解码中的未来词段的前瞻,这允许更准确地预测偏置词的生成概率。系统进行了评估Librispeech语料库使用模拟偏置任务,并提出了一种新的视觉接地上下文ASR管道,提取偏置的话幻灯片旁边的每个会议的AMI语料库。结果表明,与原始TCPGen相比,具有GNN编码的TCPGen在偏置字上实现了约15%的相对WER降低,而解码的计算成本的增加可以忽略不计。
2022-07-02 cs.CL cs.SD eess.AS
CIF-based Collaborative Decoding for End-to-end Contextual Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
端到端(E2 E)模型在多个语音识别基准测试中取得了可喜的成果,并显示出成为主流的潜力。然而,统一的结构和E2 E训练阻碍了将上下文信息注入到它们中以用于上下文偏置。虽然上下文LAS(CLAS)提供了一个很好的全神经解决方案,给定的上下文信息的偏差程度是不明确的控制。在本文中,我们专注于将上下文信息纳入连续集成和消防(CIF)为基础的模型,支持上下文偏置在一个更可控的方式。具体而言,引入额外的上下文处理网络来提取上下文嵌入,整合声学相关的上下文信息并解码上下文输出分布,从而与基于CIF的模型的解码器形成协作解码。在HKUST/AISHELL-2的命名实体丰富评估集上进行评估,与强基线相比,我们的方法使相对字符出错率(CER)降低了8.83%/21.13%,相对命名实体字符出错率(NE-CER)降低了40.14%/51.50%。此外,它保持了原有的评估集上的性能没有退化。
2021-02-18 cs.AI cs.CL cs.LG
Fast and Robust Unsupervised Contextual Biasing for Speech Recognition
Salesforce.com, Inc.(赛富时公司)
自动语音识别(ASR)系统正在成为一种普遍存在的技术。虽然它的准确性在某些设置下正在缩小与人类水平的差距,但可以进一步改进的一个领域是纳入用户特定的信息或上下文来使其预测产生偏差。一种常见的框架是从所提供的上下文迷你语料库动态地构建小语言模型,并且在解码过程期间用主语言模型内插其得分。在这里,我们提出了一种替代方法,不需要显式的上下文语言模型。相反,我们从训练语料库中获得系统词汇表中每个单词的偏差分数。该方法的独特之处在于:1)它不需要上下文或训练语料库的元数据或类标签注释。2)偏差分数与单词的对数概率成比例,因此它不仅会使所提供的上下文发生偏差,而且对不相关的上下文(例如,用户错误指定或难以量化严格范围的情况)也是鲁棒的。3)在训练阶段期间预先确定整个词汇表的偏差分数,从而消除了在推理期间计算上昂贵的语言模型构造。当相关上下文可用时,我们在识别准确性方面表现出显着的改进。此外,我们还证明了所提出的方法具有较高的容忍度,在不相关的上下文存在的假触发错误。
2020-05-04 cs.CL
Contextual Semantic Relevance Tracks fMRI BOLD Responses During Naturalistic Speech Comprehension
Tongji University(同济大学);Tuebingen University(图宾根大学)
研究自然语言理解中上下文语义相关性对功能磁共振成像血氧水平依赖反应的预测作用,通过分析两个数据集,用广义相加混合模型等方法,发现语义相关性是有前景的血氧水平依赖指标,扩展了语言理解计算模型。
2026-08-04 cs.CL
Towards Contextual Spelling Correction for Customization of End-to-end Speech Recognition Systems
Microsoft(微软)
上下文偏置是端到端自动语音识别(ASR)系统中一个重要且具有挑战性的任务,其目的是通过将ASR系统偏置到特定的上下文短语(如人名、音乐列表、专有名词等)来获得更好的识别性能。现有的方法主要包括上下文LM偏置和在端到端ASR模型中添加偏置编码器。在这项工作中,我们引入了一种新的方法来做上下文偏置添加上下文拼写校正模型上的端到端ASR系统。我们将上下文信息与共享的上下文编码器的序列到序列的拼写校正模型。我们提出的模型包括两种不同的机制:自回归(AR)和非自回归(NAR)。我们提出了过滤算法来处理大尺寸的上下文列表,和性能平衡机制来控制模型的偏置程度。我们证明了所提出的模型是一个一般的偏置解决方案,这是域不敏感,可以在不同的情况下采用。实验结果表明,该方法实现了高达51%的相对字出错率(WER)减少ASR系统,并优于传统的偏置方法。与AR模型相比,NAR模型的模型规模减少了43.2%,推理速度提高了2.1倍。
2022-09-07 cs.CL cs.SD eess.AS
Multimodal Contextualized Semantic Parsing from Speech
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SPICE任务及VG-SPICE数据集,通过融合语音和视觉信息构建场景图以增强代理上下文感知,并开发了AViD-SP模型,相关数据和模型已公开。
2024-06-10 cs.CL cs.CV cs.HC
Tree-constrained Pointer Generator for End-to-end Contextual Speech Recognition
Cambridge University(剑桥大学)
背景知识对于真实世界的自动语音识别(ASR)应用是重要的。在本文中,提出了一种新的树约束指针生成器(TCPGen)组件,将这样的知识作为一个列表的偏置单词到基于注意力的编码器-解码器和换能器端到端ASR模型中的神经符号的方式。TCPGen将偏置词构造成有效的前缀树作为其符号输入,并在树和最终ASR输出分布之间创建神经捷径,以便于在解码期间识别偏置词。在Librispeech语料库上对系统进行了训练和评估,其中在话语,章节或书籍的尺度上提取了偏见词,以模拟不同的应用场景。实验结果表明,TCPGen一贯改善字出错率(WER)相比,基线,特别是,取得了显着的WER减少偏见的话。TCPGen非常高效:它可以处理5,000个偏置词和干扰项,并且只会增加少量的内存使用和计算开销。
2021-09-17 cs.CL cs.SD
CMT-LLM: Contextual Multi-Talker ASR Utilizing Large Language Models
Graduate School of Informatics(信息科学研究生学校);AI Lab(人工智能实验室);Information Technology Center(信息技术中心)
针对传统多说话人ASR与上下文偏置分离处理性能受限的问题,提出CMT-LLM统一框架,结合预训练语音编码器与LLM,引入两阶段过滤算法优化偏置词注入,在复杂场景下稀有词识别与词错率表现优于传统方法。
2025-05-31 cs.AI cs.CL cs.SD
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University(佛罗里达国际大学)
针对2024年SLT-GenSEC挑战赛,提出基于上下文对话分割与提示优化的LLM语音情感识别方法,最佳提交未加权准确率超基线20%,获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
Preferred Elements, Inc.(Preferred Elements公司)
本文提出一种基于LLM的ASR系统,通过在文本提示中提供关键词作为先验信息进行上下文化,利用Whisper编码器和PLaMo-100B解码器,在不修改架构的情况下显著提升了稀有和歧义词的识别性能。
2024-10-11 cs.CL cs.SD eess.AS
Enhancing Dialogue Speech Recognition with Robust Contextual Awareness via Noise Representation Learning
POSTECH(浦项科技大学)
针对对话ASR中自回归生成的上下文易带噪导致性能受限的问题,提出CNRL方法,结合文本对话数据解码器预训练与上下文编码器噪声表示学习,提升带噪上下文鲁棒性,在语音对话及嘈杂环境下均取得更优识别效果。
2024-08-12 cs.CL cs.SD eess.AS
VCSE: Time-Domain Visual-Contextual Speaker Extraction Network
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);National University of Singapore(新加坡国立大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
说话人提取试图在多说话人场景中提取目标语音,并给出辅助参考。这种参考可以是听觉的,即,预先录制的语音、视频,即,嘴唇的运动,或上下文,即,语音序列不同模态的参考语提供了不同的互补信息,这些信息可以融合在一起,形成对目标说话者的自上而下的注意。以前的研究已经在一个单一的模型中引入了视觉和上下文模态。在本文中,我们提出了一个两阶段的时域视觉上下文说话人提取网络命名为VCSE,它结合了视觉和自我登记的上下文线索,逐步充分利用每一个模态。在第一阶段,我们预提取目标语音与视觉线索和估计潜在的语音序列。在第二阶段,我们细化预提取的目标语音与自注册的上下文线索。在真实世界唇读句子3(LRS3)数据库上的实验结果表明,我们提出的VCSE网络始终优于其他最先进的基线。
2022-10-09 cs.CL cs.CV cs.SD
Robust Native Language Identification through Agentic Decomposition
University of Zurich(苏黎世大学)
本文针对LLM原生语言识别易依赖表面线索的问题,提出受法医语言学启发的智能体分解流程,通过专用智能体积累分类证据、协调智能体综合预测,在基准数据集上提升了NLI的鲁棒性与性能一致性。
2026-08-07 cs.CL
Capturing Spectral and Long-term Contextual Information for Speech Emotion Recognition Using Deep Learning Techniques
Islamic University of Technology(伊斯兰科技大学)
本文提出结合GCN与HuBERT的集成模型,分别处理文本和音频信号,以克服传统方法在长时依赖和多模态建模上的不足,从而提升语音情感识别准确率。
2023-08-04 cs.CL cs.SD eess.AS
XCB: an effective contextual biasing approach to bias cross-lingual phrases in speech recognition
IT Innovation and Research Center, Huawei Technologies Co., Ltd.(华为技术有限公司IT创新研究中心)
本研究提出XCB模块,通过辅助语言偏置和语言特定损失增强预训练ASR模型,有效提升语码转换中次要语言短语的识别准确率,且无额外推理开销。
2024-08-20 cs.AI cs.CL cs.SD
Adaptive Contextual Biasing for Transducer Based Streaming Speech Recognition
Northwestern Polytechnical University(西北工业大学)
针对流式语音识别中个性化词偏置损害常用词识别的问题,提出基于CATT的自适应上下文偏置方法,动态开关偏置列表,显著降低WER/CER且几乎不增加RTF。
2023-08-15 cs.CL cs.SD eess.AS
Approximate Nearest Neighbour Phrase Mining for Contextual Speech Recognition
University of Amsterdam(阿姆斯特丹大学);Apple(苹果公司)
提出从上下文编码器潜在空间用近似最近邻搜索挖掘困难负短语以训练端到端 CATT,增强相似偏置短语区分能力,并在大规模及流式语音识别中降低词错率。
2023-08-16 cs.CL eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出一种基于跨模态对话表示的对话ASR系统,通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性,在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Label-guided Learning for Text Classification
文本分类是自然语言处理中最重要和最基本的任务之一。这一任务的执行主要依赖于文本表示学习。目前,大多数现有的学习框架主要集中在编码词之间的本地上下文信息。这些方法在编码文本信息时往往忽略了全局线索,如标签信息。在本研究中,我们提出了一个用于文本表示和分类的标签引导学习框架LguidedLearn。我们的方法是新颖的,但简单的,我们只插入一个标签引导的编码层到常用的文本表示学习模式。该标签引导层执行基于标签的注意编码,以将通用文本嵌入(由上下文信息学习器编码)映射到不同的标签空间,从而产生标签式嵌入。在我们提出的框架中,标签引导层可以很容易地直接应用于上下文编码方法来执行联合学习。基于局部上下文信息和全局标签线索两者对文本信息进行编码。因此,得到的文本嵌入更强大的文本分类和歧视。在基准数据集上进行了大量的实验,以说明我们提出的方法的有效性。
2020-02-25 cs.CL cs.LG