Improving Contextual Coherence in Variational Personalized and Empathetic Dialogue Agents
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
近年来,潜变量模型,如条件变分自动编码器(CVAE),已被应用于个性化和移情对话生成。以前的工作主要集中在产生不同的对话反应,表现出人物角色的一致性和同情心。然而,当涉及到生成的响应的上下文一致性时,仍有改进的余地。因此,为了提高上下文的连贯性,我们提出了一个新的不确定性感知CVAE(UA-CVAE)框架。UA-CVAE框架涉及在响应生成过程中近似和合并任意不确定性。我们应用我们的框架,个性化和移情对话生成。实证结果表明,我们的框架显着提高了生成的响应的上下文一致性。此外,我们介绍了一种新的自动度量测量上下文连贯性,这被发现与人类的判断呈正相关。
2022-02-12 cs.CL
Improving Matching Models with Hierarchical Contextualized Representations for Multi-turn Response Selection
Institute of Computer Science & Technology, Peking University(北京大学计算机科学技术研究所);Microsoft Corporation(微软公司)
在本文中,我们研究了在基于检索的聊天机器人中使用预训练的上下文化表示进行多轮响应选择的上下文响应匹配。现有的模型,如Cove和ELMo,是在有限的上下文(通常是一个句子或段落)下训练的,由于层次结构、非正式语言和特定领域的单词,在多轮对话中可能效果不佳。为了应对这些挑战,我们提出了预训练层次上下文化表示,包括上下文单词级和上下文级表示,通过学习一个对话生成模型,从大规模的对话与分层编码器-解码器架构。然后将这两层表示分别融合到匹配模型的输入层和输出层。在两个基准会话数据集上的实验结果表明,本文提出的层次化上下文表示方法可以显著提高现有的响应选择匹配模型的性能.
2019-06-04 cs.CL
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne(墨尔本大学);Elsevier(爱思唯尔)
化学专利是重要的化学信息资源。然而,很少有化学命名实体识别(NER)系统已被评估的专利文件,部分原因是其结构和语言的复杂性。在本文中,我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入,字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明,从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明,特定领域的资源,如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Improving Low-Resource Sequence Labeling with Knowledge Fusion and Contextual Label Explanations
School of Computer Science, Peking University(北京大学计算机科学学院);Institute of Computational Social Science, Peking University (Qingdao)(北京大学计算社会科学研究所);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
针对低资源特定领域中文序列标注的适用性不足与语义偏差问题,提出结合LLM知识增强工作流与KnowFREE模型的框架,通过上下文标签解释与扩展标签特征,实现了低资源场景下的最优性能。
2025-10-04 cs.CL
WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge
Wuhan University(武汉大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
本文提出即插即用框架 WisdoM,利用大型视觉语言模型引入上下文世界知识,并通过无需训练的上下文融合机制降噪,在多粒度多模态情感分析任务中平均提升 1.96% F1 分数。
2024-02-20 cs.CL
Improving Disfluency Detection by Self-Training a Self-Attentive Model
Macquarie University(麦考瑞大学);Oracle Corporation(甲骨文公司)
使用语境化词嵌入(例如ELMo或BERT)的自注意神经句法分析器目前在语音转录中的联合分析和不流利检测中产生最先进的结果。由于上下文化的词嵌入是在大量未标记数据上预先训练的,因此使用额外的未标记数据来训练神经模型似乎是多余的。然而,我们表明,自我训练-一种用于合并未标记数据的半监督技术-为不流利检测的自我关注解析器设置了一种新的最先进的技术,表明自我训练提供了与预训练的上下文化单词表示正交的好处。我们还表明,集成自我训练的解析器提供了进一步的收益不流利检测。
2020-04-29 cs.CL
Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Northeastern University(东北大学);The University of Hong Kong(香港大学);iFLYTEK Research(讯飞研究院)
本文提出RHIO框架,利用检索头相关性,通过遮蔽检索头增强不忠实样本并联合训练,结合控制标记与对比解码,显著提升长形式问答的上下文忠实性,并引入GroundBench基准验证其效果优于GPT-4o。
2025-01-23 cs.CL
Improving Natural Language Inference with a Pretrained Parser
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们介绍了一种新的方法,将语法到自然语言推理(NLI)模型。我们的方法使用来自预训练的依赖解析器的上下文标记级向量表示。像其他上下文嵌入器一样,我们的方法广泛适用于任何神经模型。我们用四个强NLI模型(可分解注意力模型,ESIM,BERT和MT-DNN)进行了实验,并在三个NLI基准测试中显示出一致的准确性优势。
2019-09-18 cs.CL
Improving Slot Filling by Utilizing Contextual Information
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
槽填充是口语语言理解的子任务之一,其目的是从给定的自然语言话语中提取语义成分。它被公式化为序列标记任务。最近,研究表明上下文信息对于这项任务至关重要。然而,现有的模型以受限的方式采用上下文信息,例如,使用自我注意力。这些方法无法区分上下文对词表征和词标签的影响。为了解决这个问题,在本文中,我们提出了一种新的方法,将上下文信息在两个不同的水平,即,表示级别和特定任务(即,标签)水平。我们对SF上的三个基准数据集进行了广泛的实验,结果表明我们的模型在SF任务的所有三个基准数据集上都获得了新的最先进的结果。
2020-05-30 cs.AI cs.CL
Embracing Ambiguity: Improving Similarity-oriented Tasks with Contextual Synonym Knowledge
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);Platform and Content Group, Tencent(腾讯平台与内容事业群);Peng Cheng Laboratory(鹏城实验室)
本文提出PICSO框架,通过实体感知Adapter向PLM注入多领域上下文同义词知识,在保留原模型语义理解的同时处理同义词歧义,并在相似性任务和GLUE上取得显著提升。
2022-11-20 cs.CL
Improving Extraction of Clinical Event Contextual Properties from Electronic Health Records: A Comparative Study
King’s College London(伦敦国王学院);Guy’s and St Thomas’ NHS Foundation Trust(盖伊和圣托马斯 NHS 基金会信托);King’s College Hospital NHS Foundation Trust(国王学院医院 NHS 基金会信托);University College London(伦敦大学学院);Health Data Research UK London(英国健康数据研究伦敦中心)
本文比较多种医学文本分类模型,发现结合类别不平衡缓解技术的 BERT 在少数类别召回率上显著优于 Bi-LSTM 和基线 BERT,并已集成到 CogStack/MedCAT 框架中。
2024-08-30 cs.CL
ConTextual: Improving Clinical Text Summarization in LLMs with Context-preserving Token Filtering and Knowledge Graphs
University of Delaware(德雷塞尔大学)
本文提出ConTextual框架,通过上下文保留的令牌过滤与领域知识图谱增强临床文本摘要,在多个基准上一致优于基线,提升了语言连贯性与临床保真度。
2025-07-17 cs.AI cs.CL
Stable Anisotropic Regularization
Brown University(布朗大学);University of Tübingen(蒂宾根大学)
本文提出基于精确可微且稳定的各向同性度量 IsoScore* 的正则化方法 I-STAR,发现降低上下文化嵌入的各向同性反而能提升多数任务和模型的性能。
2024-04-04 cs.AI cs.CL cs.LG
Improving Neural Machine Translation with Pre-trained Representation
单语数据已被证明有助于提高神经机器翻译(NMT)的翻译质量。现有的方法多停留在词级知识的利用上,如生成合成并行数据或从词嵌入中提取信息。相比之下,在自然语言生成过程中起着重要作用的、更为复杂多样的文本级上下文知识的力量却没有得到充分的利用。在本文中,我们提出了一种新的结构,它可以利用单语数据来获取会话级上下文表示。然后,我们设计了一个框架,将源语言和目标语言的语义级表示集成到NMT模型中,以提高翻译质量。在汉英、德英机器翻译任务上的实验结果表明,我们提出的模型在强Transformer基线上取得了较好的效果,而在英语-土耳其语上的实验进一步证明了我们的方法在低资源场景下的有效性。
2019-08-21 cs.CL
Causal2Vec: Improving Decoder-only LLMs as Embedding Models through a Contextual Token
Institute of Science Tokyo(东京科学研究所);Tencent(腾讯)
Causal2Vec通过引入上下文标记提升解码器-only LLMs的嵌入性能,无需修改原有架构或增加计算开销,实现了在MTEB基准上的新状态。
2026-05-02 cs.AI cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University(北京大学)
由于无监督学习方法对上下文变化过于敏感,因此多义词的无监督学习表示产生了大量的伪多义。在本文中,我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法,称为前RPCA,旨在检测伪多感官和真正的多感官。与Ex-RPCA,我们的经验表明,伪多感官系统产生的无监督的方法。此外,多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度(SCWS)数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Improving Contextual Recognition of Rare Words with an Alternate Spelling Prediction Model
随着ASR的使用越来越广泛,上下文ASR(Contextual ASR)将一系列偏见术语与音频一起作为输入,最近引起了人们的兴趣。我们正在发布与Earnings21数据集相关的背景偏见列表,为这项任务创建一个公共基准。我们使用WeNet工具包中的预训练端到端ASR模型在此基准上呈现基线结果。我们展示了应用于两种不同解码算法的浅融合上下文偏置的结果。我们的基线结果证实了这样的观察结果,即端到端模型特别难以处理在训练过程中很少或从未见过的单词,并且现有的浅层融合技术无法充分解决这个问题。我们提出了一个替代拼写预测模型,提高了34.7%的相对罕见的单词和词汇表外的单词由97.2%的相对召回相比,上下文偏置没有替代拼写。该模型在概念上类似于先前工作中使用的模型,但更容易实现,因为它不依赖于发音词典或现有的文本到语音系统。
2022-09-02 cs.CL cs.SD eess.AS
Improving ASR Contextual Biasing with Guided Attention
ASAPP
本文提出引导注意力辅助训练损失,在不增加参数的情况下提升ASR上下文偏置效果,并缓解偏置短语增多时WER降低效果减弱的问题。
2024-01-16 cs.CL eess.AS
Improving Contextual Representation with Gloss Regularized Pre-training
ByteDance Inc.(字节跳动公司)
虽然在许多NLP任务上取得了令人印象深刻的结果,但BERT类掩蔽语言模型(MLM)遇到了预训练和推理之间的不一致。鉴于这一差距,我们从词概率分布的角度研究了预训练和推理的语境表征。我们发现,BERT的风险,忽略了上下文的单词相似性在预训练。为了解决这个问题,我们提出了一个辅助光泽正则化模块BERT预训练(GR-BERT),以提高单词的语义相似度。通过预测屏蔽词并同时将上下文嵌入与相应的注释对齐,可以显式地对词相似度进行建模。我们为GR-BERT设计了两种架构,并在下游任务中评估了我们的模型。实验结果表明,光泽正则化有利于BERT在词级和句子级的语义表示。GR-BERT在词汇替换任务中取得了新的进展,并且极大地促进了BERT在无监督和有监督STS任务中的句子表示。
2022-05-13 cs.AI cs.CL cs.LG
Improving End-to-End Contextual Speech Recognition with Fine-Grained Contextual Knowledge Selection
Bytedance AI Lab(字节跳动人工智能实验室);Chinese Academy of Sciences(中国科学院)
目前,大多数端到端的上下文语音识别方法都偏向于上下文知识。由于全神经上下文偏置方法依赖于短语级上下文建模和基于注意力的相关性建模,因此它们可能会遇到类似的上下文特定短语之间的混淆,这会损害令牌级的预测。在这项工作中,我们专注于减轻混淆问题与细粒度的上下文知识选择(FineCoS)。在FineCoS中,我们引入了细粒度的知识来减少令牌预测的不确定性。具体来说,我们首先应用短语选择来缩小短语候选者的范围,然后对所选择的短语候选者中的标记进行标记注意。此外,我们重新规范化的最相关的短语在推理中的注意力权重,以获得更集中的短语级上下文表示,并注入位置信息,以更好地区分短语或令牌。在LibriSpeech和内部160,000小时的数据集上,我们探索了基于可控全神经偏置方法,协作解码(ColDec)的方法。所提出的方法提供了最多6.1%的相对字出错率减少LibriSpeech和16.4%的相对字符出错率减少内部数据集超过ColDec。
2022-03-02 cs.AI cs.CL cs.SD
Improving Synthetic Data Training for Contextual Biasing Models with a Keyword-Aware Cost Function
College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
针对上下文偏置模型在合成数据训练中的过拟合问题,提出关键词感知损失函数,增强TCPGen方法,将Whisper适配10小时合成数据后,词错误率从29.71%降至11.81%。
2025-09-11 cs.AI cs.CL
Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance
Harvard University(哈佛大学);Google Research(谷歌研究院)
文本自动评估指标的最新进展表明,深度上下文化的单词表示(例如由BERT编码器生成的单词表示)有助于设计与人类判断良好相关的指标。与此同时,有人认为,语境化的单词表示表现出次优的统计特性,用于编码单词或句子之间的真实相似性。在本文中,我们提出了两种技术,用于改善编码表示的相似性度量:一个批量平均中心化策略,提高统计特性;和一个计算效率的回火词移动距离,更好地融合的信息在上下文的单词表示。我们进行了数值实验,证明了我们的技术的鲁棒性,报告结果在各种BERT骨干学习指标,并实现了最先进的相关性与人类评级的几个基准。
2020-10-13 cs.CL cs.LG
Improving Domain-Specific ASR with LLM-Generated Contextual Descriptions
Hanyang University(汉阳大学)
针对端到端ASR在特定领域词汇识别上的不足,提出在不修改Whisper架构的前提下利用上下文描述,并结合解码器微调与上下文扰动技术,同时引入LLM生成描述,显著提升了真实数据集上的识别准确率。
2024-07-25 cs.AI cs.CL
Improving Mandarin Prosodic Structure Prediction with Multi-level Contextual Information
Huya Inc.(虎牙公司)
本文提出利用包含语句间与语句内信息的多层级上下文,通过层级编码器和多任务学习解码器改进普通话韵律结构预测,实验证明其有效提升韵律边界预测F1分数及合成语音自然度。
2023-08-31 cs.CL cs.SD eess.AS
CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search
Université de Montréal(蒙特利尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Renmin University of China(中国人民大学)
提出CHIQ两步法,利用开源LLMs在查询重写前解决对话历史歧义,在五个基准上取得SOTA结果,成为对话式搜索中替代闭源商业模型的有竞争力方案。
2024-09-26 cs.CL cs.IR
Improving Grammatical Error Correction via Contextual Data Augmentation
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院)
本文提出一种基于上下文增强的合成数据构建方法和重新标记清洗方法,解决了GEC微调阶段数据稀缺和噪声标签问题,在少量数据下达到SOTA。
2024-06-25 cs.AI cs.CL
Improving Entity Linking through Semantic Reinforced Entity Embeddings
Zhejiang Gongshang University(浙江工商大学);Massey University(梅西大学);National University of Defense Technology(国防科技大学);Shanghai Research Center for Brain Science and Brain-Inspired Intelligence(上海脑科学与类脑研究中心);Zhangjiang Lab(张江实验室)
实体嵌入是神经实体链接模型的关键组成部分,它用单个向量(如词嵌入)表示每个实体的不同方面。现有的实体嵌入是从规范的维基百科文章和目标实体周围的本地上下文中学习的。这样的实体嵌入是有效的,但对于链接模型来说太独特了,无法学习上下文的共性。我们提出了一个简单而有效的方法,FGS2EE,注入细粒度的语义信息到实体嵌入,以减少独特性,促进学习的上下文共性。FGS2EE首先使用语义类型词的嵌入生成语义嵌入,然后通过线性聚合将其与现有的实体嵌入相结合。大量的实验表明了这种嵌入的有效性。基于我们的实体嵌入,我们在实体链接上实现了新的最先进的性能。
2021-06-16 cs.CL
Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction
Soochow University(苏州大学);Alibaba DAMO Academy(阿里巴巴达摩院)
双语词汇归纳(BLI)旨在将一种语言中的单词映射到另一种语言中的翻译,通常通过学习线性投影来对齐单语单词表示空间。BLI的词汇表征分为静态词嵌入和语境表征两类,但还没有将两者结合起来的研究。在本文中,我们提出了一个简单而有效的机制,结合静态词嵌入和上下文表示,利用这两种范式的优点。我们测试的组合机制在各种语言对下的监督和无监督BLI基准设置。实验表明,我们的机制在所有语言对上的鲁棒BLI基线上持续提高性能,在监督设置中平均提高3.2点,在无监督设置中平均提高3.1点。
2021-06-10 cs.CL
FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
为缓解LLMs对良性查询的过度拒绝问题,本文提出FalseReject资源及图信息增强的对抗性多智能体框架,生成16k数据集以训练模型进行结构化推理,在保障整体安全性的同时大幅减少了不必要的拒绝。
2025-07-15 cs.AI cs.CL
Contextual Gradient Flow Modeling for Large Language Model Generalization in Multi-Scale Feature Spaces
本文提出结构化梯度细化框架,通过多尺度上下文调整和动态加权策略优化大型语言模型训练,减少梯度振荡,增强层次化表征学习与跨域泛化能力。
2025-03-25 cs.CL
Improving Contextual ASR via Multi-grained Fusion with Large Language Models
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
针对端到端ASR模型难以识别上下文关键词的问题,提出一种结合大型语言模型的多粒度融合方法,联合词元级与短语级融合并采用后期融合策略,在中英文数据集上实现了关键词识别的最先进性能并保持了非关键词文本的高准确率。
2025-07-16 cs.AI cs.CL
Improving Quotation Attribution with Fictional Character Embeddings
Deezer Research(迪泽尔研究院);LORIA(洛里亚实验室);CNRS(法国国家科学研究中心)
针对文学作品中回指和隐式引语归因困难的问题,提出将基于文体模型的全局人物嵌入融入BookNLP系统,并构建DramaCV语料库,在28部小说上达到最先进性能。
2024-10-04 cs.CL
Improving Neural Biasing for Contextual Speech Recognition by Early Context Injection and Text Perturbation
Johns Hopkins University(约翰斯·霍普金斯大学);Xiaomi Corp.(小米公司)
针对上下文语音识别的神经偏置优化,提出早期上下文注入与文本扰动训练两种技术,显著降低稀有词错误率,在多个数据集上取得性能提升。
2024-07-14 cs.CL eess.AS
Improving Table Understanding with LLMs and Entity-Oriented Search
Monash University(莫纳什大学);Qualcomm AI Research(高通人工智能研究)
针对现有方法依赖预处理、缺乏上下文的问题,提出面向实体的搜索方法,利用语义相似性和实体绑定提升LLMs表格理解能力,首次引入图查询语言,在两个基准上获最优性能。
2025-08-23 cs.CL
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University(佛罗里达国际大学)
针对2024年SLT-GenSEC挑战赛,提出基于上下文对话分割与提示优化的LLM语音情感识别方法,最佳提交未加权准确率超基线20%,获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
Extracting domain-specific terms using contextual word embeddings
Jozef Stefan Institute(约热·斯特凡研究所);University of Nova Gorica(新戈里察大学)
本文提出一种结合传统特征与上下文词嵌入特征的机器学习方法,在斯洛文尼亚语RSDO5语料库四个领域上显著提升术语提取的F1分数。
2025-02-24 cs.CL
Predicting Prosodic Prominence from Text with Pre-trained Contextualized Word Representations
University of Helsinki(赫尔辛基大学);Basement AI(Basement人工智能)
在本文中,我们介绍了一个新的自然语言处理数据集和基准预测韵律突出从书面文本。据我们所知,这将是最大的公开可用的韵律标签数据集。我们详细描述了数据集的建设和由此产生的基准数据集和训练一些不同的模型,从基于特征的分类器,神经网络系统的离散韵律突出的预测。我们表明,预先训练的上下文单词表示从BERT优于其他模型,即使不到10%的训练数据。最后,我们讨论了数据集的结果,并指出未来的研究和计划,进一步改善数据集和方法预测韵律突出从文本。模型的数据集和代码是公开的。
2019-08-06 cs.CL
Improving Conversational Recommender System via Contextual and Time-Aware Modeling with Less Domain-Specific Knowledge
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
会话式推荐系统(CRS)是一个新兴的研究课题,它通过交互式会话进行推荐,通常由生成和推荐模块组成。之前关于CRS的工作往往会融入更多外部和特定领域的知识,例如项目评审,以提高绩效。尽管外部特定领域信息的收集和注释需要大量的人力,并降低了可概括性,但过多的额外知识会增加它们之间平衡的难度。因此,我们建议从上下文中充分发现和提取内部知识。我们捕获实体级和上下文级的表示,以共同建模用户的偏好的建议,其中时间感知的注意力被设计为强调最近出现的项目在实体级表示。我们进一步使用预训练的BART来初始化生成模块,以缓解数据稀缺并增强上下文建模。除了在一个流行的数据集(ReDial)上进行实验外,我们还包括一个多域数据集(OpenDialKG)来展示我们模型的有效性。在两个数据集上的实验表明,我们的模型在大多数评估指标上具有更好的性能,并且具有更少的外部知识,并且可以很好地推广到其他领域。对推荐任务和生成任务的分析表明了该模型在不同场景下的有效性。
2022-09-23 cs.AI cs.CL
Comparing in context: Improving cosine similarity measures with a metric tensor
Utrecht University(乌得勒支大学)
余弦相似性是一种广泛使用的预训练词嵌入的相关性度量,该词嵌入是在语言建模目标上训练的。WordSim-353和SimLex-999等数据集根据人类注释者对单词的相似程度进行评级,因此通常用于评估语言模型的性能。因此,对单词相似性任务的任何改进都需要改进的单词表示。在本文中,我们建议使用扩展余弦相似性度量来提高该任务的性能,并获得可解释性。我们探讨的假设,这种方法是特别有用的,如果单词相似性对共享相同的上下文,不同的上下文相似性措施可以学习。我们首先使用Richie et al.(2020)的数据集来学习情境化指标,并将结果与使用标准余弦相似性度量获得的基线值进行比较,这始终显示出改进。我们还训练了SimLex-999和WordSim-353的上下文相似性度量,将结果与相应的基线进行比较,并将这些数据集用作在上下文数据集上学习的所有上下文相似性度量的独立测试集,获得了一些测试的积极结果。
2022-03-28 cs.CL cs.LG
Improving RNN-T ASR Performance with Date-Time and Location Awareness
Amazon(亚马逊)
在本文中,我们探讨了将上下文纳入基于递归神经网络(RNN-T)的自动语音识别(ASR)模型的好处,以提高虚拟助手的语音识别。具体地说,我们使用Meta信息提取的时间在发言和近似的位置信息,使ASR上下文感知。我们表明,这些上下文信息,当单独使用时,提高整体性能高达3.48%相对于基线和上下文相结合时,模型学习互补的功能和识别提高了4.62%。在特定领域,这些上下文信号显示出高达11.5%的改善,而其他领域没有任何显着的退化。我们使用在30 K小时和10 K小时数据上训练的模型进行了实验。我们发现,10 K小时数据集的改进规模远远高于30 K小时数据集。我们的研究结果表明,有限的数据训练的ASR模型,上下文信号可以显着提高性能。
2021-06-16 cs.CL eess.AS
Improving Constituency Parsing with Span Attention
University of Washington(华盛顿大学);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
选区句法分析是自然语言理解的一项基本而重要的任务,而良好的上下文信息表示可以帮助完成这一任务。N-gram是上下文信息的常规类型的特征,已经被证明在许多任务中是有用的,并且因此如果它们被适当地建模,则也可以有益于选区解析。在本文中,我们提出了跨度注意神经图表为基础的选区分析,利用n-gram信息。考虑到当前基于图表的解析器与基于transformer的编码器表示跨度减去隐藏状态的跨度边界,这可能会导致信息丢失,特别是对于长跨度,我们将n-gram到跨度表示加权,根据他们的贡献解析过程。此外,我们提出了类别跨度注意力,以进一步加强模型的加权n-gram在不同长度的类别,从而有利于长句分析。在三个广泛使用的基准数据集上的实验结果表明,我们的方法在解析阿拉伯语,汉语和英语,其中国家的最先进的性能是通过我们的方法获得所有这些的有效性。
2020-10-15 cs.CL
Improving Contextual Spelling Correction by External Acoustics Attention and Semantic Aware Data Augmentation
Microsoft Corporation(微软公司)
我们以前提出了上下文拼写校正(CSC),以纠正输出端到端(E2 E)自动语音识别(ASR)模型与上下文信息,如姓名,地点等,虽然CSC已经取得了合理的改善偏置问题,仍然有两个缺点,进一步提高准确性。首先,由于纯文本假设中的信息限制或ASR模型在稀有域上的弱性能,CSC模型可能无法纠正具有相似发音的短语或反上下文情况,其中所有偏见短语都不存在于话语中。第二,CSC的训练和推理之间存在差异。训练中的偏差列表是随机选择的,但在推理中,地面真实短语和其他短语之间可能存在更多的相似性。针对上述问题,本文提出了一种改进的非自回归(NAR)拼写纠正模型,用于E2 E神经元ASR系统中的语境偏差问题,从两个方面对已有的CSC模型进行了改进:首先,在CSC模型中加入了带有外部注意力的声学信息以及文本假设,以更好地区分目标短语和不相似或不相关的短语。其次,我们在训练短语中设计了一个语义感知的数据增强模式,以减少训练和推理之间的不匹配,从而进一步提高偏置精度。实验结果表明,在不同的偏置列表名字覆盖率下,改进的方法比基准ASR+Biasing系统的相对名字召回率提高了20.3%,并且与之前的CSC方法相比,取得了稳定的改进。
2023-02-22 cs.CL cs.LG cs.SD
Contextual Morphogenesis in Large Language Models: A Novel Approach to Self-Organizing Token Representations
针对传统词元化边界僵化的问题,提出语境形态发生机制,通过自组织方式基于语境依赖动态重构词元边界,有效降低了困惑度并保持表示稳定性,为优化语言模型预测准确率和推理效率提供了可行替代方案。
2025-08-08 cs.CL
Contextualizing Citations for Scientific Summarization using Word Embeddings and Domain Knowledge
Georgetown University(乔治城大学)
引文文本有时信息量不大,在某些情况下本身就不准确;它们需要引用论文的适当上下文来反映其确切的贡献。为了解决这个问题,我们提出了一个无监督的模型,使用分布式表示的话,以及领域知识,从参考文献中提取适当的上下文。评估结果表明,我们的模型的有效性显着优于国家的最先进的。我们还展示了如何有效的语境化方法的结果,提高基于引用的科学文章的摘要。
2017-05-23 cs.CL cs.IR
N-gram Boosting: Improving Contextual Biasing with Normalized N-gram Targets
Dialpad Inc.(Dialpad公司)
针对语音转文本中专有名词和技术术语识别困难的问题,提出一种基于归一化 n-gram 的两步关键词增强机制,通过优化权重逻辑避免过度增强,在专有数据集和 LibriSpeech 上分别实现 26% 和 2% 的相对提升。
2023-08-04 cs.AI cs.CL cs.SD
LAST at SemEval-2021 Task 1: Improving Multi-Word Complexity Prediction Using Bigram Association Measures
Laboratoire d’analyse statistique des textes - LAST(文本统计分析实验室);Institut de recherche en sciences psychologiques(心理科学研究所);Université catholique de Louvain(鲁汶天主教大学)
本文描述了由文本分析统计学家(LAST)在SemEval-2021上为词汇复杂度预测共享任务开发的系统。该系统是由一个LightGBM模型美联储从许多词频列表,公布的词汇规范和心理测量数据获得的功能。为了解决多词任务的特殊性,它使用二元组关联措施。尽管使用的唯一上下文特征是句子长度,系统在多词任务中取得了良好的成绩,但在单字任务中表现较差。二元关联措施被发现是有用的,但在有限的程度上。
2021-05-20 cs.CL
A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change
University of Milan(米兰大学);University of Gothenburg(哥德堡大学)
该研究针对词汇语义变化研究中性能比较受设置差异干扰的问题,在同等条件下系统对比多类上下文化词嵌入模型,验证了APD、XL-LEXEME的性能优势,并指出未来需关注词义变化的过程与动因而非仅变化程度。
2024-03-08 cs.CL
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);The Chinese University of Hong Kong(香港中文大学)
近年来,问答技术在性能上取得了显著的进步,一些问答模型的性能甚至超过了人工。然而,这些模型在真正理解语言方面的能力仍然值得怀疑,并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力,提出了一种基于语义和上下文约束的表示增强(ESC)方法来提高词汇嵌入的鲁棒性。具体来说,我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失,以更好地区分上下文线索的正确答案。实验结果表明,该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Multilingual Alignment of Contextual Word Representations
University of California, Berkeley(加州大学伯克利分校);Computer Science Division(计算机科学系)
我们提出了评估和加强上下文嵌入对齐的程序,并表明它们在分析和改进多语言BERT中是有用的。特别是,在我们提出的对齐过程后,与基本模型相比,BERT在XNLI上表现出显着改善的zero-shot性能,显著匹配保加利亚语和希腊语的伪全监督训练模型。此外,为了测量对齐的程度,我们引入了一个上下文版本的单词检索,并表明它与下游zero-shot传输相关。使用这个词检索任务,我们还分析了BERT,并发现它表现出系统的缺陷,例如,更差的对齐开放类的词性和词对写在不同的脚本,纠正对齐过程。这些结果支持上下文对齐作为理解大型多语言预训练模型的有用概念。
2020-02-12 cs.CL cs.LG
Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing
MIT(麻省理工学院);Tel Aviv University(特拉维夫大学)
我们介绍了一种新的多语言传输方法,该方法利用深度上下文嵌入,以无监督的方式进行预训练。虽然上下文嵌入已被证明产生更丰富的表示意义相比,他们的静态同行,对齐他们提出了一个挑战,由于他们的动态性质。为此,我们构建了原始单语空间的上下文无关的变体,并利用它们的映射来导出上下文相关空间的对齐。这种映射很容易支持目标语言的处理,通过上下文感知的嵌入来改善传输。我们的实验结果表明,该方法的有效性zero-shot和少样本学习的依存句法分析。具体来说,我们的方法在6种测试语言上的表现始终优于以前的最先进技术,平均提高了6.8个LAS点。
2019-04-04 cs.CL cs.LG
Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction
UPenn(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室);USC(南加州大学)
在本文中,我们试图从两个角度提高TempRel提取模型的可信度。第一个视角是基于上下文描述的真实抽取。为了实现这一目标,我们建议进行反事实分析,以减弱两种重要类型的训练偏差的影响:事件触发偏差和频繁标签偏差。我们还将时态信息添加到事件表征中,以明确强调上下文描述。第二个观点是提供适当的不确定性估计,并且当文本中没有描述关系时避免提取。通过在模型预测的分类分布上对Dirichlet先验进行参数化,我们改进了模型对正确性似然的估计,并使TempRel预测更具选择性。我们还采用温度缩放来重新校准模型的置信度后,偏差缓解。通过对MATRES、MATRES-DS和TDDiscourse的实验分析,我们证明了与SOTA方法相比,我们的模型更忠实地提取TempRel和时间线,特别是在分布偏移的情况下。
2022-10-12 cs.AI cs.CL
Context-Aware Semantic Recomposition Mechanism for Large Language Models
提出上下文感知语义重组机制(CASRM),通过动态上下文向量与注意力调制层增强大语言模型的语义连贯性与上下文适应性,实验证明其在多领域及序列任务中显著提升性能并缓解错误传播。
2025-03-26 cs.AI cs.CL
Efficient Contextual Representation Learning Without Softmax Layer
Peking University(北京大学);University of California, Los Angeles(加州大学洛杉矶分校)
上下文表示模型在改进各种下游任务方面取得了巨大成功。然而,这些基于语言模型的编码器由于大的参数大小和高的计算复杂性而难以训练。通过仔细检查训练过程,我们发现softmax层(输出层)由于词汇量大而导致效率低下。因此,我们重新设计了学习目标,并提出了一个有效的框架,训练上下文表示模型。具体而言,所提出的方法通过执行具有降维的语言建模来绕过softmax层,并允许模型利用预先训练的词嵌入。我们的框架将花费在输出层上的时间减少到可以忽略的水平,消除了softmax层的几乎所有可训练参数,并在不截断词汇的情况下进行语言建模。当应用于ELMo时,我们的方法实现了4倍的加速比,并消除了80%的可训练参数,同时在下游任务上实现了有竞争力的性能。
2019-02-28 cs.CL cs.LG