CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University(复旦大学);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室)
随着将事实知识整合到预先训练的语言模型(如BERT)中的新兴分支的出现,大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入,这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中,我们提出了语境化语言和知识嵌入(CoLAKE),它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入,而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性,我们将它们集成到一个统一的数据结构中,即词-知识图谱(WK图)。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明,CoLAKE在大多数任务上都优于以前的同类算法.此外,CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能,这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Using Dempster-Shafer Theory in Knowledge Representation
在本文中,我们建议结合Dempster-Shafer(DS)理论与知识表示(KR)。从这种婚姻中诞生的是“Dempster-Shafer信念基础”的定义,抽象的数据类型表示不确定的知识,使用DS理论表示对我们的知识的信念强度,以及表示知识本身的任意KR系统的语言结构。一个正式的结果保证了给定的KR系统和DS理论的性质都被保留。一般模型的例子是定义DS信念基础,其中一阶逻辑和(扩展)KRYPTON被用作KR系统。执行问题也被提及。
2013-03-27 cs.AI
PEARL: Path-Entity Aligned Relational Learning with Contextual Subgraphs for Inductive Knowledge Graph Completion
School of Mathematics, Shandong University(山东大学数学学院);School of Physical and Mathematical Sciences, Nanyang Technological University(南洋理工大学物理与数学科学学院);Data Science Institute, Shandong University(山东大学数据科学研究院)
PEARL是一种结合上下文子图建模、LLM引导路径检索与双视图对比学习的归纳式知识图谱补全框架,在WN18RR等三个基准数据集上取得最优平均Hits@10,验证了其核心组件的有效性。
2026-09-03 cs.AI
Integrating Graph Contextualized Knowledge into Pre-trained Language Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Cloud & AI(华为云与AI);School of Computer Science, University of Science and Technology of China(中国科学技术大学计算机科学学院)
复杂的节点交互在知识图谱中很常见,这些交互也包含着丰富的知识信息。然而,传统方法在知识表示学习过程中,通常将三元组作为训练单元,忽略了知识图谱中节点的上下文信息。我们将建模对象概括为一个非常一般的形式,理论上支持从知识图谱中提取的任何子图,这些子图被送入一个新的基于变换的模型来学习知识嵌入。为了拓宽知识的使用场景,利用预先训练的语言模型来构建包含所学习的知识表示的模型。实验结果表明,我们的模型在几个医学NLP任务上达到了最先进的性能,并且在TransE之上的改进表明我们的KRL方法有效地捕获了图的上下文信息。
2021-09-30 cs.AI cs.CL
CoKE: Contextualized Knowledge Graph Embedding
Baidu Inc.(百度公司)
知识图谱嵌入将符号实体和关系映射到连续向量空间中,正受到越来越多的关注。先前的方法允许针对每个实体或关系的单个静态嵌入,忽略了它们内在的上下文性质,即,实体和关系可以出现在不同的图形上下文中,并且因此表现出不同的属性。这项工作提出了语境化知识图谱嵌入(CoKE),一种新的范式,考虑到这种上下文的性质,并学习动态的,灵活的,完全语境化的实体和关系嵌入。两种类型的图形上下文进行了研究:边缘和路径,都制定为实体和关系的序列。CoKE将序列作为输入,并使用Transformer编码器来获得上下文化表示。因此,这些表示自然地适应于输入,捕获其中的实体和关系的上下文含义。通过对多种公共基准测试的评估,验证了CoKE在链接预测和路径查询应答方面的优越性。在几乎所有情况下,它的性能始终优于或至少等同于当前最先进的技术,特别是在H@10路径查询应答中提供了21.0%的绝对改进。我们的代码可在\url{https://github.com/PaddlePaddle/Research/tree/master/KG/CoKE}上获得。
2020-04-04 cs.AI cs.CL
Reasoning with Contextual Knowledge and Influence Diagrams
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Milano-Bicocca(米兰比可卡大学)
影响图(ID)是众所周知的形式主义扩展贝叶斯网络模型的决策情况下的不确定性。虽然他们是方便的决策理论工具,他们的知识表示能力是有限的,在捕捉其他关键的概念,如逻辑一致性。我们补充ID与轻量级的描述逻辑(DL)EL,以克服这些限制。我们考虑一个DL公理在某些上下文中成立的设置,但实际的上下文是不确定的。该框架受益于使用DL作为领域知识表示语言的便利性和ID的建模强度,以处理在上下文存在不确定性的情况下的决策。我们定义了相关的推理问题,并研究了它们的计算复杂性。
2020-07-01 cs.AI cs.LO
Contextual Dictionary Lookup for Knowledge Graph Completion
Sun Yat-sen University(中山大学);Unisound Information Technology Co., Ltd(云知声信息技术有限公司)
针对现有知识图谱嵌入模型忽略关系细粒度语义、聚类类方法训练繁琐的问题,提出上下文词典查询的端到端方法,用含多潜在语义的词典表示关系,结合实体上下文自适应确定关系细粒度语义,应用于多个KGE模型后在基准数据集上取得显著性能提升。
2023-06-13 cs.AI
Representing Time-Continuous Behavior of Cyber-Physical Systems in Knowledge Graphs
本研究提出了一种在知识图谱中直接表示微分方程的模块化语义模型,并通过航空维护领域验证了其在整合复杂系统行为数据中的有效性。
2026-01-17 cs.AI
RotateQVS: Representing Temporal Information as Rotations in Quaternion Vector Space for Temporal Knowledge Graph Completion
National University of Defense Technology(国防科技大学);Pengcheng Laboratory(鹏城实验室);Huawei Technologies Co., Ltd.(华为技术有限公司)
在实际应用中,时间因素与事实的增长密切相关,如疾病的进展、政治局势的发展等,因此,时间知识图谱(TKG)的研究备受关注。在TKG中,时间性所固有的关系模式需要被研究,以便进行跨时间事实的表示学习和推理。然而,现有的方法很难建模的时间关系模式,也不能捕捉随着时间的推移,关系之间的内在联系,缺乏可解释性。在本文中,我们提出了一种新的时间建模方法,表示时间实体的旋转四元数向量空间(RotateQVS)和汉密尔顿的四元数空间的复向量的关系。我们证明了我们的方法可以模拟TKG中的关键关系模式,如对称,不对称,逆,并可以进一步捕获时间演变的关系理论。经验上,我们表明,我们的方法可以提高性能的链接预测任务超过四个时间知识图谱基准。
2022-03-17 cs.AI
Path-Based Contextualization of Knowledge Graphs for Textual Entailment
IBM Research(IBM研究院);McGill University(麦吉尔大学)
在本文中,我们介绍了知识图谱情境化的问题--即,给定一个特定的NLP任务,从给定的知识图谱中提取有意义的相关子图的问题。本文的任务是文本蕴涵问题,上下文是文本蕴涵问题实例的相关子图--给定两个句子p和h,必须自动预测它们之间的蕴涵关系。我们的方法基于在成本定制的外部知识图谱中找到路径,并构建连接p和h的最相关子图。我们表明,我们的路径选择机制,以产生子图,不仅减少了噪音,但也检索有意义的信息,从大型知识图谱。我们的评估表明,使用信息的实体以及它们之间的关系,提高了纯基于文本的系统的性能。
2020-02-04 cs.AI cs.CL
CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models
Tsinghua University(清华大学);Tencent Inc.(腾讯公司)
提出CokeBERT框架,根据文本上下文动态选择并嵌入知识图谱中的知识,有效过滤冗余和模糊信息,在知识驱动NLP任务上优于基线方法且具有更好的可解释性。
2023-04-05 cs.AI cs.CL
ConTextual: Improving Clinical Text Summarization in LLMs with Context-preserving Token Filtering and Knowledge Graphs
University of Delaware(德雷塞尔大学)
本文提出ConTextual框架,通过上下文保留的令牌过滤与领域知识图谱增强临床文本摘要,在多个基准上一致优于基线,提升了语言连贯性与临床保真度。
2025-07-17 cs.AI cs.CL
DOLORES: Deep Contextualized Knowledge Graph Embeddings
Shanghai Jiao Tong University(上海交通大学);UC Santa Barbara(加州大学圣塔芭芭拉分校)
我们介绍了一种新的方法DOLORES学习知识图谱嵌入,有效地捕捉上下文线索和实体和关系之间的依赖关系。首先,我们注意到,由实体和关系链组成的知识图谱上的短路径可以编码关于其上下文使用的有价值的信息。我们通过将知识图谱表示为实体-关系链的集合而不是三元组的集合来实现这一概念,并使用捕获这种上下文用法的深度神经模型来学习实体和关系的嵌入。特别是,我们的模型基于双向LSTM,并从构建的实体关系链中学习实体和关系的深层表示。我们表明,这些表示可以很容易地被纳入现有的模型,显着推进的几个知识图谱预测任务,如链接预测,三重分类,和丢失的关系类型预测(在某些情况下,至少9.5%)的最先进的。
2018-10-31 cs.AI cs.CL cs.LG
PPKE: Knowledge Representation Learning by Path-based Pre-training
School of Computer Science, Harbin Institute of Technology(哈尔滨工业大学计算机学院)
实体在知识图谱(KG)中可能具有复杂的交互,例如多步关系,其可以被视为实体的图上下文信息。传统的知识表示学习(KRL)方法通常将单个三元组作为训练单元,忽略了知识组拓扑结构中存在的大部分图上下文信息。在这项研究中,我们提出了一种基于路径的预训练模型来学习知识嵌入,称为PPKE,其目的是将实体之间的更多图上下文信息集成到KRL模型中。实验表明,该模型在链接预测和关系预测任务的多个基准数据集上均取得了最佳的结果,表明该模型为知识库中利用图上下文信息提供了一种可行的方法.
2020-12-07 cs.AI cs.CL
HypKG: Hypergraph-based Knowledge Graph Contextualization for Precision Healthcare
Emory University(埃默里大学)
针对通用知识图谱缺乏患者情境难以支撑精准医疗的问题,提出HypKG框架,通过实体链接关联知识图谱与电子健康记录,结合超图模型和任务引导的超图Transformer学习情境化表示,显著提升医疗预测性能,还可优化知识表示质量。
2025-07-30 cs.AI cs.LG
Relational World Knowledge Representation in Contextual Language Models: A Review
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
关系知识库(KB)通常用于表示机器中的世界知识。然而,尽管知识库具有高度的精确性和可解释性,但它们通常是根据手动定义的模式组织的,这限制了它们的表达能力,并且需要大量的人力来设计和维护。在这篇综述中,我们从自然语言处理的角度来看待这些局限性,研究如何通过训练深度上下文语言模型(LM)来部分解决这些局限性,从而以更灵活的形式内化和表达关系知识。我们建议组织知识表示策略在LM的KB监督水平提供的,从没有KB监督在所有实体和关系级的监督。我们的贡献有三个方面:(1)我们提供了一个高层次的,可扩展的分类知识表示在LMs;(2)在我们的分类,我们突出了显着的模型,评估任务和调查结果,以提供一个最新的审查,目前的知识表示能力在LMs;(3)我们建议未来的研究方向,建立在LMs和知识库的互补方面作为知识表示。
2021-09-10 cs.AI cs.CL cs.LG
LingShu: A Large-Scale Symptom-Centric Contextualized Knowledge Graph Bridging Traditional Chinese Medicine and Modern Biomedicine
Beijing Jiaotong University(北京交通大学);Hubei Provincial Hospital of Traditional Chinese Medicine(湖北省中医院);Hubei University of Chinese Medicine(湖北中医药大学);Hubei Province Academy of Traditional Chinese Medicine(湖北省中医药研究院);China Academy of Chinese Medical Sciences(中国中医科学院);Xiyuan Hospital(西苑医院);National Clinical Research Center for Chinese Medicine Cardiology(国家中医心血管病临床医学研究中心);Hubei Provincial Clinical Research Center for Acupuncture and Moxibustion in Obesity Treatment(湖北省肥胖病针灸临床研究中心);Hubei Shizhen Laboratory(湖北时珍实验室);Tianjin Ta(天津(此处原文未完整,按原文提取))
本研究提出以症状为中心的LingShu知识图谱,整合多源数据构建混合数据模型,连接中医与现代生物医学,开发集成图可视化等功能的网络平台,为跨医学领域知识关联提供支持。
2026-08-24 cs.AI cs.CL
Representing Knowledge Base into Database for WAP and Web-based Expert System
Widyagama University of Malang(玛琅威达亚马大学)
专家系统是为用户提供广泛的咨询服务而发展起来的,也是为公众提供经济实惠的服务而发展起来的.互联网已经成为这种服务的媒介,但是移动设备的存在通过利用移动web和WAP(无线应用协议)使得访问变得更加普遍。在Web和WAP上应用专家系统应用程序需要一个可以同时访问的知识库表示。本文提出了用决策树映射的方法来适应知识表示的单一数据库。由于数据库的存在,咨询应用程序可以通过Web和WAP访问它,为公众提供更实惠的专家系统服务选择。
2013-12-11 cs.AI cs.CY
TransEdge: Translating Relation-contextualized Embeddings for Knowledge Graphs
Nanjing University(南京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
学习知识图谱(KG)嵌入近年来受到越来越多的关注。文献中的大多数嵌入模型将关系解释为线性或双线性映射函数来操作实体嵌入。然而,我们发现,这种关系级建模不能捕捉不同的关系结构的KG。在本文中,我们提出了一种新的边缘为中心的嵌入模型TransEdge,上下文关系表示在特定的头尾实体对。我们将这种关系的上下文化表示称为边嵌入,并将其解释为实体嵌入之间的转换。TransEdge在不同的预测任务上实现了令人满意的性能。在基准数据集上的实验表明,该算法在基于嵌入的实体对齐方面取得了较好的效果。我们还表明,TransEdge是与传统的实体对齐方法的互补。此外,它在链接预测方面表现出非常有竞争力的性能。
2020-04-22 cs.AI cs.CL cs.LG
Enhancing Cross-Modal Contextual Congruence for Crowdfunding Success using Knowledge-infused Learning
Georgia State University(佐治亚州立大学);Adobe MDSR;Wright State University(怀特州立大学);California Polytechnic State University(加州州立大学帕克校区)
本研究引入知识图谱的外部常识知识,结合紧凑型视觉语言模型增强多模态数据表征,以提升众筹活动成功预测性能,验证了跨模态上下文一致性对众筹成功的重要性。
2024-11-17 cs.AI cs.CL cs.CV
KG^2: Learning to Reason Science Exam Questions with Contextual Knowledge Graph Embeddings
Georgia Institute of Technology(佐治亚理工学院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
AI2 Reasoning Challenge(ARC)是一个新的问答(QA)基准数据集。ARC只包含为人类考试编写的自然科学问题,这些问题很难回答,需要高级逻辑推理。在ARC挑战集上,现有最先进的QA系统未能显著优于随机基线,反映了该任务的困难性质。本文提出了一种新的科学考试答题框架,该框架模拟了人类在开卷考试中的解题过程,并针对问题本身和支持句子分别构建了上下文知识图谱,以解决推理问题。我们的模型学习使用两个知识图谱的神经嵌入进行推理。ARC挑战集上的实验表明,我们的模型优于以前的国家的最先进的问答系统。
2018-05-31 cs.AI cs.CL cs.LG
Weakly-supervised Contextualization of Knowledge Graph Facts
University of Amsterdam(阿姆斯特丹大学);Bloomberg(彭博)
知识图谱(KG)对世界的事实进行建模,它们由通过边(关系,如founderOf)连接的节点(实体,如公司和人)组成。在KG中编码的事实经常被搜索应用程序用来扩充结果页面。当向用户呈现KG事实时,提供与该主要事实相关的其他事实可以丰富用户体验并支持探索性信息需求。KG事实语境化是用额外的和有用的KG事实来增强给定的KG事实的任务。该任务是具有挑战性的,因为大规模的知识库,发现其他相关的事实,即使在一个小的邻居的给定事实的结果在一个巨大的候选人。我们引入了一种神经事实情境化方法(NFCM)来解决KG事实情境化任务。NFCM首先在给定事实的邻域中生成一组候选事实,然后使用监督学习对候选事实进行排名模型。排名模型结合了我们从数据中自动学习的特征,这些特征代表了我们为这项任务设计或调整的一组手工制作的特征。为了获得训练大规模学习排序模型所需的注释,我们在一个大型实体标记的文本语料库上使用远程监督自动生成训练数据。我们表明,在这些数据上学习的排名函数在将KG事实置于情境中时是有效的。使用人类评估员进行的评估表明,它的表现明显优于几个竞争性基线。
2018-07-08 cs.AI cs.IR
Representing Web Applications As Knowledge Graphs
Skil Inc(Skil公司)
本文提出将Web应用建模为知识图谱的方法,以结构化状态为节点、用户动作为边,克服传统超链接爬取方法对动态交互行为捕获不足的局限,从而支持自动化测试和行为分析等下游任务。
2024-10-06 cs.AI cs.IR
A Theory of Formalisms for Representing Knowledge
Zhejiang Lab(之江实验室);Nankai University(南开大学)
本文提出一个通用框架刻画知识表示形式化体系,证明所有通用形式化体系及满足填充性质的两两互译形式化体系均递归同构,从而在离线编译意义下统一了声明式与过程式、符号与连接主义之争。
2024-12-29 cs.AI cs.CC cs.LO
Fountain -- an intelligent contextual assistant combining knowledge representation and language models for manufacturing risk identification
FORVIA Clean Mobility(佛吉亚清洁出行部门)
针对大批量生产中偏离设计或工艺带来的潜在风险,开发了集成于偏差管理流程的上下文助手Fountain。该系统结合微调语言模型与属性图知识表示,在标准CPU上即可提供可解释且一致的风险识别推荐,具备易部署性。
2023-08-01 cs.AI cs.CL
Semantic XAI for contextualized demand forecasting explanations
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Qlector d.o.o.(Qlector 有限公司);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院)
本文提出了一种基于语义技术和人工智能的可解释人工智能体系结构。我们量身定制的需求预测领域的架构,并验证它在现实世界的案例研究。所提供的解释组合了描述与特定预报相关的特征的概念、相关的媒体事件以及关于感兴趣的外部数据集的元数据。知识图谱提供了在更高的抽象级别上传达特征信息的概念。通过使用它们,解释不会暴露有关需求预测模型的敏感细节。这些解释还在适当的情况下强调可采取行动的方面。我们在知识图谱中链接领域知识、预测值和预测解释。我们为这个用例开发的本体和数据集是公开的,可供进一步研究。
2021-04-01 cs.AI cs.SE
Automated Extraction and Creation of FBS Design Reasoning Knowledge Graphs from Structured Data in Product Catalogues Lacking Contextual Information
Indian Institute of Science(印度科学学院);Harting India Private Limited(浩亭印度私人有限公司)
针对缺乏上下文的企业结构化产品数据无法直接构建标准本体知识图谱的问题,提出基于规则的方法与工作流,结合KG与NLP从遗留数据自动提取构建FBS本体知识图谱,经工业试点验证有效并总结了相关挑战与机遇。
2024-12-08 cs.AI cs.CL cs.IR
Knowledge Graph Embeddings with Representing Relations as Annular Sectors
Corresponding author(通讯作者)
针对现有基于区域的知识图谱嵌入模型忽略实体语义层级的问题,提出极坐标下的SectorE模型,将关系建模为环形扇区、实体嵌入为扇区内点以编码层级结构,在多个基准数据集上取得了有竞争力的性能。
2025-06-06 cs.AI cs.CL cs.LG
Context-driven Visual Object Recognition based on Knowledge Graphs
Bosch Center for Artificial Intelligence(博世人工智能中心);Trier University(特里尔大学)
目前用于对象识别的深度学习方法是纯数据驱动的,需要大量的训练样本才能达到良好的效果。由于它们仅依赖于图像数据,这些方法在面对即使发生小偏差的新环境时往往会失败。然而,人类感知已被证明对这种分布偏移显著更鲁棒。据推测,他们的能力,以处理未知的情况下,是基于广泛纳入的上下文知识。上下文可以基于场景中的对象共现,也可以基于经验记忆。根据人类视觉皮层使用上下文来为所看到的图像形成不同的对象表示,我们提出了一种方法,通过使用编码在知识图谱中的外部上下文知识来增强深度学习方法。因此,我们从一个通用的知识图谱中提取不同的上下文视图,将视图转换到向量空间中,并将其注入DNN。我们进行了一系列的实验,以研究不同的上下文视图对同一图像数据集的学习对象表示的影响。实验结果提供了证据表明,上下文视图影响DNN中的图像表示不同,因此导致对相同图像的不同预测。我们还表明,上下文有助于加强对象识别模型的鲁棒性的分布图像,通常发生在迁移学习任务或现实世界的情况。
2022-10-20 cs.AI cs.CL cs.CV
Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Unisound AI Technology Co., Ltd.(云知声人工智能科技有限公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出上下文信息熵约束解码(COIECD)方法,通过自适应识别并解决大语言模型的知识冲突,在提升冲突上下文忠实度的同时保持无冲突时的性能。
2024-07-26 cs.AI
Representing Context-Sensitive Knowledge in a Network Formalism: A Preliminary Report
MIT Laboratory for Computer Science(麻省理工学院计算机科学实验室)
自动化决策通常由于所涉及的知识的复杂性而变得复杂。这种复杂性大部分来自于潜在现象的上下文敏感变化。我们提出了一个框架,用于表示描述性的,上下文敏感的知识。我们的方法试图整合分类和不确定的知识在网络形式主义。本文概述了基本的表示结构,检查他们的表现力和效率,并讨论了潜在的应用框架。
2013-03-13 cs.AI
Representing Heuristic Knowledge in D-S Theory
Univ. of Edinburgh(爱丁堡大学);Univ. of Ulster at Jordanstown(阿尔斯特大学乔丹敦分校)
Dempster-Shafer证据理论已被广泛用于处理基于知识的系统中的不确定性。然而,证据和假设组(启发式知识)之间的不确定关系的表示仍然是一个主要的研究问题。本文提出了一种方法来表示这种启发式知识的证据映射的质量函数的基础上定义的。讨论了贝叶斯理论中证据映射与多值映射、证据映射与贝叶斯多值因果链模型的关系。在此之后,详细的程序构造证据映射的任何一组启发式规则的介绍。几种情况下的信念传播进行了讨论。
2013-03-13 cs.AI
Representing and Reasoning With Probabilistic Knowledge: A Bayesian Approach
SRI International(斯坦福国际研究院)
PAGODA(Probabilistic Autonomous Goal-Directed Agent)是一种概率域中的自主学习模型[desJardins,1992],它结合了创新技术,用于使用代理的现有知识来指导和约束学习过程,并用于表示,推理和学习概率知识。本文描述了PAGODA的概率表示和推理机制。PAGODA形成了关于其行动和世界状态随时间对环境的影响的理论。这些理论被表示为条件概率分布。对理论的结构施加限制,允许推理机制为任何动作和世界状态描述找到唯一的预测分布。这些受限理论被称为唯一预测理论。推理机制,使用独立性的概率组合(PCI),使用最小的独立性假设来组合理论中的概率,以进行概率预测。
2013-03-06 cs.AI
K-Edit: Language Model Editing with Contextual Knowledge Awareness
Amazon AGI(亚马逊AGI);University of Southern California(南加州大学);University of California - Los Angeles(加州大学洛杉矶分校)
K-Edit利用知识图谱生成上下文编辑,确保语言模型编辑后相关信息一致,显著提升多跳问答性能,同时保持编辑的通用性和可扩展性。
2025-02-27 cs.AI cs.LG
Representing Knowledge about Norms
规范对于扩展推理是必不可少的:基于规范的推理比基于逻辑蕴涵的推理丰富得多。近几十年来,人们在一个领域的理性上投入了大量的努力,一旦它的规范被代表。如何提取和表达这些规范受到的关注要少得多。提取是困难的:由于读者应该了解它们,因此域的规范很少明确。首先,提取规范需要一种语言来表示它们,这就是本文的主题。我们应用这种语言来表示规范的领域中的驾驶,并表明,它是足够的原因的事故,所描述的车祸报告。
2006-07-18 cs.AI
Improving End-to-End Contextual Speech Recognition with Fine-Grained Contextual Knowledge Selection
Bytedance AI Lab(字节跳动人工智能实验室);Chinese Academy of Sciences(中国科学院)
目前,大多数端到端的上下文语音识别方法都偏向于上下文知识。由于全神经上下文偏置方法依赖于短语级上下文建模和基于注意力的相关性建模,因此它们可能会遇到类似的上下文特定短语之间的混淆,这会损害令牌级的预测。在这项工作中,我们专注于减轻混淆问题与细粒度的上下文知识选择(FineCoS)。在FineCoS中,我们引入了细粒度的知识来减少令牌预测的不确定性。具体来说,我们首先应用短语选择来缩小短语候选者的范围,然后对所选择的短语候选者中的标记进行标记注意。此外,我们重新规范化的最相关的短语在推理中的注意力权重,以获得更集中的短语级上下文表示,并注入位置信息,以更好地区分短语或令牌。在LibriSpeech和内部160,000小时的数据集上,我们探索了基于可控全神经偏置方法,协作解码(ColDec)的方法。所提出的方法提供了最多6.1%的相对字出错率减少LibriSpeech和16.4%的相对字符出错率减少内部数据集超过ColDec。
2022-03-02 cs.AI cs.CL cs.SD
Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning
School of Economics and Management, East China Normal University(华东师范大学经济与管理学部);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文评估了十种模型编辑方法在可靠性、泛化性、局部性和可移植性上的不足,并提出不修改参数、利用外部知识进行选择性上下文推理的SCR方法,实验证明其在知识更新上更有效。
2025-03-07 cs.AI cs.CL
PDT: Pretrained Dual Transformers for Time-aware Bipartite Graphs
Visa Research(维萨研究院)
本文针对用户-内容二分图提出预训练双Transformer方法PDT,通过对比学习学习用户侧与内容侧之间的双向映射,并在推荐任务上显著优于所有基线。
2023-09-25 cs.AI
DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering
The Hebrew University of Jerusalem(希伯来大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
问答模型通常在推理时间期间访问两个“知识”源:(1)参数知识-在模型权重中编码的事实知识,以及(2)上下文知识-外部知识(例如,维基百科上的一段文章),以生成一个有根据的答案。将这两种知识来源纠缠在一起是生成QA模型的核心问题,因为不清楚答案是否源于给定的非参数知识。这种不明确性对信任、可解释性和真实性问题产生了影响。在这项工作中,我们提出了一个新的范例,其中QA模型进行训练,以解开这两个来源的知识。使用反事实数据增强,我们引入了一个模型,预测两个答案为一个给定的问题:一个基于给定的上下文知识和参数知识的基础上。我们在Natural Questions数据集上的实验表明,这种方法提高了QA模型的性能,使它们对两个知识源之间的知识冲突更加鲁棒,同时生成有用的解纠缠答案。
2022-11-10 cs.AI cs.CL cs.LG
Contextual embedding and model weighting by fusing domain knowledge on Biomedical Question Answering
Beijing University of Technology(北京工业大学)
生物医学问答旨在从生物医学领域获得给定问题的答案。由于其对生物医学领域知识的要求很高,模型很难从有限的训练数据中学习领域知识。我们提出了一种上下文嵌入方法,结合开放领域的QA模型\aoa和\biobert模型预训练的生物医学领域的数据。我们采用无监督预训练的大型生物医学语料库和监督微调生物医学问答数据集。此外,我们采用一个基于MLP的模型加权层,自动利用两个模型的优点,提供正确的答案。利用PubMed语料库构建的公共数据集\biomrc对该方法进行了评价。实验结果表明,我们的模型优于国家的最先进的系统由一个很大的利润。
2022-06-26 cs.AI cs.CL
UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus
University of Waterloo(滑铁卢大学)
上下文词嵌入模型,如BioBERT和Bio_ClinicalBERT,通过将其预训练过程集中在特定领域的语料库上,在生物医学自然语言处理任务中取得了最先进的结果。然而,这样的模型不考虑专家领域知识。在这项工作中,我们介绍了UmlsBERT,一个上下文嵌入模型,通过一种新的知识增强策略,在预训练过程中集成领域知识。更具体地说,用统一医学语言系统(UMLS)元词库对UmlsBERT进行增强是以两种方式进行的:i)连接UMLS中具有相同基础“概念”的单词,以及ii)利用UMLS中的语义组知识来创建有临床意义的输入嵌入。通过应用这两种策略,UmlsBERT可以将临床领域知识编码到词嵌入中,并在常见的命名实体识别(NER)和临床自然语言推理临床NLP任务上优于现有的领域特定模型。
2021-06-03 cs.AI cs.CL cs.LG
Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling
College of Computer, National University of Defense Technology(国防科技大学计算机学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出基于图的上下文感知(GCA)幻觉检测方法,通过三元组分割、图依赖建模与逆向验证,在零资源下提升文本生成幻觉检测效果,优于所有基线。
2025-03-07 cs.AI cs.CL
Enhancing Cache-Augmented Generation (CAG) with Adaptive Contextual Compression for Scalable Knowledge Integration
Data Science(数据科学);Marketing Data Scientist(市场数据科学家)
针对CAG难以扩展至大型动态知识库的问题,提出ACC动态压缩管理上下文,并结合选择性检索构建混合CAG-RAG框架,提升效率、可扩展性与多跳推理能力。
2025-05-13 cs.AI cs.CL
Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Amazon(亚马逊)
本文提出一种在推理时结合对比解码与对抗性不相关段落负样本的方法,以增强大语言模型在开放域问答中的上下文锚定能力,实验证明其优于现有方法且无需额外训练。
2024-05-04 cs.AI cs.CL
Learning Contextual Causality from Time-consecutive Images
HKUST(香港科技大学);CUHK(香港中文大学);UPenn(宾夕法尼亚大学)
因果关系知识对于许多人工智能系统是至关重要的。传统的基于文本的因果关系知识获取方法通常需要费力且昂贵的人工注释。因此,其规模往往有限。此外,由于在注释期间没有提供上下文,因此所得到的因果关系知识记录(例如,ConceptNet)通常不考虑上下文。为了探索一种更具可扩展性的因果关系知识获取方法,本文跳出文本领域,研究了从视觉信号中学习上下文因果关系的可能性。与纯文本方法相比,从视觉信号中学习因果关系具有以下优点:(1)因果关系知识属于常识性知识,很少在文本中表达,而在视频中却非常丰富;(2)视频中的事件大多具有自然的时序性,这为我们挖掘因果关系知识提供了丰富的资源;(3)视频中的所有对象都可以作为语境来研究因果关系的语境性。详细地说,我们首先提出了一个高质量的数据集Vis-Causal,然后进行实验来证明,通过良好的语言和视觉表示模型以及足够的训练信号,可以从视频中自动发现有意义的因果知识。进一步的分析还表明,因果关系的上下文属性确实存在,如果我们想在实际应用中使用因果关系知识,考虑到这一点可能是至关重要的,视觉信号可以作为一个很好的资源,学习这种上下文因果关系。
2020-12-13 cs.AI cs.CL cs.CV
Contextual Knowledge Sharing in Multi-Agent Reinforcement Learning with Decentralized Communication and Coordination
本文提出一种集成点对点通信与协调的Dec-MARL框架,通过引入目标感知和时间感知的知识共享机制,解决了动态环境中智能体个体目标与有限可观测性带来的协调难题,显著提升了整体性能。
2025-01-26 cs.AI cs.MA
MediEval: A Unified Medical Benchmark for Patient-Contextual and Knowledge-Grounded Reasoning in LLMs
TU Dresden and ScaDS.AI(德累斯顿理工大学和ScaDS.AI)
MediEval通过整合MIMIC-IV电子健康记录与统一的知识库,系统评估医疗模型的知识基础和上下文一致性,识别关键失败模式并提出CoRFu方法提升准确性和安全性。
2026-05-07 cs.AI cs.CL
Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement
Baidu Inc.(百度公司);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
Knowledgeable-R1通过参数知识强化提升RAG在知识冲突和一般场景中的鲁棒性与推理准确性,反事实场景中表现优于现有基线。
2026-02-25 cs.AI cs.CL cs.IR
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen(哥本哈根大学);University of Padua(帕多瓦大学)
当一个短语的含义不能从其单词的单个含义推断时(例如,热狗),则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的,例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中,我们操作的观点,组合性是上下文,而不是确定性,即,一个短语是合成的还是非合成的取决于它的上下文。例如,“绿卡”一词在指绿色卡时是合成的,而在指永久居留许可时是非合成的。我们解决的挑战,检测这种类型的上下文组合如下:给定一个多字的短语,我们丰富的词嵌入表示其语义的证据,其全球范围内(条款,它经常搭配),以及其本地上下文(叙述,该短语被使用,我们称之为使用场景)。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法,并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估,结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
Multi-Agent Systems based on Contextual Defeasible Logic considering Focus
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial, Universidade Tecnológica Federal do Paraná(联邦巴拉那技术大学工业电气与信息工程研究生课程)
在本文中,我们扩展了以前的工作,分布式推理使用上下文可废止逻辑(CDL),它使分散的分布式推理的基础上,分布式知识库,这样的知识,从不同的知识库可能会相互冲突。然而,有许多用例场景不可能在此模型中表示。一种这样的场景是那些需要代理共享和相关知识的原因时,发出查询给其他人。另一种情况是代理之间的绑定(通过映射规则定义)不是静态的,例如在知识密集型和动态环境中。这项工作提出了一个多代理模型的基础上CDL,不仅允许代理的原因与他们的本地知识库和映射规则,但也允许代理的原因有关的知识(焦点)-这是不知道的代理先验-在一个特定的查询的上下文中。我们提出了一个用例场景,提出的模型的一些形式化,并初步实现的基础上的BDI(信念-欲望-意图)代理模型。
2020-10-01 cs.AI cs.LO
Improving Conversational Recommender System via Contextual and Time-Aware Modeling with Less Domain-Specific Knowledge
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
会话式推荐系统(CRS)是一个新兴的研究课题,它通过交互式会话进行推荐,通常由生成和推荐模块组成。之前关于CRS的工作往往会融入更多外部和特定领域的知识,例如项目评审,以提高绩效。尽管外部特定领域信息的收集和注释需要大量的人力,并降低了可概括性,但过多的额外知识会增加它们之间平衡的难度。因此,我们建议从上下文中充分发现和提取内部知识。我们捕获实体级和上下文级的表示,以共同建模用户的偏好的建议,其中时间感知的注意力被设计为强调最近出现的项目在实体级表示。我们进一步使用预训练的BART来初始化生成模块,以缓解数据稀缺并增强上下文建模。除了在一个流行的数据集(ReDial)上进行实验外,我们还包括一个多域数据集(OpenDialKG)来展示我们模型的有效性。在两个数据集上的实验表明,我们的模型在大多数评估指标上具有更好的性能,并且具有更少的外部知识,并且可以很好地推广到其他领域。对推荐任务和生成任务的分析表明了该模型在不同场景下的有效性。
2022-09-23 cs.AI cs.CL
Architectural Fusion Through Contextual Partitioning in Large Language Models: A Novel Approach to Parameterized Knowledge Integration
本文提出上下文分区方法,通过动态分割参数为上下文感知区域并采用梯度驱动分配,无需微调即可提升大模型的准确性、困惑度和连贯性,同时降低内存与训练成本。
2025-08-08 cs.AI cs.CL
Improving Route Choice Models by Incorporating Contextual Factors via Knowledge Distillation
Louisiana State University(路易斯安那州立大学)
路径选择模型预测穿越城市区域的旅行者的路径选择。大多数路径选择模型将替代路径的路径特征与驾驶员选择的路径特征相关联。该模型在预测不同路线上的交通水平方面发挥着重要作用,从而有助于制定有效的交通管理策略,从而最大限度地减少交通延误,最大限度地提高交通系统的有效利用率。高保真度的路径选择模型需要更高的准确度来预测交通水平。现有的路线选择模型不考虑动态的上下文条件,如事故的发生,司机的社会文化和经济背景,其他人类行为,动态的个人风险水平等,因此,他们只能在一个聚合的水平和一组固定的上下文因素进行预测。为了更高的保真度,非常希望使用捕获路线选择中的主观或背景因素的重要性的模型。本文提出了一种新的方法来开发高保真的路线选择模型,增加预测能力,通过增加现有的聚合水平基线模型与信息的驱动程序的响应上下文因素,通过使用知识蒸馏在沉浸式虚拟环境中进行的陈述选择实验。
2019-03-27 cs.AI cs.LG stat.ML
Contextualization Distillation from Large Language Model for Knowledge Graph Completion
University of California, San Diego(加利福尼亚大学圣迭戈分校);Arizona State University(亚利桑那州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出语境化蒸馏策略,利用大语言模型将结构化三元组转化为上下文丰富片段,并通过重建与语境化两个辅助任务提升知识图谱补全模型的性能与可解释性。
2024-02-24 cs.AI cs.CL