CFO: Conditional Focused Neural Question Answering with Large-scale Knowledge Bases
Carnegie Mellon University(卡内基梅隆大学);Baidu Research(百度研究院)
我们如何才能让计算机自动回答像“谁创造了哈利波特这个角色”这样的问题?精心构建的知识库提供了丰富的事实来源。然而,由于一个问题的多种表达方式,回答以自然语言提出的仿真问题仍然是一个挑战。特别是,我们专注于最常见的问题-那些可以用知识库中的一个事实来回答的问题。我们提出了CFO,一种基于条件聚焦神经网络的方法,用知识库来回答模拟问题。我们的方法首先放大一个问题,以找到更多可能的候选主题提到,并推断出一个统一的条件概率框架的最终答案。在深度递归神经网络和神经嵌入的支持下,我们提出的CFO在108 k个问题的数据集上实现了75.7%的准确率-这是迄今为止最大的公开数据集。它比目前最先进的技术表现出11.8%的绝对优势。
2016-07-04 cs.CL
Knowledge Enhanced Hybrid Neural Network for Text Matching
Beihang University(北京航空航天大学);Microsoft Research(微软研究院)
长文本复杂的语义和句法结构给语义匹配带来了很大的挑战。为了应对这一挑战,我们考虑使用先验知识来帮助识别有用的信息,并过滤掉长文本中的噪声。为此,我们提出了一个知识增强的混合神经网络(KEHNN)。该模型通过知识门将先验知识融合到词表示中,建立了词、GRU给出的句子序列结构和知识增强表示的三个匹配通道。三个通道由卷积神经网络处理以生成用于匹配的高级特征,并且特征由多层感知器合成为匹配分数。该模型扩展了现有的方法进行匹配的单词,局部结构的句子,和全局上下文的句子。在问答和会话的公共数据集上进行的大量实验结果表明,KEHNN的性能明显优于现有的匹配模型,尤其是在长文本配对上的性能得到了显著提高。
2016-11-15 cs.CL
Combining neural and knowledge-based approaches to Named Entity Recognition in Polish
National Information Processing Institute(国家信息处理研究所)
命名实体识别(NER)是自然语言处理中的一项任务,它可以从外部知识源的使用中获益。我们提出了一个命名实体识别框架,该框架由基于知识的特征提取器和深度学习模型组成,该模型包括上下文词嵌入、长短期记忆(LSTM)层和条件随机场(CRF)推理层。我们使用一个实体链接模块来整合我们的系统与维基百科。有效的神经结构和外部资源的结合使我们能够获得最先进的结果识别波兰专有名词。我们根据PolEval 2018 NER挑战赛的数据评估了我们的模型,该模型优于其他方法,与获胜解决方案相比,出错率降低了22.4%。我们的工作表明,结合神经NER模型和实体链接模型与知识库是更有效地识别命名实体比单独使用NER模型。
2018-11-26 cs.CL
DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出开源可扩展的知识抽取工具包 DeepKE,统一支持低资源、文档级和多模态场景下的命名实体识别、关系抽取与属性抽取,并提供在线系统与教程。
2023-09-18 cs.AI cs.CL cs.IR
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱越来越多地用于各种下游任务,如问答和信息检索。然而,知识图谱往往是不完整的,从而导致性能不佳。因此,人们对知识库完成的任务很感兴趣。最近,图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息,并已被证明可以在各种数据集上实现SOTA性能。在这项调查中,我们了解所提出的方法的各种优点和缺点,并试图找到新的令人兴奋的研究问题,在这一领域,需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Modeling Semantics with Gated Graph Neural Networks for Knowledge Base Question Answering
Technische Universität Darmstadt(达姆施塔特工业大学)
知识库问答的大多数方法都是基于语义解析的。在本文中,我们解决的问题,学习向量表示复杂的语义分析,包括多个实体和关系。以前的工作主要集中在选择一个问题的正确的语义关系,而忽略了语义解析的结构:实体之间的连接和关系的方向。我们建议使用门控图神经网络来编码语义解析的图结构。我们在两个数据集上显示,图网络优于所有没有明确建模结构的基线模型。错误分析证实,我们的方法可以成功地处理复杂的语义分析。
2018-08-13 cs.CL
Dynamic Integration of Background Knowledge in Neural NLU Systems
German Research Center for AI(德国人工智能研究中心);DeepMind(深度思维)
理解自然语言需要常识和背景知识,但在大多数神经自然语言理解(NLU)系统中,这些知识必须在学习期间从训练语料库中获取,然后在测试时是静态的。我们介绍了一种新的架构,在自然语言理解模型的显式背景知识的动态集成。通用阅读模块以自由文本语句(连同任务特定的文本输入)的形式读取背景知识,并将精炼的单词表示产生给任务特定的NLU架构,该NLU架构用这些表示重新处理任务输入。在文档问答(DQA)和文本蕴涵识别(RTE)上的实验证明了该方法的有效性和灵活性。分析表明,我们的模型学习以语义适当的方式利用知识。
2018-08-21 cs.AI cs.CL cs.NE
Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge
Google Research(谷歌研究院)
大量的语言模型是现代NLP建模的核心,并且已经被证明可以编码大量的常识和事实信息。然而,这些知识只存在于模型的潜在参数中,无法进行检查和解释,更糟糕的是,随着世界的变化,从训练语料库中记忆的事实信息可能会变得陈旧。作为参数存储的知识也将不可避免地表现出源材料中固有的所有偏见。为了解决这些问题,我们开发了一个神经语言模型,其中包括一个明确的接口之间的象征性可解释的事实信息和subsymbolic神经知识。我们表明,该模型显着提高了两个知识密集型问答任务的性能。更有趣的是,模型可以通过操纵其符号表示来更新,而无需重新训练。特别是,这个模型允许我们添加新的事实,并以早期模型不可能的方式覆盖现有的事实。
2020-07-02 cs.AI cs.CL cs.LG
Graph Neural Network-Based Entity Extraction and Relationship Reasoning in Complex Knowledge Graphs
Shanghai Jiao Tong University(上海交通大学);San Francisco State University(旧金山州立大学);Stevens Institute of Technology(史蒂文斯理工学院);New York University(纽约大学);Tulane University(杜兰大学);Columbia University(哥伦比亚大学)
本文提出基于图卷积网络和图注意力网络的端到端联合模型,用于复杂知识图谱的实体抽取与关系推理,实验证明其在AUC、召回率、精确率和F1值等指标上优于多种深度学习方法,并展现出更强的泛化能力与稳定性。
2024-11-19 cs.AI cs.CL cs.LG
Ensemble of Neural Classifiers for Scoring Knowledge Base Triples
Studio Ousia;Nara Institute of Science and Technology(奈良先端科学技术大学)
本文描述了我们在2017年WSDM杯上完成三重得分任务的方法。该任务要求参与者在知识库中为每对实体及其类型分配相关性得分,以提高实体检索任务的排名结果。我们提出了一种方法,其中多个神经网络分类器的输出相结合,使用监督机器学习模型。实验结果表明,我们提出的方法在三个测量中的一个(即,Kendall’s tau),并在其他两项测量中表现出竞争力(即,准确度和平均得分差异)。
2017-04-05 cs.CL cs.IR
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval
本文提出了一种将知识图谱引入神经搜索系统的神经元排序模型EDRM。EDRM通过它们的单词和实体注释来表示查询和文档。知识图谱的语义被集成在其实体的分布式表示中,而排名由基于交互的神经网络进行。这两个组件是端到端学习的,使EDRM成为面向实体的搜索和神经信息检索的自然组合。我们在商业搜索日志上的实验证明了EDRM的有效性。我们的分析表明,知识图谱语义显着提高神经排序模型的泛化能力。
2018-06-03 cs.IR
NeuType: A Simple and Effective Neural Network Approach for Predicting Missing Entity Type Information in Knowledge Bases
University of Stavanger(斯塔万格大学)
知识库存储关于实体的语义类型的信息,这些信息可以在一系列信息访问任务中使用。然而,由于每天都有新的实体出现,这些信息往往不完整。我们解决的任务,自动分配类型的实体在知识库中的类型分类法。具体来说,我们提出了两个神经网络架构,它采取简短的实体描述,并可选地,有关实体的信息作为输入。使用DBpedia知识库进行实验评估,我们证明了这些简单的架构产生显着的改进,目前的最先进的。
2019-07-05 cs.AI cs.CL cs.IR
Improving Neural Topic Models using Knowledge Distillation
University of Maryland(马里兰大学)
主题模型通常用于识别人类可解释的主题,以帮助理解大型文档集合。我们使用知识蒸馏来组合概率主题模型和预训练Transformers的最佳属性。我们的模块化方法可以直接应用于任何神经主题模型,以提高主题质量,我们使用两个具有不同架构的模型来证明这一点,从而获得最先进的主题一致性。我们表明,我们的适应性强的框架不仅提高了所有估计的主题的聚合性能,正如通常报道的那样,而且在对齐主题的头对头比较中。
2020-10-05 cs.CL cs.IR cs.LG
Hierarchical Neural Network for Extracting Knowledgeable Snippets and Documents
Chinese Academy of Sciences(中国科学院);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
在这项研究中,我们专注于从Web语料库中提取知识片段和知识文档注释,包括来自社交媒体和自媒体的文档。非正式地说,知识性片段是指描述概念、实体属性或实体之间关系的文本,而知识性文档是指具有足够知识性片段的文档。这些知识片段和文档可以在多种应用中提供帮助,例如知识库构建和面向知识的服务。以往的研究都是使用基于模式的方法来提取知识片段。在这里,我们提出了基于语义的方法来完成这项任务。具体来说,一个基于CNN的模型开发,同时提取知识的片段和注释知识的文件。此外,CNN的“低级共享,高级拆分”结构被设计用于处理来自不同内容域的文档。与构建多个特定领域的CNN相比,该联合模型不仅大大节省了训练时间,而且明显提高了预测精度。在微信公众平台的真实数据集上验证了该方法的优越性。
2018-08-22 cs.AI cs.CL cs.IR
Linear Item-Item Model with Neural Knowledge for Session-based Recommendation
提出LINK模型,融合线性与神经知识于统一框架,通过自蒸馏和知识蒸馏提升会话推荐性能,在六个数据集上显著优于现有线性模型,并大幅降低推理成本。
2025-04-21 cs.IR
OneEdit: A Neural-Symbolic Collaboratively Knowledge Editing System
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团)
针对符号知识图谱可扩展性差、大语言模型知识操作不精确的问题,提出神经符号协同知识编辑系统OneEdit,通过三模块实现自然语言知识管理,在新数据集上取得优异性能。
2024-09-09 cs.AI cs.CL cs.DB
Augmenting Knowledge Graph Hierarchies Using Neural Transformers
Adobe Inc.(奥多比公司)
本研究针对知识图谱层级增强问题,利用大语言模型结合少样本提示、单样本生成及循环生成技术,实现小型领域KG层级的有效增强,大幅提升了意图与颜色类别的层级覆盖率。
2024-04-11 cs.AI cs.CL cs.DL
Improving Neural Ranking via Lossless Knowledge Distillation
我们探索了一种新的视角知识蒸馏(KD)的学习排序(LTR),并介绍了自蒸馏神经排名(SDR),其中学生排名相同的参数,他们的老师。与现有的排名蒸馏工作,追求良好的性能和效率之间的权衡,SDR是能够显着提高排名性能的学生在教师排名,而不增加模型容量。SDR的关键成功因素,它不同于普通的蒸馏技术分类是:(1)一个合适的教师分数转换函数,(2)一个新的列表蒸馏框架。这两种技术都是专门为排名问题而设计的,在现有的知识蒸馏文献中很少研究。SDR基于最先进的神经排名结构,能够将神经排名性能的极限推到最近严格的基准研究之上,并在9个关键指标中的7个指标上显著优于传统的强梯度提升决策树模型,这在文献中尚属首次。除了强有力的实证结果外,我们还从理论上解释了为什么列表蒸馏对神经排名器有效,并提供消融研究来验证SDR框架中关键因素的必要性。
2022-04-06 cs.IR
Neural-Symbolic Reasoning over Knowledge Graph for Multi-stage Explainable Recommendation
推荐系统的最新研究已经将外部知识图谱视为有价值的信息来源,不仅可以产生更好的推荐,还可以解释选择推荐项目的原因。基于规则的符号化方法在知识图谱上提供了透明的推理过程,但缺乏对未知示例的泛化能力,而深度学习模型增强了强大的特征表示能力,但难以解释。此外,由于寻路的搜索空间巨大,在大规模知识图谱上的直接推理可能是昂贵的。我们通过一种新的粗到细的神经符号推理方法,称为NSER的方法来解决这个问题。首先生成粗粒度的解释以捕获抽象的用户行为模式,然后生成细粒度的解释,并伴随显式的推理路径和从知识图谱中推断出的推荐。我们在四个真实世界的数据集上进行了广泛的实验,并观察到与最先进的方法相比,推荐性能的大幅提高,以及不同粒度的更多样化的解释。
2020-07-26 cs.IR
JPEC: A Novel Graph Neural Network for Competitor Retrieval in Financial Knowledge Graphs
JPMorgan Chase & Co.(摩根大通公司)
本研究提出图神经网络模型JPEC,利用一阶和二阶节点邻近性及关键特征,在金融知识图谱中有效识别竞争对手,并超越多数现有模型。
2024-11-05 cs.AI cs.CE cs.IR
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems
Stanford University(斯坦福大学);Meituan-Dianping Group(美团点评集团);Hong Kong Polytechnic University(香港理工大学)
知识图谱捕获一组实体或项目之间的结构化信息和关系。因此,知识图谱代表了一个有吸引力的信息源,可以帮助改善推荐系统。然而,该领域中的现有方法依赖于手动特征工程,并且不允许端到端训练。在这里,我们提出了知识感知的图神经网络与标签平滑正则化(KGNN-LS),以提供更好的建议。从概念上讲,我们的方法计算用户特定的项目嵌入,首先应用一个可训练的功能,确定重要的知识图谱的关系,为给定的用户。通过这种方式,我们将知识图谱转换为用户特定的加权图,然后应用图神经网络来计算个性化的项目嵌入。为了提供更好的归纳偏差,我们依赖于标签平滑性假设,该假设假定知识图谱中的相邻项可能具有相似的用户相关性标签/分数。标签平滑提供了正则化的边缘权重,我们证明了它是等价于一个标签传播计划的图。我们还开发了一个高效的实现,表现出强大的可扩展性方面的知识图谱的大小。在四个数据集上的实验表明,我们的方法优于最先进的基线。KGNN-LS还在用户-项目交互稀疏的冷启动场景中实现了强大的性能。
2019-06-14 cs.IR cs.LG stat.ML