Walk this Way! Entity Walks and Property Walks for RDF2vec
SAP SE（SAP公司）；University of Mannheim（曼海姆大学）
RDF 2 vec是一种知识图嵌入机制，它首先通过执行随机游走从知识图谱中提取序列，然后将这些序列馈送到词嵌入算法word 2 vec中，用于计算实体的矢量表示。在这张海报中，我们介绍了两种新的步行提取方法，即e-walks和p-walks，它们分别强调实体的结构或邻域，从而允许创建关注相似性或相关性的嵌入。通过将行走策略与顺序感知和经典RDF 2 vec以及CBOW和skip-gram word 2 vec嵌入相结合，我们对总共12个RDF 2 vec变体进行了初步评估。
2022-04-05 cs.AI cs.LG
Entity Alignment with Reliable Path Reasoning and Relation-Aware Heterogeneous Graph Transformer
South China Normal University（华南师范大学）；Hanshan Normal University（韩山师范学院）
实体对齐是从不同的知识图谱中寻找具有相同意义的实体的一种方法，已引起学术界和工业界的广泛关注。知识库中实体之间存在大量的多步关系路径，反映了实体之间的语义关系。然而，现有的方法很少考虑路径信息，因为不是所有的自然路径有利于EA判断。在本文中，我们提出了一个更有效的实体对齐框架，RPR-RHGT，它集成了关系和路径结构信息，以及在知识库中的异构信息。令人印象深刻的是，一个初始的可靠路径推理算法的发展，产生的路径有利于EA任务的关系结构的KG，这是第一个算法在文献中成功地使用不受限制的路径信息。此外，为了有效地捕捉实体邻域中的异构特征，设计了一个关系感知的异构图转换器Transformer来建模KG的关系和路径结构。在三个知名数据集上的大量实验表明，RPR-RHGT显著优于11种最先进的方法，在Hits@1上超过最佳性能基线高达8.62%。我们还展示了它在不同比例的训练集和更硬的数据集上比基线更好的性能。
2022-08-07 cs.AI cs.CL cs.LG
EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs
Leipzig University（莱比锡大学）
实体解析是集成不同知识图谱以识别涉及同一现实世界对象的实体的组成部分。一个有前途的方法是使用图嵌入ER，以确定基于其图形邻域的相似性的实体的相似性。这种嵌入的相似性计算转化为计算它们在嵌入空间中的距离，这是相对简单的。然而，以前的工作表明，单独使用图嵌入是不足以实现高ER质量。因此，我们提出了一个更全面的ER方法称为EAGER（嵌入辅助知识图谱实体解析）的知识图谱，灵活地利用图嵌入和属性值的相似性内的监督机器学习方法。我们在23个具有不同大小和结构的知识图谱的基准数据集上评估我们的方法，并使用假设检验来确保我们的结果的统计显著性。此外，我们比较我们的方法与国家的最先进的ER解决方案，我们的方法产生竞争力的结果表为导向的ER问题和浅知识图谱，但更好的结果更深的知识图谱。
2021-01-15 cs.DB cs.LG
Neighborhood Matching Network for Entity Alignment
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；School of Computing, University of Leeds（利兹大学计算学院）
知识图谱之间的结构异质性是实体对齐的一个突出挑战。本文提出了邻域匹配网络（NMN），一种新的实体对齐框架，以解决结构异构性的挑战。NMN估计实体之间的相似性，以捕获拓扑结构和邻域差异。它提供了两个创新组件，用于更好地学习实体对齐的表示。它首先使用一种新的图采样方法来提取每个实体的判别邻域。然后采用交叉图邻域匹配模块对给定实体对的邻域差异进行联合编码。这种策略允许NMN有效地构建面向匹配的实体表示，同时忽略对对齐任务有负面影响的噪声邻居。在三个实体对齐数据集上进行的大量实验表明，NMN可以在更困难的情况下很好地估计邻域相似性，并显着优于12个以前的最先进的方法。
2020-05-12 cs.CL
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University（清华大学）
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法，首先学习的知识图谱的表示，然后通过测量实体嵌入之间的相似性进行实体对齐。然而，由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题，它们未能很好地利用关系语义信息。为了解决这个问题，我们提出了关系知识蒸馏实体对齐（RKDEA），图卷积网络（GCN）为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示，考虑图的结构，并通过知识蒸馏将关系语义信息纳入GCN。然后，我们引入了一种新的自适应机制来传递关系知识，从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
MR-GNN: Multi-Resolution and Dual Graph Neural Network for Predicting Structured Entity Interactions
预测结构化实体之间的相互作用是许多任务的核心，例如药物方案和新材料设计。近年来，图神经网络已成为引人注目的。它们将结构化实体表示为图，然后使用图卷积操作从每个单独的图中提取特征。然而，这些方法具有一些局限性：i）它们的网络仅从固定大小的子图结构中提取特征（即，固定大小的感受野），并且忽略不同大小的子结构中的特征，以及ii）通过独立地考虑每个实体来提取特征，这可能不能有效地反映两个实体之间的交互。为了解决这些问题，我们提出了MR-GNN，一个端到端的图神经网络，具有以下特点：i）它使用基于多分辨率的架构，从每个节点的不同邻域中提取节点特征，ii）它使用双图状态长短期记忆网络（L-STM）来总结每个图的局部特征，并提取成对图之间的交互特征。在真实世界数据集上进行的实验表明，MR-GNN改进了最先进方法的预测。
2019-05-23 cs.LG stat.ML
Relation-Aware Neighborhood Matching Model for Entity Alignment
Peking University（北京大学）
实体对齐是知识融合的重要步骤，其目的是将不同知识图谱中具有相同意义的实体连接起来。现有的研究主要集中在学习嵌入的实体，利用结构信息的KG实体对齐。这些方法可以聚集来自相邻节点的信息，但也可能带来来自邻居的噪声。最近，一些研究人员试图成对比较相邻节点以增强实体对齐。然而，他们忽略了实体之间的关系，这也是重要的邻域匹配。此外，现有的方法没有注意到实体对齐和关系对齐之间的积极互动。为了解决这些问题，我们提出了一种新的感知实体对齐的邻域匹配模型RNM。具体来说，我们建议利用邻域匹配来增强实体对齐。除了在匹配邻域时比较相邻节点外，我们还尝试从连通关系中挖掘有用的信息。此外，设计了一个迭代框架，以半监督的方式利用实体对齐和关系对齐之间的积极互动。在三个真实数据集上的实验结果表明，该模型RNM的性能优于现有的方法。
2020-12-15 cs.AI cs.CL
Simple and Effective Few-Shot Named Entity Recognition with Structured Nearest Neighbor Learning
ASAPP Inc.（ASAPP公司）；Pennsylvania State University（宾夕法尼亚州立大学）
提出了一种基于最近邻学习和结构化推理的简单Few-Shot命名实体识别系统。我们的系统使用在源域上训练的监督NER模型作为特征提取器。在几个测试域中，我们证明了在这个特征空间中的最近邻分类器比标准的元学习方法更有效。我们进一步提出了一种廉价但有效的方法来捕获实体标签之间的标签依赖关系，而无需昂贵的CRF训练。我们表明，我们的结构化解码与最近邻学习相结合的方法在标准的Few-Shot NER评估任务上实现了最先进的性能，通过$6\%$将F1分数提高到$16\%$绝对点，超过了先前基于元学习的系统。
2020-10-06 cs.CL
Similarity-based Memory Enhanced Joint Entity and Relation Extraction
Alphamoon Ltd.（Alphamoon有限公司）；Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
针对文档级联合实体与关系抽取中现有序列多任务方法忽略任务间复杂关联的问题，提出带双向类记忆依赖的多任务学习框架，在BioCreative V CDR数据集上取得SOTA结果。
2023-07-14 cs.CL cs.LG
Entities as Experts: Sparse Memory Access with Entity Supervision
Google AI（谷歌人工智能）；Google Research（谷歌研究院）；The University of Austin at Texas（得克萨斯大学奥斯汀分校）
我们专注于捕获声明性知识的语言模型的学习参数中的实体的问题。我们引入了一个新的模型-实体作为专家（EAE）-可以访问一段文本中提到的实体的不同记忆。与以前将实体知识集成到序列模型中的努力不同，EAE的实体表示直接从文本中学习。我们表明，EAE的学习表示捕捉足够的知识来回答TriviaQA的问题，如“谁博士的恶棍已由罗杰德尔加多，安东尼Ainley，埃里克罗伯茨？“，性能优于编码器-生成器Transformer模型，其参数为10倍。根据LAMA知识探针，EAE包含更多的事实知识比类似大小的BERT，以及以前的方法，整合实体知识的外部来源。由于EAE关联参数与特定的实体，它只需要访问一小部分的参数在推理时间，我们表明，正确的识别和实体的表示是必不可少的EAE的性能。
2020-10-06 cs.CL cs.LG
mucAI at WojoodNER 2024: Arabic Named Entity Recognition with Nearest Neighbor Search
Technical University of Munich（慕尼黑工业大学）；Helwan University of Cairo（开罗赫尔万大学）
本文提出 Arabic KNN-NER，通过结合微调模型与基于缓存训练数据的 KNN 标签概率分布，在 WojoodNER 2024 共享任务中实现阿拉伯语细粒度扁平实体识别，并以 91% 测试集成绩位居榜首。
2024-08-07 cs.CL cs.LG
NNKGC: Improving Knowledge Graph Completion with Node Neighborhoods
The University of Tokyo（东京大学）
提出节点邻域增强框架NNKGC，利用图神经网络对头实体多跳邻域建模并引入边链接预测任务，有效改进了知识图谱补全。
2023-10-19 cs.CL
Research on Joint Representation Learning Methods for Entity Neighborhood Information and Description Information
School of Information Science and Engineering, Henan University of Technology（河南工业大学信息科学与工程学院）；Graduate School, Henan University of Technology（河南工业大学研究生院）
针对程序设计课程知识图谱嵌入性能差的问题，提出结合实体邻域信息和描述信息的联合表示学习模型，通过图注意力网络和BERT-WWM模型提取特征，实验证明其优于基线模型。
2023-09-15 cs.AI cs.CL
A Unified Encoder-Decoder Framework with Entity Memory
University of Notre Dame（圣母大学）；Microsoft Cognitive Services Research（微软认知服务研究院）
本文提出EDMem框架，将实体知识作为潜在表示存入记忆并随编解码器在Wikipedia上预训练，辅以三种实体约束解码方法，在实体密集型问答与生成任务上优于两类基线模型。
2023-04-24 cs.CL
MZET: Memory Augmented Zero-Shot Fine-grained Named Entity Typing
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Google Research（谷歌研究院）
命名实体类型化（Named Entity Typing，NET）是一种在上下文中为实体指定特定语义类型的分类任务。然而，随着实体类型的规模和粒度的不断增大，以往的研究很少关注新出现的实体类型。在本文中，我们提出了MZET，一种新的内存增强的FNET（细粒度NET）模型，以处理不可见的类型在一个zero-shot的方式。MZET结合了字符级，单词级和上下文级信息来学习实体提及表示。此外，MZET将语义和层次结构纳入实体类型表示中。最后，通过记忆组件，该模型之间的关系实体提到和实体类型，MZET转移知识从看到的实体类型的zero-shot的。在三个公共数据集上进行的大量实验表明，MZET获得了出色的性能，超过了最先进的FNET神经网络模型，Micro-F1和Macro-F1得分提高了7%。
2020-11-02 cs.CL
Mention Memory: incorporating textual knowledge into Transformers through entity mention attention
University of Southern California（南加利福尼亚大学）；Google（谷歌）；Google Research（谷歌研究院）
诸如开放域问答之类的自然语言理解任务通常需要从多个源检索和吸收事实信息。我们建议通过将大型文本语料库的半参数表示集成到Transformer模型中作为事实知识的来源来解决这个问题。具体来说，我们的方法表示知识与“提及记忆”，一个表的密集向量表示的每一个实体中提到的语料库。所提出的模型- TOME -是一个Transformer，它通过内部记忆层访问信息，其中输入通道中提到的每个实体都参与提到记忆。这种方法支持在单个Transformer模型中对许多不同的信息源进行合成和推理。在使用1.5亿次维基百科提及的记忆的实验中，TOME在几个开放领域知识密集型任务上实现了强大的性能，包括声明验证基准HoVer和FEVER以及几个基于实体的QA基准。我们还表明，该模型学习参加信息提及没有任何直接的监督。最后，我们证明了该模型可以推广到新的看不见的实体更新的内存，而无需再训练。
2022-04-19 cs.AI cs.CL cs.LG
MEME: Multi-entity & Evolving Memory Evaluation
KAIST AI（韩国科学技术院人工智能实验室）；Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心）；NAVER AI Lab（NAVER人工智能实验室）
研究探讨多实体与演进内存系统在持续环境中的表现，发现默认配置下所有系统在依赖推理上表现不佳，仅文件型代理配合Claude Opus 4.7能部分改善，但成本高且不实用。
2026-05-12 cs.CL cs.LG
Towards Coherent and Consistent Use of Entities in Narrative Generation
University of Edinburgh（爱丁堡大学）；DeepMind（深度思维）
大型预训练的语言模型（LM）在生成长而流畅的文本方面表现出了令人印象深刻的能力;然而，很少或根本没有分析它们保持实体连贯性和一致性的能力。在这项工作中，我们专注于叙事生成的最终任务，并系统地分析生成的故事中的长期实体连贯性和一致性。首先，我们提出了一套自动度量实体使用方面的模型性能。考虑到这些指标，我们量化了当前LM的局限性。接下来，我们建议通过使用辅助实体相关丢失来引导对存储器的读取和写入，以端到端的方式用动态实体存储器来增强预先训练的LM。我们表明，动态实体内存增加实体的一致性，根据自动和人类的判断，并有助于保存实体相关的信息，特别是在有限的上下文窗口的设置。最后，我们还验证了我们的自动指标与人类评级相关，并作为生成的故事质量的良好指标。
2022-02-03 cs.CL cs.LG
Unsupervised Robust Cross-Lingual Entity Alignment via Neighbor Triple Matching with Entity and Relation Texts
Yonsei University（延世大学）；Korea University（高丽大学）
针对跨语言实体对齐中获取标签困难及现有无监督方法的局限，本文提出ERAlign，通过邻居三元组匹配联合实体和关系文本语义，实现无监督鲁棒对齐，提升精度并增强对噪声的抵抗能力。
2025-02-12 cs.AI cs.CL
$k$NN-NER: Named Entity Recognition with Nearest Neighbor Search
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
受NLP~ \citep{khandelwal2019generalization,khandelwal2020nearest,meng2021gnn}中检索增强方法的最新进展的启发，本文提出了一个$k$最近邻NER（$k$ NN-NER）框架，该框架通过分配从训练集中检索到的$k$最近邻来增强实体标签的分布。这种策略使模型更有能力处理长尾情况，以及更好的少样本学习能力。$k$ NN-NER在训练阶段不需要额外的操作，并且通过将$k$最近邻搜索插入到普通NER模型中，$k$ NN-NER始终优于其普通模型：我们在中国微博数据集上实现了最先进的F1得分72.03（+1.25），并在各种广泛使用的NER基准测试中改进了结果。此外，我们表明，$k$ NN-NER可以达到可比的结果与香草NER模型的训练数据量减少40\%。代码可在\url{https://github.com/ShannonAI/KNN-NER}获得。
2022-03-31 cs.CL
PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search
Fudan University（复旦大学）
本文提出PromptNER，一种基于k近邻搜索的小样本命名实体识别提示方法，通过包含实体类别信息的提示构建标签原型，实现仅用支持集微调，在Few-NERD和CrossNER数据集上优于现有方法。
2023-05-20 cs.CL
MOLEMAN: Mention-Only Linking of Entities with a Mention Annotation Network
Google Research（谷歌研究院）
我们提出了一个基于实例的最近邻实体链接方法。与大多数先前的实体检索系统，表示每个实体与一个单一的向量相比，我们建立了一个上下文提到编码器，学习放置类似的提到同一实体更接近的向量空间比提到不同的实体。这种方法允许实体的所有提及充当“类原型”，因为推理涉及从训练集中的标记实体提及的全集中检索并应用最近提及邻居的实体标签。我们的模型在来自维基百科超链接的提及对的大型多语言语料库上进行训练，并对7亿次提及的索引进行最近邻推理。它更容易训练，给出更多可解释的预测，并在两个多语言实体链接基准上优于所有其他系统。
2022-07-22 cs.CL cs.IR cs.LG
Chinese Named Entity Recognition Augmented with Lexicon Memory
Fudan University（复旦大学）
受认知科学中内容可寻址检索概念的启发，本文提出了一种新的基于片段的模型，该模型结合了基于词汇的记忆，将字符级和词级特征相结合，为可能的候选名字生成更好的特征表示。据观察，定位实体名称的边界信息是有用的，以便将它们分类到预定义的类别。引入位置相关的特征，包括前缀和后缀的分布式表示形式的NER。基于词汇的记忆被用来帮助生成这样的位置依赖的功能和处理的问题，词汇表外的话。实验结果表明，所提出的模型，称为LEMON，达到了国家的最先进的四个数据集。
2020-06-20 cs.CL
Recurrent Entity Networks with Delayed Memory Update for Targeted Aspect-based Sentiment Analysis
The University of Melbourne（墨尔本大学）；School of Computing and Information Systems（计算与信息系统学院）
虽然神经网络已被证明可以实现令人印象深刻的结果，基于方面的情感分析（TABSA）-提取细粒度的意见极性w.r.t.预先定义的一组方面-仍然是一项艰巨的任务。出于最近的进展，内存增强模型的机器阅读，我们提出了一种新的架构，利用外部的“内存链”与延迟的内存更新机制来跟踪实体。在TABSA任务中，所提出的模型比最先进的方法（包括使用外部知识库的方法）有了很大的改进。
2018-04-30 cs.CL
EnSIMem: Entity-Structured Indexing for Long-Term Agent Memory
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
EnSIMem通过实体结构化索引和情节级来源，为长期智能体记忆提供可靠基础，实现高准确率与高效在线推理。
2026-09-29 cs.AI cs.CL
The Referential Reader: A Recurrent Entity Network for Anaphora Resolution
The University of Melbourne（墨尔本大学）；Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
我们提出了一种新的架构，用于存储和访问实体提到在线文本处理。在读取文本时，实体引用被标识，并且可以通过更新或删除固定长度存储器中的单元来存储。更新操作意味着与存储在同一单元格中的其他提及的共引用;重写操作导致这些提及被遗忘。通过将存储器操作编码为可微分门，可以使用监督的照应解析目标以及补充语言建模目标来端到端地训练模型。对代词-名字回指数据集的评估表明，纯增量文本处理具有很强的性能。
2019-07-09 cs.CL cs.LG
Improving Named Entity Recognition in Tor Darknet with Local Distance Neighbor Feature
Universidad de León（莱昂大学）
在嘈杂的用户生成的文本中识别名称实体是一项困难的任务，通常通过纳入地名录等外部信息资源来加强。然而，地名录是针对特定任务的，建造和维护费用昂贵。本文采用并改进了Aguilar等人的方法，提出了一种新的功能，称为本地距离邻居，它取代地名录。我们在W-NUT-2017数据集上测试了新方法，获得了命名实体的集团，人员和产品类别的最新结果。接下来，我们将851个手动标记的样本添加到W-NUT-2017数据集中，以说明Tor Darknet中与武器和毒品销售相关的命名实体。最后，我们的提案在这个扩展数据集上实现了实体和表面F1分数分别为52.96%和50.57%，证明了它对执法机构检测Tor隐藏服务中的命名实体的有用性。
2020-05-18 cs.CL cs.CV
A Trigger-Sense Memory Flow Framework for Joint Entity and Relation Extraction
Zhejiang University（浙江大学）
联合实体和关系抽取框架构建了一个统一的模型来同时执行实体识别和关系抽取，它可以利用两个任务之间的依赖性来减轻管道模型所遭受的错误传播问题。当前对联合实体和关系抽取的努力集中于通过参数共享、联合解码或其他自组织技巧（例如，建模为半马尔可夫决策过程，投射为多轮阅读理解任务）。然而，仍有两个问题摆在桌面上。首先，大多数方法所利用的交互仍然是弱的和单向的，这是无法模拟两个任务之间的相互依赖。其次，大多数方法都忽略了关系触发，这有助于解释为什么人类会在句子中提取关系。它们对于关系抽取是必不可少的，但却被忽视了。为此，我们提出了一个触发感记忆流框架（TriMF）的联合实体和关系抽取。我们建立了一个记忆模块来记忆实体识别和关系抽取任务中学习到的类别表示。在此基础上，设计了一种多级内存流注意力机制，以增强实体识别和关系抽取之间的双向交互。此外，在没有任何人类注释的情况下，我们的模型可以通过触发传感器模块增强句子中的关系触发信息，这提高了模型的性能，并使模型预测具有更好的解释。实验结果表明，我们提出的框架实现了最先进的结果，提高了关系F1在SciERC上的52.44%（+3.2%），在ACE05上的66.49%（+4.9%），在CoNLL04上的72.35%（+0.6%）和在ADE上的80.66%（+2.3%）。
2021-04-16 cs.CL
Dynamic Span Interaction and Graph-Aware Memory for Entity-Level Sentiment Classification
Department of Computer Science and Engineering, Bangladesh University of Business and Technology（计算机科学与工程系，孟加拉国商业技术大学）
本文提出 SpanEIT 框架，通过动态片段交互和图感知记忆机制建模实体与情感短语关系，在 FSAD、BARU 和 IMDB 数据集上准确率和 F1 分数优于基线。
2025-10-12 cs.CL
Reading Comprehension using Entity-based Memory Network
Kyoto University（京都大学）
本文提出基于实体的记忆网络，通过维护实体状态记忆池来处理细粒度信息和复杂关系，并在多个问答任务上取得满意效果。
2017-02-01 cs.AI cs.CL
Entity-Memory Graph Retrieval Improves Evidence Coverage in Long-Conversation Question Answering
Tsinghua University（清华大学）
该研究提出实体记忆图检索方法，在10个LoCoMo对话的1986个问题上，使top-k=25的证据召回率提升约4.74个百分点，实现检索覆盖增益。
2026-08-31 cs.CL
Context-aware Entity Typing in Knowledge Graphs
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）
知识图实体分类的目的是推断知识图谱中实体的缺失类型，这是一个重要但尚未充分研究的问题。本文提出了一种新的方法，该任务利用实体的上下文信息。具体来说，我们设计了两种推理机制：i）N2 T：独立地使用实体的每个邻居来推断其类型; ii）Agg 2 T：聚合实体的邻居来推断其类型。这些机制将产生多个推理结果，并使用指数加权池方法来生成最终的推理结果。此外，我们提出了一种新的损失函数，以减轻训练过程中的假阴性问题。两个真实世界的KG上的实验证明了我们的方法的有效性。本文的源代码和数据可以从https://github.com/CCIIPLab/CET获得。
2021-09-16 cs.CL
OVEL: Large Language Model as Memory Manager for Online Video Entity Linking
Fudan University（复旦大学）；East China Normal University（华东师范大学）；iFLYTEK CO LTD（讯飞股份有限公司）；Shanghai Institute of AI for Education（上海人工智能教育研究院）
提出在线视频实体链接任务 OVEL，构建直播带货数据集 LIVE 与兼顾时效性、鲁棒性和准确性的指标，并通过 LLM 管理记忆块及实体检索提升链接效果。
2024-03-03 cs.CL
StarGraph: Knowledge Representation Learning based on Incomplete Two-hop Subgraph
Qihoo 360 AI Research（奇虎360人工智能研究院）
传统的知识图谱（KG）表示学习算法将每个实体映射到唯一的嵌入向量，忽略了邻域中包含的丰富信息。提出了一种利用大规模知识图谱的邻域信息获取实体表示的方法--星图法。该算法首先为每个目标节点生成一个不完整的两跳邻域子图，然后利用改进的自注意网络对该子图进行处理，得到目标节点的实体表示，以代替传统方法中的实体嵌入。我们在ogbl-wikikkg 2上实现了SOTA性能，并在fb 15 k-237上获得了有竞争力的结果。实验结果证明了StarGraph在参数上的有效性，并对ogbl-wikikikg 2进行了改进，证明了其在大规模知识图谱上的表示学习的有效性。该代码现已在\url{https://github.com/hzli-ucas/StarGraph}上提供。
2023-01-03 cs.AI cs.CL cs.LG
Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon.com, Inc.（亚马逊公司）
提出基于实体的传记框架，通过视觉身份链接分组长视频中同一实体的观察，提升跨事件问答性能，在EgoLifeQA上达72.0%准确率。
2026-09-30 cs.AI cs.CL cs.CV
SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical Text Mining
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；DXY（丁香园）；Shanghai Research Institute for Intelligent Autonomous Systems（上海自主智能无人系统研究中心）
近年来，通过在预训练语言模型中加入知识事实来提高其语言理解能力，使得预训练语言模型的性能得到了显著提高。对于医学领域来说，由于医学术语数量庞大，关系复杂，在文本中难以理解，因此背景知识源就显得尤为重要。在这项工作中，我们介绍了SMedBERT，一个医疗PLM上训练的大规模医学语料库，纳入深结构化语义知识从邻居的链接实体。在SMedBERT中，提到邻居混合注意力被提出来学习异构实体信息，注入实体类型的语义表示到同构的相邻实体结构。除了作为外部特征的知识整合外，我们还提出将知识图谱中链接实体的邻居作为文本提及的额外全局上下文，允许它们通过共享邻居进行通信，从而丰富它们的语义表示。实验表明，SMedBERT显着优于强基线在各种知识密集型的中国医疗任务。它还提高了其他任务的性能，如问答，问题匹配和自然语言推理。
2021-08-20 cs.CL
Contrast then Memorize: Semantic Neighbor Retrieval-Enhanced Inductive Multimodal Knowledge Graph Completion
College of Computer Science\ , TMCC, TBI Center\ University Tianjin China；School of Software\ University Tianjin China；College of Computer Science\ , TMCC, TBI Center\ University；School of Software\ University
本文提出归纳式多模态知识图谱补全框架CMR，通过跨模态对比学习与语义邻居记忆检索，利用视觉语义信息增强对新实体的链接预测。
2024-07-03 cs.CL cs.MM
Informed Multi-context Entity Alignment
The University of Queensland（昆士兰大学）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Hong Kong University of Science and Technology（香港科技大学）
实体对齐是集成多源知识图谱的关键步骤。先前的实体对齐尝试探索了不同的KG结构，如基于邻域和基于路径的上下文，以学习实体嵌入，但它们在捕获多上下文特征方面受到限制。此外，大多数方法直接利用嵌入相似度来确定实体对齐，而不考虑实体和关系之间的全局交互。在这项工作中，我们提出了一个知情的多上下文实体对齐（IMEA）模型来解决这些问题。特别是，我们引入了Transformer来灵活地捕获关系，路径和邻域上下文，并设计整体推理来估计对齐概率的基础上嵌入相似性和关系/实体功能。从整体推理中获得的对齐证据通过所提出的软标签编辑被进一步注入回Transformer中，以通知嵌入学习。在多个基准数据集上的实验结果表明，与现有的最先进的实体对齐方法相比，我们的IMEA模型的优越性。
2022-01-02 cs.AI cs.CL
Multi-Modal Knowledge Graph Transformer Framework for Multi-Modal Entity Alignment
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高精尖创新中心）
针对多模态知识图谱实体对齐中多源信息不对齐的问题，提出MoAlign框架，通过层次化自注意力块和实体类型前缀注入整合邻居、多模态属性及类型信息，在基准数据集上取得领先性能。
2023-10-10 cs.CL
E.T.: Entity-Transformers. Coreference augmented Neural Language Model for richer mention representations via Entity-Transformer blocks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在过去的十年中，神经语言建模领域发生了巨大的变化，通过使用Transformer架构开发了新的模型。然而，由于存储器约束和增加的计算复杂性，即使这些模型也难以对长序列进行建模。训练数据上的共指注释可以提供远远超出这种语言模型的建模限制的上下文。在本文中，我们对神经语言模型中使用的Transformer-block架构进行了扩展，特别是在GPT 2中，以便在训练过程中加入实体注释。我们的模型，GPT 2 E，扩展了Transformer层架构的GPT 2的multity-transformers，一个架构，旨在处理共指信息时，存在。为此，我们实现了更丰富的实体提及的表示，与微不足道的培训成本。我们在CoNLL 2012和LAMBADA数据集上展示了GPT 2和GPT 2 E之间的比较模型性能，以及实体表示的关键差异及其在下游任务（如命名实体识别）中的影响。此外，我们的方法可以通过大多数基于transformer的语言模型。
2020-11-10 cs.CL cs.LG
Autoregressive Entity Retrieval
University of Amsterdam（阿姆斯特丹大学）；Facebook AI Research（脸书人工智能研究实验室）；ENS, PSL University（巴黎高等师范学院、PSL大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
实体是我们如何表示和聚合知识的核心。例如，诸如维基百科的百科全书由实体（例如，每个维基百科条目一个）。在给定查询的情况下检索这样的实体的能力对于诸如实体链接和开放域问答之类的知识密集型任务是基本的。当前的方法可以被理解为原子标签之间的分类器，每个实体一个。它们的权重向量是通过对实体Meta信息（例如其描述）进行编码而产生的密集实体表示。这种方法有几个缺点：（i）上下文和实体亲和力主要通过矢量点积来捕获，可能会丢失细粒度的交互;（ii）在考虑大型实体集时，需要大量的内存占用来存储密集表示;（iii）在训练时必须对一组适当的硬负数据进行二次采样。在这项工作中，我们提出了GENRE，第一个系统，检索实体生成其唯一的名称，从左到右，令牌令牌的自回归方式。这缓解了上述技术问题，因为：（i）自回归公式直接捕获上下文和实体名称之间的关系，有效地交叉编码两者;（ii）存储器占用大大减少，因为我们的编码器-解码器架构的参数随词汇大小而不是实体计数缩放;（iii）计算softmax损失而不对负数据进行二次采样。我们对20多个数据集进行了实体消歧、端到端实体链接和文档检索任务的实验，在使用竞争系统内存占用的一小部分的同时，实现了新的最先进或非常有竞争力的结果。最后，我们证明了新的实体可以通过简单地指定它们的名称来添加。代码和预先训练的模型在https://github.com/facebookresea…
2021-03-24 cs.CL cs.IR cs.LG
Enhancing Knowledge Graph Completion with Entity Neighborhood and Relation Context
University of Science and Technology of China（中国科学技术大学）；Tencent Company（腾讯公司）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
提出KGC-ERC框架，融合实体邻域和关系上下文增强生成式语言模型的知识图谱补全，并引入采样策略，在多个数据集上优于或匹配现有最优方法。
2025-03-29 cs.AI cs.CL cs.DB
Facing Changes: Continual Entity Alignment for Growing Knowledge Graphs
Nanjing University（南京大学）；Tencent Inc（腾讯公司）
实体对齐是知识图谱集成中一项基本而又重要的技术。多年来，实体联盟的研究一直停留在假设幼儿园是静态的，这忽视了现实世界的幼儿园的增长的性质。随着幼儿园的成长，以前的对齐结果面临着需要重新访问，而新的实体对齐等待被发现。在本文中，我们提出并深入到一个现实的尚未探索的设置，称为持续的实体对齐。为了避免在新的实体和三元组出现时重新训练整个KG上的整个模型，我们提出了一种用于此任务的持续对齐方法。它基于实体邻接来重建实体的表示，使其能够使用现有的邻居快速和归纳地为新实体生成嵌入。它选择和重放部分预对齐的实体对，训练只有部分的KG，同时提取可信的对齐知识扩充。由于成长中的知识库不可避免地包含不可匹配的实体，与以往的工作不同，所提出的方法采用双向最近邻匹配，以找到新的实体对齐和更新旧的对齐。此外，我们还通过模拟多语言DBpedia的增长来构建新的数据集。大量的实验表明，我们的连续对齐方法是更有效的基线的基础上再培训或归纳学习。
2022-07-23 cs.CL cs.DB
SEG:Seeds-Enhanced Iterative Refinement Graph Neural Network for Entity Alignment
College of Computer；Mathematics Central South University of Forestry；4em College of Computer；Mathematics 4em Central South University of Forestry；3em Department of Computer Science 3em State University of New York 3em New Paltz, New York 12561, USA 4em
针对知识图谱间邻域非同构导致的实体对齐难题，本文提出融合多源数据与迭代种子增强的软标签传播框架SEG，并通过双向加权联合损失提升对齐性能。
2024-10-28 cs.AI cs.CL
Tracking the World State with Recurrent Entity Networks
Facebook AI Research（Facebook人工智能研究院）；Courant Institute, New York University（纽约大学库朗数学科学研究所）
我们引入了一个新的模型，递归实体网络（EntNet）。它配备了一个动态的长期记忆，使它能够在接收新数据时保持和更新世界状态的表示。对于语言理解任务，它可以在阅读文本时即时推理，而不仅仅是像记忆网络那样需要回答问题或做出响应时（Sukhbaatar等人，2015）。类似于神经图灵机或可微分神经计算机（Graves等人，2014; 2016）它保持固定大小的内存，并可以学习执行基于位置和内容的读写操作。然而，与这些模型不同的是，它有一个简单的并行架构，其中几个内存位置可以同时更新。EntNet在bAbI任务上设置了一个新的最先进的状态，并且是第一个解决10 k训练样本设置中所有任务的方法。我们还证明了它可以解决需要大量支持事实的推理任务，其他方法无法解决，并且可以概括其训练范围。它也可以实际用于大规模数据集，如儿童图书测试，在那里它获得了有竞争力的性能，在一个单一的通行证阅读的故事。
2017-05-10 cs.CL
Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）
知识图谱嵌入的目的是用低维向量对实体和关系进行建模。大多数以前的方法要求在训练期间应该看到所有实体，这对于每天都有新实体出现的真实世界知识图谱是不切实际的。最近在这个问题上的努力建议结合传统的实体和关系嵌入来训练邻域聚合器，这可以帮助通过它们现有的邻居来归纳地嵌入新的实体。然而，他们的邻居聚集器忽略了一个实体的邻居的无序和不平等的性质。为此，我们总结了所需的属性，可能导致有效的邻域聚合器。我们还介绍了一种新的聚合器，即逻辑注意力网络（LAN），它通过聚合邻居与规则和基于网络的注意力权重来解决这些属性。通过与传统聚合器在两个知识图谱完成任务上的比较，我们实验验证了LAN在所需属性方面的优越性。
2020-10-04 cs.AI cs.CL
Entity-Collision: A Stratified Protocol for Attributing Retrieval Lift in Agent Memory
Independent Researcher（独立研究员）
提出实体碰撞协议，通过控制实体重叠和标签分层，将BM25基线固定，从而将检索提升归因于嵌入器，并在多维度实验中揭示编码器容量并非唯一约束。
2026-05-28 cs.AI cs.CL cs.IR
Corpus-Guided Dual-Path Propagation for Graph Retrieval-Augmented Generation
College of Software Engineering, Southeast University（东南大学软件工程学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of Computer Network and Information Integration (Southeast University) Ministry of Education（东南大学计算机网络与信息集成教育部重点实验室）
NexusRAG通过语料级实体邻域结构引导双路径传播，增强无关系图检索，在多跳问答基准上超越现有方法，证据召回率提升4.2-8.1个百分点。
2026-09-30 cs.CL
Incremental Neural Coreference Resolution in Constant Memory
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
我们调查建模共指消解下一个固定的内存约束，通过扩展增量聚类算法，利用上下文编码器和神经元组件。给定一个新的句子，我们的端到端算法提出并根据从早期文档上下文（如果有的话）创建的显式实体表示对每个提及跨度进行评分。然后，这些跨度用于在被遗忘之前更新实体的表示;我们在整个文档中只保留一组固定的突出实体。在这项工作中，我们成功地转换了一个高性能的模型（Joshi等人，2020年），渐进地减少其内存使用到恒定空间，在OntoNotes 5.0上的F1中只有0.3%的相对损失。
2020-10-07 cs.CL
Neighborhood Mixture Model for Knowledge Base Completion
Macquarie University（麦考瑞大学）；Data61；Australian National University（澳大利亚国立大学）
知识库是许多自然语言处理任务的有用资源，然而，它们远未完成。在本文中，我们定义了一种新的实体表示作为其邻域在知识库中的混合物，并将此技术应用于transE-一个著名的嵌入模型知识库完成。实验结果表明，邻域信息显著改善了TransE模型的结果，在三重分类、实体预测和关系预测任务中，其性能优于其他最先进的嵌入模型。
2017-03-09 cs.AI cs.CL
ANEC: An Amharic Named Entity Corpus and Transformer Based Recognizer
Istanbul Technical University（伊斯坦布尔理工大学）
命名实体识别是一种信息抽取任务，它作为其他自然语言处理任务（如机器翻译、信息检索和问答）的预处理步骤。命名实体识别能够识别专有名称以及开放域文本中的时间和数值表达式。对于阿拉伯语、阿姆哈拉语和希伯来语等闪米特语言，由于这些语言的严重屈折结构，命名实体识别任务更具挑战性。本文提出了一种基于双向长短期记忆和条件随机场层的阿姆哈拉语命名实体识别系统。我们注释了一个新的阿姆哈拉语命名实体识别数据集（8，070个句子，其中有182，691个标记），并将合成少数过采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们的命名实体识别系统达到了93%的F_1分数，这是阿姆哈拉语命名实体识别的新的国家的最先进的结果。
2022-07-02 cs.AI cs.CL cs.LG
A Deep Learning approach for Hindi Named Entity Recognition
Indian Institute of Technology（印度理工学院）；TCS Research and Innovation（塔塔咨询服务公司研究与创新中心）
命名实体识别是许多自然语言处理任务中最重要的文本处理需求之一。在本文中，我们使用一个深的架构来完成识别给定的印地语文本句子中的命名实体的任务。文献中已经将基于双向长短期记忆（BiLSTM）的技术用于NER任务。在本文中，我们首先调整BiLSTM低资源场景以适用于印地语NER，并提出两种增强，即（a）去噪自动编码器（DAE）LSTM和（b）调节LSTM，与BiLSTM方法相比，它们在NER任务中有所改进。我们使用预训练的词嵌入来表示语料库中的词，并且词的NER标签由所使用的注释语料库定义。已经进行了实验来分析不同词嵌入和批量大小的性能，这对于训练深度模型至关重要。
2019-11-05 cs.CL cs.LG
Efficient Joint Learning for Clinical Named Entity Recognition and Relation Extraction Using Fourier Networks: A Use Case in Adverse Drug Events
University of Geneva（日内瓦大学）
目前的临床信息抽取方法在计算成本和存储器消耗方面效率低下，阻碍了它们在处理大规模电子健康记录（EHR）中的应用。我们提出了一个有效的端到端的模型，联合NER-RE-傅立叶（JNRF），共同学习的命名实体识别和关系抽取的可变长度的文档的任务。该架构使用位置编码和单位批量大小来处理可变长度文档，并使用权重共享傅立叶网络层来进行低复杂度令牌混合。最后，我们达到了理论计算复杂性的下限关系抽取使用选择性池化策略和距离感知的注意力权重与可训练的多项式距离函数。我们使用2018年N2 C2 ADE基准评估了JNRF架构，以联合提取可变长度EHR摘要中的药物相关实体和关系。JNRF的性能比滚动窗口BERT高0.42%，同时训练的速度是滚动窗口的两倍。在N2 C2 ADE基准测试中，与最先进的BiLSTM-CRF架构相比，结果表明，所提出的方法训练速度快22倍，GPU内存消耗减少1.75倍，合理的性能折衷为90%，无需使用外部工具，手工制作的规则或后处理。考虑到深度学习模型的显著碳足迹和当前的能源危机，这些方法可以支持在EHR和其他类型的大型文档数据库中进行高效和更清洁的信息抽取。
2023-02-08 cs.CL cs.LG
Learning Dense Representations for Entity Retrieval
Google Research（谷歌研究院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们表明，通过训练一个双编码器（双塔）模型来执行实体链接是可行的，该模型在同一密集向量空间中对提及和实体进行编码，其中通过近似最近邻搜索来检索候选实体。与以前的工作不同，这种设置不依赖于别名表，然后是重新排序器，因此是第一个完全学习的实体检索模型。我们表明，我们的双编码器，训练只使用锚文本链接在维基百科上，优于离散别名表和BM 25基线，并具有竞争力的最佳可比结果的标准TACKBP-2010数据集。此外，它可以非常快地检索候选人，并很好地推广到来自维基新闻的新数据集。在建模方面，我们展示了无监督的负面挖掘算法对这项任务的巨大价值。
2019-09-23 cs.CL cs.IR cs.LG
