Incremental Entity Resolution from Linked Documents
在许多政府应用程序中，我们经常发现有关实体（如人员）的信息存在于不同的数据源中，如护照、驾驶执照、银行账户和所得税记录。类似的场景在拥有多个客户、供应商或合作伙伴数据库的大型企业中很常见。每个数据源维护实体的不同方面，并且基于这些属性解析实体是一个经过充分研究的问题。然而，在许多情况下，一个来源中的文件引用其他来源中的文件;例如，申请人在申请护照时可提供其驾驶执照号码，反之亦然。这些链接定义同一实体的文档之间的关系（与实体间关系相反，后者也经常用于解析）。在本文中，我们描述了一种算法，聚类文件，很可能属于同一个实体，利用除了属性相似性的文件间的引用。我们的技术使用迭代图遍历，局部敏感哈希，迭代匹配合并和图聚类的组合，发现基于文档语料库的独特实体。我们的技术的一个独特的功能是，新的文档集可以增量添加，而必须重新解决以前解决的实体文档集合的一个小的子集。我们目前的性能和质量的两个数据集的结果：一个真实世界的数据库的公司和一个大的综合生成的“人口”数据库。我们还展示了使用文档间引用进行聚类的好处，其形式是增强文档的召回率。
2014-02-18 cs.DB cs.IR
Entity Retrieval for Answering Entity-Centric Questions
School of Computing Science（计算科学学院）；Simon Fraser University（西蒙菲莎大学）
针对以实体为中心的问答，本文提出 Entity Retrieval，利用问题中的显著实体而非问题—文档相似性检索文档，并证明其相比稠密与稀疏检索更准确、更高效。
2024-08-05 cs.CL cs.IR
A Benchmark of Nested Named Entity Recognition Approaches in Historical Structured Documents
命名实体识别（NER）是从数字化历史文档创建结构化数据的关键步骤。传统的NER方法处理平面命名实体，而实体通常是嵌套的。例如，邮政地址可能包含街道名称和号码。这项工作比较了三种嵌套的NER方法，包括两种使用基于transformer的架构的最先进的方法。我们介绍了一种新的基于转换器的方法，基于联合标签和语义加权的错误，评估19世纪的巴黎贸易目录的集合。我们评估方法的影响，监督微调，无监督的预训练与嘈杂的文本，和IOB标记格式的变化。我们的研究结果表明，虽然嵌套NER方法可以直接提取结构化数据，但它们并没有从训练过程中提供的额外知识中受益，并且在平面实体上达到了类似于基础方法的性能。尽管所有3种方法在F1得分方面表现良好，但联合标记最适合分层结构的数据。最后，我们的实验揭示了IO标记格式在此类数据上的优越性。
2023-02-20 cs.IR
Hypergraph-of-Entity: A General Model for Entity-Oriented Search
提出了一种面向实体搜索的通用模型--实体超图。但是，只评估了临时文件检索的性能。我们继续这条线的研究，也评估特设实体检索，和实体列表完成。我们还尝试扩展模型，以便它可以支持完整的INEX 2009维基百科集合。我们通过索引每个文档的顶级关键字来实现这一点，通过部分降低节点数量来降低复杂性，并间接降低将术语链接到实体的超边数量。这使我们能够将实体超图的有效性与INEX轨道参与者为所考虑的任务获得的结果进行比较。我们发现这是一个可行的模型，据我们所知，在信息检索的泛化，特别是通过支持多个面向实体的搜索任务的通用排名功能的第一次尝试。
2021-09-01 cs.IR
Exploiting the Bipartite Structure of Entity Grids for Document Coherence and Retrieval
语篇连贯是指语篇在逻辑组织和语篇流动方面的意义。尽管一致性是一个相对难以精确量化的概念，但它可以自动近似。这种类型的一致性建模不仅本身有趣，而且对许多其他文本处理任务也很有用，包括信息检索（IR），其中根据相关性和一致性调整文档的排名已被证明可以提高检索效率[34，37]。无监督连贯性建模的最新技术将文档表示为句子和话语实体的二分图，然后将这些二分图投影到单模式无向图中。然而，单模投影可能会导致原始二分结构中存在的信息的显著损失。为了解决这个问题，我们提出了三个新的图形度量，计算文件的连贯性的句子和实体的原始二分图。对标准设置的评估表明：（i）我们的一致性度量之一在一致性准确性方面击败了最先进的技术;以及（ii）我们的所有三个一致性度量都提高了检索效率，因为正如更仔细的分析所揭示的那样，它们捕获了基于关键字的标准排名和垃圾邮件过滤未检测到的文档质量方面。这项工作有助于文件的一致性度量，理论上是原则性的，无参数，和有用的IR。
2016-08-02 cs.IR
Coarse-to-Fine Entity Representations for Document-level Relation Extraction
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
文档级关系抽取（RE）需要抽取句子内部和句子之间的关系。最近的工作表明，基于图的方法，通常构建一个文档级的图，捕捉文档感知的交互，可以获得有用的实体表示，从而帮助解决文档级RE。这些方法或者更多地关注整个图，或者更多地关注图的一部分，例如，目标实体对之间的路径。然而，我们发现，文档级RE可能会受益于同时关注这两个。因此，为了获得更全面的实体表示，我们提出了粗到细的实体表示模型（CFER），采用了由粗到细的策略，包括两个阶段。首先，CFER使用图神经网络来在粗略的水平上整合整个图中的全局信息。接下来，CFER利用全局信息作为指导，以精细级别选择性地聚合目标实体对之间的路径信息。在分类中，我们将两个层次的实体表示结合成更全面的表示，用于关系抽取。在两个文档级RE数据集DocRED和CDR上的实验结果表明，CFER的性能优于现有模型，并且对不均匀的标签分布具有鲁棒性。
2021-06-06 cs.CL cs.IR cs.LG
Entity Ranking in Wikipedia
传统的实体提取问题在于使用自然语言处理技术和从大型文档集合中进行密集训练来从纯文本中提取命名实体的能力。命名实体的示例包括组织、人员、位置或日期。有许多研究活动涉及命名实体，我们感兴趣的实体排名领域的信息检索。在本文中，我们描述了我们的方法来识别和排名的INEX维基百科文档集的实体。维基百科提供了许多有趣的功能，我们首先介绍的实体识别和排名。然后，我们描述的原则和我们的实体排名系统的架构，并介绍我们的评估方法。我们的初步结果表明，使用类别和维基百科的链接结构，加上实体的例子，可以显着提高检索效率。
2007-11-20 cs.IR
Adaptive Latent Entity Expansion for Document Retrieval
本文针对复杂查询检索提出神经重排序前置、潜在实体扩展（LEE）和自适应重排序池细化三种互补技术，在 TREC Robust 2004 和 CODEC 数据集上显著提升了 NDCG、MAP 和 R@1000。
2023-12-04 cs.IR
A Dataset of German Legal Documents for Named Entity Recognition
DFKI GmbH（德国人工智能研究中心）
我们描述了一个数据集开发的命名实体识别在德国联邦法院的判决。它由近似。67，000个句子，超过200万个代币。该资源包含54，000个手动注释的实体，映射到19个细粒度的语义类：人，法官，律师，国家，城市，街道，景观，组织，公司，机构，法院，品牌，法律，条例，欧洲法律规范，法规，合同，法院判决和法律文献。此外，法律文件还自动标注了35，000多个基于TimeML的时间表达式。该数据集在CC-BY 4.0许可下以CoNNL-2002格式提供，旨在为欧盟项目Lynx中的德国法律文件培训NER服务。
2020-03-29 cs.CL cs.IR
Entity Labels Are Not Entity Signals: A Framework for Observable Relevance in Document Re-Ranking
Department of Computer Science, Missouri University of Science and Technology（计算机科学系，密苏里科技大学）
提出实体可观测相关性（OER）与概念相关性（CER）的区分，证明CER监督效果差，而OER对齐可显著提升重排序性能。
2026-06-16 cs.AI cs.CL cs.IR
PILAR: A Page-Grounded Unified Evidence Representation via an Entity-Linked Assertion Graph for Open-Domain QA Agents over Multimodal Document Corpora
Korea University（韩国大学）；Korea Maritime and Ocean University（韩国海洋大学）；Konkuk University（建国大学）
PILAR通过实体链接断言图统一多模态文档证据，在多种智能体框架和检索后端下显著提升开放域问答的端到端性能，尤其擅长组合性、跨文档和多跳问题。
2026-09-29 cs.IR
Detecting Privileged Documents by Ranking Connected Network Entities
Lega Technology and Data Analytics（Lega 技术与数据分析）；Ankura Consulting Group, LLC（安库拉咨询集团有限责任公司）
本文提出了一种通过分析连接网络实体来识别特权文档的方法，利用实体分数和连接强度提升识别效果。
2025-12-08 cs.IR
QDER: Query-Specific Document and Entity Representations for Multi-Vector Document Re-Ranking
Missouri University of Science and Technology（密苏里科技大学）；Department of Computer Science（计算机科学系）；The University of Edinburgh（爱丁堡大学）
提出QDER神经重排序模型，通过在多向量模型中整合知识图谱语义并采用“延迟聚合”保持独立token与实体表示，在五个基准上显著提升检索性能，尤其在困难查询上表现优异。
2025-10-13 cs.CL cs.IR
Query-Specific Knowledge Graphs for Complex Finance Topics
University of Glasgow（格拉斯哥大学）
在整个金融领域，研究人员通过广泛“搜索”相关信息来回答复杂的问题，以生成长格式报告。本研讨会论文讨论了为复杂的研究主题自动构建特定于查询的文档和实体知识图谱（KG）。我们专注于CODEC数据集，领域专家（1）创建具有挑战性的问题，（2）构建长自然语言叙述，（3）迭代搜索和评估文档和实体的相关性。对于特定查询KG的建设，我们表明，国家的最先进的排名系统有改进的空间，由于缺乏上下文或明确的知识表示的具体故障。我们证明了实体和文档相关性是正相关的，基于实体的查询反馈提高了文档排序的有效性。此外，我们构建查询特定的KG使用检索和评估使用CODEC的“地面实况图”，显示精度和召回的权衡。最后，我们指出了未来的工作，包括自适应KG检索算法和基于GNN的加权方法，同时强调了关键的挑战，如高质量的数据，信息抽取召回，以及复杂主题图的大小和稀疏性。
2022-11-08 cs.CL cs.IR
Noise-Aware Named Entity Recognition for Historical VET Documents
Federal Institute for Vocational Education and Training (BIBB)（联邦职业教育培训研究所）；Department of Computer Science, University of Koblenz（科隆大学计算机科学系）
本文提出了一种基于噪声感知训练的命名实体识别方法，用于处理受OCR噪声影响的历史职业培训文档，通过多阶段微调提升在噪声环境下的识别鲁棒性和准确性。
2026-01-01 cs.CL cs.IR cs.LG
Named Entity Recognition Using Web Document Corpus
Institut Superieur de Gestion de Tunis（突尼斯高等管理学院）
介绍了一种文本语料库中的命名实体识别方法。该命名实体（NE）可以是命名的：位置、人、组织、日期、时间等，以实例为特点。NE出现在伴随着上下文的文本中：NE左边或右边的词。本文的工作主要是为了确定诱发东北性质的语境。因此，在文本中出现单词“President”意味着该单词或上下文可以后跟总统的名字“Obama”。类似地，前面有字符串“footballer”的单词会导致这是一个footballer的名字。NE识别可以被视为一种分类方法，其中每个单词都被分配到NE类，关于上下文。本研究的目的是识别和分类的背景下，最相关的识别NE，那些经常发现与NE。然后提出了一种使用训练语料库的学习方法：从学习示例构建的Web文档。使用频率表示和修改的tf-idf表示来计算与语料库中的上下文频率、学习示例频率和文档频率相关联的上下文权重。
2011-02-28 cs.IR cs.LG
Enriching Documents with Compact, Representative, Relevant Knowledge Graphs
知识图谱（KG）的一个突出应用是文档丰富。现有的方法识别背景KG中的实体的提及，并利用实体类型和直接关系来丰富文档。我们计算一个实体关系子图（ERG），可以更有表现力地表示一组提到的实体之间的间接关系。为了找到紧凑的，有代表性的，和相关的ERG有效的丰富，我们提出了一个有效的最佳优先搜索算法来解决一个新的组合优化问题，实现了代表性和紧凑性之间的权衡，然后我们利用本体知识排名ERG基于实体的文档KG和KG内的相关性。广泛的实验和用户研究表明，我们的方法有前途的性能。
2020-05-10 cs.AI cs.IR
Multi-Relation Extraction in Entity Pairs using Global Context
Department of Computer Science and Engineering（计算机科学与工程系）；PDPM IIITDM Jabalpur（IIITDM贾巴尔普尔）
针对文档级关系抽取中现有方法仅关注实体提及句、缺乏全局上下文的问题，提出将实体表示为独立片段的输入嵌入方法，在三个基准数据集上验证了其有效性，兼具理论与实践价值。
2025-07-23 cs.CL cs.IR
SAGE: Semantic Attribute Graphs for Multi-Entity Visual Retrieval
Korea University（高丽大学）；KT Corporation（KT公司）
针对密集文档图像检索中的语义稀释问题，提出无需训练的SAGE框架，结合DEAR数据集验证其性能优于基线方法。
2026-09-07 cs.IR
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval
本文提出了一种将知识图谱引入神经搜索系统的神经元排序模型EDRM。EDRM通过它们的单词和实体注释来表示查询和文档。知识图谱的语义被集成在其实体的分布式表示中，而排名由基于交互的神经网络进行。这两个组件是端到端学习的，使EDRM成为面向实体的搜索和神经信息检索的自然组合。我们在商业搜索日志上的实验证明了EDRM的有效性。我们的分析表明，知识图谱语义显着提高神经排序模型的泛化能力。
2018-06-03 cs.IR
DocumentNet: Bridging the Data Gap in Document Pre-Training
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；University of Virginia（弗吉尼亚大学）
本文提出从网络收集大规模弱标注数据构建DocumentNet数据集，包含3000万份文档、近400种文档类型，以解决VDER任务数据稀缺和知识迁移困难问题，并在经典与小样本预训练中取得显著提升。
2023-10-26 cs.CL cs.IR
Cross-Modal Entity Matching for Visually Rich Documents
Amazon（亚马逊）；The Ohio State University（俄亥俄州立大学）
本文提出跨模态实体匹配框架 Juno，通过注意力深度神经网络将文档文本片段与外部数据库元组在多模态空间对齐，解决视觉丰富文档信息不完整问题，在减少标注需求的同时显著超越现有基线。
2024-03-30 cs.DB cs.IR cs.LG
Improving Embedding Accuracy for Document Retrieval Using Entity Relationship Maps and Model-Aware Contrastive Sampling
Fifth Dimension AI（第五维度人工智能公司）
提出APEX-Embedding-7B，通过结构化实体关系图的收敛前中断微调与模型感知对比采样，提升长上下文文档RAG检索的事实聚焦能力并取得90.86% rank@1。
2024-10-08 cs.AI cs.CL cs.IR
EnSI-RAG: Entity-Structure-Indexed Retrieval-Augmented Generation for Long-Document Question Answering
该研究针对长文档问答的RAG方法缺陷，提出EnSI-RAG框架，构建以实体为中心的索引，在Loong和Oolong数据集上平均准确率达78.24，较基准提升6.62个百分点，验证了其有效性。
2026-08-24 cs.AI cs.CL cs.DB
Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings
Amazon AI（亚马逊人工智能）；Columbia University（哥伦比亚大学）
我们提出了一种在线新闻流聚类的方法，这是一个变种的非参数流K-means算法。我们的模型使用稀疏和密集文档表示的组合，沿着这些多个表示聚集文档聚类相似性，并使用神经分类器进行聚类决策。加权文档聚类相似性模型学习使用一种新的适应的三重损失成一个线性分类目标。我们表明，在预训练的Transformer模型中使用适当的微调目标和外部知识，可以显着提高聚类的上下文嵌入的有效性。我们的模型实现了一个新的国家的最先进的标准流聚类数据集的英文文档。
2021-01-26 cs.AI cs.CL cs.IR
TNNT: The Named Entity Recognition Toolkit
Australian National University（澳大利亚国立大学）
给定各种命名实体识别（NER）模型和以不同源文档格式编码的非结构化信息的可用性，从文本中提取分类命名实体是一项复杂的任务。处理文档以提取文本，为任务识别合适的NER模型，并获得统计信息，对于数据分析以做出明智的决策非常重要。本文介绍了TNNT，一个工具包，自动提取分类命名实体的非结构化信息编码在源文件中，使用不同的国家的最先进的自然语言处理（NLP）工具和NER模型。TNT将21种不同的NER模型集成为知识图谱构建管道（KGCP）的一部分，该构建管道将文档集作为输入，并根据定义的设置对其进行处理，应用选定的NER模型块来输出结果。该工具包生成所有结果，并对提取的实体进行综合总结，从而增强数据分析，以支持KGCP，并帮助进一步的NLP任务。
2021-08-31 cs.AI cs.CL cs.IR
Graph Centrality Measures for Boosting Popularity-Based Entity Linking
Labex Observatoire de la vie littéraire (OBVIL)（文学生活观察实验室）；Laboratoire d’Informatique de Paris 6 (LIP6), Pierre and Marie Curie University（巴黎第六大学计算机实验室）
许多实体链接系统使用基于图的集合方法来消除文档中实体提及的歧义。大多数研究集中在图的构造和候选实体的初始权重上，而对图排序算法的比较研究较少。在这项工作中，我们专注于基于图的排名算法，因此，我们提出了五个中心性措施：度，点击率，PageRank，介数和接近度。该方法首先利用流行度方法为每个文档构建候选实体的消歧图，然后应用中心度度量选择最相关的候选实体，以提高实体流行度方法的结果。我们研究了每个中心性度量对不同领域和数据集性能的有效性。我们的实验表明，一个简单而快速的中心性度量，如度中心性，可以优于其他更耗时的措施。
2017-11-30 cs.CL cs.IR cs.SI
DeFactoNLP: Fact Verification using Entity Recognition, TFIDF Vector Comparison and Decomposable Attention
Carnegie Mellon University（卡内基梅隆大学）；University of Bonn（波恩大学）
在本文中，我们描述了DeFactoNLP，我们为FEVER 2018共享任务设计的系统。这项任务的目的是设想一个系统，不仅可以自动评估索赔的真实性，而且还可以从维基百科检索支持这一评估的证据。在我们的方法中，维基百科文档的词频-逆文档频率（TFIDF）向量是最相似的向量的权利要求和那些文档的名称是相似的命名实体（NE）中提到的权利要求被识别为可能包含证据的文档。然后，这些文档中的句子被提供给文本蕴涵识别模块。该模块计算每句话支持索赔、反驳索赔或不提供任何相关信息的概率，以评估索赔的真实性。使用这些概率计算的各种特征最终由随机森林分类器用于确定索赔的总体真实性。支持这一分类的句子将作为证据返回。我们的方法实现了0.4277证据F1评分，0.5136标签准确度和0.3833发热评分。
2018-09-03 cs.AI cs.CL cs.IR
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock（阿拉巴马州立大学）
本文提出一种结合语义相似度过滤机制的混合Transformer模型，以增强Legal-BERT在法律实体识别中的准确率，在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
Yes but.. Can ChatGPT Identify Entities in Historical Documents?
University of La Rochelle（拉罗谢尔大学）；EPFL（洛桑联邦理工学院）；University of Toulouse（图卢兹大学）
大语言模型（LLM）已经被利用了好几年，在从现代文档中识别实体方面获得了最先进的性能。在过去的几个月里，会话代理ChatGPT已经“引起”了科学界和公众的极大兴趣，因为它能够生成听起来可信的答案。在本文中，我们通过在主要来源的命名实体识别和分类（NERC）任务中探索这种能力（例如，历史报纸和经典评论），在一个zero-shot的方式，并通过比较它与国家的最先进的LM为基础的系统。我们的研究结果表明，在确定历史文本中的实体，范围从实体注释准则的一致性，实体的复杂性，和代码转换，提示的特异性的几个缺点。此外，正如预期的那样，公众无法查阅历史档案（因此也无法在互联网上查阅）也影响了其业绩。
2023-03-30 cs.CL cs.DL cs.IR
A Practical Entity Linking System for Tables in Scientific Literature
GE Research（GE研究中心）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文提出一个通用实体链接系统，用于将科学文献表格中的实体链接到 Wikidata，并针对 COVID-19 文献进行适配，利用表格结构特征提升性能，且通过离线实例增强实用性。
2023-06-12 cs.AI cs.CL cs.IR
Low-Rank Subspaces for Unsupervised Entity Linking
EPFL（洛桑联邦理工学院）；Atinary Technologies（Atinary技术公司）
实体链接是许多应用中的一个重要问题。大多数先前的解决方案是针对带注释的训练数据可用的设置而设计的，然而，在许多领域中并非如此。我们提出了一个轻量级和可扩展的实体链接方法，Eigenthemes，它只依赖于实体名称和所指的知识库的可用性。特征主题利用了这样一个事实，即文档中真正提到的实体（“黄金实体”）往往形成文档中所有候选实体的语义密集子集。从几何上讲，当通过一些给定的嵌入将实体表示为向量时，黄金实体往往位于完整嵌入空间的低秩子空间中。特征主题使用奇异值分解识别该子空间，并根据候选实体与子空间的接近程度对其进行评分。在经验方面，我们引入了多个强基线，这些基线与现有的最先进的技术相比是有利的（有时甚至优于现有的技术）。在来自各种现实世界领域的基准数据集上进行的广泛实验展示了我们方法的有效性。
2021-10-14 cs.CL cs.IR cs.LG
Big Data and Cross-Document Coreference Resolution: Current State and Future Opportunities
University of New South Wales（新南威尔士大学）
信息抽取（Information Extraction，IE）是从非结构化/半结构化的机器可读文档中自动抽取结构化信息的任务。在各种IE任务中，从不断增加的数据量中提取可操作的情报关键取决于跨文档共指消解（CDCR）-识别跨多个文档引用相同底层实体的实体提及的任务。最近，千万亿字节量级的文档数据集对执行有效的CDCR提出了许多挑战，例如扩展到大量提及和有限的代表性能力。分析这些数据集的问题被称为“大数据”。本文的目的是让读者了解CDCR流程的中心概念、子任务以及当前的最新技术水平。我们为CDCR子任务提供了现有工具/技术的评估，并强调了每个子任务中的大数据挑战，以帮助读者识别重要和突出的问题，以便进一步调查。最后，我们提出结论意见，并讨论今后工作的可能方向。
2013-11-14 cs.CL cs.DC cs.IR
Pangloss: Fast Entity Linking in Noisy Text Environments
Workday, Inc.（Workday公司）
实体链接是将文本中可能有歧义的术语映射到维基百科等知识库中的组成实体的任务。这对于组织内容、从文本文档中提取结构化数据以及语义搜索、知识图谱构建和问答等机器学习相关性应用非常有用。传统上，这项工作集中在格式良好的文本上，如新闻文章，但在常见的现实世界数据集中，如消息，简历或简短的社交媒体，非语法，结构松散的文本为这个问题增加了一个新的维度。本文介绍了Pangloss，一个生产系统的实体消歧噪声文本。Pangloss将概率线性时间关键短语识别算法与基于上下文相关文档嵌入的语义相似性引擎相结合，与其他研究或商业系统相比，其结果优于最先进的结果（F1>5%）。此外，Pangloss利用具有分层架构的本地嵌入式数据库来容纳其统计数据和元数据，这允许在流媒体上下文中快速消歧，并在低内存环境（如移动电话）中进行设备消歧。
2018-07-16 cs.IR cs.LG stat.ML
Follow the Entities: A Corpus Map for Agentic Search
KAIST（韩国科学技术院）；Microsoft（微软）
针对大型文档集合中证据分散的问题，提出CorpusMap导航层，以实体为中心组织语料库，构建实体-文档图，使智能体高效收集证据，提升检索质量并减少token消耗。
2026-09-30 cs.AI cs.CL cs.IR
