On the Representations of Entities in Auto-regressive Large Language Models
Sorbonne Université, CNRS, Institut des Systèmes Intelligents et de Robotique (ISIR)(索邦大学,法国国家科学研究中心,智能系统与机器人研究所);INSPE, UT2J, Université de Toulouse, IRIT UMR5505 CNRS(图卢兹大学,国家高等教育与教育学院,让·饶勒斯大学,图卢兹计算机科学研究所,法国国家科学研究中心)
本文提出实体提及重构框架,利用任务向量从LLMs隐藏状态生成多标记提及,并引入Entity Lens扩展logit-lens,揭示了LLMs具备表示和操纵任意多标记实体的内部机制。
2025-10-10 cs.AI cs.CL
Entity Set Co-Expansion in StackOverflow
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);IBM Almaden Research Center(IBM阿尔马登研究中心)
给定某些类型的几个种子实体(例如,软件或程序设计语言),实体集扩展旨在发现与种子共享相同类型的大量实体集。在软件相关领域中的实体集扩展(例如StackOverflow)可以使许多下游任务受益(例如,软件知识图谱构建),并促进更好IT运营和服务管理。同时,现有的方法较少关注两个问题:(1)如何同时处理多种类型的种子实体?(2)如何利用预训练语言模型(PLM)的强大功能?针对这两个问题,本文研究了StackOverflow中的实体集协同扩展任务,该任务从StackOverflow问答线程中提取Library、OS、Application和Language实体。在协同扩展过程中,我们使用PLM来获得候选实体的嵌入,以计算实体之间的相似性。实验结果表明,我们提出的SECoExpan框架优于以前的方法显着。
2022-12-05 cs.CL cs.SE
Slot Machines: How LLMs Keep Track of Multiple Entities
Anthropic Fellows Program(Anthropic 合作者计划)
研究探讨了大语言模型如何在上下文中绑定多个实体及其属性,通过多槽探针方法揭示当前实体与前一实体的表示机制,发现当前实体槽用于事实检索,而前一实体槽支持关系推理,但存在信息与实际使用之间的差距。
2026-04-22 cs.CL cs.LG
Towards Coherent and Consistent Use of Entities in Narrative Generation
University of Edinburgh(爱丁堡大学);DeepMind(深度思维)
大型预训练的语言模型(LM)在生成长而流畅的文本方面表现出了令人印象深刻的能力;然而,很少或根本没有分析它们保持实体连贯性和一致性的能力。在这项工作中,我们专注于叙事生成的最终任务,并系统地分析生成的故事中的长期实体连贯性和一致性。首先,我们提出了一套自动度量实体使用方面的模型性能。考虑到这些指标,我们量化了当前LM的局限性。接下来,我们建议通过使用辅助实体相关丢失来引导对存储器的读取和写入,以端到端的方式用动态实体存储器来增强预先训练的LM。我们表明,动态实体内存增加实体的一致性,根据自动和人类的判断,并有助于保存实体相关的信息,特别是在有限的上下文窗口的设置。最后,我们还验证了我们的自动指标与人类评级相关,并作为生成的故事质量的良好指标。
2022-02-03 cs.CL cs.LG
KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity Awareness
Worcester Polytechnic Institute(伍斯特理工学院);Airbnb(爱彼迎);Amazon Alexa AI(亚马逊Alexa人工智能部门)
针对传统知识增强预训练语言模型忽略维基百科页面主题实体导致的实体交互不足、关系词语义偏差问题,提出具备主题实体感知的KEPLET模型,通过端到端融合主题实体信息,在四项实体中心任务上取得显著提升。
2023-05-02 cs.AI cs.CL
LLM-Align: Utilizing Large Language Models for Entity Alignment in Knowledge Graphs
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Engineering Research Center of Intelligent Technology and Educational Application, Ministry of Education(教育部智能技术与教育应用工程研究中心)
针对现有实体对齐方法语义理解不足的问题,本文提出 LLM-Align,利用 LLM 的零样本指令遵循能力,结合启发式三元组选择与多轮投票机制实现实体对齐,并在三个数据集上达到最先进性能。
2024-12-06 cs.AI cs.CL
Entity-Switched Datasets: An Approach to Auditing the In-Domain Robustness of Named Entity Recognition Models
University of Pennsylvania(宾夕法尼亚大学);Google AI(谷歌人工智能);Northeastern University(东北大学)
命名实体识别系统在包括英语新闻的标准数据集上表现良好。但由于数据的缺乏,很难得出关于系统在识别不同实体集方面的鲁棒性的结论。我们提出了一种审计系统的域内鲁棒性的方法,特别关注由于实体的国家起源而导致的性能差异。我们创建实体切换数据集,其中原始文本中的命名实体被替换为相同类型但不同国家起源的可信命名实体。我们发现,最先进的系统的性能差异很大,甚至在域中:在相同的上下文中,来自某些来源的实体比来自其他地方的实体更可靠地识别。系统在美国和印度实体上表现最好,在越南和印度尼西亚实体上表现最差。这种审计方法可以促进更强大的命名实体识别系统的开发,并将允许在这一领域的研究考虑在其他预测技术工作中受到高度关注的公平标准。
2021-01-13 cs.CL
Entity Linking with people entity on Wikipedia
Emory University(埃默里大学)
本文介绍了一种新的模型,使用命名实体识别,共指消解,和实体链接技术,在维基百科的人页面上的人实体链接到相应的维基百科页面,如果适用的任务。我们的任务不同于一般和传统的实体链接,因为我们是在一个有限的领域,即人的实体,我们包括代词作为实体,而在过去,代词从来没有被认为是实体链接的实体。我们已经建立了2个模型,都明显优于我们的基线模型。我们的项目的目的是建立一个模型,可以用来生成更干净的数据,为未来的实体链接任务。我们的贡献包括一个干净的数据集,包括50个维基百科人物页面,和2个实体链接模型,专门为这个领域调整。
2017-05-02 cs.CL
Entity Cloze By Date: What LMs Know About Unseen Entities
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
语言模型(LM)通常在大规模语料库上训练一次,并使用多年而不更新。然而,在一个动态的世界中,新的实体不断出现。我们提出了一个框架来分析什么样的LM可以推断新的实体,不存在时,LM预训练。我们得到一个实体的数据集,按其起源日期进行索引,并与他们的英文维基百科文章配对,从中我们可以找到关于每个实体的句子。我们在这些句子中的掩蔽跨度上评估LM的困惑。我们表明,模型更了解的实体,如那些访问它们的文本定义,实现较低的困惑在这个基准。我们的实验结果表明,新的实体的推断仍然很难LM。鉴于其广泛的覆盖面的实体知识和时间索引,我们的数据集可以用来评估LM和技术,旨在修改或扩展他们的知识。我们的自动数据汇集管道可以轻松地用于不断更新我们的基准。
2022-05-05 cs.CL
Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition
Tencent AI Lab(腾讯人工智能实验室)
在许多情况下,命名实体识别(NER)模型严重遭受未标记实体问题,其中句子的实体可能没有被完全注释。通过对合成数据集的实证研究,我们发现了性能下降的两个原因。一个是标注实体的约简,另一个是将未标注实体视为负实例。第一个原因的影响比第二个原因小,并且可以通过采用预训练语言模型来减轻。第二个原因严重误导了模型的训练,极大地影响了它的表现。基于上述观察,我们提出了一个通用的方法,它几乎可以消除未标记实体带来的误导。其关键思想是使用负采样,这在很大程度上避免了用未标记的实体训练NER模型。在合成数据集和真实数据集上的实验表明,该模型对未标记实体问题具有较好的鲁棒性,并优于先验基线。在注释良好的数据集上,我们的模型与最先进的方法相比具有竞争力。
2021-03-18 cs.CL
Connecting Distant Entities with Induction through Conditional Random Fields for Named Entity Recognition: Precursor-Induced CRF
Seoul National University(首尔国立大学)
针对命名实体识别,提出了一种在线性链条件随机场(CRF)上设计特定高阶依赖因子的方法。命名实体往往被文本中的多个外部标记彼此分开,因此一阶CRF以及二阶CRF可能天生地丢失远距离命名实体之间的转换信息。该设计使用NER中的外部标签作为CRF上先例实体信息的传输媒介。然后,实证结果显然表明,它是可以利用长距离标签依赖性在原来的一阶线性链CRF结构后NER,同时减少计算损失,而不是在二阶CRF。
2018-05-26 cs.CL
Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学)
命名实体识别(NER)是自然语言处理中的一个研究热点。传统的NER研究只涉及平面实体,而忽略了嵌套实体。基于跨度的方法将实体识别视为跨度分类任务。虽然这些方法具有处理嵌套NER的先天能力,但它们具有计算成本高、忽视边界信息、与实体部分匹配的跨度利用不足以及长实体识别困难等缺点。为了解决这些问题,我们提出了一个两阶段的实体标识符。首先,我们通过对种子跨度进行过滤和边界回归来定位实体,然后用相应的类别标记边界调整后的跨度建议。我们的方法有效地利用边界信息的实体和部分匹配的跨度在训练过程中。通过边界回归,理论上可以覆盖任意长度的实体,提高了识别长实体的能力。此外,许多低质量的种子跨度在第一阶段被过滤掉,这降低了推理的时间复杂度。嵌套NER数据集上的实验表明,我们提出的方法优于以前的国家的最先进的模型。
2021-07-13 cs.CL
Detecting Entities in the Astrophysics Literature: A Comparison of Word-based and Span-based Entity Recognition Methods
CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
从科学文献中提取信息抽取可能具有挑战性,因为此类文本具有高度专业性。我们描述了我们的实体识别方法开发的一部分,交易(天体物理学文献中的实体检测)共享任务。该任务的目的是建立一个系统,可以识别命名实体的数据集组成的学术文章从天体物理学文献。我们计划我们的参与,使我们能够进行基于词的标记和基于跨度的分类方法之间的实证比较。在组织者提供的两个隐藏测试集上进行评估时,我们表现最好的提交达到了$F_1$分数0.8307(验证阶段)和0.7990(测试阶段)。
2022-11-24 cs.CL
Targetable Named Entity Recognition in Social Media
Amazon Fulfillment Technologies(亚马逊履约技术);Amazon.com, LLC(亚马逊有限公司);Emory University(埃默里大学)
我们提出了一种新的方法来识别我们所谓的目标命名实体,即命名实体在一个有针对性的设置(例如,电影,书籍,电视节目)。与许多其他NER系统需要在新实体到来时重新训练其统计模型不同,我们的方法不需要这种重新训练,这使得它更适合频繁更新的实体类型。对于这个初步的研究,我们专注于一个实体类型,电影标题,使用从Twitter收集的数据。我们的系统在两个评估集上进行了测试,一个评估集只包括与我们训练集中的电影相对应的实体,另一个评估集不包括任何这些实体。我们的最终模型在这些评估集上显示出76.19%和78.70%的F1分数,这有力地证明了我们的方法对训练过程中发现的任何特定实体集都是完全无偏的。
2014-08-04 cs.CL
MESED: A Multi-modal Entity Set Expansion Dataset with Fine-grained Semantic Classes and Hard Negative Entities
Tsinghua University(清华大学);PengCheng Laboratory(鹏城实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对传统单模态实体集扩展难以处理细粒度及长尾等复杂实体的问题,提出多模态实体集扩展任务及大规模数据集MESED,并构建预训练模型MultiExpan,实验证明其数据集高质量及方法有效性。
2023-07-27 cs.CL
Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation
Studio Ousia(Ousia工作室);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);National Institute of Informatics(国立信息学研究所);Keio University(庆应义塾大学)
命名实体消歧(NED)是指将文档中的多个命名实体提及解析为它们在知识库(KB)中的正确引用的任务(例如,Wikipedia).在本文中,我们提出了一种新的嵌入方法,专门为NED设计。所提出的方法联合映射到同一个连续的向量空间的单词和实体。我们通过使用两个模型扩展了skip-gram模型。KB图模型使用KB的链接结构来学习实体的相关性,而锚上下文模型旨在通过利用KB锚及其上下文单词来对齐向量,使得相似的单词和实体在向量空间中彼此靠近地出现。通过将基于所提出的嵌入的上下文与标准NED特征相结合,我们在标准CoNLL数据集上实现了93.1%的最新准确率,在TAC 2010数据集上实现了85.2%的准确率。
2016-06-10 cs.CL
Entity Linking via Dual and Cross-Attention Encoders
University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
实体链接有两个主要的开放研究领域:1)生成候选实体而不使用别名表,2)为提及和实体生成更多的上下文表示。最近,对于前者已经提出了作为双编码器实体检索系统的解决方案(Gillick等人,2019),它学习同一空间中的提及和实体表示,并通过选择与该空间中的提及最近的实体来执行链接。在这项工作中,我们只使用这个检索系统生成候选实体。然后,我们通过使用交叉注意编码器对目标提及和每个候选实体进行重新排序。而双编码器方法强制所有信息包含在用于表示提及和实体的小的、固定的向量维度集合中,交叉注意模型允许使用来自每个<提及,上下文,候选实体>元组的全部的详细信息(读:特征)。我们实验的reranker中使用的功能,包括不同的方式,将文档级的上下文。我们在TACKBP-2010数据集上获得了最先进的结果,准确率为92.05%。此外,我们还展示了在更大的CoNLL-2003数据集上训练并在TACKBP-2010上评估时,重新评分模型如何很好地泛化。
2020-04-07 cs.CL
Generative Entity-to-Entity Stance Detection with Knowledge Graph Augmentation
University of Michigan(密歇根大学);Northeastern University(东北大学)
姿态检测通常被构建为预测给定文本中对目标实体的情感。然而,这种设置忽略了源实体的重要性,即,谁在表达意见。在本文中,我们强调需要研究实体之间的相互作用时,推断立场。我们首先介绍了一个新的任务,实体到实体(E2E)的立场检测,其中总理模型,以确定其规范名称的实体和辨别立场联合。为了支持这项研究,我们策划了一个新的数据集,其中包含10,619个注释,这些注释来自不同意识形态倾向的新闻文章。我们提出了一个新的生成框架,允许生成的规范名称的实体,以及他们之间的立场。我们进一步增强了模型与图形编码器,以总结实体活动和外部知识的实体。实验表明,我们的模型优于强大的比较大的利润率。进一步的分析表明,E2E立场检测理解媒体报价和立场景观,以及推断实体意识形态的有用性。
2022-11-02 cs.CL
A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition
Wuhan University(武汉大学);Tianjin University(天津大学)
重叠和不连续命名实体识别的研究越来越受到人们的关注。以前的大部分工作集中在重叠或不连续的实体。在本文中,我们提出了一种新的跨度为基础的模型,可以识别重叠和不连续的实体联合。该模型包括两个主要步骤。首先,通过遍历所有可能的文本跨度来识别实体片段,从而可以识别重叠的实体。其次,我们进行关系分类,以判断是否一对给定的实体片段是重叠或继承。这样,我们不仅可以识别不连续的实体,同时双重检查重叠的实体。整体而言,我们的模型本质上可以视为一个关系抽取范例。在多个基准数据集上的实验结果(即,CLEF,GENIA和ACE05)表明,我们的模型对于重叠和不连续的NER具有很强的竞争力。
2021-06-28 cs.CL
InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院);iFLYTEK AI Research (Hebei)(讯飞人工智能研究院(河北))
知识图谱嵌入(KGE)模型学习知识图谱中实体和关系的表示。基于距离的方法在链接预测任务中表现出良好的性能,该任务通过两个实体表示之间的距离来预测结果。然而,这些方法大多数表示头实体和尾实体分开,这限制了模型的容量。我们提出了两个新的基于距离的方法命名为InterHT和InterHT+,使头部和尾部实体更好地相互作用,并得到更好的实体表示。实验结果表明,该方法在ogbl-wikikikg 2数据集上取得了较好的效果.
2022-12-23 cs.CL
Semi-constraint Optimal Transport for Entity Alignment with Dangling Cases
Tsinghua University(清华大学);Duke University(杜克大学)
实体对齐通过识别不同知识图中的等价实体来实现知识图谱的融合,有效地丰富了知识图的知识表示。然而,在实践中,不同的KG往往包括悬空实体,其对应物不能在其他图中找到,这限制了EA方法的性能。为了提高EA与悬空实体,我们提出了一种无监督的方法称为半约束最优运输实体对齐悬空的情况下(SoTead)。我们的主要思想是将两个KG之间的实体对齐建模为从一个KG的实体到另一个KG的实体的最优运输问题。首先,我们基于预训练的词嵌入在KG之间设置伪实体对。然后,我们进行对比度量学习,以获得每个实体对之间的传输成本。最后,我们为每个KG引入一个虚拟实体来“对齐”来自其他KG的悬挂实体,这放松了优化约束并导致半约束最优运输。在实验部分,我们首先展示了SoTead在常用实体对齐数据集上的优越性。此外,为了分析悬挂实体检测与其他基线的能力,我们构建了一个医学跨语言知识图谱数据集MedED,其中我们的SoTead也达到了最先进的性能。
2022-06-28 cs.CL
Different Tastes of Entities: Investigating Human Label Variation in Named Entity Annotations
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文研究英语、丹麦语和巴伐利亚语专家标注命名实体数据中的标注分歧,发现文本歧义和指南变更是主因,并通过学生标注调查证实多标注的可行性与必要性。
2024-02-02 cs.CL
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University(巴纳斯塔利大学)
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中,名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验,它们是:专有名称,位置名称,组织名称和杂项。为了音节化的目的,已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
Entity Commonsense Representation for Neural Abstractive Summarization
Yonsei University(延世大学)
文本摘要的主要部分包括在原始文本中找到的重要实体。这些实体构成了摘要的主题。此外,一旦它们与知识库相关联,它们就拥有常识信息。基于这些观察,本文研究了链接实体的使用,以指导神经文本摘要器的解码器生成简洁和更好的摘要。为此,我们利用一个现成的实体链接系统(ELS)提取链接的实体,并提出一个模块,很容易附加到一个序列到序列的模型,将一个列表的实体转换成一个向量表示的主题的摘要。目前可用的ELS仍然不够有效,可能会引入未解决的模糊性和不相关的实体。我们解决了ELS的缺陷(a)编码实体与选择性消歧,和(b)池实体向量使用公司的注意力。通过将E2T应用于以注意力机制为基础模型的简单序列到序列模型,我们看到Gigaword(句子到标题)和CNN(长文档到多句突出显示)摘要数据集的性能至少有2个ROUGE点的显着改善。
2018-06-14 cs.CL
Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation
University of Oregon(俄勒冈大学);Auburn University(奥本大学);Peking University(北京大学)
跨语言实体对齐的目标是将不同单语知识库(KBs)中的相同实体精确地连接在一起,其经常遭受来自特征不一致和序列上下文不知晓的挑战。本文提出了一个用于跨语言实体对齐的双对抗学习框架DAEA,其中有两个原创性贡献。首先,针对两个知识图谱中实体之间结构和属性特征不一致的问题,提出了一种对抗性核嵌入技术,以无监督的方式提取图不变信息,并将两个知识图谱投影到公共嵌入空间中.其次,为了进一步提高实体对齐的成功率,我们提出了通过每个待对齐的实体产生多个随机游走,并在随机游走中屏蔽这些实体。在多个随机游走的背景下,在已知对齐实体的指导下,开发了一个对抗性知识翻译模型,以填充和翻译来自两个KG的成对随机游走中的掩蔽实体。在真实世界数据集上进行的大量实验表明,DAEA可以很好地解决特征不一致和序列上下文未知问题,并显着优于13个最先进的实体比对方法。
2021-04-16 cs.CL
Knowledge-Rich Self-Supervision for Biomedical Entity Linking
Microsoft Research(微软研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
实体链接面临着巨大的挑战,如多产的变化和普遍的歧义,特别是在高价值的领域与无数的实体。标准的分类方法受到注释瓶颈的影响,不能有效地处理不可见的实体。Zero-shot实体链接已经成为推广到新实体的一个有前途的方向,但它仍然需要在训练期间提到的示例黄金实体和对所有实体的规范描述,这两者在维基百科之外很少可用。在本文中,我们探讨知识里奇自我监督($\tt KRISS$)的生物医学实体链接,利用现成的领域知识。在训练中,它使用领域本体在未标记文本上生成自监督提及示例,并使用对比学习训练上下文编码器。对于推理,它将自监督提及作为每个实体的原型进行采样,并通过将测试提及映射到最相似的原型来进行链接。我们的方法可以很容易地将实体描述和黄金提到标签,如果可用的话。我们对涵盖生物医学文献和临床笔记的七个标准数据集进行了广泛的实验。在不使用任何标记信息的情况下,我们的方法产生$\tt KRISSBERT$,这是一个通用的实体链接器,用于400万个UMLS实体,达到了最新的技术水平,在准确性上超过了之前的自监督方法20个绝对点。
2022-05-23 cs.CL
From Alignment to Entailment: A Unified Textual Entailment Framework for Entity Alignment
Nankai University(南开大学)
本文将实体对齐任务转化为跨知识图谱实体序列的双向文本蕴含任务,利用预训练语言模型显式建模原始信息的细粒度交互,在五个数据集上优于现有方法并实现异构信息互促。
2023-05-19 cs.CL
Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating Spurious Correlations in Entity Typing
University of Southern California(南加州大学)
实体分类的目的是预测一个或多个描述句子中特定提及类型的单词。由于从表面模式到标注实体标签的捷径和有偏见的训练,现有的实体分类模型受到虚假相关性的问题。为了全面研究实体分型方法的可信度和可靠性,我们首先系统地定义了不同类型的模型偏差,这些偏差主要反映在虚假的相关性上。特别是,我们确定了六种类型的现有的模型偏差,包括提及上下文偏差,词汇重叠偏差,命名实体偏差,代词偏差,依赖偏差和过度概括偏差。为了减轻模型偏差,我们引入了一个反事实的数据增强方法。通过用去偏见的对应物来增强原始训练集,模型被迫完全理解句子并发现实体类型的基本线索,而不是依赖于虚假的相关性来寻找捷径。在UFET数据集上的实验结果表明,我们的反事实数据增强方法有助于提高不同实体类型模型的泛化能力,在原始测试集和去偏测试集上都具有更好的性能。
2022-10-26 cs.CL
Parallel Instance Query Network for Named Entity Recognition
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
命名实体识别是自然语言处理中的一项基本任务。最近的作品对待命名实体识别作为一个阅读理解任务,手动构建特定类型的查询提取实体。这一模式存在三个问题。首先,特定于类型的查询只能提取一种类型的实体,这是低效的。第二,不同类型实体的提取是孤立的,忽略了它们之间的依赖关系。第三,查询构造依赖于外部知识,难以应用于具有数百种实体类型的现实场景。为了解决这些问题,我们提出了并行实例查询网络(PIQN),它建立了全局和可学习的实例查询,以并行的方式从句子中提取实体。每个实例查询预测一个实体,通过同时提供所有实例查询,我们可以并行查询所有实体。实例查询不是从外部知识构造的,而是可以在训练期间学习它们不同的查询语义。为了训练模型,我们将标签分配视为一对多线性分配问题(LAP),并以最小的分配成本动态地将黄金实体分配给实例查询。在嵌套和平面NER数据集上的实验表明,我们提出的方法优于以前的最先进的模型。
2022-03-20 cs.CL
An entity-guided text summarization framework with relational heterogeneous graph neural network
School of Computer Science, Nanjing University of Posts and Telecommunications(南京邮电大学计算机学院)
本文提出实体引导的两步摘要框架,利用实体构建连接KG的加权异构句子-实体图,并通过关系异构GNN建模跨句关系与外部知识,在CNN/DM和NYT50上取得优于基线的效果。
2023-02-07 cs.CL
Clustering-based Inference for Biomedical Entity Linking
College of Information and Computer Sciences University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Chan Zuckerberg Initiative(陈-扎克伯格倡议)
由于生物医学知识库中存在大量的实体,只有一小部分实体具有相应的标记训练数据。这就需要实体链接模型,这些模型能够使用学习到的实体表示来链接提到的不可见实体。以前的方法独立地链接每个提及,忽略了实体提及之间的文档内和跨文档的关系。这些关系对于生物医学文本中的链接提及非常有用,其中链接决定通常很困难,因为提及具有通用或高度专业化的形式。在本文中,我们介绍了一个模型,在该模型中,不仅可以通过链接到一个知识库实体,但也通过分组多个提到一起,通过聚类和共同作出链接预测的链接决策。在最大的公开生物医学数据集上的实验中,我们将实体链接的最佳独立预测提高了3.0个点的准确性,并且我们基于聚类的推理模型进一步提高了实体链接2.3个点。
2021-04-08 cs.CL
GUMsley: Evaluating Entity Salience in Summarization for 12 English Genres
Georgetown University(乔治城大学)
该研究提出首个覆盖12种英语体裁、含多类标注的实体显著性数据集GUMsley,确立严格显著性定义,发现现有SOTA摘要模型与零样本LLM捕捉显著实体表现不佳,而引入显著实体可提升摘要质量并缓解实体幻觉。
2024-01-31 cs.CL
Multi-Grained Named Entity Recognition
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University at Buffalo(布法罗大学);Zhejiang Lab(之江实验室);Tencent Medical AI Lab(腾讯医疗AI实验室);Alibaba Group(阿里巴巴集团);Tencent America(腾讯美国)
本文提出了一种新的框架,MGNER,多粒度命名实体识别,在一个句子中的多个实体或实体提到可以是不重叠或完全嵌套。不同于传统的方法,NER作为一个连续的标签任务和注释实体连续,MGNER检测和识别多粒度的实体:它能够识别命名的实体,而无需明确地假设非重叠或完全嵌套的结构。MGNER由一个检测器和一个分类器组成,检测器检查所有可能的单词段,分类器对实体进行分类。此外,上下文信息和自我注意力机制被用于整个框架,以提高NER性能。实验结果表明,MGNER优于目前最先进的基线高达4.4%的F1得分之间嵌套/非重叠NER任务。
2019-06-20 cs.CL
ProtagonistTagger -- a Tool for Entity Linkage of Persons in Texts from Various Languages and Domains
Warsaw University of Technology(华沙工业大学)
命名实体识别和消歧可以为文本中已识别的命名实体添加语义上下文。文本中的命名实体链接,无论是哪个领域,都提供了非结构化文本中提到的实体与现实世界对象的各个实例之间的链接。在这张海报中,我们为文本中的NER和NED提供了一个工具--programonistTagger。该工具在从经典英语小说和波兰互联网新闻中提取的文本上进行了测试。该工具的性能(准确率和召回率)在78%甚至88%之间波动。
2022-03-13 cs.CL
"I've Heard of You!": Generate Spoken Named Entity Recognition Data for Unseen Entities
Huawei Translation Services Center(华为翻译服务中心);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对口语NER系统难以识别未见实体的问题,本文提出基于命名实体词典,结合大语言模型生成句子和TTS生成语音的数据生成方法,并引入噪声过滤,在多个零样本设置下取得SOTA性能。
2024-12-26 cs.CL
Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
实体链接(EL)是将文档中提到的实体链接到知识库(KB)中的引用实体的任务。许多以前的研究集中在维基百科衍生的知识库。关于维基数据的EL的工作很少,尽管它是最广泛的众包KB。维基数据的规模可以开辟许多新的现实世界的应用程序,但其庞大的实体数量也使EL具有挑战性。为了有效地缩小搜索空间,我们提出了一种新的候选检索模式的基础上实体分析。维基数据实体及其文本字段首先被索引到文本搜索引擎中(例如,Elasticsearch)。在推理过程中,给定提及及其上下文,我们使用序列到序列(seq 2seq)模型来生成目标实体的配置文件,其中包括其标题和描述。我们使用配置文件来查询索引的搜索引擎以检索候选实体。我们的方法补充了使用维基百科锚文本字典的传统方法,使我们能够进一步设计一个高效的混合方法进行候选人检索。结合一个简单的交叉注意力重新排序器,我们完整的EL框架在三个基于维基数据的数据集上实现了最先进的结果,并在TACKBP-2010上实现了强大的性能。
2022-03-14 cs.CL
Generalizing to Unseen Entities and Entity Pairs with Row-less Universal Schema
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
通用模式通过联合嵌入所有可用模式类型的联合来预测知识库(KB)中的实体和关系的类型-不仅是来自多个结构化数据库(如Freebase或Wikipedia信息框)的类型,而且还表示为原始文本的文本模式。这种预测通常被建模为矩阵补全问题,每列一种类型,每行一个或两个实体(分别是实体类型或二元关系类型)。对这个稀疏观测的矩阵进行因子分解,为每行和每列生成一个学习的向量嵌入。在本文中,我们探讨了对训练时看不到的实体或实体对进行预测的问题(因此没有预先学习的行嵌入)。我们提出了一种没有每行参数的方法;相反,我们使用该行观察到的列的向量的学习聚合函数在运行中产生一个行向量。我们实验了各种聚合函数,包括神经网络注意力模型。我们的方法可以被理解为一个自然语言数据库,在这个问题上的知识库实体回答出席文本或数据库的证据。在预测关系和实体类型的实验中,我们证明了尽管参数比传统的通用模式少了一个数量级,但我们可以匹配传统模型的准确性,更重要的是,我们现在可以预测看不见的行,其准确性与训练时可用的行几乎相同。
2017-01-09 cs.CL
SpanRE: Entities and Overlapping Relations Extraction Based on Spans and Entity Attention
ZheJiang University(浙江大学)
本文提出SpanRE方法,通过标准片段机制抽取候选主体,并利用带标签的片段机制同时抽取客体和关系,结合实体注意力机制增强信息融合,在两个公开数据集上取得最佳性能,彻底解决了三元组重叠问题。
2023-04-06 cs.CL
Nested Named Entity Recognition via Second-best Sequence Learning and Decoding
Carnegie Mellon University(卡内基梅隆大学);Sony Corporation(索尼公司)
当实体名称中包含其他名称时,识别所有名称组合可能变得困难和昂贵。我们提出了一种新的方法来识别不仅最外层命名实体,而且内部嵌套的。我们设计了一个目标函数来训练神经模型,该神经模型将嵌套实体的标签序列视为其父实体范围内的第二最佳路径。此外,我们提供了解码方法的推理,提取实体迭代地从最外面的到内部的一个由外向内的方式。我们的方法没有额外的超参数,广泛用于平面命名实体识别任务的条件随机场为基础的模型。实验表明,我们的方法比现有的方法能够处理嵌套实体,实现F1分数85.82%,84.34%,和77.36%的ACE-2004,ACE-2005,和GENIA数据集,分别执行或至少以及。
2020-07-10 cs.CL
ISA-bEL: Intelligent Search Algorithm based on Entity Linking
Vodafone(沃达丰)
如今,人们与计算机交互的方式已经发生了变化。基于文本或语音的界面在不同行业中得到广泛应用。处理用户输入的最常用的方法是基于意图或检索算法的方法。在这些解决方案中,用户的重要信息可能在该过程中丢失。对于所提出的自然语言处理流水线,在实体是用户的目的所在的假设下,实体将扮演主要角色。提供了上下文的实体将被投射到由知识图谱支持的特定领域,从而产生被称为链接实体的实体。然后,这些链接的实体用作在我们的知识图谱内搜索顶级聚合概念的关键字。
2022-05-09 cs.CL
Robustness Evaluation of Entity Disambiguation Using Prior Probes:the Case of Entity Overshadowing
University of Amsterdam(阿姆斯特丹大学)
实体消歧(ED)是实体链接(EL)的最后一步,当候选实体根据它们出现的上下文重新排序时。所有用于训练和评估EL模型的数据集都由便利样本组成,例如新闻文章和推文,这些样本将实体分布的先验概率偏差传播给更频繁出现的实体。先前表明,EL系统在此类数据集上的性能被高估,因为仅通过学习先验知识就可以获得更高的准确度分数。为了提供更充分的评估基准,我们引入了ShadowLink数据集,其中包括16 K带有实体提及注释的短文本片段。我们评估和报告流行的EL系统的性能的ShadowLink基准。结果表明,在评估中的所有EL系统的更多和更少的共同实体之间的准确性有相当大的差异,表现出先验概率偏差和实体遮蔽的影响。
2021-12-14 cs.CL
Musical Heritage Historical Entity Linking
University of Bologna(博洛尼亚大学);University of Pisa(比萨大学);Ca’ Foscari University of Venice(威尼斯福斯卡里大学)
本文构建音乐历史文本实体链接基准MHERCL,提出无监督EL模型及利用知识图谱扩展监督链接器的方法,以更好识别NIL实体。
2025-02-13 cs.CL
Contrastive Learning with Hard Negative Entities for Entity Set Expansion
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harbin Institute of Technology(哈尔滨工业大学);School of Intelligent Systems Engineering, Sun-Yat Sen University(中山大学智能系统工程学院)
实体集扩展(ESE)是一个很有前途的任务,其目的是扩展由一个小的种子实体集描述的目标语义类的实体。各种NLP和IR应用程序将受益于ESE,因为它能够发现知识。虽然以前的ESE方法已经取得了很大的进展,但它们中的大多数仍然缺乏处理硬否定实体的能力(即,为了解决这一问题,我们设计了一个基于对比学习的实体级掩码语言模型,以改进实体的表示。此外,我们提出了ProbExpan,一个新的概率ESE框架,利用上述语言模型扩展实体的实体表示。在三个数据集上的大量实验和详细分析表明,我们的方法优于以前的最先进的方法。
2022-04-25 cs.CL cs.IR
Combining Spans into Entities: A Neural Two-Stage Approach for Recognizing Discontiguous Entities
University of Edinburgh(爱丁堡大学);Singapore University of Technology and Design(新加坡科技设计大学)
在医学文档中,感兴趣的实体可能不仅包含不连续的单词序列,而且还与另一实体重叠。由于可能的实体组合的大空间,这种结构的实体本质上难以识别。在这项工作中,我们提出了一种神经两阶段方法,通过将这个问题分解为两个子任务来识别不连续和重叠的实体:1)它首先基于分段超图的表示来检测所有重叠的跨度,这些跨度要么自己形成实体,要么作为不连续实体的分段来呈现,2)接下来它学习用分类器将这些分段组合成不连续实体,其过滤掉其他不正确的段组合。两个神经元组件分别为这些子任务设计,并使用共享的文本编码器共同学习。我们的模型在标准数据集中实现了最先进的性能,即使在没有以前方法使用的外部特征的情况下。
2019-09-03 cs.CL
Entity Linking for Queries by Searching Wikipedia Sentences
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Microsoft Research Asia(微软亚洲研究院);Shandong University(山东大学)
我们提出了一个简单而有效的方法来连接查询中的实体。其核心思想是从维基百科文章中搜索与查询相似的句子,并直接使用相似句子中的人工标注实体作为查询的候选实体。然后,我们采用了一组丰富的功能,如链接概率,上下文匹配,词嵌入,以及候选实体之间的相关性,以及它们的相关实体,在一个基于回归的框架下对候选人进行排名。我们的方法的优点在于两个方面,这有助于排名过程和最终的链接结果。首先,它可以通过过滤掉与查询中的词不相关的实体来大大减少候选实体的数量。其次,我们可以获得查询敏感的先验概率,除了静态链接概率来自所有维基百科的文章。我们在两个基准数据集上进行了实体链接查询的实验,即ERD14数据集和GERDAQ数据集。实验结果表明,我们的方法优于国家的最先进的系统,并在ERD 14数据集和GERDAQ数据集上的F1收益率分别为75.0%和56.9%。
2017-05-18 cs.CL
Effective Use of Transformer Networks for Entity Tracking
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在过程语言中跟踪实体需要理解对实体的操作所引起的转换以及这些实体的交互。虽然GPT和BERT等基于自我注意力的预训练语言编码器已成功应用于一系列自然语言理解任务,但它们处理过程文本细微差别的能力仍未得到测试。在本文中,我们探讨了使用预训练的Transformer网络的实体跟踪任务的过程文本。首先,我们使用预先训练的Transformers测试了标准的轻量级预测方法,发现这些方法甚至不如简单的基线。我们表明,更强大的结果,可以通过重组的输入,以指导Transformer模型专注于一个特定的实体。其次,我们评估Transformer网络捕获过程动态的程度,调查合并实体和倾斜实体引用等因素。在两个不同的任务上,配方中的成分检测和科学过程中的QA,我们实现了最先进的结果,但我们的模型仍然主要关注浅层上下文线索,并且没有形成中间实体或过程状态的复杂表示。
2019-09-05 cs.CL
Joint Entity Linking with Deep Reinforcement Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
实体链接是将提及与给定知识库中的相应实体对齐的任务。以往的研究强调,实体联系系统必须体现全球一致性。然而,以往的全球模型有两个共同的弱点。首先,他们中的大多数计算所有候选实体之间的成对得分,并选择最相关的实体组作为最终结果。在这个过程中,涉及到错误实体之间的一致性以及正确实体之间的一致性,这可能会引入噪声数据,增加模型的复杂性。第二,先前消歧的实体的线索,这可能有助于后续提及的消歧,通常被先前的模型忽略。为了解决这些问题,我们将全局连接转换为序列决策问题,并提出了一个强化学习模型,从全局的角度进行决策。我们的模型充分利用了先前提到的实体,并探讨了当前选择对后续决策的长期影响。我们在不同类型的数据集上进行了实验,结果表明,我们的模型优于最先进的系统,具有更好的泛化性能。
2019-02-01 cs.CL
Be Concise and Precise: Synthesizing Open-Domain Entity Descriptions from Facts
Rutgers University - New Brunswick(罗格斯大学新不伦瑞克分校)
尽管是事实信息的巨大存储库,但跨域知识图谱,如维基数据和谷歌知识图谱,仅稀疏地提供对实体的简短概括性描述。这种简要识别实体最明显特征的描述为读者提供了几乎即时的了解他们所呈现的实体类型的信息。它们还可以帮助完成命名实体消歧、本体类型确定和回答实体查询等任务。鉴于知识图谱中的实体数量迅速增加,从底层事实信息中全自动合成简洁的文本描述是必不可少的。为此,我们提出了一种新的事实到序列的编码器-解码器模型,具有合适的复制机制,以生成简洁而精确的实体文本描述。在深入的评估中,我们证明了我们的方法显着优于最先进的替代品。
2019-04-16 cs.CL
Namesakes: Ambiguously Named Entities from Wikipedia and News
Primer Technologies Inc.(Primer科技公司)
我们提出了一个数据集,从英语维基百科和新闻文章中获得的模糊命名的实体。它由4148个独特实体及其同名的58862次提及组成:1000次来自新闻,28843次来自维基百科关于该实体的文章,29019次维基百科反向链接提及。标记应该有助于为命名实体链接(NEL)任务建立具有挑战性的基准。
2021-11-22 cs.CL
Type-supervised sequence labeling based on the heterogeneous star graph for named entity recognition
Jilin University(吉林大学)
命名实体识别是自然语言处理中的一项基本任务,它能识别非结构化文本中实体的跨度和类别。传统的序列标记方法忽略了嵌套实体,即包含在其他实体提及中的实体。许多方法试图解决这种情况,其中大多数依赖于复杂的结构或具有高计算复杂度。研究了包含文本节点和类型节点的异构星图的表示学习问题。此外,我们修改的图注意力机制到一个混合的形式,以解决其在特定的拓扑结构的不合理性。该模型在更新图中的节点之后执行类型监督序列标记。注释方案是单层序列标记的扩展,能够处理绝大多数嵌套实体。在公共NER数据集上的大量实验表明,我们的模型在提取平面和嵌套实体方面都是有效的。该方法在平面和嵌套数据集上都实现了最先进的性能。准确率的显著提高反映了多层标记策略的优越性。
2022-10-21 cs.CL
Entity-Agnostic Representation Learning for Parameter-Efficient Knowledge Graph Embedding
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Software Technology, Zhejiang University(浙江大学软件学院);Donghai Laboratory(东海实验室);Huawei Technologies Co., Ltd.(华为技术有限公司);School of Informatics, The University of Edinburgh(爱丁堡大学信息学院);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
针对嵌入知识图谱所带来的参数存储效率低下的问题,提出了一种与实体无关的表示学习方法.传统的知识图谱嵌入方法通过向知识图谱中的元素分配一个或多个特定嵌入(即,向量表示)。因此,嵌入参数的数量随着知识图谱的增长而线性增加。在我们提出的模型中,不可知表示学习(EARL),我们只学习一小部分实体的嵌入,并将它们称为保留实体。为了获得完整实体集的嵌入,我们从它们的连接关系、k-最近保留实体和多跳邻居中编码它们的可区分信息。我们学习通用和实体不可知的编码器,用于将可区分的信息转换为实体嵌入。这种方法使我们提出的EARL具有静态的,高效的,和较低的参数计数比传统的知识图谱嵌入方法。实验结果表明,EARL使用较少的参数,性能优于基线的链接预测任务,反映了其参数的效率。
2023-02-03 cs.CL
Improving Entity Disambiguation by Reasoning over a Knowledge Base
Amazon Alexa AI(亚马逊Alexa人工智能部门)
实体消歧(ED)中的最近工作通常忽略了结构化知识库(KB)事实,而是依赖于KB信息的有限子集,例如实体描述或类型。这限制了可以消除实体歧义的上下文的范围。为了允许使用所有的知识库的事实,以及描述和类型,我们引入了一个ED模型,通过推理在一个符号知识库中的一个完全可区分的方式链接实体。我们的模型在六个成熟的ED数据集上平均超过了最先进的基线1.3 F1。通过允许访问所有KB信息,我们的模型对基于流行度的实体先验的依赖性更低,并将具有挑战性的ShadowLink数据集(强调不频繁和模糊的实体)的性能提高了12.7 F1。
2022-07-08 cs.CL
On Entity Identification in Language Models
Tohoku University(东大大学);RIKEN(日本研究机构);NINJAL(日本国家情报机构);Langsmith Inc.(Langsmith公司);MBZUAI
本文通过聚类分析量化语言模型内部表征对命名实体的识别与区分能力,发现实体信息在早期层以低维线性子空间紧凑表示,并揭示了实体表征特性对词语预测的影响。
2025-07-20 cs.CL
Ered: Enhanced Text Representations with Entities and Descriptions
Beihang University(北京航空航天大学);University of Science and Technology of China(中国科学技术大学)
外部知识,例如,实体和实体描述,可以帮助人类理解文本。已经探索了许多工作,以在预训练模型中包括外部知识。这些方法通常设计预训练任务,并通过更新模型权重来隐式地引入知识,或者直接将其与原始文本一起使用。虽然有效,但有一些限制。一方面,它是隐式的,只关注模型权重,忽略了预先训练的实体嵌入。另一方面,实体描述可能很长,并且与原始文本一起输入到模型中可能会分散模型的注意力。本文的目的是明确包括实体和实体描述的微调阶段。首先,预先训练的实体嵌入与原始文本表示融合,并由主干模型逐层更新。其次,描述由骨干模型外的知识模块表示,每个知识层有选择地连接到一个骨干层进行融合。第三,两个与知识相关的辅助任务,即,实体/描述增强和实体增强/污染任务,被设计为平滑进化表示之间的语义间隙。我们在四个面向知识的任务和两个常见任务上进行了实验,结果在几个数据集上达到了新的水平。此外,我们进行了烧蚀研究,以表明我们的方法中的每个模块是必要的。该代码可在https://github.com/lshowway/Ered上获得。
2022-08-18 cs.CL