Prompt-Learning for Fine-Grained Entity Typing
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Seoul National University（首尔国立大学）
作为调整预训练语言模型（PLMs）以适应特定任务的一种有效方法，人工学习近年来受到了研究者的广泛关注。通过使用\textit{cloze}风格的语言提示来刺激PLM的通用知识，自动学习可以在一系列NLP任务上取得有希望的结果，例如自然语言推理，情感分类和知识探测。在这项工作中，我们研究了在完全监督，Few-Shot和zero-shot场景中细粒度实体类型化的学习应用。我们首先通过构建面向实体的动词化器和模板并进行掩码语言建模来开发一个简单有效的机器学习管道。此外，为了解决zero-shot制度，我们提出了一个自我监督的策略，进行分布级优化，自动总结实体类型的信息。在完全监督、Few-Shot和zero-shot设置下，对三个细粒度实体类型化基准（最多86个类）进行了广泛的实验，结果表明，自学习方法的性能显著优于微调基线，特别是当训练数据不足时。
2021-08-24 cs.AI cs.CL
Entity Type Prediction Leveraging Graph Walks and Entity Descriptions
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；SAP SE（思爱普）；University of Mannheim（曼海姆大学）
知识图谱（KG）中的实体类型信息，如DBpedia，Freebase等，往往是不完整的，由于自动生成或人工策展。实体类型化是分配或推断KG中实体的语义类型的任务。本文提出了\textit{GRAND}，一种新的实体分类方法，利用RDF2vec中的不同图遍历策略以及文本实体描述。RDF2vec首先生成图遍历，然后使用语言模型来获取图中每个节点的嵌入。本研究表明，步行生成策略和嵌入模式对实体打字任务的绩效有显着影响。所提出的方法优于基准数据集DBpedia和FIGER的细粒度和粗粒度类的KG实体类型的基线方法。结果表明，顺序感知的RDF2vec变体与文本实体描述的上下文嵌入的组合实现了最佳结果。
2022-07-29 cs.AI cs.CL
AsyncET: Asynchronous Learning for Knowledge Graph Entity Typing with Auxiliary Relations
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
针对知识图谱实体类型预测中单一辅助关系表达能力有限的问题，提出引入多个辅助关系并采用异步学习方案AsyncET，交替更新实体与类型嵌入，显著提升性能且降低模型大小和时间复杂度。
2023-08-30 cs.AI cs.CL
Recall, Expand and Multi-Candidate Cross-Encode: Fast and Accurate Ultra-Fine Entity Typing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
超精细实体分型（UFET）预测极其自由形式的类型（例如，总统、政治家）提及给定实体（例如，乔·拜登（Joe Biden）。最先进的（SOTA）方法使用基于交叉编码器（CE）的架构。CE将提及（及其上下文）与每个类型连接起来，并将这些对输入到预先训练的语言模型（PLM）中，以对其相关性进行评分。它在提及和类型之间带来了更深层次的交互，以达到更好的性能，但必须执行N（类型集大小）向前传递来推断单个提及的类型。因此，当类型集很大时，CE在推理中非常慢（例如，对于UFET，N = 10 k）。为此，我们建议以recall-expand-filter方式执行实体类型化。召回和扩展阶段修剪大型类型集，并为每次提及生成K个（K通常小于256）最相关的类型候选。在过滤器阶段，我们使用一种名为MCCE的新模型，在一次前向传递中同时对这K个候选项进行编码和评分，以获得最终的类型预测。我们研究了MCCE的不同变体，广泛的实验表明，MCCE在我们的范式下达到了超精细实体类型的SOTA性能，并且比交叉编码器快数千倍。我们还发现MCCE在细粒度（130种类型）和粗粒度（9种类型）实体类型化方面非常有效。我们的代码可在\url{https://github.com/modelscope/AdaSeq/tree/master/examples/MCCE}上获得。
2022-12-18 cs.AI cs.CL
EPPAC: Entity Pre-typing Relation Classification with Prompt AnswerCentralizing
关系分类（RC）的目的是预测在给定的上下文中的一对主语和宾语之间的关系。最近，提示微调方法在RC中已经实现了高性能。然而，现有的提示微调方法具有以下问题：（1）众多类别降低RC性能;（2）手动设计的提示需要密集劳动。为了解决这些问题，本文提出了一种新的范例，实体预类型化的关系分类与提示答案集中（EPPAC）。EPPAC中的实体预绑定是为了解决第一个问题，使用一个双层框架，在RC之前预先类型化实体，并提出了快速回答集中，以解决第二个问题。大量的实验表明，我们提出的EPPAC优于国家的最先进的方法TACRED和TACREV的14.4%和11.1%，分别。该代码在补充材料中提供。
2022-03-08 cs.AI cs.CL
A Chinese Corpus for Fine-grained Entity Typing
HKUST（香港科技大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）
细粒度实体分类是一个具有挑战性的任务，具有广泛的应用。然而，这项任务的大多数现有数据集都是英文的。在本文中，我们介绍了一个用于中文细粒度实体分类的语料库，其中包含4，800个通过众包手动标记的提及。每个引用都使用自由格式的实体类型进行注释。为了使我们的数据集在更多可能的场景中有用，我们还将所有细粒度类型分类为10种一般类型。最后，我们对一些神经模型进行了实验，这些模型的结构在细粒度实体类型中是典型的，并展示了它们在我们的数据集上的表现。我们还展示了通过跨语言迁移学习提高中文细粒度实体分类的可能性。
2020-04-19 cs.CL
Denoising Enhanced Distantly Supervised Ultrafine Entity Typing
Baidu Research（百度研究院）
最近，远程监督（DS）超精细实体分类的任务受到了极大的关注。然而，DS数据是有噪声的，并且经常遭受缺失或错误的标签问题，导致低精度和低召回率。本文提出了一种新的具有去噪能力的超精细实体分类模型。具体来说，我们建立了一个噪声模型来估计输入上下文和噪声类型标签上的未知标签噪声分布。利用噪声模型，可以通过从输入中减去估计的噪声来恢复更可信的标签。此外，我们提出了一个实体分类模型，它采用双编码器架构，在去噪数据上进行训练。最后，噪声模型和实体分类模型被迭代地训练以相互增强。我们在Ultra-Fine实体类型数据集和OntoNotes数据集上进行了广泛的实验，并证明了我们的方法显着优于其他基线方法。
2022-10-18 cs.CL
Multi-level Representations for Fine-Grained Typing of Knowledge Base Entities
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
实体是自然语言的基本元素。在本文中，我们提出了在三个互补层次上学习实体的多级表示的方法：字符（提取的实体名称中的字符模式，例如，通过神经网络）、词（实体名称中的词嵌入）和实体（实体嵌入）。我们调查了每个级别的最先进的学习方法，发现了很大的差异，例如，对于深度学习模型，传统的ngram特征和快速文本的子字模型（Bojanowski等人，2016）;对于word 2 vec（Mikolov等人，2013）;以及对于次序感知模型wang 2 vec（Ling et al.，2015年，在实体层面。我们证实实验，每个级别的表示贡献的互补信息和联合表示的所有三个级别提高了现有的嵌入基础上的基线细粒度实体打字的大幅度。此外，我们表明，从实体描述中添加信息，进一步提高了实体的多层次表示。
2017-01-16 cs.AI cs.CL
KCAT: A Knowledge-Constraint Typing Annotation Tool
Zhejiang University（浙江大学）；iFLYTEK Research（科大讯飞研究院）；University of Southern California（南加州大学）
细粒度实体分类是一项艰巨的任务，它会受到从远程监控中提取的噪声样本的影响。数千个手动注释的样本可以实现比以前的远程监督方法生成的数百万个样本更好的性能。然而，人类很难区分和记忆成千上万的类型，因此很难进行大规模的人类标记。在本文中，我们介绍了知识约束类型标注工具（KCAT），这是有效的细粒度实体类型标注。KCAT通过实体链接将候选类型的大小减小到人类可接受的范围内，并提供多步类型化方案来修改实体链接结果。此外，KCAT提供了一个高效的注释器客户端来加速注释过程，并提供了一个全面的管理器模块来分析众包注释。实验表明，KCAT能显著提高标注效率，标注时间消耗随着类型集规模的扩大而缓慢增加。
2019-06-13 cs.AI cs.CL
Corpus-level Fine-grained Entity Typing Using Contextual Information
Center for Information and Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
本文讨论了语料库级实体类型化的问题，即，从大型语料库推断出实体是诸如“食物”或“艺术家”之类的类的成员。我们感兴趣的实体类型化的应用是知识库完成，具体来说，就是学习实体是哪个类的成员。我们提出FIGMENT来解决这个问题。图1是基于嵌入的，并且组合（i）基于实体的聚合上下文信息进行评分的全局模型和（ii）首先对实体的个体出现进行评分然后聚合评分的上下文模型。在我们的评估中，FIGMENT大大优于依赖于由开放的信息抽取系统获得的关系的实体分类方法。
2016-06-25 cs.CL
Ultra-Fine Entity Typing with Weak Supervision from a Masked Language Model
HKUST（香港科技大学）；Instacart（因斯塔卡特）
最近，人们努力通过使用更丰富和超精细的类型集合来扩展细粒度的实体类型，并且标记包括代词和名词性名词的名词短语，而不仅仅是命名的实体提及。这种超精细实体分类任务的一个关键挑战是，人类注释的数据非常稀缺，现有的远程或弱监督方法的注释能力非常有限。为了解决这个问题，在本文中，我们建议通过使用BERT掩蔽语言模型（MLM）来获取用于超细实体分类的训练数据。给定一个句子中的提及，我们的方法为BERT MLM构造一个输入，以便它预测提及的上下文相关上位词，这些上位词可以用作类型标签。实验结果表明，在这些自动生成的标签的帮助下，超细实体分类模型的性能可以得到大幅提高。我们还表明，我们的方法可以应用于改进传统的细粒度实体类型执行简单的类型映射后。
2021-06-08 cs.CL
Improving Fine-grained Entity Typing with Entity Linking
HKUST（香港科技大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）
细粒度的实体类型是一个具有挑战性的问题，因为它通常涉及相对较大的标记集，并且可能需要理解实体提及的上下文。在本文中，我们使用实体链接来帮助细粒度的实体类型分类过程。我们提出了一个深度神经模型，它根据上下文和从实体链接结果中获得的信息进行预测。在两个常用数据集上的实验结果证明了该方法的有效性。在这两个数据集上，它实现了超过5%的绝对严格精度提高。
2019-09-26 cs.CL
Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating Spurious Correlations in Entity Typing
University of Southern California（南加州大学）
实体分类的目的是预测一个或多个描述句子中特定提及类型的单词。由于从表面模式到标注实体标签的捷径和有偏见的训练，现有的实体分类模型受到虚假相关性的问题。为了全面研究实体分型方法的可信度和可靠性，我们首先系统地定义了不同类型的模型偏差，这些偏差主要反映在虚假的相关性上。特别是，我们确定了六种类型的现有的模型偏差，包括提及上下文偏差，词汇重叠偏差，命名实体偏差，代词偏差，依赖偏差和过度概括偏差。为了减轻模型偏差，我们引入了一个反事实的数据增强方法。通过用去偏见的对应物来增强原始训练集，模型被迫完全理解句子并发现实体类型的基本线索，而不是依赖于虚假的相关性来寻找捷径。在UFET数据集上的实验结果表明，我们的反事实数据增强方法有助于提高不同实体类型模型的泛化能力，在原始测试集和去偏测试集上都具有更好的性能。
2022-10-26 cs.CL
Ultra-Fine Entity Typing
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们引入了一个新的实体类型任务：给定一个提到实体的句子，目标是预测一组自由形式的短语（例如摩天大楼，词曲作者或犯罪分子），这些短语描述了目标实体的适当类型。这种表述方式允许我们在大范围内使用一种新型的远距离监督：中心词，它表明它们出现在名词短语中的类型。我们表明，这些超细类型可以众包，并引入新的评估集，比现有的基准更加多样化和细粒度。我们提出了一个可以预测开放类型的模型，并使用多任务目标进行训练，该目标将我们的新头词监督与实体链接的先前监督相结合。实验结果表明，我们的模型在不同粒度下预测实体类型是有效的;它在现有的细粒度实体类型基准上达到了最先进的性能，并为我们新引入的数据集设置了基线。我们的数据和模型可从以下网站下载：http://nlp.cs.washington.edu/entity_type
2018-07-13 cs.AI cs.CL cs.LG
Fine-Grained Entity Typing for Domain Independent Entity Linking
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
神经实体链接模型非常强大，但存在过度拟合其训练领域的风险。对于这个问题，一个域的特征不仅在于文本的类型，甚至还在于实体的特定分布等特定因素，因为神经模型往往会通过记忆数据集中频繁实体的属性来过拟合。我们解决的问题，建立强大的实体链接模型，有效地推广，不依赖于标记的实体链接数据与特定的实体分布。我们的方法不是直接预测实体，而是对细粒度的实体属性进行建模，这可以帮助消除甚至密切相关的实体之间的歧义。我们从Wikipedia分类中获得大量的类型（数万个），并使用Wikipedia中的超链接提及来远程标记数据并训练实体类型模型。在测试时，我们使用此类型模型对提及进行分类，并使用软类型预测将提及链接到最相似的候选实体。我们在CoNLL-YAGO数据集上评估我们的实体链接系统（Hoffart等人，2011），并表明我们的方法优于以前的域独立的实体链接系统。我们还在来自WikilinksNED数据集的更难的设置中测试了我们的方法（Eshel等人，2017），其中所有提及实体对在测试时间期间是不可见的。结果表明，我们的方法比数据集上最先进的神经模型更好地推广。
2020-01-08 cs.AI cs.CL cs.LG
Narrative-UFET: Narrative Generation for Ultra-Fine Entity Typing
University of Colorado Boulder（科罗拉多大学博尔德分校）
提出Narrative-UFET方法，通过自动生成短叙事扩展超细粒度实体类型，利用叙事上下文改善长尾类型识别，其中类型变化变体提供更强信号。
2026-10-06 cs.AI cs.CL
The Integration of Semantic and Structural Knowledge in Knowledge Graph Entity Typing
The Chinese University of Hong Kong（香港中文大学）
针对知识图谱实体类型划分任务忽视语义知识及假阴性问题，提出融合语义与结构知识的SSET框架，通过语义编码、结构聚合和无监督重排三模块显著提升预测性能。
2024-04-12 cs.AI cs.CL
E2EET: From Pipeline to End-to-end Entity Typing via Transformer-Based Embeddings
The University of Western Australia（西澳大学）
实体分类（Entity Typing，ET）是识别语料库中每个实体的语义类型的过程。与命名实体识别不同，句子中的每个标记都标有零个或一个类标签，ET涉及用一个或多个类标签标记每个实体。现有的实体分类模型，在提到的水平，是有限的，由两个关键因素：他们不使用最近提出的上下文相关的嵌入，并在固定的上下文窗口上训练。因此，它们对窗口大小的选择很敏感，并且无法包含整个文档的上下文。鉴于这些缺点，我们建议将上下文使用基于transformer的嵌入用于提及级模型，以及使用Bi-GRU的端到端模型来消除对窗口大小的依赖。一项广泛的消融研究表明，上下文嵌入的有效性，提及级模型和竞争力，我们的端到端模型的实体类型。
2020-03-23 cs.CL
Polar Ducks and Where to Find Them: Enhancing Entity Linking with Duck Typing and Polar Box Embeddings
Meta AI；EPFL（洛桑联邦理工学院）
本文提出DUCK方法，利用duck typing定义实体类型，并在球面极坐标系中将关系表示为boxes，通过聚类相似类型实体来增强实体链接，在标准基准上性能提升7.9个F1点并媲美大参数生成模型。
2023-10-20 cs.AI cs.CL
Fine-grained Entity Typing through Increased Discourse Context and Adaptive Classification Thresholds
Johns Hopkins University（约翰斯·霍普金斯大学）
细粒度实体类型化是指为实体提及分配细粒度语义类型的任务。我们提出了一种神经架构，它学习分布式语义表示，利用更大量的语义上下文-文档和句子级别的信息-比以前的工作。我们发现，额外的上下文提高了性能，通过利用自适应分类阈值得到进一步的改善。实验表明，我们的方法不依赖于手工制作的功能实现了最先进的结果在三个基准数据集。
2018-04-21 cs.CL
Fine-Grained Entity Typing with High-Multiplicity Assignments
University of California, Berkeley（加州大学伯克利分校）
随着实体类型系统变得更丰富、更细粒度，我们预计分配给给定实体的类型数量会增加。然而，大多数细粒度的类型化工作都集中在表现出较低类型多样性的数据集上。在本文中，我们认为，如维基百科，具有半开放类型系统的数据源中固有的高多样性制度。我们引入了一个集预测的方法来解决这个问题，并表明我们的模型优于非结构化的基线上一个新的基于维基百科的细粒度打字语料库。
2017-04-25 cs.AI cs.CL cs.IR
EnCore: Fine-Grained Entity Typing by Pre-Training Entity Encoders on Coreference Chains
Cardiff University（卡迪夫大学）
针对细粒度实体类型标注人工标注成本高、共指链接噪声大的问题，提出EnCore方法，采用两种现成系统共预测的共指链接预训练实体编码器，刷新了细粒度实体类型标注基准最优性能并提升传统实体抽取效果。
2024-01-27 cs.CL
Learning to Denoise Distantly-Labeled Data for Entity Typing
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
远距离标记的数据可以用于扩大统计模型的训练，但它通常是有噪声的，并且噪声可以随着远距离标记技术而变化。在这项工作中，我们提出了一个两阶段的程序来处理这种类型的数据：去噪它与学习模型，然后训练我们的最终模型清洁和去噪的远程数据与标准的监督训练。我们的去噪方法由两部分组成。首先，过滤函数从完全不可用的远距离标记数据中丢弃示例。其次，重新标记函数修复保留示例的噪声标签。这些组件中的每一个都是在从一个小的手动标记集生成的合成噪声示例上训练的模型。我们在Choi et al.（2018）的超细实体分型任务中研究了这种方法。我们的基线模型是他们的模型的扩展，具有预训练的ELMo表示，已经达到了最先进的性能。添加已经用我们学习的模型去噪的远距离数据，可以在这个基础模型上获得进一步的性能提升，优于在原始远距离数据或经物理去噪的远距离数据上训练的模型。
2019-05-04 cs.AI cs.CL
Noise Mitigation for Neural Entity Typing and Relation Extraction
LMU Munich（慕尼黑大学）
在本文中，我们解决了两种不同类型的噪音在信息抽取模型：噪音从远程监督和噪音从管道输入功能。我们的目标任务是实体类型和关系抽取。对于第一种噪声类型，我们引入了基于神经网络模型的多实例多标签学习算法，并首次将其应用于细粒度实体分类。这使我们的模型具有与使用全局实体嵌入的最先进的监督方法相当的性能。对于第二种噪声类型，我们提出了改进将噪声实体类型预测集成到关系抽取中的方法。我们的实验表明，概率预测比离散预测更鲁棒，并且两个任务的联合训练表现最好。
2017-01-10 cs.CL
Ultra-Fine Entity Typing with Prior Knowledge about Labels: A Simple Clustering Based Strategy
USST（上海理工大学）；CRIL CNRS & Univ. Artois（法国国家科学研究中心里尔信息与自动化研究所 & 阿尔图瓦大学）；Cardiff University（卡迪夫大学）
本文提出一种基于聚类的简单策略，利用预训练标签嵌入将标签聚类为语义域作为附加类型并进行后处理，将UFET模型视为黑盒，有效提升了超细粒度实体类型标注的性能。
2023-05-22 cs.AI cs.CL
Connecting Embeddings for Knowledge Graph Entity Typing
Southwestern University of Finance and Economics（西南财经大学）；Carnegie Mellon University（卡内基梅隆大学）；Tencent（腾讯）；University of Chinese Academy of Sciences（中国科学院大学）
知识图谱实体分类的目的是推断知识图谱中可能缺失的实体类型实例，这是知识图谱完成的一个非常重要但仍有待开发的子任务。在本文中，我们提出了一种新的KG实体类型的训练方法，通过联合利用本地类型知识从现有的实体类型断言和全球三元知识从KG。具体来说，我们提出了两个不同的知识驱动的实体类型推断的有效机制。因此，我们建立了两个新的嵌入模型来实现的机制。然后，与他们的联合模型被用来推断丢失的实体类型实例，这有利于推理，同意实体类型实例和知识库中的三元知识。在两个真实数据集（Freebase和YAGO）上的实验结果表明，我们提出的机制和模型可以有效地提高KG实体类型。本文的源代码和数据可以从：https://github.com/ Adam 1679/ConnectE
2020-07-21 cs.CL cs.FL
COTET: Cross-view Optimal Transport for Knowledge Graph Entity Typing
School of Computer and Information, Shanxi University（山西大学计算机与信息学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对知识图谱实体类型推断，提出跨视图最优传输方法COTET，融合粗粒度聚类与细粒度类型知识，通过多视图编码、最优传输对齐和混合池化预测，有效提升推断性能。
2024-05-22 cs.AI cs.CL cs.LG
Collective Learning From Diverse Datasets for Entity Typing in the Wild
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；IBM Research Lab（IBM研究实验室）
实体类型化（Entity Typing，ET）是指为句子中的给定实体指定标签的问题。现有的工程ET需要知识的域和目标标签集为一个给定的测试实例。在缺乏这些知识的情况下，ET是一个新的问题，我们称之为野外ET。我们假设这个问题的解决方案是建立监督模型，这些模型在整个ET任务上更好地泛化，而不是特定的数据集。在这个方向上，我们提出了一个集体学习框架（CLF），它可以以统一的方式从不同的数据集学习。CLF首先通过聚合来自所有可用数据集的标签信息来创建统一的分层标签集（UHLS）和标签映射。然后使用UHLS、标签映射和部分损失函数构建单个神经网络分类器。单个分类器预测所有可用域中最好的标签，即使这些标签可能不存在于任何特定于域的数据集中。我们还提出了一套评估方案和指标来评估模型在这个新问题中的性能。在七个不同的真实世界数据集上进行的广泛实验证明了我们的CLF的有效性。
2019-09-16 cs.AI cs.CL
Knowledge Enhanced Contextual Word Representations
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Irvine（加州大学欧文分校）；University of Washington（华盛顿大学）
通常在非结构化、未标记的文本上训练的上下文单词表示不包含任何对现实世界实体的明确基础，并且通常无法记住有关这些实体的事实。我们提出了一种通用的方法，将多个知识库（KBs）嵌入到大规模模型中，从而增强它们的表示与结构化，人工策划的知识。对于每个知识库，我们首先使用一个集成的实体链接器来检索相关的实体嵌入，然后通过一种形式的词到实体的注意力更新上下文单词表示。与以前的方法相比，实体链接器和自监督语言建模目标在多任务设置中进行端到端的联合训练，该设置将少量实体链接监督与大量原始文本相结合。在将WordNet和维基百科的一个子集集成到BERT中之后，知识增强的BERT（KnowBert）展示了改进的困惑度、在探测任务中测量的回忆事实的能力以及在关系提取、实体键入和词义消歧上的下游性能。KnowBert的运行时间与BERT相当，并且可以扩展到大KB。
2019-10-31 cs.CL
FGNET-RH: Fine-Grained Named Entity Typing via Refinement in Hyperbolic Space
UNSW（新南威尔士大学）；The Hong Kong University of Science and Technology（香港科技大学）
细粒度命名实体类型（FG-NET）旨在根据上下文将实体提及分类为各种实体类型（通常为数百种）。虽然远程监督是获取监督训练数据的最常见方式，但它带来了标签噪声，因为它为实体提及分配类型标签而不管提及上下文。在处理标签噪声的尝试中，FG-NET上的领先研究假设细粒度实体类型数据具有欧几里得性质，这限制了现有模型对抗标签噪声的能力。考虑到细粒度类型层次结构呈现层次结构的事实，这使得双曲空间成为对FG-NET数据建模的自然选择。在这项研究中，我们提出了FGNET-RH，一个新的框架，受益于双曲几何结合图形结构，以执行实体类型的性能增强的方式。FGNET-RH最初使用LSTM网络来编码与上下文相关的提及，后来它形成一个图来提取/细化双曲空间中的提及编码。最后，细化的提及编码用于实体类型化。使用不同基准数据集的实验表明，FGNET-RH在严格准确性方面将FG-NET的性能提高了3.5%。
2022-06-18 cs.CL
Path-Based Attention Neural Model for Fine-Grained Entity Typing
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；School of Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校计算机科学学院）
细粒度实体类型化的目标是为自由文本中的实体引用分配以层次结构排列的类型。传统的基于远程监督的方法采用结构化数据源作为弱监督，不需要人工标注数据，但忽略了自动标注训练语料中的标签噪声。尽管最近的研究使用了许多特征来在训练之前修剪错误的数据，但它们遭受错误传播并带来了很大的复杂性。在本文中，我们提出了一个端到端的打字模型，称为基于路径的注意力神经模型（PAN），通过利用类型的层次结构来学习噪声鲁棒性能。实验证明了其有效性。
2018-01-09 cs.CL
MZET: Memory Augmented Zero-Shot Fine-grained Named Entity Typing
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Google Research（谷歌研究院）
命名实体类型化（Named Entity Typing，NET）是一种在上下文中为实体指定特定语义类型的分类任务。然而，随着实体类型的规模和粒度的不断增大，以往的研究很少关注新出现的实体类型。在本文中，我们提出了MZET，一种新的内存增强的FNET（细粒度NET）模型，以处理不可见的类型在一个zero-shot的方式。MZET结合了字符级，单词级和上下文级信息来学习实体提及表示。此外，MZET将语义和层次结构纳入实体类型表示中。最后，通过记忆组件，该模型之间的关系实体提到和实体类型，MZET转移知识从看到的实体类型的zero-shot的。在三个公共数据集上进行的大量实验表明，MZET获得了出色的性能，超过了最先进的FNET神经网络模型，Micro-F1和Macro-F1得分提高了7%。
2020-11-02 cs.CL
Representation Learning of Entities and Documents from Knowledge Base Descriptions
Studio Ousia；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）
在本文中，我们描述了TextEnt，一个神经网络模型，直接从知识库（KB）学习实体和文档的分布式表示。给定由单词和实体注释组成的KB中的文档，我们训练我们的模型来预测文档描述的实体，并将文档及其目标实体映射到连续向量空间中彼此接近。我们的模型使用从维基百科提取的大量文档进行训练。使用两个任务，即细粒度的实体类型和多类文本分类的性能进行评估的模型。结果表明，我们的模型在这两项任务上都达到了最先进的性能。该代码和经过训练的表示可在网上获得，以供进一步的学术研究。
2018-06-08 cs.CL cs.NE
Cluster-based Mention Typing for Named Entity Disambiguation
Boğaziçi University（博阿齐奇大学）
本文提出基于聚类的提及类型标注方法，利用维基百科上下文聚类生成类型，辅助命名实体消歧，在多个测试集上达到或超越最先进水平。
2021-09-23 cs.CL
Fine-grained Entity Typing via Label Reasoning
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
传统的实体分类方法基于独立的分类范式，这使得它们难以识别相互依赖的、长尾的和细粒度的实体类型。在本文中，我们认为标签之间隐含的外在和内在依赖关系可以提供关键知识来应对上述挑战。为此，我们提出了\emph{Label Reasoning Network(LRN)}，顺序原因细粒度的实体标签通过发现和利用标签依赖关系的知识所蕴含的数据。具体而言，LRN利用自回归网络进行演绎推理，利用二分属性图进行标签之间的归纳推理，可以有效地以序列到集合、端到端的方式对复杂的标签依赖进行建模、学习和推理。实验表明，LRN在标准的超细粒度实体分类基准测试中达到了最先进的性能，并且可以有效地解决长尾标签问题。
2021-09-13 cs.CL
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Hanyang University（汉阳大学）
对句子中实体对之间的语义关系进行分类是自然语言处理的一项重要任务。大多数以前的关系分类模型依赖于由NLP工具获得的高级词汇和句法特征，如WordNet，依赖解析器，词性（POS）标记器和命名实体识别器（NER）。此外，基于注意力机制的最新神经模型没有充分利用实体的信息，而实体的信息可能是关系分类的最关键特征。为了解决这些问题，我们提出了一种新的端到端的递归神经模型，它结合了一个实体感知的注意力机制与潜在的实体类型（LET）的方法。我们的模型不仅有效地利用了实体及其潜在类型作为特征，而且通过可视化应用于我们的模型和LET结果的注意力机制，使其更具可解释性。在SemEval-2010 Task 8（最流行的关系分类任务之一）上的实验结果表明，我们的模型在没有任何高级特征的情况下优于现有的最先进的模型。
2019-01-23 cs.CL
Zero-Shot Open Entity Typing as Type-Compatible Grounding
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Bloomberg LP（彭博有限合伙企业）
实体类型化的问题主要是以监督学习的方式来研究的，大多数情况下使用特定于任务的注释（对于粗糙类型），有时使用远程监督（对于精细类型）。虽然这些方法在数据集内具有很强的性能，但它们通常缺乏跨文本类型传输和推广到新类型分类的灵活性。在这项工作中，我们提出了一个zero-shot实体类型的方法，不需要注释的数据，可以灵活地识别新定义的类型。给定一个类型分类定义为布尔函数的FREEBASE“类型”，我们地面一个给定的提到一组类型兼容的维基百科条目，然后推断目标提到的类型使用的推理算法，利用这些条目的类型。我们评估我们的系统在广泛的数据集，包括标准的细粒度和粗粒度的实体类型数据集，也在生物领域的数据集。我们的系统被证明是具有竞争力的最先进的监督NER系统，并优于他们的域外数据集。我们还表明，我们的系统显着优于其他zero-shot精细打字系统。
2019-07-07 cs.CL
Context-aware Entity Typing in Knowledge Graphs
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）
知识图实体分类的目的是推断知识图谱中实体的缺失类型，这是一个重要但尚未充分研究的问题。本文提出了一种新的方法，该任务利用实体的上下文信息。具体来说，我们设计了两种推理机制：i）N2 T：独立地使用实体的每个邻居来推断其类型; ii）Agg 2 T：聚合实体的邻居来推断其类型。这些机制将产生多个推理结果，并使用指数加权池方法来生成最终的推理结果。此外，我们提出了一种新的损失函数，以减轻训练过程中的假阴性问题。两个真实世界的KG上的实验证明了我们的方法的有效性。本文的源代码和数据可以从https://github.com/CCIIPLab/CET获得。
2021-09-16 cs.CL
Corpus-level Fine-grained Entity Typing
Microsoft Research Montreal（微软研究院蒙特利尔分院）；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）；Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
本文讨论了语料库级实体类型化的问题，即，从大型语料库推断出实体是诸如“食物”或“艺术家”之类的类的成员。我们感兴趣的实体类型化的应用是知识库完成，具体来说，就是学习实体是哪个类的成员。我们提出FIGMENT来解决这个问题。图1是基于嵌入的，并且组合（i）基于实体的聚合上下文信息进行评分的全局模型和（ii）首先对实体的个体出现进行评分并且然后聚合评分的上下文模型。这两个模型都有一些特定的属性。对于全局模型，学习高质量的实体表示是至关重要的，因为它是用于预测的唯一来源。因此，我们引入表示使用实体的名称和上下文的三个层次上的实体，词和字符。我们发现每个都有互补的信息和多层次的表示是最好的。对于上下文模型，我们需要使用远程监督，因为上下文级别的标签对实体不可用。远距离监督标签是嘈杂的，这会损害模型的性能。因此，我们引入和应用新的算法，使用多实例学习的噪声缓解。我们展示了我们的模型在一个大型实体类型数据集中的有效性，该数据集是从Freebase构建的。
2018-06-07 cs.CL
Learning to Correct Noisy Labels for Fine-Grained Entity Typing via Co-Prediction Prompt Tuning
Institute of Information Engineering, CAS（中国科学院信息工程研究所）；School of Cyber Security, UCAS（中国科学院大学网络空间安全学院）；Meituan（美团）
针对细粒度实体类型标注中的噪声标签问题，提出Co-Prediction Prompt Tuning方法，通过整合多重预测结果和差异化边际识别并纠正噪声标签，显著提升了多种标注方式下训练样本的质量。
2023-10-23 cs.AI cs.CL
Hierarchical Entity Typing via Multi-level Learning to Rank
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种新的分层实体分类方法，包括在训练和预测过程中的本体结构。在训练中，我们的新的多级学习排名损失根据类型树将积极类型与消极兄弟姐妹进行比较。在预测期间，我们定义了一个从粗到细的解码器，该解码器基于已经预测的父类型在本体的每个级别限制可行的候选。我们在多个数据集上达到了最先进的水平，特别是在严格的准确性方面。
2020-04-05 cs.CL
Fine-Grained Named Entity Typing over Distantly Supervised Data Based on Refined Representations
UNSW（新南威尔士大学）；DGUT（东莞理工学院）
细粒度命名实体分类（FG-NET）是自然语言处理（NLP）中的一个关键组件。它旨在将实体提及分类为广泛的实体类型。由于大量的实体类型，远程监督被用来收集用于该任务的训练数据，其不考虑上下文而嘈杂地将类型标签分配给实体提及。为了减轻嘈杂的标签，现有的方法FGNET上的实体提到完全独立于彼此的分析和分配类型标签的基础上提到特定的上下文。这对于高度重叠和嘈杂的类型标签是不够的，因为它阻碍了信息跨越句子边界。为此，我们提出了一个边缘加权的注意图卷积网络，它通过在结束分类之前参加语料库级别的上下文线索来细化嘈杂的提及表示。实验结果表明，该模型优于现有的研究高达10.2%和8.3%的相对分数分别为宏观f1和微观f1。
2020-04-07 cs.CL
Fine-Grained Entity Typing in Hyperbolic Space
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）
我们如何表示实体类型的大型类型库存中的层次信息？我们研究了双曲嵌入的能力，以捕捉层次关系的上下文和他们的目标类型在一个共享的向量空间中提到。我们在两个数据集上进行评估，并研究了两种不同的技术来创建一个大型的分层实体类型库存：从专家生成的本体和自动挖掘类型共现。我们发现，双曲模型在某些情况下，但不是所有情况下，其欧几里德对应产生的改进。我们的分析表明，这种几何形状的充分性取决于类型库存的粒度和层次关系的推断方式。
2019-06-06 cs.CL
All Entities are Not Created Equal: Examining the Long Tail for Ultra-Fine Entity Typing
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文研究了预训练语言模型在超细实体类型化任务中处理长尾实体的局限性，提出新的启发法近似预训练分布，并发现依赖参数知识的方法在长尾实体上表现不佳，而融合知识的方法能部分弥补不足。
2026-09-14 cs.CL
Interpretable Entity Representations through Large-Scale Typing
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在用于自然语言处理的标准方法中，文本中的实体通常被嵌入具有预训练模型的密集向量空间中。以这种方式产生的嵌入在输入到下游模型时是有效的，但它们需要最终任务的微调，并且从根本上难以解释。在本文中，我们提出了一种方法来创建实体表示，是人类可读的，并实现高性能的实体相关的任务开箱即用。我们的表示是向量，其值对应于细粒度实体类型的后验概率，表示类型模型决定实体属于相应类型的置信度。我们使用细粒度实体类型化模型获得这些表示，该模型在监督的超细实体类型化数据（Choi et al. 2018）或来自维基百科的远程监督示例上进行训练。在涉及识别实体身份的实体探测任务中，我们在无参数下游模型中使用的嵌入在训练模型中与基于ELMo和BERT的嵌入相比具有竞争力的性能。我们还表明，它是可能的，以减少我们的类型集的大小在特定领域的学习为基础的方式。最后，我们表明，这些嵌入可以事后修改，通过少量的规则，将领域知识和提高性能。
2020-10-13 cs.CL cs.LG
From Ultra-Fine to Fine: Fine-tuning Ultra-Fine Entity Typing Models to Fine-grained
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；South China University of Technology（华南理工大学）
本文提出先用超细实体类型数据训练广覆盖模型，再以少量新类型模式标注样本微调，从而在少样本 FET 中超越弱监督方法。
2023-12-11 cs.CL
Modeling Label Correlations for Ultra-Fine Entity Typing with Neural Pairwise Conditional Random Field
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
超精细实体分类（UFET）旨在预测广泛的类型短语，正确描述句子中提到的给定实体的类别。大多数最近的作品独立地推断每个实体类型，忽略类型之间的相关性，例如，当一个实体被推断为总统时，它也应该是一个政治家和领导人。为此，我们使用一个无向图模型称为成对条件随机场（PCRF）制定的UFET问题，其中的类型变量不仅是单一的影响，输入，但也成对地涉及到所有其他类型的变量。我们使用各种现代骨干实体类型计算一元潜力，并从类型短语表示，既捕获先前的语义信息，促进加速推理派生成对的潜力。我们使用平均场变分推理对非常大的类型集进行有效的类型推断，并将其展开为神经网络模块，以实现端到端的训练。UFET上的实验表明，Neural-PCRF始终优于其骨干，成本很低，并导致与基于交叉编码器的SOTA相比具有竞争力的性能，同时速度快数千倍。我们还发现Neural- PCRF在具有较小类型集的广泛使用的细粒度实体类型化数据集上有效。我们将Neural-PCRF打包为网络模块，可以轻松插入多标签类型分类器，并在https://github.com/modelscope/adaseq/tree/master/examples/NPCRF上发布。
2022-12-03 cs.CL
Finer Grained Entity Typing with TypeNet
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们认为具有挑战性的问题，在一个非常细粒度的类型集，其中一个单一的提及或实体可以有许多同时和层次结构的类型的实体类型。尽管这个问题很重要，但相对缺乏与现有知识库一致的细粒度、深类型层次结构形式的资源。作为回应，我们引入了TypeNet，这是一个实体类型数据集，由超过1941种类型组成，这些类型以层次结构组织，通过手动注释从1081个Freebase类型到WordNet的映射获得。我们还尝试了几种与最先进的系统相当的模型，并探索了将层次结构损失与标准提及类型损失相结合的技术，作为未来研究该数据集的第一步。
2017-11-15 cs.CL cs.NE
Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究的问题，Few-Shot细粒度实体类型（FET），其中只有几个注释的实体提到的上下文是每个实体类型。最近，通过将实体类型分类任务公式化为“填空”问题，在Few-Shot场景中，基于优化的调优表现出优于标准微调的性能。这允许有效利用预训练语言模型（PLM）的强大语言建模能力。尽管当前基于语义的调优方法取得了成功，但仍然存在两个主要挑战：（1）提示中的动词化器是手动设计的，或者是从外部知识库构建的，而不考虑目标语料库和标签层次结构信息;（2）当前方法主要利用PLM的表示能力，但尚未探索通过广泛的通用域预训练获得的生成能力。在这项工作中，我们提出了一个新的框架，由两个模块组成的Few-Shot FET：（1）实体类型标签解释模块自动学习相关的类型标签的词汇表，通过联合利用Few-Shot实例和标签层次结构，和（2）基于类型的上下文实例生成器产生新的实例的基础上给定的实例，以扩大训练集更好的泛化。在三个基准数据集上，我们的模型明显优于现有方法。代码可以在https://github.com/teapot123/Fine-Grained-Entity-Typing上找到。
2022-06-28 cs.CL
Type-enriched Hierarchical Contrastive Strategy for Fine-Grained Entity Typing
Tencent Inc.（腾讯公司）
细粒度实体分类（FET）的目的是推断文本中提到的实体的特定语义类型。FET的现代方法主要集中在学习某种类型的外观。而且很少有作品直接对类型差异进行建模，即让模型知道一种类型与其他类型的不同程度。为了缓解这个问题，我们提出了一个类型丰富的层次对比策略FET。我们的方法可以直接建模层次类型之间的差异，提高区分多粒度相似类型的能力。一方面，我们将类型嵌入到实体上下文中，使类型信息直接可感知。另一方面，在层次结构上设计了一种有约束的对比策略，直接对类型差异进行建模，可以同时感知不同粒度的类型之间的可兼容性。三个基准测试，BBN，OntoNotes，和FIGER的实验结果表明，我们的方法实现了显着的性能FET有效地建模类型的差异。
2022-08-22 cs.CL
Ontology Enrichment for Effective Fine-grained Entity Typing
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出OnEFET，通过为本体节点添加实例与主题信息并训练蕴含模型，实现零样本细粒度实体类型识别，无需人工标注，性能大幅超越现有零样本方法并接近监督方法。
2023-10-11 cs.CL
Hierarchical Losses and New Resources for Fine-grained Entity Typing and Linking
UMass Amherst（马萨诸塞大学阿默斯特分校）；Chan Zuckerberg Initiative（陈·扎克伯格倡议）
从原始文本到实体和细粒度类型的知识库的提取通常被视为实体和类型标签的平面集合的预测，忽略了策划本体中包含的类型和实体的丰富层次结构。以前的尝试，将层次结构产生的好处很少，并限于浅本体。本文提出了使用实和复双线性映射来集成分层信息的新方法，在实体链接和细粒度实体类型化中对平面预测进行了实质性改进，并在基准FIGER数据集上实现了端到端模型的最新结果。我们还提出了两个新的人类注释数据集，其中包含广泛而深入的层次结构，我们将向社区发布，以鼓励在这一方向上的进一步研究：MedMentions，PubMed摘要的集合，其中246 k提及已映射到大规模的UMLS本体;和TypeNet，将Freebase类型与WordNet层次结构对齐，以获得近2k实体类型。在所有三个数据集上的实验中，我们都显示出了层次意识训练的实质性收益。
2018-07-13 cs.CL
Label Noise Reduction in Entity Typing by Heterogeneous Partial-Label Embedding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Army Research Laboratory（美国陆军研究实验室）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
当前的细粒度实体分类系统结合现有的知识库使用远程监督来为实体提及分配类别（类型标签）。然而，这样从知识库获得的类型标签通常是有噪声的（即，对于实体提及的本地上下文不正确）。我们定义了一个新的任务，标签噪声减少实体分型（LNR），是正确的类型标签（类型路径）的训练样本的自动识别，给定的候选类型标签集通过远程监督与给定的类型层次结构。单个实体提及的未知类型标签和实体类型之间的语义相似性为解决LNR任务提出了独特的挑战。我们提出了一个通用的框架，称为PLE，共同嵌入实体提到，文本功能和实体类型到同一个低维空间，在该空间中，对象的类型是语义接近有类似的表示。然后，我们使用学习的嵌入以自顶向下的方式估计每个训练样本的类型路径。我们制定了一个全球性的目标，学习嵌入文本语料库和知识库，它采用了一种新的边缘为基础的损失，是强大的噪声标签和忠实的模型类型相关性来自知识库。我们在三个公共类型数据集上的实验证明了PLE的有效性和鲁棒性，与次优方法相比，准确率平均提高了25%。
2016-02-17 cs.CL cs.LG
Fine-Grained Chemical Entity Typing with Multimodal Knowledge Representation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从趋势化学文献中自动发现知识对于更有效的生物医学研究至关重要。如何从核心化学文献中提取关于化学反应的详细知识是一个新出现的挑战，尚未得到很好的研究。在本文中，我们研究的细粒度化学实体类型的新问题，这带来了有趣的新的挑战，特别是因为复杂的名称经常出现在化学文献和图形表示的实体。我们引入了一个新的基准数据集（CHEMET），以促进新任务的研究，并提出了一种新的多模态表示学习框架，以解决细粒度的化学实体类型化的问题，利用外部资源与化学结构和使用跨模态注意学习有效的表示文本在化学领域。实验结果表明，该框架优于多种最先进的方法。
2021-08-29 cs.CL cs.LG
