EnCore: Fine-Grained Entity Typing by Pre-Training Entity Encoders on Coreference Chains
Cardiff University(卡迪夫大学)
针对细粒度实体类型标注人工标注成本高、共指链接噪声大的问题,提出EnCore方法,采用两种现成系统共预测的共指链接预训练实体编码器,刷新了细粒度实体类型标注基准最优性能并提升传统实体抽取效果。
2024-01-27 cs.CL
ELEVANT: A Fully Automatic Fine-Grained Entity Linking Evaluation and Analysis Tool
University of Freiburg(弗莱堡大学)
我们提出了Elevant,一个工具,用于在一组基准上对一组实体链接器进行全自动细粒度评估。Elevant通过各种错误类别和实体类型提供性能的自动细分。Elevant还提供了一个丰富而紧凑的,但非常直观和自我解释的可视化结果的链接器在一个基准与地面真相相比。https://elevant.cs.uni-freiburg.de提供了一个现场演示、GitHub上完整代码库的链接和演示视频的链接。
2022-08-15 cs.CL
Fine-grained Entity Typing via Label Reasoning
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
传统的实体分类方法基于独立的分类范式,这使得它们难以识别相互依赖的、长尾的和细粒度的实体类型。在本文中,我们认为标签之间隐含的外在和内在依赖关系可以提供关键知识来应对上述挑战。为此,我们提出了\emph{Label Reasoning Network(LRN)},顺序原因细粒度的实体标签通过发现和利用标签依赖关系的知识所蕴含的数据。具体而言,LRN利用自回归网络进行演绎推理,利用二分属性图进行标签之间的归纳推理,可以有效地以序列到集合、端到端的方式对复杂的标签依赖进行建模、学习和推理。实验表明,LRN在标准的超细粒度实体分类基准测试中达到了最先进的性能,并且可以有效地解决长尾标签问题。
2021-09-13 cs.CL
Corpus-level Fine-grained Entity Typing Using Contextual Information
Center for Information and Language Processing(信息与语言处理中心);University of Munich(慕尼黑大学)
本文讨论了语料库级实体类型化的问题,即,从大型语料库推断出实体是诸如“食物”或“艺术家”之类的类的成员。我们感兴趣的实体类型化的应用是知识库完成,具体来说,就是学习实体是哪个类的成员。我们提出FIGMENT来解决这个问题。图1是基于嵌入的,并且组合(i)基于实体的聚合上下文信息进行评分的全局模型和(ii)首先对实体的个体出现进行评分然后聚合评分的上下文模型。在我们的评估中,FIGMENT大大优于依赖于由开放的信息抽取系统获得的关系的实体分类方法。
2016-06-25 cs.CL
ScienceExamCER: A High-Density Fine-Grained Science-Domain Corpus for Common Entity Recognition
University of Arizona(亚利桑那大学)
命名实体识别识别文本中常见的实体类,但这些实体标签通常很稀疏,限制了对下游任务的实用性。在这项工作中,我们提出了ScienceExamCER,一个密集标记的语义分类语料库的133 k提到在科学考试领域,几乎所有(96%)的内容词已被注释一个或多个细粒度的语义类标签,包括分类组,meronym组,动词/动作组,属性和值,和同义词。语义类标签是从手动构建的601个类的细粒度类型学中提取的,这些类是通过对4,239个科学考试问题的数据驱动分析生成的。我们展示了一个现成的基于BERT的命名实体识别模型,该模型针对多标签分类进行了修改,在此任务上达到了0.85 F1的准确度,这表明在需要密集标记语义分类的科学领域问答的下游任务中具有很强的实用性。
2019-11-24 cs.CL
Fine-Grained Named Entity Typing over Distantly Supervised Data Based on Refined Representations
UNSW(新南威尔士大学);DGUT(东莞理工学院)
细粒度命名实体分类(FG-NET)是自然语言处理(NLP)中的一个关键组件。它旨在将实体提及分类为广泛的实体类型。由于大量的实体类型,远程监督被用来收集用于该任务的训练数据,其不考虑上下文而嘈杂地将类型标签分配给实体提及。为了减轻嘈杂的标签,现有的方法FGNET上的实体提到完全独立于彼此的分析和分配类型标签的基础上提到特定的上下文。这对于高度重叠和嘈杂的类型标签是不够的,因为它阻碍了信息跨越句子边界。为此,我们提出了一个边缘加权的注意图卷积网络,它通过在结束分类之前参加语料库级别的上下文线索来细化嘈杂的提及表示。实验结果表明,该模型优于现有的研究高达10.2%和8.3%的相对分数分别为宏观f1和微观f1。
2020-04-07 cs.CL
FGNET-RH: Fine-Grained Named Entity Typing via Refinement in Hyperbolic Space
UNSW(新南威尔士大学);The Hong Kong University of Science and Technology(香港科技大学)
细粒度命名实体类型(FG-NET)旨在根据上下文将实体提及分类为各种实体类型(通常为数百种)。虽然远程监督是获取监督训练数据的最常见方式,但它带来了标签噪声,因为它为实体提及分配类型标签而不管提及上下文。在处理标签噪声的尝试中,FG-NET上的领先研究假设细粒度实体类型数据具有欧几里得性质,这限制了现有模型对抗标签噪声的能力。考虑到细粒度类型层次结构呈现层次结构的事实,这使得双曲空间成为对FG-NET数据建模的自然选择。在这项研究中,我们提出了FGNET-RH,一个新的框架,受益于双曲几何结合图形结构,以执行实体类型的性能增强的方式。FGNET-RH最初使用LSTM网络来编码与上下文相关的提及,后来它形成一个图来提取/细化双曲空间中的提及编码。最后,细化的提及编码用于实体类型化。使用不同基准数据集的实验表明,FGNET-RH在严格准确性方面将FG-NET的性能提高了3.5%。
2022-06-18 cs.CL
Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition
Tohoku University(东北大学);RIKEN(理化学研究所)
通常,序列标记中使用的标签由不同类型的元素组成。例如,IOB格式的实体标签,如B-Person和I-Person,可以分解为跨度(B和I)和类型信息(Person)。然而,虽然大多数序列标记模型不考虑这样的标签组件,但标签之间的共享组件(例如Person)可能有利于标签预测。在这项工作中,我们建议将标签组件信息作为嵌入模型。通过对英语和日语细粒度命名实体识别的实验,我们证明了该方法提高了性能,尤其是对于低频标签的实例。
2020-06-04 cs.CL
Generating Fine-Grained Open Vocabulary Entity Type Descriptions
Rutgers University – New Brunswick(罗格斯大学新布朗斯维克分校)
虽然大规模知识图谱提供了大量关于实体的结构化事实,但简短的文本描述通常有助于简洁地表征实体及其类型。不幸的是,许多知识图谱实体缺乏这样的文本描述。在本文中,我们介绍了一个动态的基于内存的网络,生成一个简短的开放的词汇描述的实体,通过联合利用诱导的事实嵌入以及动态上下文生成的单词序列。我们证明了我们的架构的能力,以识别相关信息,更准确地生成类型描述的点蚀系统对几个强大的基线。
2018-05-27 cs.CL
Modeling Fine-grained Information via Knowledge-aware Hierarchical Graph for Zero-shot Entity Retrieval
Tsinghua University(清华大学);Tencent(腾讯)
零镜头实体检索是指在zero-shot条件下,将提及与候选实体相关联,是自然语言处理中的一项重要任务。大多数现有的方法通过来自预训练的语言模型的相应上下文的句子嵌入来表示提及/实体。然而,我们认为,这种粗粒度的句子嵌入不能完全模型的提及/实体,特别是当对提及/实体的注意力分数相对较低。在这项工作中,我们提出了GER,一个\textbf{G}增强的\textbf{E}实体\textbf{R} etrieval框架,以捕获更多的细粒度信息作为补充句子嵌入。我们从相应的上下文中提取知识单元,然后构建一个提及/实体集中图。因此,我们可以通过从这些知识单元聚合信息来学习关于提及/实体的细粒度信息。为了避免中心提及/实体节点的图信息瓶颈,我们构造了一个层次图,并设计了一个新的层次图注意力网络HGAN。流行的基准测试的实验结果表明,我们提出的GER框架比以前的国家的最先进的模型表现更好。该代码已在https://github.com/wutaiqiang/GER-WSDM2023上提供。
2022-11-20 cs.CL
Jointly Learning Entity and Relation Representations for Entity Alignment
Peking University(北京大学);University of Leeds(利兹大学)
实体对齐是集成不同知识图谱之间异构知识的一种可行方法。该领域的最新发展通常采用基于嵌入的方法来建模KG的结构信息,以便可以在嵌入空间中轻松执行实体对齐。然而,大多数现有的作品没有明确利用有用的关系表示,以协助实体对齐,这是一个简单而有效的方法,提高实体对齐。本文提出了一种新的实体对齐联合学习框架。我们的方法的核心是一个基于图卷积网络(GCN)的框架,用于学习实体和关系表示。我们不是依靠预先对齐的关系种子来学习关系表示,而是首先使用GCN学习的实体嵌入来近似它们。然后,我们将关系近似合并到实体中,以迭代地学习两者的更好表示。在三个真实世界的跨语言数据集上进行的实验表明,我们的方法大大优于最先进的实体对齐方法。
2019-09-20 cs.CL
Type-enriched Hierarchical Contrastive Strategy for Fine-Grained Entity Typing
Tencent Inc.(腾讯公司)
细粒度实体分类(FET)的目的是推断文本中提到的实体的特定语义类型。FET的现代方法主要集中在学习某种类型的外观。而且很少有作品直接对类型差异进行建模,即让模型知道一种类型与其他类型的不同程度。为了缓解这个问题,我们提出了一个类型丰富的层次对比策略FET。我们的方法可以直接建模层次类型之间的差异,提高区分多粒度相似类型的能力。一方面,我们将类型嵌入到实体上下文中,使类型信息直接可感知。另一方面,在层次结构上设计了一种有约束的对比策略,直接对类型差异进行建模,可以同时感知不同粒度的类型之间的可兼容性。三个基准测试,BBN,OntoNotes,和FIGER的实验结果表明,我们的方法实现了显着的性能FET有效地建模类型的差异。
2022-08-22 cs.CL
Hierarchical Losses and New Resources for Fine-grained Entity Typing and Linking
UMass Amherst(马萨诸塞大学阿默斯特分校);Chan Zuckerberg Initiative(陈·扎克伯格倡议)
从原始文本到实体和细粒度类型的知识库的提取通常被视为实体和类型标签的平面集合的预测,忽略了策划本体中包含的类型和实体的丰富层次结构。以前的尝试,将层次结构产生的好处很少,并限于浅本体。本文提出了使用实和复双线性映射来集成分层信息的新方法,在实体链接和细粒度实体类型化中对平面预测进行了实质性改进,并在基准FIGER数据集上实现了端到端模型的最新结果。我们还提出了两个新的人类注释数据集,其中包含广泛而深入的层次结构,我们将向社区发布,以鼓励在这一方向上的进一步研究:MedMentions,PubMed摘要的集合,其中246 k提及已映射到大规模的UMLS本体;和TypeNet,将Freebase类型与WordNet层次结构对齐,以获得近2k实体类型。在所有三个数据集上的实验中,我们都显示出了层次意识训练的实质性收益。
2018-07-13 cs.CL
Path-Based Attention Neural Model for Fine-Grained Entity Typing
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校计算机科学学院)
细粒度实体类型化的目标是为自由文本中的实体引用分配以层次结构排列的类型。传统的基于远程监督的方法采用结构化数据源作为弱监督,不需要人工标注数据,但忽略了自动标注训练语料中的标签噪声。尽管最近的研究使用了许多特征来在训练之前修剪错误的数据,但它们遭受错误传播并带来了很大的复杂性。在本文中,我们提出了一个端到端的打字模型,称为基于路径的注意力神经模型(PAN),通过利用类型的层次结构来学习噪声鲁棒性能。实验证明了其有效性。
2018-01-09 cs.CL
A German Corpus for Fine-Grained Named Entity Recognition and Relation Extraction of Traffic and Industry Events
DFKI GmbH(德国人工智能研究中心)
在个人旅行计划和供应链管理等领域,监控移动性和行业相关事件非常重要,但从异构的大容量文本流中提取与特定公司、运输路线和位置相关的事件仍然是一个重大挑战。这项工作描述了一个语料库的德语文档已被注释细粒度的地理实体,如街道,车站和路线,以及标准的命名实体类型。它还被注释了一组15个与交通和行业相关的n元关系和事件,如事故、交通堵塞、收购和罢工。该语料库包括新闻专线文本、Twitter消息以及来自广播电台、警察局和铁路公司的交通报告。它允许训练和评估两个命名实体识别算法,旨在细粒度的地理实体,以及n元关系抽取系统。
2020-04-07 cs.CL
Fine-grained Entity Recognition with Reduced False Negatives and Large Type Coverage
Indian Institute of Technology Guwahati(古瓦哈提印度理工学院);Indira Gandhi Delhi Technical University for Women(英迪拉·甘地德里女子技术大学)
细粒度实体识别(FgER)是检测和分类实体的任务,涉及到一个大的类型集,跨越不同的领域,如生物医学,金融和体育。我们观察到,当类型集跨越几个域,实体提及的检测成为监督学习模型的限制。主要原因是缺乏适当注释实体边界的数据集,同时覆盖大量实体类型。我们的工作直接解决了这个问题。我们提出了启发式与远程监督(HAnDS)框架自动构建一个质量数据集适合FGER任务。HAnDS框架以流水线方式利用Wikipedia和Freebase之间的高度互连,减少了天真地使用远程监督方法所引入的注释错误。使用HAnDS框架,我们创建了两个数据集,一个适合于构建基于FIGER类型层次结构识别多达118个实体类型的FGER系统,另一个适合于基于TypeNet层次结构识别多达1115个实体类型。我们广泛的实证实验保证了生成的数据集的质量。除此之外,我们还提供了一个手动注释的数据集,用于对FgER系统进行基准测试。
2019-04-30 cs.CL
Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation and Instance Generation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究的问题,Few-Shot细粒度实体类型(FET),其中只有几个注释的实体提到的上下文是每个实体类型。最近,通过将实体类型分类任务公式化为“填空”问题,在Few-Shot场景中,基于优化的调优表现出优于标准微调的性能。这允许有效利用预训练语言模型(PLM)的强大语言建模能力。尽管当前基于语义的调优方法取得了成功,但仍然存在两个主要挑战:(1)提示中的动词化器是手动设计的,或者是从外部知识库构建的,而不考虑目标语料库和标签层次结构信息;(2)当前方法主要利用PLM的表示能力,但尚未探索通过广泛的通用域预训练获得的生成能力。在这项工作中,我们提出了一个新的框架,由两个模块组成的Few-Shot FET:(1)实体类型标签解释模块自动学习相关的类型标签的词汇表,通过联合利用Few-Shot实例和标签层次结构,和(2)基于类型的上下文实例生成器产生新的实例的基础上给定的实例,以扩大训练集更好的泛化。在三个基准数据集上,我们的模型明显优于现有方法。代码可以在https://github.com/teapot123/Fine-Grained-Entity-Typing上找到。
2022-06-28 cs.CL
Context-Dependent Fine-Grained Entity Type Tagging
Google Inc.(谷歌公司)
实体类型标记是为文档中的每个实体引用分配类别标签的任务。虽然标准系统专注于一小部分类型,但最近的工作(Ling和Weld,2012)表明,使用大型细粒度标签集可以显著改善下游任务。在没有标记的训练数据的情况下,现有的细粒度标记系统使用从知识库中提取的解析实体及其类型自动获得示例。然而,由于适当的类型通常取决于上下文(例如,华盛顿可能被标记为城市或政府),因此该过程可能导致虚假标签,从而导致较差的泛化。我们提出了上下文相关的精细类型标记的任务,其中一个提到的可接受的标签集仅限于那些从本地上下文(例如句子或文档)推断。我们为这项任务引入了新的资源:12,017个引用注释了它们的上下文相关的精细类型,我们提供了这些数据的基线实验结果。
2016-08-01 cs.CL
Cascaded Models for Better Fine-Grained Named Entity Recognition
IBM Research AI(IBM研究院人工智能)
命名实体识别(Named Entity Recognition,NER)是许多自然语言应用(如关系抽取或事件抽取)的基础任务。大部分NER研究都是在具有少数实体类型的数据集上进行的(例如PER,ESTA,ORG,MISC),但许多现实世界的应用(灾难救援,复杂事件提取,执法)可以从更大的NER类型中受益。最近,创建了具有数百到数千种类型的实体的数据集,从而引发了新的研究方向(Sekine,2008;Ling和Weld,2012; Gillick等人,2014; Choiet al.,2018年)。在本文中,我们提出了一种标记细粒度NER的级联方法,适用于TAC KBP 2019评估中使用的新发布的细粒度NER数据集(Ji等人,2019),其灵感来自于训练数据可用于一些粗略标签的事实。使用组合的Transformer网络,我们表明,性能可以提高约20 F1的绝对值,与直接的模型建立在完整的细粒度类型相比,并显示,令人惊讶的是,使用课程标记的数据在三种语言导致英语数据的改善。
2020-09-15 cs.CL
Fine-Grained Entity Typing in Hyperbolic Space
Heidelberg Institute for Theoretical Studies(海德堡理论研究所)
我们如何表示实体类型的大型类型库存中的层次信息?我们研究了双曲嵌入的能力,以捕捉层次关系的上下文和他们的目标类型在一个共享的向量空间中提到。我们在两个数据集上进行评估,并研究了两种不同的技术来创建一个大型的分层实体类型库存:从专家生成的本体和自动挖掘类型共现。我们发现,双曲模型在某些情况下,但不是所有情况下,其欧几里德对应产生的改进。我们的分析表明,这种几何形状的充分性取决于类型库存的粒度和层次关系的推断方式。
2019-06-06 cs.CL
Neural Fine-Grained Entity Type Classification with Hierarchy-Aware Loss
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
细粒度实体类型分类(FETC)的任务包括将层次结构中的类型分配给文本中的实体提及。现有的方法依赖于远程监督,因此容易受到噪声标签的影响,这些标签可能是上下文之外的,或者对于训练句子来说过于具体。以前试图解决这些问题的方法是使用人工智能或手工制作的功能。相反,我们提出了一个端到端的解决方案,使用一个神经网络模型,使用交叉熵损失函数的变体来处理上下文外的标签,和层次损失归一化来处理过于具体的。此外,以前的工作解决了FETC多标签分类,然后进行特设后处理。相比之下,我们的解决方案更优雅:我们使用公共词嵌入来训练单个标签,该标签联合学习实体提及及其上下文的表示。我们的实验表明,我们的方法对噪声是鲁棒的,并始终优于国家的最先进的既定基准的任务。
2018-04-14 cs.CL
Ontology Enrichment for Effective Fine-grained Entity Typing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出OnEFET,通过为本体节点添加实例与主题信息并训练蕴含模型,实现零样本细粒度实体类型识别,无需人工标注,性能大幅超越现有零样本方法并接近监督方法。
2023-10-11 cs.CL
Multi-Grained Named Entity Recognition
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University at Buffalo(布法罗大学);Zhejiang Lab(之江实验室);Tencent Medical AI Lab(腾讯医疗AI实验室);Alibaba Group(阿里巴巴集团);Tencent America(腾讯美国)
本文提出了一种新的框架,MGNER,多粒度命名实体识别,在一个句子中的多个实体或实体提到可以是不重叠或完全嵌套。不同于传统的方法,NER作为一个连续的标签任务和注释实体连续,MGNER检测和识别多粒度的实体:它能够识别命名的实体,而无需明确地假设非重叠或完全嵌套的结构。MGNER由一个检测器和一个分类器组成,检测器检查所有可能的单词段,分类器对实体进行分类。此外,上下文信息和自我注意力机制被用于整个框架,以提高NER性能。实验结果表明,MGNER优于目前最先进的基线高达4.4%的F1得分之间嵌套/非重叠NER任务。
2019-06-20 cs.CL
From Ultra-Fine to Fine: Fine-tuning Ultra-Fine Entity Typing Models to Fine-grained
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);South China University of Technology(华南理工大学)
本文提出先用超细实体类型数据训练广覆盖模型,再以少量新类型模式标注样本微调,从而在少样本 FET 中超越弱监督方法。
2023-12-11 cs.CL
Enhancing Low-resource Fine-grained Named Entity Recognition by Leveraging Coarse-grained Datasets
Ramply Inc.(Ramply公司);Hanyang University(汉阳大学)
针对细粒度NER标注不足的问题,提出利用粗粒度数据集,通过F2C映射矩阵和一致性过滤,在少量细粒度标注下超越K-shot和监督学习方法。
2023-11-13 cs.AI cs.CL
Automatic Noisy Label Correction for Fine-Grained Entity Typing
Huazhong University of Science and Technology(华中科技大学);Pingan Property & Casualty Research(平安产险研究院);Singapore Management University(新加坡管理大学)
细粒度实体分类(FET)的目标是根据上下文为实体提及分配适当的语义类型,这是各种实体利用应用程序的基本任务。当前的FET系统通常建立在大规模弱监督/远距离注释数据上,这些数据可能包含大量噪声,从而严重阻碍FET任务的性能。虽然先前的研究在自动识别FET中的噪声标签方面取得了很大的成功,但它们通常依赖于一些在现实世界应用中可能不可用的辅助资源(例如预定义的层次类型结构,人类注释的子集)。在本文中,我们提出了一种新的方法来自动校正噪声标签的FET没有外部资源。具体而言,它首先通过根据模型输出的logits估计标签为正或负的后验概率来识别潜在的噪声标签,然后通过在剩余的干净标签上训练鲁棒模型来重新标记候选噪声标签。两个流行的基准测试的实验证明了我们的方法的有效性。我们的源代码可以从https://github.com/CCIIPLab/DenoiseFET获得。
2022-05-10 cs.CL
AutoSpecNER: A Fine-Grained Named Entity Recognition Dataset for Vehicle Specification Extraction
Department of Computing and Mathematics, Manchester Metropolitan University(曼彻斯特城市大学计算与数学系);Autotrader Research Group, Autotrader UK(英国Autotrader研究组)
提出AutoSpecNER数据集,包含659条汽车广告和15类超过1万个实体,基于DeBERTa的模型达到90%微平均F1分数,优于规则方法和大型语言模型。
2026-11-03 cs.CL
Automatically Annotated Turkish Corpus for Named Entity Recognition and Text Categorization using Large-Scale Gazetteers
Huawei Turkey Research and Development Center(华为土耳其研发中心)
土耳其语维基百科命名实体识别和文本分类(TWNERTC)数据集是从维基百科获得的自动分类和注释句子的集合。我们构建了大规模的地名词典,使用图爬虫算法提取相关的实体和领域的信息,从语义知识库,Freebase。构建的地名录包含约30万个实体,在77个不同领域下有数千个细粒度实体类型。由于自动化过程容易产生歧义,我们还介绍了两种新的内容特定的降噪方法。此外,我们将细粒度的实体类型映射到等效的四个粗粒度类型:person,loc,org,misc。最后,我们构建了六个不同的数据集版本,并通过比较来自人类注释者的基本事实来评估注释的质量。我们公开这些数据集,以支持土耳其命名实体识别(NER)和文本分类(TC)的研究。
2017-02-09 cs.CL
Corpus-level Fine-grained Entity Typing
Microsoft Research Montreal(微软研究院蒙特利尔分院);Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学);Institute for Natural Language Processing(自然语言处理研究所);University of Stuttgart(斯图加特大学)
本文讨论了语料库级实体类型化的问题,即,从大型语料库推断出实体是诸如“食物”或“艺术家”之类的类的成员。我们感兴趣的实体类型化的应用是知识库完成,具体来说,就是学习实体是哪个类的成员。我们提出FIGMENT来解决这个问题。图1是基于嵌入的,并且组合(i)基于实体的聚合上下文信息进行评分的全局模型和(ii)首先对实体的个体出现进行评分并且然后聚合评分的上下文模型。这两个模型都有一些特定的属性。对于全局模型,学习高质量的实体表示是至关重要的,因为它是用于预测的唯一来源。因此,我们引入表示使用实体的名称和上下文的三个层次上的实体,词和字符。我们发现每个都有互补的信息和多层次的表示是最好的。对于上下文模型,我们需要使用远程监督,因为上下文级别的标签对实体不可用。远距离监督标签是嘈杂的,这会损害模型的性能。因此,我们引入和应用新的算法,使用多实例学习的噪声缓解。我们展示了我们的模型在一个大型实体类型数据集中的有效性,该数据集是从Freebase构建的。
2018-06-07 cs.CL
AMELI: Enhancing Multimodal Entity Linking with Fine-Grained Attributes
Virginia Tech(弗吉尼亚理工学院)
该研究提出属性感知多模态实体链接任务,构建了含大规模数据的AMELI基准与知识库,提出融入实体属性的消歧新方法,验证了属性对该任务的关键作用,且首次将属性引入该任务并公开相关资源。
2025-06-10 cs.CL
OntoType: Ontology-Guided and Pre-Trained Language Model Assisted Fine-Grained Entity Typing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工大学)
本文提出无需标注的本体引导 FET 方法 OntoType,通过集成多个 PLM 提示候选并结合自然语言推理进行上下文类型解析,在三个数据集上超过零样本 SOTA 与 ChatGPT。
2024-06-11 cs.CL
Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags
Boğaziçi University(博阿齐奇大学)
以前的研究表明,一个词的语言特征,如拥有,所有格或其他语法情况下,可以采用在单词表示的命名实体识别(NER)标记,以提高性能的形态丰富的语言。然而,这些标签需要外部形态消歧(MD)工具的功能,这是很难获得或不存在的许多语言。在这项工作中,我们提出了一个模型,通过共同学习NER和MD标记的语言,其中一个可以提供一个候选形态分析列表,从而证明了需要这样的消歧器。我们表明,这可以做到独立的形态注释方案,不同的语言。我们的实验采用三种不同的模型架构,加入这两个任务表明,联合学习提高NER的性能。此外,形态消歧器的性能是有竞争力的。
2018-07-17 cs.CL
Fine-Grained Named Entity Recognition using ELMo and Wikidata
Constellation AI
细粒度命名实体识别是一个任务,我们检测和分类实体提到一个大的类型集。这些类型可以跨越不同的领域,如金融,医疗保健和政治。我们观察到,当类型集跨越几个域的实体检测的准确性成为监督学习模型的限制。主要原因是缺乏适当注释实体边界的数据集,同时覆盖大量实体类型。此外,许多命名实体系统在考虑细粒度实体类型的分类时会受到影响。我们的工作试图解决这些问题,部分是通过将最先进的深度学习模型(ELMo)与广泛的知识库(Wikidata)相结合。使用我们的框架,我们交叉验证我们的模型上的112个细粒度的实体类型的基础上的层次结构从维基(黄金)数据集。
2019-04-23 cs.AI cs.CL cs.IR
Arabic Fine-Grained Entity Recognition
Birzeit University(比尔泽特大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);UBC(不列颠哥伦比亚大学)
本研究针对阿拉伯语细粒度NER研究不足的问题,扩展开源语料库Wojood得到含31个子类型的WojoodFine,验证了高标注一致性,并微调BERT模型建立了三类任务基准。
2023-12-18 cs.CL
Techniques for Jointly Extracting Entities and Relations: A Survey
TCS Research & Innovation(塔塔咨询服务公司研究与创新中心);Indian Institute of Technology Bombay(印度理工学院孟买分校)
关系抽取是信息抽取中的一项重要任务,它涉及实体提及之间的语义关系识别。传统上,关系抽取是在实体提取之后以“流水线”方式进行的,因此关系抽取仅关注于确定在一对提取的实体提及之间是否存在任何语义关系。这导致错误从实体提取阶段传播到关系抽取阶段。此外,实体提取进行没有任何知识的关系。因此,观察到联合执行实体和关系抽取对于这两个任务都是有益的。在本文中,我们调查各种技术,共同提取实体和关系。我们根据它们用于联合提取的方法对技术进行分类,即它们是否采用联合推理或联合建模或两者兼而有之。我们进一步描述了联合推理和联合建模的一些代表性技术。我们还描述了两个标准的数据集,评估技术和这些数据集上的联合提取方法的性能。我们提出了一个简单的分析应用一般域联合提取方法的生物医学数据集。本调查是有用的研究人员以及从业人员在该领域的信息抽取,涵盖了广泛的景观联合提取技术。
2021-03-10 cs.CL
Jointly Modeling Hierarchical and Horizontal Features for Relational Triple Extraction
Jilin University(吉林大学);Huawei Technologies Co., Ltd(华为技术有限公司);University of Edinburgh(爱丁堡大学);Peking University(北京大学)
最近的工作关系三元组提取已经显示出的优越性,联合提取实体和关系的流水线提取方式。然而,大多数现有的联合模型未能平衡实体特征的建模和联合解码策略,从而没有充分研究实体层和三层之间的相互作用。在这项工作中,我们首先介绍了两个级别之间的层次依赖性和水平共性,然后提出了一个实体增强的双重标记框架,使三重提取(TE)的任务,利用这种相互作用与自学的实体功能,通过辅助实体提取(EE)的任务,而不会打破联合解码的关系三元组。具体来说,我们对齐EE和TE任务的位置明智的方式,制定它们作为两个序列标记的问题,具有相同的编码器-解码器结构。此外,这两个任务被组织在一个精心设计的参数共享设置,使学习的实体功能可以通过多任务学习自然共享。纽约时报基准的实证实验表明,所提出的框架相比,国家的最先进的方法的有效性。
2022-05-03 cs.CL
Creating a Fine Grained Entity Type Taxonomy Using LLMs
本文研究利用GPT-4和GPT-4 Turbo通过迭代提示自主构建包含超5000个细粒度实体类型的分类体系,并展示其在关系抽取等信息抽取任务中的应用价值。
2024-02-19 cs.CL
Neural Architectures for Fine-grained Entity Type Classification
Tohoku University(东北大学);University College London(伦敦大学学院)
在这项工作中,我们研究了几个神经网络架构的细粒度实体类型分类。特别是,我们认为最近提出的专注的神经架构的扩展,并作出三个关键的贡献。先前关于注意神经架构的工作没有考虑手工制作的功能,我们将学习和手工制作的功能结合起来,并观察到它们相互补充。此外,通过定量分析,我们建立了注意力机制是能够学习参加超过句法头和短语包含提到,其中都是已知的强大的手工制作的功能,为我们的任务。我们通过分层标签编码方法实现参数共享,该方法在低维投影中为每个类型层次结构显示清晰的聚类。最后,尽管使用相同的评估数据集,但文献经常比较使用不同数据训练的模型。我们建立了训练数据的选择对性能有着巨大的影响,对于先前提出的方法,降低了多达9.85%的松散微F1分数。尽管如此,我们的最佳模型在完善的FIGER(GOLD)数据集上获得了75.36%松散微观F1评分的最新结果。
2017-02-21 cs.CL
MultiCoNER v2: a Large Multilingual dataset for Fine-grained and Noisy Named Entity Recognition
Amazon.com, Inc.(亚马逊公司)
提出MULTICONER V2多语言细粒度命名实体识别数据集,涵盖12种语言33个类别,通过XLM-RoBERTa基线评估发现细粒度分类和实体噪声对性能的显著影响。
2023-10-20 cs.AI cs.CL
Finer Grained Entity Typing with TypeNet
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们认为具有挑战性的问题,在一个非常细粒度的类型集,其中一个单一的提及或实体可以有许多同时和层次结构的类型的实体类型。尽管这个问题很重要,但相对缺乏与现有知识库一致的细粒度、深类型层次结构形式的资源。作为回应,我们引入了TypeNet,这是一个实体类型数据集,由超过1941种类型组成,这些类型以层次结构组织,通过手动注释从1081个Freebase类型到WordNet的映射获得。我们还尝试了几种与最先进的系统相当的模型,并探索了将层次结构损失与标准提及类型损失相结合的技术,作为未来研究该数据集的第一步。
2017-11-15 cs.CL cs.NE
Improving Few-shot and Zero-shot Entity Linking with Coarse-to-Fine Lexicon-based Retriever
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);Central South University(中南大学)
针对少样本和零样本实体链接,本文提出由实体名称到描述的两层由粗到细词典检索器,在无需大量微调的情况下取得优异性能并获得 NLPCC 2023 共享任务第一名。
2023-08-13 cs.CL
ReFinED: An Efficient Zero-shot-capable Approach to End-to-End Entity Linking
Amazon Alexa AI(亚马逊Alexa人工智能部门)
我们介绍了ReFinED,一个高效的端到端的实体链接模型,它使用细粒度的实体类型和实体描述来执行链接。该模型在一个单一的前向传递中为文档中的所有提及执行提及检测,细粒度实体类型和实体消歧,使其比现有的竞争方法快60倍以上。ReFinED在标准实体链接数据集上的性能平均超过3.7 F1。该模型能够推广到大规模的知识库,如维基数据(其中有15倍以上的实体比维基百科)和zero-shot实体链接。速度,准确性和规模的结合使ReFinED成为一个有效且具有成本效益的系统,用于从网络规模的数据集中提取实体,该模型已成功部署。我们的代码和预训练模型可在https://github.com/alexa/ReFinED上获得
2022-07-08 cs.CL
Fine-Grained Entity Typing with High-Multiplicity Assignments
University of California, Berkeley(加州大学伯克利分校)
随着实体类型系统变得更丰富、更细粒度,我们预计分配给给定实体的类型数量会增加。然而,大多数细粒度的类型化工作都集中在表现出较低类型多样性的数据集上。在本文中,我们认为,如维基百科,具有半开放类型系统的数据源中固有的高多样性制度。我们引入了一个集预测的方法来解决这个问题,并表明我们的模型优于非结构化的基线上一个新的基于维基百科的细粒度打字语料库。
2017-04-25 cs.AI cs.CL cs.IR
MESED: A Multi-modal Entity Set Expansion Dataset with Fine-grained Semantic Classes and Hard Negative Entities
Tsinghua University(清华大学);PengCheng Laboratory(鹏城实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对传统单模态实体集扩展难以处理细粒度及长尾等复杂实体的问题,提出多模态实体集扩展任务及大规模数据集MESED,并构建预训练模型MultiExpan,实验证明其数据集高质量及方法有效性。
2023-07-27 cs.CL
Prompt-Learning for Fine-Grained Entity Typing
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Seoul National University(首尔国立大学)
作为调整预训练语言模型(PLMs)以适应特定任务的一种有效方法,人工学习近年来受到了研究者的广泛关注。通过使用\textit{cloze}风格的语言提示来刺激PLM的通用知识,自动学习可以在一系列NLP任务上取得有希望的结果,例如自然语言推理,情感分类和知识探测。在这项工作中,我们研究了在完全监督,Few-Shot和zero-shot场景中细粒度实体类型化的学习应用。我们首先通过构建面向实体的动词化器和模板并进行掩码语言建模来开发一个简单有效的机器学习管道。此外,为了解决zero-shot制度,我们提出了一个自我监督的策略,进行分布级优化,自动总结实体类型的信息。在完全监督、Few-Shot和zero-shot设置下,对三个细粒度实体类型化基准(最多86个类)进行了广泛的实验,结果表明,自学习方法的性能显著优于微调基线,特别是当训练数据不足时。
2021-08-24 cs.AI cs.CL
Fine-Grained Chemical Entity Typing with Multimodal Knowledge Representation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
从趋势化学文献中自动发现知识对于更有效的生物医学研究至关重要。如何从核心化学文献中提取关于化学反应的详细知识是一个新出现的挑战,尚未得到很好的研究。在本文中,我们研究的细粒度化学实体类型的新问题,这带来了有趣的新的挑战,特别是因为复杂的名称经常出现在化学文献和图形表示的实体。我们引入了一个新的基准数据集(CHEMET),以促进新任务的研究,并提出了一种新的多模态表示学习框架,以解决细粒度的化学实体类型化的问题,利用外部资源与化学结构和使用跨模态注意学习有效的表示文本在化学领域。实验结果表明,该框架优于多种最先进的方法。
2021-08-29 cs.CL cs.LG
Imposing Label-Relational Inductive Bias for Extremely Fine-Grained Entity Typing
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);IBM Research(IBM研究院)
现有的实体分类系统通常利用知识库(KB)模式提供的类型层次来建模标签相关性,从而提高整体性能。然而,这样的技术不能直接应用于类型集不受KB模式限制并且包括大量自由格式类型的更开放和实际的场景。为了在不访问手动注释的标签结构的情况下对底层标签相关性进行建模,我们引入了一种新的标签关系归纳偏差,由图传播层表示,该层有效地编码了全局标签共现统计数据和单词级相似性。在具有超过10,000个自由形式类型的大型数据集上,配备有基于注意力的匹配模块的图形增强模型能够实现高得多的召回分数,同时保持高水平的精确度。具体而言,它实现了15.3%的相对F1改进,并且输出的不一致性也更少。我们进一步表明,我们提出的图形层的简单修改也可以提高传统的和广泛测试的数据集,只包括KB模式类型的性能。
2019-03-06 cs.CL
Distantly-Supervised Named Entity Recognition with Adaptive Teacher Learning and Fine-grained Student Ensemble
Huawei Cloud(华为云);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件工程学院);Peking University(北京大学);Hubei Key Laboratory of Distributed System Security, Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络空间安全学院,湖北省分布式系统安全重点实验室,湖北省大数据安全工程技术研究中心)
远程监督命名实体识别(DS-NER)通过自动生成训练样本有效地解决了命名实体识别中的数据稀缺问题。然而,远程监督可能会导致噪声标签,从而破坏学习模型的鲁棒性,限制了实际应用。为了缓解这个问题,最近的作品采用自我训练的师生框架,逐步细化训练标签,提高泛化能力的NER模型。然而,我们认为,DS-NER目前的自我训练框架的性能被严重低估了他们的平原设计,包括学生学习不足和粗粒度的教师更新。因此,在本文中,我们第一次尝试缓解这些问题,提出:(1)自适应教师学习包括两个教师-学生网络的联合训练,并考虑两个教师之间的一致和不一致的预测,从而促进全面的学生学习。(2)细粒度的学生集合,其利用学生的对应片段的时间移动平均来更新教师模型的每个片段,这增强了对每个模型片段的一致预测以对抗噪声。为了验证我们提出的方法的有效性,我们进行了实验上的四个DS-NER数据集。实验结果表明,我们的方法显着优于以前的SOTA方法。
2022-12-13 cs.CL
Ultra-Fine Entity Typing with Weak Supervision from a Masked Language Model
HKUST(香港科技大学);Instacart(因斯塔卡特)
最近,人们努力通过使用更丰富和超精细的类型集合来扩展细粒度的实体类型,并且标记包括代词和名词性名词的名词短语,而不仅仅是命名的实体提及。这种超精细实体分类任务的一个关键挑战是,人类注释的数据非常稀缺,现有的远程或弱监督方法的注释能力非常有限。为了解决这个问题,在本文中,我们建议通过使用BERT掩蔽语言模型(MLM)来获取用于超细实体分类的训练数据。给定一个句子中的提及,我们的方法为BERT MLM构造一个输入,以便它预测提及的上下文相关上位词,这些上位词可以用作类型标签。实验结果表明,在这些自动生成的标签的帮助下,超细实体分类模型的性能可以得到大幅提高。我们还表明,我们的方法可以应用于改进传统的细粒度实体类型执行简单的类型映射后。
2021-06-08 cs.CL
Cross-Lingual Fine-Grained Entity Typing
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
跨语言预训练模型的增长使NLP工具能够快速推广到新的语言。虽然这些模型已被应用于涉及实体的任务,但它们明确预测这些实体跨语言的类型学特征的能力尚未建立。在本文中,我们提出了一个统一的跨语言细粒度实体类型模型,能够处理超过100种语言,并分析了该模型的能力,以推广到语言和实体在训练过程中看不见。我们在从多语言维基百科超链接收集的跨语言训练数据(训练语言)上训练这个模型。在推理过程中,我们的模型采用特定语言(测试语言,可能不是训练语言)中的实体提及和上下文,并预测该实体的细粒度类型。泛化到新的语言和看不见的实体是这种实体类型设置的基本挑战,因此我们将评估重点放在这些设置上,并与简单而强大的字符串匹配基线进行比较。实验结果表明,我们的方法优于基线上看不见的语言,如日语,泰米尔语,阿拉伯语,塞尔维亚语和波斯语。此外,我们的方法大大提高了基线上看不见的实体(即使是看不见的语言)的性能,并且人类评估显示出在这些设置中预测相关类型的强大能力。
2021-10-15 cs.CL cs.LG
Multi-level Representations for Fine-Grained Typing of Knowledge Base Entities
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
实体是自然语言的基本元素。在本文中,我们提出了在三个互补层次上学习实体的多级表示的方法:字符(提取的实体名称中的字符模式,例如,通过神经网络)、词(实体名称中的词嵌入)和实体(实体嵌入)。我们调查了每个级别的最先进的学习方法,发现了很大的差异,例如,对于深度学习模型,传统的ngram特征和快速文本的子字模型(Bojanowski等人,2016);对于word 2 vec(Mikolov等人,2013);以及对于次序感知模型wang 2 vec(Ling et al.,2015年,在实体层面。我们证实实验,每个级别的表示贡献的互补信息和联合表示的所有三个级别提高了现有的嵌入基础上的基线细粒度实体打字的大幅度。此外,我们表明,从实体描述中添加信息,进一步提高了实体的多层次表示。
2017-01-16 cs.AI cs.CL
UltraWiki: Ultra-fine-grained Entity Set Expansion with Negative Seed Entities
Pengcheng Laboratory(鹏城实验室);Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室(深圳))
本文针对超细粒度实体集扩展任务,提出引入负种子实体以消除语义歧义并表达“不想要的”语义,构建了首个大规模数据集UltraWiki,并提出RetExpan与GenExpan基线框架以及对比学习和思维链推理策略。
2025-06-03 cs.CL
Fine-Grained Entity Typing for Domain Independent Entity Linking
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经实体链接模型非常强大,但存在过度拟合其训练领域的风险。对于这个问题,一个域的特征不仅在于文本的类型,甚至还在于实体的特定分布等特定因素,因为神经模型往往会通过记忆数据集中频繁实体的属性来过拟合。我们解决的问题,建立强大的实体链接模型,有效地推广,不依赖于标记的实体链接数据与特定的实体分布。我们的方法不是直接预测实体,而是对细粒度的实体属性进行建模,这可以帮助消除甚至密切相关的实体之间的歧义。我们从Wikipedia分类中获得大量的类型(数万个),并使用Wikipedia中的超链接提及来远程标记数据并训练实体类型模型。在测试时,我们使用此类型模型对提及进行分类,并使用软类型预测将提及链接到最相似的候选实体。我们在CoNLL-YAGO数据集上评估我们的实体链接系统(Hoffart等人,2011),并表明我们的方法优于以前的域独立的实体链接系统。我们还在来自WikilinksNED数据集的更难的设置中测试了我们的方法(Eshel等人,2017),其中所有提及实体对在测试时间期间是不可见的。结果表明,我们的方法比数据集上最先进的神经模型更好地推广。
2020-01-08 cs.AI cs.CL cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG