Who Is the Story About? Protagonist Entity Recognition in News
Linknovate Science(Linknovate科学);IRLab CITIC Computer Science Department University of A Coruña(IRLab CITIC计算机科学系大学);University of A Coruña(阿拉斯卡大学)
本文提出主角实体识别(PER)任务,通过专家标注与LLM预测对比验证其可行性,并利用NER引导提示实现大规模自动标注,证明引导式LLM能近似人类对新闻叙事核心组织的判断。
2025-11-10 cs.CL
An Unsupervised Language-Independent Entity Disambiguation Method and its Evaluation on the English and Persian Languages
Iran University of Science and Technology(伊朗科技大学)
实体链接是信息抽取和自然语言理解的基本任务之一。实体链接主要包括两个任务:命名实体的识别和消歧。大多数研究分别解决这两项任务或仅关注其中之一。此外,大多数最先进的实体链接算法要么是有监督的,这在没有注释语料库的情况下性能很差,要么是语言依赖的,这不适合多语言应用。在本文中,我们介绍了一个无监督的命名无关实体消歧(ULIED),它利用一种新的方法来消除歧义和链接命名实体。ULIED在不同英语实体链接数据集以及唯一可用的波斯语数据集上的评估表明,ULIED在大多数情况下优于最先进的无监督多语言方法。
2021-01-31 cs.AI cs.CL
SU-NLP at SemEval-2022 Task 11: Complex Named Entity Recognition with Entity Linking
Sabancı University(萨班哲大学)
本文介绍了由萨班斯大学自然语言处理小组在SemEval-2022 MultiCoNER任务中提出的系统。我们开发了一个无监督的实体链接管道,它可以在维基百科的帮助下检测潜在的实体提及,并使用相应的维基百科上下文来帮助分类器找到该提及的命名实体类型。我们的结果表明,我们的管道显着提高了性能,特别是对于低上下文环境中的复杂实体。
2022-03-22 cs.CL
Unsupervised Pre-training for Biomedical Question Answering
University of Massachusetts Amherst, USA(马萨诸塞大学阿默斯特分校(美国));Chan Zuckerberg Initiative, USA(陈-扎克伯格倡议组织(美国))
我们探讨了无监督的表示学习方法在生物医学文本上的适用性- BioBERT,SciBERT和BioSentVec -用于生物医学问答。为了进一步改进生物医学QA的无监督表示,我们从未标记的数据中引入了一个新的预训练任务,用于在上下文中推理生物医学实体。我们的预训练方法包括通过随机替换生物医学实体的一些提及来破坏给定的上下文,然后使用正确的实体提及查询模型,以定位上下文的损坏部分。这种去噪任务使模型能够从丰富的未标记的生物医学文本中学习良好的表示,这有助于QA任务,并通过要求模型预测跨度来最大限度地减少预训练任务和下游QA任务之间的训练测试不匹配。我们的实验表明,在拟议的预训练任务上进行预训练BioBERT显着提高了性能,并优于第七届BioASQ任务7 b阶段B挑战中的先前最佳模型。
2020-09-27 cs.CL
Multi-Perspective Evidence Synthesis and Reasoning for Unsupervised Multimodal Entity Linking
The University of New South Wales(新南威尔士大学);Shanghai Jiao Tong University(上海交通大学);University of Technology Sydney(技术大学悉尼)
本文提出MSR-MEL框架,通过多视角证据综合与推理提升无监督多模态实体链接性能,采用图神经网络和大语言模型进行证据整合与推理,实验表明优于现有方法。
2026-10-20 cs.CL
Unsupervised Text Deidentification
Cornell University(康奈尔大学)
去识别试图在分发之前对文本数据进行匿名化。自动去识别主要使用来自人类标记的数据点的监督命名实体识别。我们提出了一种无监督的去识别方法,掩盖泄漏个人身份信息的单词。该方法利用经过专门训练的重新识别模型从编辑的个人文档中识别个人。出于K-匿名的隐私,我们生成的编辑,以确保最低的重新识别排名的文件的正确配置文件。为了评估这种方法,我们考虑去识别维基百科传记的任务,并使用对抗性重新识别度量进行评估。与一组无监督基线相比,我们的方法更完全地去识别文档,同时删除更少的单词。定性地,我们看到该方法消除了许多识别方面,这些方面将落在基于公共命名实体的方法之外。
2022-10-20 cs.CL
What makes an entity salient in discourse?
Georgetown University(乔治城大学)
本文研究了话语层面显著性的影响因素,发现话语结构和语义特征比形态语法特征更稳健,且受文体和交际意图影响显著。
2026-04-19 cs.CL
Unsupervised Multidomain Approaches to Named Entity Recognition with Small Datasets
该研究针对小数据集下多领域NER的挑战,采用无监督预训练结合迁移学习,整合数据增强等技术以提升NER系统在资源受限领域的性能与泛化能力。
2026-08-04 cs.CL cs.NE
Leveraging Contextual Information for Effective Entity Salience Detection
Bloomberg(彭博公司)
本文研究实体显著性检测,提出以 cross-encoder 架构微调中型预训练语言模型并融合上下文信息,在四个公开数据集上验证其显著优于特征工程方法,同时揭示 zero-shot prompting 的局限。
2024-04-02 cs.CL
A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts
Digital Humanities Laboratory, EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院数字人文实验室)
针对历史文本中实体随时间漂移的问题,系统研究了将时间元数据嵌入NER模型的轻量级融合策略,实验表明后期融合在早期和噪声时期表现更鲁棒。
2026-06-29 cs.AI cs.CL
"Translation can't change a name": Using Multilingual Data for Named Entity Recognition
Carnegie Mellon University(卡内基梅隆大学)
命名实体(NE)通常在共享公共字母表的不同语言中没有拼写变化。我们表明,这可以被利用,以提高命名实体识别(NER),通过使用无监督的词集群从二级语言的功能,在国家的最先进的判别NER系统。我们观察到显着的性能增加,发现人和位置识别特别改善,和遗传学上接近的语言提供更有价值的功能比更遥远的语言。
2014-05-04 cs.CL
Musical Heritage Historical Entity Linking
University of Bologna(博洛尼亚大学);University of Pisa(比萨大学);Ca’ Foscari University of Venice(威尼斯福斯卡里大学)
本文构建音乐历史文本实体链接基准MHERCL,提出无监督EL模型及利用知识图谱扩展监督链接器的方法,以更好识别NIL实体。
2025-02-13 cs.CL
Unsupervised Question Answering via Answer Diversifying
Beijing Institute of Technology(北京理工大学)
无监督问答由于其对标记数据的独立性而成为一个有吸引力的任务。以往的工作通常利用启发式规则以及预先训练的模型来构建数据和训练QA模型。然而,这些工作大多将命名实体(NE)作为唯一的答案类型,这忽略了现实世界中答案的高度多样性。为了解决这个问题,我们提出了一种新的无监督的方法,通过多样化的答案,命名为DiverseQA。具体来说,该方法由三个模块组成:数据构建,数据增强和去噪滤波。首先,数据构建模块将提取的命名实体扩展为较长的句子成分作为新的答案跨度,以构建具有不同答案的QA数据集。其次,数据增强模块通过嵌入级的对抗训练采用答案类型依赖的数据增强过程。第三,设计了去噪滤波器模块,以消除构造数据中的噪声。大量的实验表明,该方法优于以前的无监督模型在五个基准数据集,包括SQuADv1.1,NewsQA,TriviaQA,BioASQ和DuoRC。此外,该方法在少样本学习环境下表现出较强的性能。
2022-08-23 cs.CL
ParsEL 1.0: Unsupervised Entity Linking in Persian Social Media Texts
Iran University of Science and Technology(伊朗科技大学)
近年来,社交媒体数据呈指数级增长,可以列举为世界上最大的数据存储库之一。这些社交媒体数据的很大一部分是自然语言文本。然而,自然语言是高度模糊的,由于暴露于频繁出现的实体,其中具有多义词或短语。实体链接是将文本中提到的实体链接到知识库中相应实体的任务。最近,波斯语知识图谱FarsBase被引入,包含近50万个实体。在本文中,我们提出了一个无监督的波斯语实体链接系统,第一个实体链接系统专门针对波斯语,它利用上下文相关和上下文无关的功能。为此,我们还发布了第一个实体链接波斯语语料库,其中包含67,595个单词,这些单词是从Telegram Messenger中一些流行频道的社交媒体文本中抓取的。所提出的方法的输出是86.94%的波斯语,这是与类似的国家的最先进的方法在英语语言的f-分数。
2020-04-22 cs.CL cs.IR cs.LG
Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition
Facebook AI(脸书人工智能研究院)
传统的语言模型无法有效地对文本中观察到的实体名称进行建模。除了最流行的命名实体之外,所有命名实体都很少出现在文本中,提供的上下文不足。最近的努力已经认识到可以在共享相同类型的实体名称之间概括上下文(例如,\emph{person}或\emph{location}),并为语言模型配备了访问外部知识库(KB)的权限。我们的知识增强语言模型(KALM)通过用知识库增强传统模型来继续这一工作。然而,与以前的方法不同,我们使用端到端的预测目标进行训练,以优化文本的复杂度。我们不需要任何额外的信息,如命名实体标签。除了提高语言建模性能外,KALM还通过使用模型中潜在的实体类型信息,以完全无监督的方式学习识别命名实体。在命名实体识别(NER)任务中,KALM实现了与最先进的监督模型相当的性能。我们的工作表明,命名实体(可能还有其他类型的世界知识)可以在没有任何额外信息的情况下,使用预测学习和大型文本语料库的训练来成功建模。
2019-06-24 cs.AI cs.CL cs.LG
A Brief History of Named Entity Recognition
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文综述了命名实体识别(NER)自1996年以来的技术演进,比较了从监督到无监督学习方法的结果,强调其在知识库构建中的关键作用。
2024-11-07 cs.CL
E-BERT: Efficient-Yet-Effective Entity Embeddings for BERT
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Siemens AG(西门子股份公司)
我们提出了一种将关于实体的事实知识注入到预训练的BERT模型中的新方法(Devlin等人,2019):我们对齐Wikipedia 2 Vec实体向量(Yamada等人,2016)与BERT的原生词段向量空间,并使用对齐的实体向量,就好像它们是词段向量一样。得到的实体增强版本的BERT(称为E-BERT)在精神上类似于ERNIE(Zhang et al.,2019)和KnowBert(Peters等人,2019),但它不需要对BERT编码器进行昂贵的进一步预训练。我们评估E-BERT的无监督问答(QA),监督关系分类(RC)和实体链接(EL)。在所有三项任务中,E-BERT的表现都优于BERT和其他基准。我们还定量地表明,原始的BERT模型过度依赖于实体名称的表面形式(例如,猜一个名字听起来像意大利语的人会说意大利语),而E-BERT减轻了这个问题。
2020-05-01 cs.CL
Low-Rank Subspaces for Unsupervised Entity Linking
EPFL(洛桑联邦理工学院);Atinary Technologies(Atinary技术公司)
实体链接是许多应用中的一个重要问题。大多数先前的解决方案是针对带注释的训练数据可用的设置而设计的,然而,在许多领域中并非如此。我们提出了一个轻量级和可扩展的实体链接方法,Eigenthemes,它只依赖于实体名称和所指的知识库的可用性。特征主题利用了这样一个事实,即文档中真正提到的实体(“黄金实体”)往往形成文档中所有候选实体的语义密集子集。从几何上讲,当通过一些给定的嵌入将实体表示为向量时,黄金实体往往位于完整嵌入空间的低秩子空间中。特征主题使用奇异值分解识别该子空间,并根据候选实体与子空间的接近程度对其进行评分。在经验方面,我们引入了多个强基线,这些基线与现有的最先进的技术相比是有利的(有时甚至优于现有的技术)。在来自各种现实世界领域的基准数据集上进行的广泛实验展示了我们方法的有效性。
2021-10-14 cs.CL cs.IR cs.LG
Neural Architectures for Named Entity Recognition
Carnegie Mellon University(卡内基梅隆大学);Pompeu Fabra University(庞培法布拉大学)
最先进的命名实体识别系统严重依赖于手工制作的特征和特定领域的知识,以便从可用的小型监督训练语料库中有效地学习。在本文中,我们介绍了两种新的神经架构-一种基于双向LSTM和条件随机场,另一种是使用基于转换的方法构造和标记片段,该方法受到移位-归约解析器的启发。我们的模型依赖于两个关于单词的信息来源:从监督语料库中学习的基于字符的单词表示和从未注释语料库中学习的无监督单词表示。我们的模型在四种语言的NER中获得了最先进的性能,而无需求助于任何特定语言的知识或资源,如地名词典。
2016-04-07 cs.CL
Injecting Knowledge Base Information into End-to-End Joint Entity and Relation Extraction and Coreference Resolution
Ghent University(根特大学);imec(比利时微电子研究中心)
本文提出了一种联合信息抽取模型,在整个文档中联合解决命名实体识别、共指消解和关系抽取。特别是,我们研究了如何注入信息从知识库(KB)在这样的IE模型,基于无监督的实体链接。所使用的KB实体表示是从(i)超链接文本文档(Wikipedia)或(ii)知识图谱(Wikidata)中学习的,并且在提高IE性能方面是互补的。相应的实体链接(EL)候选者的表示被添加到输入文档的文本跨度表示,并且我们实验(i)基于其先验(在维基百科中)对EL候选者表示进行加权平均,以及(ii)在EL候选者列表上使用注意力方案。结果表明,在两个数据集上评估的IE任务的F1分数增加了5%。尽管基于先验的模型表现很好,但我们的定量和定性分析揭示了使用基于注意力的方法的优势。
2021-07-05 cs.CL
Revisiting Unsupervised Relation Extraction
University of Manchester(曼彻斯特大学);The Alan Turing Institute(艾伦·图灵研究所)
无监督关系抽取(URE)从原始文本中抽取命名实体之间的关系,而无需手动标记数据和现有知识库(KB)。URE方法可以分为生成性和判别性方法,它们依赖于手工制作的特征或表面形式。然而,我们证明,通过仅使用命名实体来诱导关系类型,我们可以在两个流行的数据集上胜过现有的方法。我们进行比较和评估我们的研究结果与其他的URE技术,以确定在URE的重要功能。我们的结论是,实体类型提供了一个强大的归纳偏见的URE。
2020-04-30 cs.CL
Strong Heuristics for Named Entity Linking
University of Zagreb(萨格勒布大学);University of Konstanz(康斯坦茨大学);EPFL(洛桑联邦理工学院)
新闻中的命名实体链接(NEL)是一项具有挑战性的工作,因为经常出现不可见的和新兴的实体,这需要使用无监督或zero-shot方法。然而,这种方法往往带有警告,例如没有为新兴实体集成合适的知识库(如Wikidata),缺乏可扩展性和可解释性。在这里,我们认为人的歧义在Quotebank,一个庞大的语料库的扬声器归因的报价从新闻,并调查的适用性直观,轻量级,可扩展的NEL在网络规模的语料库的词典。我们最好的启发式算法分别消除了Quotebank和AIDA-CoNLL基准测试中94%和63%的歧义。此外,所提出的算法与最先进的无监督和zero-shot方法Eigenthemes和mGENRE相比,分别具有优势,从而可以作为无监督和zero-shot实体链接的强基线。
2022-07-06 cs.CL cs.IR cs.LG
Evaluating Pretrained Transformer Models for Entity Linking in Task-Oriented Dialog
MindMeld, Cisco Systems(思科系统 MindMeld)
预训练的Transformer模型(PTM)对于自然语言任务的广泛适用性得到了很好的证明,但是它们理解文本短语的能力却很少被探索。为此,我们从面向任务的对话中的无监督实体链接的角度评估不同的PTM,包括5个特征-句法,语义,简短形式,数字和语音。我们的研究结果表明,与传统技术相比,一些PTM产生低于标准的结果,尽管与其他神经基线相比具有竞争力。我们发现,他们的一些缺点可以通过使用PTMs微调文本相似性的任务,这说明了理解语义和句法对应的能力得到了提高,以及一些改进的短形式,数字和语音的变化,在实体提到。我们进行定性分析,以了解他们预测的细微差别,并讨论进一步改进的范围。代码可以在https://github.com/murali1996/el_tod上找到
2021-12-15 cs.CL
Named Entity Recognition and Linking Augmented with Large-Scale Structured Data
University of Wrocław(弗罗茨瓦夫大学);NVIDIA Corporation(英伟达公司);VoiceLab AI
在本文中,我们描述了我们分别在BSNLP 2019和BSNLP 2021举行的第二和第三届SlavNER共享任务的提交。这些任务的重点是分析命名实体在多语言网络文件中的斯拉夫语言丰富的曲折。我们的解决方案利用了大量的非结构化和结构化文档。前者用作语言模型的无监督训练和词汇单元嵌入的数据。后者指的是维基百科及其结构化对应物-维基数据,我们的词形化规则来源,以及真实世界的实体。在这些资源的帮助下,我们的系统可以识别,规范化和链接实体,同时只使用少量的标记数据进行训练。
2021-04-27 cs.CL
Neural Cross-Lingual Named Entity Recognition with Minimal Resources
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
对于没有注释资源的语言,自然语言处理模型(如来自资源丰富语言的命名实体识别(NER))的无监督转移将是一种有吸引力的能力。然而,不同语言中单词和词序的差异使其成为一个具有挑战性的问题。为了提高跨语言的词汇项的映射,我们提出了一种方法,发现基于双语词嵌入的翻译。为了提高对词序差异的鲁棒性,我们建议使用自我注意,这允许一定程度的灵活性。我们证明,这些方法实现了最先进的或有竞争力的NER性能的跨语言设置下常用的测试语言,比过去的方法具有更低的资源需求。我们还评估了将这些方法应用于维吾尔语这一低资源语言的挑战。
2018-09-11 cs.CL
Clustering-based Unsupervised Generative Relation Extraction
Virginia Tech(弗吉尼亚理工大学);Adobe Research(Adobe研究)
本文主要研究无监督关系抽取问题。现有的基于概率生成模型的关系提取方法通过提取句子特征并使用这些特征作为训练生成模型的输入来工作。然后,该模型用于聚类相似关系。然而,这些方法在训练过程中没有考虑具有相同实体对的句子之间的相关性,这可能会对模型性能产生负面影响。为了解决这个问题,我们提出了一个基于无监督生成关系抽取(CURE)框架,利用"编码器-解码器"架构来执行自监督学习,因此编码器可以提取关系信息。给定具有相同实体对的多个句子作为输入,通过预测其中一个句子的依赖图上的实体对之间的最短路径来部署自监督学习。之后,我们使用经过良好训练的编码器提取关系信息。然后,共享相同关系的实体对基于其对应的关系信息进行聚类。每个聚类基于与每个聚类中的实体对相对应的最短路径中的词用几个词来标记。这些聚类标签还描述了这些关系聚类的含义。我们比较了我们提出的框架(CURE)和基线方法与地面真理知识库提取的三胞胎。实验结果表明,我们的模型在纽约时报(NYT)和联合国平行语料库(UNPC)标准数据集上的性能优于最先进的模型。
2020-09-26 cs.CL cs.LG stat.ML
Zero-Resource Cross-Lingual Named Entity Recognition
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
最近,神经方法已经在许多语言的命名实体识别(NER)任务中实现了最先进的(SOTA)结果,而不需要手动创建特征。然而,这些模型仍然需要手动注释的训练数据,这对于许多语言是不可用的。在本文中,我们提出了一个无监督的跨语言NER模型,可以转移NER知识从一种语言到另一种语言在一个完全无监督的方式,而不依赖于任何双语词典或并行数据。我们的模型通过词级对抗学习和参数共享和特征增强的增强微调来实现这一点。五种不同语言的实验证明了我们的方法的有效性,优于现有的模型的一个很好的保证金,并为每个语言对设置一个新的SOTA。
2019-11-22 cs.CL cs.LG
Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment
Microsoft(微软)
提出了一种基于并行语料库的跨语言命名实体识别(NER)zero-shot迁移方法。我们在XLM-RoBERTa基础上构建了一个实体对齐模型,将并行数据英文部分检测到的实体映射到目标语言句子中,其准确率超过了以往所有无监督模型。利用该对齐模型可以得到目标语言的伪标记NER数据集,用于训练特定任务模型。与使用翻译方法不同,这种方法受益于目标语原始语料的自然流畅性和细微差别。我们还提出了一种改进的损失函数,类似于焦点损失,但在相反的方向分配权重,以进一步提高模型训练噪声伪标记数据集。我们在基准数据集上对4种目标语言进行了评估,并与最新的SOTA模型相比获得了具有竞争力的F1分数。我们还额外讨论了并行语料库大小和域对最终传输性能的影响。
2021-01-26 cs.CL
ProKD: An Unsupervised Prototypical Knowledge Distillation Network for Zero-Resource Cross-Lingual Named Entity Recognition
Beihang University(北京航空航天大学);National Computer Network Emergency Response Technical Team / Coordination Center of China(国家计算机网络应急技术处理协调中心)
对于零资源语言的命名实体识别(NER),利用知识蒸馏方法将与语言无关的知识从资源丰富的源语言转移到零资源语言是一种有效的手段。通常,这些方法采用教师-学生架构,其中教师网络以源语言训练,并且学生网络寻求从教师网络学习知识并且期望以目标语言表现良好。尽管这些方法取得了令人印象深刻的性能,我们认为,他们有两个局限性。首先,由于源语言和目标语言之间的特征分布的差异,教师网络无法有效地学习跨语言共享的与语言无关的知识。其次,学生网络从教师网络获得其所有知识,而忽略了对目标语言特定知识的学习。不希望的是,这些限制会妨碍模型在目标语言中的性能。本文提出了一个无监督的原型知识蒸馏网络(ProKD)来解决这些问题。具体而言,ProKD提出了一种基于对比学习的原型对齐方法,通过调整源语言和目标语言中原型之间的距离来实现类特征对齐,提高教师网络获取语言无关知识的能力。此外,ProKD还引入了一种原型自训练方法,通过使用样本与原型的距离信息对目标数据重新训练学生网络来学习语言的内在结构,从而增强学生网络获取特定语言知识的能力。在三个跨语言NER基准数据集上的实验证明了该方法的有效性。
2023-02-07 cs.AI cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University(斯坦福大学);Salesforce Research(Salesforce 研究院)
句子或文档的无监督向量表示是许多语言任务(如情感分类)的主要构建块。然而,目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设,在词嵌入空间的距离是同样重要的,无论上下文。我们引入上下文显着性(CoSal),一个词的重要性,使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类,需要很少的计算来评估,只需要一个协方差计算来"训练“。“CoSal支持小上下文,上下文外的单词,在大多数基准测试中优于SkipThought,在所有基准测试中击败tf-idf,并与无监督的最先进技术竞争。
2020-11-02 cs.CL
Combining Deep Neural Reranking and Unsupervised Extraction for Multi-Query Focused Summarization
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用科学大学)
CrisisFACTS Track旨在应对事件跟踪领域的多流实况调查等挑战;参与者的系统从若干灾害相关事件中提取重要事实,同时纳入时间顺序。我们提出了一个组合的检索,重新排序,以及著名的线性规划(ILP)和最大边际相关性(MMR)框架。在前两个模块中,我们探索了各种方法,包括基于实体的基线,预训练和微调的问答系统和ColBERT。然后,我们使用后一个模块作为一个提取的总结组件,考虑多样性和新颖性标准。自动评分运行显示了整个评估设置的强大结果,但也揭示了缺点和挑战。
2023-02-02 cs.CL
Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering
Yale University(耶鲁大学);AWS AI Labs(AWS AI实验室)
随着在线可用信息量的增加以及对快速访问这些内容的需求的增长,对问答(QA)的需求也在增加。QA的一种常见方法是在特定于任务的标记数据集上微调预训练的语言模型。然而,这种模式依赖于稀缺的、昂贵的、大规模的人类标记数据。我们提出了一种无监督的方法来训练QA模型生成的伪训练数据。我们表明,通过在相关的检索句子而不是原始上下文句子上应用简单的模板来生成QA训练问题,可以通过允许模型学习更复杂的上下文-问题关系来提高下游QA性能。在这些数据上训练QA模型,SQuAD数据集上的F1得分比以前的无监督模型相对提高了约14%,当答案是命名实体时,提高了20%,在SQuAD上实现了最先进的无监督QA性能。
2020-04-24 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学)
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要,而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而,使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少,并且与句子显著性排名的相关性较弱。在本文中,我们提出了两个新的策略,以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标,即来自同一文档的句子比来自不同文档的句子更相似。此外,我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系,其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
SetExpan: Corpus-Based Set Expansion via Context Feature Selection and Rank Ensemble
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于语料库的集合扩展(即,基于给定的语料库和极小的种子集合,找到属于相同语义类的实体的“完整”集合)是知识发现中的关键任务。它可以促进许多下游应用,例如信息抽取、分类归纳、问答和web搜索。为了在扩展集合中发现新的实体,以前的方法要么基于分布相似性进行一次性实体排名,要么采用基于迭代模式的自举。这些方法的核心挑战是如何处理来自自由文本语料库的噪声上下文特征,这可能会导致实体入侵和语义漂移。在这项研究中,我们提出了一个新的框架,SetExpan,它解决了这个问题,有两个技术:(1)上下文特征选择方法,选择干净的上下文功能计算实体实体分布相似性,和(2)基于排名的无监督集成方法扩展实体集的基础上去噪的上下文功能。在三个数据集上的实验表明,SetExpan是鲁棒的,在平均精度方面优于以前的最先进的方法。
2019-10-17 cs.CL
BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition
Georgia Institute of Technology(佐治亚理工学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们研究了学习的问题命名实体识别(NER)标签使用噪声标签从多个弱监督源。虽然获取成本很低,但来自弱监管源的标签往往不完整、不准确且相互矛盾,因此很难学习准确的NER模型。为了解决这个问题,我们提出了一个条件隐马尔可夫模型(CHMM),它可以有效地推断出真正的标签从多源噪声标签在无监督的方式。CHMM增强了经典的隐马尔可夫模型与预先训练的语言模型的上下文表示能力。具体而言,CHMM从输入标记的BERT嵌入中学习标记方式的转移和发射概率,以从噪声观测中推断潜在的真实标签。我们进一步完善CHMM与交替训练方法(CHMM-ALT)。它用CHMM推断的标签微调BERT-NER模型,并且该BERT-NER的输出被视为额外的弱源以训练CHMM作为回报。在不同领域的四个NER基准上的实验表明,我们的方法远远优于最先进的弱监督NER模型。
2021-05-30 cs.CL
Learning to Rank Context for Named Entity Recognition Using a Synthetic Dataset
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Laboratoire des Sciences du Numérique de Nantes(南特数字科学实验室)
针对长文档 NER 的上下文检索缺乏监督问题,本文用 Alpaca 构造合成训练集,并训练基于 BERT 的神经上下文检索器,在 40 部英文小说第一章数据集上超过多个检索基线。
2024-04-08 cs.CL
CANDiS: Coupled & Attention-Driven Neural Distant Supervision
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Indian Institute of Science(印度科学理工学院)
用于关系抽取的远程监督使用具有现有知识库的、按顺序对齐的文本数据作为训练数据。这种技术的无监督性质允许它扩展到网络规模的关系抽取任务,代价是训练数据中的噪声。以前的工作已经探索了相同实体对的实例之间的关系,以减少这种噪音,但实体对的实例之间的关系还没有得到充分利用。我们探讨使用的动词短语和实体类型的相似性的基础上的实例间的耦合。我们提出了一种新的技术,CANDIS,铸造远程监督使用实例间耦合到一个端到端的神经网络模型。CANDIS在实例级集成了一个注意力模块来模拟这个问题的多实例性质。CANDIS在标准基准数据集上的性能优于现有的最先进技术。
2017-10-26 cs.CL
InforME: Improving Informativeness of Abstractive Text Summarization With Informative Attention Guided by Named Entity Salience
University of Technology Sydney(悉尼技术大学)
本文提出InforME方法,结合最优传输的信息性注意力与命名实体累积联合熵缩减,提升抽象式摘要的信息量,在CNN/Daily Mail上取得更优ROUGE分数。
2025-10-07 cs.AI cs.CL
Modeling Event Salience in Narratives via Barthes' Cardinal Functions
Stony Brook University(石溪大学);Tohoku University(东北大学);RIKEN(理化学研究所);Langsmith Inc.(朗史密斯公司)
叙事中的事件在显著性上有所不同:有些事件对故事来说比其他事件更重要。估计事件显著性对于诸如故事生成之类的任务是有用的,并且作为叙事学和民俗学中的文本分析工具。为了在没有任何注释的情况下计算事件显著性,我们采用了Barthes对事件显著性的定义,并提出了几种只需要预先训练好的语言模型的无监督方法。评估所提出的方法与事件显著性注释的民间故事,我们表明,所提出的方法优于基线方法,并发现微调的语言模型的叙事文本是一个关键因素,在改善所提出的方法。
2020-11-03 cs.CL
WIDER & CLOSER: Mixture of Short-channel Distillers for Zero-shot Cross-lingual Named Entity Recognition
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院);Jilin Kexun Information Technology Co., Ltd.(吉林科讯信息技术有限公司)
Zero-shot跨语言命名实体识别(NER)旨在将知识从源语言的带注释和丰富资源的数据转移到目标语言的未标记和贫乏资源的数据。现有的基于师生蒸馏框架的主流方法忽略了预先训练好的语言模型中间层中丰富的互补信息,并且在迁移过程中容易丢失领域不变信息。在这项研究中,混合短通道蒸馏器(MSD)的方法,提出了充分互动的教师模型中丰富的层次信息,并充分和有效地转移知识的学生模型。具体而言,多通道蒸馏框架被设计为通过将多个蒸馏器聚合为混合物来进行充分的信息传递。此外,提出了一种采用并行领域自适应的无监督方法来缩短教师和学生模型之间的通道,以保持领域不变的特征。在4个跨9种语言的数据集上的实验表明,该方法在zero-shot跨语言NER上取得了新的性能,具有很好的泛化能力和跨语言跨领域的兼容性。
2022-12-07 cs.CL
Sparse Conditional Hidden Markov Model for Weakly Supervised Named Entity Recognition
Georgia Institute of Technology(佐治亚理工学院);BioMap(百图生科);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
弱监督命名实体识别方法训练标签模型来聚合多个噪声标签函数(LF)的令牌注释,而不看到任何手动注释的标签。为了更好地工作,标签模型需要根据上下文识别和强调表现良好的LF,同时降低表现不佳的权重。然而,由于缺乏地面实况,评估LF是具有挑战性的。为了解决这个问题,我们提出了稀疏条件隐马尔可夫模型(稀疏CHMM)。与其他基于HMM的方法不同,Sparse-CHMM侧重于估计其对角元素,这些元素被认为是LF的可靠性得分。然后,稀疏分数扩展到具有预定义扩展函数的成熟的发射矩阵。我们还使用加权XOR分数来增强发射,该分数跟踪LF观察到不正确实体的概率。稀疏CHMM通过无监督学习进行优化,采用三阶段训练流水线,降低了训练难度,防止模型陷入局部最优。与Wrench基准中的基线相比,Sparse-CHMM在五个综合数据集上实现了平均3.01的F1得分改善。实验表明,稀疏CHMM的每个组成部分是有效的,估计的LF可靠性与真实LF F1分数强相关。
2022-06-07 cs.CL
Zero-Resource Cross-Domain Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
现有的跨领域命名实体识别模型依赖于目标领域中大量的未标注语料或标注的命名实体识别训练数据。然而,为低资源目标域收集数据不仅昂贵而且耗时。因此,我们提出了一个跨域NER模型,不使用任何外部资源。我们首先介绍了一个多任务学习(MTL),通过添加一个新的目标函数来检测令牌是否命名实体或没有。然后,我们引入了一个框架称为实体专家混合(MoEE),以提高零资源领域自适应的鲁棒性。最后,实验结果表明,我们的模型优于强无监督跨域序列标记模型,我们的模型的性能接近利用广泛的资源的最先进的模型。
2020-05-19 cs.CL cs.LG
A Trio Neural Model for Dynamic Entity Relatedness Ranking
L3S Research Center(L3S研究所以);Robert Bosch GmbH(博世股份有限公司)
本文提出一种三元神经模型,通过集体注意力机制动态学习实体相关性,提升信息检索和自然语言处理任务的性能。
2025-11-27 cs.CL cs.IR cs.LG
Scalable Detection of Salient Entities in News Articles
Yahoo Research(雅虎研究院)
本研究提出通过微调预训练transformer模型并结合实体标签或上下文表示进行显著实体检测,在多数据集上显著超越先前工作,并利用知识蒸馏降低计算成本。
2024-05-30 cs.CL
Improving Unsupervised Question Answering via Summarization-Informed Question Generation
Dublin City University(都柏林城市大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Trinity College Dublin(都柏林大学三一学院)
问题生成(QG)是为给定的<passage,answer>对生成合理问题的任务。基于模板的QG使用基于语言的语法将陈述句转换为疑问句,而有监督的QG使用现有的问答(QA)数据集来训练系统以生成给定段落和答案的问题。启发式方法的缺点是生成的问题与其声明性对应物紧密相关。监督方法的缺点是它们严重依赖于用作训练数据的QA数据集的域/语言。为了克服这些缺点,我们提出了一个无监督的QG方法,它使用的问题,从摘要作为一个QG系统的训练数据的来源,启发式地产生。我们利用免费提供的新闻摘要数据,转换成适当的问题,使用依存句法分析,命名实体识别和语义角色标注告知的语法学的陈述性摘要句子。然后,将产生的问题与原始新闻文章相结合,以训练端到端的神经QG模型。我们使用无监督QA来评估我们的方法:我们的QG模型用于生成合成QA对以训练QA模型。实验结果表明,仅用20 k个基于英语维基百科的合成QA对训练,QA模型在三个域内数据集(SQuAD 1.1,Natural Questions,TriviaQA)和三个域外数据集(NewsQA,BioASQ,DuoRC)上的性能大大优于以前的无监督模型,证明了该方法的可移植性。
2021-09-16 cs.CL
Named Entity Recognition Only from Word Embeddings
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
深度神经网络模型已经帮助命名实体(NE)识别实现了惊人的性能,而无需手工制作特征。然而,现有的系统需要大量的人工注释的训练数据。已经做出努力来用外部知识(例如,NE词典、词性标记),而获取这样的有效资源是另一个挑战。在这项工作中,我们提出了一个完全无监督的NE识别模型,它只需要从预先训练好的词嵌入中提取信息线索。我们首先将高斯隐马尔可夫模型和深度自动编码高斯混合模型应用于词嵌入,以进行实体跨度检测和类型预测,然后进一步设计基于强化学习的实例选择器,以区分肯定句和噪声句,并通过神经网络细化这些粗粒度的注释。在CoNLL基准数据集上的大量实验表明,我们提出的轻NE识别模型在不使用任何注释词典或语料库的情况下取得了显着的性能。
2020-10-05 cs.CL cs.IR
Unsupervised Question Answering by Cloze Translation
Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院)
获取用于问答(QA)的训练数据是耗时且资源密集型的,并且现有的QA数据集仅可用于有限的领域和语言。在这项工作中,我们将探讨在何种程度上高质量的训练数据实际上需要提取QA,并调查无监督提取QA的可能性。我们首先学习生成上下文,问题和答案三元组在无监督的方式,然后我们使用自动合成提取QA训练数据来解决这个问题。为了生成这样的三元组,我们首先从大型文档语料库中随机抽取上下文段落,然后从这些段落中随机抽取名词短语或命名实体作为答案。接下来,我们将上下文中的答案转换为“填空”完形填空题,最后将其转换为自然题。我们提出并比较了各种无监督的方法来执行完形填空到自然问题的翻译,包括使用自然问题和完形填空问题的非对齐语料库以及基于规则的方法来训练无监督的NMT模型。我们发现,现代QA模型可以学习回答人类的问题,令人惊讶的是,只使用合成训练数据。我们证明,在完全不使用SQuAD训练数据的情况下,我们的方法在SQuAD v1上实现了56.4 F1(当答案是命名实体时为64.5 F1),优于早期的监督模型。
2019-06-27 cs.AI cs.CL cs.LG
Contextualized Embeddings in Named-Entity Recognition: An Empirical Study on Generalization
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);BNP Paribas(法国巴黎银行);Criteo AI Lab(科睿唯安人工智能实验室)
上下文化嵌入使用无监督的语言模型预训练来根据上下文计算单词表示。这对于泛化直观上是有用的,特别是在命名实体识别中,检测在训练期间从未见过的提及至关重要。然而,标准的英语基准高估了词汇的重要性,因为不切实际的词汇重叠之间的训练和测试提到上下文功能。在本文中,我们进行了一个实证分析的泛化能力的国家的最先进的语境化嵌入分离提到的新颖性和域外评估。我们表明,它们是特别有益的未见过的提及检测,特别是域外。对于在CoNLL 03上训练的模型,语言模型上下文化导致域内最大相对微F1分数增加+1.2%,而WNUT数据集上的域外最大相对微F1分数增加+13%
2020-01-22 cs.CL cs.LG
Biomedical and Clinical English Model Packages in the Stanza Python NLP Library
Stanford University(斯坦福大学)
我们为Stanza Python NLP库介绍了生物医学和临床英语模型包。这些软件包通过将Stanza的全神经架构与各种开放数据集以及大规模无监督生物医学和临床文本数据相结合,为生物医学和临床文本提供准确的语法分析和命名实体识别功能。我们通过大量的实验表明,我们的包实现语法分析和命名实体识别性能,是等同于或超越国家的最先进的结果。我们进一步表明,与现有的GPU加速工具包相比,这些模型不会影响速度,并且易于下载和使用Stanza的Python界面。我们的软件包演示可在:http://stanza.run/bio.
2020-07-29 cs.CL
Constructing a Word Similarity Graph from Vector based Word Representation for Named Entity Recognition
De La Salle University(德拉萨大学);Indigo Research
在本文中,我们讨论了一种方法,用于确定一个种子字,最好代表一类命名实体的图形表示的话和它们的相似性。词网络或词图是向量化文本的表示,其中节点是语料库中遇到的词,并且在节点上的加权边表示词彼此之间的相似程度。我们打算建立一个双语单词图,并通过社区分析,将最好用于分割图根据其命名实体,从而提供一个无监督的方式标记命名实体的双语语言库,以确定种子词。
2018-07-09 cs.CL cs.IR
Learning Dense Representations for Entity Retrieval
Google Research(谷歌研究院);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们表明,通过训练一个双编码器(双塔)模型来执行实体链接是可行的,该模型在同一密集向量空间中对提及和实体进行编码,其中通过近似最近邻搜索来检索候选实体。与以前的工作不同,这种设置不依赖于别名表,然后是重新排序器,因此是第一个完全学习的实体检索模型。我们表明,我们的双编码器,训练只使用锚文本链接在维基百科上,优于离散别名表和BM 25基线,并具有竞争力的最佳可比结果的标准TACKBP-2010数据集。此外,它可以非常快地检索候选人,并很好地推广到来自维基新闻的新数据集。在建模方面,我们展示了无监督的负面挖掘算法对这项任务的巨大价值。
2019-09-23 cs.CL cs.IR cs.LG
Balancing Novelty and Salience: Adaptive Learning to Rank Entities for Timeline Summarization of High-impact Events
L3S Research Center(L3S研究中心);Leibniz Universität Hannover(莱布尼茨汉诺威大学)
像波士顿马拉松爆炸案这样的长期、高影响力的事件通常会经历许多阶段,并涉及大量实体。通过关键句子对事件进行时间轴概括可以简化故事的理解,但不能区分用户记住的内容和她可能想要重新检查的内容。在这项工作中,我们提出了一种新的方法,时间轴概括的高影响力的事件,它使用实体,而不是句子,总结事件在每个单独的时间点。这样的实体摘要可以用作(1)回顾性事件考虑中的重要记忆线索和(2)个性化事件探索的指针。为了自动创建此类摘要,关键是要确定要纳入的“正确”实体。我们建议学习实体的排名函数,在实体的文档内显著性和跨文档的实体的信息性之间进行动态适应的权衡,即,在考虑的时间点与实体相关的新信息的级别。此外,为了捕获对实体的集体注意,我们使用基于维基百科的创新软标签方法。我们在一个真实的大型新闻数据集上的实验证实了所提出的方法的有效性。
2017-01-14 cs.CL cs.IR
Building and displaying name relations using automatic unsupervised analysis of newspaper articles
我们提出了一个工具,从自动识别的名字,试图推断人与人之间的关系,以目前相关的人在地图上。基于内部命名实体识别工具,应用于平均每天15,000篇新闻文章的集群,以15种不同的语言,我们建立了一个知识库,可以提取人员的统计同现,并将其可视化在每个人的页面或各种图形中。
2006-09-12 cs.CL cs.IR
Siamese Representation Learning for Unsupervised Relation Extraction
Jiangnan University(江南大学)
针对无监督关系抽取中对比学习易产生伪负样本、破坏层次结构的问题,提出仅用正样本对的孪生表示学习框架,在两个基准数据集上取得了更优的抽取效果。
2023-10-01 cs.AI cs.CL