Tracking Discrete and Continuous Entity State for Process Understanding
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
过程文本描述实体及其在经历某些过程时的交互，以独特的微妙方式描述实体。首先，每个实体都可能有一些可观察的离散属性，例如其状态或位置;对这些属性进行建模涉及强加全局结构和强制一致性。第二，实体可能具有不明确的属性，但可以通过神经网络有效地诱导和跟踪。在本文中，我们提出了一个结构化的神经架构，反映了这种双重性质的实体进化。该模型循环跟踪每个实体，在每一步更新其隐藏的连续表示，以包含相关的状态信息。全局离散状态结构显式建模与神经CRF的变化隐藏表示的实体。该CRF可以显式地捕获对实体状态随时间的约束，例如，强制实体在被销毁后不能移动到某个位置。我们评估了我们提出的模型在ProPara数据集中的过程段落上的QA任务的性能，发现我们的模型达到了最先进的结果。
2019-04-06 cs.CL
Multi-Modal Knowledge Graph Transformer Framework for Multi-Modal Entity Alignment
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高精尖创新中心）
针对多模态知识图谱实体对齐中多源信息不对齐的问题，提出MoAlign框架，通过层次化自注意力块和实体类型前缀注入整合邻居、多模态属性及类型信息，在基准数据集上取得领先性能。
2023-10-10 cs.CL
E2EET: From Pipeline to End-to-end Entity Typing via Transformer-Based Embeddings
The University of Western Australia（西澳大学）
实体分类（Entity Typing，ET）是识别语料库中每个实体的语义类型的过程。与命名实体识别不同，句子中的每个标记都标有零个或一个类标签，ET涉及用一个或多个类标签标记每个实体。现有的实体分类模型，在提到的水平，是有限的，由两个关键因素：他们不使用最近提出的上下文相关的嵌入，并在固定的上下文窗口上训练。因此，它们对窗口大小的选择很敏感，并且无法包含整个文档的上下文。鉴于这些缺点，我们建议将上下文使用基于transformer的嵌入用于提及级模型，以及使用Bi-GRU的端到端模型来消除对窗口大小的依赖。一项广泛的消融研究表明，上下文嵌入的有效性，提及级模型和竞争力，我们的端到端模型的实体类型。
2020-03-23 cs.CL
LMN at SemEval-2022 Task 11: A Transformer-based System for English Named Entity Recognition
Van Ho Middle School（范和中学）
处理复杂且有歧义的命名实体是一个具有挑战性的研究问题，但它还没有得到自然语言处理界的足够重视。在这篇简短的论文中，我们介绍了我们参与SemEval-2022任务11：多语言复杂命名实体识别的英语轨道。受预训练的Transformer语言模型的最新进展的启发，我们提出了一个简单而有效的基于Transformer的任务基线。尽管它很简单，我们提出的方法在排行榜上显示出有竞争力的结果，因为我们在30个团队中排名12。我们的系统实现了宏观F1分数为72.50%的举行了测试集。我们还探索了使用实体链接的数据增强方法。虽然这种方法并没有提高最终的性能，我们也讨论了它在本文中。
2022-02-13 cs.CL
Multi-task Transformer with Relation-attention and Type-attention for Named Entity Recognition
Beihang University（北京航空航天大学）；Meituan（美团）；Meta AI；Harbin Institute of Technology（哈尔滨工业大学）
命名实体识别是自然语言处理中的一个重要研究课题。有三种类型的NER任务，包括平面，嵌套和不连续的实体识别。大多数以前的顺序标记模型是特定于任务的，而近年来，由于将所有NER任务统一到seq2seq模型框架中的优势，生成模型正在兴起。虽然取得了很好的性能，我们的试点研究表明，现有的生成模型在检测实体边界和估计实体类型是无效的。本文提出了一种多任务的Transformer，它将实体边界检测任务合并到命名实体识别任务中。更具体地说，我们实现了实体边界检测分类的句子内的令牌之间的关系。为了提高解码过程中实体类型映射的准确性，我们采用外部知识库计算先验实体类型分布，然后通过自我和交叉注意力机制将信息融入模型。我们进行实验广泛的一组NER基准，包括两个平面，三个嵌套，和三个不连续的NER数据集。实验结果表明，我们的方法大大提高了生成式NER模型的性能。
2023-03-20 cs.CL
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University（康奈尔大学）
我们重新审视经典的问题，文档级的角色填充实体提取（REE）模板填充。我们认为，文本级的方法是不适合的任务，并引入了一个生成的基于转换器的编码器-解码器框架（GRIT），其目的是在文档级的上下文建模：它可以跨句子边界提取决策，是隐含地知道名词短语的共指结构，并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法，并表明我们的模型比以前的工作表现得更好。我们还表明，我们的建模选择有助于模型性能，例如，通过隐式地捕获语言知识，例如识别共指实体提及。
2021-01-28 cs.CL
Transformer-Based Named Entity Recognition for French Using Adversarial Adaptation to Similar Domain Corpora
Delhi Technological University（德里理工大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
命名实体识别（NER）涉及到非结构化文本中命名实体的识别和分类到预定义的类。资源有限的语言（如法语）的NER仍然是一个悬而未决的问题，因为缺乏大型，强大的，标记的数据集。在本文中，我们提出了一种基于变换的NER方法，法国使用对抗适应类似的领域或一般语料库，以改善特征提取和更好的推广。我们评估我们的方法在三个标记的数据集，并表明我们的适应框架优于相应的非自适应模型的各种组合的Transformer模型，源数据集和目标语料库。
2022-12-05 cs.CL
E.T.: Entity-Transformers. Coreference augmented Neural Language Model for richer mention representations via Entity-Transformer blocks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在过去的十年中，神经语言建模领域发生了巨大的变化，通过使用Transformer架构开发了新的模型。然而，由于存储器约束和增加的计算复杂性，即使这些模型也难以对长序列进行建模。训练数据上的共指注释可以提供远远超出这种语言模型的建模限制的上下文。在本文中，我们对神经语言模型中使用的Transformer-block架构进行了扩展，特别是在GPT 2中，以便在训练过程中加入实体注释。我们的模型，GPT 2 E，扩展了Transformer层架构的GPT 2的multity-transformers，一个架构，旨在处理共指信息时，存在。为此，我们实现了更丰富的实体提及的表示，与微不足道的培训成本。我们在CoNLL 2012和LAMBADA数据集上展示了GPT 2和GPT 2 E之间的比较模型性能，以及实体表示的关键差异及其在下游任务（如命名实体识别）中的影响。此外，我们的方法可以通过大多数基于transformer的语言模型。
2020-11-10 cs.CL cs.LG
Entity Recognition at First Sight: Improving NER with Eye Movement Information
ETH Zurich（苏黎世联邦理工学院）
以往的研究表明，眼动数据包含了文本的词汇和句法属性的信息，这些信息可以用来改进自然语言处理模型。在这项工作中，我们利用眼动功能，从三个语料库与记录的凝视信息，以增加一个国家的最先进的神经模型的命名实体识别（NER）与凝视嵌入。这些语料库用命名实体标签手动注释。此外，我们展示了如何凝视功能，广义上的字类型的水平，消除了需要在测试时记录的眼动跟踪数据。使用标记级和类型级特征的NER的凝视增强模型优于基线。我们通过评估单个数据集以及跨域设置中的NER模型来展示眼动跟踪功能的好处。
2019-03-28 cs.CL
Evaluating Pretrained Transformer Models for Entity Linking in Task-Oriented Dialog
MindMeld, Cisco Systems（思科系统 MindMeld）
预训练的Transformer模型（PTM）对于自然语言任务的广泛适用性得到了很好的证明，但是它们理解文本短语的能力却很少被探索。为此，我们从面向任务的对话中的无监督实体链接的角度评估不同的PTM，包括5个特征-句法，语义，简短形式，数字和语音。我们的研究结果表明，与传统技术相比，一些PTM产生低于标准的结果，尽管与其他神经基线相比具有竞争力。我们发现，他们的一些缺点可以通过使用PTMs微调文本相似性的任务，这说明了理解语义和句法对应的能力得到了提高，以及一些改进的短形式，数字和语音的变化，在实体提到。我们进行定性分析，以了解他们预测的细微差别，并讨论进一步改进的范围。代码可以在https://github.com/murali1996/el_tod上找到
2021-12-15 cs.CL
DSTEA: Improving Dialogue State Tracking via Entity Adaptive Pre-training
Korea University（高丽大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）；Sejong University（世宗大学）
本文提出 DSTEA，通过多方式识别对话关键实体并进行选择性知识掩码的实体自适应预训练，在无需直接注入外部知识的情况下提升多个 DST 模型在 MultiWOZ 系列数据集上的性能。
2023-07-23 cs.CL
OpenPI2.0: An Improved Dataset for Entity Tracking in Texts
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文提出改进数据集 OpenPI2.0，通过规范化实体属性并标注实体显著性，揭示现有语言模型在实体追踪上的不足，并证明利用显著实体状态变化作为思维链提示可提升问答与规划性能。
2024-01-25 cs.CL
Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）；Al-Ahliyya Amman University（安曼阿利亚大学）；UNSW Canberra（新南威尔士大学堪培拉校区）
本文利用变换器模型在澳大利亚建筑供应链风险管理中进行命名实体识别，以揭示供应链风险相关实体及本地化风险分类的洞察。
2023-11-23 cs.CL
When a sentence does not introduce a discourse entity, Transformer-based models still sometimes refer to it
Center for Data Science（数据科学中心）；Department of Linguistics（语言学系）；New York University（纽约大学）
理解较长的叙述或参与对话需要跟踪已经提到的话语实体。不定名词短语（NP），如“一只狗”，经常引入话语实体，但这种行为是由间接操作，如否定调制。例如，“亚瑟没有狗”中的“一只狗”由于否定的存在而没有引入话语实体。在这项工作中，我们适应的心理语言学评估的语言模型范式，以更高层次的语言现象，并介绍了英语评估套件，目标的知识之间的相互作用，不确定的操作符和NP。我们使用此评估套件对基于Transformer的模型GPT-2和GPT-3的实体跟踪能力进行细粒度调查。我们发现，虽然模型在一定程度上对我们研究的相互作用敏感，但它们都受到多个NP存在的挑战，并且它们的行为不是系统的，这表明即使是GPT-3规模的模型也没有完全获得基本的实体跟踪能力。
2022-05-06 cs.CL
Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI
本文提出基于Transformer的大语言模型，结合XAI方法，实现数学实体关系提取，达到高准确率并提升模型可解释性，为自动问题解决和知识图谱构建提供有效框架。
2026-03-06 cs.CL
CHOLAN: A Modular Approach for Neural Entity Linking on Wikipedia and Wikidata
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）；Zerotha Research（Zerotha研究公司）；Cerence GmbH（赛轮思有限公司）；University of Bonn（波恩大学）；University of Dayton（戴顿大学）；Goldman Sachs（高盛集团）
在本文中，我们提出了CHOLAN，一个模块化的方法，目标端到端的实体链接（EL）的知识库。CHOLAN由两个基于transformer的模型组成的管道，它们顺序集成以完成EL任务。第一个Transformer模型识别给定文本中的表面形式（实体提及）。对于每个提及，第二Transformer模型被用于在预定义的候选列表中对目标实体进行分类。后一个Transformer由从句子捕获的丰富上下文（即本地上下文）和从Wikipedia获得的实体描述提供。这样的外部环境尚未在现有技术的EL方法中使用。我们的实证研究是在两个众所周知的知识基础上进行的（即，Wikidata和Wikipedia）。实证结果表明，CHOLAN在标准数据集（如CoNLL-AIDA，MSNBC，AQUAINT，ACE 2004和T-REx）上的表现优于最先进的方法。
2021-02-08 cs.CL
Chain and Causal Attention for Efficient Entity Tracking
LAMSADE（拉姆萨德实验室）；Université Paris Dauphine-PSL（巴黎多芬大学-PSL）
该研究指出Transformer处理实体追踪存在层数约束，提出将注意力视为邻接矩阵的增强机制，仅单层即可追踪实体状态，在相关数据集上效果显著提升且减少了所需层数。
2024-10-07 cs.CL cs.LG
KARL-Trans-NER: Knowledge Aware Representation Learning for Named Entity Recognition using Transformers
Mastercard AI（万事达人工智能）
使用诸如BERT、ELMo和Flair等模型对上下文信息建模的开始已经显著改进了单词的表示学习。它还为几乎所有的NLP任务提供了SOTA结果-机器翻译，文本摘要和命名实体识别，仅举几例。在这项工作中，除了使用这些占主导地位的上下文感知表示，我们提出了一个知识感知表示学习（KARL）网络命名实体识别（NER）。我们讨论了使用现有的方法，将世界知识的NER的挑战，并显示我们提出的方法可以利用这些挑战。KARL是基于一个Transformer编码器，利用大的知识库表示为事实三元组，将它们转换为图形上下文，并提取基本的实体信息驻留在内部生成上下文的三元组表示的功能增强。实验结果表明，使用KARL增强可以大大提高我们的NER系统的性能，并取得显着优于现有的方法在文献中的三个公开的NER数据集，即CoNLL 2003年，CoNLL++，OntoNotes v5。我们还观察到更好的泛化和应用到现实世界的设置从KARL看不见的实体。
2021-11-30 cs.CL
UM6P-CS at SemEval-2022 Task 11: Enhancing Multilingual and Code-Mixed Complex Named Entity Recognition via Pseudo Labels using Multilingual Transformer
Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Sidi Mohamed Ben Abdellah University（西迪·穆罕默德·本·阿卜杜拉大学）；University of Sherbrooke（舍布鲁克大学）
构建现实世界中复杂的命名实体识别（NER）系统是一项具有挑战性的任务。这是由于出现在各种上下文中的命名实体的复杂性和模糊性，例如短输入句子，新兴实体和复杂实体。此外，现实世界的查询大多是畸形的，因为它们可能是代码混合或多语言的，以及其他情况。在本文中，我们介绍了我们提交的系统多语言复杂命名实体识别（MultiCoNER）共享任务。我们的方法复杂的NER多语言和代码混合查询，依赖于多语言Transformer XLM-RoBERTA提供的上下文表示。除了基于CRF的令牌分类层之外，我们还引入了跨度分类损失来识别命名实体跨度。此外，我们使用自训练机制从大型未标记数据集生成弱注释数据。我们提出的系统分别在多语言和代码混合MultiCoNER的曲目中排名第6和第8。
2022-04-28 cs.CL
Entity Tracking in Language Models
Boston University（波士顿大学）；Saarland University（萨尔大学）
本研究提出一项任务探究语言模型推断实体最终状态的能力，发现仅GPT-3.5具备此能力，且微调T5表明小模型也能学会跟踪实体，但仅靠文本预训练无法显现该能力。
2023-09-08 cs.CL
Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity Tracking
Northeastern University（东北大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Technion – IIT（以色列理工学院）
本文以实体追踪为案例，发现微调主要增强而非改变语言模型的既有内部机制，性能提升源于对增强位置信息处理能力的改善。
2024-02-22 cs.CL cs.LG
A Unified Approach to Entity-Centric Context Tracking in Social Conversations
Google Research（谷歌研究院）
在人与人的对话中，上下文跟踪处理识别重要实体并跟踪其属性和关系。这是一个具有挑战性的问题，包括几个子任务，如槽标记，共指消解，解决复数提及和实体链接。我们处理这个问题作为一个端到端的建模任务，其中的会话上下文是由一个实体存储库，包含迄今为止提到的实体引用，它们的属性和它们之间的关系。存储库逐轮更新，因此即使对于长时间的对话，也可以提高训练和推理的计算效率。本文从两个方面为这一框架的研究奠定了基础。首先，我们发布了Contrack，这是一个大规模的人与人对话语料库，用于使用人和位置注释进行上下文跟踪。它包含超过7000个对话，平均每个对话有11.8个回合，5.8个实体和15.2个引用。其次，我们开源了一个用于上下文跟踪的神经网络架构。最后，我们比较了这个网络的最先进的方法，它所包含的子任务和报告的结果所涉及的权衡。
2022-04-26 cs.AI cs.CL
A Lightweight Hybrid Transformer-CRF Architecture for Multi-Type Bangla Medical Entity Recognition
提出一种轻量级孟加拉语医学实体识别框架，通过知识蒸馏将12层BanglaBERT-CRF教师模型压缩为4层学生模型，并应用INT8动态量化，在保持性能的同时实现8.6倍CPU加速和近48%存储节省。
2026-05-25 cs.CL
An Intellectual Property Entity Recognition Method Based on Transformer and Technological Word Information
Beijing University of Posts and Telecommunications（北京邮电大学）
专利文本包含大量的实体信息。通过命名实体识别，可以从中提取包含关键信息的知识产权实体信息，帮助研究人员更快地了解专利内容。因此，现有的命名实体抽取方法很难充分利用专业词汇变化带来的词级语义信息。提出了一种基于Transformer和技术词信息的知识产权实体提取方法，并结合BERT语言方法提供了准确的词向量表示。在词向量生成过程中，加入IDCNN提取的技术词信息，提高知识产权实体的理解表示能力。最后，采用引入相对位置编码的Transformer编码器，从词向量序列中学习文本的深层语义信息，实现实体标签预测。在公开数据集和标注专利数据集上的实验结果表明，该方法提高了实体识别的准确率。
2022-03-21 cs.AI cs.CL
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
Research on Named Entity Recognition in Improved transformer with R-Drop structure
Harbin Normal University（哈尔滨师范大学）
针对Transformer在命名实体识别任务中泛化性不足的问题，提出结合XLNet预训练模型、带相对位置编码的Transformer编码器及R-Drop结构的XLNet-Transformer-R模型，经多组实验验证其性能优异。
2023-06-14 cs.AI cs.CL
Discriminative and Generative Transformer-based Models For Situation Entity Classification
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
我们重新检查的情况实体（SE）分类任务与不同数量的可用训练数据。我们利用一个基于transformer的变分自编码器将句子编码到一个低维的潜在空间中，该潜在空间用于生成文本和学习SE分类器。测试集和跨体裁评估表明，当训练数据是丰富的，该模型可以改善以往的歧视性国家的最先进的模型。我们的方法在使用少量训练数据的情况下表现得不成比例地更好，但是当面对非常小的集合（每个标签4个实例）时，生成RNN方法的性能优于Transformers。我们的工作为SE和语义预测任务以及低标签训练机制的未来工作提供了指导。
2021-09-15 cs.AI cs.CL
Hierarchical Transformer Model for Scientific Named Entity Recognition
FI Group（FI集团）；Université Sorbonne Paris Nord（索邦巴黎北大学）
命名实体识别是关系抽取、知识图谱构建等自然语言处理系统的重要组成部分。在这项工作中，我们提出了一个简单而有效的方法命名实体识别。我们的方法的主要思想是使用预先训练的Transformer（如BERT）对输入子字序列进行编码，然后，不是直接对单词标签进行分类，而是将另一层Transformer添加到子字表示中，以更好地对单词级交互进行编码。我们评估我们的方法在三个基准数据集的科学NER，特别是在计算机科学和生物医学领域。实验结果表明，我们的模型优于目前的最先进的SciERC和TDM数据集，而不需要外部资源或特定的数据增强。代码可在\url{https://github.com/urchade/HNER}上获得。
2022-03-28 cs.CL cs.LG
UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；EPOS SAS（EPOS公司）；UFR de Médecine（医学院）
本文提出UMLS-KGI-BERT，通过从UMLS提取文本序列并以数据为中心的方式将图学习目标与掩码语言预训练结合，从而提升生物医学和临床命名实体识别性能。
2025-04-11 cs.CL
Tracking the World State with Recurrent Entity Networks
Facebook AI Research（Facebook人工智能研究院）；Courant Institute, New York University（纽约大学库朗数学科学研究所）
我们引入了一个新的模型，递归实体网络（EntNet）。它配备了一个动态的长期记忆，使它能够在接收新数据时保持和更新世界状态的表示。对于语言理解任务，它可以在阅读文本时即时推理，而不仅仅是像记忆网络那样需要回答问题或做出响应时（Sukhbaatar等人，2015）。类似于神经图灵机或可微分神经计算机（Graves等人，2014; 2016）它保持固定大小的内存，并可以学习执行基于位置和内容的读写操作。然而，与这些模型不同的是，它有一个简单的并行架构，其中几个内存位置可以同时更新。EntNet在bAbI任务上设置了一个新的最先进的状态，并且是第一个解决10 k训练样本设置中所有任务的方法。我们还证明了它可以解决需要大量支持事实的推理任务，其他方法无法解决，并且可以概括其训练范围。它也可以实际用于大规模数据集，如儿童图书测试，在那里它获得了有竞争力的性能，在一个单一的通行证阅读的故事。
2017-05-10 cs.CL
A retrieval conditioned rebinding circuit for dynamic entity tracking in large language models
Saarland University（萨尔兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
通过因果干预识别出大语言模型中实现动态状态追踪的检索条件重绑定机制，该机制由紧凑的注意力头电路编码并恢复绑定信息，在不同模型家族中表现不同。
2026-09-14 cs.AI cs.CL
Cross-Language Learning for Entity Matching
University of Mannheim（曼海姆大学）
基于转换器的实体匹配方法已经显著地改变了用于较少结构化的匹配任务（诸如匹配电子商务中的产品报价）的现有技术。为了在这些任务中表现出色，基于transformer的匹配方法需要大量的训练对。提供足够的训练数据可能是具有挑战性的，特别是如果应该学习非英语产品描述的匹配器。这张海报探讨了匹配来自不同电子商店的产品供应的用例，在多大程度上可以通过补充目标语言的一小部分训练对来提高基于transformer的匹配器的性能，在我们的情况下，德语，英语训练对的更大集合。我们使用不同的Transformers的实验表明，扩展德语与英语对提高匹配性能在所有情况下。在资源匮乏的环境中，增加英语对的影响特别大，因为只有相当少量的非英语对可用。由于通常可以通过利用schema.org注释从Web自动收集英语训练对，因此我们的结果与针对低资源语言的许多产品匹配场景相关。
2022-05-02 cs.CL
Entity-aware Transformers for Entity Search
Radboud University（拉德堡德大学）
预先训练的语言模型，如BERT，已经成为自然语言处理中各种任务取得最先进成果的关键因素，最近的研究甚至声称，BERT能够捕获关于实体关系和属性的事实知识，这些信息通常从知识图谱中获得。本文研究了以下问题：基于BERT的实体检索模型是否受益于存储在知识图谱中的附加实体信息？为了解决这个研究问题，我们将实体嵌入映射到与预训练的BERT模型相同的输入空间中，并将这些实体嵌入注入到BERT模型中。该实体丰富的语言模型然后被用于实体检索任务。我们发现，实体丰富的BERT模型提高了面向实体的查询的有效性，定期BERT模型，建立一个新的国家的最先进的结果，为实体检索任务，与复杂的自然语言查询和查询请求具有一定的属性的实体列表有很大的改善。此外，我们表明，我们的实体丰富的模型提供的实体信息，特别是有助于查询不太受欢迎的实体。最后，我们根据经验观察到，实体丰富的BERT模型能够对有限的训练数据进行微调，否则由于BERT在少样本微调中的已知不稳定性，这将是不可行的，从而有助于实体搜索的BERT的数据有效训练。
2022-05-02 cs.CL cs.IR
HittER: Hierarchical Transformers for Knowledge Graph Embeddings
University of Virginia（弗吉尼亚大学）；Microsoft Research（微软研究院）；Microsoft Bing Ads（微软必应广告）
本文研究了在复杂的多关系知识图谱中学习实体和关系表示的挑战性问题。我们提出了HittER，一个分层的Transformer模型，共同学习基于源实体邻域的语义关系组合和关系上下文化。我们提出的模型由两个不同的Transformer块组成：底部块提取源实体的局部邻域中的每个实体-关系对的特征，顶部块从底部块的输出中聚合关系信息。我们进一步设计了一个掩码实体预测任务，以平衡来自关系上下文和源实体本身的信息。实验结果表明，HittER在多个链接预测数据集上取得了新的最先进的结果。此外，我们提出了一个简单的方法来集成HittER到BERT，并证明其有效性的两个Freebase的模拟问答数据集。
2021-10-06 cs.CL cs.LG
Flat Multi-modal Interaction Transformer for Named Entity Recognition
South China University of Technology（华南理工大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
多模态命名实体识别（MNER）旨在借助图像识别社交媒体帖子中的实体跨度并识别其类别。然而，在主流的MNER方法中，不同模态之间的交互通常是通过自我注意和交叉注意的交替或过度依赖选通机制来进行的，这导致文本和图像的细粒度语义单元之间的对应不精确和有偏见。为了解决这个问题，我们提出了一个平面多模态交互Transformer（FMIT）的MNER。具体来说，我们首先利用句子中的名词短语和一般领域词来获得视觉线索。然后，我们将视觉和文本的细粒度语义表示转换为统一的格结构，并设计一种新型的相对位置编码来匹配Transformer中的不同模态。同时，我们建议利用实体边界检测作为辅助任务，以减轻视觉偏见。实验表明，我们的方法实现了新的国家的最先进的性能在两个基准数据集。
2023-03-09 cs.CL cs.CV
Code Pretraining Improves Entity Tracking Abilities of Language Models
Boston University（波士顿大学）；University College London（伦敦大学学院）；NVIDIA（英伟达）
本研究通过对比基础模型与额外经过代码、数学及alignment tuning训练的模型，证实了代码预训练能显著提升语言模型的实体追踪能力，而数学训练和alignment tuning则无一致收益。
2024-05-31 cs.AI cs.CL
Contextualize Knowledge Bases with Transformer for End-to-end Task-Oriented Dialogue Systems
College of Electronics and Information Engineering, Sichuan University, China（四川大学电子信息学院，中国）；School of Computer Science, The University of Adelaide, Australia（阿德莱德大学计算机学院，澳大利亚）；University of Electronic Science and Technology of China, China（电子科技大学，中国）；Tencent（腾讯）
将知识库转化为面向任务的端到端对话系统是一个挑战，因为它需要正确地表示知识库的实体，而知识库的实体与知识库上下文和对话上下文相关联。现有的工作表示的实体，只有感知其知识库上下文的一部分，这可能会导致低效率的表示，由于信息丢失，并不利于知识库推理和响应生成。为了解决这个问题，我们探索通过动态感知所有相关实体和对话历史来完全上下文化实体表示。为了实现这一点，我们提出了一个COontext-aware内存增强的Transformer框架（COMET），它把知识库作为一个序列，并利用一个新的内存掩码，以强制实体只专注于其相关的实体和对话历史，同时避免分心无关的实体。通过大量的实验，我们表明，我们的COMET框架可以实现优越的性能超过国家的艺术。
2021-09-29 cs.CL
Deep Learning Transformer Architecture for Named Entity Recognition on Low Resourced Languages: State of the art results
University of Pretoria（比勒陀利亚大学）
本文报告了对10种低资源南非（SA）语言的深度学习（DL）Transformer架构模型进行命名实体识别（NER）的评估。此外，这些DL Transformer模型与其他神经网络和机器学习（ML）NER模型进行了比较。研究结果表明，Transformer模型大大提高性能时，应用离散微调参数每种语言。此外，微调Transformer模型优于其他神经网络和机器学习模型的NER与低资源的SA语言。例如，Transformer模型在10种SA语言中的6种语言中获得了最高的F分数，并且最高的平均F分数超过了条件随机场ML模型。实际意义包括以更少的努力和资源成本开发高性能NER能力，可能改善下游NLP任务，如机器翻译（MT）。因此，DL Transformer架构模型在低资源SA语言上的NLP NER序列标记任务的应用是可行的。进一步的研究可以评估其他自然语言处理任务和应用程序上的最新Transformer架构模型，例如短语组块、MT和词性标记。
2022-10-01 cs.AI cs.CL
Transformer-based Entity Legal Form Classification
Sociovestix Labs（Sociovestix实验室）；GLEIF（全球法人识别编码基金会）；University of St. Gallen (HSG)（圣加仑大学（HSG））；University College Dublin（都柏林大学学院）
本研究提出应用基于Transformer的BERT变体模型，从原始法律实体名称中分类实体法律形式，在包含超110万实体的大规模LEI数据上表现优于传统方法，有助于推进数据标准化与集成。
2023-10-19 cs.CL cs.LG
Transformer-based Named Entity Recognition with Combined Data Representation
CodeNLP
本研究针对基于Transformer的命名实体识别任务中单一数据表示策略泛化性差的问题，提出一种结合single、merged和context三种策略的组合训练方法，有效提升了模型在四种语言多数据集上的稳定性和适应性。
2024-06-25 cs.AI cs.CL
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
RheinMain University of Applied Sciences（莱茵美因应用科学大学）
介绍了SpERT，一种基于跨度的联合实体的注意力模型和关系抽取。我们的主要贡献是一个轻量级的推理BERT嵌入，其功能实体识别和过滤，以及关系分类与本地化，无标记的上下文表示。该模型使用强句内否定样本进行训练，这些样本在单个BERT通道中有效地提取。这些方面便于在句子中的所有跨度上进行搜索。在消融研究中，我们证明了预训练，强负采样和局部背景的好处。我们的模型在联合实体和关系抽取的几个数据集上的F1得分高达2.6%，优于先前的工作。
2021-06-28 cs.CL cs.LG
OSLAT: Open Set Label Attention Transformer for Medical Entity Retrieval and Span Extraction
University of British Columbia（不列颠哥伦比亚大学）；Curai（Curai公司）；Vatic Investments（Vatic投资公司）
医疗实体跨度提取和链接是许多医疗NLP任务的关键步骤。大多数现有的实体提取方法要么具有固定的医学实体词汇表，要么需要跨度注释。在本文中，我们提出了一种方法，用于连接一组开放的实体，不需要任何跨度注释。我们的方法，开放集标签注意力Transformer（OSLAT），使用标签-注意力机制来学习候选实体上下文文本表示。我们发现，OSLAT不仅可以链接实体，但也能够隐式地学习与实体相关联的跨度。我们在两个任务上评估OSLAT：（1）在没有显式跨度注释的情况下训练跨度提取，以及（2）在没有跨度级别注释的情况下训练实体链接。我们通过在两个具有低实体重叠的数据集上训练两个独立的模型并比较跨数据集性能来测试我们方法的通用性。
2022-11-20 cs.AI cs.CL cs.LG
Hero-Gang Neural Model For Named Entity Recognition
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong（香港中文大学）；Pazhou Lab（琶洲实验室）
命名实体识别是自然语言处理中的一项基础和重要任务，其目的是从自由文本中识别命名实体。近年来，由于Transformer模型中应用的多头注意力机制能够有效地捕获较长的上下文信息，基于transformer的模型已经成为主流方法，并在这一任务中取得了显著的性能。遗憾的是，虽然这些模型可以捕获有效的全局上下文信息，但它们仍然局限于局部特征和位置信息抽取，这是NER的关键。在本文中，为了解决这一限制，我们提出了一种新的英雄-帮派神经结构（HGN），包括英雄和帮派模块，利用全局和局部信息来促进NER。具体来说，Hero模块由基于Transformer的编码器组成，保持了自注意力机制的优势; Gang模块在Hero模块的指导下，利用多窗口递归模块提取局部特征和位置信息。之后，提出的多窗口注意力有效地结合全局信息和多个局部特征来预测实体标签。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-05-15 cs.CL
SFE-AI at SemEval-2022 Task 11: Low-Resource Named Entity Recognition using Large Pre-trained Language Models
Ping An Healthcare Technology（平安医疗科技）；Ping An Puhui Enterprise Management Co. Ltd（平安普惠企业管理有限公司）
大规模预训练模型在命名实体识别（NER）任务中得到了广泛的应用。然而，通过参数平均或投票的模式集成不能充分发挥不同模式的差异化优势，特别是在开放域。本文描述了我们在SemEval 2022 task11：MultiCoNER中的NER系统。我们提出了一个有效的系统，自适应集成预训练的语言模型的Transformer层。通过为不同的输入为每个模型分配不同的权重，我们采用了Transformer层来有效地集成不同模型的优点。实验结果表明，我们的方法在波斯语和荷兰语中取得了优异的性能。
2022-05-29 cs.CL
ANEC: An Amharic Named Entity Corpus and Transformer Based Recognizer
Istanbul Technical University（伊斯坦布尔理工大学）
命名实体识别是一种信息抽取任务，它作为其他自然语言处理任务（如机器翻译、信息检索和问答）的预处理步骤。命名实体识别能够识别专有名称以及开放域文本中的时间和数值表达式。对于阿拉伯语、阿姆哈拉语和希伯来语等闪米特语言，由于这些语言的严重屈折结构，命名实体识别任务更具挑战性。本文提出了一种基于双向长短期记忆和条件随机场层的阿姆哈拉语命名实体识别系统。我们注释了一个新的阿姆哈拉语命名实体识别数据集（8，070个句子，其中有182，691个标记），并将合成少数过采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们的命名实体识别系统达到了93%的F_1分数，这是阿姆哈拉语命名实体识别的新的国家的最先进的结果。
2022-07-02 cs.AI cs.CL cs.LG
Tracking the Diffusion of Named Entities
Experian（益博睿）；University of Sheffield（谢菲尔德大学）
迄今为止，关于信息如何在社交网络中传播的现有研究主要集中在分析和恢复确定性创新的传播，如URL、主题标签和群组成员。然而，调查真实世界实体的出现和传播方式还有待探索，这主要是由于执行大规模实体提取的计算棘手的性质。在本文中，我们提出了，据我们所知，第一件工作，仔细检查命名实体在社交媒体上的扩散，使用Reddit作为我们的案例研究平台。我们首先研究如何命名的实体可以准确地识别和提取的讨论帖子。然后，我们使用这些提取的实体来研究实体级联的模式，以及用户采用实体（即提及它）的概率如何与实体的暴露相关联。我们把这些碎片放在一起，提出了一个并行的扩散模型，可以预测实体采用的概率，发现用户之间的采用的影响可以通过他们以前的互动-而不是用户是否传播实体采用事先。我们的研究结果对研究影响力和语言的研究人员以及希望了解实体层面影响力动态的社区分析师具有重要意义。
2017-12-29 cs.CL cs.SI
GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer
FI Group（FI集团）；LIPN, CNRS UMR 7030（巴黎第十三大学计算机科学实验室，法国国家科学研究中心UMR 7030）
本文提出紧凑型NER模型GLiNER，利用双向Transformer编码器实现并行实体提取，在零样本评估中优于ChatGPT和微调LLMs，适用于资源受限场景。
2023-11-14 cs.AI cs.CL cs.LG
MEAformer: Multi-modal Entity Alignment Transformer for Meta Modality Hybrid
Zhejiang University（浙江大学）；The University of Manchester（曼彻斯特大学）；The University of Edinburgh（爱丁堡大学）；Huawei Technologies Ltd（华为技术有限公司）
本文提出MEAformer，通过动态预测模态间互相关系数实现细粒度实体级模态融合，解决多模态实体对齐中模态偏好变化与噪声鲁棒性问题，在多种训练场景下达到SOTA性能。
2023-07-30 cs.AI cs.CL
Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking
Google Research（谷歌研究院）
在这项工作中，我们提出了一个实体链接模型，它结合了Transformer架构与大规模的预训练维基百科链接。我们的模型在两个常用的实体链接数据集上达到了最先进的水平：CoNLL上的96.7%和TAC-KBP上的94.9%。我们提出了详细的分析，以了解什么样的设计选择是重要的实体链接，包括选择负实体候选人，Transformer架构，和输入扰动。最后，我们提出了更有挑战性的设置，如端到端的实体链接和实体链接，没有域内训练数据有希望的结果。
2020-05-28 cs.CL cs.LG
Mention Memory: incorporating textual knowledge into Transformers through entity mention attention
University of Southern California（南加利福尼亚大学）；Google（谷歌）；Google Research（谷歌研究院）
诸如开放域问答之类的自然语言理解任务通常需要从多个源检索和吸收事实信息。我们建议通过将大型文本语料库的半参数表示集成到Transformer模型中作为事实知识的来源来解决这个问题。具体来说，我们的方法表示知识与“提及记忆”，一个表的密集向量表示的每一个实体中提到的语料库。所提出的模型- TOME -是一个Transformer，它通过内部记忆层访问信息，其中输入通道中提到的每个实体都参与提到记忆。这种方法支持在单个Transformer模型中对许多不同的信息源进行合成和推理。在使用1.5亿次维基百科提及的记忆的实验中，TOME在几个开放领域知识密集型任务上实现了强大的性能，包括声明验证基准HoVer和FEVER以及几个基于实体的QA基准。我们还表明，该模型学习参加信息提及没有任何直接的监督。最后，我们证明了该模型可以推广到新的看不见的实体更新的内存，而无需再训练。
2022-04-19 cs.AI cs.CL cs.LG
MECT: Multi-Metadata Embedding based Cross-Transformer for Chinese Named Entity Recognition
Jiangnan University（江南大学）；University of Surrey（萨里大学）
近年来，中文命名实体识别（NER）中的词语增强技术已成为一个热门的研究方向，它可以减少分词错误，增加中文词语的语义和边界信息。然而，这些方法往往忽略了汉字的结构信息整合后的词汇信息。汉字自古以来就是由象形文字演变而来的，其结构往往反映了更多的文字信息。本文提出了一种新的基于多元数据嵌入的交叉转换器（MECT），通过融合汉字的结构信息来提高中文NER的性能。具体地说，我们使用多元数据嵌入在一个两个流的Transformer集成汉字特征与部首级嵌入。MECT结合了汉字的结构特点，能更好地捕捉汉字的语义信息，用于NER。在几个著名的基准测试数据集上的实验结果证明了该方法的优点和优越性。\footnote {所提出的方法的源代码可在https://github.com/CoderMusou/MECT4CNER公开获得。
2021-07-12 cs.AI cs.CL
Named Entity Recognition in Industrial Tables using Tabular Language Models
Siemens AG（西门子股份公司）；Ludwig-Maximilians University（路德维希-马克西米利安大学）
用于编码表格数据的专门的基于transformer的模型已经引起了学术界的兴趣。虽然表格数据在工业中无处不在，但表格Transformers的应用仍然缺失。在本文中，我们研究如何将这些模型可以应用到工业命名实体识别（NER）的问题中提到的实体表格结构的电子表格。电子表格的高度技术性以及缺乏标记数据为微调基于变压器的模型带来了重大挑战。因此，我们开发了一个专用的表数据增强策略的基础上可用的特定领域的知识图谱。我们表明，这大大提高了我们的低资源情况下的性能。此外，我们调查的好处，表格结构的归纳偏见相比，表作为线性序列。我们的实验证实，一个表Transformer优于其他基线，其表格电感偏置是至关重要的变压器为基础的模型的收敛。
2022-09-29 cs.AI cs.CL
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock（阿拉巴马州立大学）
本文提出一种结合语义相似度过滤机制的混合Transformer模型，以增强Legal-BERT在法律实体识别中的准确率，在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer
Singapore Management University（新加坡管理大学）
使用大量数据进行预训练，自回归语言模型能够生成高质量的序列。然而，这些模型在严格的词汇约束下表现不佳，因为它们缺乏对内容生成过程的精细控制。基于渐进插入的Transformers可以克服上述限制，并在给定一些输入令牌作为约束的情况下高效地并行生成序列。然而，这些Transformers可能无法支持硬词汇约束，因为它们的生成过程更有可能过早终止。本文分析了这种提前终止的问题，并提出了一种新的插入式Transformer，解决了上述缺陷，而不影响发电效率的安全约束插入式Transformer（ENCONTER）。我们引入了一种新的训练策略，该策略考虑了预定义的硬词汇约束（例如，要包括在生成的序列中的实体）。我们的实验表明，ENCONTER优于其他基准模型在几个性能指标，使其更适合在实际应用中。我们的代码可在https://github.com/LARC-CMU-SMU/Enconter上获得
2021-03-17 cs.AI cs.CL cs.LG
