Domain specific BERT representation for Named Entity Recognition of lab protocol
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
经过训练以从表示中预测属性的监督模型在各种任务上都达到了很高的准确性。例如，BERT家族似乎在从NER标记到其他语言任务范围的下游任务上工作得非常好。但是，医学领域的词汇表中包含了大量仅在医疗行业使用的不同的标记，如不同疾病、设备、生物体、药物等的名称，这使得传统的BERT模型很难创建上下文化的嵌入。在本文中，我们将说明系统的命名实体标注的基础上Bio-Bert。实验结果表明，我们的模型给出了实质性的改善，并站在F1分数方面的第四亚军，并在召回方面的第一亚军，只有2.21 F1分数落后于最好的一个。
2020-12-21 cs.CL
BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国家生物技术信息中心（NCBI）、美国国家医学图书馆（NLM）、美国国立卫生研究院（NIH））
生物医学关系陈述通常用多个句子表示，并且由许多概念组成，包括基因、疾病、化学和突变。为了从生物医学文献中自动提取信息，现有的生物医学文本挖掘方法通常将问题表述为跨句子的n元关系提取任务，该任务检测跨多个句子的n个实体之间的关系，并使用具有长短期记忆（LSTM）的图神经网络（GNN）或注意力机制。最近，Transformer在许多自然语言处理（NLP）任务上的表现优于LSTM。在这项工作中，我们提出了一种新的架构，结合双向编码器表示从Transformers与图形Transformer（BERT-GT），通过集成邻居注意力机制到BERT架构。与原始的Transformer架构不同，它利用整个句子来计算当前标记的注意力，我们的方法中的邻居-注意力机制仅利用其邻居标记来计算其注意力。因此，每个令牌可以关注其邻居信息而几乎没有噪声。我们表明，这是至关重要的，当文本是很长的，在跨句子或抽象层次的关系提取任务。我们的基准测试结果显示，在n-ary和化学蛋白质关系数据集上，准确率和F1度量分别提高了5.44%和3.89%，这表明BERT-GT是一种适用于其他生物医学关系抽取任务或数据集的鲁棒方法。
2021-01-11 cs.CL
From BERT to T5: A Study of Named Entity Recognition
University of Manchester（曼彻斯特大学）
本文研究了在预训练模型BERT和T5上进行命名实体识别任务，比较了两种模型在序列标注任务中的性能，并分析了常见错误和超参数对模型表现的影响。
2026-05-18 cs.CL
Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text
East China University of Science and Technology（华东理工大学）；Shanghai Hospital Development Center（上海医院发展中心）
实体和关系抽取是构建医学文本的必要步骤。但是现有模型中的双向长短期记忆网络的特征提取能力并没有达到最佳效果。同时，该语言模型在越来越多的自然语言处理任务中取得了优异的效果。在本文中，我们提出了一个集中注意力模型的联合实体和关系抽取任务。该模型通过动态范围注意力机制将著名的BERT语言模型融入到联合学习中，从而提高了共享参数层的特征表示能力。在曙光医院冠状动脉造影文本上的实验结果表明，命名实体识别和关系分类任务的F1分数分别达到96.89%和88.51%，优于现有方法的1.65%和1.22%。
2019-10-22 cs.CL
Sentence-to-Label Generation Framework for Multi-task Learning of Japanese Sentence Classification and Named Entity Recognition
Yokohama National University（横滨国立大学）；Pusan National University（釜山国立大学）
本研究提出用于日语SC与NER多任务的SLG框架，结合约束机制统一输入格式并提升生成准确率，实验证明两任务相互增强且性能显著提升。
2023-06-28 cs.CL
SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；Alibaba Group（阿里巴巴集团）；School of Computer Science and Technology, Heilongjiang University（黑龙江大学计算机科学与技术学院）
距离监督关系抽取是一种有效的大规模关系抽取方法，被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展，但很少考虑句法信息对实体建模。在本文中，我们提出学习语法感知的实体嵌入神经关系抽取。首先，我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后，我们利用句子内和句子间的注意力，以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后，我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验，实验结果表明，我们的模型可以充分利用所有的信息实例，并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition
Georgia Institute of Technology（佐治亚理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们研究了学习的问题命名实体识别（NER）标签使用噪声标签从多个弱监督源。虽然获取成本很低，但来自弱监管源的标签往往不完整、不准确且相互矛盾，因此很难学习准确的NER模型。为了解决这个问题，我们提出了一个条件隐马尔可夫模型（CHMM），它可以有效地推断出真正的标签从多源噪声标签在无监督的方式。CHMM增强了经典的隐马尔可夫模型与预先训练的语言模型的上下文表示能力。具体而言，CHMM从输入标记的BERT嵌入中学习标记方式的转移和发射概率，以从噪声观测中推断潜在的真实标签。我们进一步完善CHMM与交替训练方法（CHMM-ALT）。它用CHMM推断的标签微调BERT-NER模型，并且该BERT-NER的输出被视为额外的弱源以训练CHMM作为回报。在不同领域的四个NER基准上的实验表明，我们的方法远远优于最先进的弱监督NER模型。
2021-05-30 cs.CL
Investigating Entity Knowledge in BERT with Simple Neural End-To-End Entity Linking
University of Mannheim（曼海姆大学）
端到端实体链接系统的典型架构包括三个步骤：提及检测、候选生成和实体消歧。在这项研究中，我们调查了以下问题：（a）所有这些步骤都可以与上下文文本表示模型，即BERT（Devlin等人，2019年）？(b)预训练的BERT中已经包含了多少实体知识？(c)额外的实体知识是否提高了BERT在下游任务中的性能？为此，我们提出了一种对实体链接设置的极端简化，效果非常好：只需将其转换为整个实体词汇表（在我们的情况下超过70万个类）上的每个标记分类。我们在一个实体链接基准上表明：（i）该模型改进了普通BERT的实体表示，（ii）它优于单独优化任务的实体链接架构，以及（iii）它仅次于当前最先进的技术，即联合提到检测和实体消歧。此外，我们调查的有用性的实体感知令牌表示的文本理解基准GLUE，以及问答基准SQUAD V2和SWAG和EN-DE WMT 14机器翻译基准。令我们惊讶的是，我们发现这些基准测试中的大多数并没有从额外的实体知识中受益，除了一个具有非常小的训练数据的任务，即GLUE中的RTE任务，它提高了2%。
2020-03-11 cs.CL cs.LG
Neural Reranking for Named Entity Recognition
Singapore University of Technology and Design（新加坡科技设计大学）
提出了一种用于命名实体识别的神经网络重排序系统。其基本思想是利用递归神经网络模型来学习涉及命名实体提及的事件级模式。特别地，给定由基线NER模型产生的输出句子，我们将所有实体提及（例如\textit{Barack Obama}）替换为它们的实体类型（例如\textit{PER}）。由此产生的句型包含直接输出的信息，但不太稀疏，没有具体的命名实体。例如，“PER出生于1999年”可以是这样的模式。LSTM和CNN结构用于学习这些句子的深度表示以进行重新排序。结果表明，我们的系统可以显着提高NER的准确性在两个不同的基线，给出了最好的报告结果的标准基准。
2017-07-17 cs.CL
FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm
School of Management, University of Science and Technology of China（中国科学技术大学管理学院）
金融命名实体识别（FinNER）是金融文本信息抽取领域的一个具有挑战性的课题，其目的是从非结构化的金融文本中抽取大量的金融知识。使用序列标记框架来实现FinNER任务被广泛接受。然而，这样的序列标注模型不能充分利用文本中的语义信息。相反，我们制定了FinNER任务作为一个机器阅读理解（MRC）的问题，并提出了一个新的模型称为FinBERT-MRC。该算法利用精心设计的查询引入重要的先验信息，提取目标实体的起始索引和结束索引，无需条件随机场（CRF）等解码模块。我们在公开的中国金融数据集ChFinAnn和真实的商业数据集AdminPunish上进行了实验。FinBERT-MRC模型在两个数据集上的平均F1得分分别为92.78%和96.80%，与BiLSTM-CRF，BERT-Tagger和BERT-CRF等序列标记模型相比，平均F1增益分别为+3.94%和+0.89%。源代码可在www.example.com上获得。
2022-05-31 cs.CL
Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
通用和特定领域的BERT模型都被广泛用于自然语言处理（NLP）任务。本文研究了BERT模型在对抗攻击中对命名实体识别（NER）输入数据变化的脆弱性。实验结果表明，BERT模型容易受到实体上下文变化的影响，有20.2%~ 45.0%的实体预测完全错误，另有29.3%~ 53.3%的实体预测部分错误。BERT模型似乎最容易受到实体的本地上下文的变化的影响，并且通常单个变化就足以欺骗模型。从头开始训练的特定于领域的BERT模型（SciBERT）比原始BERT模型或保留BERT词汇的特定于领域的模型（BioBERT）更脆弱。我们还发现，BERT模型是特别容易受到紧急实体。我们的研究结果图表BERT模型NER的弱点，并强调进一步研究发现和减少这些弱点的重要性。
2022-01-31 cs.CL cs.IR
FiNER: Financial Numeric Entity Recognition for XBRL Tagging
NCSR “Demokritos”（德谟克利特国家科学研究中心）；Athens University of Economics and Business（雅典经济与商业大学）；University of Copenhagen（哥本哈根大学）
本文提出FiNER-139数据集，将XBRL标注建模为金融数值实体识别任务，并通过伪token替换数值表达式及预训练SEC-BERT模型显著提升性能。
2022-04-19 cs.CL
Preserving Empirical Probabilities in BERT for Small-sample Clinical Entity Recognition
针对临床 NER 中实体标签不平衡导致少数类性能下降的问题，本文分析 BERT 在随机化数据集上的损失计算与传播机制，并提出保留经验概率的 token 分类改进方法。
2024-09-05 cs.CL cs.LG
Code and Named Entity Recognition in StackOverflow
The Ohio State University（俄亥俄州立大学）
随着大量的编程文本在互联网上变得容易获得，一起学习自然语言和计算机代码的兴趣越来越大。例如，StackOverflow目前有超过1500万个编程相关的问题，由850万用户编写。与此同时，仍然缺乏基本的NLP技术来识别出现在自然语言句子中的代码令牌或软件相关的命名实体。在本文中，我们介绍了一个新的命名实体识别（NER）语料库的计算机编程领域，由15,372个句子与20个细粒度的实体类型注释。我们在来自StackOverflow的1.52亿个句子上训练了域内BERT表示（BERTOverflow），这导致了比现成的BERT绝对增加了+10的F-1分数。我们还提出了SoftNER模型，该模型在StackOverflow数据上实现了代码和命名实体识别的总体79.10 F $_1$得分。我们的SoftNER模型采用了一个上下文无关的代码令牌分类器与语料库级别的功能，以改善基于BERT的标记模型。我们的代码和数据可在https://github.com/jeniyat/StackOverflowNER/上获得
2020-11-15 cs.CL
An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020
Aimesoft JSC（Aimesoft股份公司）
在本文中，我们提出了一个实证研究，使用预训练的BERT模型的关系抽取任务在VLSP 2020年评估活动。我们应用了两种最先进的基于BERT的模型：R-BERT和实体启动的BERT模型。对于每个模型，我们比较了两个预训练的BERT模型：FPTAI/vibert和NlpHUST/vibert 4 news。我们发现NlpHUST/vibert 4 news模型在越南语关系抽取任务中的表现明显优于FPTAI/vibert。最后，我们提出了一个集成模型，结合R-BERT和BERT与实体开始。我们提出的集成模型略有改善，对两个单一的模型的开发数据和测试数据提供的任务组织者。
2021-01-28 cs.CL
Fast and Effective Biomedical Entity Linking Using a Dual Encoder
Rutgers University–New Brunswick（罗格斯大学新伯朗士威校区）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
生物医学实体链接是识别文本文档中提到的生物医学概念并将其映射到目标词库中的规范实体的任务。使用基于BERT的模型的实体链接的最新进展遵循检索和重新排序范例，其中候选实体首先使用检索器模型进行选择，然后检索到的候选实体由重新排序器模型进行排序。虽然这种范例产生了最先进的结果，但它们在训练和测试时都很慢，因为它们一次只能处理一个提及。为了缓解这些问题，我们提出了一种基于BERT的双编码器模型，可以一次性解决文档中的多个提及。我们表明，我们提出的模型比现有的基于BERT的模型快数倍，同时在生物医学实体链接的准确性方面具有竞争力。此外，我们修改了我们的双编码器模型的端到端的生物医学实体链接，执行提及跨度检测和实体消歧，并优于最近提出的两个模型。
2021-03-08 cs.CL
Hierarchical Relation-Guided Type-Sentence Alignment for Long-Tail Relation Extraction with Distant Supervision
University of Technology Sydney（悉尼科技大学）
远程监督使用知识图谱中的三重事实来标注语料库以进行关系抽取，导致错误标注和长尾问题。一些作品使用关系的层次结构进行知识转移到长尾关系。然而，粗粒度的关系通常仅意味着属性（例如，域或主题）的远距离事实，使得很难区分关系的基础上，单独的句子语义。一种解决方案是诉诸实体类型，但关于如何充分利用实体类型的信息以及如何将多粒度实体类型与句子对齐的问题仍然存在。在这项工作中，我们提出了一种新的模型来丰富实体类型的远程监督句子。它包括（1）一个成对的类型丰富的句子编码模块注入上下文无关的和相关的背景，以减轻重复级别的错误标记，和（2）一个分层的类型句子对齐模块丰富的句子与三重事实的基本属性，以支持长尾关系。我们的模型在基准测试的整体和长尾性能方面取得了新的最先进的结果。
2021-09-19 cs.CL
Iterative Auto-Annotation for Scientific Named Entity Recognition Using BERT-Based Models
本文提出一种基于BERT模型的迭代自动标注方法，通过少量人工标注数据微调模型，自动标注更大数据集并迭代优化，显著提升科学命名实体识别的准确率和F1分数。
2025-02-22 cs.AI cs.CL
Symmetric Regularization based BERT for Pair-wise Semantic Reasoning
Ant Financial Services Group（蚂蚁金融服务集团）；DAMO, Alibaba Group（阿里巴巴集团达摩院）
对句子对进行语义推理的能力对于许多自然语言理解任务是必不可少的，例如，自然语言推理和机器阅读理解。这些任务中最近的一个重大改进来自BERT。BERT中的下一句预测（NSP）学习了两个句子之间的上下文关系，对于解决具有双对输入的下游问题具有重要意义。尽管NSP的有效性，我们认为，NSP仍然缺乏必要的信号来区分蕴涵和浅相关。为了解决这个问题，我们建议将NSP任务增加到3类分类任务，其中包括一个用于先前句子预测（PSP）的类别。PSP的引入促使模型关注信息语义来确定句子顺序，从而提高了语义理解能力。这个简单的修改产生了显着的改善香草BERT。为了进一步整合文档级信息，NSP和PSP的范围被扩展到更广的范围，即，NSP和PSP还包括接近但不连续的句子，其噪声通过标签平滑技术来减轻。定性和定量的实验结果都证明了该方法的有效性。我们的方法一致地提高了NLI和MRC基准测试的性能，包括具有挑战性的HANS数据集\cite{hans}，这表明文档级任务仍然有希望用于预训练。
2021-06-17 cs.CL
A Comprehensive Survey of Sentence Representations: From the BERT Epoch to the ChatGPT Era and Beyond
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文是首篇聚焦句子表示的系统综述，梳理了从BERT到ChatGPT时代以深度学习为主的各类句子表示学习方法，总结了领域进展与挑战，并提出未来提升句子表示质量与效率的研究方向。
2024-02-02 cs.CL
Lex-BERT: Enhancing BERT based NER with lexicons
在这项工作中，我们代表的Lex-BERT，它将词典信息融入到中文BERT的命名实体识别（NER）任务，在一个自然的方式。我们不像FLAT那样使用词嵌入和新设计的Transformer层，而是使用特殊的标记来识别句子中单词的边界，修改后的句子将直接由BERT编码。我们的模型没有引入任何新的参数，比FLAT更有效。此外，我们不需要伴随词典集合的任何词嵌入。在Ontonotes和ZhCrossNER上的实验表明，我们的模型优于FLAT和其他基线。
2021-04-16 cs.CL
Mutual Reinforcement Effects in Japanese Sentence Classification and Named Entity Recognition Tasks
Yokohama National University（横滨国立大学）；Pusan National University（釜山国立大学）
本研究提出融合句子分类与命名实体识别的SCNM多任务方法及SLG生成框架，验证了两个任务间的相互强化效应，提升了任务性能，且SLG框架在单任务与少样本场景下均表现优异。
2023-07-21 cs.CL
Guidance-Based Prompt Data Augmentation in Specialized Domains for Named Entity Recognition
Computer Science and Engineering, Chungnam National University, Republic of Korea（Chungnam 国立大学计算机科学与工程系）；KT Corporation, Republic of Korea（KT 公司）
本研究提出一种基于指导的提示数据增强方法，通过抽象上下文和句子结构生成多样化句子，提升专业领域命名实体识别任务的训练性能。
2024-07-26 cs.CL
Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs
Spesia；Faculdade de Medicina, Universidade de São Paulo（圣保罗大学医学院）；Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Florida Atlantic University（佛罗里达大西洋大学）；Universidade Federal do Paraná (UFPR)（巴拉那联邦大学）
本文评估了BERT和LLM在葡萄牙语临床命名实体识别中的表现，发现mmBERT-base在微平均F1分数上表现最佳，通过迭代分层和过采样策略提升了性能。
2026-03-27 cs.CL
Improving Entity Linking by Modeling Latent Entity Type Information
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；Peng Cheng Laboratory（鹏城实验室）
现有技术的神经实体链接模型采用基于注意力的词袋上下文模型和从词嵌入引导的预训练实体嵌入来评估主题级上下文兼容性。然而，在提到的直接上下文中的潜在实体类型信息被忽略，这导致模型往往链接到不正确的实体与不正确的类型。为了解决这个问题，我们提出了基于预训练的BERT的实体嵌入注入潜在的实体类型信息。此外，我们将基于BERT的实体相似性得分集成到最先进模型的局部上下文模型中，以更好地捕获潜在的实体类型信息。我们的模型显着优于国家的最先进的实体链接模型的标准基准（AIDA-CoNLL）。详细的实验分析表明，我们的模型纠正了直接基线产生的大部分类型错误。
2020-01-06 cs.CL
Fancy Man Lauches Zippo at WNUT 2020 Shared Task-1: A Bert Case Model for Wet Lab Entity Extraction
Xian Jiaotong University（西安交通大学）；The University of Manchester（曼彻斯特大学）；East China University of Science and Technology（华东理工大学）；Zhejiang University（浙江大学）
自动或半自动地将指定执行实验室程序的步骤的协议转换为机器可读的格式对生物研究有很大好处。随着深度学习的发展，这些嘈杂的、密集的、特定于领域的实验室协议处理引起了越来越多的兴趣。本文介绍了我们在WNUT 2020共享任务1：湿实验室实体提取中的团队合作，我们在几个模型中进行了研究，包括BiLSTM CRF模型和BERT case模型，这些模型可以用于完成湿实验室实体提取。并着重讨论了\textbf{Bert case}在不同情况下的性能差异，如\emph{transformers}版本、大小写敏感等以前可能没有得到足够重视的问题。
2020-09-28 cs.CL cs.LG
Beheshti-NER: Persian Named Entity Recognition Using BERT
NLP Research Laboratory（自然语言处理研究实验室）；Shahid Beheshti University（沙希德贝赫什提大学）
命名实体识别是一项自然语言处理任务，用于识别和提取与命名实体相关联的文本跨度，并将其分类为语义类别。Google BERT是一个深度双向语言模型，在大型语料库上进行了预训练，可以进行微调以解决许多NLP任务，如问答，命名实体识别，词性标注等。在本文中，我们使用预训练的深度双向网络BERT，为波斯语中的命名实体识别建立模型。我们还比较了我们的模型的结果与以前的状态的最先进的结果实现波斯语NER。我们的评估指标是CONLL 2003分数在两个层次的词和短语。该模型在NSURL-2019任务7竞赛中获得第二名，该竞赛与波斯语的NER相关。我们在这次比赛中的成绩是83.5和88.4 f1 CONLL分数分别在短语和单词水平的评价。
2020-03-19 cs.CL cs.LG
NER-BERT: A Pre-trained Model for Low-Resource Entity Tagging
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）
当大型训练数据集对于低资源域不可用时，命名实体识别（NER）模型通常表现不佳。近年来，预训练大规模语言模型已成为应对数据稀缺问题的一个有前途的方向。然而，语言建模和NER任务之间的潜在差异可能会限制模型的性能，并且NER任务的预训练很少被研究，因为收集的NER数据集通常很小或很大，但质量很低。在本文中，我们构建了一个相对高质量的大规模NER语料库，并根据创建的数据集预训练NER-BERT模型。实验结果表明，我们的预训练模型可以显着优于BERT以及其他强大的基线在低资源的情况下，在九个不同的领域。此外，实体表示的可视化进一步表明了NER-BERT对各种实体进行分类的有效性。
2021-12-01 cs.AI cs.CL
Sentence-Level Relation Extraction via Contrastive Learning with Descriptive Relation Prompts
Netease Inc.（网易公司）
本文提出CTL-DRP范式，通过描述性关系提示和对比学习联合建模实体信息、关系知识与类型限制，在TACRED、TACREV和Re-TACRED上取得领先性能。
2023-04-11 cs.CL
NC-DRE: Leveraging Non-entity Clue Information for Document-level Relation Extraction
Xiamen University（厦门大学）
文档级关系抽取（RE）需要对不同句子中的多个实体进行推理以识别复杂的句子间关系，这比文档级RE更具挑战性。为了提取复杂的句间关系，以往的研究通常采用图神经网络（GNN）对异构文档图进行推理。尽管这些基于图的方法取得了巨大的成功，但它们在构建图和推理的过程中通常只考虑提及中的词，往往忽略了提及中没有的但为关系推理提供重要线索信息的非实体线索词。为了缓解这个问题，我们将基于图的文档级RE模型视为编码器-解码器框架，该框架通常使用预训练的语言模型作为编码器，GNN模型作为解码器，并提出了一种新的基于图的模型NC-DRE，该模型引入解码器到编码器的注意力机制，以利用非实体线索信息进行文档级关系抽取。
2022-04-01 cs.CL
Entity, Relation, and Event Extraction with Contextualized Span Representations
University of Washington（华盛顿大学）；Google AI Language（谷歌AI语言团队）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们研究了一个统一的，多任务的框架，三个信息抽取任务的能力：命名实体识别，关系抽取，和事件提取。我们的框架（称为DyGIE++）通过枚举，精炼和评分旨在捕获本地（句子内）和全球（跨句子）上下文的文本跨度来完成所有任务。我们的框架在来自各个领域的四个数据集上实现了所有任务的最先进结果。我们进行实验比较不同的技术来构建跨度表示。像BERT这样的上下文嵌入在捕获相同或相邻句子中的实体之间的关系方面表现良好，而动态跨度图更新则对长范围的跨句子关系进行建模。例如，通过预测的共指链接传播跨度表示可以使模型能够消除具有挑战性的实体提及的歧义。我们的代码可在https://github.com/dwadden/dygiepp上公开获取，并且可以轻松地适应新任务或数据集。
2019-09-10 cs.CL
BERT might be Overkill: A Tiny but Effective Biomedical Entity Linker based on Residual Convolutional Neural Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
生物医学实体链接是将生物医学文档中提及的实体链接到知识库中的引用实体的任务。最近，许多基于BERT的模型已被引入的任务。虽然这些模型在许多数据集上取得了有竞争力的结果，但它们的计算成本很高，包含约1.1亿个参数。关于导致其令人印象深刻的性能的因素以及是否需要过度参数化的因素知之甚少。在这项工作中，我们揭示了这些大型BERT模型的内部工作机制。通过一组探测实验，我们已经发现，实体连接性能只有轻微的变化时，输入的词序是洗牌或当注意范围被限制在一个固定的窗口大小。从这些观察，我们提出了一个有效的卷积神经网络与剩余连接的生物医学实体链接。由于稀疏连接和权重共享属性，我们的模型具有少量的参数，是高效的。在五个公共数据集上，我们的模型实现了与最先进的基于BERT的模型相当甚至更好的链接准确性，同时具有大约60倍的参数。
2021-09-06 cs.AI cs.CL
Named Entity Recognition in the Style of Object Detection
Microsoft（微软）
在这项工作中，我们提出了一个两阶段的方法命名实体识别（NER），特别是嵌套NER。我们借鉴了计算机视觉中的两阶段目标检测的思想和它们如何构造损失函数的方法。首先，区域建议网络生成区域候选，然后第二阶段模型对实体进行区分和分类，并做出最终预测。我们还设计了一个特殊的损失函数用于第二阶段的训练，同时预测实体和实体类型。该模型建立在预训练的BERT编码器之上，我们尝试了BERT基础模型和BERT大型模型。在实验中，我们首先将其应用于CoNLL2003和OntoNotes5.0等平面NER任务，并使用序列标记方法与传统的NER模型获得了可比的结果。在嵌套的命名实体识别任务ACE2005和Genia上对该模型进行了测试，F1得分分别为85.6 $\%$和76.8 $\%$。在第二阶段的训练中，我们发现增加额外的随机选择区域对提高精度起着重要作用。我们还进行了错误分析，以更好地评估模型在不同情况下的性能，以便将来进行潜在的改进。
2021-01-26 cs.CL
Attack Named Entity Recognition by Entity Boundary Interference
Shanghai Jiao Tong University（上海交通大学）
本文提出虚拟边界攻击（ViBA），通过插入实体边界干扰NER模型的决策，以单次词修改实现高效攻击，在英中模型上成功率70%-90%。
2023-05-09 cs.CL
Don't Lose Entities from Retrieval to Generation: Dual Entity Recovery RAG for multi-hop QA
UNIST（蔚山科学技术院）
针对多跳问答中检索与生成阶段实体信息丢失的问题，提出双实体恢复RAG（DER-RAG），通过双向查询分解和主语实体前缀，无需图构建或微调，在三个基准上达到或超越强基线。
2026-09-09 cs.CL
Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）；Emory University（埃默里大学）
发现事件的逻辑顺序是自然语言理解的基石之一。学习事件顺序的一种方法是研究连贯文本中句子的顺序。句子排序可以应用于各种任务，例如基于检索的问答、文档摘要、讲故事、文本生成和对话系统。此外，我们可以通过学习如何对一组混洗的句子进行排序来学习建模文本连贯性。以前的研究依赖于RNN，LSTM和BiLSTM架构来学习文本语言模型。然而，由于缺乏注意力机制，这些网络表现不佳。我们提出了一个算法的句子排序的短篇小说语料库。我们提出的方法使用的语言模型的基础上通用Transformers（UT），捕捉句子的依赖关系，采用注意力机制。我们的方法在ROCStories数据集中的完美匹配率（PMR）得分方面改进了以前的最先进水平，ROCStories数据集是一个近10万短的人造故事的语料库。该模型包括三个部分：句子编码器，语言模型和句子排列与暴力搜索。第一个组件使用在ROCStories数据上微调的SBERT-WK预训练模型生成句子嵌入。然后，通用Transformer网络生成一个会话级语言模型。对于解码，网络生成候选句子作为当前句子的后续句子。我们使用余弦相似度作为评分函数来为候选嵌入和混洗集中其他句子的嵌入分配分数。然后，使用蛮力搜索来最大化连续句子对之间的相似性之和。
2021-08-24 cs.CL
Biomedical named entity recognition using BERT in the machine reading comprehension framework
Dalian University of Technology（大连理工大学）；Beijing Institute of Health Administration and Medical Information（北京卫生健康经济研究和医学信息研究所）
从文献中识别生物医学实体是一个具有挑战性的研究热点，它是将大量存在于非结构化文本中的生物医学知识提取为结构化格式的基础。利用序列标记框架实现生物医学命名实体识别（BioNER）是目前常用的方法。然而，这种方法往往不能充分利用数据集中的语义信息，并且性能并不总是令人满意的。在这项工作中，而不是把BioNER任务作为一个序列标记问题，我们制定了一个机器阅读理解（MRC）的问题。该公式可以利用精心设计的查询引入更多的先验知识，并且不再需要诸如条件随机场（CRF）的解码过程。我们在六个BioNER数据集上进行了实验，实验结果证明了该方法的有效性。我们的方法在BC 4CHEMD、BC 5CDR-Chem、BC 5CDR-Disease、NCBI-Disease、BC 2GM和JNLPBA数据集上实现了最先进的（SOTA）性能，分别实现了92.92%、94.19%、87.83%、90.04%、85.48%和78.93%的F1评分。
2021-05-17 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
Entity Linking for Queries by Searching Wikipedia Sentences
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Microsoft Research Asia（微软亚洲研究院）；Shandong University（山东大学）
我们提出了一个简单而有效的方法来连接查询中的实体。其核心思想是从维基百科文章中搜索与查询相似的句子，并直接使用相似句子中的人工标注实体作为查询的候选实体。然后，我们采用了一组丰富的功能，如链接概率，上下文匹配，词嵌入，以及候选实体之间的相关性，以及它们的相关实体，在一个基于回归的框架下对候选人进行排名。我们的方法的优点在于两个方面，这有助于排名过程和最终的链接结果。首先，它可以通过过滤掉与查询中的词不相关的实体来大大减少候选实体的数量。其次，我们可以获得查询敏感的先验概率，除了静态链接概率来自所有维基百科的文章。我们在两个基准数据集上进行了实体链接查询的实验，即ERD14数据集和GERDAQ数据集。实验结果表明，我们的方法优于国家的最先进的系统，并在ERD 14数据集和GERDAQ数据集上的F1收益率分别为75.0%和56.9%。
2017-05-18 cs.CL
German BERT Model for Legal Named Entity Recognition
University of Passau（帕绍大学）
BERT是最流行的语言模型之一，它的使用使得许多自然语言处理（NLP）任务得到了改进。一个这样的任务是命名实体识别（NER），即从给定文本自动识别诸如位置、人、组织等的命名实体。它也是许多自然语言处理任务，如信息抽取和论证挖掘的重要基础步骤。尽管使用BERT和其他流行的语言模型对NER进行了大量研究，但在法律NLP或法律技术方面却没有详细探讨。法律NLP应用各种NLP技术，如句子相似性或NER专门针对法律数据。使用BERT语言模型的NER任务只有少数模型，然而，这些模型都不是针对德语的法律文档。在本文中，我们微调了一个流行的BERT语言模型，该模型在法律实体识别（LER）数据集上对德国数据（德语BERT）进行了训练。为了确保我们的模型不会过度拟合，我们进行了分层的10倍交叉验证。我们在LER数据集上通过微调德国BERT获得的结果优于相同LER数据集作者使用的BiLSTM-CRF+模型。最后，我们通过HuggingFace公开提供模型。
2023-03-07 cs.CL cs.LG
Mitigating Out-of-Entity Errors in Named Entity Recognition: A Sentence-Level Strategy
School of Data Science, Fudan University（复旦大学数据科学学院）
针对命名实体识别中的实体外问题，提出充分利用句子级信息的S+NER框架，结合模板上下文理解与对比学习优化表示，在5个基准数据集上优于部分现有先进模型。
2025-01-13 cs.AI cs.CL
Introducing RONEC -- the Romanian Named Entity Corpus
University Politehnica of Bucharest（布加勒斯特理工大学）
我们目前RONEC -命名实体语料库的罗马尼亚语。该语料库包含超过26000个实体在~5000注释的句子，属于16个不同的类。这些句子是从一份免费的报纸上摘录的，涵盖了几种风格。该语料库是罗马尼亚语言空间中专门针对命名实体识别的第一个举措。它有BRAT和CoNLL-U Plus格式，可以在github.com/dumitrescustefan/ronec上免费使用和扩展。
2020-04-27 cs.CL
Multilingual Named Entity Recognition Using Pretrained Embeddings, Attention Mechanism and NCRF
MIPT（莫斯科物理技术学院）；Sberbank（俄罗斯联邦储蓄银行）
提出一种结合多语言 BERT 嵌入、双向循环网络、注意力机制与 NCRF 的多语言命名实体识别模型，并在 BSNLP 四语种数据集上进行测试。
2019-06-21 cs.CL
Automatic Extraction of Medication Names in Tweets as Named Entity Recognition
NVIDIA（英伟达）
社交媒体帖子包含有关医疗条件和健康相关行为的潜在有价值的信息。Biocreative VII任务3的重点是通过识别推文中提到的药物和膳食补充剂来挖掘这些信息。我们通过微调多个BERT风格的语言模型来执行标记级分类，并将它们组合成集成来生成最终预测，从而完成这项任务。我们最好的系统由五个Megatron-BERT-345 M模型组成，在看不见的测试数据上达到了0.764的严格F1分数。
2021-11-30 cs.CL
BERE: An accurate distantly supervised biomedical entity relation extraction network
从文献中自动抽取实体关系抽取（RE）是构建生物医学数据库的重要来源，它比人工处理更高效、可扩展。然而，现有的RE模型通常忽略了句子结构和目标实体中包含的信息。在本文中，我们提出了BERE，这是一种基于深度学习的模型，它使用Gumbel Tree-GRU来学习句子结构，并使用联合嵌入来整合实体信息。它还采用词级注意力改进的关系抽取和事件级注意力，以适应远程监督数据集。由于现有的数据集相对较小，我们进一步构建了一个更大的药物靶点相互作用提取（DTIE）数据集的远程监督。在DDIExtraction 2013任务和DTIE数据集上进行的实验表明，我们的模型在F1测量和PR曲线方面优于最先进的基线。
2019-06-22 cs.CL
SEBERTNets: Sequence Enhanced BERT Networks for Event Entity Extraction Tasks Oriented to the Finance Field
JD Digital（京东数字科技）
针对金融领域事件实体抽取，本文提出可捕获序列语义的 SEBERTNets，并结合多通道召回设计 HSEBERTNets，在 CCKS 评测第一阶段分别取得 0.905 和 0.934 的 F1 分数。
2024-01-21 cs.AI cs.CL
UTNLP at SemEval-2021 Task 5: A Comparative Analysis of Toxic Span Detection using Attention-based, Named Entity Recognition, and Ensemble Models
University of Tehran（德黑兰大学）
检测句子的哪些部分导致了句子的毒性，而不是提供一个令人讨厌的判决，这将增加模型的可解释性，并允许人类主持人更好地理解系统的输出。本文介绍了我们团队的UTNLP方法和SemEval-2021共享任务5中关于有毒跨度检测的结果。我们测试了多个模型和上下文嵌入，并报告了最好的设置。实验从基于关键字的模型开始，然后是基于注意力的，基于命名实体的，基于变换器的和集成模型。我们最好的方法，合奏模型，在比赛的评估阶段达到了0.684的F1。
2021-04-10 cs.CL
Leveraging 2-hop Distant Supervision from Table Entity Pairs for Relation Extraction
The Ohio State University（俄亥俄州立大学）
远程监控（Distant Supervision，DS）已被广泛用于自动构造（噪声）标记数据以用于关系抽取（RE）。给定两个实体，远距离监督利用直接提到它们的句子来预测它们的语义关系。我们把这种策略称为1跳DS，不幸的是，它可能不适合于支持句子很少的长尾实体。在本文中，我们引入了一种新的策略，名为2跳DS，以提高远程监督RE，观察到存在大量的关系表在Web上包含共享共同关系的实体对。我们将这样的实体对称为彼此的锚，并收集所有提到给定目标实体对的锚实体对的句子，以帮助关系预测。我们在多示例学习范式中开发了一种新的神经RE方法REDS 2，该方法采用分层模型结构分别融合来自1跳DS和2跳DS的信息。在基准数据集上进行的大量实验结果表明，REDS2可以在不同的设置中始终优于各种基线。
2019-09-13 cs.CL
A Lightweight Neural Model for Biomedical Entity Linking
Institut Polytechnique de Paris（巴黎综合理工学院）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
生物医学实体链接旨在将生物医学提及（如疾病和药物）映射到给定知识库中的标准实体。在这种情况下，具体的挑战是，同一个生物医学实体可以有各种各样的名称，包括同义词，形态变化，以及不同的单词顺序的名称。最近，基于BERT的方法通过允许丰富的词序列表示来推进了最先进的技术。然而，它们往往有数以亿计的参数，需要大量的计算资源，这限制了它们在资源有限的场景中的应用。在这里，我们提出了一个轻量级的生物医学实体连接的神经方法，它只需要一个BERT模型的一小部分参数和更少的计算资源。我们的方法使用一个简单的对齐层与注意力机制，以捕捉提及和实体名称之间的变化。然而，我们表明，我们的模型是有竞争力的标准评估基准与以前的工作。
2021-05-21 cs.CL
Portuguese Named Entity Recognition using BERT-CRF
University of Campinas（坎皮纳斯大学）；NeuralMind Inteligência Artificial（NeuralMind 人工智能）；New York University（纽约大学）
使用神经网络的语言表示的最新进展使得将训练模型的学习内部状态转移到下游自然语言处理任务（例如命名实体识别（NER）和问答）是可行的。已经表明，预训练的语言模型的利用提高了许多任务的整体性能，并且在标记数据稀缺时非常有益。在这项工作中，我们训练葡萄牙语BERT模型，并采用BERT-CRF架构的NER任务的葡萄牙语，结合传输能力的BERT与结构化的预测CRF。我们探索基于特征和微调的训练策略的BERT模型。我们的微调方法在HAREM I数据集上获得了新的最先进的结果，在选择性场景（5个NE类）上将F1分数提高了1分，在总场景（10个NE类）上提高了4分。
2020-02-27 cs.CL cs.IR cs.LG
An Analysis of Simple Data Augmentation for Named Entity Recognition
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Sydney（悉尼大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61中心）
简单而有效的数据增强技术已被提出用于并行级和并行对自然语言处理任务。受这些努力的启发，我们设计和比较数据增强命名实体识别，这通常是建模为一个令牌级序列标记问题。通过对来自生物医学和材料科学领域的两个数据集（i2 b2 -2010和MaSciP）的实验，我们证明了简单的增强可以提高循环模型和基于transformer的模型的性能，特别是对于小的训练集。
2020-10-22 cs.CL
Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
尽管最近的进展，很少有人知道的最先进的神经关系抽取（RE）模型所捕获的功能。常见的方法是在对关系进行分类之前，根据实体提及情况对源句进行编码。然而，任务的复杂性使得很难理解编码器架构和支持语言知识如何影响编码器学习的特征。我们引入了14个针对RE相关语言属性的探测任务，并使用它们来研究在两个数据集TACRED和SemEval 2010 Task 8上训练的40多种不同编码器架构和语言特征组合所学习的表示。我们发现，由结构和语言特征的包含引起的偏见在探测任务的表现中得到了明确的表达。例如，添加上下文化的单词表示大大提高了探测任务的性能，重点是命名实体和词性信息，并在RE中产生更好的结果。相比之下，实体掩码提高了RE，但大大降低了实体类型相关探测任务的性能。
2020-04-17 cs.CL
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；PricewaterhouseCoopers GmbH（普华永道有限责任公司）
我们提出了KPI-BERT，一个系统，它采用新的方法命名实体识别（NER）和关系抽取（RE）提取和链接的关键绩效指标（KPI），如“收入”或“利息支出”，公司从现实世界的德国金融文件。具体来说，我们引入了一种端到端的可训练架构，该架构基于来自Transformers的双向编码器表示（BERT），将递归神经网络（RNN）与条件标签掩蔽相结合，以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制，并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能，超过了几个强大的基线，包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
A Consolidated System for Robust Multi-Document Entity Risk Extraction and Taxonomy Augmentation
Thomson Reuters Special Services, LLC（汤森路透特别服务有限责任公司）
我们引入了一个混合的人工自动化系统，提供了可扩展的实体风险关系抽取在大型数据集。给定专家定义的关键字分类法、实体和数据源，系统基于实体和关键字之间的双向标记距离返回文本提取，并使用词向量编码扩展分类法覆盖范围。与专注于警报的系统相比，我们的系统代表了一个更简化的架构-受风险挖掘领域的高覆盖率用例（如尽职调查活动和情报收集）的激励。我们提供了一个系统的概述和专家评估的令牌距离范围。我们证明，单句和多句距离组显着优于基线提取与较短的，单句是首选的分析师。随着分类法的扩展，相关信息的量增加，多句提取变得更受欢迎，但这与实体风险关系变得更加间接有关。我们讨论了这些意见对用户的影响，管理的模糊性和分类扩展，以及未来的系统修改。
2019-09-23 cs.CL
