Exploring Cross-sentence Contexts for Named Entity Recognition with BERT
University of Turku(图尔库大学)
命名实体识别(NER)通常被视为序列分类任务,其中每个输入由一个文本句子组成。然而,很明显,对任务有用的信息往往可以在单句上下文的范围之外找到。最近提出的自注意模型,如BERT,既可以有效地捕捉输入中的长距离关系,也可以表示由多个句子组成的输入,为在自然语言处理任务中引入跨句子信息的方法创造了新的机会。在本文中,我们提出了一个系统的研究,探索使用跨句信息的NER使用BERT模型在五种语言。我们发现,以额外的句子的形式添加上下文到BERT输入系统地增加NER性能的所有测试的语言和模型。在每个输入中包含多个句子还允许我们研究相同句子在不同上下文中的预测。我们提出了一个简单的方法,上下文多数投票(CMV),结合不同的预测句子,并证明这进一步提高NER性能与BERT。我们的方法不需要对底层BERT架构进行任何更改,而是依赖于重构示例进行训练和预测。对已建立的数据集(包括CoNLL'02和CoNLL'03 NER基准)的评估表明,我们提出的方法可以改善英语,荷兰语和芬兰语的最新NER结果,在德语中实现了最佳的BERT结果,并且与西班牙语中其他基于BERT的方法报告的性能相当。我们在开放许可证下发布本工作中实现的所有方法。
2020-12-17 cs.CL
Finetuning BERT on Partially Annotated NER Corpora
Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
大多数命名实体识别(NER)模型都是在训练数据集被完全标记的假设下运行的。虽然它对已建立的数据集(如CoNLL 2003和OntoNotes)有效,但有时无法获得完整的数据集注释。例如,这些情况可能发生在为了降低成本而选择性地注释实体之后。这项工作提出了一种方法来微调BERT的部分标记的数据集使用自我监督和标签预处理。我们的方法优于以前的基于LSTM的标签预处理基线,显着提高了标记不佳的数据集的性能。我们证明,按照我们的方法,在CoNLL 2003数据集上微调RoBERTa时,只有10%的实体被标记,就足以达到在相同数据集上训练的基线的性能,其中50%的实体被标记。
2022-11-25 cs.CL
Beheshti-NER: Persian Named Entity Recognition Using BERT
NLP Research Laboratory(自然语言处理研究实验室);Shahid Beheshti University(沙希德贝赫什提大学)
命名实体识别是一项自然语言处理任务,用于识别和提取与命名实体相关联的文本跨度,并将其分类为语义类别。Google BERT是一个深度双向语言模型,在大型语料库上进行了预训练,可以进行微调以解决许多NLP任务,如问答,命名实体识别,词性标注等。在本文中,我们使用预训练的深度双向网络BERT,为波斯语中的命名实体识别建立模型。我们还比较了我们的模型的结果与以前的状态的最先进的结果实现波斯语NER。我们的评估指标是CONLL 2003分数在两个层次的词和短语。该模型在NSURL-2019任务7竞赛中获得第二名,该竞赛与波斯语的NER相关。我们在这次比赛中的成绩是83.5和88.4 f1 CONLL分数分别在短语和单词水平的评价。
2020-03-19 cs.CL cs.LG
Noise reduction in BERT NER models for clinical entity extraction
ConcertAI LLC
本文提出噪声去除模型提升BERT NER在临床实体提取中的精度,通过概率密度图优化预测分类,减少假阳性至90%
2026-02-03 cs.AI cs.CL cs.IR
ANEA: Automated (Named) Entity Annotation for German Domain-Specific Texts
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学)
命名实体识别(NER)是一项重要的任务,其目的是解决命名实体的通用类别,例如,人物、地点、组织和时间。尽管它在许多用例中的常见和可行的使用,但NER几乎不适用于一般类别次优的领域,如工程或医学。为了促进特定领域类型的NER,我们提出了ANEA,一个自动化(命名)实体注释器,以协助人类注释创建特定领域的NER语料库时,给定一组特定领域的文本德语文本集合。在我们的评估中,我们发现ANEA自动识别最能代表文本内容的术语,识别连贯术语组,并为这些组提取和分配描述性标签,即,将文本数据集注释到域(命名)实体中。
2021-12-13 cs.CL
Mono vs Multilingual BERT: A Case Study in Hindi and Marathi Named Entity Recognition
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube;Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
命名实体识别(NER)是对文本中的重要信息(实体)进行识别和分类的过程。专有名词,如人名、组织名称或位置名称,都是实体的示例。NER是人力资源、客户支持、搜索引擎、内容分类和学术界等应用程序中的重要模块之一。在这项工作中,我们考虑NER为低资源的印度语言,如印地语和马拉地语。基于transformer的模型已被广泛用于NER任务。我们考虑不同的变化BERT像基地BERT,RoBERTa,和Al BERT和基准他们公开可用的印地语和马拉地语NER数据集。我们提供了一个详尽的比较不同的单语和多语种的转换器为基础的模型,并建立简单的基线目前在文献中缺失。我们发现,单语MahaRoBERTa模型表现最好的马拉地语NER,而多语言XLM-RoBERTa表现最好的印地语NER。我们还进行跨语言评估,并提出混合观察。
2022-03-24 cs.CL cs.LG
A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis
Zhejiang Informatization Development Institute, Hangzhou Dianzi University(杭州电子科技大学浙江信息化发展研究院)
提出了一种新的命名实体识别(NER)方法,有效地利用了词性标注、汉语分词和句法分析的结果,同时避免了由于词性标注错误而导致的命名实体识别错误。首先利用Stanford自然语言处理工具对大规模无标记数据进行标注,以减少对标记数据的依赖;然后设计一种新的NLP模型g-BERT模型,对Transformers(BERT)模型中的双向编码器表示进行压缩,以减少计算量;最后基于中国NER数据集对该模型进行评估。实验结果表明,与BERT模型相比,g-BERT模型的计算量减少了60%,性能提高了2%,测试F1为96.5。
2021-01-11 cs.CL
microNER: A Micro-Service for German Named Entity Recognition based on BiLSTM-CRF
Universität Hamburg(汉堡大学)
在命名实体识别中,双向递归神经网络是近年来的研究热点。竞争方法在预训练的词嵌入以及字符嵌入模型方面有所不同,以最有效地表示序列信息。对于德语文本中的NER,这些模型变化尚未得到广泛研究。我们评估了两个标准德语数据集上不同单词和字符嵌入的性能,并特别关注词汇表外的单词。GermEval '14数据集的F-Scores高于82%,CoNLL' 03数据集的F-Scores高于85%,我们在此任务中实现了(接近)最先进的性能。我们发布了几个预先训练好的模型,这些模型被包装到基于Docker的微服务中,以便通过JSON API将德语NER轻松集成到其他应用程序中。
2018-11-07 cs.CL
The Word and the Way: Strategies for Domain-Specific BERT Pre-Training in German Medical NLP
School of Computation, Information and Technology(计算信息科技学院);Technical University of Munich(慕尼黑技术大学);Chair of IT Infrastructure for Translational Medical Research(转化医学研究信息基础设施主任);Faculty of Applied Computer Science(应用计算机科学学院);University of Augsburg(艾希施泰特大学);Institute of General Practice(基础医学研究所);Faculty of Medicine and Medical Center(医学学院和医学中心)
本文提出ChristBERT系列模型,通过对比持续预训练、从头训练和领域词汇适应三种策略,在德语医学NLP任务中实现最优性能,并建立新的基准。
2026-06-02 cs.CL
BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision
Georgia Institute of Technology(佐治亚理工学院)
研究了远程监控下的开放域命名实体识别问题。远程监督,虽然不需要大量的手动注释,通过外部知识库产生高度不完整和嘈杂的远程标签。为了应对这一挑战,我们提出了一个新的计算框架-- BOND,它利用了预先训练的语言模型(例如,BERT和RoBERTa)来改进NER模型的预测性能。具体来说,我们提出了一种两阶段的训练算法:第一阶段,我们使用距离标签将预先训练好的语言模型适应于NER任务,可以显著提高召回率和精确率;第二阶段,我们去掉距离标签,并提出一种自训练方法来进一步提高模型性能。在5个基准数据集上的实验表明,BOND方法优于现有的远程监督NER方法。代码和远程标记的数据已在https://github.com/cliang1453/BOND上发布。
2020-06-28 cs.AI cs.CL cs.LG
RpBERT: A Text-image Relation Propagation-based BERT Model for Multimodal NER
Zhejiang University City College(浙江大学城市学院);Zhejiang University(浙江大学);Tsinghua University(清华大学)
最近,多模态命名实体识别(MNER)利用图像来提高推特中NER的准确性。然而,大多数多模态方法使用注意力机制来提取视觉线索,而不管文本和图像是否相关。实际上,不相关的文本-图像对在推文中占很大比例。与文本无关的视觉线索会对多模态模型学习产生不确定甚至负面的影响。本文将文本-图像关系传播方法引入到多模态BERT模型中。我们集成了软或硬门来选择视觉线索,并提出了一个多任务算法训练的MNER数据集。在实验中,我们深入分析了使用文本-图像关系传播前后视觉注意的变化。我们的模型在MNER数据集上实现了最先进的性能。
2021-02-05 cs.CL cs.LG
Positional Attention for Efficient BERT-Based Named Entity Recognition
Georgia Institute of Technology(佐治亚理工学院)
本文提出在BERT命名实体识别中引入位置注意力机制,利用预训练参数进行高效定制,在Kaggle数据集上以更少训练轮数保持高准确率并降低训练成本。
2025-05-03 cs.CL
L3Cube-MahaSocialNER: A Social Media based Marathi NER Dataset and BERT models
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(马德拉斯印度理工学院)
本文发布了首个马拉地语社交媒体NER数据集L3Cube-MahaSocialNER,包含1.8万句标注语料,评估了多种深度学习模型在非正式文本上的表现,并证明了构建专属社交NER数据集的必要性。
2023-12-30 cs.CL cs.LG
Multilinguals at SemEval-2022 Task 11: Transformer Based Architecture for Complex NER
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
我们调查的任务复杂的NER的英语语言。这项任务是不平凡的,由于语义模糊的文本结构和罕见的发生这种实体在流行的文学。使用预先训练的语言模型,如BERT,我们在这项任务上获得了有竞争力的表现。我们定性分析多个架构的性能,这项任务。我们所有的模型都能够以显著的优势超越基线。我们表现最好的模型比基线F1分数高出9%以上。
2022-04-05 cs.AI cs.CL
KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);PricewaterhouseCoopers GmbH(普华永道有限责任公司)
我们提出了KPI-BERT,一个系统,它采用新的方法命名实体识别(NER)和关系抽取(RE)提取和链接的关键绩效指标(KPI),如“收入”或“利息支出”,公司从现实世界的德国金融文件。具体来说,我们引入了一种端到端的可训练架构,该架构基于来自Transformers的双向编码器表示(BERT),将递归神经网络(RNN)与条件标签掩蔽相结合,以便在对实体的关系进行分类之前顺序标记实体。我们的模型还引入了一个可学习的基于RNN的池机制,并通过显式过滤不可能的关系来整合领域专家知识。我们在一个新的德国财务报告的实际数据集上实现了更高的预测性能,超过了几个强大的基线,包括竞争的最先进的基于跨度的实体标记方法。
2022-08-03 cs.AI cs.CL cs.LG
Sequence Labeling: A Practical Approach
Technical University of Munich(慕尼黑工业大学)
我们采取一种实用的方法来解决序列标签问题,假设领域的专业知识和稀缺的信息和计算资源。为此,我们利用了一个通用的端到端的基于Bi-LSTM的神经序列标记模型,适用于各种NLP任务和语言。该模型结合了从数据中提取的形态、语义和结构线索,以得出明智的预测。该模型的性能在八个基准数据集上进行了评估(涵盖三个任务:POS标记,NER和组块,以及四种语言:英语,德语,荷兰语和西班牙语)。我们观察了其中四个的最先进的结果:CoNLL-2012(英语NER),CoNLL-2002(荷兰NER),GermEval 2014(德语NER),Tiger Corpus(德语POS标记),以及其余的竞争性表现。
2018-08-12 cs.CL cs.LG
BERTaú: Itaú BERT for digital customer service
Itaú Unibanco(伊塔乌联合银行)
在过去的几年里,三个主要主题受到了越来越多的关注:深度学习,NLP和会话代理。将这三个主题结合在一起,创造出令人惊叹的数字客户体验,并真正部署到生产中,解决现实世界的问题,这是一种创新和颠覆性的东西。我们引入了一个新的葡萄牙语金融领域的语言表示模型称为BERTaú。BERTaú是一个未封装的BERT基础,使用Itaú虚拟助手聊天机器人解决方案的数据从头开始训练。我们的新贡献是BERTaú预训练的语言模型需要更少的数据,在三个NLP任务中达到了最先进的性能,并生成了一个更小更轻的模型,使部署变得可行。我们开发了三个任务来验证我们的模型:使用Itaú银行的常见问题(FAQ)进行信息检索,从我们的虚拟助理数据进行情感分析,以及NER解决方案。所有建议的任务都是在我们的环境中生产的真实解决方案,与Google BERT多语言和Facebook的DPRCNET编码器相比,专家模型的使用被证明是有效的,可在Hugging Face获得。BERTaú在FAQ检索MRR指标中提高了22%的性能,在情感分析F1得分中提高了2.1%,在NER F1得分中提高了4.4%,并且与“货架模型”相比,还可以用多达66%的令牌表示相同的序列。
2021-07-25 cs.AI cs.CL cs.LG
Label Unification for Cross-Dataset Generalization in Cybersecurity NER
针对网络安全NER标签不统一、数据集难整合的问题,研究了标签统一方案及多种模型架构,发现统一标签训练的模型跨数据集泛化差,提出的多头和图迁移模型提升有限。
2026-10-21 cs.CL
Towards Robust Named Entity Recognition for Historic German
Bayerische Staatsbibliothek München(慕尼黑巴伐利亚州立图书馆);Digital Library/Munich Digitization Center(数字图书馆/慕尼黑数字化中心)
使用深度神经网络进行语言建模的最新进展表明,这些模型学习表示,这些表示随着网络深度的变化而变化,从形态到语义关系,如共指。我们将预训练的语言模型应用于历史德语的低资源命名实体识别。我们通过一系列实验表明,基于字符的预训练语言模型在面对低资源数据集时不会遇到麻烦。我们的预训练的基于字符的语言模型通过将F1得分性能提高高达6%,改进了经典的基于CRF的方法和先前在Bi-LSTM上的工作。我们的预训练语言和NER模型可在https://github.com/stefan-it/historic-ner上公开获取。
2019-06-18 cs.CL
The GELATO Dataset for Legislative NER
本文介绍GELATO数据集,用于美国国会法案的命名实体识别,通过两种层次的命名实体识别本体进行标注,并利用不同架构和大小的transformer模型进行第一层预测,结合LLM完成第二层预测。
2026-03-14 cs.CL
A Multilingual Evaluation of NER Robustness to Adversarial Inputs
University of Ottawa(渥太华大学)
本文对英、德、印地语NER模型进行对抗鲁棒性评估,发现其对微小扰动不够鲁棒,并证明用对抗数据增强训练或微调可提升性能,其中德语和印地语上重新训练显著优于微调。
2023-05-30 cs.CL
Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所)
通用和特定领域的BERT模型都被广泛用于自然语言处理(NLP)任务。本文研究了BERT模型在对抗攻击中对命名实体识别(NER)输入数据变化的脆弱性。实验结果表明,BERT模型容易受到实体上下文变化的影响,有20.2%~ 45.0%的实体预测完全错误,另有29.3%~ 53.3%的实体预测部分错误。BERT模型似乎最容易受到实体的本地上下文的变化的影响,并且通常单个变化就足以欺骗模型。从头开始训练的特定于领域的BERT模型(SciBERT)比原始BERT模型或保留BERT词汇的特定于领域的模型(BioBERT)更脆弱。我们还发现,BERT模型是特别容易受到紧急实体。我们的研究结果图表BERT模型NER的弱点,并强调进一步研究发现和减少这些弱点的重要性。
2022-01-31 cs.CL cs.IR
ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition
Department of Computer Science and Engineering(计算机科学与工程系);Southeast University(东南大学);Ahsanullah University of Science and Technology(阿沙努尔大学科学与技术学院);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
ANCHOLIK-NER是首个针对孟加拉语方言命名实体识别的基准数据集,通过评估三种Transformer模型,展示了多语言BERT在跨方言识别中的优势,并指出了需改进的地区。
2025-05-27 cs.CL cs.LG
TMR: Evaluating NER Recall on Tough Mentions
Brandeis University(布兰迪斯大学)
我们提出了强硬的提及召回(TMR)指标,以补充传统的命名实体识别(NER)的评价,通过检查召回的特定子集的“强硬”提到:看不见的提及,那些令牌或令牌/类型组合没有观察到的训练,和类型混淆的提及,令牌序列与多个实体类型的测试数据。我们证明了这些指标的有用性,通过评估语料库的英语,西班牙语和荷兰语使用最近的五个神经架构。我们确定的BERT和天赋的性能之间的细微差别,在两个英语NER语料库,并确定在西班牙语中的当前模型的性能的弱点。我们的结论是,TMR指标可以区分其他类似的评分系统和识别模式的性能,将从整体精度,召回率和F1被忽视。
2021-03-23 cs.AI cs.CL
From BERT to T5: A Study of Named Entity Recognition
University of Manchester(曼彻斯特大学)
本文研究了在预训练模型BERT和T5上进行命名实体识别任务,比较了两种模型在序列标注任务中的性能,并分析了常见错误和超参数对模型表现的影响。
2026-05-18 cs.CL
Iterative Auto-Annotation for Scientific Named Entity Recognition Using BERT-Based Models
本文提出一种基于BERT模型的迭代自动标注方法,通过少量人工标注数据微调模型,自动标注更大数据集并迭代优化,显著提升科学命名实体识别的准确率和F1分数。
2025-02-22 cs.AI cs.CL
Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs
Spesia;Faculdade de Medicina, Universidade de São Paulo(圣保罗大学医学院);Pontifícia Universidade Católica do Paraná (PUCPR)(巴拉那天主教大学);Florida Atlantic University(佛罗里达大西洋大学);Universidade Federal do Paraná (UFPR)(巴拉那联邦大学)
本文评估了BERT和LLM在葡萄牙语临床命名实体识别中的表现,发现mmBERT-base在微平均F1分数上表现最佳,通过迭代分层和过采样策略提升了性能。
2026-03-27 cs.CL
Evaluating Named Entity Recognition Models for Russian Cultural News Texts: From BERT to LLM
University of Bologna(博洛尼亚大学)
本文基于SPbLitGuide数据集比较了BERT类模型与GPT系列LLM在俄语文化新闻人名识别上的表现,发现GPT-4o在JSON提示下F1达0.93,GPT-4.1后续评估F1达0.94,揭示了LLM在该领域的优势与快速进展。
2025-06-03 cs.AI cs.CL cs.IR
DaN+: Danish Nested Named Entities and Lexical Normalization
ITU Copenhagen(哥本哈根信息技术大学)
本文介绍了DaN+,一个新的多域语料库和注释指南丹麦嵌套命名实体(NE)和词汇规范化,以支持跨语言跨域学习的研究资源较少的语言。我们实证评估三种策略来模拟两层命名实体识别(NER)任务。我们比较了从德语到语言注释的转换能力。我们研究了特定语言与多语言的BERT,并研究了词汇规范化对NER的影响。我们的研究结果表明:1)最鲁棒的策略是多任务学习,这是由多标签解码相媲美,2)基于BERT的NER模型是敏感的领域转移,和3)在语言BERT和词汇规范化是最有益的最少的规范数据。我们的研究结果还表明,域外设置仍然具有挑战性,而新闻的性能很快就稳定下来。这突出了跨领域评估跨语言迁移的重要性。
2021-05-24 cs.CL
A Knowledge-Enhanced Disease Diagnosis Method Based on Prompt Learning and BERT Integration
Shanghai Polytechnic University(上海理工大学);School of computer and Information Engineering(计算机与信息工程学院)
本研究提出融合提示学习与BERT的知识增强疾病诊断方法,通过将知识图谱知识注入提示模板提升模型能力,在三个公开数据集上F1值显著提升,且增强了诊断可解释性。
2024-09-16 cs.AI cs.CL
L3Cube-MahaNER: A Marathi Named Entity Recognition Dataset and BERT models
Pune Institute of Computer Technology(浦那计算机技术学院);L3Cube Pune(L3Cube浦那);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
命名实体识别(NER)是一项基本的自然语言处理任务,主要应用于会话和搜索系统。它帮助我们识别用于下游应用程序的句子中的关键实体。用于流行语言的NER或类似的槽填充系统已经大量用于商业应用中。在这项工作中,我们专注于马拉地语,这是一种印度语言,由马哈拉施特拉邦的人们主要使用。马拉地语是一种低资源语言,仍然缺乏有用的NER资源。我们提出了L3立方体MahaNER,第一个主要的黄金标准命名实体识别数据集在马拉地语。我们还描述了在此过程中遵循的手动注释指南。最后,我们在不同的CNN,LSTM和基于Transformer的模型上对数据集进行基准测试,如mBERT,XLM-RoBERTa,IndicBERT,MahaBERT等。数据和模型可在https://github.com/l3cube-pune/MarathiNLP上获得。
2022-04-12 cs.CL cs.LG
Portuguese Named Entity Recognition using BERT-CRF
University of Campinas(坎皮纳斯大学);NeuralMind Inteligência Artificial(NeuralMind 人工智能);New York University(纽约大学)
使用神经网络的语言表示的最新进展使得将训练模型的学习内部状态转移到下游自然语言处理任务(例如命名实体识别(NER)和问答)是可行的。已经表明,预训练的语言模型的利用提高了许多任务的整体性能,并且在标记数据稀缺时非常有益。在这项工作中,我们训练葡萄牙语BERT模型,并采用BERT-CRF架构的NER任务的葡萄牙语,结合传输能力的BERT与结构化的预测CRF。我们探索基于特征和微调的训练策略的BERT模型。我们的微调方法在HAREM I数据集上获得了新的最先进的结果,在选择性场景(5个NE类)上将F1分数提高了1分,在总场景(10个NE类)上提高了4分。
2020-02-27 cs.CL cs.IR cs.LG
fastHan: A BERT-based Multi-Task Toolkit for Chinese NLP
Fudan University(复旦大学)
我们提出fastHan,一个开源的工具包,用于中文自然语言处理的四个基本任务:中文分词(CWS),词性(POS)标记,命名实体识别(NER),和依存句法分析。fastHan的主干是一个基于修剪后的BERT的多任务模型,它使用了BERT的前8层。我们还提供了一个从8层模型压缩的4层基础模型。联合模型在13个语料库的四个任务上进行了训练和评估,在依存句法分析和NER中产生了接近最先进的(SOTA)性能,在CWS和POS中实现了SOTA性能。此外,fastHan的可移植性也很强,在非训练语料库上的表现远远优于流行的分割工具。为了更好地满足实际应用的需要,我们允许用户使用自己标记的数据对fastHan进行进一步的微调。除了体积小和性能出色外,fastHan还具有用户友好性。fastHan作为python包实现,将用户与内部技术细节隔离开来,使用方便。该项目在Github上发布。
2021-05-31 cs.CL
Named Entity Recognition in the Style of Object Detection
Microsoft(微软)
在这项工作中,我们提出了一个两阶段的方法命名实体识别(NER),特别是嵌套NER。我们借鉴了计算机视觉中的两阶段目标检测的思想和它们如何构造损失函数的方法。首先,区域建议网络生成区域候选,然后第二阶段模型对实体进行区分和分类,并做出最终预测。我们还设计了一个特殊的损失函数用于第二阶段的训练,同时预测实体和实体类型。该模型建立在预训练的BERT编码器之上,我们尝试了BERT基础模型和BERT大型模型。在实验中,我们首先将其应用于CoNLL2003和OntoNotes5.0等平面NER任务,并使用序列标记方法与传统的NER模型获得了可比的结果。在嵌套的命名实体识别任务ACE2005和Genia上对该模型进行了测试,F1得分分别为85.6 $\%$和76.8 $\%$。在第二阶段的训练中,我们发现增加额外的随机选择区域对提高精度起着重要作用。我们还进行了错误分析,以更好地评估模型在不同情况下的性能,以便将来进行潜在的改进。
2021-01-26 cs.CL
Searching for Optimal Subword Tokenization in Cross-domain NER
Fudan University(复旦大学);Meituan Inc.(美团公司)
输入分布偏移是无监督领域自适应(UDA)中的关键问题之一。最流行的UDA方法集中在领域不变的表示学习,试图将来自不同领域的特征对齐到相似的特征分布中。然而,这些方法忽略了域之间的输入词分布的直接对齐,这是词级分类任务(如跨域NER)中的一个重要因素。在这项工作中,我们揭示了新的光跨域NER通过引入一个子字级的解决方案,X片,输入字级分布偏移在NER。具体来说,我们重新标记的源域的输入字接近目标子字分布,这是制定和解决的最佳运输问题。由于这种方法侧重于输入级,它也可以与以前的DIRL方法相结合,以进一步改进。在四个基准NER数据集上的实验结果表明了该方法的有效性。此外,所提出的方法被证明是有益的DIRL方法,如DANN。
2022-06-07 cs.AI cs.CL
Multilingual Clinical NER for Diseases and Medications Recognition in Cardiology Texts using BERT Embeddings
Transilvania University of Brasov(布拉索夫Transilvania大学);Siemens Healthineers(西门子医疗)
面向 BioASQ MultiCardioNER,本研究评估多种通用领域单语与多语言 BERT 模型,用于英、西、意三语心脏病学文本的疾病和药物 NER,并在四个子任务上超过排行榜平均与中位 F1。
2025-10-20 cs.CL
Wojood: Nested Arabic Named Entity Corpus and Recognition using BERT
Birzeit University(比尔宰特大学)
本文介绍了Wojood,一个阿拉伯语嵌套命名实体识别(NER)语料库。当一个实体提及嵌入到另一个实体提及中时,出现嵌套实体。Wojood由大约550K现代标准阿拉伯语(MSA)和方言标记组成,这些标记手动注释了21种实体类型,包括人,组织,位置,事件和日期。更重要的是,语料库是用嵌套的实体来注释的,而不是更常见的平面注释。数据包含约75K个实体,其中22.5%是嵌套的。语料库的注释者间评价与Cohen Kappa值0.979和F1评分0.976非常一致。为了验证我们的数据,我们使用语料库来训练基于多任务学习和AraBERT(阿拉伯语BERT)的嵌套NER模型。该模型的总体微观F1评分为0.884。我们的语料库、注释指南、源代码和预训练模型都是公开的。
2022-05-23 cs.AI cs.CL cs.IR
GerPS-Compare: Comparing NER methods for legal norm analysis
Friedrich Schiller University Jena(弗里德里希·席勒大学耶拿分校);Competence Center Digital Research (zedif)(数字研究能力中心(zedif));Bielefeld University(比勒费尔德大学)
本文针对德语行政法律规范文本,比较基于规则系统、深度判别模型和深度生成模型三种NER方法,发现深度判别模型最适合处理十类语义与句法异质实体。
2024-12-03 cs.AI cs.CL
On Significance of Subword tokenization for Low Resource and Efficient Named Entity Recognition: A case study in Marathi
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(马德拉斯印度理工学院);L3Cube Labs(L3Cube实验室)
本文以马拉地语为例,提出将BERT子词分词器集成到CNN/LSTM浅层模型中,在保持计算高效的同时使低资源NER准确率接近深度预训练模型。
2023-12-03 cs.CL cs.LG
Evaluating Named Entity Recognition: A comparative analysis of mono- and multilingual transformer models on a novel Brazilian corporate earnings call transcripts dataset
Instituto Federal de São Paulo - IFSP(圣保罗联邦教育、科学和技术研究所(IFSP));Universidade Estadual de Campinas - Unicamp(坎皮纳斯州立大学(Unicamp))
本文通过构建巴西金融NER数据集BraFiNER并比较BERTimbau、PTT5、mBERT和mT5在金融命名实体识别任务上的表现,发现BERT类模型优于T5类模型,且T5类模型易改变货币和百分比数值,强调了金融领域准确性的重要性。
2024-08-30 cs.AI cs.CL cs.LG
GlobalNER: Incorporating Non-local Information into Named Entity Recognition
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
如今,许多自然语言处理(NLP)任务都需要将外部知识整合到本地信息中,以进一步提高性能。然而,作为自然语言处理基础之一的命名实体识别(NER)的相关研究却很少。具体而言,没有研究进行查询生成和重新排序检索相关信息,以提高净入学率。这项工作证明了基于DNN的查询生成方法和基于BERTScore的提及感知重新排名架构的有效性,特别是对于NER。最后,在WNUT 17数据集上实现了61.56 micro-f1分数的最先进性能。
2023-03-06 cs.AI cs.CL
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition
University of California, San Diego(加州大学圣地亚哥分校)
微调预训练的语言模型最近已经成为为各种任务构建NLP模型的常见做法,特别是Few-Shot任务。我们认为,在Few-Shot设置下,制定更接近预训练目标的微调应该能够从预训练的语言模型中释放出更多的好处。在这项工作中,我们采取了Few-Shot命名实体识别(NER)的试点研究,现有的微调策略与预训练有很大不同。我们提出了一种新的Few-Shot微调框架NER,FFF-NER。具体来说,我们引入了三种新类型的标记,“是实体”,“哪种类型”和括号,因此我们可以根据预训练的语言模型的选择,将NER微调制定为(屏蔽的)标记预测或生成。在我们的实验中,我们应用FFF-NER在几个基准数据集上对Few-Shot NER的BERT和BART进行微调,并观察到与现有微调策略相比的显着改进,包括序列标记,原型元学习和基于BART的方法。我们进一步进行了一系列的消融研究,显示Few-Shot NER性能与微调和预训练之间的相似性密切相关。
2022-10-31 cs.AI cs.CL
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University(查理大学)
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法,BERT和Flair,在四个捷克文本处理任务:词性(POS)标记,词形化,依赖分析和命名实体识别(NER)。前三个任务,词性标注,词形还原和依存句法分析,评估两个语料库:布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别(NER)。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
BERTomelo: Your Portuguese Encoder Best Friend
Department of Computer Science(计算机科学系);University of Brasília(巴西联邦大学)
提出BERTomelo,基于ModernBERT架构从零预训练的葡萄牙语单语编码器,通过大规模高质量语料ClassiCC-PT和硬件优化(FlashAttention等),在STS和NER等下游任务上超越现有葡萄牙语编码器及多语言模型。
2026-06-27 cs.AI cs.CL
2M-NER: Contrastive Learning for Multilingual and Multimodal NER with Language and Modal Fusion
China University of Political Science and Law(中国政法大学);Mobvoi(出门问问);Beihang University(北京航空航天大学);Institute of Information Engineering, CAS(中国科学院信息工程研究所)
本文提出多语言多模态命名实体识别任务及大规模数据集,并构建了2M-NER模型,通过对比学习对齐文本与图像表示并集成多模态协作模块,在四种语言和图文双模态任务中取得了最高F1分数。
2024-04-26 cs.AI cs.CL
Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling
Isfahan University of Technology(伊斯法罕理工大学);Medical University of Vienna(维也纳医科大学)
本文提出一种混合方法,结合BERT、多通道CNN和BiLSTM+CRF,并引入增强标注预处理,以提升生物医学命名实体识别性能,在i2b2/2010数据集上取得90.11的F1分数。
2023-12-24 cs.AI cs.CL cs.LG
German's Next Language Model
deepset;Bayerische Staatsbibliothek(巴伐利亚州立图书馆)
在这项工作中,我们提出的实验,导致我们的BERT和ELECTRA基于德语语言模型,GBERT和GELECTRA的创建。通过改变输入训练数据、模型大小和整词掩码(WWM)的存在,我们能够在一组文档分类和命名实体识别(NER)任务中为基本模型和大模型获得SoTA性能。我们采用评估驱动的方法来训练这些模型,我们的结果表明,增加更多的数据和利用WWM提高模型的性能。通过对现有的德国模型进行基准测试,我们表明这些模型是迄今为止最好的德国模型。我们训练的模型将公开提供给研究界。
2020-12-03 cs.CL cs.LG
Template-free Prompt Tuning for Few-shot NER
Fudan University(复旦大学)
基于模板的方法已经成功地应用于重复级的少样本学习任务,这主要归功于模板和标签词的复杂设计。然而,当应用于标记级标记任务(如NER)时,在所有潜在的实体跨度上枚举模板查询将是耗时的。在这项工作中,我们提出了一个更优雅的方法来重新制定NER任务LM问题没有任何模板。具体来说,我们放弃了模板构建过程,同时保持预训练模型的单词预测范式,以预测实体位置处的类相关枢轴词(或标签词)。同时,我们还探索了自动搜索合适的标签词的原则性方法,这些标签词可以很容易地适应预训练的模型。在避免复杂的基于模板的过程的同时,所提出的LM目标还减少了用于预训练和微调的不同目标之间的差距,因此它可以更好地有益于Few-Shot性能。实验结果表明,在Few-Shot场景下,该方法比bert-tagger和基于模板的方法更有效.此外,该方法的解码速度高达1930.12倍,比基于模板的方法。
2022-11-23 cs.AI cs.CL
Playing with Words at the National Library of Sweden -- Making a Swedish BERT
National Library of Sweden(瑞典国家图书馆)
本文介绍了瑞典国家图书馆(KB)KBLab为数据驱动研究开发的瑞典语BERT(“KB-BERT”)。在最近为英语以外的语言创建基于transformer的BERT模型的基础上,我们解释了如何使用KB的集合为瑞典语创建和训练一个新的特定于语言的BERT模型。我们还提出了我们的模型与现有模型的比较结果-主要是由瑞典公共就业服务,Arbetsförmedlingen和谷歌的多语言M-BERT -在那里我们证明KB-BERT优于这些在一系列的NLP任务从命名实体识别(NER)的词性标记(POS)。我们的讨论强调了由于缺乏训练数据和像瑞典语这样的小语言的测试平台而继续存在的困难。我们在这里发布我们的模型以供进一步探索和研究:https://github.com/Kungbib/swedish-bert-models。
2020-07-03 cs.CL
Clinical Trial Information Extraction with BERT
Data Science and AI, Novartis(诺华数据科学与人工智能部门);Global Drug Development, Novartis Pharma AG(诺华制药全球药物开发部)
临床试验文件的自然语言处理(NLP)在新的试验设计中可能很有用。在这里,我们确定相关的临床试验设计的实体类型,并提出了一个框架,称为CT-BERT从临床试验文本的信息提取。我们训练命名实体识别(NER)模型,通过微调一组预先训练好的BERT模型来提取合格标准实体。然后,我们将CT-BERT的性能与最近的基线方法进行了比较,包括基于注意力的BiLSTM和Criteria 2 Query。结果证明了CT-BERT在临床试验NLP中的优越性。
2021-09-11 cs.CL cs.LG q-bio.QM
A Dataset of German Legal Documents for Named Entity Recognition
DFKI GmbH(德国人工智能研究中心)
我们描述了一个数据集开发的命名实体识别在德国联邦法院的判决。它由近似。67,000个句子,超过200万个代币。该资源包含54,000个手动注释的实体,映射到19个细粒度的语义类:人,法官,律师,国家,城市,街道,景观,组织,公司,机构,法院,品牌,法律,条例,欧洲法律规范,法规,合同,法院判决和法律文献。此外,法律文件还自动标注了35,000多个基于TimeML的时间表达式。该数据集在CC-BY 4.0许可下以CoNNL-2002格式提供,旨在为欧盟项目Lynx中的德国法律文件培训NER服务。
2020-03-29 cs.CL cs.IR
AsNER -- Annotated Dataset and Baseline for Assamese Named Entity recognition
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
我们提出了AsNER,低资源阿萨姆语命名实体注释数据集与基线阿萨姆语NER模型。该数据集包含约99,000个令牌,由印度总理的演讲和阿萨姆戏剧的文本组成。它还包含人名、地名和地址。拟议的NER数据集可能是基于深度神经的阿萨姆语语言处理的重要资源。我们通过训练NER模型来对数据集进行基准测试,并使用最先进的监督命名实体识别(NER)架构进行评估,如Fasttext,BERT,XLM-R,FLAIR,MuRIL等。当使用MuRIL作为词嵌入方法时,所有基线中的最高F1分数达到80.69%的准确度。注释的数据集和表现最好的模型是公开的。
2022-07-07 cs.AI cs.CL
BERT Rediscovers the Classical NLP Pipeline
Google Research(谷歌研究院);Brown University(布朗大学)
预先训练的文本编码器在许多NLP任务上迅速推进了最先进的技术。我们专注于这样一个模型,BERT,并旨在量化语言信息在网络中被捕获的位置。我们发现,该模型代表了传统的NLP管道的步骤,在一个可解释的和本地化的方式,负责每一步的区域出现在预期的顺序:POS标记,解析,NER,语义角色,然后共指。定性分析表明,该模型可以而且经常动态地调整这个管道,根据消除高层表示的歧义信息修改较低级别的决策。
2019-08-09 cs.CL
BioFLAIR: Pretrained Pooled Contextualized Embeddings for Biomedical Sequence Labeling Tasks
Manipal Institute of Technology(马尼帕尔理工学院);Elsevier Labs(爱思唯尔实验室)
生物医学命名实体识别(NER)是生物医学信息处理中的一个具有挑战性的问题。由于BERT、GPT和XLNet等技术的进步,bioNER基准测试的性能不断提高。FLAIR(1)是一种替代嵌入模型,其计算强度低于其他提到的模型。我们在各种生物NER任务上测试FLAIR及其预训练的PubMed嵌入(我们称之为BioFLAIR),并将其与BERT类型网络的结果进行比较。我们还研究了少量额外的预训练对PubMed内容的影响,以及FLAIR和ELMO模型的结合。我们发现,通过提供的嵌入,FLAIR的性能与BERT网络不相上下-甚至在一个基准上建立了一个新的最先进的水平。额外的预培训并没有提供明显的好处,尽管这可能会随着更多的预培训而改变。将FLAIR嵌入与其他嵌入叠加通常会提高基准测试结果。
2019-08-13 cs.CL