AlbNER: A Corpus for Named Entity Recognition in Albanian
University of Vienna(维也纳大学)
本文构建了阿尔巴尼亚语命名实体识别语料库AlbNER,包含900个标注句子,并通过BERT和RoBERTa变体实验表明语言迁移比模型规模对性能影响更大,为后续研究提供基线。
2023-09-15 cs.AI cs.CL cs.LG
Neural Named Entity Recognition for Kazakh
Institute of Information and Computational Technologies(信息与计算技术研究所)
我们提出了几个神经网络来解决形态复杂语言(MCL)的命名实体识别的任务。哈萨克语是一种形态复杂的语言,其中每个词根/词干可以产生数百或数千种不同的单词形式。语言的这种性质可能导致严重的数据稀疏问题,这可能会阻止深度学习模型针对资源不足的MCL进行良好的训练。为了有效地对多语言学习者的词汇进行建模,我们在神经网络中引入了词根和实体标签嵌入以及张量层。这对提高MCLs的NER模型性能具有重要意义。所提出的模型优于包括基于字符的方法在内的最先进的方法,并且可以潜在地应用于其他形态复杂的语言。
2021-10-04 cs.CL cs.IR
MaiBERT: A Pre-training Corpus and Language Model for Low-Resourced Maithili Language
IOE, Pulchowk Campus, Lalitpur, Nepal(尼泊尔拉利特普尔 Pulchowk 校区 IOE);Macquarie University, Sydney, Australia(澳大利亚悉尼麦考瑞大学)
MaiBERT是一种针对马尔瓦里语的预训练语言模型,通过掩码语言建模技术在新构建的语料库上训练,实现了新闻分类任务中的高准确率,优于现有区域模型。
2026-02-02 cs.CL
NaijaNER : Comprehensive Named Entity Recognition for 5 Nigerian Languages
Data Science Nigeria(尼日利亚数据科学)
命名实体识别(NER)的大多数常见应用是在英语和其他高度可用的语言上。在这项工作中,我们提出了我们的研究结果命名实体识别5尼日利亚语言(尼日利亚英语,尼日利亚洋泾浜英语,伊博语,约鲁巴语和豪萨语)。这些语言被认为是低资源的,并且在大多数语言中几乎没有公开的自然语言处理工作。在这项工作中,训练了各个NER模型,并记录了每种语言的度量。我们还开发了一个组合模型,可以处理五种语言中任何一种的命名实体识别(NER)。该组合模型适用于每种语言上的命名实体识别(NER),并且与专门针对特定语言的注释数据训练的单个NER模型相比具有更好的性能。这项工作的目的是分享我们的学习如何使用命名实体识别的信息抽取可以优化所列的尼日利亚语言的包容性,易于部署在生产和可重用的模型。该项目期间开发的模型可在GitHub https://git.io/JY0kk和交互式Web应用程序https://nigner.herokuapp.com/上获得。
2021-03-30 cs.CL
Building Multilingual Corpora for a Complex Named Entity Recognition and Classification Hierarchy using Wikipedia and DBpedia
University of Zagreb(萨格勒布大学);King’s College London(伦敦国王学院);Leibniz University Hannover(汉诺威莱布尼茨大学)
随着NLP领域的日益普及,对低资源语言数据集的需求也随之而来。根据先前建立的框架,在本文中,我们提出了UNER数据集,一个多语言和层次的平行语料库命名实体注释。我们详细描述了在维基百科上使用DBpedia信息以任何语言创建这种类型的数据集所需的开发过程。这个三步过程从Wikipedia文章中提取实体,将它们链接到DBpedia,并将DBpedia类集映射到UNER标签。之后是一个后处理过程,大大增加了最终结果中识别实体的数量。本文最后对所得数据集进行了统计和定性分析。
2022-12-14 cs.CL
Learning Nested Named Entity Recognition from Flat Annotations
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文提出从平面标注中学习嵌套命名实体识别的方法,通过四种技术组合在NEREL基准上达到26.37%的内部F1,缩小了与完全嵌套监督的差距。
2026-02-28 cs.CL
Adapting Word Embeddings to New Languages with Morphological and Phonological Subword Representations
Carnegie Mellon University(卡内基梅隆大学)
自然语言处理(NLP)中的许多工作都是针对资源丰富的语言,这使得泛化到新的、资源较少的语言具有挑战性。我们提出了两种方法,以提高低资源的语言通过适应连续的单词表示使用语言动机的子词单位:音素,语素和字素。我们的方法既不需要平行语料库,也不需要双语词典,并提供了一个显着的增益,性能比以前的方法依赖于这些资源。我们证明了我们的方法的有效性命名实体识别的四种语言,即维吾尔语,土耳其语,孟加拉语和印地语,其中维吾尔语和孟加拉语是低资源的语言,并进行实验机器翻译。利用迁移学习的子词,维吾尔语的NER F1提高了+15.2,孟加拉语的NER F1提高了+9.7。我们还表明,在单语设置,我们实现(平均)的改善。+3 F1和(平均值)蓝色+1.35。
2018-08-28 cs.CL
Development of a WAZOBIA-Named Entity Recognition System
Nnamdi Azikiwe University(纳姆迪·阿齐基韦大学)
本文面向豪萨语、约鲁巴语和伊博语构建WAZOBIA-NER系统,结合CRF、BiLSTM、BERT与RNN并支持OCR图像输入,在三类实体识别中取得高精确率、召回率、F1和准确率。
2025-05-10 cs.CL cs.HC cs.IR
Aspects of Terminological and Named Entity Knowledge within Rule-Based Machine Translation Models for Under-Resourced Neural Machine Translation Scenarios
Insight Centre for Data Analytics, Data Science Institute, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所(Insight数据分析中心));United Language Group(联合语言集团)
基于规则的机器翻译是一种机器翻译范例,其中语言知识由专家以将文本从源语言翻译成目标语言的规则的形式编码。虽然这种方法允许对系统的输出进行广泛的控制,但形式化所需语言知识的成本远远高于训练基于语料库的系统,其中机器学习方法用于自动学习从示例翻译。在本文中,我们描述了不同的方法来利用基于规则的机器翻译系统中包含的信息来改进基于语料库的系统,即神经机器翻译模型,重点关注低资源场景。使用了三种不同的信息:形态信息、命名实体和术语。除了评估系统的一般性能外,我们还系统地分析了所提出的方法在处理目标现象时的性能。我们的研究结果表明,所提出的模型具有有限的能力,从外部信息中学习,大多数方法不会显着改变自动评估的结果,但我们的初步定性评估表明,在某些情况下,我们的系统产生的假设表现出良好的行为,如保持使用被动语态。
2020-09-28 cs.CL
BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition
本文系统比较生物医学语言模型预训练策略,提出上下文化权重蒸馏并结合课程学习训练 BIOptimus,在多项生物医学 NER 任务上取得新最优结果。
2023-08-16 cs.CL
A Dataset of Kurdish (Sorani) Named Entities -- An Amendment to Kurdish-BLARK Named Entities
命名实体识别是自然语言处理的重要应用之一。它也是一种在许多其他NLP应用中发挥重要作用的工具,例如机器翻译(MT),信息检索(IR)和词性标注(POST)。从NLP的角度来看,库尔德语是一种资源不足的语言。特别是,在所有类别中,缺乏净入学率资源阻碍了库尔德人处理的其他方面。在这项工作中,我们提出了一个数据集,涵盖了几个类别的东北部在库尔德语(索拉尼)。该数据集是对以前在库尔德语BLARK(基本语言资源工具包)中开发的数据集的重大修改。它涵盖了11个类别,共33261个条目。该数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/上公开用于非商业用途。
2023-01-12 cs.CL
DaN+: Danish Nested Named Entities and Lexical Normalization
ITU Copenhagen(哥本哈根信息技术大学)
本文介绍了DaN+,一个新的多域语料库和注释指南丹麦嵌套命名实体(NE)和词汇规范化,以支持跨语言跨域学习的研究资源较少的语言。我们实证评估三种策略来模拟两层命名实体识别(NER)任务。我们比较了从德语到语言注释的转换能力。我们研究了特定语言与多语言的BERT,并研究了词汇规范化对NER的影响。我们的研究结果表明:1)最鲁棒的策略是多任务学习,这是由多标签解码相媲美,2)基于BERT的NER模型是敏感的领域转移,和3)在语言BERT和词汇规范化是最有益的最少的规范数据。我们的研究结果还表明,域外设置仍然具有挑战性,而新闻的性能很快就稳定下来。这突出了跨领域评估跨语言迁移的重要性。
2021-05-24 cs.CL
Natural Language Processing Chains Inside a Cross-lingual Event-Centric Knowledge Pipeline for European Union Under-resourced Languages
University of Zagreb(萨格勒布大学);Faculty of Humanities and Social Sciences(人文与社会科学学院)
本文提出了一种开发包含欧盟语言的语言处理链的平台的策略,该平台由标记化到解析组成,还包括命名实体识别和附加的情感分析。这些链是以事件为中心的知识处理管道的第一步的一部分,其目的是处理有关可能影响欧洲和世界其他地区的重大事件的多语言媒体信息。由于每种语言的语言资源可用性存在差异,我们分三步构建了这一策略,从资源丰富的语言的处理链开始,到资源不足的语言的新模块的开发结束。为了根据资源对所有欧盟官方语言进行分类,我们分析了注释语料库的规模以及主流语言处理工具中预训练模型的存在,并将这些信息与META-NET白皮书系列中发布的拟议分类相结合。
2020-10-23 cs.CL
Tokenization Strategies for Low-Resource Agglutinative Languages in Word2Vec: Case Study on Turkish and Finnish
Phillips Academy Andover(菲利普斯安多佛学院)
针对土耳其语和芬兰语,本文在低资源维基百科语料上比较Word2Vec的多种分词策略,并通过NER评估发现词级分词稳定优于子词方法。
2025-08-27 cs.CL
Efficient Entity Candidate Generation for Low-Resource Languages
EPFL(洛桑联邦理工学院)
候选项生成是实体链接中的关键模块。它还在多个NLP任务中发挥着关键作用,这些任务已被证明可以有效地利用知识库。然而,它往往被忽视,在单语英语实体连接的文献,天真的方法获得了很好的性能。不幸的是,现有的英语方法不能成功地转移到资源贫乏的语言。本文对跨语言实体链接背景下的候选生成问题进行了深入的分析,重点关注低资源语言。在其他贡献中,我们指出在以前的作品中进行的评价的局限性。我们引入了一个表征的查询到类型的基础上,他们的困难,这提高了不同的方法的性能的可解释性。我们还提出了一个轻量级和简单的解决方案的基础上建设的指标,其设计是出于更复杂的迁移学习为基础的神经方法。在2个评估设置下对9个真实数据集进行的全面实证分析表明,我们的简单解决方案在几乎所有数据集和查询类型的质量和效率方面都优于最先进的方法。
2022-06-30 cs.AI cs.CL
Multilingual is not enough: BERT for Finnish
University of Turku(图尔库大学)
在大型未注释文本语料库上预训练的基于深度学习的语言模型已被证明可以有效地进行自然语言处理的迁移学习,最近的方法(如基于transformer的BERT模型)在各种任务中推进了最新技术水平。虽然这些模型的大多数工作都集中在高资源语言上,特别是英语,但最近的一些努力引入了多语言模型,可以进行微调以解决大量不同语言的任务。然而,我们仍然缺乏对这些模型的能力的全面了解,特别是对于资源较少的语言。在本文中,我们专注于芬兰语,并在一系列任务上彻底评估多语言BERT模型,将其与从头开始训练的新芬兰语BERT模型进行比较。新的语言特定的模型被证明是系统和明显优于多语言。虽然多语言模型在很大程度上未能达到以前提出的方法的性能,自定义芬兰BERT模型建立了新的国家的最先进的结果对所有语料库的所有参考任务:词性标注,命名实体识别,和依存句法分析。我们在https://turkunlp.org/finbert上以开放许可证发布模型和为此研究创建的所有相关资源。
2019-12-15 cs.CL
A Survey of Resources and Methods for Natural Language Processing of Serbian Language
State University of Novi Pazar(新帕扎尔州立大学);Bayer Pharmaceuticals(拜耳制药);The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究所)
本文系统综述了塞尔维亚语这一低资源、高屈折语言在自然语言处理领域的资源、方法及可用性,涵盖语料库、标注数据与各类模型,为后续研究提供参考。
2023-04-11 cs.CL cs.DL cs.HC
FarFetched: Entity-centric Reasoning and Claim Validation for the Greek Language based on Textually Represented Environments
Technical University of Crete(克里特技术大学);National Technical University of Athens(雅典国家技术大学);Hellenic Army Academy(希腊陆军学院)
本研究提出面向希腊语的实体中心推理与主张验证框架FarFetched,通过实体链接、语义相似度聚合多源证据,结合文本蕴含识别判定主张可信度,填补低资源语言相关研究空白。
2024-07-13 cs.AI cs.CL
Entity Extraction from High-Level Corruption Schemes via Large Language Models
Harokopio University of Athens(雅典哈罗科皮奥大学)
针对金融犯罪领域缺乏专门数据集的问题,本文构建了一个微基准数据集,并提出基于大型语言模型的实体提取与消歧方法,实验证明其优于开源基线。
2024-11-11 cs.CL cs.IR
A Comprehensive Part-of-Speech Tagging to Standardize Central-Kurdish Language: A Research Guide for Kurdish Natural Language Processing Tasks
Koya University(科亚大学);Knowledge University(知识大学);University of Sulaimani(苏莱曼尼大学)
针对中部库尔德语缺乏标准化词性标签集的问题,本研究综合多方来源构建了全面准确的POS标签集,初步验证表明其能更精准地支持库尔德语NLP任务。
2025-04-28 cs.AI cs.CL
Enriching the NArabizi Treebank: A Multifaceted Approach to Supporting an Under-Resourced Language
Inria(法国国家信息与自动化研究所)
针对NArabizi标注数据稀缺问题,本文通过添加命名实体识别、冒犯性语言检测标注层及重新标注分词等层增强NArabizi树库,实验验证其价值并公开资源,为该语言的NLP工具开发铺路。
2023-06-26 cs.CL
Advancing Italian Biomedical Information Extraction with Transformers-based Models: Methodological Insights and Multicenter Practical Application
IRCCS Istituto Centro San Giovanni di Dio Fatebenefratelli(IRCCS 圣乔瓦尼迪奥法特贝内弗拉特利研究所);University of Pavia(帕维亚大学);IRCCS Istituto Auxologico Italiano(IRCCS 意大利奥索洛吉科研究所);Università degli Studi di Milano(米兰大学);IRCCS Istituti Clinici Scientifici Maugeri(IRCCS 莫盖里临床科学研究所);IRCCS Mondino Foundation(IRCCS 蒙迪诺基金会)
本文构建了首个意大利语神经精神病学命名实体识别数据集PsyNIT,并结合三个外部数据集开发基于Transformer的多中心模型,F1达84.77%,为低资源语言NLP研究提供了方法学指南。
2024-01-15 cs.AI cs.CL cs.LG
DeformAr: Rethinking NER Evaluation through Component Analysis and Visual Analytics
University of Sussex(萨塞克斯大学)
DeformAr通过组件分析和可视化分析,首次针对阿拉伯语NER系统提出可解释性工具,解决跨语言性能差异问题。
2025-11-30 cs.AI cs.CL cs.LG
Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
多语言语言模型是一个关键的突破,因为它们大大减少了资源不足语言的数据需求。尽管如此,语言特定模型的优越性已经被证明可以访问大量数据的语言。在这项工作中,我们专注于加泰罗尼亚语的目的是探讨在何种程度上一个中等规模的单语语言模型是最先进的大型多语言模型的竞争力。为此,我们:(1)建立一个干净,高质量的文本加泰罗尼亚语语料库(CaText),迄今为止最大的(但只有以前在单语语言模型中工作的通常大小的一小部分),(2)训练加泰罗尼亚语(BERTA)的基于transformer的语言模型,以及(3)在多种设置中设计彻底的评估,包括一系列完整的下游任务,即,词性标记,命名实体识别和分类、文本分类、问答和语义文本相似性,大多数相应的数据集都是从头创建的。结果是一个新的基准,加泰罗尼亚语语言理解基准(CLUB),我们将其作为开放资源与干净的文本语料库,语言模型和清理管道一起发布。使用最先进的多语言模型和仅在维基百科上训练的单语模型作为基线,我们始终观察到我们的模型在任务和设置中的优越性。
2021-07-16 cs.CL
Review of coreference resolution in English and Persian
Islamic Azad University Tehran North Branch(伊斯兰阿扎德大学德黑兰北部分校);Shahid Beheshti University(沙希德·贝赫什提大学)
本文综述英语与波斯语共指消解的语料、指标和算法演进,重点分析低资源波斯语及ParsBERT端到端模型,并指出挑战与未来方向。
2024-08-05 cs.AI cs.CL
Natural language processing for African languages
Saarland University(萨尔大学)
本文研究撒哈拉以南非洲低资源语言的NLP,通过构建高质量语料库、适配多语言预训练模型,并为21种语言开发命名实体识别和机器翻译标注数据集,系统评估了多种学习范式下的性能。
2025-06-30 cs.AI cs.CL
Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese
University of Malta(马耳他大学);Utrecht University(乌得勒支大学);Idiap Research Institute(Idiap研究所)
mBERT等多语言语言模型已经出现了令人印象深刻的跨语言迁移到各种语言的情况,但许多语言仍然被排除在这些模型之外。在本文中,我们分析了一种低资源语言的单语数据预训练的效果,这种语言不包括在mBERT中-马耳他语-具有一系列预训练设置。我们使用新的预训练模型对三个形态句法任务进行评估-依存句法分析,词性标记和命名实体识别-以及一个语义分类任务-情感分析。我们还提出了一个新创建的语料库马耳他语,并确定预训练数据的大小和域对下游性能的影响。我们的研究结果表明,使用预训练域的混合往往优于仅使用维基百科文本。我们还发现,这个语料库的一小部分就足以使维基百科训练的模型的性能有显著的飞跃。我们在新语料库上预训练并比较了两个模型:从头开始训练的单语BERT模型(BERTu)和进一步预训练的多语言BERT(mBERTu)。这些模型在这些任务上实现了最先进的性能,尽管新的语料库比通常用于高资源语言的语料库要小得多。平均而言,BERTu优于mBERTu或与mBERTu竞争,并且在更高级别的任务中观察到最大的收益。
2022-05-26 cs.CL
NagaNLP: Bootstrapping NLP for Low-Resource Nagamese Creole with Human-in-the-Loop Synthetic Data
RespAI Lab(RespAI实验室);KIIT(KIIT大学)
NagaNLP通过人类在循环中的合成数据生成,为低资源纳加拉语克里奥尔语提供了一个开源工具包,实现了词性标注和命名实体识别的高精度模型。
2025-12-14 cs.CL
R2T: Rule-Encoded Loss Functions for Sequence Tagging in Low-Resource Languages
Rochester Institute of Technology(罗切斯特技术学院);RobotsMali(Mali机器人)
本文提出R2T框架,通过将语言规则编码进自适应损失函数,使模型在低资源序列标注中仅用未标注文本即可达到98.2%准确率,并作为预训练步骤提升NER性能。
2026-09-29 cs.CL cs.LG