Unveiling Factors for Enhanced POS Tagging: A Study of Low-Resource Medieval Romance Languages
Bavarian Academy of Sciences(巴伐利亚科学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Freiburg(弗赖堡大学)
本研究系统探究影响中古罗曼语(奥克语、西班牙语、法语)词性标注性能的关键因素,通过实验评估微调、提示、架构、解码及跨语言迁移方法,揭示LLM局限并提出有效专门技术。
2025-06-21 cs.CL cs.LG
From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages
Bavarian Academy of Sciences (BAdW)(巴伐利亚科学院);Department of Statistics, LMU Munich, Germany(慕尼黑大学统计系);Munich Center for Machine Learning (MCML), LMU Munich, Germany(慕尼黑机器学习中心)
本文比较了传统规则和统计标注器与现代开源LLMs在中世纪罗曼语词性标注中的表现,发现LLMs在零样本、少样本、单语微调和跨语言迁移学习中均表现更优,尤其在资源匮乏语言中跨语言迁移学习效果显著。
2026-05-09 cs.AI cs.CL stat.AP
g2pW: A Conditional Weighted Softmax BERT for Polyphone Disambiguation in Mandarin
E.SUN Financial Holding CO., LTD.(玉山金融控股股份有限公司);National Kaohsiung Normal University(国立高雄师范大学)
多音字消歧是汉语形音转换中最关键的任务。以前的研究已经使用预训练的语言模型,限制输出和来自词性(POS)标记的额外信息来解决这个问题。受这些策略的启发,我们提出了一种新的方法,称为g2pW,它适应可学习的软最大权值条件的输出BERT与感兴趣的多音字符及其词性标记。而不是使用硬掩模在以前的作品中,我们的实验表明,学习候选音素的软加权函数的性能。此外,我们提出的g2pW不需要额外的预训练的POS标记模型,同时使用POS标签作为辅助功能,因为我们训练的POS标记模型,同时与统一的编码器。实验结果表明,我们的g2pW优于现有的方法在公共CPP数据集。所有代码、模型重量和用户友好的软件包都是公开的。
2022-08-25 cs.CL cs.SD eess.AS
Character-Level Feature Extraction with Densely Connected Networks
Korea University(高丽大学);Amazon Alexa(亚马逊Alexa)
在各种自然语言处理任务中,生成字符级特征是获得良好结果的重要步骤。为了减轻在生成手工制作的特征时对人力的需求,已经提出了利用诸如卷积神经网络(CNN)或递归神经网络(RNN)之类的神经架构来自动提取这样的特征的方法,并且已经显示出很好的结果。然而,CNN生成与位置无关的特征,而RNN很慢,因为它需要顺序处理字符。在本文中,我们提出了一种新的方法,使用密集连接的网络自动提取字符级的功能。所提出的方法不需要任何语言或任务特定的假设,并显示出鲁棒性和有效性,同时比基于CNN或RNN的方法更快。在三个序列标记任务-槽标记,词性(POS)标记和命名实体识别(NER)上评估该方法-我们获得了最先进的性能,在槽标记和POS标记上分别具有96.62 F1分数和97.73%的准确率,并且与NER上的最先进的91.13 F1分数相当。
2018-07-26 cs.CL
Joint PoS Tagging and Stemming for Agglutinative Languages
Hacettepe University(哈杰特佩大学)
黏着语言中的词形式的数量在理论上是无限的,并且词形式的这种多样性在许多自然语言处理任务中引入了稀疏性。词性标注(PoS tagging)是这些任务之一,往往遭受稀疏性。在本文中,我们提出了一个无监督的贝叶斯模型,使用隐马尔可夫模型(HMM)的联合PoS标记和词干粘着语言。我们使用词干来减少PoS标记的稀疏性。联合执行两项任务以在两项任务中提供互惠。我们的研究结果表明,联合POS标记和词干提高POS标记分数。我们目前的结果为土耳其语和芬兰语作为粘着语言和英语作为一个形态学差的语言。
2017-05-24 cs.CL
Turkish PoS Tagging by Reducing Sparsity with Morpheme Tags in Small Datasets
Hacettepe University(哈西德佩大学);Middle East Technical University(中东技术大学)
稀疏性是自然语言处理的主要问题之一。这个问题变得更加严重,在粘合的语言,是高度倾向于曲折。我们处理稀疏在土耳其语采用形态特征的词性标注。我们通过使用条件随机场(CRF)学习土耳其语中的屈折和派生词素标签,并且我们通过使用隐马尔可夫模型(Hyndom)来减轻稀疏性,从而在词性(PoS)标记中使用词素标签。结果表明,使用词素标签的PoS标记有助于缓解发射概率的稀疏性。我们的模型优于其他隐马尔可夫模型为基础的PoS标记模型在土耳其的小训练数据集。我们在5K训练数据集上获得了94.1%的词素标记准确率和89.2%的PoS标记准确率。
2017-03-10 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne(墨尔本大学);VinAI Research(VinAI研究院)
我们提出了第一个多任务学习模型联合越南语分词,词性(POS)标记和依存句法分析。特别地,我们的模型用基于BiLSTM-CRF的神经层(Huang et al.,2015)用于分词和POS标记。在越南基准数据集上的实验结果表明,我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF
Uppsala University(乌普萨拉大学);University of Helsinki(赫尔辛基大学)
本文提出了一种基于字符的汉语联合分词和词性标注模型。通用序列标记的双向RNN-CRF架构适用于捕获丰富上下文信息和低于字符级别特征的中文字符的新型矢量表示。对所提出的模型进行了广泛的评估,并分别在CTB 5、CTB 9和UD中文上与最先进的标记器进行了比较。实验结果表明,我们的模型是准确的和强大的数据集在不同的大小,类型和注释方案。我们在CTB 5上获得了最先进的性能,联合分割和POS标记的F1得分达到94.38。
2017-09-12 cs.CL
Semantic Tagging with Deep Residual Networks
University of Groningen(格罗宁根大学)
我们提出了一种新的语义标记任务,sem-tagging,为多语言语义解析的目的,并提出了第一个使用深度残差网络(ResNets)的标记器。我们的标签使用单词和字符表示,并包括一个新的残留旁路架构。我们评估的标签集本质上的语义标记的新任务,以及词性(POS)标记。我们的系统,由一个ResNet和一个辅助损失函数预测我们的语义标签,显着优于以前的结果对英语通用词汇词性标注(95.71%的准确率UD v1.2和95.67%的准确率UD v1.3)。
2016-10-31 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University(麦考瑞大学)
我们提出了一种新的神经网络模型,学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务,从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验,结果表明,我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型,从而达到了最新的水平。我们的代码是开源的,可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
Experiments with POS Tagging Code-mixed Indian Social Media Text
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了孟买高级计算发展中心(CDACM)提交给2015年印度混合代码社交媒体文本(POSCMISMT)的词性(POS)标记NLP工具竞赛(与ICON 2015并列)。我们提交了印地语(hi),孟加拉语(bn)和泰卢固语(te)与英语(en)混合的结果。在本文中,我们已经描述了我们的方法的词性标注技术,我们利用这项任务。机器学习被用于对混合语言文本进行词性标注。对于POS标记,已经尝试了用于特征提取和对数线性模型的向量空间(word 2 vec)中单词的分布式表示。我们报告了我们在所有三种语言hi,bn和te与en混合的工作。
2016-10-31 cs.CL
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University(查理大学)
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法,BERT和Flair,在四个捷克文本处理任务:词性(POS)标记,词形化,依赖分析和命名实体识别(NER)。前三个任务,词性标注,词形还原和依存句法分析,评估两个语料库:布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别(NER)。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
Automatic TM Cleaning through MT and POS Tagging: Autodesk's Submission to the NLP4TM 2016 Shared Task
Autodesk(欧特克)
我们描述了一种基于机器学习的方法来识别翻译记忆中的错误条目。它扩展了Barbu(2015)之前的工作,结合了基于召回的机器翻译和词性标记功能。我们的系统在二进制分类(II)任务中排名第一,三种语言对中有两种:英语-意大利语和英语-西班牙语。
2016-05-19 cs.CL
BNLP: Natural language processing toolkit for Bengali language
Begum Rokeya University, Rangpur, Bangladesh(贝古姆·罗基亚大学)
BNLP是一个开放的孟加拉语源语言处理工具包,包括标记化,词嵌入,POS标记,NER标记设施。BNLP提供高精度的预训练模型,用于孟加拉语的基于模型的标记,嵌入,POS标注,NER标注任务。BNLP预训练模型在孟加拉语文本标记、词嵌入、词性标注和NER标注任务中取得了显著的效果。BNLP在孟加拉研究社区中广泛使用,下载量为16K,119颗星和31个分叉。BNLP可在https://github.com/sagorbrur/bnlp上获得。
2021-12-01 cs.CL
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology(河内科技大学);VCCorp(VCCorp公司)
本文提出了一种用于越南语序列标注任务的神经结构,包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型,该模型是双向长短期记忆和条件随机场的组合,它依赖于关于单词的两个信息源:从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明,该方法在两个任务上都达到了最佳的性能:词性标注的准确率为93.52%,NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
An improved neural network model for joint POS tagging and dependency parsing
提出了一种新的神经网络模型,用于词性标注和依存句法分析的联合识别。我们的模型扩展了著名的基于BIST图的依赖解析器(Kiperwasser和Goldberg,2016),通过合并基于BiLSTM的标记组件来为解析器自动生成预测的POS标签。在基准英语Penn树库上,我们的模型分别获得了94.51%和92.87%的UAS和LAS分数,比基于BIST图的解析器有1.5%以上的绝对改进,并且还获得了97.97%的最先进的POS标记准确率。此外,从原始文本中解析61个“大”通用词典树库的实验结果表明,我们的模型优于基线UDPipe(Straka和Straková,2017),平均POS标记得分高出0.8%,平均LAS得分高出3.6%。此外,通过我们的模型,我们还获得了最先进的下游任务分数,用于生物医学事件提取和意见分析应用。我们的代码与所有预训练模型一起提供:https://github.com/datquocnguyen/jPTDP
2018-08-20 cs.CL
Improved POS tagging for spontaneous, clinical speech using data augmentation
Linguistic Data Consortium, University of Pennsylvania(宾夕法尼亚大学语言数据联盟);Penn Frontotemporal Degeneration Center, University of Pennsylvania(宾夕法尼亚大学宾夕法尼亚额颞叶变性中心)
本文针对临床自发性言语转写文本的POS标注问题,提出在领域外新闻树库上结合数据增强训练句法分析器,并在神经退行性疾病患者言语上验证性能。
2023-07-11 cs.CL
POS-tagging to highlight the skeletal structure of sentences
本研究开发了基于BERT迁移学习的词性标注模型,用于提取句子骨架结构,经俄语文本微调验证有效,可助力机器翻译等自然语言处理任务。
2024-11-21 cs.CL
Online Updating of Word Representations for Part-of-Speech Tagging
LMU Munich(慕尼黑大学);Cornell University(康奈尔大学)
我们提出了在线无监督领域自适应(DA),这是增量数据时,适用于批量DA是不可能的。在一个部分的语音(POS)标记评估,我们发现,在线无监督DA执行以及批量DA。
2016-04-02 cs.CL
Toward a Standardized and More Accurate Indonesian Part-of-Speech Tagging
Kata Research Team Kata.ai(卡塔人工智能公司卡塔研究团队);School of Informatics University of Edinburgh(爱丁堡大学信息学院)
印尼语词性(POS)标记的以前的工作很难比较,因为它们不是在一个共同的数据集上进行评估。此外,尽管神经网络模型在英语词性标注方面取得了成功,但很少在印度尼西亚语中进行探索。在本文中,我们探讨了印尼语词性标注的各种技术,包括基于规则的,CRF和基于神经网络的模型。我们在IDN标记语料库上评估了我们的模型。使用递归神经网络实现了97.47 F1评分的新的最新技术水平。为了给未来的工作提供一个标准,我们发布了我们公开使用的数据集分割。
2019-02-26 cs.CL
From Word Segmentation to POS Tagging for Vietnamese
Macquarie University(麦考瑞大学);NIHR Innovation Observatory, Newcastle University(纽卡斯尔大学NIHR创新观察站);Deakin University(迪肯大学)
本文提出了一种经验比较越南语词性(POS)标记从未分割的文本的两种策略:(i)管道策略,我们认为一个词分割器的输出作为输入的POS标记,和(ii)联合策略,我们预测一个组合的分割和POS标签为每个音节。我们还比较了基于特征和基于神经网络的模型。在基准越南树库(Nguyen等人,2009),实验结果表明,管道策略比联合策略在未切分文本的词性标注中获得了更好的成绩,并且使用基于特征的模型获得了最高的准确率。
2017-11-14 cs.CL
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies(广东外语外贸大学)
2020年云山杯的重点是创建一个评估不同词性(POS)方法的框架。这条赛道有两个任务:(1)印度尼西亚语的POS标记,以及(2)老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%,表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
Part of Speech Tagging (POST) of a Low-resource Language using another Language (Developing a POS-Tagged Lexicon for Kurdish (Sorani) using a Tagged Persian (Farsi) Corpus)
标注语料库在广泛的自然语言处理中起着至关重要的作用。词性标注是标注语料库建设的关键。它既费时又费力,而且成本高昂,因此,如果实现自动化,它可能更便宜。库尔德语目前缺乏公开可用的适当大小的标记语料库。标记公开可用的库尔德语语料库可以将这些资源的能力提高到比原始或分割语料库所能提供的更高的水平。开发POS标记的词典可以帮助完成上述任务。我们使用标记语料库(Bijankhan语料库)在波斯语(波斯语)作为一个接近库尔德语开发一个POS标记的词汇。本文提出了利用与库尔德语关系密切的语言资源丰富库尔德语资源的方法。结果的部分数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/公开用于非商业用途。我们计划在对结果进行进一步调查后,提供整个标记语料库。该数据集可以帮助开发其他库尔德方言的POS标记词汇和自动库尔德语料库标记。
2022-01-30 cs.CL
Overview of the NLPCC 2015 Shared Task: Chinese Word Segmentation and POS Tagging for Micro-blog Texts
Fudan University(复旦大学)
本文综述了第四届CCF自然语言处理与中文计算会议(NLPCC 2015)的共同课题:微博文本的中文分词和词性标注。与目前流行的新闻专线数据集不同,该共享任务的数据集由相对非正式的微文本组成。共享任务包括两个子任务:(1)单个汉语分词和(2)联合汉语分词和词性标注。每个子任务有三个轨道,以区分具有不同资源的系统。我们首先介绍数据集和任务,然后描述参与系统的不同方法,报告测试结果,并对这些结果进行概述分析。在http://nlp.fudan.edu.cn/nlpcc2015上有一个在线系统可供公开登记和评估。
2015-06-30 cs.CL
To Normalize, or Not to Normalize: The Impact of Normalization on Part-of-Speech Tagging
University of Groningen(格罗宁根大学)
标准化是否有助于提高有噪、非规范数据的词性(POS)标记准确性?据我们所知,在现实世界的场景中,对标准化的实际影响知之甚少,其中黄金错误检测不可用。我们研究的自动规范化的词性标注的鸣叫。我们还将归一化与利用大量未标记数据的策略进行了比较。我们的研究结果表明,规范化的帮助,但不增加一致的只是词嵌入层初始化。后一种方法产生了一个标记模型,与Twitter最先进的标记器竞争。
2017-07-17 cs.CL
Lexical Normalization for Code-switched Data and its Effect on POS-tagging
IT University of Copenhagen(哥本哈根信息技术大学);University of Stuttgart(斯图加特大学)
词汇规范化,将非规范数据转换为标准语言,已被证明可以提高社交媒体上许多自然语言处理任务的性能。然而,在一个话语中使用多种语言,也称为代码转换(CS),经常被这些规范化系统所忽视,尽管它在社交媒体中很常见。在本文中,我们提出了三个规范化模型,专门设计用于处理代码转换的数据,我们评估两种语言对:土耳其语-英语(Id-En)和土耳其语-德语(Tr-De)。对于后者,我们为数据集引入了新的规范化层及其相应的语言ID和POS标签,并评估了规范化对POS标签的下游影响。结果表明,我们的CS定制的规范化模型优于Id-En国家的最先进的和Tr-De单语模型,并导致5.4%的相对性能提高的POS标记相比,非规范化的输入。
2021-01-31 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University(萨尔大学)
本文研究零资源跨语言词性标注,提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语,并训练隐马尔可夫模型进行预测,证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Ancient Chinese Word Segmentation and Part-of-Speech Tagging Using Distant Supervision
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
古汉语分词和词性标注是古汉语研究的重要内容,但古汉语分词和词性标注的数据量还很少。本文提出了一种基于远程监督的平行语料库古汉语WSG和词性标注数据扩充方法。然而,在远程监督中,仍不可避免地存在着误标和未标的古汉语词语。针对这一问题,利用深度神经网络的记忆效应和少量标注数据,得到知识量大、噪声小的模型,并利用该模型对平行语料库中的古汉语句子进行重新标注。实验表明,在重新标记的数据上训练的模型优于在远程监督生成的数据和注释数据上训练的模型。我们的代码可在https://github.com/farlit/ACDS上获得。
2023-03-06 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asian(微软亚洲研究院);Educational Testing Service Research(美国教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的标记序列数据,例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段,已经得到了广泛的应用。在这项研究中,我们提出了使用BLSTM-RNN与词嵌入的词性(POS)标注任务。在Penn Treebank WSJ测试集上进行测试时,达到了97.40的标记准确率。在不使用形态特征的情况下,该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Corpus and Models for Lemmatisation and POS-tagging of Old French
Centre Jean-Mabillon(让-马比永中心);École nationale des chartes(法国国家文献学院);Université Paris, Sciences & Lettres(巴黎科学与文学大学)
古法语是一个典型的历史语言资源不足的例子,进一步显示了大量的语言变异。在本文中,我们介绍了一个长期项目(2015-...)的当前结果。并描述我们如何在神经标签器和专用语料库的逐步构建的帮助下解决为古法语提供词形化和POS模型的难题。
2021-09-23 cs.CL
Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection
The University of Melbourne(墨尔本大学)
语言注释的跨语言投影受到许多偏差和噪声源的影响,导致不能直接使用的不可靠注释。在本文中,我们介绍了一种新的序列标记方法,该方法使用显式去偏层来学习纠正跨语言投影的错误。这是作为两个语料库的联合学习,一个标记为黄金标准,另一个标记为投影标签。我们仅使用1,000个标记有黄金标准标记的令牌进行评估,以及更丰富的并行数据。我们的系统在八个模拟的低资源环境中达到或超过了最先进的水平,以及两种真正的低资源语言,马达加斯加语和基尼亚卢旺达语。
2016-07-05 cs.CL
Morpheme Boundary Detection & Grammatical Feature Prediction for Gujarati : Dataset & Model
Dharmsinh Desai University(达尔姆辛·德赛大学)
本文针对低资源语言古吉拉特语,构建了首个同时支持语素边界检测和语法特征标注的数据集,并提出基于双向LSTM的形态分析器模型,无需手工后缀规则即可有效处理形态学任务。
2021-12-18 cs.AI cs.CL cs.LG
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University(麦迪卡普斯大学)
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果,例如pos标记,命名实体识别和文本分类。然而,这些语言模型中的大多数都是用高资源语言(如英语,德语,西班牙语)进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言,但它们往往不能代表这些语言的语言特征,因为它们不是研究的主要语言。我们介绍HinFlair,这是一个语言表示模型(上下文字符串嵌入)预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验,以分析这些上下文化的印地语字符串嵌入的性能。结果表明,HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外,HinFlair与FastText嵌入相结合时,性能优于许多基于transformers的语言模型,特别是为印地语训练的。
2021-01-18 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen(格罗宁根大学);University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
双向长短期记忆(bi-LSTM)网络最近被证明可以成功地用于各种NLP序列建模任务,但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题,并评估双LSTM与字,字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型,它将POS标记损失函数与一个辅助损失函数相结合,该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能,尤其适用于形态复杂的语言。我们的分析表明,双LSTM对训练数据大小和标签损坏(在小噪声水平下)的敏感性低于以前的假设。
2016-07-21 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个广泛的评估,最近提出的三种方法,在89个语料库中的54种语言的通用嵌入2.3在三个任务:词性标注,词形还原,和依存句法分析的上下文嵌入。采用BERT,Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入,UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一,也是EPE 2018的总冠军,我们对三种上下文化的词嵌入方法进行了一对一的比较,以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果,与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.(Virtusa私人有限公司);University of Kelaniya(凯拉尼亚大学)
词性分析是任何语言的自然语言处理(NLP)任务中的一个非常重要的课题,它涉及到分析语言的结构、行为和动态,这些知识可以用于计算语言学分析和自动化应用。在这种情况下,处理未知词(未出现在词典中的词称为未知词)也是一项重要任务,因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中,通过区分开类词和闭类词,并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明,当词类区分与句法规则一起使用时,标记过程的性能得到增强,以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
Carnegie Mellon University(卡内基梅隆大学)
最先进的序列标记系统传统上需要大量的任务特定的知识,以手工制作的特征和数据预处理的形式。在本文中,我们介绍了一种新的神经网络架构,通过使用双向LSTM,CNN和CRF的组合,自动受益于单词和字符级别的表示。我们的系统是真正的端到端,不需要特征工程或数据预处理,因此使其适用于广泛的序列标记任务。我们评估我们的系统在两个数据集上的两个序列标记任务- Penn Treebank WSJ语料库的词性(POS)标记和CoNLL 2003语料库的命名实体识别(NER)。我们在这两个数据上都获得了最先进的性能-
2016-05-29 cs.CL cs.LG stat.ML
Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(LISN实验室)
词性标注是NLP管道的重要组成部分,但许多低资源语言缺乏用于训练的标记数据。在这种情况下,用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中,我们提出了一种新的方法,将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译,我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后,我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明,我们的传播创建的训练集,使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时,我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。
2022-10-31 cs.CL
Review of Unsupervised POS Tagging and Its Implications on Language Acquisition
University of California Irvine(加州大学欧文分校)
本文综述了无监督词性标注的各类工程方法,探讨了模型评估指标、约束学习的额外信息、上下文使用等共同主题,为句法范畴习得的认知研究及无监督POS标注的发展提供参考。
2023-12-15 cs.CL
Neural Factor Graph Models for Cross-lingual Morphological Tagging
Language Technologies Institute(语言技术研究所);Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
形态分析涉及预测单词的句法特征(例如{POS:Noun,Case:Acc,Gender:Fem})。以前在形态标记方面的工作通过使用来自同一家族的高资源语言(HRL)进行跨语言训练来提高低资源语言(LRL)的性能,但受到严格的(通常是错误的)假设的限制,即标记集在HRL和LRL之间完全重叠。在本文中,我们提出了一种跨语言的形态标记的方法,旨在通过放松这一假设,以提高语言之间的信息共享。所提出的模型使用具有神经网络潜力的阶乘条件随机场,使得有可能(1)利用神经网络表示的表达能力来平滑表面形式中的表面差异,(2)对标签之间的成对和传递关系进行建模,以及(3)准确地生成在训练数据中看不见或罕见的标签集。在通用语义树库中的四种语言上的实验表明,该方法比现有的跨语言方法具有更高的标注准确率。
2018-07-11 cs.CL
FastPOS: Language-Agnostic Scalable POS Tagging Framework Low-Resource Use Case
Daffodil International University(达福尔国际大学);Alliance University(联盟大学)
FastPOS提出了一种基于变换器的词性标注框架,通过少量代码实现多语言适应,显著提升低资源语言的词性标注性能。
2025-11-30 cs.CL
Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource
University of Notre Dame(圣母大学);University of Ioannina(约阿尼纳大学);ICREA(加泰罗尼亚高等研究院);Universitat Pompeu Fabra(庞培法布拉大学)
大多数词性标注的工作都集中在高资源语言上,或者通过模拟研究来检查低资源和主动学习设置。我们评估一个实际的濒危语言,Griko的POS标记技术。我们提出了一个资源,其中包含114个故事在Griko,随着意大利语的翻译水平,并提供黄金注释的测试集。基于以前收集的小语料库,我们研究了几种传统的方法,以及利用单语数据或项目跨语言的POS标签的方法。我们发现,半监督方法与跨语言迁移的结合更适合于这种极具挑战性的设置,最好的标记器实现了72.9%的准确率。通过应用主动学习方案,我们使用该方案在测试集上收集高级注释,我们实现了超过21个百分点的改进。
2018-06-11 cs.CL
Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning
Techo Startup Center (TSC)(Techo创业中心);Royal University of Phnom Penh (RUPP)(金边皇家大学)
高棉语文本从左到右书写,可选空格。空格不是用作单词边界,而是用于可读性或其他功能目的。分词是诸如词性(POS)标注之类的下游任务的优先步骤,因此,POS标注的鲁棒性高度依赖于分词。传统的高棉语词性标注是一个两阶段的过程,首先是分词,然后是对每个词的实际标注。在这项工作中,提出了一种使用单个深度学习模型的联合分词和POS标记方法,以便可以自发地执行分词和POS标记。该模型使用公开的高棉POS数据集进行了训练和测试。实验结果表明,联合模型的性能与传统的两阶段词性标注方法相当。
2021-03-31 cs.CL cs.LG
Parallelization of Maximum Entropy POS Tagging for Bahasa Indonesia with MapReduce
Universitas Gadjah Mada(加查马达大学)
本文采用MapReduce编程模型对印度尼西亚语最大熵词性标注的训练和标注过程进行并行化。在训练过程中,MapReduce模型实现了字典、标记和特征创建。在标记过程中,MapReduce实现了并行标记文档行。训练实验表明,使用MapReduce的总训练时间更快,但其过程中的结果读取时间减慢了总训练时间。使用不同数量的map和reduce过程进行标注实验,结果表明MapReduce实现可以加快标注过程。通过对100万词语料库和30个图的标注过程,显示出最快的标注结果。
2012-08-15 cs.CL cs.DC
Colloquial Persian POS (CPPOS) Corpus: A Novel Corpus for Colloquial Persian Part of Speech Tagging
Iran Telecommunication Research Center (ITRC)(伊朗电信研究中心);Faculty of New Sciences and Technologies, University of Tehran(德黑兰大学新科技学院);Sharif University of Technology(谢里夫理工大学)
针对现有波斯语词性标注语料库多为正式文本、处理口语化社交文本效果不佳的问题,本文构建了含超52万标注词元的CPPOS口语化波斯语词性标注语料库,经实验验证,基于该语料库训练的BiLSTM模型性能较原有数据集提升14%。
2023-10-01 cs.CL
Part of Speech Tagging in Thai Language Using Support Vector Machine
弹性输入神经标记器和混合标记器,结合神经网络和Brill的错误驱动学习,已经被提出用于使用尽可能少的训练数据来构造实用的标记器。当一个小的泰国语料库用于训练,这些标记器的标记准确率分别为94.4%和95.5%(仅占歧义词的词性)。在这项研究中,为了构建更准确的标签,我们开发了新的标记方法,使用三种机器学习方法:决策表,最大熵,和支持向量机方法。然后,我们使用这些方法进行标记实验。我们的结果表明,支持向量机的方法具有最好的精度(96.1%),它是能够提高在泰语标注的准确性。最后,我们从理论上对这些方法进行了检验,并讨论了如何实现这些改进。
2001-12-05 cs.CL
A Robust Transformation-Based Learning Approach Using Ripple Down Rules for Part-of-Speech Tagging
Macquarie University(麦考瑞大学);Saarland University(萨尔大学);University of Hanover(汉诺威大学);VNU University of Engineering and Technology, Vietnam National University, Hanoi(越南国立大学河内工程技术大学)
在本文中,我们提出了一种新的方法来构建一个系统的转换规则的词性标注任务。我们的方法是基于一个增量的知识获取方法,其中规则存储在一个异常结构和新的规则只添加到纠正现有规则的错误,从而允许系统控制的规则之间的相互作用。对13种语言的实验结果表明,该方法在训练时间和标注速度方面都很快。此外,我们的方法获得了非常有竞争力的准确性相比,国家的最先进的POS和形态标记。
2015-12-19 cs.CL
Part of speech tagging for code switched data
The George Washington University(乔治华盛顿大学);University of Houston(休斯顿大学);Columbia University(哥伦比亚大学)
我们解决的问题的词性标注(POS)的语言代码转换(CS)的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象,分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术,处理CS数据在内部数据中尤其具有挑战性,因为这种技术适合于一次处理一种语言。在本文中,我们探讨了多种策略,应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对,西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明,应用机器学习框架,使用两个国家的最先进的POS标签实现了更好的性能相比,我们调查的所有其他方法。
2019-11-03 cs.CL
Neural POS Tagging for the Low-Resource Saraiki
University of Rome Tor Vergata(罗马第二大学);University of Calabria(卡拉布里亚大学);Griffith University(格里菲斯大学);University of Mianwali(米亚瓦利大学);Lahore Garrison University(拉合尔加里森大学);Minhaj University(明哈吉大学)
本文针对低资源语言 Saraiki 构建了17类词性标注数据集,评估了XLM-RoBERTa base等三个预训练Transformer编码器,发现XLM-RoBERTa base表现最优,相关成果为Saraiki NLP研究提供了基准。
2026-10-15 cs.CL
POS Tagging Using Relaxation Labelling
松弛标记是一种在许多领域中用于解决约束满足问题的优化技术。该算法找到一组变量的值的组合,使得满足-到最大可能的程度-一组给定的约束。本文介绍了一些实验进行应用它的词性标注,并取得了成果。并探讨了将其应用于词义消歧的可能性。
1995-10-02 cmp-lg cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University(巴纳斯塔利大学)
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言,词性标注是一个突出的工具。它是许多NLP应用程序中最简单,最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段,如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中,我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中,我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram,Bigram,Trigram和HMM方法的统计方法。给出了一个清晰的思路,并给出了相应的例子.它还介绍了一个标记集的马拉地语,可用于标记马拉地语文本。在本文中,我们已经显示了标记器的发展,以及比较,以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
From POS tagging to dependency parsing for biomedical event extraction
The University of Melbourne(墨尔本大学)
背景资料:鉴于从生物医学研究出版物中提取关系或事件以支持知识捕获和合成的重要性,以及该信息抽取任务对句法信息的强烈依赖性,了解哪些方法对生物医学文本的句法处理具有最高性能是有价值的。结果如下:我们在两个基准生物医学语料库GENIA和CRAFT上进行了一项实证研究,比较了最先进的传统基于特征的模型和基于神经网络的模型,用于词性(POS)标记和依存句法分析这两个核心自然语言处理任务。据我们所知,最近没有在生物医学背景下进行这种比较的工作;具体来说,没有对这些数据的神经模型进行详细分析。实验结果表明,在一般情况下,神经模型优于基于特征的模型在两个基准生物医学语料库GENIA和CRAFT。我们还进行了面向任务的评估,以调查这些模型在下游应用程序的生物医学事件提取的影响,并表明,更好的内在解析性能并不总是意味着更好的外在事件提取性能。结论:我们已经提出了一个详细的实证研究比较传统的基于特征的和基于神经网络的模型的POS标记和依存句法分析在生物医学的背景下,还调查了分析器的选择的生物医学事件提取下游任务的影响。数据和材料的可用性:我们在https://github.com/datquocnguyen/BioPosDep上提供重新训练的模型
2019-01-02 cs.CL
PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition and dependency parsing
VinAI Research(VinAI研究院)
我们提出了第一个多任务学习模型-命名PhoNLP -联合越南语词性(POS)标记,命名实体识别(NER)和依存句法分析。在越南基准数据集上的实验表明,PhoNLP产生了最先进的结果,优于单任务学习方法,该方法独立地为每个任务微调预训练的越南语语言模型PhoBERT(Nguyen和Nguyen,2020)。我们在Apache License 2.0下公开发布PhoNLP作为开源工具包。虽然我们为越南语指定了PhoNLP,但我们的PhoNLP训练和评估命令脚本实际上可以直接用于其他语言,这些语言具有预先训练的基于BERT的语言模型和黄金注释语料库,可用于POS标记,NER和依存句法分析这三个任务。我们希望PhoNLP可以作为未来NLP研究和应用的强大基线和有用的工具包,不仅适用于越南语,也适用于其他语言。我们的PhoNLP可从以下网址获得:https://github.com/VinAIResearch/PhoNLP
2021-04-08 cs.CL
Leveraging Pretrained Word Embeddings for Part-of-Speech Tagging of Code Switching Data
The George Washington University(乔治华盛顿大学);AWS, Amazon AI(亚马逊云科技亚马逊人工智能)
语码转换(英语:Linguistic Code Switching,CS)是一种多语言使用者在一次对话中在两种或多种语言/方言之间交替使用的现象。考虑到最先进的单语NLP技术,处理CS数据在内部数据中尤其具有挑战性,因为这些技术一次只处理一种语言。在本文中,我们解决的问题,词性标注(POS)的语言代码转换(CS)的背景下。我们探索利用多个神经网络架构来衡量不同的预训练嵌入方法对POS标记CS数据的影响。我们调查了四个CS语言对,西班牙语-英语,印度语-英语,现代标准阿拉伯语-埃及阿拉伯语方言(MSA-EGY)和现代标准阿拉伯语-黎凡特阿拉伯语方言(MSA-LEV)的景观。我们的研究结果表明,多语言嵌入(例如,MSA-EGY和MSA-LEV)帮助密切相关的语言(EGY/LEV),但增加了噪音的语言是遥远的(SPA/HIN)。最后,我们表明,我们提出的模型优于最先进的CS标记MSA-EGY语言对。
2019-05-31 cs.CL