Robust Multilingual Part-of-Speech Tagging via Adversarial Training
Yale University(耶鲁大学)
对抗训练(AT)是一种强大的神经网络正则化方法,旨在实现对输入扰动的鲁棒性。然而,从AT获得的鲁棒性的具体效果在自然语言处理的上下文中仍然不清楚。在本文中,我们提出并分析了一个神经词性标注模型,利用AT。在我们对Penn Treebank WSJ语料库和Universal Advertisements(UD)数据集(27种语言)的实验中,我们发现AT不仅提高了整体标记准确率,而且1)在低资源语言中防止过度拟合,2)提高了罕见/未见过单词的标记准确率。我们还证明了3)AT提高的标记性能有助于依存句法分析的下游任务,以及4)AT有助于模型学习更清晰的单词表示。5)所提出的AT模型在不同的序列标记任务中通常是有效的。这些积极的结果激励进一步使用AT的自然语言的任务。
2018-04-20 cs.CL cs.LG
Adversarial Neural Networks for Cross-lingual Sequence Tagging
University of Stuttgart(斯图加特大学);Google AI(谷歌人工智能)
我们研究跨语言序列标记很少或没有标记的数据在目标语言。对抗性训练以前已经被证明是有效的训练跨语言句子分类器。然而,目前尚不清楚由对抗性语言机器人强制执行的语言不可知表示是否也能够有效地转移标记级预测任务。因此,我们在两个任务上进行了不同类型的对抗训练:依存句法分析和句子压缩。我们表明,与传统训练的基线相比,对抗性训练始终会提高每个任务的跨语言性能。
2018-08-14 cs.CL
Joint Learning of Pre-Trained and Random Units for Domain Adaptation in Part-of-Speech Tagging
MIT(麻省理工学院);CEA(法国原子能和替代能源委员会);UQÀM(魁北克大学蒙特利尔分校)
微调神经网络被广泛用于将有价值的知识从高资源领域转移到低资源领域。在标准的微调方案中,源问题和目标问题使用相同的架构进行训练。虽然能够适应新的领域,预先训练的单位与学习不常见的目标特定模式的斗争。在本文中,我们建议用归一化、加权和随机初始化的单元来增强目标网络,这些单元在保持有价值的源知识的同时产生更好的适应性。我们对社交媒体文本(Tweets域)的POS标记的实验表明,我们的方法在3个常用的数据集上实现了最先进的性能。
2019-04-07 cs.CL cs.LG stat.ML
Domain adaptation for part-of-speech tagging of noisy user-generated text
University of Munich (LMU)(慕尼黑大学(LMU))
词性标注器的性能高度依赖于所处理文本的领域,并且对于许多领域,没有或只有非常少的训练数据可用。本文研究了用神经网络对用户生成的噪声文本进行词性标注的问题。我们提出了一个架构,训练一个大型新闻通讯语料库的领域模型,并通过使用它们作为训练的目标域(德国推文的数据集),其中有很少的注释可用的模型的先验转移这些权重。神经网络的核心有两个标准的双向LSTM。然而,我们发现关键还编码一组特定于任务的功能,并获得可靠的(源域和目标域)的单词表示。采用不同的正则化技术,如早期停止,辍学和微调的领域自适应先验权重进行实验。我们最好的模型使用来自领域模型的外部权重,以及特征嵌入,预训练的单词和子词嵌入,并实现了略高于90%的标记准确率,改进了该任务的先前技术水平。
2019-05-21 cs.CL cs.LG stat.ML
Artificially Evolved Chunks for Morphosyntactic Analysis
Universidade da Coruña(拉科鲁尼亚大学);CITIC
我们介绍了一种语言无关的进化技术,自动提取块依赖树库。我们评估这些组块上的一些形态句法任务,即词性标注,形态特征标注,和依存句法分析。我们用许多不同的方法来测试这些块的效用。我们首先学习组块作为一个任务,在一个共享的多任务框架与POS和形态特征标记。然后,将来自该网络的预测用作输入以增强序列标记依存句法分析。最后,我们调查的影响块依存句法分析在多任务框架。我们从这些分析的结果表明,这些块提高英语UD树库和一个小的,不同的子集的非英语UD树库在不同层次的句法抽象的性能。
2019-08-21 cs.CL
Joint PoS Tagging and Stemming for Agglutinative Languages
Hacettepe University(哈杰特佩大学)
黏着语言中的词形式的数量在理论上是无限的,并且词形式的这种多样性在许多自然语言处理任务中引入了稀疏性。词性标注(PoS tagging)是这些任务之一,往往遭受稀疏性。在本文中,我们提出了一个无监督的贝叶斯模型,使用隐马尔可夫模型(HMM)的联合PoS标记和词干粘着语言。我们使用词干来减少PoS标记的稀疏性。联合执行两项任务以在两项任务中提供互惠。我们的研究结果表明,联合POS标记和词干提高POS标记分数。我们目前的结果为土耳其语和芬兰语作为粘着语言和英语作为一个形态学差的语言。
2017-05-24 cs.CL
Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks
Tsinghua University(清华大学);Heilongjiang University(黑龙江大学)
虽然词性标注和依存句法分析被认为是密切相关的,但现有的手工特征模板联合建模工作存在特征稀疏和不完整的问题。在本文中,我们提出了一种联合使用基于转换的神经网络的词性标注和依存句法分析的方法。三个基于神经网络的分类器被设计用于解决移位/归约、标记和标记冲突。实验表明,我们的方法显着优于以前的方法联合词性标注和依存句法分析在各种自然语言。
2017-04-25 cs.CL
Turkish PoS Tagging by Reducing Sparsity with Morpheme Tags in Small Datasets
Hacettepe University(哈西德佩大学);Middle East Technical University(中东技术大学)
稀疏性是自然语言处理的主要问题之一。这个问题变得更加严重,在粘合的语言,是高度倾向于曲折。我们处理稀疏在土耳其语采用形态特征的词性标注。我们通过使用条件随机场(CRF)学习土耳其语中的屈折和派生词素标签,并且我们通过使用隐马尔可夫模型(Hyndom)来减轻稀疏性,从而在词性(PoS)标记中使用词素标签。结果表明,使用词素标签的PoS标记有助于缓解发射概率的稀疏性。我们的模型优于其他隐马尔可夫模型为基础的PoS标记模型在土耳其的小训练数据集。我们在5K训练数据集上获得了94.1%的词素标记准确率和89.2%的PoS标记准确率。
2017-03-10 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne(墨尔本大学);VinAI Research(VinAI研究院)
我们提出了第一个多任务学习模型联合越南语分词,词性(POS)标记和依存句法分析。特别地,我们的模型用基于BiLSTM-CRF的神经层(Huang et al.,2015)用于分词和POS标记。在越南基准数据集上的实验结果表明,我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF
Uppsala University(乌普萨拉大学);University of Helsinki(赫尔辛基大学)
本文提出了一种基于字符的汉语联合分词和词性标注模型。通用序列标记的双向RNN-CRF架构适用于捕获丰富上下文信息和低于字符级别特征的中文字符的新型矢量表示。对所提出的模型进行了广泛的评估,并分别在CTB 5、CTB 9和UD中文上与最先进的标记器进行了比较。实验结果表明,我们的模型是准确的和强大的数据集在不同的大小,类型和注释方案。我们在CTB 5上获得了最先进的性能,联合分割和POS标记的F1得分达到94.38。
2017-09-12 cs.CL
Semantic Tagging with Deep Residual Networks
University of Groningen(格罗宁根大学)
我们提出了一种新的语义标记任务,sem-tagging,为多语言语义解析的目的,并提出了第一个使用深度残差网络(ResNets)的标记器。我们的标签使用单词和字符表示,并包括一个新的残留旁路架构。我们评估的标签集本质上的语义标记的新任务,以及词性(POS)标记。我们的系统,由一个ResNet和一个辅助损失函数预测我们的语义标签,显着优于以前的结果对英语通用词汇词性标注(95.71%的准确率UD v1.2和95.67%的准确率UD v1.3)。
2016-10-31 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University(麦考瑞大学)
我们提出了一种新的神经网络模型,学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务,从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验,结果表明,我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型,从而达到了最新的水平。我们的代码是开源的,可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
Experiments with POS Tagging Code-mixed Indian Social Media Text
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了孟买高级计算发展中心(CDACM)提交给2015年印度混合代码社交媒体文本(POSCMISMT)的词性(POS)标记NLP工具竞赛(与ICON 2015并列)。我们提交了印地语(hi),孟加拉语(bn)和泰卢固语(te)与英语(en)混合的结果。在本文中,我们已经描述了我们的方法的词性标注技术,我们利用这项任务。机器学习被用于对混合语言文本进行词性标注。对于POS标记,已经尝试了用于特征提取和对数线性模型的向量空间(word 2 vec)中单词的分布式表示。我们报告了我们在所有三种语言hi,bn和te与en混合的工作。
2016-10-31 cs.CL
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University(查理大学)
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法,BERT和Flair,在四个捷克文本处理任务:词性(POS)标记,词形化,依赖分析和命名实体识别(NER)。前三个任务,词性标注,词形还原和依存句法分析,评估两个语料库:布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别(NER)。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
Automatic TM Cleaning through MT and POS Tagging: Autodesk's Submission to the NLP4TM 2016 Shared Task
Autodesk(欧特克)
我们描述了一种基于机器学习的方法来识别翻译记忆中的错误条目。它扩展了Barbu(2015)之前的工作,结合了基于召回的机器翻译和词性标记功能。我们的系统在二进制分类(II)任务中排名第一,三种语言对中有两种:英语-意大利语和英语-西班牙语。
2016-05-19 cs.CL
BNLP: Natural language processing toolkit for Bengali language
Begum Rokeya University, Rangpur, Bangladesh(贝古姆·罗基亚大学)
BNLP是一个开放的孟加拉语源语言处理工具包,包括标记化,词嵌入,POS标记,NER标记设施。BNLP提供高精度的预训练模型,用于孟加拉语的基于模型的标记,嵌入,POS标注,NER标注任务。BNLP预训练模型在孟加拉语文本标记、词嵌入、词性标注和NER标注任务中取得了显著的效果。BNLP在孟加拉研究社区中广泛使用,下载量为16K,119颗星和31个分叉。BNLP可在https://github.com/sagorbrur/bnlp上获得。
2021-12-01 cs.CL
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology(河内科技大学);VCCorp(VCCorp公司)
本文提出了一种用于越南语序列标注任务的神经结构,包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型,该模型是双向长短期记忆和条件随机场的组合,它依赖于关于单词的两个信息源:从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明,该方法在两个任务上都达到了最佳的性能:词性标注的准确率为93.52%,NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
An improved neural network model for joint POS tagging and dependency parsing
提出了一种新的神经网络模型,用于词性标注和依存句法分析的联合识别。我们的模型扩展了著名的基于BIST图的依赖解析器(Kiperwasser和Goldberg,2016),通过合并基于BiLSTM的标记组件来为解析器自动生成预测的POS标签。在基准英语Penn树库上,我们的模型分别获得了94.51%和92.87%的UAS和LAS分数,比基于BIST图的解析器有1.5%以上的绝对改进,并且还获得了97.97%的最先进的POS标记准确率。此外,从原始文本中解析61个“大”通用词典树库的实验结果表明,我们的模型优于基线UDPipe(Straka和Straková,2017),平均POS标记得分高出0.8%,平均LAS得分高出3.6%。此外,通过我们的模型,我们还获得了最先进的下游任务分数,用于生物医学事件提取和意见分析应用。我们的代码与所有预训练模型一起提供:https://github.com/datquocnguyen/jPTDP
2018-08-20 cs.CL
Improved POS tagging for spontaneous, clinical speech using data augmentation
Linguistic Data Consortium, University of Pennsylvania(宾夕法尼亚大学语言数据联盟);Penn Frontotemporal Degeneration Center, University of Pennsylvania(宾夕法尼亚大学宾夕法尼亚额颞叶变性中心)
本文针对临床自发性言语转写文本的POS标注问题,提出在领域外新闻树库上结合数据增强训练句法分析器,并在神经退行性疾病患者言语上验证性能。
2023-07-11 cs.CL
POS-tagging to highlight the skeletal structure of sentences
本研究开发了基于BERT迁移学习的词性标注模型,用于提取句子骨架结构,经俄语文本微调验证有效,可助力机器翻译等自然语言处理任务。
2024-11-21 cs.CL
Recipe for Zero-shot POS Tagging: Is It Useful in Realistic Scenarios?
KU Leuven(鲁汶大学)
本文针对低资源语言研究零样本词性标注,通过比较在相关语言上微调的mBERT与直接在目标语言上训练的模型,发现紧密的语言关系和高质量数据集是有效零样本标注的关键,且该方法对极低资源语言是可行选项。
2024-10-14 cs.CL
Toward a Standardized and More Accurate Indonesian Part-of-Speech Tagging
Kata Research Team Kata.ai(卡塔人工智能公司卡塔研究团队);School of Informatics University of Edinburgh(爱丁堡大学信息学院)
印尼语词性(POS)标记的以前的工作很难比较,因为它们不是在一个共同的数据集上进行评估。此外,尽管神经网络模型在英语词性标注方面取得了成功,但很少在印度尼西亚语中进行探索。在本文中,我们探讨了印尼语词性标注的各种技术,包括基于规则的,CRF和基于神经网络的模型。我们在IDN标记语料库上评估了我们的模型。使用递归神经网络实现了97.47 F1评分的新的最新技术水平。为了给未来的工作提供一个标准,我们发布了我们公开使用的数据集分割。
2019-02-26 cs.CL
Language-Agnostic Syllabification with Neural Sequence Labeling
Gonzaga University(贡萨加大学)
在语音序列中识别音节被称为音节化。该任务被认为在自然语言理解、语音产生和语音识别系统的开发中起着重要作用。音节的概念是跨语言的,虽然正式的定义很少达成一致,即使在一种语言中。作为回应,数据驱动的音节化方法已经被开发出来,以从音节化的例子中学习。这些方法通常采用经典的机器学习序列标记模型。近年来,基于递归的神经网络已经被证明在序列标记任务中表现得越来越好,例如命名实体识别(NER),词性(POS)标记和组块。我们提出了一种新的方法,利用现代神经网络技术的音节化问题。我们的网络由长短期记忆(LSTM)单元、卷积组件和条件随机场(CRF)输出层构成。现有的音节化方法很少在多个语系之间进行评估。为了证明跨语言的可推广性,我们表明,该网络在音节化英语,荷兰语,意大利语,法语,Manipuri和巴斯克语数据集方面与最先进的系统具有竞争力。
2019-09-29 cs.CL
From Word Segmentation to POS Tagging for Vietnamese
Macquarie University(麦考瑞大学);NIHR Innovation Observatory, Newcastle University(纽卡斯尔大学NIHR创新观察站);Deakin University(迪肯大学)
本文提出了一种经验比较越南语词性(POS)标记从未分割的文本的两种策略:(i)管道策略,我们认为一个词分割器的输出作为输入的POS标记,和(ii)联合策略,我们预测一个组合的分割和POS标签为每个音节。我们还比较了基于特征和基于神经网络的模型。在基准越南树库(Nguyen等人,2009),实验结果表明,管道策略比联合策略在未切分文本的词性标注中获得了更好的成绩,并且使用基于特征的模型获得了最高的准确率。
2017-11-14 cs.CL
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies(广东外语外贸大学)
2020年云山杯的重点是创建一个评估不同词性(POS)方法的框架。这条赛道有两个任务:(1)印度尼西亚语的POS标记,以及(2)老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%,表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
Overview of the NLPCC 2015 Shared Task: Chinese Word Segmentation and POS Tagging for Micro-blog Texts
Fudan University(复旦大学)
本文综述了第四届CCF自然语言处理与中文计算会议(NLPCC 2015)的共同课题:微博文本的中文分词和词性标注。与目前流行的新闻专线数据集不同,该共享任务的数据集由相对非正式的微文本组成。共享任务包括两个子任务:(1)单个汉语分词和(2)联合汉语分词和词性标注。每个子任务有三个轨道,以区分具有不同资源的系统。我们首先介绍数据集和任务,然后描述参与系统的不同方法,报告测试结果,并对这些结果进行概述分析。在http://nlp.fudan.edu.cn/nlpcc2015上有一个在线系统可供公开登记和评估。
2015-06-30 cs.CL
To Normalize, or Not to Normalize: The Impact of Normalization on Part-of-Speech Tagging
University of Groningen(格罗宁根大学)
标准化是否有助于提高有噪、非规范数据的词性(POS)标记准确性?据我们所知,在现实世界的场景中,对标准化的实际影响知之甚少,其中黄金错误检测不可用。我们研究的自动规范化的词性标注的鸣叫。我们还将归一化与利用大量未标记数据的策略进行了比较。我们的研究结果表明,规范化的帮助,但不增加一致的只是词嵌入层初始化。后一种方法产生了一个标记模型,与Twitter最先进的标记器竞争。
2017-07-17 cs.CL
Lexical Normalization for Code-switched Data and its Effect on POS-tagging
IT University of Copenhagen(哥本哈根信息技术大学);University of Stuttgart(斯图加特大学)
词汇规范化,将非规范数据转换为标准语言,已被证明可以提高社交媒体上许多自然语言处理任务的性能。然而,在一个话语中使用多种语言,也称为代码转换(CS),经常被这些规范化系统所忽视,尽管它在社交媒体中很常见。在本文中,我们提出了三个规范化模型,专门设计用于处理代码转换的数据,我们评估两种语言对:土耳其语-英语(Id-En)和土耳其语-德语(Tr-De)。对于后者,我们为数据集引入了新的规范化层及其相应的语言ID和POS标签,并评估了规范化对POS标签的下游影响。结果表明,我们的CS定制的规范化模型优于Id-En国家的最先进的和Tr-De单语模型,并导致5.4%的相对性能提高的POS标记相比,非规范化的输入。
2021-01-31 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University(萨尔大学)
本文研究零资源跨语言词性标注,提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语,并训练隐马尔可夫模型进行预测,证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Ancient Chinese Word Segmentation and Part-of-Speech Tagging Using Distant Supervision
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
古汉语分词和词性标注是古汉语研究的重要内容,但古汉语分词和词性标注的数据量还很少。本文提出了一种基于远程监督的平行语料库古汉语WSG和词性标注数据扩充方法。然而,在远程监督中,仍不可避免地存在着误标和未标的古汉语词语。针对这一问题,利用深度神经网络的记忆效应和少量标注数据,得到知识量大、噪声小的模型,并利用该模型对平行语料库中的古汉语句子进行重新标注。实验表明,在重新标记的数据上训练的模型优于在远程监督生成的数据和注释数据上训练的模型。我们的代码可在https://github.com/farlit/ACDS上获得。
2023-03-06 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asian(微软亚洲研究院);Educational Testing Service Research(美国教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的标记序列数据,例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段,已经得到了广泛的应用。在这项研究中,我们提出了使用BLSTM-RNN与词嵌入的词性(POS)标注任务。在Penn Treebank WSJ测试集上进行测试时,达到了97.40的标记准确率。在不使用形态特征的情况下,该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Corpus and Models for Lemmatisation and POS-tagging of Old French
Centre Jean-Mabillon(让-马比永中心);École nationale des chartes(法国国家文献学院);Université Paris, Sciences & Lettres(巴黎科学与文学大学)
古法语是一个典型的历史语言资源不足的例子,进一步显示了大量的语言变异。在本文中,我们介绍了一个长期项目(2015-...)的当前结果。并描述我们如何在神经标签器和专用语料库的逐步构建的帮助下解决为古法语提供词形化和POS模型的难题。
2021-09-23 cs.CL
Bridging Pre-trained Language Models and Hand-crafted Features for Unsupervised POS Tagging
Soochow University(苏州大学)
近年来,大规模预训练的语言模型(PLM)在大多数NLP任务中取得了非凡的进展。但是,在无监督的词性标注任务中,利用PLM的作品很少,并且无法达到最先进的(SOTA)性能。最近的SOTA性能是由He等人提出的Guassian HMM变体产生的。(2018)。然而,作为一种生成模型,HMM做出了非常强的独立性假设,这使得从PLM中整合上下文化的单词表示非常具有挑战性。在这项工作中,我们第一次提出了一个神经条件随机场自动编码器(CRF-AE)模型的无监督词性标注。CRF-AE的鉴别编码器可以直接合并ELMo单词表示。此外,灵感来自功能丰富的HMM,我们重新引入手工制作的功能到CRF-AE的解码器。最后,实验清楚地表明,我们的模型在Penn Treebank和多语言Universal Advertisements Treebank v2.0上的性能大大优于以前的最先进模型。
2022-03-19 cs.CL
Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection
The University of Melbourne(墨尔本大学)
语言注释的跨语言投影受到许多偏差和噪声源的影响,导致不能直接使用的不可靠注释。在本文中,我们介绍了一种新的序列标记方法,该方法使用显式去偏层来学习纠正跨语言投影的错误。这是作为两个语料库的联合学习,一个标记为黄金标准,另一个标记为投影标签。我们仅使用1,000个标记有黄金标准标记的令牌进行评估,以及更丰富的并行数据。我们的系统在八个模拟的低资源环境中达到或超过了最先进的水平,以及两种真正的低资源语言,马达加斯加语和基尼亚卢旺达语。
2016-07-05 cs.CL
Under-resourced studies of under-resourced languages: lemmatization and POS-tagging with LLM annotators for historical Armenian, Georgian, Greek and Syriac
LIPN, CNRS UMR 7030(法国国家科学研究中心LIPN实验室(UMR 7030));École nationale des chartes, Université Paris-Sciences-et-Lettres (PSL)(巴黎文理研究大学(PSL)国立文献学院);Université catholique de Louvain(鲁汶天主教大学)
本文研究了LLM在低资源语言词形还原和词性标注中的表现,发现其在少量样本设置中表现优异,尤其在缺乏数据时能有效辅助标注。
2026-02-17 cs.CL
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University(麦迪卡普斯大学)
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果,例如pos标记,命名实体识别和文本分类。然而,这些语言模型中的大多数都是用高资源语言(如英语,德语,西班牙语)进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言,但它们往往不能代表这些语言的语言特征,因为它们不是研究的主要语言。我们介绍HinFlair,这是一个语言表示模型(上下文字符串嵌入)预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验,以分析这些上下文化的印地语字符串嵌入的性能。结果表明,HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外,HinFlair与FastText嵌入相结合时,性能优于许多基于transformers的语言模型,特别是为印地语训练的。
2021-01-18 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen(格罗宁根大学);University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
双向长短期记忆(bi-LSTM)网络最近被证明可以成功地用于各种NLP序列建模任务,但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题,并评估双LSTM与字,字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型,它将POS标记损失函数与一个辅助损失函数相结合,该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能,尤其适用于形态复杂的语言。我们的分析表明,双LSTM对训练数据大小和标签损坏(在小噪声水平下)的敏感性低于以前的假设。
2016-07-21 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个广泛的评估,最近提出的三种方法,在89个语料库中的54种语言的通用嵌入2.3在三个任务:词性标注,词形还原,和依存句法分析的上下文嵌入。采用BERT,Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入,UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一,也是EPE 2018的总冠军,我们对三种上下文化的词嵌入方法进行了一对一的比较,以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果,与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.(Virtusa私人有限公司);University of Kelaniya(凯拉尼亚大学)
词性分析是任何语言的自然语言处理(NLP)任务中的一个非常重要的课题,它涉及到分析语言的结构、行为和动态,这些知识可以用于计算语言学分析和自动化应用。在这种情况下,处理未知词(未出现在词典中的词称为未知词)也是一项重要任务,因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中,通过区分开类词和闭类词,并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明,当词类区分与句法规则一起使用时,标记过程的性能得到增强,以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
Review of Unsupervised POS Tagging and Its Implications on Language Acquisition
University of California Irvine(加州大学欧文分校)
本文综述了无监督词性标注的各类工程方法,探讨了模型评估指标、约束学习的额外信息、上下文使用等共同主题,为句法范畴习得的认知研究及无监督POS标注的发展提供参考。
2023-12-15 cs.CL
STN4DST: A Scalable Dialogue State Tracking based on Slot Tagging Navigation
Beijing Institute of Technology(北京理工大学)
处理未知时隙值的可扩展性是对话状态跟踪(DST)中的一个重要问题。据我们所知,以前的可扩展DST方法通常依赖于从槽标记输出的候选生成或对话上下文中的跨度提取。然而,基于候选生成的DST往往遭受错误传播,由于其流水线的两阶段的过程中,同时跨度提取的DST有生成无效跨度的风险,在缺乏语义约束的开始和结束位置指针。针对上述不足,提出一种基于槽标记导航的可扩展对话状态跟踪方法,通过槽标记和槽值位置预测的联合学习,实现了一个端到端的单步指针,快速准确地定位和提取槽值,特别是对于未知槽值。在多个基准数据集上的实验表明,该模型的性能大大优于最先进的基线。
2021-06-17 cs.CL
Neural Factor Graph Models for Cross-lingual Morphological Tagging
Language Technologies Institute(语言技术研究所);Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
形态分析涉及预测单词的句法特征(例如{POS:Noun,Case:Acc,Gender:Fem})。以前在形态标记方面的工作通过使用来自同一家族的高资源语言(HRL)进行跨语言训练来提高低资源语言(LRL)的性能,但受到严格的(通常是错误的)假设的限制,即标记集在HRL和LRL之间完全重叠。在本文中,我们提出了一种跨语言的形态标记的方法,旨在通过放松这一假设,以提高语言之间的信息共享。所提出的模型使用具有神经网络潜力的阶乘条件随机场,使得有可能(1)利用神经网络表示的表达能力来平滑表面形式中的表面差异,(2)对标签之间的成对和传递关系进行建模,以及(3)准确地生成在训练数据中看不见或罕见的标签集。在通用语义树库中的四种语言上的实验表明,该方法比现有的跨语言方法具有更高的标注准确率。
2018-07-11 cs.CL
Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource
University of Notre Dame(圣母大学);University of Ioannina(约阿尼纳大学);ICREA(加泰罗尼亚高等研究院);Universitat Pompeu Fabra(庞培法布拉大学)
大多数词性标注的工作都集中在高资源语言上,或者通过模拟研究来检查低资源和主动学习设置。我们评估一个实际的濒危语言,Griko的POS标记技术。我们提出了一个资源,其中包含114个故事在Griko,随着意大利语的翻译水平,并提供黄金注释的测试集。基于以前收集的小语料库,我们研究了几种传统的方法,以及利用单语数据或项目跨语言的POS标签的方法。我们发现,半监督方法与跨语言迁移的结合更适合于这种极具挑战性的设置,最好的标记器实现了72.9%的准确率。通过应用主动学习方案,我们使用该方案在测试集上收集高级注释,我们实现了超过21个百分点的改进。
2018-06-11 cs.CL
Colloquial Persian POS (CPPOS) Corpus: A Novel Corpus for Colloquial Persian Part of Speech Tagging
Iran Telecommunication Research Center (ITRC)(伊朗电信研究中心);Faculty of New Sciences and Technologies, University of Tehran(德黑兰大学新科技学院);Sharif University of Technology(谢里夫理工大学)
针对现有波斯语词性标注语料库多为正式文本、处理口语化社交文本效果不佳的问题,本文构建了含超52万标注词元的CPPOS口语化波斯语词性标注语料库,经实验验证,基于该语料库训练的BiLSTM模型性能较原有数据集提升14%。
2023-10-01 cs.CL
Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning
Techo Startup Center (TSC)(Techo创业中心);Royal University of Phnom Penh (RUPP)(金边皇家大学)
高棉语文本从左到右书写,可选空格。空格不是用作单词边界,而是用于可读性或其他功能目的。分词是诸如词性(POS)标注之类的下游任务的优先步骤,因此,POS标注的鲁棒性高度依赖于分词。传统的高棉语词性标注是一个两阶段的过程,首先是分词,然后是对每个词的实际标注。在这项工作中,提出了一种使用单个深度学习模型的联合分词和POS标记方法,以便可以自发地执行分词和POS标记。该模型使用公开的高棉POS数据集进行了训练和测试。实验结果表明,联合模型的性能与传统的两阶段词性标注方法相当。
2021-03-31 cs.CL cs.LG
Parallelization of Maximum Entropy POS Tagging for Bahasa Indonesia with MapReduce
Universitas Gadjah Mada(加查马达大学)
本文采用MapReduce编程模型对印度尼西亚语最大熵词性标注的训练和标注过程进行并行化。在训练过程中,MapReduce模型实现了字典、标记和特征创建。在标记过程中,MapReduce实现了并行标记文档行。训练实验表明,使用MapReduce的总训练时间更快,但其过程中的结果读取时间减慢了总训练时间。使用不同数量的map和reduce过程进行标注实验,结果表明MapReduce实现可以加快标注过程。通过对100万词语料库和30个图的标注过程,显示出最快的标注结果。
2012-08-15 cs.CL cs.DC
Modern Models, Medieval Texts: A POS Tagging Study of Old Occitan
Bavarian Academy of Sciences(巴伐利亚科学院);LMU Munich(慕尼黑大学);Albert-Ludwigs-Universität Freiburg(弗莱堡大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文通过古奥克语圣徒传记与医学两个语料库的词性标注实验,揭示开源大语言模型在处理低资源、非标准化历史语言时的性能局限,并提供错误分析与改进建议。
2025-03-10 cs.CL
Part of Speech Tagging in Thai Language Using Support Vector Machine
弹性输入神经标记器和混合标记器,结合神经网络和Brill的错误驱动学习,已经被提出用于使用尽可能少的训练数据来构造实用的标记器。当一个小的泰国语料库用于训练,这些标记器的标记准确率分别为94.4%和95.5%(仅占歧义词的词性)。在这项研究中,为了构建更准确的标签,我们开发了新的标记方法,使用三种机器学习方法:决策表,最大熵,和支持向量机方法。然后,我们使用这些方法进行标记实验。我们的结果表明,支持向量机的方法具有最好的精度(96.1%),它是能够提高在泰语标注的准确性。最后,我们从理论上对这些方法进行了检验,并讨论了如何实现这些改进。
2001-12-05 cs.CL
A Robust Transformation-Based Learning Approach Using Ripple Down Rules for Part-of-Speech Tagging
Macquarie University(麦考瑞大学);Saarland University(萨尔大学);University of Hanover(汉诺威大学);VNU University of Engineering and Technology, Vietnam National University, Hanoi(越南国立大学河内工程技术大学)
在本文中,我们提出了一种新的方法来构建一个系统的转换规则的词性标注任务。我们的方法是基于一个增量的知识获取方法,其中规则存储在一个异常结构和新的规则只添加到纠正现有规则的错误,从而允许系统控制的规则之间的相互作用。对13种语言的实验结果表明,该方法在训练时间和标注速度方面都很快。此外,我们的方法获得了非常有竞争力的准确性相比,国家的最先进的POS和形态标记。
2015-12-19 cs.CL
Part of speech tagging for code switched data
The George Washington University(乔治华盛顿大学);University of Houston(休斯顿大学);Columbia University(哥伦比亚大学)
我们解决的问题的词性标注(POS)的语言代码转换(CS)的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象,分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术,处理CS数据在内部数据中尤其具有挑战性,因为这种技术适合于一次处理一种语言。在本文中,我们探讨了多种策略,应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对,西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明,应用机器学习框架,使用两个国家的最先进的POS标签实现了更好的性能相比,我们调查的所有其他方法。
2019-11-03 cs.CL
Neural POS Tagging for the Low-Resource Saraiki
University of Rome Tor Vergata(罗马第二大学);University of Calabria(卡拉布里亚大学);Griffith University(格里菲斯大学);University of Mianwali(米亚瓦利大学);Lahore Garrison University(拉合尔加里森大学);Minhaj University(明哈吉大学)
本文针对低资源语言 Saraiki 构建了17类词性标注数据集,评估了XLM-RoBERTa base等三个预训练Transformer编码器,发现XLM-RoBERTa base表现最优,相关成果为Saraiki NLP研究提供了基准。
2026-10-15 cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University(巴纳斯塔利大学)
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言,词性标注是一个突出的工具。它是许多NLP应用程序中最简单,最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段,如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中,我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中,我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram,Bigram,Trigram和HMM方法的统计方法。给出了一个清晰的思路,并给出了相应的例子.它还介绍了一个标记集的马拉地语,可用于标记马拉地语文本。在本文中,我们已经显示了标记器的发展,以及比较,以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
From POS tagging to dependency parsing for biomedical event extraction
The University of Melbourne(墨尔本大学)
背景资料:鉴于从生物医学研究出版物中提取关系或事件以支持知识捕获和合成的重要性,以及该信息抽取任务对句法信息的强烈依赖性,了解哪些方法对生物医学文本的句法处理具有最高性能是有价值的。结果如下:我们在两个基准生物医学语料库GENIA和CRAFT上进行了一项实证研究,比较了最先进的传统基于特征的模型和基于神经网络的模型,用于词性(POS)标记和依存句法分析这两个核心自然语言处理任务。据我们所知,最近没有在生物医学背景下进行这种比较的工作;具体来说,没有对这些数据的神经模型进行详细分析。实验结果表明,在一般情况下,神经模型优于基于特征的模型在两个基准生物医学语料库GENIA和CRAFT。我们还进行了面向任务的评估,以调查这些模型在下游应用程序的生物医学事件提取的影响,并表明,更好的内在解析性能并不总是意味着更好的外在事件提取性能。结论:我们已经提出了一个详细的实证研究比较传统的基于特征的和基于神经网络的模型的POS标记和依存句法分析在生物医学的背景下,还调查了分析器的选择的生物医学事件提取下游任务的影响。数据和材料的可用性:我们在https://github.com/datquocnguyen/BioPosDep上提供重新训练的模型
2019-01-02 cs.CL
POS Tagging Using Relaxation Labelling
松弛标记是一种在许多领域中用于解决约束满足问题的优化技术。该算法找到一组变量的值的组合,使得满足-到最大可能的程度-一组给定的约束。本文介绍了一些实验进行应用它的词性标注,并取得了成果。并探讨了将其应用于词义消歧的可能性。
1995-10-02 cmp-lg cs.CL