AsPOS: Assamese Part of Speech Tagger using Deep Learning Approach
词性标注是自然语言处理的重要内容。这是一个在几种资源丰富的语言中得到充分研究的主题。然而,尽管存在许多历史和文学丰富的语言,但计算语言资源的发展仍处于起步阶段。阿萨姆语是印度的一种法定语言,有超过2500万人使用,属于这一类。在本文中,我们提出了一个基于深度学习(DL)的阿萨姆语词性标注器。开发过程分为两个阶段。在第一阶段,使用预先训练好的词嵌入来训练多个标注模型。这使我们能够评估词嵌入在词性标注任务中的性能。第一阶段中表现最好的模型被用来注释另一组新句子。在第二阶段,使用新的数据集进一步训练模型。最后,我们达到了86.52%的标记准确率在F1评分。该模型可作为进一步研究基于DL的阿萨姆语词性标注的基础。
2022-12-14 cs.AI cs.CL cs.LG
Joint PoS Tagging and Stemming for Agglutinative Languages
Hacettepe University(哈杰特佩大学)
黏着语言中的词形式的数量在理论上是无限的,并且词形式的这种多样性在许多自然语言处理任务中引入了稀疏性。词性标注(PoS tagging)是这些任务之一,往往遭受稀疏性。在本文中,我们提出了一个无监督的贝叶斯模型,使用隐马尔可夫模型(HMM)的联合PoS标记和词干粘着语言。我们使用词干来减少PoS标记的稀疏性。联合执行两项任务以在两项任务中提供互惠。我们的研究结果表明,联合POS标记和词干提高POS标记分数。我们目前的结果为土耳其语和芬兰语作为粘着语言和英语作为一个形态学差的语言。
2017-05-24 cs.CL
Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks
Tsinghua University(清华大学);Heilongjiang University(黑龙江大学)
虽然词性标注和依存句法分析被认为是密切相关的,但现有的手工特征模板联合建模工作存在特征稀疏和不完整的问题。在本文中,我们提出了一种联合使用基于转换的神经网络的词性标注和依存句法分析的方法。三个基于神经网络的分类器被设计用于解决移位/归约、标记和标记冲突。实验表明,我们的方法显着优于以前的方法联合词性标注和依存句法分析在各种自然语言。
2017-04-25 cs.CL
Robust Multilingual Part-of-Speech Tagging via Adversarial Training
Yale University(耶鲁大学)
对抗训练(AT)是一种强大的神经网络正则化方法,旨在实现对输入扰动的鲁棒性。然而,从AT获得的鲁棒性的具体效果在自然语言处理的上下文中仍然不清楚。在本文中,我们提出并分析了一个神经词性标注模型,利用AT。在我们对Penn Treebank WSJ语料库和Universal Advertisements(UD)数据集(27种语言)的实验中,我们发现AT不仅提高了整体标记准确率,而且1)在低资源语言中防止过度拟合,2)提高了罕见/未见过单词的标记准确率。我们还证明了3)AT提高的标记性能有助于依存句法分析的下游任务,以及4)AT有助于模型学习更清晰的单词表示。5)所提出的AT模型在不同的序列标记任务中通常是有效的。这些积极的结果激励进一步使用AT的自然语言的任务。
2018-04-20 cs.CL cs.LG
Turkish PoS Tagging by Reducing Sparsity with Morpheme Tags in Small Datasets
Hacettepe University(哈西德佩大学);Middle East Technical University(中东技术大学)
稀疏性是自然语言处理的主要问题之一。这个问题变得更加严重,在粘合的语言,是高度倾向于曲折。我们处理稀疏在土耳其语采用形态特征的词性标注。我们通过使用条件随机场(CRF)学习土耳其语中的屈折和派生词素标签,并且我们通过使用隐马尔可夫模型(Hyndom)来减轻稀疏性,从而在词性(PoS)标记中使用词素标签。结果表明,使用词素标签的PoS标记有助于缓解发射概率的稀疏性。我们的模型优于其他隐马尔可夫模型为基础的PoS标记模型在土耳其的小训练数据集。我们在5K训练数据集上获得了94.1%的词素标记准确率和89.2%的PoS标记准确率。
2017-03-10 cs.CL
Machine Learning Approaches for Amharic Parts-of-speech Tagging
Mangalore University(芒格洛尔大学)
词性标注被认为是许多自然语言处理(NLP)应用(如词义消歧、信息检索、信息处理、句法分析、问答和机器翻译)所需的基本但必要的工具之一。当前的阿姆哈拉语POS标签器的性能不如英语和其他欧洲语言的当代POS标签器。这项工作的目的是提高阿姆哈拉语的POS标记性能,这是从来没有超过91%。形态学知识的使用,现有的注释数据的扩展,特征提取,参数调整应用网格搜索和标记算法已被检查,并获得显着的性能差异从以前的作品。我们使用了三个不同的数据集进行POS实验。
2020-01-10 cs.CL cs.IR cs.LG
Unveiling Factors for Enhanced POS Tagging: A Study of Low-Resource Medieval Romance Languages
Bavarian Academy of Sciences(巴伐利亚科学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Freiburg(弗赖堡大学)
本研究系统探究影响中古罗曼语(奥克语、西班牙语、法语)词性标注性能的关键因素,通过实验评估微调、提示、架构、解码及跨语言迁移方法,揭示LLM局限并提出有效专门技术。
2025-06-21 cs.CL cs.LG
DSC-IITISM at FinCausal 2021: Combining POS tagging with Attention-based Contextual Representations for Identifying Causal Relationships in Financial Documents
Indian Institute of Technology (ISM), Dhanbad(印度理工学院(ISM)达巴德分校)
因果关系检测是自然语言处理和语言学研究领域的一个热点问题。它在信息检索、事件预测、问答、金融分析和市场研究中有重要的应用。在这项研究中,我们探索了几种方法来识别和提取因果对的金融文件使用Transformers。为此,我们提出了一种方法,结合POS标记与BIO计划,它可以与现代Transformer模型,以解决这一挑战,确定在给定的文本中的因果关系。在FinCausal 2021研讨会的FinCausal-2021共享任务中,我们的最佳方法在盲测中获得了0.9551的F1分数和0.8777的精确匹配分数。
2021-10-31 cs.AI cs.CL
Cross-Register Projection for Headline Part of Speech Tagging
Bloomberg(彭博有限合伙企业)
词性标注是一项常见的NLP任务。最先进的标记器通常在新闻正文上达到超过97%的标记级准确率,这表明这个问题已经得到了很好的理解。然而,英语新闻标题的语域(headlinese)与长文本的语域有很大的不同,导致词性标注模型在标题上表现不佳。在这项工作中,我们自动标注新闻标题与POS标签投影预测标签从相应的句子中的新闻机构。我们训练一个多领域的POS标签的长形式和标题文本,并表明,联合训练两个寄存器提高了训练,只是一个或天真地连接训练集。我们对来自Google句子压缩语料库的超过5,248个英语新闻标题的新注释语料库进行了评估,并表明我们的模型每个标记的相对错误减少了23%,每个标题减少了19%。此外,我们证明了更好的标题POS标签可以提高基于语法的开放式信息抽取系统的性能。我们提供POSH,即POS标记的标题语料库,以鼓励研究改进的新闻标题NLP模型。
2021-09-15 cs.AI cs.CL
BBPOS: BERT-based Part-of-Speech Tagging for Uzbek
RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道理工大学);Saarland University(萨尔大学)
针对低资源乌兹别克语的NLP研究,本文推出首个公开的乌兹别克语UPOS标注基准数据集,评估两个未测试的单语BERT模型的词性标注效果,微调后模型达91%平均准确率,优于多语言BERT和规则标注器,还能捕捉词性变化且具上下文敏感性。
2025-01-17 cs.AI cs.CL
Parallelization of Maximum Entropy POS Tagging for Bahasa Indonesia with MapReduce
Universitas Gadjah Mada(加查马达大学)
本文采用MapReduce编程模型对印度尼西亚语最大熵词性标注的训练和标注过程进行并行化。在训练过程中,MapReduce模型实现了字典、标记和特征创建。在标记过程中,MapReduce实现了并行标记文档行。训练实验表明,使用MapReduce的总训练时间更快,但其过程中的结果读取时间减慢了总训练时间。使用不同数量的map和reduce过程进行标注实验,结果表明MapReduce实现可以加快标注过程。通过对100万词语料库和30个图的标注过程,显示出最快的标注结果。
2012-08-15 cs.CL cs.DC
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne(墨尔本大学);VinAI Research(VinAI研究院)
我们提出了第一个多任务学习模型联合越南语分词,词性(POS)标记和依存句法分析。特别地,我们的模型用基于BiLSTM-CRF的神经层(Huang et al.,2015)用于分词和POS标记。在越南基准数据集上的实验结果表明,我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
ACO-tagger: A Novel Method for Part-of-Speech Tagging using Ant Colony Optimization
Allameh Tabataba’i University(阿拉梅·塔巴塔巴伊大学)
近年来,群体智能算法作为解决复杂和不确定性问题的一种手段得到了极大的关注。这些算法受到自然生物集体行为的启发,它们模拟这种行为来开发智能代理以执行计算任务。蚁群优化算法(ACO)就是其中之一,它的灵感来自于蚂蚁的觅食行为和它们的信息素铺设机制。蚁群算法用于解决离散和组合性质的困难问题。词性标注是自然语言处理中的一项基本任务,其目的是为句子中的每个词分配词性角色。本文提出了一种基于蚁群算法的高性能POS标注方法ACO-tagger。该方法实现了96.867%的高准确率,优于几种最先进的方法。所提出的方法是快速和有效的,使其成为实际应用的可行选择。
2023-03-27 cs.AI cs.CL cs.LG
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF
Uppsala University(乌普萨拉大学);University of Helsinki(赫尔辛基大学)
本文提出了一种基于字符的汉语联合分词和词性标注模型。通用序列标记的双向RNN-CRF架构适用于捕获丰富上下文信息和低于字符级别特征的中文字符的新型矢量表示。对所提出的模型进行了广泛的评估,并分别在CTB 5、CTB 9和UD中文上与最先进的标记器进行了比较。实验结果表明,我们的模型是准确的和强大的数据集在不同的大小,类型和注释方案。我们在CTB 5上获得了最先进的性能,联合分割和POS标记的F1得分达到94.38。
2017-09-12 cs.CL
Semantic Tagging with Deep Residual Networks
University of Groningen(格罗宁根大学)
我们提出了一种新的语义标记任务,sem-tagging,为多语言语义解析的目的,并提出了第一个使用深度残差网络(ResNets)的标记器。我们的标签使用单词和字符表示,并包括一个新的残留旁路架构。我们评估的标签集本质上的语义标记的新任务,以及词性(POS)标记。我们的系统,由一个ResNet和一个辅助损失函数预测我们的语义标签,显着优于以前的结果对英语通用词汇词性标注(95.71%的准确率UD v1.2和95.67%的准确率UD v1.3)。
2016-10-31 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University(麦考瑞大学)
我们提出了一种新的神经网络模型,学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务,从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验,结果表明,我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型,从而达到了最新的水平。我们的代码是开源的,可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
POS Tagging Using Relaxation Labelling
松弛标记是一种在许多领域中用于解决约束满足问题的优化技术。该算法找到一组变量的值的组合,使得满足-到最大可能的程度-一组给定的约束。本文介绍了一些实验进行应用它的词性标注,并取得了成果。并探讨了将其应用于词义消歧的可能性。
1995-10-02 cmp-lg cs.CL
Multi-Task Cross-Lingual Sequence Tagging from Scratch
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个用于序列标记的深度层次递归神经网络。给定一个单词序列,我们的模型在字符和单词级别上采用深度门控递归单元来编码形态和上下文信息,并应用条件随机场层来预测标签。我们的模型是任务独立的,语言独立的,和功能工程免费。通过共享架构和参数,我们进一步将模型扩展到多任务和跨语言联合训练。我们的模型在多个基准任务(包括POS标记,组块和NER)上以多种语言实现了最先进的结果。我们还证明了多任务和跨语言联合训练可以提高各种情况下的性能。
2016-08-09 cs.CL cs.LG
Experiments with POS Tagging Code-mixed Indian Social Media Text
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了孟买高级计算发展中心(CDACM)提交给2015年印度混合代码社交媒体文本(POSCMISMT)的词性(POS)标记NLP工具竞赛(与ICON 2015并列)。我们提交了印地语(hi),孟加拉语(bn)和泰卢固语(te)与英语(en)混合的结果。在本文中,我们已经描述了我们的方法的词性标注技术,我们利用这项任务。机器学习被用于对混合语言文本进行词性标注。对于POS标记,已经尝试了用于特征提取和对数线性模型的向量空间(word 2 vec)中单词的分布式表示。我们报告了我们在所有三种语言hi,bn和te与en混合的工作。
2016-10-31 cs.CL
Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER
Charles University(查理大学)
语境化嵌入是一种根据语境获取适当词义的方法。我们评估了两种预计算这种嵌入的方法,BERT和Flair,在四个捷克文本处理任务:词性(POS)标记,词形化,依赖分析和命名实体识别(NER)。前三个任务,词性标注,词形还原和依存句法分析,评估两个语料库:布拉格依存树库3.5和通用的依存关系2.3。在捷克命名实体语料库1.1和2.0上评估命名实体识别(NER)。我们报告了上述任务和语料库的最新结果。
2021-04-12 cs.CL
Automatic TM Cleaning through MT and POS Tagging: Autodesk's Submission to the NLP4TM 2016 Shared Task
Autodesk(欧特克)
我们描述了一种基于机器学习的方法来识别翻译记忆中的错误条目。它扩展了Barbu(2015)之前的工作,结合了基于召回的机器翻译和词性标记功能。我们的系统在二进制分类(II)任务中排名第一,三种语言对中有两种:英语-意大利语和英语-西班牙语。
2016-05-19 cs.CL
BNLP: Natural language processing toolkit for Bengali language
Begum Rokeya University, Rangpur, Bangladesh(贝古姆·罗基亚大学)
BNLP是一个开放的孟加拉语源语言处理工具包,包括标记化,词嵌入,POS标记,NER标记设施。BNLP提供高精度的预训练模型,用于孟加拉语的基于模型的标记,嵌入,POS标注,NER标注任务。BNLP预训练模型在孟加拉语文本标记、词嵌入、词性标注和NER标注任务中取得了显著的效果。BNLP在孟加拉研究社区中广泛使用,下载量为16K,119颗星和31个分叉。BNLP可在https://github.com/sagorbrur/bnlp上获得。
2021-12-01 cs.CL
Neural sequence labeling for Vietnamese POS Tagging and NER
Hanoi Univ of Science and Technology(河内科技大学);VCCorp(VCCorp公司)
本文提出了一种用于越南语序列标注任务的神经结构,包括词性标注和命名实体识别。我们应用了\cite{lample-EtAl:2016:N16-1}中描述的模型,该模型是双向长短期记忆和条件随机场的组合,它依赖于关于单词的两个信息源:从监督语料库中学习的基于字符的单词表示和从其他未注释语料库中学习的预训练词嵌入。在基准数据集上的实验表明,该方法在两个任务上都达到了最佳的性能:词性标注的准确率为93.52%,NER标注的F1为94.88%.我们的源代码在这里可用。
2018-11-12 cs.CL
An improved neural network model for joint POS tagging and dependency parsing
提出了一种新的神经网络模型,用于词性标注和依存句法分析的联合识别。我们的模型扩展了著名的基于BIST图的依赖解析器(Kiperwasser和Goldberg,2016),通过合并基于BiLSTM的标记组件来为解析器自动生成预测的POS标签。在基准英语Penn树库上,我们的模型分别获得了94.51%和92.87%的UAS和LAS分数,比基于BIST图的解析器有1.5%以上的绝对改进,并且还获得了97.97%的最先进的POS标记准确率。此外,从原始文本中解析61个“大”通用词典树库的实验结果表明,我们的模型优于基线UDPipe(Straka和Straková,2017),平均POS标记得分高出0.8%,平均LAS得分高出3.6%。此外,通过我们的模型,我们还获得了最先进的下游任务分数,用于生物医学事件提取和意见分析应用。我们的代码与所有预训练模型一起提供:https://github.com/datquocnguyen/jPTDP
2018-08-20 cs.CL
Improved POS tagging for spontaneous, clinical speech using data augmentation
Linguistic Data Consortium, University of Pennsylvania(宾夕法尼亚大学语言数据联盟);Penn Frontotemporal Degeneration Center, University of Pennsylvania(宾夕法尼亚大学宾夕法尼亚额颞叶变性中心)
本文针对临床自发性言语转写文本的POS标注问题,提出在领域外新闻树库上结合数据增强训练句法分析器,并在神经退行性疾病患者言语上验证性能。
2023-07-11 cs.CL
POS-tagging to highlight the skeletal structure of sentences
本研究开发了基于BERT迁移学习的词性标注模型,用于提取句子骨架结构,经俄语文本微调验证有效,可助力机器翻译等自然语言处理任务。
2024-11-21 cs.CL
Recipe for Zero-shot POS Tagging: Is It Useful in Realistic Scenarios?
KU Leuven(鲁汶大学)
本文针对低资源语言研究零样本词性标注,通过比较在相关语言上微调的mBERT与直接在目标语言上训练的模型,发现紧密的语言关系和高质量数据集是有效零样本标注的关键,且该方法对极低资源语言是可行选项。
2024-10-14 cs.CL
Online Updating of Word Representations for Part-of-Speech Tagging
LMU Munich(慕尼黑大学);Cornell University(康奈尔大学)
我们提出了在线无监督领域自适应(DA),这是增量数据时,适用于批量DA是不可能的。在一个部分的语音(POS)标记评估,我们发现,在线无监督DA执行以及批量DA。
2016-04-02 cs.CL
Toward a Standardized and More Accurate Indonesian Part-of-Speech Tagging
Kata Research Team Kata.ai(卡塔人工智能公司卡塔研究团队);School of Informatics University of Edinburgh(爱丁堡大学信息学院)
印尼语词性(POS)标记的以前的工作很难比较,因为它们不是在一个共同的数据集上进行评估。此外,尽管神经网络模型在英语词性标注方面取得了成功,但很少在印度尼西亚语中进行探索。在本文中,我们探讨了印尼语词性标注的各种技术,包括基于规则的,CRF和基于神经网络的模型。我们在IDN标记语料库上评估了我们的模型。使用递归神经网络实现了97.47 F1评分的新的最新技术水平。为了给未来的工作提供一个标准,我们发布了我们公开使用的数据集分割。
2019-02-26 cs.CL
From Word Segmentation to POS Tagging for Vietnamese
Macquarie University(麦考瑞大学);NIHR Innovation Observatory, Newcastle University(纽卡斯尔大学NIHR创新观察站);Deakin University(迪肯大学)
本文提出了一种经验比较越南语词性(POS)标记从未分割的文本的两种策略:(i)管道策略,我们认为一个词分割器的输出作为输入的POS标记,和(ii)联合策略,我们预测一个组合的分割和POS标签为每个音节。我们还比较了基于特征和基于神经网络的模型。在基准越南树库(Nguyen等人,2009),实验结果表明,管道策略比联合策略在未切分文本的词性标注中获得了更好的成绩,并且使用基于特征的模型获得了最高的准确率。
2017-11-14 cs.CL
Part-of-Speech Tagging with Minimal Lexicalization
我们使用一个动态贝叶斯网络来表示复杂的各种子词汇和上下文相关的词性(PoS)标记的功能。其结果是一个灵活的标签(LegoTag)与国家的最先进的性能(3.6%的基准语料库的错误)。我们探讨了消除冗余和从根本上减少功能词汇表的大小的影响。我们发现,一个小的,但语言动机的后缀集的结果,在改善跨语料库的泛化。我们还表明,一个最小的词汇仅限于功能词是足够的,以确保合理的性能。
2003-12-27 cs.CL cs.LG
A Review on Part-of-Speech Technologies
Nnamdi Azikiwe University(纳姆迪·阿齐克韦大学)
为任何新语言开发自动词性(POS)标记被认为是进一步将计算语言学方法(如组块和解析)完全应用于语言的必要步骤。许多POS消歧技术已经开发了这种类型的研究,有一些因素影响选择的选择。这可以是基于语料库的或非基于语料库的。本文对词性标注技术进行了综述。
2021-10-11 cs.CL cs.LG
From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages
Bavarian Academy of Sciences (BAdW)(巴伐利亚科学院);Department of Statistics, LMU Munich, Germany(慕尼黑大学统计系);Munich Center for Machine Learning (MCML), LMU Munich, Germany(慕尼黑机器学习中心)
本文比较了传统规则和统计标注器与现代开源LLMs在中世纪罗曼语词性标注中的表现,发现LLMs在零样本、少样本、单语微调和跨语言迁移学习中均表现更优,尤其在资源匮乏语言中跨语言迁移学习效果显著。
2026-05-09 cs.AI cs.CL stat.AP
Feature-Rich Part-of-speech Tagging for Morphologically Complex Languages: Application to Bulgarian
Ontotext AD(Ontotext AD公司);IICT, Bulgarian Academy of Sciences(保加利亚科学院信息与通信技术研究所);Qatar Computing Research Institute, Qatar Foundation(卡塔尔基金会卡塔尔计算研究所)
我们目前的实验与保加利亚语,斯拉夫语具有丰富的曲折和派生形态的词性标记。不像大多数以前的工作,它使用了少量的语法类别,我们的工作与680形态句法标签。我们将一个大型的形态词典与先前的语言知识相结合,并从POS注释的语料库中进行引导学习,实现了97.98%的准确率,这是保加利亚语最先进的一个显着改进。
2019-11-26 cs.AI cs.CL
Rapid Adaptation of POS Tagging for Domain Specific Uses
University of Delaware(特拉华大学);Georgetown University Medical Center(乔治城大学医学中心)
词性标注是自然语言分析、信息抽取和问答等自然语言处理的基础。当POS标记器在一个域中训练并应用于显著不同的域时,其性能可能会显着降低。我们提出了一种快速适应新领域的POS标签的方法。我们的技术是无监督的,因为新领域的手动注释语料库是不必要的。我们使用从大量原始文本中收集的后缀信息以及正字法信息来增加词汇覆盖率。我们提出了一个实验中的生物领域,我们的POS标签实现的结果相比,专门训练到这个领域的POS标签。
2014-10-31 cs.CL cs.LG stat.ML
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies(广东外语外贸大学)
2020年云山杯的重点是创建一个评估不同词性(POS)方法的框架。这条赛道有两个任务:(1)印度尼西亚语的POS标记,以及(2)老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%,表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
Part of Speech Tagging (POST) of a Low-resource Language using another Language (Developing a POS-Tagged Lexicon for Kurdish (Sorani) using a Tagged Persian (Farsi) Corpus)
标注语料库在广泛的自然语言处理中起着至关重要的作用。词性标注是标注语料库建设的关键。它既费时又费力,而且成本高昂,因此,如果实现自动化,它可能更便宜。库尔德语目前缺乏公开可用的适当大小的标记语料库。标记公开可用的库尔德语语料库可以将这些资源的能力提高到比原始或分割语料库所能提供的更高的水平。开发POS标记的词典可以帮助完成上述任务。我们使用标记语料库(Bijankhan语料库)在波斯语(波斯语)作为一个接近库尔德语开发一个POS标记的词汇。本文提出了利用与库尔德语关系密切的语言资源丰富库尔德语资源的方法。结果的部分数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/公开用于非商业用途。我们计划在对结果进行进一步调查后,提供整个标记语料库。该数据集可以帮助开发其他库尔德方言的POS标记词汇和自动库尔德语料库标记。
2022-01-30 cs.CL
Overview of the NLPCC 2015 Shared Task: Chinese Word Segmentation and POS Tagging for Micro-blog Texts
Fudan University(复旦大学)
本文综述了第四届CCF自然语言处理与中文计算会议(NLPCC 2015)的共同课题:微博文本的中文分词和词性标注。与目前流行的新闻专线数据集不同,该共享任务的数据集由相对非正式的微文本组成。共享任务包括两个子任务:(1)单个汉语分词和(2)联合汉语分词和词性标注。每个子任务有三个轨道,以区分具有不同资源的系统。我们首先介绍数据集和任务,然后描述参与系统的不同方法,报告测试结果,并对这些结果进行概述分析。在http://nlp.fudan.edu.cn/nlpcc2015上有一个在线系统可供公开登记和评估。
2015-06-30 cs.CL
To Normalize, or Not to Normalize: The Impact of Normalization on Part-of-Speech Tagging
University of Groningen(格罗宁根大学)
标准化是否有助于提高有噪、非规范数据的词性(POS)标记准确性?据我们所知,在现实世界的场景中,对标准化的实际影响知之甚少,其中黄金错误检测不可用。我们研究的自动规范化的词性标注的鸣叫。我们还将归一化与利用大量未标记数据的策略进行了比较。我们的研究结果表明,规范化的帮助,但不增加一致的只是词嵌入层初始化。后一种方法产生了一个标记模型,与Twitter最先进的标记器竞争。
2017-07-17 cs.CL
Lexical Normalization for Code-switched Data and its Effect on POS-tagging
IT University of Copenhagen(哥本哈根信息技术大学);University of Stuttgart(斯图加特大学)
词汇规范化,将非规范数据转换为标准语言,已被证明可以提高社交媒体上许多自然语言处理任务的性能。然而,在一个话语中使用多种语言,也称为代码转换(CS),经常被这些规范化系统所忽视,尽管它在社交媒体中很常见。在本文中,我们提出了三个规范化模型,专门设计用于处理代码转换的数据,我们评估两种语言对:土耳其语-英语(Id-En)和土耳其语-德语(Tr-De)。对于后者,我们为数据集引入了新的规范化层及其相应的语言ID和POS标签,并评估了规范化对POS标签的下游影响。结果表明,我们的CS定制的规范化模型优于Id-En国家的最先进的和Tr-De单语模型,并导致5.4%的相对性能提高的POS标记相比,非规范化的输入。
2021-01-31 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University(萨尔大学)
本文研究零资源跨语言词性标注,提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语,并训练隐马尔可夫模型进行预测,证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Speaker Tagging Correction With Non-Autoregressive Language Models
Institute of Mathematics of NAS RA(亚美尼亚国家科学院数学研究所);YSU(埃里温国立大学)
本文提出基于非自回归语言模型的第二遍说话人标签校正系统,用于修正不同说话人句子边界处的词语错误,在TAL和Fisher数据集上降低了WDER,并在Post-ASR挑战赛中显著改善了cpWER。
2024-08-30 cs.AI cs.CL cs.LG
MDLMPE: Distribution Aware Positional Encoding for Masked Diffusion Language Models
针对掩码扩散语言模型位置编码对动态标记可用性结构不敏感的问题,提出MDLMPE,通过编码标记可用性等实现分布感知,在LLaDA、DREAM等实验中性能优于传统方法。
2026-08-05 cs.AI cs.CL
Ancient Chinese Word Segmentation and Part-of-Speech Tagging Using Distant Supervision
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
古汉语分词和词性标注是古汉语研究的重要内容,但古汉语分词和词性标注的数据量还很少。本文提出了一种基于远程监督的平行语料库古汉语WSG和词性标注数据扩充方法。然而,在远程监督中,仍不可避免地存在着误标和未标的古汉语词语。针对这一问题,利用深度神经网络的记忆效应和少量标注数据,得到知识量大、噪声小的模型,并利用该模型对平行语料库中的古汉语句子进行重新标注。实验表明,在重新标记的数据上训练的模型优于在远程监督生成的数据和注释数据上训练的模型。我们的代码可在https://github.com/farlit/ACDS上获得。
2023-03-06 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asian(微软亚洲研究院);Educational Testing Service Research(美国教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的标记序列数据,例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段,已经得到了广泛的应用。在这项研究中,我们提出了使用BLSTM-RNN与词嵌入的词性(POS)标注任务。在Penn Treebank WSJ测试集上进行测试时,达到了97.40的标记准确率。在不使用形态特征的情况下,该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Corpus and Models for Lemmatisation and POS-tagging of Old French
Centre Jean-Mabillon(让-马比永中心);École nationale des chartes(法国国家文献学院);Université Paris, Sciences & Lettres(巴黎科学与文学大学)
古法语是一个典型的历史语言资源不足的例子,进一步显示了大量的语言变异。在本文中,我们介绍了一个长期项目(2015-...)的当前结果。并描述我们如何在神经标签器和专用语料库的逐步构建的帮助下解决为古法语提供词形化和POS模型的难题。
2021-09-23 cs.CL
Bridging Pre-trained Language Models and Hand-crafted Features for Unsupervised POS Tagging
Soochow University(苏州大学)
近年来,大规模预训练的语言模型(PLM)在大多数NLP任务中取得了非凡的进展。但是,在无监督的词性标注任务中,利用PLM的作品很少,并且无法达到最先进的(SOTA)性能。最近的SOTA性能是由He等人提出的Guassian HMM变体产生的。(2018)。然而,作为一种生成模型,HMM做出了非常强的独立性假设,这使得从PLM中整合上下文化的单词表示非常具有挑战性。在这项工作中,我们第一次提出了一个神经条件随机场自动编码器(CRF-AE)模型的无监督词性标注。CRF-AE的鉴别编码器可以直接合并ELMo单词表示。此外,灵感来自功能丰富的HMM,我们重新引入手工制作的功能到CRF-AE的解码器。最后,实验清楚地表明,我们的模型在Penn Treebank和多语言Universal Advertisements Treebank v2.0上的性能大大优于以前的最先进模型。
2022-03-19 cs.CL
Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction
Heinz Nixdorf Institut, Paderborn University(帕德博恩大学海因茨·尼克斯多夫研究所)
针对历史语料词性标注难度高、易出错的问题,本文提出基于集值预测的框架,让标注器输出候选标签集以表达不确定性,实验证明该方法能提升标注精度与鲁棒性,尤其对未登录词效果显著。
2024-10-08 cs.CL cs.IR cs.LG
Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection
The University of Melbourne(墨尔本大学)
语言注释的跨语言投影受到许多偏差和噪声源的影响,导致不能直接使用的不可靠注释。在本文中,我们介绍了一种新的序列标记方法,该方法使用显式去偏层来学习纠正跨语言投影的错误。这是作为两个语料库的联合学习,一个标记为黄金标准,另一个标记为投影标签。我们仅使用1,000个标记有黄金标准标记的令牌进行评估,以及更丰富的并行数据。我们的系统在八个模拟的低资源环境中达到或超过了最先进的水平,以及两种真正的低资源语言,马达加斯加语和基尼亚卢旺达语。
2016-07-05 cs.CL
Incorporating POS Tagging into Language Modeling
语音识别的语言模型往往只集中在识别所说的单词上。在本文中,我们重新定义的语音识别问题,使其目标是找到最好的序列的话和他们的句法作用(部分的语音)的话语。这是加强语音识别和自然语言理解之间交互的必要的第一步。
1997-05-22 cmp-lg cs.CL
Under-resourced studies of under-resourced languages: lemmatization and POS-tagging with LLM annotators for historical Armenian, Georgian, Greek and Syriac
LIPN, CNRS UMR 7030(法国国家科学研究中心LIPN实验室(UMR 7030));École nationale des chartes, Université Paris-Sciences-et-Lettres (PSL)(巴黎文理研究大学(PSL)国立文献学院);Université catholique de Louvain(鲁汶天主教大学)
本文研究了LLM在低资源语言词形还原和词性标注中的表现,发现其在少量样本设置中表现优异,尤其在缺乏数据时能有效辅助标注。
2026-02-17 cs.CL
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University(麦迪卡普斯大学)
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果,例如pos标记,命名实体识别和文本分类。然而,这些语言模型中的大多数都是用高资源语言(如英语,德语,西班牙语)进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言,但它们往往不能代表这些语言的语言特征,因为它们不是研究的主要语言。我们介绍HinFlair,这是一个语言表示模型(上下文字符串嵌入)预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验,以分析这些上下文化的印地语字符串嵌入的性能。结果表明,HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外,HinFlair与FastText嵌入相结合时,性能优于许多基于transformers的语言模型,特别是为印地语训练的。
2021-01-18 cs.CL
A Comprehensive Part-of-Speech Tagging to Standardize Central-Kurdish Language: A Research Guide for Kurdish Natural Language Processing Tasks
Koya University(科亚大学);Knowledge University(知识大学);University of Sulaimani(苏莱曼尼大学)
针对中部库尔德语缺乏标准化词性标签集的问题,本研究综合多方来源构建了全面准确的POS标签集,初步验证表明其能更精准地支持库尔德语NLP任务。
2025-04-28 cs.AI cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen(格罗宁根大学);University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
双向长短期记忆(bi-LSTM)网络最近被证明可以成功地用于各种NLP序列建模任务,但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题,并评估双LSTM与字,字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型,它将POS标记损失函数与一个辅助损失函数相结合,该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能,尤其适用于形态复杂的语言。我们的分析表明,双LSTM对训练数据大小和标签损坏(在小噪声水平下)的敏感性低于以前的假设。
2016-07-21 cs.CL