Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University(巴纳斯塔利大学)
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言,词性标注是一个突出的工具。它是许多NLP应用程序中最简单,最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段,如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中,我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中,我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram,Bigram,Trigram和HMM方法的统计方法。给出了一个清晰的思路,并给出了相应的例子.它还介绍了一个标记集的马拉地语,可用于标记马拉地语文本。在本文中,我们已经显示了标记器的发展,以及比较,以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
GWPT: A Green Word-Embedding-based POS Tagger
University of Southern California(南加州大学)
本文提出轻量级词性标注器GWPT,通过绿色学习框架下对词嵌入维度索引分频并用不同N-gram表示,以更少参数和更低计算复杂度达到最先进准确率。
2024-01-15 cs.CL
On the Evaluation and Comparison of Taggers: The Effect of Noise in Testing Corpora
本文讨论了{ \sc pos}标记器评估问题。这种评估通常通过将标注器输出与参考测试语料库进行比较来执行,该参考测试语料库被假设为无错误。目前使用的语料库包含噪声,这导致获得的性能是真实值的失真。我们分析在何种程度上这种扭曲可能会无效的标签或一个新的系统所提供的改进措施之间的比较。主要结论是,需要更严格的测试实验设置/设计,以可靠地评估和比较标签的准确性。
1998-09-28 cs.CL
UzbekTagger: The rule-based POS tagger for Uzbek language
Urgench State University(乌尔根奇国立大学);Universidade da Coruña(拉科鲁尼亚大学)
本研究提出了一个词性(POS)注释数据集和标记工具的低资源乌兹别克语。该数据集包括12个标签,用于开发基于规则的POS标记工具。为了保证语料库的代表性,在标注过程中使用的语料库文本必须在20个不同的领域中保持平衡。乌兹别克语是一种黏着语,所以乌兹别克语句子中的大部分单词都是通过添加后缀形成的。它的这种性质使得POS标记任务很难找到单词的词干和它们所属的正确词性。这项研究提出的方法是词干的词缀/后缀剥离的方法,包括数据库的词干形式的乌兹别克语。在注释数据集上测试了标记工具,在识别和标记乌兹别克语文本中的词性方面显示出很高的准确性。这个新提出的数据集和标记工具可用于各种自然语言处理任务,如语言建模,机器翻译和文本到语音合成。所呈现的数据集是第一个公开提供给乌兹别克语的数据集,创建的POS标记工具也可以用作其他密切相关的突厥语的基础。
2023-03-01 cs.CL
A POS Tagger for Code Mixed Indian Social Media Text - ICON-2016 NLP Tools Contest Entry from Surukam
Surukam Analytics(Surukam分析公司)
由于缺乏精确注释的训练语料库,为代码混合的印度语言构建词性标注器是计算语言学中一个特别具有挑战性的问题。ICON作为其NLP工具竞赛的一部分,连续第二年将此挑战作为一项共同任务来组织,以提高最先进的水平。本文介绍了在Surukam构建的POS标记器,用于预测三种语言对的粗粒度和细粒度POS标记-孟加拉语-英语,泰卢固语-英语和印地语-英语,文本跨越三个流行的社交媒体平台- Facebook,WhatsApp和Twitter。我们采用条件随机场作为序列标记算法,并使用一个名为sklearn-crfsuite的库-一个围绕CRFsuite的薄包装器来训练我们的模型。我们使用的特征包括多字符n-grams,语言信息和emoji,数字,标点符号和网址的模式。我们在受限环境中提交的文件,即,在不使用任何单语POS标记器等的情况下,获得了76.45%的总体平均F1分数,这与2015年的76.79%的获胜分数相当。
2016-12-31 cs.CL
When silver glitters more than gold: Bootstrapping an Italian part-of-speech tagger for Twitter
University of Groningen(格罗宁根大学)
在Evalita 2016 PoSTWITA共享任务的背景下,我们引导一个最先进的词性标记器来标记意大利语Twitter数据。我们发现,在本地Twitter数据上训练标记器,这些数据中包含少量专门选择的黄金数据和从Facebook上抓取的额外的银标记数据,比使用大量来自混合类型的手动注释数据产生更好的结果。
2016-11-09 cs.CL
A Flexible POS tagger Using an Automatically Acquired Language Model
我们提出了一个算法,自动学习上下文的约束,使用统计决策树。然后,我们在一个灵活的POS标记器中使用所获得的约束。标记器能够使用任何程度的信息:n-gram,自动学习的上下文约束,语言动机手动编写的约束等的来源和种类的约束是不受限制的,语言模型可以很容易地扩展,提高结果。该标记器已经在WSJ语料库上进行了测试和评估。
1997-07-11 cmp-lg cs.CL
Tagger Evaluation Given Hierarchical Tag Sets
我们提出了评估人类和自动标签,扩展目前的做法在三个方面的方法。首先,我们将展示如何评估为每个测试实例分配多个标签的标记器,即使它们不分配概率。其次,我们展示了如何适应手动构建的“黄金标准”,通常用于客观评价,即往往有一个以上的正确答案的共同属性。第三,我们将展示如何衡量性能时,一组可能的标签是树结构的IS-A层次结构。为了说明我们的方法可以用来衡量注释者之间的一致性,我们展示了如何计算分层标签集上的kappa系数。
2000-08-10 cs.CL
Development of POS tagger for English-Bengali Code-Mixed data
IIIT, Hyderabad(海得拉巴国际信息技术学院);Jadavpur University, Kolkata(贾达普大学)
由于社交媒体的出现,代码混合文本现在很普遍。由于这些文本将两种语言结合起来形成一个句子,因此产生了与自然语言处理相关的各种研究问题。本文试图挖掘这样一个问题,即语码混合文本的词性标注。我们已经建立了一个系统,可以POS标记英语孟加拉语代码混合的数据,其中孟加拉语的话写在罗马脚本。我们的方法最初涉及收集和清理英语-孟加拉语代码混合的推文。这些推文被用作构建我们系统的开发数据集。所提出的系统是一种模块化方法,首先用各自的语言标记各个标记,然后将它们传递给为不同语言(英语和孟加拉语,在我们的情况下)设计的不同POS标记器。这两个系统给出的标签随后被连接在一起,最终结果被映射到一个通用的POS标签集。我们的系统使用100个人工标记的POS代码混合句子进行测试,它返回的准确率为75.29%
2020-07-29 cs.CL
A CRF Based POS Tagger for Code-mixed Indian Social Media Text
Jadavpur University(贾达普大学)
在这项工作中,我们描述了一个基于条件随机场(CRF)的系统,用于代码混合的印度社交媒体文本的词性(POS)标记,作为我们参与代码混合的印度社交媒体文本的POS标记工具竞赛的一部分,与2016年自然语言处理国际会议,印度理工学院(BHU),印度一起举行。我们只参加了所有三种语言对的约束模式竞赛,孟加拉语-英语,印地语-英语和Telegu-英语。我们的系统达到了79.99的整体平均F1得分,这是最高的整体平均F1得分在所有16个系统中参加了约束模式的比赛。
2016-12-23 cs.CL
An Efficient Inductive Unsupervised Semantic Tagger
我们报告我们的发展,一个简单,但快速,有效的归纳无监督的中文词汇语义标记。使用了348,000个词的POS手写标记语料库。语料库的标记分为两个步骤。首先,从语义词典(同义词词典)、词性和从词性语义的条件概率中选择可能的语义标签,即,P(S| P)。然后通过考虑当前词之前和之后的语义标签以及语义词条件概率P(S)来分配最终语义标签|W)源自第一步。语义二元组概率P(S| S)用于第二步。最后的人工检验表明,这种简单而有效的算法有91%的命中率。标记器每秒标记142个字,使用运行FOXPRO的120 MHz Pentium。它的运行速度比Viterbi tagger快2.3倍。
1996-06-11 cmp-lg cs.CL
Comparing a Linguistic and a Stochastic Tagger
关于不同的方法来自动PoS标记:EngCG-2,一个基于约束的形态标记,在双盲测试中进行比较,与最先进的统计标记在一个共同的消歧任务,使用一个共同的标签集。实验表明,对于相同的剩余歧义,统计标注器的错误率比基于规则的标注器的错误率高一个数量级。两个相关的问题的启动影响妥协的结果和人类注释者之间的分歧也得到了解决。
1997-06-07 cmp-lg cs.CL
Investigating Bi-LSTM and CRF with POS Tag Embedding for Indonesian Named Entity Tagger
Prosa Solusi Cerdas(普罗萨智能解决方案公司);School of Electrical Engineering and Informatics(电气与信息工程学院);Institut Teknologi Bandung(万隆理工学院)
印尼语命名实体标注器的研究已有多年的历史。然而,大多数研究没有使用深度学习,而是使用传统的机器学习算法,如关联规则,支持向量机,随机森林,朴素贝叶斯等。在这里,我们尝试在我们的印度尼西亚NE tagger中使用深度学习。我们使用长短期记忆(LSTM)作为拓扑结构,因为它是NE标记器的最新技术。通过使用LSTM,我们不需要单词列表来提高准确性。基本上,我们主要调查两件事。第一个是网络的输出层:Softmax与条件随机场(CRF)。二是词性(POS)标签嵌入输入层的使用。使用8400句作为训练数据和97句作为评估数据,我们发现,使用POS标签嵌入作为额外的输入,提高了我们的印尼NE标记的性能。至于Softmax和CRF之间的比较,我们发现这两种架构在分类NE标签方面都有弱点。
2020-09-11 cs.AI cs.CL
Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了高级计算开发中心(CDACM)提交的共享任务-“代码混合印度社交媒体(Facebook,Twitter和Whatsapp)文本的POS标记工具竞赛”,与ICON-2016搭配。共同的任务是预测词性(POS)标签在单词水平上为一个给定的文本。代码混合文本主要由多语言用户在社交媒体上生成。多语言单词、音译和拼写变体的存在使这些内容在语言上变得复杂。本文提出了一种基于循环神经网络语言模型(RNN-LM)架构的POS标签混合社交媒体文本识别方法。我们提交了印地语-英语(hi-en)、孟加拉语-英语(bn-en)和泰卢固语-英语(te-en)代码混合数据的结果。
2016-11-16 cs.CL
Part of speech tagging for code switched data
The George Washington University(乔治华盛顿大学);University of Houston(休斯顿大学);Columbia University(哥伦比亚大学)
我们解决的问题的词性标注(POS)的语言代码转换(CS)的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象,分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术,处理CS数据在内部数据中尤其具有挑战性,因为这种技术适合于一次处理一种语言。在本文中,我们探讨了多种策略,应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对,西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明,应用机器学习框架,使用两个国家的最先进的POS标签实现了更好的性能相比,我们调查的所有其他方法。
2019-11-03 cs.CL
Reduplicated MWE (RMWE) helps in improving the CRF based Manipuri POS Tagger
MIT, Manipur University(曼尼普尔大学MIT分校);Manipur University(曼尼普尔大学);Jadavpur University(jadavpur大学)
本文对基于条件随机场(CRF)的词性标注中的修正特征选择进行了详细的综述。在CRF中,特征的选择是如此重要,特征越好,输出就越好。本工作是一种尝试或实验,使以前的工作更有效率。尝试多个新功能来运行CRF,并再次尝试使用重复多词表达式(RMWE)作为另一个功能。由于曼尼普尔语中含有丰富的RMWE,因此CRF与RMWE一起运行,而RMWE的识别成为提出词性标注结果的必要条件之一。新的CRF系统的召回率为78.22%,准确率为73.15%,F-测量为75.60%。识别出RMWE并将其作为特征,使召回率提高到80.20%,准确率提高到74.31%,F-测度提高到77.14%。
2012-03-22 cs.CL
A Grounded Unsupervised Universal Part-of-Speech Tagger for Low-Resource Languages
Charles University in Prague(布拉格查理大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Southern California(南加州大学)
无监督词性标注通常被视为一个聚类问题,但实际的标注者也需要对它们的聚类进行\textit{ground}。基础通常需要引用标记的数据,这是低资源语言可能没有的奢侈。在这项工作中,我们描述了一种低资源的无监督POS标记,产生完全接地输出,不需要标记的训练数据的方法。我们发现Brown等人(1992)的经典方法在我们的用例中很好地聚类,并采用基于解密的方法来接地。这种方法假定一个簇ID序列是一个“密文”,并寻求一个POS标签到簇ID的映射,这将揭示POS序列。我们从本质上表明,尽管任务的难度,我们在各种语言中获得合理的性能。我们还表明,将我们的POS标签到一个名称标签导致国家的最先进的标记性能在僧伽罗语和基尼亚卢旺达语,两种语言几乎没有标记的POS数据。我们通过将其并入Malopa的真正“零资源”变体(Ammar等人,2016)依赖解析器模型,消除了当前对多语言资源和新语言的黄金POS标签的依赖。实验表明,包括我们的标签弥补了大部分的准确性损失时,黄金POS标签不可用。
2019-04-10 cs.AI cs.CL cs.LG
What Taggers Fail to Learn, Parsers Need the Most
Universidade da Coruña(科鲁尼亚大学);CITIC;FASTPARSE Lab, LyS Research Group(FASTPARSE实验室,LyS研究组)
我们提出了一个错误分析的神经UPOS标签,以评估为什么使用黄金标准的标签有这么大的积极贡献,解析性能,而使用预测的UPOS标签要么损害性能或提供一个微不足道的改进。我们评估了神经依赖分析器隐式地学习单词类型,以及这与标记器的错误如何相关,以解释使用预测标记对分析器的最小影响。我们还提出了一个简短的分析,什么情况下导致标记性能的降低。然后,我们屏蔽UPOS标签的基础上所作的错误,标签,标签成功和失败的分类正确和标签错误的影响梳理出UPOS标签的贡献。
2021-04-02 cs.AI cs.CL
Parts-of-Speech Tagger Errors Do Not Necessarily Degrade Accuracy in Extracting Information from Biomedical Text
CRC for Innovative Dairy Products(创新乳制品合作研究中心);The University of Melbourne(墨尔本大学);Victorian Bioinformatics Consortium(维多利亚生物信息学联盟);Monash University(莫纳什大学)
最近的一项研究报告了Muscorian的发展,这是一种通用的文本处理工具,用于从文本中提取蛋白质-蛋白质相互作用,其性能可与生物医学特定的文本处理工具相媲美。这一结果是出乎意料的,因为一系列文本分析过程中的潜在错误可能会对整个过程的结果产生不利影响。大多数生物医学实体关系提取工具使用生物医学特定的词性(POS)标记器作为POS标记的错误,并可能影响后续的文本语义分析,如浅层解析。本研究旨在评估词性(POS)标记的准确性,并试图探讨是否获得了可比的性能时,通用的POS标记,MontyTagger,被用来代替MedPost,一个tagger训练的生物医学文本。我们的结果表明,在生物医学文本上测试时,Muscorian的POS标签器MontyTagger的POS标签准确率为83.1%。用MedPost替换MontyTagger并没有导致从文本中提取实体关系的显著改善;在定向关系上,MontyTagger的精确度为55.6%,MedPost为56.8%,在非定向关系上,MontyTagger为86.1%,MedPost为81.8%。这是意料之外的,因为MontyTagger的不良POS标记可能会影响信息抽取的结果。对词性标注错误的分析表明,78.5%的标注错误被浅层句法分析所弥补。因此,尽管标记准确率为83.1%,但MontyTagger的功能标记准确率为94.6%。
2008-04-02 cs.CL cs.IR
SMPOST: Parts of Speech Tagger for Code-Mixed Indic Social Media Text
IIT Patna(印度理工学院帕特纳分校);MNIT Jaipur(马拉维亚国家理工学院斋浦尔分校)
社交媒体的使用在过去几年中急剧增长。用户在通过社交媒体进行交流时使用非正式语言。交流的语言通常是混合的,人们用英语转录他们的地区语言,这种技术被发现非常受欢迎。自然语言处理(NLP)的目的是从这些文本中推断信息,其中词性标注(PoS)在获得书面文本的韵律方面起着重要作用。对于代码混合的印度社交媒体文本的PoS标记任务,我们开发了一个基于条件随机场分类器的监督系统。为了有效地解决这个问题,我们集中精力提取丰富的语言特征。我们参加了三个不同的语言对,即。英语-印地语,英语-孟加拉语和英语-泰卢固语在三个不同的社交媒体平台,Twitter,Facebook和WhatsApp。该系统能够成功地分配粗以及细粒度的PoS标签标签为一个给定的代码混合的句子。实验表明,我们的系统是相当通用的,在所有领域的所有三种语言对表现出令人鼓舞的性能水平。
2017-02-02 cs.CL
Unsupervised Part-of-Speech Induction
University of Pittsburgh(匹兹堡大学)
词性标注是自然语言处理中一项古老而基础的工作。虽然监督POS标记器已经显示出有希望的准确性,但由于缺乏标记数据,使用监督方法并不总是可行的。在这个项目中,我们试图通过一个层次凝聚聚类过程迭代地寻找一个重复出现的单词模式,从而毫不奇怪地诱导POS标签。我们的方法显示出有前途的结果相比,国家的最先进的无监督POS标签的标记结果。
2018-01-10 cs.CL
Part of Speech Tagging of Marathi Text Using Trigram Method
Banasthali University(班纳斯塔利大学)
在本文中,我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。它是由马哈拉施特拉邦的土著人说的。用于开发标记器的一般方法是使用三元组方法进行统计。trigram的主要概念是基于前两个标签的给定信息,通过计算概率来确定哪个是标签的最佳序列,来探索令牌的最可能的POS。在本文中,我们展示了tagger的发展。此外,我们还进行了评估。
2013-07-15 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida(JSS诺伊达技术教育学院)
印地语是一种高度屈折的语言,基于FST(有限状态转换器)的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST(斯图加特有限状态传感器)工具生成FST。创建了一个词根词典。然后添加规则,用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练,然后使用Stanford POS tagger的MAXENT(最大熵)方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度,并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages
Bavarian Academy of Sciences (BAdW)(巴伐利亚科学院);Department of Statistics, LMU Munich, Germany(慕尼黑大学统计系);Munich Center for Machine Learning (MCML), LMU Munich, Germany(慕尼黑机器学习中心)
本文比较了传统规则和统计标注器与现代开源LLMs在中世纪罗曼语词性标注中的表现,发现LLMs在零样本、少样本、单语微调和跨语言迁移学习中均表现更优,尤其在资源匮乏语言中跨语言迁移学习效果显著。
2026-05-09 cs.AI cs.CL stat.AP
Surfing the modeling of PoS taggers in low-resource scenarios
University of Vigo(维戈大学)
本文评估了在低资源场景下,通过早期估计学习曲线来选择非深度模型的方法,并以加利西亚语词性标注器生成为案例,验证了该方法的可靠性。
2024-02-04 cs.CL cs.LG
AsPOS: Assamese Part of Speech Tagger using Deep Learning Approach
词性标注是自然语言处理的重要内容。这是一个在几种资源丰富的语言中得到充分研究的主题。然而,尽管存在许多历史和文学丰富的语言,但计算语言资源的发展仍处于起步阶段。阿萨姆语是印度的一种法定语言,有超过2500万人使用,属于这一类。在本文中,我们提出了一个基于深度学习(DL)的阿萨姆语词性标注器。开发过程分为两个阶段。在第一阶段,使用预先训练好的词嵌入来训练多个标注模型。这使我们能够评估词嵌入在词性标注任务中的性能。第一阶段中表现最好的模型被用来注释另一组新句子。在第二阶段,使用新的数据集进一步训练模型。最后,我们达到了86.52%的标记准确率在F1评分。该模型可作为进一步研究基于DL的阿萨姆语词性标注的基础。
2022-12-14 cs.AI cs.CL cs.LG
POS tagging, lemmatization and dependency parsing of West Frisian
Fryske Akademy(弗里斯兰学院);University of Groningen(格罗宁根大学);BNOSAC;Utrecht University(乌得勒支大学)
我们提出了一个lemmatizer/POS标签/依赖分析器西弗里斯兰语使用语料库的44,714个单词的3,126句,根据通用依赖版本2的指导方针进行注释。POS标签被分配给单词使用荷兰语POS标签,适用于逐字翻译,或荷兰语平行文本的句子。使用弗里斯兰语翻译程序Oersetter创建的直译时获得了最佳结果。形态和句法注释的基础上产生的荷兰语直译以及。将使用默认参数训练时的lemmatizer/tagger/annotator的性能与使用用于训练LassySmall UD 2.5语料库的参数值时获得的性能进行比较。一个显着的改善被发现为'lemma'。Frisian lemmatizer/PoS tagger/dependency parser作为Web应用程序和Web服务发布。
2021-07-28 cs.CL stat.ML
Design and implementation of an open source Greek POS Tagger and Entity Recognizer using spaCy
DataScouting;International Hellenic University(国际希腊大学)
本文提出了一种机器学习的方法,词性标注和命名实体识别的希腊语,侧重于提取的形态特征和分类的令牌到一个小的集合的类命名实体。介绍了所使用的体系结构模型。spaCy平台的希腊语版本被添加到源代码中,这是一个在我们的贡献之前不存在的功能,并用于构建模型。此外,还训练了一个词性标注器,它可以检测标记的形态,并且在仅对词性进行分类时,其性能高于最先进的结果。对于使用spaCy的命名实体识别,构建了一个扩展标准ENAMEX类型(组织、位置、人员)的模型。进行的某些实验表明,在词汇表外的单词需要灵活性,并且存在解决这个问题的努力。最后对评价结果进行了讨论。
2019-12-05 cs.CL cs.IR cs.LG
Rapid Adaptation of POS Tagging for Domain Specific Uses
University of Delaware(特拉华大学);Georgetown University Medical Center(乔治城大学医学中心)
词性标注是自然语言分析、信息抽取和问答等自然语言处理的基础。当POS标记器在一个域中训练并应用于显著不同的域时,其性能可能会显着降低。我们提出了一种快速适应新领域的POS标签的方法。我们的技术是无监督的,因为新领域的手动注释语料库是不必要的。我们使用从大量原始文本中收集的后缀信息以及正字法信息来增加词汇覆盖率。我们提出了一个实验中的生物领域,我们的POS标签实现的结果相比,专门训练到这个领域的POS标签。
2014-10-31 cs.CL cs.LG stat.ML
Semantic Tagging with Deep Residual Networks
University of Groningen(格罗宁根大学)
我们提出了一种新的语义标记任务,sem-tagging,为多语言语义解析的目的,并提出了第一个使用深度残差网络(ResNets)的标记器。我们的标签使用单词和字符表示,并包括一个新的残留旁路架构。我们评估的标签集本质上的语义标记的新任务,以及词性(POS)标记。我们的系统,由一个ResNet和一个辅助损失函数预测我们的语义标签,显着优于以前的结果对英语通用词汇词性标注(95.71%的准确率UD v1.2和95.67%的准确率UD v1.3)。
2016-10-31 cs.CL
Adaptive scheduling for adaptive sampling in POS taggers construction
University of Vigo(维戈大学);University of A Coruña(拉科鲁尼亚大学)
本文提出一种自适应调度方法,通过几何分析学习曲线并结合函数模型动态调整采样间隔,以加速词性标注器训练并保持性能,同时提高采样鲁棒性,防止过早停止。
2024-02-04 cs.AI cs.CL cs.LG
Part-of-Speech Tagger for Bodo Language using Deep Learning approach
IIT Guwahati(印度理工学院古瓦哈蒂分校)
本文提出BodoBERT语言模型及基于深度学习的波多语词性标注模型,实现了0.8041的F1分数,并比较了阿萨姆语词性标注器。
2024-01-06 cs.AI cs.CL cs.LG
Implementation and evaluation of a German HMM for POS disambiguation
介绍了Xerox HMM标注器的德语语言模型。该模型的性能进行了比较与其他两个德国标记器的部分参数重新估计和完全适应的参数从预标记语料库。分析了该模型解决的歧义类型,并与英语和法语的歧义类型进行了比较。最后,对模型的误差类型进行了描述。我认为,虽然这些模型的整体性能为德国是英语和法语的结果相媲美,更准确的分析表明,重要的差异,在类型的消歧所涉及的德语。
1995-02-27 cmp-lg cs.CL
A POS Tier Is the Key to Automated Annotation for Low-Resource Language Documentation: Neural Interlinear Glossing for Irabu, a Southern Ryukyuan Language
Kyushu University(九州大学)
研究针对濒危语言伊良部语语符标注成本高的问题,用小型BiLSTM-CRF模型构建神经标注管道。发现黄金词性标注可提升语法语符标注,词性层级能减少所需语符化数据量,虽全自动管道未完全实现增益,但为文献实践提供四线标注建议。
2026-07-16 cs.CL
BBPOS: BERT-based Part-of-Speech Tagging for Uzbek
RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道理工大学);Saarland University(萨尔大学)
针对低资源乌兹别克语的NLP研究,本文推出首个公开的乌兹别克语UPOS标注基准数据集,评估两个未测试的单语BERT模型的词性标注效果,微调后模型达91%平均准确率,优于多语言BERT和规则标注器,还能捕捉词性变化且具上下文敏感性。
2025-01-17 cs.AI cs.CL
Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction
Heinz Nixdorf Institut, Paderborn University(帕德博恩大学海因茨·尼克斯多夫研究所)
针对历史语料词性标注难度高、易出错的问题,本文提出基于集值预测的框架,让标注器输出候选标签集以表达不确定性,实验证明该方法能提升标注精度与鲁棒性,尤其对未登录词效果显著。
2024-10-08 cs.CL cs.IR cs.LG
Enhancing Health Mention Classification Performance: A Study on Advancements in Parameter Efficient Tuning
Faculty of Engineering, Computer Engineering Department, Cairo University(工程学院,计算机工程系,开罗大学);Menzies School of Health Research, Charles Darwin University(健康研究学院,查尔斯达尔文大学)
本研究针对健康提及分类(HMC)的语境复杂性挑战,通过结合词性标注器信息与参数高效微调(PEFT)技术,在三个数据集上以更小模型和高效训练显著提升了F1分数,实现了准确且高效的社交媒体健康提及分类。
2025-04-30 cs.AI cs.CL
Machine Learning Approaches for Amharic Parts-of-speech Tagging
Mangalore University(芒格洛尔大学)
词性标注被认为是许多自然语言处理(NLP)应用(如词义消歧、信息检索、信息处理、句法分析、问答和机器翻译)所需的基本但必要的工具之一。当前的阿姆哈拉语POS标签器的性能不如英语和其他欧洲语言的当代POS标签器。这项工作的目的是提高阿姆哈拉语的POS标记性能,这是从来没有超过91%。形态学知识的使用,现有的注释数据的扩展,特征提取,参数调整应用网格搜索和标记算法已被检查,并获得显着的性能差异从以前的作品。我们使用了三个不同的数据集进行POS实验。
2020-01-10 cs.CL cs.IR cs.LG
KeyXtract Twitter Model - An Essential Keywords Extraction Model for Twitter Designed using NLP Tools
University of Kelaniya(凯拉尼亚大学)
由于一条推文被限制在140个字符以内,传统的自然语言处理(NLP)工具很难分析。本研究提出了KeyXtract,它增强了基于机器学习的Stanford CoreNLP词性(POS)标记器与Twitter模型,从推文中提取关键词。该系统是使用基于规则的解析器和两个语料库。该研究的数据来自一家电信公司的Twitter简介。该系统的开发包括两个阶段。在初始阶段,在分析推文之后编译特定领域的语料库。POS标记器提取名词短语和动词短语,而解析器去除噪声并提取POS标记器遗漏的任何其他关键字。使用图灵测试对系统进行了评估。在与Stanford CoreNLP进行测试和比较后,开发了系统的第二阶段,解决了第一阶段的缺点。它使用命名实体识别和词形化进行了增强。第二阶段也使用图灵测试进行测试,其通过率从50.00%提高到83.33%。使用F1评分测量最终系统输出的性能。斯坦福大学CoreNLP与Twitter模型的平均F1为0.69,而改进后的系统的F1为0.77。通过使用完整的领域特定语料库,可以提高系统的准确性。由于该系统使用了句子的语言特征,因此可以应用于其他NLP工具。
2017-08-09 cs.CL cs.IR
R2T: Rule-Encoded Loss Functions for Sequence Tagging in Low-Resource Languages
Rochester Institute of Technology(罗切斯特技术学院);RobotsMali(Mali机器人)
本文提出R2T框架,通过将语言规则编码进自适应损失函数,使模型在低资源序列标注中仅用未标注文本即可达到98.2%准确率,并作为预训练步骤提升NER性能。
2026-09-29 cs.CL cs.LG
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF
Uppsala University(乌普萨拉大学);University of Helsinki(赫尔辛基大学)
本文提出了一种基于字符的汉语联合分词和词性标注模型。通用序列标记的双向RNN-CRF架构适用于捕获丰富上下文信息和低于字符级别特征的中文字符的新型矢量表示。对所提出的模型进行了广泛的评估,并分别在CTB 5、CTB 9和UD中文上与最先进的标记器进行了比较。实验结果表明,我们的模型是准确的和强大的数据集在不同的大小,类型和注释方案。我们在CTB 5上获得了最先进的性能,联合分割和POS标记的F1得分达到94.38。
2017-09-12 cs.CL
Stack-propagation: Improved Representation Learning for Syntax
MIT(麻省理工学院);Google Inc(谷歌公司)
传统的语法模型通常通过从手动调整的模板构建特征来利用词性(POS)信息。我们证明了一个更好的方法是利用POS标签作为学习表征的正则化。我们提出了一种简单的方法来学习一个堆叠的管道模型,我们称之为“堆栈传播”。我们将其应用于依存句法分析和标记,其中我们使用标记器网络的隐藏层作为解析器的输入标记的表示。在测试时,我们的解析器不需要预测的POS标记。在来自通用语言库的19种语言上,我们的方法比最先进的基于图形的方法准确1.3%(绝对),比最具可比性的贪婪模型准确2.7%。
2016-06-08 cs.CL
Embarrassingly Simple Unsupervised Aspect Extraction
University of Antwerp(安特卫普大学);University of Groningen(格罗宁根大学)
我们提出了一种简单而有效的方法方面识别情感分析。我们的无监督方法只需要词嵌入和POS标记器,因此可以直接应用于新的领域和语言。我们引入了对比注意力(CAt),一种新的单头注意力机制的基础上的RBF核,这给了一个相当大的提升性能,使模型可解释。以前的工作依赖于句法特征和复杂的神经模型。我们表明,鉴于目前的基准数据集方面提取的简单性,这样复杂的模型是不需要的。复制本文中报告的实验的代码可在https://github.com/clips/cat上获得
2020-04-28 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen(格罗宁根大学);University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
双向长短期记忆(bi-LSTM)网络最近被证明可以成功地用于各种NLP序列建模任务,但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题,并评估双LSTM与字,字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型,它将POS标记损失函数与一个辅助损失函数相结合,该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能,尤其适用于形态复杂的语言。我们的分析表明,双LSTM对训练数据大小和标签损坏(在小噪声水平下)的敏感性低于以前的假设。
2016-07-21 cs.CL