Ending-based Strategies for Part-of-speech Tagging
University of Saskatchewan(萨斯喀彻温大学)
词性标注的概率方法主要依赖于关于词/标签组合的全词统计以及上下文信息。但经验表明,即使训练集高达100万个单词,测试集中也有大约4%的标记是未知的。看不见的单词使用二级策略标记,这些策略利用单词的特征,如结尾,大写和标点符号。在这项工作中,词尾统计是主要的,全词统计是次要的。首先,一个标记者只接受了单词结尾的训练和测试。随后的实验为训练集中出现频率最高的单词添加了全词统计数据。随着规模的扩大,性能有望提高,在极限情况下,性能与基于单词的标记器相同。令人惊讶的是,基于结尾的标记器最初的表现几乎和基于单词的标记器一样好;在最好的情况下,它的性能显着超过了基于单词的标记器。最后,出乎意料的是,出现了负回报的影响-随着规模的扩大,业绩普遍改善,然后又下降。通过改变结尾长度和标签列表策略等因素,我们实现了97.5%的成功率。
2013-02-27 cs.CL
What Taggers Fail to Learn, Parsers Need the Most
Universidade da Coruña(科鲁尼亚大学);CITIC;FASTPARSE Lab, LyS Research Group(FASTPARSE实验室,LyS研究组)
我们提出了一个错误分析的神经UPOS标签,以评估为什么使用黄金标准的标签有这么大的积极贡献,解析性能,而使用预测的UPOS标签要么损害性能或提供一个微不足道的改进。我们评估了神经依赖分析器隐式地学习单词类型,以及这与标记器的错误如何相关,以解释使用预测标记对分析器的最小影响。我们还提出了一个简短的分析,什么情况下导致标记性能的降低。然后,我们屏蔽UPOS标签的基础上所作的错误,标签,标签成功和失败的分类正确和标签错误的影响梳理出UPOS标签的贡献。
2021-04-02 cs.AI cs.CL
A Flexible POS tagger Using an Automatically Acquired Language Model
我们提出了一个算法,自动学习上下文的约束,使用统计决策树。然后,我们在一个灵活的POS标记器中使用所获得的约束。标记器能够使用任何程度的信息:n-gram,自动学习的上下文约束,语言动机手动编写的约束等的来源和种类的约束是不受限制的,语言模型可以很容易地扩展,提高结果。该标记器已经在WSJ语料库上进行了测试和评估。
1997-07-11 cmp-lg cs.CL
Part of Speech Tagging of Marathi Text Using Trigram Method
Banasthali University(班纳斯塔利大学)
在本文中,我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。它是由马哈拉施特拉邦的土著人说的。用于开发标记器的一般方法是使用三元组方法进行统计。trigram的主要概念是基于前两个标签的给定信息,通过计算概率来确定哪个是标签的最佳序列,来探索令牌的最可能的POS。在本文中,我们展示了tagger的发展。此外,我们还进行了评估。
2013-07-15 cs.CL
Evaluating Neural Morphological Taggers for Sanskrit
University of Utah(犹他大学);IIT Kharagpur(印度理工学院克勒格布尔分校);University of Zürich(苏黎世大学)
神经序列标记方法已经在形态标记中取得了最先进的结果。我们评估了四个标准的序列标记模型对梵语,形态丰富,融合的印度语言的有效性。由于其标签空间理论上可以包含超过40,000个标签,因此显式建模标签内部结构的系统更适合这项任务,因为它们能够概括训练期间看不到的标签。我们发现,尽管一些神经模型比其他模型表现得更好,但所有这些模型错误的常见原因之一是由于融合而导致的错误预测。
2020-05-21 cs.CL
An Efficient Inductive Unsupervised Semantic Tagger
我们报告我们的发展,一个简单,但快速,有效的归纳无监督的中文词汇语义标记。使用了348,000个词的POS手写标记语料库。语料库的标记分为两个步骤。首先,从语义词典(同义词词典)、词性和从词性语义的条件概率中选择可能的语义标签,即,P(S| P)。然后通过考虑当前词之前和之后的语义标签以及语义词条件概率P(S)来分配最终语义标签|W)源自第一步。语义二元组概率P(S| S)用于第二步。最后的人工检验表明,这种简单而有效的算法有91%的命中率。标记器每秒标记142个字,使用运行FOXPRO的120 MHz Pentium。它的运行速度比Viterbi tagger快2.3倍。
1996-06-11 cmp-lg cs.CL
A Morphology-System and Part-of-Speech Tagger for German
本文提出了一个集成的德语词法和统计词性标注工具,其目的是使一些行之有效的方法广泛使用。该软件是非常用户友好的,运行在任何PC上,可以作为一个完整的包(包括词典和文档)从万维网下载。与其他标注系统的性能相比,标注器产生类似的结果。
1996-10-30 cmp-lg cs.CL
Investigating Bi-LSTM and CRF with POS Tag Embedding for Indonesian Named Entity Tagger
Prosa Solusi Cerdas(普罗萨智能解决方案公司);School of Electrical Engineering and Informatics(电气与信息工程学院);Institut Teknologi Bandung(万隆理工学院)
印尼语命名实体标注器的研究已有多年的历史。然而,大多数研究没有使用深度学习,而是使用传统的机器学习算法,如关联规则,支持向量机,随机森林,朴素贝叶斯等。在这里,我们尝试在我们的印度尼西亚NE tagger中使用深度学习。我们使用长短期记忆(LSTM)作为拓扑结构,因为它是NE标记器的最新技术。通过使用LSTM,我们不需要单词列表来提高准确性。基本上,我们主要调查两件事。第一个是网络的输出层:Softmax与条件随机场(CRF)。二是词性(POS)标签嵌入输入层的使用。使用8400句作为训练数据和97句作为评估数据,我们发现,使用POS标签嵌入作为额外的输入,提高了我们的印尼NE标记的性能。至于Softmax和CRF之间的比较,我们发现这两种架构在分类NE标签方面都有弱点。
2020-09-11 cs.AI cs.CL
Different Issues in the Design of a Lemmatizer/Tagger for Basque
本文介绍了有关问题,已考虑在设计的通用lemmatizer/标记巴斯克语(EUSLEM)。lemmatizer/tagger被认为是其他语言应用程序所必需的基本工具。它使用的词汇数据库和形态分析仪以前开发和实施。由于语言的特点,这里提出的标记集在层次结构,使每一个层次是一个细化的前一个在这个意义上,它添加了更多的详细信息。我们将集中在设计这个标签集的问题,并将使用的形态消歧的策略。
1995-03-20 cmp-lg cs.CL
Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags
Boğaziçi University(博阿齐奇大学)
以前的研究表明,一个词的语言特征,如拥有,所有格或其他语法情况下,可以采用在单词表示的命名实体识别(NER)标记,以提高性能的形态丰富的语言。然而,这些标签需要外部形态消歧(MD)工具的功能,这是很难获得或不存在的许多语言。在这项工作中,我们提出了一个模型,通过共同学习NER和MD标记的语言,其中一个可以提供一个候选形态分析列表,从而证明了需要这样的消歧器。我们表明,这可以做到独立的形态注释方案,不同的语言。我们的实验采用三种不同的模型架构,加入这两个任务表明,联合学习提高NER的性能。此外,形态消歧器的性能是有竞争力的。
2018-07-17 cs.CL
Learning Named Entity Tagger using Domain-Specific Dictionary
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学);CooTek Inc.(触宝公司)
深度神经模型的最新进展使我们能够构建可靠的命名实体识别(NER)系统,而无需手工制作功能。然而,这样的方法需要大量手动标记的训练数据。人们一直在努力用远程监督(与外部字典结合)取代人类注释,但生成的嘈杂标签对学习有效的神经模型构成了重大挑战。在这里,我们提出了两个神经模型,以适应嘈杂的远程监督的字典。首先,在传统的序列标签框架下,我们提出了一个修改的模糊CRF层来处理具有多个可能标签的令牌。在识别了远程监督中噪声标签的性质之后,我们超越了传统的框架,提出了一种新的、更有效的神经模型AutoNER,并采用了一种新的Tie or Break方案。此外,我们还讨论了如何完善远程监督,以获得更好的NER性能。在三个基准数据集上进行的大量实验表明,AutoNER在只使用字典而不需要额外的人工操作时实现了最佳性能,并在最先进的监督基准测试中提供了有竞争力的结果。
2018-09-10 cs.CL
An Ensemble Approach for Annotating Source Code Identifiers with Part-of-speech Tags
Bowling Green State University(鲍林格林州立大学);Prince Sultan University(苏丹亲王大学);BNY Mellon(纽约梅隆银行);Drew University(德鲁大学)
本文提出了一种集成的源代码标识符词性标注方法。包围标注是一种使用机器学习和来自多个词性标注器的输出来以比词性标注器能够独立获得的更高的质量注释自然语言文本的技术。我们的合奏使用三个国家的最先进的词性标记:SWUM,POSSE和斯坦福大学。我们研究了五种不同类型的标识符名称的合奏的注释的质量:功能,类,属性,参数和声明声明语句在两个单独的单词和完整的标识符名称的水平。同时,我们也研究和讨论了我们的标注器的不足之处,希望通过进一步的研究来促进这些问题的改进。实验结果表明,该集成方法在识别符级的识别率达到75%,在词级的识别率达到84- 86%.这是在标识符级别上从最接近的独立词性标注器增加了+17\%点。
2021-09-01 cs.CL cs.SE
Hierarchical Character Tagger for Short Text Spelling Error Correction
eBay Inc.(eBay公司)
最先进的拼写错误纠正方法包括基于Transformer的Seq 2Seq模型,它需要大量的训练集,并且推理时间很慢;以及基于Transformer编码器(如BERT)的序列标记模型,它涉及标记级标签空间,因此需要大量的预定义词汇词典。在本文中,我们提出了一个层次化的字符标记模型,或HCTagger,短文本拼写错误校正。我们在字符级使用预先训练的语言模型作为文本编码器,然后预测字符级编辑,以将原始文本转换为具有更小标签空间的无错误形式。对于解码,我们提出了一个分层的多任务方法,以减轻长尾标签分布的问题,而不引入额外的模型参数。在两个公开的拼写错误纠正数据集上的实验表明,HCTagger是一种准确且比许多现有模型快得多的方法。
2021-09-29 cs.CL cs.LG
Improving Data Driven Wordclass Tagging by System Combination
在本文中,我们将研究如何利用执行相同NLP任务的不同数据驱动系统之间的建模差异,以获得比最佳单个系统更高的准确性。我们这样做是通过一个实验,涉及的任务,形态句法词类标记。四个著名的标注生成器(隐马尔可夫模型,基于记忆,转换规则和最大熵)在相同的语料库数据进行训练。比较后,他们的输出结合使用几个投票策略和第二阶段分类器。所有组合标记器都优于其最佳组件,最佳组合的错误率比最佳单个标记器低19.1%。
1998-07-31 cmp-lg cs.CL
A Freely Available Morphological Analyzer, Disambiguator and Context Sensitive Lemmatizer for German
在本文中,我们提出了Morphy,德语形态,词性标注和上下文敏感的词形化的综合工具。它拥有超过320,000个单词形式的大型词典,加上它处理德语复合名词的能力,保证了广泛的形态覆盖范围。句法歧义可以用标准的统计词性标注器来解决。通过使用标记器的输出,词形化器可以确定正确的词根,即使是有歧义的单词形式。完整的软件包是免费提供的,可以从万维网下载。
1998-09-23 cs.CL
Rapid Adaptation of POS Tagging for Domain Specific Uses
University of Delaware(特拉华大学);Georgetown University Medical Center(乔治城大学医学中心)
词性标注是自然语言分析、信息抽取和问答等自然语言处理的基础。当POS标记器在一个域中训练并应用于显著不同的域时,其性能可能会显着降低。我们提出了一种快速适应新领域的POS标签的方法。我们的技术是无监督的,因为新领域的手动注释语料库是不必要的。我们使用从大量原始文本中收集的后缀信息以及正字法信息来增加词汇覆盖率。我们提出了一个实验中的生物领域,我们的POS标签实现的结果相比,专门训练到这个领域的POS标签。
2014-10-31 cs.CL cs.LG stat.ML
GECToR -- Grammatical Error Correction: Tag, Not Rewrite
Grammarly(Grammarly公司)
在本文中,我们提出了一个简单而有效的GEC序列标签使用Transformer编码器。我们的系统在合成数据上进行预训练,然后分两个阶段进行微调:第一阶段是在有错误的语料库上,第二阶段是在有错误和无错误的并行语料库的组合上。我们设计了自定义的令牌级转换,以将输入令牌映射到目标更正。我们最好的单模型/集合GEC标记器在CoNLL-2014(测试)上实现了65.3/66.5的$F_{0.5}$,在NLL-2019(测试)上实现了72.4/73.6的$F_{0.5}$。它的推理速度是基于transformer的seq 2seq GEC系统的10倍。代码和训练模型是公开的。
2020-05-29 cs.CL cs.LG
TTLab at AlexandriaX-2026: A Fine-Tuned Surface Tagger for Arabic Machine-Translation Error-Span Detection and Classification
Text Technology Lab (TTLab)(文本技术实验室);Goethe University Frankfurt(法兰克福大学)
TTLab提交至AlexandriaX-2026,采用表面形式词级分类、焦点损失与方言阈值,MARBERTv2最佳,开发集40.8,测试集40.91,排名第3,稀有错误分类仍难。
2026-09-25 cs.AI cs.CL cs.LG