Building a Kannada POS Tagger Using Machine Learning and Neural Network Models
Manipal Institute of Technology（马尼帕尔理工学院）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
POS标记是许多NLP应用程序的初步任务。卡纳达语是一种相对较差的印度语言，可供使用的高质量NLP工具数量非常有限。一个准确可靠的POS Tagger对于许多NLP任务来说是必不可少的，比如浅层解析，依存句法分析，情感分析，命名实体识别。我们提出了一个统计POS标注卡纳达语使用不同的机器学习和神经网络模型。我们的卡纳达语POS标记器的性能比最先进的卡纳达语POS标记器高出6%。我们在本文中的贡献是三倍-建立一个通用的POS标记，比较不同的建模技术的性能，探索使用字符和词嵌入一起卡纳达语POS标记。
2018-08-09 cs.CL
An Experimental Investigation of Part-Of-Speech Taggers for Vietnamese
University of Engineering and Technology, VNU Hanoi（河内国立大学工程技术大学）；Ton Duc Thang University（孙德胜大学）
词性标注在自然语言处理中起着重要的作用。它可以应用于许多自然语言处理任务，如命名实体识别、句法分析、依存句法分析和文本组块。在本文中进行的调查，我们利用两个广泛使用的工具包，ClearNLP和斯坦福POS标签的技术，以及开发两个新的POS标记越南语，然后将它们与三个著名的越南语标签，即JVnTagger，vnTagger和RDRPOSTagger。我们做了一个系统的比较，以找出具有最佳性能的标记器。我们还设计了一个新的功能集来衡量统计标记器的性能。我们从Stanford Tagger和ClearNLP构建的新标记器具有新的功能集，可以在标记准确性方面胜过所有其他越南标记器。此外，我们还分析了一些特征对统计标记器性能的影响。最后，实验结果还表明，基于转换的标签，RDRPOSTagger，可以运行速度显着快于任何其他统计标签。
2022-06-14 cs.CL
Weakly Supervised POS Taggers Perform Poorly on Truly Low-Resource Languages
New York University（纽约大学）；Siteimprove；University of Copenhagen（哥本哈根大学）
用于低资源语言的词性（POS）标记器，其完全基于各种形式的弱监督-例如，跨语言迁移、类型级监督或其组合-已经被报告执行得几乎与监督的一样好。然而，弱监督的POS标记器通常只在与真正的低资源语言非常不同的语言上进行评估，并且标记器使用信息源，如高覆盖率和几乎无错误的字典，这可能不适用于资源贫乏的语言。我们训练和评估国家的最先进的弱监督POS标记的类型多样的15个真正的低资源的语言。在这些语言上，给定现实的资源量，即使是我们最好的模型也只能正确识别不到一半的单词。我们的研究结果强调了需要新的和不同的方法来真正的低资源语言的词性标注。
2020-04-28 cs.CL
Incorporating External POS Tagger for Punctuation Restoration
Alibaba Group（阿里巴巴集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）
标点恢复是自动语音识别中的一个重要后处理步骤。在其他类型的外部信息中，词性（POS）标记器提供信息性标记，表明每个输入标记的句法角色，这已被证明是有益的标点符号恢复任务。在这项工作中，我们将一个外部的POS标签和融合到现有的语言模型的预测标签，以提供句法信息。此外，我们提出了序列边界采样（SBS）学习标点符号的位置更有效地作为一个序列标记任务。实验结果表明，我们的方法可以始终如一地获得性能增益，并实现了一个新的国家的最先进的共同的IWITOS基准。进一步的消融研究表明，大型预训练的语言模型和外部POS标注器都是提高模型性能的关键部分。
2021-06-12 cs.CL
Optimal Size-Performance Tradeoffs: Weighing PoS Tagger Models
IT University of Copenhagen（哥本哈根信息技术大学）
基于机器学习的NLP性能的改进通常是通过更大的模型和更复杂的代码来呈现的。这是一个权衡：更好的分数是以更大的工具为代价的;更大的模型往往需要更多的训练和推理时间。我们提出了多种方法来测量模型的大小，并将其与模型的性能进行比较。在词性标注的案例研究中，我们将这些技术应用于八种语言的标注器，并提出了一种新的分析，确定哪些标注器是尺寸性能最佳的。结果表明，一些经典的标签的地方跨语言的大小性能的天际线。此外，尽管深度模型对于多个分数具有最高的性能，但通常不是这些模型中最复杂的模型达到峰值性能。
2021-04-16 cs.CL
Hate Speech and Offensive Language Detection in Bengali
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
社交媒体经常成为各种仇恨和攻击性内容的滋生地。识别社交媒体上的此类内容至关重要，因为它会对一个无偏见的社会中的种族，性别或宗教产生影响。然而，虽然在英语中的仇恨言论检测方面有广泛的研究，但在孟加拉语等低资源语言中的仇恨内容检测方面存在差距。此外，社交媒体上目前的趋势是使用罗马化的孟加拉语进行定期互动。为了克服现有研究的局限性，在这项研究中，我们开发了一个10 K孟加拉语帖子的注释数据集，其中包括5 K实际和5 K罗马化孟加拉语推文。我们实现了几个基线模型，用于对此类仇恨帖子进行分类。我们进一步探索语际迁移机制，以提高分类性能。最后，我们通过查看模型错误分类的帖子来进行深入的错误分析。在分别训练实际数据集和罗马化数据集时，我们观察到XLM-Roberta表现最好。此外，我们看到，在联合训练和Few-Shot训练中，MuRIL通过更好地解释语义表达而优于其他模型。我们让我们的代码和数据集对其他人公开。
2022-10-07 cs.CL
Cross-Domain Evaluation of POS Taggers: From Wall Street Journal to Fandom Wiki
IT University of Copenhagen（哥本哈根信息技术大学）
本研究基于Elder Scrolls Fandom数据构建数据集，评估两款在WSJ上训练的POS标注器的跨域性能，发现其见过的词元性能接近域内水平，但未知词元准确率明显下降，且都难以处理专有名词和大小写不一致问题。
2023-04-27 cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University（巴纳斯塔利大学）
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言，词性标注是一个突出的工具。它是许多NLP应用程序中最简单，最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段，如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中，我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram，Bigram，Trigram和HMM方法的统计方法。给出了一个清晰的思路，并给出了相应的例子.它还介绍了一个标记集的马拉地语，可用于标记马拉地语文本。在本文中，我们已经显示了标记器的发展，以及比较，以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
GWPT: A Green Word-Embedding-based POS Tagger
University of Southern California（南加州大学）
本文提出轻量级词性标注器GWPT，通过绿色学习框架下对词嵌入维度索引分频并用不同N-gram表示，以更少参数和更低计算复杂度达到最先进准确率。
2024-01-15 cs.CL
On the Evaluation and Comparison of Taggers: The Effect of Noise in Testing Corpora
本文讨论了{ \sc pos}标记器评估问题。这种评估通常通过将标注器输出与参考测试语料库进行比较来执行，该参考测试语料库被假设为无错误。目前使用的语料库包含噪声，这导致获得的性能是真实值的失真。我们分析在何种程度上这种扭曲可能会无效的标签或一个新的系统所提供的改进措施之间的比较。主要结论是，需要更严格的测试实验设置/设计，以可靠地评估和比较标签的准确性。
1998-09-28 cs.CL
Character Eyes: Seeing Language through Character-Level Taggers
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）；Facebook AI Research（脸书人工智能研究院）
近年来，在自然语言处理任务中，词汇表级模型被广泛地用作封闭词汇表级词表征的补充和替代。在一种流行的体系结构中，字符级LSTM用于将令牌表示馈送到序列标记器中，预测诸如词性（POS）标记的令牌级注释。在这项工作中，我们从字符LSTM中的各个隐藏单元的角度来研究跨语言的POS标记器的行为。我们将这些单元的行为聚合成语言级别的指标，这些指标量化了标记者在具有不同形态属性的语言上面临的挑战，并确定了合成和词缀偏好与隐藏标记者层的紧急行为之间的联系。在一个比较实验中，我们展示了如何修改前向和后向隐藏单元之间的平衡影响模型的安排和性能，在这些类型的语言。
2019-03-12 cs.CL
UzbekTagger: The rule-based POS tagger for Uzbek language
Urgench State University（乌尔根奇国立大学）；Universidade da Coruña（拉科鲁尼亚大学）
本研究提出了一个词性（POS）注释数据集和标记工具的低资源乌兹别克语。该数据集包括12个标签，用于开发基于规则的POS标记工具。为了保证语料库的代表性，在标注过程中使用的语料库文本必须在20个不同的领域中保持平衡。乌兹别克语是一种黏着语，所以乌兹别克语句子中的大部分单词都是通过添加后缀形成的。它的这种性质使得POS标记任务很难找到单词的词干和它们所属的正确词性。这项研究提出的方法是词干的词缀/后缀剥离的方法，包括数据库的词干形式的乌兹别克语。在注释数据集上测试了标记工具，在识别和标记乌兹别克语文本中的词性方面显示出很高的准确性。这个新提出的数据集和标记工具可用于各种自然语言处理任务，如语言建模，机器翻译和文本到语音合成。所呈现的数据集是第一个公开提供给乌兹别克语的数据集，创建的POS标记工具也可以用作其他密切相关的突厥语的基础。
2023-03-01 cs.CL
When silver glitters more than gold: Bootstrapping an Italian part-of-speech tagger for Twitter
University of Groningen（格罗宁根大学）
在Evalita 2016 PoSTWITA共享任务的背景下，我们引导一个最先进的词性标记器来标记意大利语Twitter数据。我们发现，在本地Twitter数据上训练标记器，这些数据中包含少量专门选择的黄金数据和从Facebook上抓取的额外的银标记数据，比使用大量来自混合类型的手动注释数据产生更好的结果。
2016-11-09 cs.CL
Rule based Part of speech Tagger for Homoeopathy Clinical realm
Babasaheb Bhimrao Ambedkar University（巴巴萨赫布·比姆拉奥·安贝德卡尔大学）
tagger是大多数文本审查系统的强制部分，因为它委托一个语法类（例如，（一）“凡”字，“凡”字，“凡”字。在本文中，我们提出了一个简单的顺势疗法临床语言的词性标注。本文报告了顺势疗法临床语言的预期词性标注。它采用标准模式来评价句子，使用了20085个词的未标记的临床语料库，我们从其中选择了125个句子（2322个标记）。自然语言处理中的标注问题是要找到一种方法，将文本中的每个单词都标注为细致的词性。其基本思想是对临床句子和每个单词应用一组规则，准确性是评估任何POS标注器的主要因素，因此建议的标注器的准确性也被转换。
2011-11-13 cs.CL
Bengali Fake Reviews: A Benchmark Dataset and Detection System
Ahsanullah University of Science and Technology（阿萨拉乌拉科技大学）
本文构建了首个孟加拉语虚假评论检测基准数据集BFRD，并提出结合多个BanglaBERT预训练模型的加权集成检测系统，取得了最高0.9843的加权F1分数。
2024-05-04 cs.CL
Milestones in Bengali Sentiment Analysis leveraging Transformer-models: Fundamentals, Challenges and Future Directions
The Pennsylvania State University（宾夕法尼亚州立大学）；Rajshahi University of Engineering & Technology（拉杰沙希工程技术大学）
本文系统梳理了基于Transformer模型的孟加拉语情感分析研究现状，分析了现有数据集不足与语言特性带来的挑战，并提出了未来改进方向。
2024-01-15 cs.CL
Identifying Bengali Multiword Expressions using Semantic Clustering
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；National Institute of Technology, Meghalaya（梅加拉亚国立理工学院）；Jadavpur University（贾达普大学）
自然语言理解和生成的关键问题之一是多词表达式的正确处理。由于其在词汇、句法和语义等方面的特殊性和多样性，MWE给精确的语言处理带来了巨大的困难。MWE的语义不能在组合其组成部分的语义之后表达。因此，语义聚类的形式主义通常被视为提取MWE的工具，特别是对于孟加拉语等资源约束语言。本语义聚类方法有助于定位存在于文档中的同义名词标记的聚类。这些聚类反过来又有助于使用向量空间模型来测量潜在候选短语的组成词之间的相似性，并判断该短语是否适合作为MWE。在这个实验中，我们将语义聚类方法应用于名词-名词二元语法MWE，尽管它可以扩展到任何类型的MWE。同时，著名的统计模型，即逐点互信息（PMI），对数似然比（LLR），显著性函数也被用来提取MWE从孟加拉语语料库。比较评估表明，语义聚类方法优于所有其他竞争的统计模型。作为这项实验的副产品，我们已经开始开发一个标准的孟加拉语词典，作为一个生产孟加拉语词库。
2014-01-23 cs.CL
A Flexible POS tagger Using an Automatically Acquired Language Model
我们提出了一个算法，自动学习上下文的约束，使用统计决策树。然后，我们在一个灵活的POS标记器中使用所获得的约束。标记器能够使用任何程度的信息：n-gram，自动学习的上下文约束，语言动机手动编写的约束等的来源和种类的约束是不受限制的，语言模型可以很容易地扩展，提高结果。该标记器已经在WSJ语料库上进行了测试和评估。
1997-07-11 cmp-lg cs.CL
EmoBang: Detecting Emotion From Bengali Texts
Charles Darwin University（查尔斯达尔文大学）；Wake Forest University（维克森林大学）；Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学）
本文针对孟加拉语情感检测资源不足的问题，构建了八类情感数据集，提出EmoBangHybrid和EmoBangEnsemble两种模型，并建立首个全面基准，准确率分别达92.86%和93.69%。
2025-11-10 cs.CL
Evaluating DisCoCirc in Translation Tasks & its Limitations: A Comparative Study Between Bengali & English
University of Oxford（牛津大学）
本文扩展DisCoCirc框架至孟加拉语并应用于英孟互译，重新评估其减少语言冗余的效果，发现因语言结构差异存在局限性，即使简单句也难处理，还探讨了英语连词与布尔逻辑的联系。
2025-11-02 cs.CL
Hidden Markov Model Based Part of Speech Tagger for Sinhala Language
Virtusa (Pvt.) Ltd（Virtusa（私人）有限公司）
在本文中，我们提出了一个基本的词汇语义的僧伽罗语和隐马尔可夫模型（HMM）为僧伽罗语的词性标注。在任何自然语言处理任务中，词性分析都是一个非常重要的课题，它涉及到对语言的结构、行为和动态的分析，这些知识可以用于计算语言学分析和自动化应用。虽然僧伽罗语是一种形态丰富和黏着的语言，其中单词具有各种语法特征，但标记对于进一步分析语言非常重要。我们的研究是基于统计的方法，其中的标记过程是通过计算的标签序列概率和词的可能性概率从给定的语料库，其中的语言知识是自动提取的注释语料库。目前的标记器可以达到90%以上的准确率为已知的话。
2014-07-10 cs.CL
Part of speech tagging for code switched data
The George Washington University（乔治华盛顿大学）；University of Houston（休斯顿大学）；Columbia University（哥伦比亚大学）
我们解决的问题的词性标注（POS）的语言代码转换（CS）的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象，分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这种技术适合于一次处理一种语言。在本文中，我们探讨了多种策略，应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对，西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明，应用机器学习框架，使用两个国家的最先进的POS标签实现了更好的性能相比，我们调查的所有其他方法。
2019-11-03 cs.CL
Reduplicated MWE (RMWE) helps in improving the CRF based Manipuri POS Tagger
MIT, Manipur University（曼尼普尔大学MIT分校）；Manipur University（曼尼普尔大学）；Jadavpur University（jadavpur大学）
本文对基于条件随机场（CRF）的词性标注中的修正特征选择进行了详细的综述。在CRF中，特征的选择是如此重要，特征越好，输出就越好。本工作是一种尝试或实验，使以前的工作更有效率。尝试多个新功能来运行CRF，并再次尝试使用重复多词表达式（RMWE）作为另一个功能。由于曼尼普尔语中含有丰富的RMWE，因此CRF与RMWE一起运行，而RMWE的识别成为提出词性标注结果的必要条件之一。新的CRF系统的召回率为78.22%，准确率为73.15%，F-测量为75.60%。识别出RMWE并将其作为特征，使召回率提高到80.20%，准确率提高到74.31%，F-测度提高到77.14%。
2012-03-22 cs.CL
An Efficient Inductive Unsupervised Semantic Tagger
我们报告我们的发展，一个简单，但快速，有效的归纳无监督的中文词汇语义标记。使用了348，000个词的POS手写标记语料库。语料库的标记分为两个步骤。首先，从语义词典（同义词词典）、词性和从词性语义的条件概率中选择可能的语义标签，即，P（S| P）。然后通过考虑当前词之前和之后的语义标签以及语义词条件概率P（S）来分配最终语义标签|W）源自第一步。语义二元组概率P（S| S）用于第二步。最后的人工检验表明，这种简单而有效的算法有91%的命中率。标记器每秒标记142个字，使用运行FOXPRO的120 MHz Pentium。它的运行速度比Viterbi tagger快2.3倍。
1996-06-11 cmp-lg cs.CL
Comparing a Linguistic and a Stochastic Tagger
关于不同的方法来自动PoS标记：EngCG-2，一个基于约束的形态标记，在双盲测试中进行比较，与最先进的统计标记在一个共同的消歧任务，使用一个共同的标签集。实验表明，对于相同的剩余歧义，统计标注器的错误率比基于规则的标注器的错误率高一个数量级。两个相关的问题的启动影响妥协的结果和人类注释者之间的分歧也得到了解决。
1997-06-07 cmp-lg cs.CL
Part of Speech Tagging in Thai Language Using Support Vector Machine
弹性输入神经标记器和混合标记器，结合神经网络和Brill的错误驱动学习，已经被提出用于使用尽可能少的训练数据来构造实用的标记器。当一个小的泰国语料库用于训练，这些标记器的标记准确率分别为94.4%和95.5%（仅占歧义词的词性）。在这项研究中，为了构建更准确的标签，我们开发了新的标记方法，使用三种机器学习方法：决策表，最大熵，和支持向量机方法。然后，我们使用这些方法进行标记实验。我们的结果表明，支持向量机的方法具有最好的精度（96.1%），它是能够提高在泰语标注的准确性。最后，我们从理论上对这些方法进行了检验，并讨论了如何实现这些改进。
2001-12-05 cs.CL
Investigating Bi-LSTM and CRF with POS Tag Embedding for Indonesian Named Entity Tagger
Prosa Solusi Cerdas（普罗萨智能解决方案公司）；School of Electrical Engineering and Informatics（电气与信息工程学院）；Institut Teknologi Bandung（万隆理工学院）
印尼语命名实体标注器的研究已有多年的历史。然而，大多数研究没有使用深度学习，而是使用传统的机器学习算法，如关联规则，支持向量机，随机森林，朴素贝叶斯等。在这里，我们尝试在我们的印度尼西亚NE tagger中使用深度学习。我们使用长短期记忆（LSTM）作为拓扑结构，因为它是NE标记器的最新技术。通过使用LSTM，我们不需要单词列表来提高准确性。基本上，我们主要调查两件事。第一个是网络的输出层：Softmax与条件随机场（CRF）。二是词性（POS）标签嵌入输入层的使用。使用8400句作为训练数据和97句作为评估数据，我们发现，使用POS标签嵌入作为额外的输入，提高了我们的印尼NE标记的性能。至于Softmax和CRF之间的比较，我们发现这两种架构在分类NE标签方面都有弱点。
2020-09-11 cs.AI cs.CL
Stack Exchange Tagger
我们项目的目标是为Stack Exchange上发布的问题开发一个准确的标记器。我们的问题是为大规模文本数据集开发准确分类器的更一般问题的一个实例。我们正在处理多标签分类问题，其中每个项目（在本例中为问题）可以属于多个类（在本例中为标签）。我们预测的标签（或关键字），为一个特定的堆栈交换后，只有问题的文本和标题的职位。在此过程中，我们比较了不同核函数、损失函数等的支持向量分类器（SVC）的性能，发现线性SVC与Crammer Singer技术的效果最好。
2015-12-13 cs.CL cs.LG
Gradient Masters at BLP-2025 Task 1: Advancing Low-Resource NLP for Bengali using Ensemble-Based Adversarial Training for Hate Speech Detection
SUST（斯瓦希里大学）
本文提出基于集成的对抗训练方法，用于孟加拉语低资源NLP中的仇恨言论检测，提升了子任务的分类性能。
2025-11-23 cs.CL
Inducing Multilingual Text Analysis Tools Using Bidirectional Recurrent Neural Networks
CEA, LIST, LVIC（法国原子能与替代能源委员会，信息与系统技术实验室，LVIC）；LIG, Univ. Grenoble-Alpes（格勒诺布尔计算机科学实验室，格勒诺布尔-阿尔卑斯大学）
这项工作的重点是快速开发的语言注释工具，资源贫乏的语言。我们使用循环神经网络（RNN）模型实验了几种跨语言注释投影方法。我们的方法的显着特点是，我们的多语种单词表示只需要一个平行的语料库之间的源和目标语言。更确切地说，我们的方法具有以下特点：（a）它不使用单词对齐信息，（b）它不假设任何关于外语的知识，这使得它适用于广泛的资源贫乏的语言，（c）它提供真正的多语言标记。我们研究了单向和双向RNN模型，并提出了一种方法，将外部信息（例如来自POS的低级别信息）包含在RNN中，以训练更高级别的标记器（例如，超感标记器）。我们证明了我们的模型的有效性和通用性，通过使用平行语料库（手动或自动翻译获得）。我们的实验是为了诱导跨语言的词性标注和超义标注。
2016-09-29 cs.CL
Unsupervised Part-of-Speech Induction
University of Pittsburgh（匹兹堡大学）
词性标注是自然语言处理中一项古老而基础的工作。虽然监督POS标记器已经显示出有希望的准确性，但由于缺乏标记数据，使用监督方法并不总是可行的。在这个项目中，我们试图通过一个层次凝聚聚类过程迭代地寻找一个重复出现的单词模式，从而毫不奇怪地诱导POS标签。我们的方法显示出有前途的结果相比，国家的最先进的无监督POS标签的标记结果。
2018-01-10 cs.CL
Part of Speech Tagging of Marathi Text Using Trigram Method
Banasthali University（班纳斯塔利大学）
在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。它是由马哈拉施特拉邦的土著人说的。用于开发标记器的一般方法是使用三元组方法进行统计。trigram的主要概念是基于前两个标签的给定信息，通过计算概率来确定哪个是标签的最佳序列，来探索令牌的最可能的POS。在本文中，我们展示了tagger的发展。此外，我们还进行了评估。
2013-07-15 cs.CL
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
本文构建含10,000道题的PatiGonit数据集，并微调多种Transformer模型求解孟加拉语数学应用题，其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
Modeling Romanized Hindi and Bengali: Dataset Creation and Multilingual LLM Integration
Department of EECS, Embry-Riddle Aeronautical University, Daytona Beach, FL, USA（电子工程与科学系，埃姆布里-里德尔航空大学，日落海滩，佛罗里达州，美国）；NLP Engineering Team, Hishab Singapore Pte. Ltd, Singapore（自然语言处理工程团队，Hishab新加坡私人有限公司，新加坡）；Department of Computer Information Systems, Texas A&M University - Central Texas, Texas, USA（计算机信息系统系，德克萨斯A&M大学-中央德克萨斯分校，德克萨斯州，美国）
本文提出了一种新的转写数据集和定制多语言模型，用于提高罗马化印地语和孟加拉语的转写效果。
2025-11-27 cs.CL
A Grounded Unsupervised Universal Part-of-Speech Tagger for Low-Resource Languages
Charles University in Prague（布拉格查理大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Southern California（南加州大学）
无监督词性标注通常被视为一个聚类问题，但实际的标注者也需要对它们的聚类进行\textit{ground}。基础通常需要引用标记的数据，这是低资源语言可能没有的奢侈。在这项工作中，我们描述了一种低资源的无监督POS标记，产生完全接地输出，不需要标记的训练数据的方法。我们发现Brown等人（1992）的经典方法在我们的用例中很好地聚类，并采用基于解密的方法来接地。这种方法假定一个簇ID序列是一个“密文”，并寻求一个POS标签到簇ID的映射，这将揭示POS序列。我们从本质上表明，尽管任务的难度，我们在各种语言中获得合理的性能。我们还表明，将我们的POS标签到一个名称标签导致国家的最先进的标记性能在僧伽罗语和基尼亚卢旺达语，两种语言几乎没有标记的POS数据。我们通过将其并入Malopa的真正“零资源”变体（Ammar等人，2016）依赖解析器模型，消除了当前对多语言资源和新语言的黄金POS标签的依赖。实验表明，包括我们的标签弥补了大部分的准确性损失时，黄金POS标签不可用。
2019-04-10 cs.AI cs.CL cs.LG
Parts-of-Speech Tagger Errors Do Not Necessarily Degrade Accuracy in Extracting Information from Biomedical Text
CRC for Innovative Dairy Products（创新乳制品合作研究中心）；The University of Melbourne（墨尔本大学）；Victorian Bioinformatics Consortium（维多利亚生物信息学联盟）；Monash University（莫纳什大学）
最近的一项研究报告了Muscorian的发展，这是一种通用的文本处理工具，用于从文本中提取蛋白质-蛋白质相互作用，其性能可与生物医学特定的文本处理工具相媲美。这一结果是出乎意料的，因为一系列文本分析过程中的潜在错误可能会对整个过程的结果产生不利影响。大多数生物医学实体关系提取工具使用生物医学特定的词性（POS）标记器作为POS标记的错误，并可能影响后续的文本语义分析，如浅层解析。本研究旨在评估词性（POS）标记的准确性，并试图探讨是否获得了可比的性能时，通用的POS标记，MontyTagger，被用来代替MedPost，一个tagger训练的生物医学文本。我们的结果表明，在生物医学文本上测试时，Muscorian的POS标签器MontyTagger的POS标签准确率为83.1%。用MedPost替换MontyTagger并没有导致从文本中提取实体关系的显著改善;在定向关系上，MontyTagger的精确度为55.6%，MedPost为56.8%，在非定向关系上，MontyTagger为86.1%，MedPost为81.8%。这是意料之外的，因为MontyTagger的不良POS标记可能会影响信息抽取的结果。对词性标注错误的分析表明，78.5%的标注错误被浅层句法分析所弥补。因此，尽管标记准确率为83.1%，但MontyTagger的功能标记准确率为94.6%。
2008-04-02 cs.CL cs.IR
BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali
Department of Computer Science and Engineering, Islamic University of Technology（伊斯兰科技大学计算机科学与工程系）；Department of Computer Science and Engineering, University of California（加州大学计算机科学与工程系）
针对孟加拉语大语言模型幻觉评估的空白，提出BenHalluEval框架，涵盖四项任务，构建12000个幻觉候选，并提出双轨校准指标BenHalluScore，揭示模型间幻觉校准的显著差异。
2026-08-07 cs.AI cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
How Effectively Can BERT Models Interpret Context and Detect Bengali Communal Violent Text?
BRAC University（BRAC大学）
本研究微调BanglaBERT模型检测孟加拉语社群暴力文本，通过数据扩充和集成学习将宏F1分数从0.60提升至0.63，并利用LIME和余弦相似度分析揭示模型在上下文理解上的局限，为减少在线社群暴力提供了有效工具。
2025-06-24 cs.CL
Semantic Tagging with Deep Residual Networks
University of Groningen（格罗宁根大学）
我们提出了一种新的语义标记任务，sem-tagging，为多语言语义解析的目的，并提出了第一个使用深度残差网络（ResNets）的标记器。我们的标签使用单词和字符表示，并包括一个新的残留旁路架构。我们评估的标签集本质上的语义标记的新任务，以及词性（POS）标记。我们的系统，由一个ResNet和一个辅助损失函数预测我们的语义标签，显着优于以前的结果对英语通用词汇词性标注（95.71%的准确率UD v1.2和95.67%的准确率UD v1.3）。
2016-10-31 cs.CL
Surfing the modeling of PoS taggers in low-resource scenarios
University of Vigo（维戈大学）
本文评估了在低资源场景下，通过早期估计学习曲线来选择非深度模型的方法，并以加利西亚语词性标注器生成为案例，验证了该方法的可靠性。
2024-02-04 cs.CL cs.LG
Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags
Boğaziçi University（博阿齐奇大学）
以前的研究表明，一个词的语言特征，如拥有，所有格或其他语法情况下，可以采用在单词表示的命名实体识别（NER）标记，以提高性能的形态丰富的语言。然而，这些标签需要外部形态消歧（MD）工具的功能，这是很难获得或不存在的许多语言。在这项工作中，我们提出了一个模型，通过共同学习NER和MD标记的语言，其中一个可以提供一个候选形态分析列表，从而证明了需要这样的消歧器。我们表明，这可以做到独立的形态注释方案，不同的语言。我们的实验采用三种不同的模型架构，加入这两个任务表明，联合学习提高NER的性能。此外，形态消歧器的性能是有竞争力的。
2018-07-17 cs.CL
POS tagging, lemmatization and dependency parsing of West Frisian
Fryske Akademy（弗里斯兰学院）；University of Groningen（格罗宁根大学）；BNOSAC；Utrecht University（乌得勒支大学）
我们提出了一个lemmatizer/POS标签/依赖分析器西弗里斯兰语使用语料库的44,714个单词的3,126句，根据通用依赖版本2的指导方针进行注释。POS标签被分配给单词使用荷兰语POS标签，适用于逐字翻译，或荷兰语平行文本的句子。使用弗里斯兰语翻译程序Oersetter创建的直译时获得了最佳结果。形态和句法注释的基础上产生的荷兰语直译以及。将使用默认参数训练时的lemmatizer/tagger/annotator的性能与使用用于训练LassySmall UD 2.5语料库的参数值时获得的性能进行比较。一个显着的改善被发现为'lemma'。Frisian lemmatizer/PoS tagger/dependency parser作为Web应用程序和Web服务发布。
2021-07-28 cs.CL stat.ML
JU_KS@SAIL_CodeMixed-2017: Sentiment Analysis for Indian Code Mixed Social Media Texts
Jadavpur University（贾达普大学）
本文报告了我们在NLP工具竞赛@ICON-2017中的工作，共享任务是印度语言的情感分析（SAIL）（代码混合）。为了实现我们的系统，我们使用了一个机器学习算法，称为多项式朴素贝叶斯训练使用n-gram和SentiWordnet功能。我们还为英语使用了一个小SentiWordnet，为孟加拉语使用了一个小SentiWordnet。但我们没有使用任何SentiWordnet为印地语。我们已经在为大赛发布的印地语-英语和孟加拉语-英语代码混合的社交媒体数据集上测试了我们的系统。该系统的性能已经非常接近参加比赛的最佳系统。对于孟加拉语-英语和印地语-英语运行，我们的系统在所有提交的运行中排名第三，并在比赛中获得第三名。
2018-02-15 cs.CL
From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages
Bavarian Academy of Sciences (BAdW)（巴伐利亚科学院）；Department of Statistics, LMU Munich, Germany（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML), LMU Munich, Germany（慕尼黑机器学习中心）
本文比较了传统规则和统计标注器与现代开源LLMs在中世纪罗曼语词性标注中的表现，发现LLMs在零样本、少样本、单语微调和跨语言迁移学习中均表现更优，尤其在资源匮乏语言中跨语言迁移学习效果显著。
2026-05-09 cs.AI cs.CL stat.AP
AsPOS: Assamese Part of Speech Tagger using Deep Learning Approach
词性标注是自然语言处理的重要内容。这是一个在几种资源丰富的语言中得到充分研究的主题。然而，尽管存在许多历史和文学丰富的语言，但计算语言资源的发展仍处于起步阶段。阿萨姆语是印度的一种法定语言，有超过2500万人使用，属于这一类。在本文中，我们提出了一个基于深度学习（DL）的阿萨姆语词性标注器。开发过程分为两个阶段。在第一阶段，使用预先训练好的词嵌入来训练多个标注模型。这使我们能够评估词嵌入在词性标注任务中的性能。第一阶段中表现最好的模型被用来注释另一组新句子。在第二阶段，使用新的数据集进一步训练模型。最后，我们达到了86.52%的标记准确率在F1评分。该模型可作为进一步研究基于DL的阿萨姆语词性标注的基础。
2022-12-14 cs.AI cs.CL cs.LG
Multimodal Hate Speech Detection from Bengali Memes and Texts
Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；Noakhali Science and Technology University（诺阿卡利科技大学）；University of Siegen（锡根大学）；University of Galway（戈尔韦大学）
已经提出了许多基于机器学习（ML）和深度学习（DL）的方法，以利用来自社交媒体的文本数据进行反社会行为分析，如网络欺凌、假新闻检测和仇恨言论识别，主要针对英语等资源丰富的语言。然而，尽管有很多的多样性和数以百万计的母语，一些语言，如孟加拉语资源不足，这是由于缺乏自然语言处理（NLP）的计算资源。与其他语言类似，孟加拉语社交媒体内容也包括图像和文本（例如，多模态模因通过将短文本嵌入到Facebook上的图像中来发布）。因此，只有文本数据不足以判断它们，因为图像可能会提供额外的上下文来做出正确的判断。本文是关于仇恨语言检测多模态孟加拉模因和文本。我们为孟加拉语的一种问题准备了唯一的多模态仇恨语音数据集，我们用它来训练最先进的神经架构（例如，具有词嵌入的Bi-LSTM/Conv-LSTM，ConvNets +预训练的语言模型，例如，单语孟加拉语BERT、多语言BERT-cased/uncased和XLM-RoBERTa）来联合分析文本和视觉信息以用于仇恨语音检测。Conv-LSTM和XLM-RoBERTa模型对文本的表现最好，F1得分分别为0.78和0.82。对于模因，ResNet-152和DenseNet-161模型的F1得分分别为0.78和0.79。对于多模态融合，XLM-RoBERTa + DenseNet-161表现最好，F1评分为0.83。我们的研究表明，文本模态是最有用的仇恨…
2022-12-21 cs.AI cs.CL
Dhoroni: Exploring Bengali Climate Change and Environmental Views with a Multi-Perspective News Dataset and Natural Language Processing
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）；Independent University（独立大学）
针对孟加拉语气候相关NLP研究空白，该研究构建了含2300篇标注新闻的多视角孟加拉语气候环境数据集Dhoroni，开发了微调后的基线模型族BanglaBERT-Dhoroni，助力当地气候话语研究。
2024-11-02 cs.CL cs.CY cs.LG
Design and implementation of an open source Greek POS Tagger and Entity Recognizer using spaCy
DataScouting；International Hellenic University（国际希腊大学）
本文提出了一种机器学习的方法，词性标注和命名实体识别的希腊语，侧重于提取的形态特征和分类的令牌到一个小的集合的类命名实体。介绍了所使用的体系结构模型。spaCy平台的希腊语版本被添加到源代码中，这是一个在我们的贡献之前不存在的功能，并用于构建模型。此外，还训练了一个词性标注器，它可以检测标记的形态，并且在仅对词性进行分类时，其性能高于最先进的结果。对于使用spaCy的命名实体识别，构建了一个扩展标准ENAMEX类型（组织、位置、人员）的模型。进行的某些实验表明，在词汇表外的单词需要灵活性，并且存在解决这个问题的努力。最后对评价结果进行了讨论。
2019-12-05 cs.CL cs.IR cs.LG
Rapid Adaptation of POS Tagging for Domain Specific Uses
University of Delaware（特拉华大学）；Georgetown University Medical Center（乔治城大学医学中心）
词性标注是自然语言分析、信息抽取和问答等自然语言处理的基础。当POS标记器在一个域中训练并应用于显著不同的域时，其性能可能会显着降低。我们提出了一种快速适应新领域的POS标签的方法。我们的技术是无监督的，因为新领域的手动注释语料库是不必要的。我们使用从大量原始文本中收集的后缀信息以及正字法信息来增加词汇覆盖率。我们提出了一个实验中的生物领域，我们的POS标签实现的结果相比，专门训练到这个领域的POS标签。
2014-10-31 cs.CL cs.LG stat.ML
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University（北南大学）；Apurba Technologies（阿普尔巴技术公司）
虽然全世界有超过3亿人说孟加拉语，但由于孟加拉语是一种低资源语言，因此在改善孟加拉语语音到文本转录方面的工作很少。然而，随着孟加拉语通用语音9.0语音数据集的引入，自动语音识别（ASR）模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录，是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中，我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型，超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后，我们做了一些实验和超参数调整，以产生一个强大的孟加拉ASR模型，比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS
Many Dialects, Many Languages, One Cultural Lens: Evaluating Multilingual VLMs for Bengali Culture Understanding Across Historically Linked Languages and Regional Dialects
United International University（国际联合大学）；BRAC University（布拉塔克大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
提出 BanglaVerse 基准，通过手工标注图像和扩展至多种语言及方言，评估多语言视觉语言模型在孟加拉文化理解中的表现，发现标准孟加拉语评估高估模型能力，方言变化导致性能下降，文化知识缺失是主要瓶颈。
2026-08-28 cs.CL cs.CV
Motamot: A Dataset for Revealing the Supremacy of Large Language Models over Transformer Models in Bengali Political Sentiment Analysis
Ahsanullah University of Science and Technology (AUST)（阿萨努拉科技大学）
本研究构建了孟加拉语政治情感数据集Motamot，评估了多种PLMs和LLMs在情感分析中的表现，发现通过少样本学习，Gemini 1.5 Pro以96.33%的准确率超越其他模型。
2024-07-28 cs.CL
TriNER: A Series of Named Entity Recognition Models For Hindi, Bengali & Marathi
Vidyalankar Institute of Technology（维迪亚兰卡尔理工学院）
本文提出 TriNER 多语言命名实体识别模型，针对印地语、孟加拉语和马拉地语，通过训练自定义 transformer 并微调预训练模型，在 6 个实体组上取得 92.11 的 F1 分数，以统一模型减少跨语言实体组和标签不一致问题。
2025-02-06 cs.AI cs.CL cs.LG
