Stemmer for Serbian language
Nikola Milošević
在语言形态学和信息检索中，词干提取是将词形变化（有时是派生）的词还原为词干、词根或词根形式的过程;通常是书面形式。在这项工作中，后缀剥离词干的塞尔维亚语，高度曲折的语言之一。
In linguistic morphology and information retrieval, stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form; generally a written word form. In this work is presented suffix stripping stemmer for Serbian language, one of the highly inflectional languages.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Stemmers for Tamil Language: Performance Analysis
词干提取是从给定的屈折词中提取词根的过程，在自然语言处理（NLP）的众多应用中起着重要的作用。泰米尔语对NLP提出了一些挑战，因为它比其他语言有丰富的形态模式。本文提出了基于规则的方法轻词干，找到干词的变形泰米尔语单词。所提出的方法的性能相比，基于规则的后缀去除词干的基础上正确和不正确的预测。实验结果清楚地表明，所提出的方法轻词干泰米尔语比后缀去除词干，也更有效的信息检索系统（IRS）。
A Nepali Rule Based Stemmer and its performance on different NLP applications
词干提取是自然语言处理（NLP）的重要组成部分。这是几乎所有NLP应用程序中的预处理步骤。可以说，词干分析最重要的用途是在信息检索（IR）中。虽然在英语等语言中有很多关于词干的工作，但尼泊尔语的词干只有少数作品。这项研究的重点是为尼泊尔语文本创建一个基于规则的词干分析器。具体地说，它是一个词缀剥离系统，它识别尼泊尔语语法中两种不同的后缀，并分别剥离它们。只有一个否定前缀（Na）被识别和剥离。本研究着重于一些技术，如异常词识别，形态规范化和词转换，以提高词干的性能。本文使用Paice的方法对词干提取器进行了测试，并在一个基本的基于tf-idf的IR系统和一个使用Multinomial Naive Bayes分类器的基本新闻主题分类器上进行了测试。这些系统的性能与不使用词干分析的差异进行了分析。
Rule Based Stemmer in Urdu
乌尔都语是阿拉伯语、印地语、英语、土耳其语、梵语等几种语言的结合体，它有着复杂而丰富的形态。这就是为什么在乌尔都语处理方面没有做太多工作的原因。词干提取用于将单词转换为相应的词根形式。在词干提取中，我们将单词的后缀和前缀分开。它在搜索引擎、自然语言处理和字处理、拼写检查、字解析、词频和计数研究中很有用。本文提出了一种基于规则的乌尔都语词干提取器。我们在这里讨论的词干分析器用于信息检索。我们还通过与人类专家进行验证来评估我们的结果。
SS4MCT: A Statistical Stemmer for Morphologically Complex Texts
已经有多种尝试来解决信息检索中的各种变形匹配问题。词干分析是实现这一目标的常用方法。在众多的词干提取技术中，统计词干提取在许多语言中，特别是高度屈折的语言中已经被证明是有效的。在本文中，我们提出了一种方法来寻找词缀在不同的位置的一个词。常用的统计技术在很大程度上依赖于前缀和后缀匹配方面的字符串相似性。由于中缀在形态复杂的文本中常见于不规则/非正式的屈折变化，因此需要找到中缀以进行词干提取。在本文中，我们提出了一种方法，其目的是发现统计的屈折变化规则的基础上最小编辑距离表的词对和规则的可能性在一种语言中。这些规则用于统计词干，并可用于不同的文本挖掘任务。在CLEF 2008和CLEF 2009英语-波斯语CLIR任务上的实验结果表明，该方法在MAP方面明显优于所有基线。
BERTić -- The Transformer Language Model for Bosnian, Croatian, Montenegrin and Serbian
在本文中，我们描述了一个Transformer模型，该模型对来自克罗地亚，波斯尼亚，塞尔维亚和黑山网络域的80亿个抓取文本标记进行了预训练。我们评估的Transformer模型的词性标注，命名实体识别，地理位置预测和常识因果推理的任务，所有的任务上显示出改进的国家的最先进的模型。对于常识推理评估，我们引入了COPA-HR --将合理替代选择（COPA）数据集翻译成克罗地亚语。BERTić模型可供免费使用，并通过HuggingFace进行进一步的特定任务微调。
A Survey of Resources and Methods for Natural Language Processing of Serbian Language
本文系统综述了塞尔维亚语这一低资源、高屈折语言在自然语言处理领域的资源、方法及可用性，涵盖语料库、标注数据与各类模型，为后续研究提供参考。
Named entity recognition for Serbian legal documents: Design, methodology and dataset development
本文针对塞尔维亚语法律文档 NER，基于 BERT 构建并微调模型，开发公开法院裁决标注数据集，交叉验证平均 $F_1$ 达 0.96，并验证了系统鲁棒性。
A Probabilistic Translation Method for Dictionary-based Cross-lingual Information Retrieval in Agglutinative Languages
双语词典中的翻译歧义、词汇表外的词和漏译等问题使得基于词典的跨语言信息检索（CLIR）成为一项具有挑战性的任务。此外，在没有可靠词干的黏着语言中，双语词典中缺少各种词汇构成会降低CLIR的性能。本文的目的是引入一个概率翻译模型来解决歧义问题，并提供最可能的形式的字典候选。我们提出了最小编辑支持候选（MESC）方法，利用单语语料库和双语词典翻译用户的母语查询文档的语言。我们的实验表明，该方法优于最先进的基于字典的英语-波斯语CLIR。
Generation, Implementation and Appraisal of an N-gram based Stemming Algorithm
一个独立于语言的词干分析器一直在寻找。单N-gram标记化技术工作得很好，但是，它经常生成以中间字符开始的词干，而不是初始字符。我们提出了一种新的技术，采取的概念，N元词干一步，并比较我们的方法与一个既定的算法在该领域，波特的Stemmer。结果表明，我们的N-gram词干不逊色于波特的语言词干。
CBAS: context based arabic stemmer
阿拉伯语的词法包含了许多有价值的特征，如词根。阿拉伯词根被用于许多任务;提取词根的过程被称为词干提取。词干是大多数自然语言处理任务的重要组成部分，特别是对于阿拉伯语等衍生语言。然而，词干提取面临着歧义的问题，即从同一个词中可以提取两个或多个词根。另一方面，分布式语义是一个强大的共现模型。它根据上下文捕捉单词的含义。本文利用平滑逐点互信息（SPMI）构造了一个分布式语义模型，以研究其在词干分析任务中的有效性。它的准确率为81.5%，比其他词干分析器至少提高了9.4%。
A Lightweight Stemmer for Gujarati
古吉拉特语是一种资源贫乏的语言，几乎没有可用的语言处理工具。在本文中，我们展示了一个基于规则的古吉拉特语词干分析器的实现。我们已经展示了古吉拉特语词干规则的创造和丰富的形态学。我们还通过与人类专家进行验证来评估我们的结果。
Improving the quality of Gujarati-Hindi Machine Translation through part-of-speech tagging and stemmer-assisted transliteration
印度语言的机器翻译是一个新兴的研究领域。音译就是我们在设计翻译系统时设计的一个这样的模块。音译是指将源语言文本映射为目标语言。简单的映射降低了整个翻译系统的效率。我们建议使用词干和词性标注的音译。如果我们使用词性标记和词干辅助音译，翻译的有效性可以得到提高。我们已经表明，古吉拉特语的大部分内容在被翻译为印地语的过程中得到音译。
New Textual Corpora for Serbian Language Modeling
本文介绍了可公开获取的塞尔维亚语及塞尔维亚-克罗地亚语文本语料库，新增三类语料库，并采用基于频率的文体计量方法评估新旧语料库的独特性，为相关语言建模提供资源支持。
An Accuracy-Enhanced Stemming Algorithm for Arabic Information Retrieval
本文提出了一种基于自然语言处理的阿拉伯语文本索引和检索方法。我们的方法利用模板的概念，在词干和替换的话，他们的茎。该技术已被证明是有效的，因为它返回了显着的相关检索结果，减少沉默在检索阶段。本文通过一系列的实验来测试所提出的算法ESAIR（Enhanced Stemmer for Arabic信息检索）的性能。结果表明，该算法提取的准确率高达96%，因此，提高了信息检索的确切根。
From Data Scarcity to Data Care: Reimagining Language Technologies for Serbian and other Low-Resource Languages
本研究提出Data Care框架，旨在通过CARE原则重构低资源语言的语言技术，以解决数据偏见和文化不平等问题。
Novi jezički modeli za srpski jezik
本文回顾塞尔维亚语 Transformer 语言模型发展，提出多个新文本生成与向量化模型，并在四个 NLP 任务上比较十个模型，分析模型与训练集规模对性能的影响及最优训练设置。
Large Language Models for Stemming: Promises, Pitfalls and Failures
本文研究了利用大型语言模型（LLMs）进行文本词干提取，提出了词汇表、上下文及基于实体的上下文词干提取三种方法，实验表明基于实体的方法在特定条件下优于传统Porter词干提取器。
How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings
通过塞尔维亚双文字系统控制实验，研究稀疏自编码器特征的自然语言标签是否真正泛化到不同语言和文字，发现标签在语义内容匹配上存在显著偏差，且随网络深度增加而加剧。
One Language, Two Scripts: Probing Script-Invariance in LLM Concept Representations
本研究通过塞尔维亚双文测试，发现SAE特征在不同书写系统下仍保持语义一致性，表明模型能捕捉超越表面分词的抽象语义。
Creating a contemporary corpus of similes in Serbian by using natural language processing
明喻是一种修辞手法，通过使用连接词来比较两个事物，但比较并不意味着字面上的意思。它们经常用于日常交流，但它们也是语言文化遗产的一部分。在本文中，我们提出了一种方法，半自动收集的比喻从万维网上使用文本挖掘和机器学习技术。我们从互联网上收集了442个明喻，并将它们添加到Vuk Stefanovic Karadzic收集的包含333个明喻的现有语料库中，从而扩展了现有语料库。我们还将众包引入到修辞格的收集中，帮助我们建立了包含787个独特明喻的语料库。
As Cool as a Cucumber: Towards a Corpus of Contemporary Similes in Serbian
明喻是一种自然语言的表达方式，用来比较不可能的事情，而不是从字面上进行比较。它们经常用于日常交流，是文化遗产的重要组成部分。拥有一个最新的明喻语料库是具有挑战性的，因为它们不断被创造和/或适应当代。在本文中，我们提出了一种方法，半自动收集明喻从万维网上使用文本挖掘技术。我们通过收集446个额外的表达来扩展现有的传统明喻语料库（包含333个明喻）。我们还将探讨如何利用众包来提取和策划新的明喻。
ParlaSpeech 3.0: Richly Annotated Spoken Parliamentary Corpora of Croatian, Czech, Polish, and Serbian
ParlaSpeech 3.0通过自动标注技术为四种斯拉夫语言的议会语料库添加了多种注释层，增强了文本和语音模态的标注信息，提升了跨学科研究的实用性。
Stemming -- The Evolution and Current State with a Focus on Bangla
本文系统综述了词干提取方法的演变与现状，聚焦孟加拉语这一低资源、高屈折语言，指出现有研究存在空白、实现稀缺和评估指标不足等问题，并为未来孟加拉语词干提取器的开发提出方向。
Improving Customer Service with Automatic Topic Detection in User Emails
本研究提出了一种基于BERTopic的自动化邮件主题检测系统，用于提升客户服务效率，实现了每封邮件0.041秒的快速准确分类，F1分数达0.96。
CLASSLA-web: Comparable Web Corpora of South Slavic Languages Enriched with Linguistic and Genre Annotation
本文构建了覆盖七种南斯拉夫官方语言的可比网络语料库，采用统一爬取与CLASSLA-Stanza标注及X-GENRE体裁分类，发现体裁分布与地区经济水平相关。
Translation from the Information Bottleneck Perspective: an Efficiency Analysis of Spatial Prepositions in Bitexts
本文从信息瓶颈框架出发，分析位文本中空间介词的翻译效率，通过低秩投影模型预测相似性判断，发现实际翻译更接近信息瓶颈最优前沿，揭示了跨语言语义系统的认知效率压力。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。