首页/论文/1507.03077

arXiv 1507.030772015-07cs.CLcs.IR

一种新的波斯语混合词干提取算法

A new hybrid stemming algorithm for Persian

Imam Khomeini International University（伊玛目霍梅尼国际大学）

Adel Rahimi

备注：: 8 pages, 5 tables, 1 figure

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

词干提取是信息检索和搜索引擎中一个重要的研究领域。在制作高效准确的词干分析器方面，人们付出了巨大的努力。词干分析器可以有三种词干分析方法，基于词典的词干分析器，基于词典的词干分析器和基于规则的词干分析器。本文旨在建立一个混合词干，同时使用基于字典的方法和基于规则的方法进行词干。这最终有助于词干分析器的有效性和准确性。

英文摘要：

Stemming has been an influential part in Information retrieval and search engines. There have been tremendous endeavours in making stemmer that are both efficient and accurate. Stemmers can have three method in stemming, Dictionary based stemmer, statistical-based stemmers, and rule-based stemmers. This paper aims at building a hybrid stemmer that uses both Dictionary based method and rule-based method for stemming. This ultimately helps the efficacy and accurateness of the stemmer.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

SS4MCT：一种用于形态复杂文本的统计词干

SS4MCT: A Statistical Stemmer for Morphologically Complex Texts

University of Tehran（德黑兰大学）

已经有多种尝试来解决信息检索中的各种变形匹配问题。词干分析是实现这一目标的常用方法。在众多的词干提取技术中，统计词干提取在许多语言中，特别是高度屈折的语言中已经被证明是有效的。在本文中，我们提出了一种方法来寻找词缀在不同的位置的一个词。常用的统计技术在很大程度上依赖于前缀和后缀匹配方面的字符串相似性。由于中缀在形态复杂的文本中常见于不规则/非正式的屈折变化，因此需要找到中缀以进行词干提取。在本文中，我们提出了一种方法，其目的是发现统计的屈折变化规则的基础上最小编辑距离表的词对和规则的可能性在一种语言中。这些规则用于统计词干，并可用于不同的文本挖掘任务。在CLEF 2008和CLEF 2009英语-波斯语CLIR任务上的实验结果表明，该方法在MAP方面明显优于所有基线。

2016-06-20cs.CLcs.IR

HPS：一种层次化的波斯语词干提取方法

HPS: a hierarchical Persian stemming method

Tabriz University（大不里士大学）

本文提出了一种新的基于句子中单词词性的层次化波斯语词干提取方法。实现的词干分析器包括哈希表和几个确定性有限自动机在其不同层次的层次结构，以消除前缀和后缀的话。在我们的方法中使用哈希表有两个目的。第一个问题是DFA不支持某些特殊的字，所以哈希表可以部分解决这个问题。第二个目标是通过省略确定性有限自动机所需的时间来加快实现的词干分析器。由于采用了层次化的组织结构，该方法具有快速、灵活的特点。我们在Hamshahri集合和安全新闻（istna.ir）的测试集上的实验表明，我们的方法具有95.37%的平均准确率，甚至在使用具有常见主题的测试集上使用该方法时也有所提高。

2014-03-12cs.CL

波斯语用户生成文本内容的挑战：基于机器学习的方法

The Challenges of Persian User-generated Textual Content: A Machine Learning-Based Approach

Stuttgart University（斯图加特大学）

近年来，已经发表了大量关于开发有效方法的研究论文和研究，这些方法可以从大量用户生成的内容中受益，并在其上构建智能预测模型。本研究应用基于机器学习的方法来解决波斯语用户生成的文本内容所带来的障碍。不幸的是，在利用机器学习方法对波斯语文本进行分类/聚类方面的研究仍然不足。此外，分析波斯语文本缺乏资源;特别是数据集和文本操作工具。由于波斯语的语法和语义与英语和其他语言不同，这些语言的可用资源不能立即用于波斯语。此外，波斯语的名词和代词识别、词性标注、词的边界发现、词干或字符处理等问题仍有待进一步研究。因此，在这项研究中已经做出了努力，以解决一些挑战。该方法使用机器翻译的数据集进行情感分析的波斯语。最后，使用不同的分类器和特征工程方法对数据集进行了排练。实验结果表明，与以前的努力相比，最好的分类器是支持向量机，其精度为91.22%，召回率为91.71%，F1得分为91.46%。

2021-01-20cs.CL

PABSA：面向波斯语基于方面的情感分析的混合框架

PABSA: Hybrid Framework for Persian Aspect-Based Sentiment Analysis

Department of CS（计算机科学与信息科技系）；Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）；Zanjan, Iran（伊朗赞詹）

针对波斯语情感分析数据稀缺等问题，提出融合多语言BERT特征与决策树的混合框架PABSA，在Pars-ABSA数据集上达到93.34%准确率，并引入同义词和实体词典增强文本。

2025-10-05cs.CLcs.LG

一种以实体为中心的混合波斯语代词消解方法

A hybrid entity-centric approach to Persian pronoun resolution

Islamic Azad University Tehran North Branch（伊斯兰阿扎德大学德黑兰北部分校）；Shahid Beheshti University（沙希德·贝赫什提大学）

代词消解是自然语言处理中的一个重要领域，称为共指消解。共指消解是关于查找文本中引用同一真实世界实体的所有实体。本文提出了一种混合模型，结合多个基于规则的筛子和机器学习筛子的代词。为此，为波斯语设计了七个高精度的基于规则的筛子。然后，一个随机森林分类器将代词链接到先前的部分聚类。该方法使用流水线设计并结合了机器学习和基于规则的方法的优点，展示了示例性的性能。该方法解决了端到端模型中的一些挑战。在本文中，作者开发了一个波斯语共指语料库称为Mehr的400个文件的形式。这个语料库修复了以前波斯语语料库的一些弱点。最后，所提出的系统的效率相比，早期的模型在波斯的Mehr和乌普萨拉测试集上评估所提出的方法。

2022-11-11cs.AIcs.CLcs.LG

面向波斯语聊天机器人的混合对话状态跟踪：一种基于语言模型的方法

Hybrid Dialogue State Tracking for Persian Chatbots: A Language Model-Based Approach

Computer Engineering Department, Amirkabir University of Technology（阿米尔卡比尔技术大学计算机工程系）

针对传统基于规则的波斯语对话状态跟踪适配性不足的问题，提出融合规则与BERT、XGBoost、GPT及在线智能体的混合DST模型，在波斯语多轮对话数据集上实现准确率和连贯性的显著提升。

2025-10-01cs.AIcs.CL

更多相关论文收起更多论文

一个混合波斯语情感分析框架：基于依赖语法的规则和深度神经网络的集成

A Hybrid Persian Sentiment Analysis Framework: Integrating Dependency Grammar Based Rules and Deep Neural Networks

University of Stirling（斯特灵大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；Chinese Academy of Sciences（中国科学院）

社交媒体拥有关于公众舆论的宝贵、大量和非结构化的信息，可用于改进产品和服务。然而，对这些数据的自动分析需要对自然语言有深刻的理解。现有的情感分析方法主要基于词的共现频率，这在大多数实际情况下是不够的。在这项工作中，我们提出了一种新的混合框架，用于波斯语中的概念级情感分析，该框架集成了语言规则和深度学习来优化极性检测。当一个模式被触发时，框架允许情感从单词流向基于符号依赖关系的概念。当没有模式被触发时，框架切换到其子符号对应物，并利用深度神经网络（DNN）来执行分类。所提出的框架优于最先进的方法（包括支持向量机和逻辑回归）和DNN分类器（长短期记忆和卷积神经网络），分别有10-15%和3-4%的利润率，使用基准波斯语产品和酒店评论语料库。

2019-09-30cs.CLcs.LG

TajPersLexon：一种塔吉克-波斯语词汇资源和混合模型用于跨脚本低资源NLP

TajPersLexon: A Tajik-Persian Lexical Resource and Hybrid Model for Cross-Script Low-Resource NLP

Institute of Computational Mathematics and Information Technologies（计算数学与信息科技学院）

本文提出TajPersLexon，一个包含40112词对的塔吉克-波斯语平行词汇资源，通过混合模型在低资源环境下实现跨脚本词检索与对齐，取得96.4%准确率。

2026-05-07cs.CL

TARAZ：波斯短答案问题基准用于语言模型的文化评估

TARAZ: Persian Short-Answer Question Benchmark for Cultural Evaluation of Language Models

本文提出一个评估框架，用于评估大型语言模型在波斯语中的文化能力，通过结合规则基于的形态学归一化和混合语法和语义相似性模块，改进评分一致性。

2026-03-16cs.CLcs.LG

波斯语文本流中频繁模式挖掘与聚类类别用于话题检测的综合研究

A comprehensive study on Frequent Pattern Mining and Clustering categories for topic detection in Persian text stream

Islamic Azad University（伊斯兰阿扎德大学）；Iran University of Science and Technology（伊朗科技大学）；National Yunlin University of Science and Technology（台湾云林科技大学）

本研究针对波斯语话题检测，综合比较频繁模式、聚类及混合三类共十种算法，提出新评估标准FS，实验表明混合类适合关键词话题，频繁模式类适合帖子聚类。

2024-03-15cs.CL

波斯语文本中的矛盾检测

Contradiction Detection in Persian Text

Shahid Beheshti University（沙希德·贝赫什提大学）

语义矛盾句的检测是自然语言处理应用中最具挑战性和最基本的问题之一，如文本蕴涵的识别。本研究中的矛盾包括不同类型的语义对抗，如冲突和反义。由于缺乏足够的数据将精确的机器学习，特别是深度学习方法应用于波斯语和其他低资源语言，基于规则的方法，可以类似于这些系统的功能将是非常感兴趣的。最近，新方法的出现，如迁移学习，为低资源语言的深度学习开辟了可能性。考虑到上述两点，在这项研究中，随着一个简单的规则库基线，一个新的规则库系统，用于识别语义矛盾随着一个BERT基地深刻的矛盾检测系统的波斯语文本已被引入。规则库系统采用频繁规则挖掘方法，利用一个发展集提取合适的矛盾规则。提取的规则进行测试，不同类别的矛盾的句子。在该系统中，矛盾类之间的最大f-测度对于否定约为90%，系统对所有类的平均f-测度约为76%，这优于其他算法对波斯语文本。另一方面，由于规则库系统对于某些类别的矛盾的中等性能，我们使用BERT基础深度学习系统使用我们的翻译数据集;平均F-测量值为73。我们的混合动力系统的f测量值约为80。

2021-07-05cs.CL