Text Categorization using Association Rule and Naive Bayes Classifier
随着在线文本数量的增加,对文本分类以辅助文本分析和管理的需求也在增加。文本是廉价的,但信息,以知道文本属于什么类别的形式,是昂贵的。文本的自动分类可以以低成本提供这些信息,但是分类器本身必须通过昂贵的人工努力来构建,或者从本身已经手动分类的文本中进行训练。提出了一种基于关联规则和朴素贝叶斯分类器的文本分类方法。该方法不使用词之间的关系,而是使用词与词之间的关联规则,从预分类的文本文档中提取特征集。朴素贝叶斯分类器,然后使用衍生功能的最终分类。
2010-09-25 cs.DB cs.IR
Improve Document Embedding for Text Categorization Through Deep Siamese Neural Network
Data Science Institute, University of Virginia(弗吉尼亚大学数据科学研究所)
由于互联网上的数据量不断增加,找到一个高信息量,低维的文本表示是有效的自然语言处理任务,包括文本分类的主要挑战之一。这种表示应该捕获文本的语义信息,同时保留它们的相关性级别用于文档分类。该方法将具有相似主题的文档映射到向量空间表示中的相似空间。为了获得大文本的表示,我们提出了利用深连体神经网络。为了在分布式表示中嵌入主题中的文档相关性,我们使用连体神经网络来共同学习文档表示。我们的连体网络由两个多层感知器的子网络组成。我们检查我们的表示为文本分类任务的BBC新闻数据集。结果表明,所提出的表示优于传统的和国家的最先进的表示在文本分类任务在这个数据集上。
2020-05-31 cs.CL cs.IR cs.LG
Arabic Text Categorization Algorithm using Vector Evaluation Method
Isra University(伊斯拉大学);University of Jordan(约旦大学);Al-Ahliyya Amman University(艾哈利亚安曼大学)
文本分类是将文档根据其内容进行分类的过程。这个过程对于使信息检索更容易是很重要的,并且由于在线可获得的大量文本信息,它变得更加重要。文本分类中的主要问题是如何提高分类精度。阿拉伯语文本分类是一个新兴的研究领域,但相关的研究却很少。提出了一种基于向量评估的阿拉伯文文本分类方法。该方法利用一个已分类的阿拉伯语文档语料库,通过计算待测文档词的权值来确定文档关键词,并将其与已分类的语料库中的关键词进行比较,从而确定待测文档的最佳类别。
2015-01-06 cs.CL cs.IR
Sequence-to-Set Semantic Tagging: End-to-End Multi-label Prediction using Neural Attention for Complex Query Reformulation and Automated Text Categorization
The Ohio State University(俄亥俄州立大学);Nationwide Children’s Hospital(全国儿童医院)
新颖的上下文可能经常出现在复杂的查询场景中,例如在涉及生物医学文献的循证医学(EBM)中,其可能不明确地指出现在任何基于事实或规则的知识源(例如,像UMLS的本体)中的实体或规范概念形式。此外,在当前上下文中有意义的候选概念之间的隐藏关联可能不存在于单个文档中,而是通过替代词汇形式存在于集合中。因此,受到最近序列到序列神经模型在广泛的NLP任务中提供最先进技术的成功的启发,我们开发了一种新的序列到集合框架,用于学习可以影响语料库内术语转移的文档表示,用于语义标记大量文档。我们证明了我们提出的方法在用于文本分类的监督多标签分类设置中以及在没有人类注释的文档标签的独特无监督设置中都是有效的,该设置不使用外部知识资源,只使用语料库派生的术语统计来驱动训练。此外,我们表明,使用我们的架构对大量未标记数据进行半监督训练,可以在有限的标记数据可用时提高文本分类任务的性能。我们的方法来生成文档编码,采用我们的序列到集合模型来推断语义标签,根据我们所知,在基于Okapi BM 25的文档检索系统上评估时,为TREC CDS 2016挑战数据集提供了最先进的无监督查询扩展任务;以及MLTM基线(Soleimani et al,2016),用于www.example.com和Ohsumed数据集上的监督和半监督多标签预测任务del.icio.us。我们将公开我们的代码和数据。
2019-11-11 cs.CL cs.IR cs.LG
Consistent Text Categorization using Data Augmentation in e-Commerce
Technion – Israel Institute of Technology(以色列理工学院);Yahoo Research(雅虎研究院)
本文针对电商产品分类中相似商品标注不一致的问题,提出一种基于半监督数据增强的一致性文本分类框架,在保持生产级性能的同时提升模型一致性。
2023-05-30 cs.CL cs.IR cs.LG
A Survey on Information Retrieval, Text Categorization, and Web Crawling
本文综述了信息检索的概念、方法和应用。它深入到IR系统中涉及的文档和查询建模,以及预处理操作,如删除停止词和同义词搜索技术。本文还讨论了文本分类及其在神经网络和机器学习中的应用。最后,网络爬虫的体系结构是要讨论如何互联网蜘蛛索引网络文件,以及他们如何允许用户在网络上搜索项目的光。
2012-12-10 cs.IR
Text Categorization via Similarity Search: An Efficient and Effective Novel Algorithm
我们提出了一个文本分类的监督学习算法,该算法为作者团队带来了2012年网络安全数据采掘竞赛(CDMC'2012)文本分类部门的第二名和第三名。该算法与现有的方法有很大的不同,因为它是基于字典上的度量分布的度量空间中的相似性搜索。在预处理阶段,给定文本的标记学习样本,我们将问题空间中的每个类标签(文档类别)关联到一个点。与通常的聚类不同,这个点不是类别的质心,而是一个离群点,一个在特定领域单词选择上的均匀测量分布。在执行阶段,未标记的文本被分配一个文本类别,该文本类别由表示文本中单词频率分布的点的最近标记邻居定义。该算法是有效的和高效的,进一步证实了路透社21578数据集上的实验。
2013-07-10 cs.IR
Minimally Supervised Categorization of Text with Metadata
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
针对文档分类中元数据未被利用和标签稀缺的问题,提出最小监督框架MetaCat,通过生成模型将文本与元数据嵌入同一语义空间并合成训练样本,有效提升了分类性能。
2021-11-13 cs.CL cs.IR cs.LG
Toward Optimal Feature Selection in Naive Bayes for Text Categorization
University of Rhode Island(罗德岛大学)
自动特征选择对于文本分类具有重要意义,它可以减少特征量,加快分类器的学习过程。在本文中,我们提出了一种新的和有效的特征选择框架的基础上的信息理论,其目的是排名的功能与他们的区分能力的分类。本文首先回顾了两种信息测度:用于二元假设检验的库尔贝克-莱布勒散度和Jeffreys散度,并分析了它们在贝叶斯分类器I类和第二类错误下的渐近性质。然后,我们引入了一个新的分歧措施,称为杰弗里斯多假设(JMH)分歧,多类分类的多分布分歧的措施。基于JMH分歧,我们开发了两种有效的特征选择方法,称为最大区分度($MD$)和$MD-χ^2$方法,用于文本分类。大量的实验结果表明,所提出的方法的有效性。
2016-02-09 cs.CL cs.IR cs.LG
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore(迈索尔大学)
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法,直到实现期望的级别分区,使得每个分区包含单个类的标记文档。一旦获得所需的聚类,各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验,以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
On the Role of Text Preprocessing in Neural Network Architectures: An Evaluation Study on Text Categorization and Sentiment Analysis
Cardiff University(卡迪夫大学)
文本预处理通常是自然语言处理(NLP)系统的第一步,对系统的最终性能有潜在的影响。尽管文本预处理很重要,但在深度学习文献中并没有受到太多关注。在本文中,我们研究了简单的文本预处理决策(特别是标记化,词形化,小写和多词分组)对标准神经文本分类器性能的影响。我们进行了广泛的评价标准的基准,从文本分类和情感分析。虽然我们的实验表明,输入文本的简单标记化通常是足够的,但它们也突出了预处理技术之间的显著差异。这揭示了在管道中注意这个通常被忽视的步骤的重要性,特别是在比较不同模型时。最后,我们的评估提供了最佳的预处理实践训练词嵌入的见解。
2018-08-23 cs.CL cs.IR
A Comparative Study on using Principle Component Analysis with Different Text Classifiers
Assiut University(艾斯尤特大学)
文本分类(TC)是将一组文档自动组织成一组预定义类别的任务。在过去的几年里,越来越多的注意力已经支付给数字形式的文件的使用,这使得文本分类成为一个具有挑战性的问题。文本分类的最大问题是其大量的特征。这些特征中的大多数是冗余的、噪声的和不相关的,导致与大多数分类器的过度拟合。因此,特征提取是提高文本分类器整体精度和性能的重要步骤。在本文中,我们将提供一个概述使用主成分分析(PCA)作为特征提取与各种分类器。实验结果表明,采用PCA降维后,分类器的性能得到了提高。实验在Classic 03、CNAE-9和DBWorld三个UCI数据集上进行。我们比较了使用PCA与流行和知名的文本分类器的分类性能结果。结果表明,使用PCA大大提高了大多数分类器的分类性能。
2018-07-04 cs.IR cs.LG
Comparing SVM and Naive Bayes classifiers for text categorization with Wikitology as knowledge enrichment
NUCES-FAST(NUCES-FAST(国家大学计算机与工程科学学院,法斯特))
根据文档内容对文档进行标记的活动称为文本分类。已经进行了许多实验,以提高文本分类,通过添加背景知识的文件使用知识库,如Word Net,开放项目目录(OPD),维基百科和Wikitology。在我们以前的工作中,我们已经进行了深入的实验,从Wikitology中提取知识,并评估实验支持向量机与10倍交叉验证。结果清楚地表明,Wikitology远远优于其他知识库。在本文中,我们比较支持向量机(SVM)和朴素贝叶斯(NB)分类器下的文本丰富通过维基百科。我们用10倍交叉验证验证了结果,结果表明,与基线结果相比,NB提高了+28.78%,另一方面,SVM提高了+6.36%。当通过任何外部知识库使用外部丰富时,朴素贝叶斯分类器是更好的选择。
2012-02-18 cs.AI cs.IR
Comparison of Classification Algorithms Used Medical Documents Categorization
Ondokuz Mayıs Üniversitesi(翁多库兹·马伊斯大学)
基于文本的文档量日益增加。医学文档位于这种不断增长的文本文档中。在这项研究中,用于文本分类的技术应用于医疗文档和评估分类性能。使用的数据集是多类别和多标记的。采用卡方(Chi Square,CHI)技术进行特征选择,采用SMO、NB、C4.5、RF和KNN算法进行分类。本研究的目的是,各种分类器的成功评估多类和多标签的数据集组成的医疗文件。在前400个特征中,KNN分类器最成功,而在后400个特征中SMO分类器最成功。
2018-11-02 cs.CL cs.IR cs.LG
Improving Large-Scale k-Nearest Neighbor Text Categorization with Label Autoencoders
University of Vigo(维戈大学)
本文提出一种基于标签自编码器的多标签懒惰学习方法,改进传统k近邻算法,在MEDLINE数据集上评估多种文档表示和自编码器配置,实现大规模文本自动语义索引。
2024-02-03 cs.CL cs.IR cs.LG
Feature Selection Based on Term Frequency and T-Test for Text Categorization
Beihang University(北京航空航天大学)
在特征选择方面已经做了大量的工作。现有的方法都是基于文档频率的,如卡方统计、信息增益等,但这些方法存在两个不足:一是对低频词不可靠;二是只统计某个词是否出现在文档中,而忽略了词的频率。事实上,在特定的范畴内的高频术语通常被认为是歧视。本文研究了如何构造基于词频的特征选择函数,并提出了一种基于$t$ -test的特征选择方法,该方法用于衡量术语在特定类别和整个语料库中的分布差异。使用三个分类器在两个文本语料库上进行的广泛的比较实验表明,我们的新方法与最先进的特征选择方法(即,$χ^2$和IG)在宏观$F_1$和微观$F_1$方面。
2013-05-03 cs.IR cs.LG stat.ML
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat,通过联合表示学习模块与层次化数据增强模块,有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
Automatic Pharma News Categorization
Pharma Research and Early Development Operations(制药研究与早期开发运营部);Roche Innovation Center Basel(罗氏巴塞尔创新中心);F. Hoffmann - La Roche AG(罗氏公司)
我们使用的文本数据集包括23个新闻类别相关的医药信息科学,为了比较多个Transformer模型在分类任务中的微调性能。使用具有多个自回归和自编码转换模型的平衡数据集,我们比较了它们的微调性能。为了验证获胜的方法,我们对错误预测的实例进行模型行为诊断,包括检查类别度量,评估预测确定性和评估潜在空间表示。最后,我们提出了一个集成模型,由表现最好的个人预测,并证明这种方法提供了一个适度的改进F1度量。
2021-12-28 cs.IR cs.LG
Term-Class-Max-Support (TCMS): A Simple Text Document Categorization Approach Using Term-Class Relevance Measure
University of Mysore(迈索尔大学)
本文提出了一种简单的基于词类相关性的文本分类方法。最初,处理文本文档以提取其中存在的重要术语。对于从文档中提取的每个术语,我们通过Guru和Suhil(2015)[1]提出的称为术语类相关性(TCR)的新术语加权方案来计算其在保留类内容方面的重要性。通过这种方式,对于每个术语,计算其与语料库中存在的所有类的相关性并存储在知识库中。在测试过程中,测试文档中存在的术语被提取,并且从存储的知识库中获得每个术语的术语类相关性。为了实现词项权重的快速查找,采用了B树索引数据结构。最后,在术语类相关性方面获得最大支持的类被确定为给定测试文档的类。所提出的方法在对数复杂度的测试时间和简单的实现相比,在文献中的任何其他文本分类技术。在各种基准数据集上进行的实验表明,所提出的方法的性能是令人满意的和令人鼓舞的。
2016-10-16 cs.CL cs.IR
Large Scale Product Categorization using Structured and Unstructured Attributes
WalmartLabs(沃尔玛实验室)
电子商务中使用文本数据进行产品分类是一个非常具有挑战性的极端分类问题,需要对数千个类别和数百万个产品进行分类。尽管多类文本分类在学术界和工业界都是一个研究得很好的问题,但大多数方法要么将产品内容视为一堆文本,要么只考虑一些产品属性用于建模目的。考虑到在流行的电子商务平台上销售的产品种类繁多,考虑到产品拥有自己独特的基于类别的属性集,很难将所有可用的产品属性作为建模练习的一部分。在本文中,我们比较层次模型,平面模型,并表明在特定情况下,平面模型表现更好。我们探索了两个基于深度学习的模型,这些模型从每个产品的非结构化数据中提取特征,然后将它们组合起来创建产品签名。我们还提出了一个新的想法,即以非结构化的方式将结构化属性及其值与卷积过滤器一起使用,这样,按产品类别对属性和不同属性进行排序不再成为建模挑战。这种方法对于错误的产品属性名称和值的存在也更健壮,并且可以优雅地概括为使用封闭列表和开放列表属性。
2019-03-01 cs.IR cs.LG stat.ML
Cluster Based Symbolic Representation for Skewed Text Categorization
University of Mysore(迈索尔大学)
在这项工作中,与不平衡的文本语料库的问题得到解决。提出了一种将不平衡文本语料库转换为平衡文本语料库的方法。该方法采用聚类算法进行转换。首先,为了避免维数灾难,一个有效的表示方案的基础上的术语类相关性措施,这大大降低了在语料库中的类的数量的维数。随后,较大尺寸的类的样本被分组为若干较小尺寸的子类,以使整个语料库平衡。每个子类,然后给出一个单一的符号向量表示使用区间值的功能。这种符号表示除了紧凑之外,还有助于减少空间需求和分类时间。所提出的模型已被经验证明其优越性的基准数据集,即,路透社21578和TDT2。此外,它已与其他几个现有的当代模型,包括基于支持向量机的模型进行了比较。对比分析表明,该模型优于其他现有的模型。
2017-06-24 cs.CL cs.IR
Novel text categorization by amalgamation of augmented k-nearest neighborhood classification and k-medoids clustering
文本分类的机器学习是文档编目、新闻过滤、文档导向和例证的基础。在文本挖掘领域中,有效的特征选择对于提高学习任务的准确性和有效性具有重要意义。传统的惰性文本分类器k-最近邻(kNN)在计算训练集和测试集中所有对象之间的相似度时存在一个主要缺陷,导致算法的计算复杂性增大,内存消耗巨大。为了从数据挖掘从业者的角度弥补这些不足,本文提出了一种新的kNN(AugmentedkNN,AkNN)和k-Medoids(kMdd)聚类的融合技术,该技术通过对初始训练集进行属性特征选择来降低高维数,该方法还检测并排除初始训练集中的高飞行器样本,并重构一个压缩的训练集。kMdd聚类算法为每个类别生成聚类中心(作为内部对象),并使用质心重构收缩的训练集。该技术与AkNN分类器合并,AkNN分类器预先安排了文本挖掘相似性度量。最后,根据每个对象对测试集中对象的附属性,为新训练集中的每个对象分配重要权值和等级。在UCI标准文本挖掘数据集Reuters-21578上进行的实验表明,该方法在聚类和分类方面都有很好的效果,并与传统的kNN分类器进行了比较。
2013-12-09 cs.IR
A Novel Term_Class Relevance Measure for Text Categorization
University of Mysore(迈索尔大学)
在本文中,我们引入了一个新的措施,称为Term_Class相关性计算的相关性的一个术语分类到一个特定的类的文件。建议的措施估计的相关程度的一个给定的术语,在放置一个未标记的文档是一个已知的类的成员,作为产品的类_术语权重和类_术语密度;其中,Class_Term权重是包含该术语的类的文档的数量与包含该术语的文档的总数的比率,并且Class_Term权重是包含该术语的类的文档的数量与包含该术语的文档的总数的比率。术语密度是术语在类中出现的相对密度,与术语在整个群体中的总出现率。与其他现有的长期加权计划,如TF-IDF及其变种,建议的相关性措施考虑到整个人口的类的所有文件的长期的相对参与程度。为了证明拟议措施的重要性,在20个新闻组数据集上进行了实验。通过对比分析,进一步说明了该方法的优越性.
2016-09-14 cs.CL cs.IR
Content-based Text Categorization using Wikitology
National University of Computer and Emerging Sciences (NU-FAST)(国立计算机与新兴科学大学(NU-FAST))
一个主要的计算负担,而执行文档聚类,是一对文档之间的相似性度量的计算。相似性度量是一个函数,它根据文档之间的相似程度,为一对文档分配一个介于0和1之间的实数。值为零表示文档完全不相似,而值为1表示文档实际上相同。传统上,基于向量的模型已被用于计算文档相似度。基于向量的模型表示文档中存在的几个特征。这些方法的相似性措施,在一般情况下,不能占的语义文件。用人类语言编写的文档包含上下文,并且用于描述这些上下文的词语通常在语义上相关。受此启发,许多研究人员提出了基于语义的相似性度量,通过使用外部词库(如WordNet)进行文本注释。在本文中,我们定义了一个语义相似性度量的基础上表示的主题地图的文件。主题地图正迅速成为知识表示的工业标准,其重点是以后的搜索和提取。将文档转换为基于主题图的编码知识,并将一对文档之间的相似性表示为共同模式之间的相关性。在文本挖掘数据集上的实验研究表明,与常用的文本聚类相似性度量方法相比,该方法具有更好的聚类效果。
2012-08-17 cs.AI cs.IR
II-20: Intelligent and pragmatic analytic categorization of image collections
我们介绍II-20(Image Insight 2020),一种用于图像集合分析分类的多媒体分析方法。图像集合的高级可视化已经存在,但它们需要与机器模型紧密集成,以支持分析分类。直接采用计算机视觉和交互式学习技术的搜索。然而,分析分类不是机器分类(两者之间的区别被称为语用差距):人类在飞行中添加/重新定义/删除相关性类别以建立洞察力,而机器分类器是刚性和非自适应的。分析分类,使用户的洞察力需要一个灵活的机器模型,允许动态滑动的探索搜索轴,以及语义交互。II-20为图像收集的多媒体分析和缩小实用差距带来了3个主要贡献。首先,一个机器模型,密切关注用户的交互,并动态地模拟她的相关性类别。II-20的模型,除了匹配和超过最先进的W。R. t.相关性允许用户在探索-搜索轴上动态滑动,而无需来自她一侧的附加输入。第二,动态的,一次一个图像的俄罗斯方块隐喻与模型协同作用。它允许模型自己分析集合,与用户的交互最少,并补充了经典的网格隐喻。第三,允许用户利用模型来快速扩展(“快进”)相关性类别的快进交互扩展了多媒体分析语义交互字典。自动化实验表明,II-20的模型优于最先进的,也证明了俄罗斯方块的分析质量。用户研究证实,II-20是一个直观,高效,有效的多媒体分析工具。
2020-09-03 cs.IR cs.MM
Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models
Technische Hochschule Mannheim(曼海姆技术大学)
本文评估了大语言模型在科学文本分类中的性能,发现提示链在处理ORKG层级分类时优于纯上下文学习,但在第三层级主题分类上仍存在50%的准确率限制。
2026-04-25 cs.AI cs.CL cs.DL
Improving Document Classification with Multi-Sense Embeddings
University of Utah(犹他大学);IIT Guwahati(印度理工学院古瓦哈提分校);IISC Bangalore(印度科学学院班加罗尔分院)
文本文档的有效表示是许多NLP任务中的重要组成部分。对长文本分类的研究表明,简单的词向量加权平均用于句子表示通常优于更复杂的神经模型。最近提出的稀疏复合文档向量(SCDV)(Mekala et. al,2017)使用词向量上的软聚类将这种方法从句子扩展到文档。然而,SCDV忽视了词的多义性,也遭受了更高维度的诅咒。在这项工作中,我们解决这些缺点,并提出SCDV-MS。SCDV-MS利用多意义的词嵌入和学习一个低维流形。通过在多个真实数据集上的广泛实验,我们表明SCDV-MS嵌入在多类和多标签文本分类任务上优于以前最先进的嵌入。此外,SCDV-MS嵌入在文本分类任务的时间和空间复杂度方面比SCDV更有效。
2019-11-18 cs.CL cs.IR cs.LG
Weighted Naive Bayes Model for Semi-Structured Document Categorization
本文的目标是半结构化数据的监督分类。一个正式的模型的基础上baidu分类的开发,同时解决的文档结构的分类任务的集成。我们定义了我们所谓的结构上下文发生的非结构化数据,我们推导出一个递归公式,其中参数被用来衡量结构元素相对于其他的贡献。这个形式化模型的一个简化版本实现进行文本文档分类实验。第一个结果表明,对于一个特设的加权策略,词出现的结构背景有一个显着的影响,分类结果相比,一个简单的多项式朴素贝叶斯分类器的性能。所提出的实现竞争的路透社-21578数据与SVM分类器相关联或不与结构组件的分裂。这些结果鼓励探索学习可接受的加权策略,特别是提升策略。
2009-01-04 cs.IR
TagRec++: Hierarchical Label Aware Attention Network for Question Categorization
IIIT-Delhi(德里英迪拉甘地信息技术学院)
在线学习系统有多种形式的数据存储库,包括成绩单、书籍和问题。为了便于访问,这种系统根据明确定义的分层性质的分类法(主题-章节-主题)组织内容。将输入分类到分层标签的任务通常被转换为平面多类分类问题。这种方法忽略了输入中的术语与分层标签中的标记之间的语义相关性。当替代方法仅将叶级节点视为标签时,它们也遭受类不平衡。为了解决这个问题,我们制定了一个稠密检索的问题,为每个内容检索适当的层次标签的任务。在本文中,我们处理分类问题。我们将分层标签建模为它们的令牌的组合,并使用有效的交叉注意力机制来融合信息与内容的术语表示。我们还提出了一种自适应的批量硬负采样方法,随着训练的进行,该方法可以对更好的负采样。我们证明了所提出的方法\textit{TagRec++}优于现有的最先进的方法的问题数据集上的召回@k。此外,我们还证明了\textit{TagRec++}的zero-shot功能和适应标签变化的能力。
2022-08-10 cs.CL cs.IR
Development of email classifier in Brazilian Portuguese using feature selection for automatic response
电子邮件自动分类是文本分类的一个重要应用。我们研究巴西葡萄牙语的电子邮件业务消息的自动回复。我们提出了一个新的语料库,包含从一个真正的应用程序的消息,基线分类实验使用朴素贝叶斯和支持向量机。然后,我们讨论了词形还原的效果和词性标记过滤对查准率和查全率的作用。支持向量机分类加上非词化的动词,名词和形容词的选择是最好的方法,87.3%的最大准确率。葡萄牙语中的直接词形化导致了该组中最低的分类结果,SVM和Naive Bayes的精度分别为85.3%和81.7%。因此,虽然词形化降低了精确度和召回率,但词性过滤改善了整体结果。
2019-07-08 cs.CL cs.IR cs.LG
Chi-square-based scoring function for categorization of MEDLINE citations
目的:文本分类已被用于生物医学信息学中,用于识别包含相关主题的文档。我们开发了一种简单的方法,使用卡方评分函数来确定MEDLINE引文包含遗传相关主题的可能性。方法:我们的程序需要构建一个遗传和非遗传领域的文档语料库。我们使用MeSH描述符分配给MEDLINE引文进行分类任务。我们使用卡方检验比较了两个语料库中MeSH描述词的使用频率。如果MeSH描述符在遗传域语料库中的相对观察频率大于其在非遗传域语料库中的相对观察频率,则该描述符被认为是阳性指标。所提出的方法的输出是所有引文的分数列表,其中最高分数给予包含遗传领域典型的MeSH描述符的那些引文。结果:对一组734篇手动注释的MEDLINE引文进行了验证。它实现了预测准确率为0.87,召回率为0.69,精确率为0.64。我们通过将其与三种机器学习算法(支持向量机,决策树,朴素贝叶斯)进行比较来评估该方法。虽然差异在统计学上没有显著差异,但结果表明,我们的卡方评分与比较机器学习算法一样好。结论:我们认为卡方评分是一种有效的解决方案,以帮助分类MEDLINE引文。该算法在BITOLA基于文献的发现支持系统中实现,作为基因符号消歧过程的预处理器。
2010-06-05 cs.IR stat.AP stat.ML
"What is Relevant in a Text Document?": An Interpretable Machine Learning Approach
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希赫兹研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学)
文本文档可以用许多抽象概念来描述,如语义类别、写作风格或情感。机器学习(ML)模型已经被训练成自动将文档映射到这些抽象概念,允许注释非常大的文本集合,超过人类一生所能处理的。除了非常准确地预测文本的类别之外,还非常希望了解分类过程如何以及为什么发生。在本文中,我们证明了这样的理解可以通过使用分层相关传播(LRP),最近开发的技术,用于解释复杂的非线性分类器的预测跟踪的分类决策回单个单词。我们训练两个基于单词的ML模型,一个卷积神经网络(CNN)和一个词袋SVM分类器,对主题分类任务,并适应LRP方法分解这些模型的预测到单词。所得分数表示单个单词对整体分类决策的贡献程度。这使得人们能够从文本文档中提取相关信息,而无需明确的语义信息抽取步骤。我们进一步使用的词明智的相关性得分生成新的基于矢量的文档表示捕捉语义信息。基于这些文档向量,我们引入了模型解释能力的度量,并表明,尽管SVM和CNN模型在分类准确性方面表现相似,但后者表现出更高的可解释性,这使得它更容易为人类所理解,并可能对其他应用更有用。
2016-12-23 cs.CL cs.IR cs.LG
Semantic classifier approach to document classification
Polish Academy of Sciences(波兰科学院)
在本文中,我们提出了一种新的文档分类方法,弥合训练集和应用集的文本数据之间的差异(所谓的语义差距)。我们证明了它的优越性,经典的文本分类方法,包括传统的分类器集成。该方法包括将文档分类技术与单个分类器或分类器集成(SEMCOM算法-具有语义分类器的委员会)相结合。
2017-01-16 cs.CL cs.IR
GLEAKE: Global and Local Embedding Automatic Keyphrase Extraction
Georgia State University(佐治亚州立大学)
在过去的几年里,随着科学、新闻、医学和Web文档的增长,大型文本文档语料库的粒度分类的自动化方法变得越来越重要。自动关键词提取(AKE)的目的是从单个文本文档中自动检测一小部分单个或多个单词,这些单词捕获了文档的主要主题。AKE在各种自然语言处理和信息检索任务中起着重要的作用,如文档摘要和分类、全文索引和文章推荐。由于不同文本内容中缺乏足够的人工标记数据,监督学习方法对于从文本主体内容中自动检测关键短语并不理想。随着文本嵌入技术的最新进展,NLP研究人员专注于开发无监督方法,以从原始数据集中获得有意义的见解。在这项工作中,我们介绍了全球和本地嵌入自动关键词提取器(GLEAKE)的任务AKE。GLEAKE使用单个和多个词嵌入技术来探索候选短语的句法和语义方面,然后将它们组合成一系列基于嵌入的图。此外,GLEAKE在每个基于嵌入的图上应用网络分析技术,以将最重要的短语细化为最终的关键短语集。我们通过对来自不同领域和写作风格的五个标准AKE数据集进行评估,并显示其相对于其他最先进方法的优越性,展示了GLEAKE的高性能。
2020-05-19 cs.CL cs.IR