Feature Selection Based on Term Frequency and T-Test for Text Categorization
Beihang University（北京航空航天大学）
在特征选择方面已经做了大量的工作。现有的方法都是基于文档频率的，如卡方统计、信息增益等，但这些方法存在两个不足：一是对低频词不可靠;二是只统计某个词是否出现在文档中，而忽略了词的频率。事实上，在特定的范畴内的高频术语通常被认为是歧视。本文研究了如何构造基于词频的特征选择函数，并提出了一种基于$t$ -test的特征选择方法，该方法用于衡量术语在特定类别和整个语料库中的分布差异。使用三个分类器在两个文本语料库上进行的广泛的比较实验表明，我们的新方法与最先进的特征选择方法（即，$χ^2$和IG）在宏观$F_1$和微观$F_1$方面。
2013-05-03 cs.IR cs.LG stat.ML
Automatic Pharma News Categorization
Pharma Research and Early Development Operations（制药研究与早期开发运营部）；Roche Innovation Center Basel（罗氏巴塞尔创新中心）；F. Hoffmann - La Roche AG（罗氏公司）
我们使用的文本数据集包括23个新闻类别相关的医药信息科学，为了比较多个Transformer模型在分类任务中的微调性能。使用具有多个自回归和自编码转换模型的平衡数据集，我们比较了它们的微调性能。为了验证获胜的方法，我们对错误预测的实例进行模型行为诊断，包括检查类别度量，评估预测确定性和评估潜在空间表示。最后，我们提出了一个集成模型，由表现最好的个人预测，并证明这种方法提供了一个适度的改进F1度量。
2021-12-28 cs.IR cs.LG
MNIST-Gen: A Modular MNIST-Style Dataset Generation Using Hierarchical Semantics, Reinforcement Learning, and Category Theory
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；Department of Mathematics（数学系）；Florida State University（佛罗里达州立大学）；School of Arts, Media and Engineering（艺术、媒体与工程学院）
MNIST-Gen通过结合CLIP语义理解、强化学习和人类反馈，实现自动生成MNIST风格数据集，支持复杂分类结构，生成Tree-MNIST和Food-MNIST等任务专用数据集，实现85%自动分类准确率和80%时间节省。
2025-07-16 cs.AI cs.CV cs.HC
Effects of term weighting approach with and without stop words removing on Arabic text classification
University of Granada（格拉纳达大学）；Al-Ahliyya Amman University（阿曼艾赫利耶大学）
本文在阿拉伯语文本分类中比较二元与词频加权方法，并考察去除停用词的影响，发现去除停用词的词频加权整体表现最佳，且去除停用词普遍提升分类准确率。
2024-02-21 cs.AI cs.CL cs.LG
Text Categorization Can Enhance Domain-Agnostic Stopword Extraction
Masakhane Research Community（Masakhane研究社区）
本文结合 MasakhaNEWS 等数据集验证文本分类可有效提取九种非洲语言及法语的领域无关停用词，并提出统计与语言学结合的混合方法。
2024-01-24 cs.CL cs.LG
Consistent Text Categorization using Data Augmentation in e-Commerce
Technion – Israel Institute of Technology（以色列理工学院）；Yahoo Research（雅虎研究院）
本文针对电商产品分类中相似商品标注不一致的问题，提出一种基于半监督数据增强的一致性文本分类框架，在保持生产级性能的同时提升模型一致性。
2023-05-30 cs.CL cs.IR cs.LG
A multi-category inverse design neural network and its application to diblock copolymers
Xiangtan University（湘潭大学）
在这项工作中，我们设计了一个多类别的逆设计神经网络映射有序周期结构的物理参数。神经网络模型由两部分组成，分类器和结构参数映射（SPM）神经网络。分类器用于识别结构，SPM分类器用于预测所需结构的物理参数。我们还提出了一种可扩展的倒易空间数据增强方法，以保证周期性结构的旋转和平移不变性。我们提出的网络模型和数据增强方法的基础上的Landau-Brazovskii模型的二维嵌段共聚物。结果表明，多类逆设计神经网络对所需结构的物理参数预测具有较高的精度。此外，多范畴化的思想也可以推广到其他反设计问题。
2022-10-12 cond-mat.soft cs.LG
Using the Tsetlin Machine to Learn Human-Interpretable Rules for High-Accuracy Text Categorization with Medical Applications
University of Agder（阿格德尔大学）；Sørlandet Hospital Trust（南挪威医院信托）
医疗应用程序的挑战，今天的文本分类技术，要求高精度和易于解释。虽然深度学习在准确性上有了飞跃，但这种飞跃是以牺牲可解释性为代价的。为了解决这一准确性和可解释性挑战，我们在这里首次介绍一种利用最近推出的Tsetlin机器的文本分类方法。在所有的简洁，我们代表的条款的文本作为命题变量。从这些，我们捕捉类别使用简单的命题公式，如：如果"皮疹"和"反应"和"青霉素"，然后过敏。Tsetlin机器从带标签的文本中学习这些公式，利用合取子句来表示每个类别的特定方面。事实上，即使没有术语（被否定的特征）也可以用于分类目的。我们与朴素贝叶斯、决策树、线性支持向量机（SVM）、随机森林、长短期记忆（LSTM）神经网络和其他技术的经验比较是相当有说服力的。Tsetlin机器在20个新闻组和IMDb数据集以及非公开临床数据集上的表现与所有评估方法相当或优于所有评估方法。平均而言，Tsetlin Machine在数据集上提供了最好的召回率和精确率分数。最后，我们的Tsetlin Machine的GPU实现比CPU实现快5到15倍，具体取决于数据集。因此，我们相信，我们的新方法可以对广泛的文本分析应用产生重大影响，形成一个有前途的起点，更深层次的自然语言理解与Tsetlin机器。
2018-09-16 cs.LG stat.ML
Analyzing the Benefits of Prototypes for Semi-Supervised Category Learning
本文在变分自编码器中引入鼓励使用抽象原型的先验，应用于图像数据集，发现原型能改善半监督类别学习，并使模型在无监督下形成聚类表示以提升下游分类性能。
2024-06-04 cs.LG
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat，通过联合表示学习模块与层次化数据增强模块，有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
Large Scale Product Categorization using Structured and Unstructured Attributes
WalmartLabs（沃尔玛实验室）
电子商务中使用文本数据进行产品分类是一个非常具有挑战性的极端分类问题，需要对数千个类别和数百万个产品进行分类。尽管多类文本分类在学术界和工业界都是一个研究得很好的问题，但大多数方法要么将产品内容视为一堆文本，要么只考虑一些产品属性用于建模目的。考虑到在流行的电子商务平台上销售的产品种类繁多，考虑到产品拥有自己独特的基于类别的属性集，很难将所有可用的产品属性作为建模练习的一部分。在本文中，我们比较层次模型，平面模型，并表明在特定情况下，平面模型表现更好。我们探索了两个基于深度学习的模型，这些模型从每个产品的非结构化数据中提取特征，然后将它们组合起来创建产品签名。我们还提出了一个新的想法，即以非结构化的方式将结构化属性及其值与卷积过滤器一起使用，这样，按产品类别对属性和不同属性进行排序不再成为建模挑战。这种方法对于错误的产品属性名称和值的存在也更健壮，并且可以优雅地概括为使用封闭列表和开放列表属性。
2019-03-01 cs.IR cs.LG stat.ML
Re-weighting Based Group Fairness Regularization via Classwise Robust Optimization
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
许多现有的群体公平性感知训练方法旨在通过基于某些规则重新加权代表性不足的群体或使用目标中的公平性度量的弱近似代理作为正则化项来实现群体公平性。虽然每个学习方案在适用性或性能方面都有自己的优势，但很难将任一类别中的任何方法视为黄金标准，因为它们的成功性能通常限于特定情况。为此，我们提出了一个原则性的方法，被称为\ours，它统一了两个学习计划，通过将一个合理的组公平性度量到训练目标使用类明智的分布鲁棒优化（DRO）框架。然后，我们开发了一种迭代优化算法，通过自动为每个组生成正确的重新权重来最小化所产生的目标。我们的实验表明，FairDRO是可扩展的，很容易适应不同的应用程序，并一致实现了最先进的性能在几个基准数据集的准确性-公平性权衡，相比最近的强大基线。
2023-03-01 cs.AI cs.CY cs.LG
Improved Customer Transaction Classification using Semi-Supervised Knowledge Distillation
Swiggy（Swiggy公司）
在取货和送货服务中，基于客户提供的自由文本的交易分类是一个具有挑战性的问题。它涉及将各种各样的客户输入关联到一组固定的类别，同时适应各种客户写作风格。这种分类对企业来说很重要：它有助于了解市场需求和趋势，并有助于为不同的客户群体构建个性化的体验。因此，以高精度和召回率大规模捕获这些类别信息趋势至关重要。在本文中，我们关注一个特定的用例，其中单个类别驱动每个事务。本文提出了一种基于半监督和知识蒸馏框架的事务分类方法。该方法使用客户给出的自由文本输入来识别交易的类别。我们使用弱标记，并注意到性能增益与使用人工注释的样本相似。在大型内部数据集和20 Newsgroup数据集上，我们看到RoBERTa在分类任务中表现最好。此外，使用ALBERT模型（它的参数比RoBERTa的参数少33倍），以RoBERTa作为教师，我们看到与RoBERTa相似的性能，并且比未适应的ALBERT性能更好。这个框架，作为一个学生和ROBERTa作为教师，在本文中进一步被称为R-ALBERT。该模型已投入生产，并被企业用于了解不断变化的趋势并做出适当的决策。
2021-02-15 cs.CL cs.LG
Improving Persian Document Classification Using Semantic Relations between Words
University of Isfahan（伊斯法罕大学）
随着信息量的增加，文档分类作为文本挖掘的方法之一，在许多信息的管理和组织中起着重要的作用。文档分类是将文档分配给一个或多个预定义类别标签的过程。文本分类包括文本处理、术语选择、术语加权和最终分类。文档分类的准确性非常重要。因此，在每个部分的分类改进，应导致更好的结果和更高的精度。术语权重对分类的准确性有很大的影响。现有的加权方法大多利用文档中术语的统计信息，而没有考虑词与词之间的语义关系。在本文中，自动文档分类系统，使用一种新的术语加权方法的基础上，术语之间的语义关系。为了评估所提出的方法，三个标准的波斯语语料库。实验结果表明，与以前设计的最好的系统相比，波斯文文档的分类精度提高了2%至4%。
2014-12-28 cs.IR cs.LG
Light-Weighted CNN for Text Classification
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
对于管理，文档被分类到一个特定的类别中，为了做到这一点，大多数组织使用手工劳动。在今天的自动化时代，手动完成这样的任务是不合理的，为了避免这种情况，我们在市场上有很多软件。然而，效率和最低的资源消耗是焦点，这也是创造竞争的焦点。通过机器将这些文档分类到指定的类中提供了很好的帮助。分类技术之一是使用卷积神经网络（TextCNN）的文本分类。TextCNN使用多种大小的过滤器，就像Googlenet中引入的inception层一样。该网络提供了良好的精度，但由于大量的可训练参数而导致高内存消耗。为了解决这个问题，我们引入了一种基于可分离卷积的全新架构。可分离卷积的思想已经存在于图像分类领域，但尚未引入文本分类任务。在这种架构的帮助下，我们可以大幅减少可训练参数。
2020-04-16 cs.CL cs.LG stat.ML
