Turkish Text Classification: From Lexicon Analysis to Bidirectional Transformer
The Koc School（科奇学校）
文本分类在学术和工业环境中的使用越来越多。虽然基于规则的方法已经相当成功，但监督机器学习已被证明对大多数语言最成功，其中大多数研究都是在英语上进行的。在这篇文章中，成功的词汇分析，支持向量机，和极端梯度提升的文本分类和情感分析的任务进行了评估，在土耳其和一个预训练的Transformer为基础的分类器，提出了优于以前的方法，土耳其文本分类。在文本分类的背景下，本文中提出的所有机器学习模型都是独立于领域的，不需要任何特定于任务的修改。
2020-08-21 cs.CL cs.LG
Deep Learning-based Sentiment Classification: A Comparative Survey
Beni-Suef University（贝尼苏韦夫大学）；Universidade de Vigo（维戈大学）
本文综述了影响深度学习情绪分类性能的因素，将其分为数据准备、特征表示和分类技术三类，并基于21个数据集对100多种方法进行了比较分析。
2023-12-12 cs.AI cs.CL
A Survey on Data Augmentation for Text Classification
Technical University of Darmstadt（达姆施塔特工业大学）
数据增强，即通过变换人工创建用于机器学习的训练数据，是跨机器学习学科的广泛研究的研究领域。虽然它有助于提高模型的泛化能力，但它也可以解决许多其他挑战和问题，从克服有限的训练数据，到规范目标，再到限制用于保护隐私的数据量。基于对数据增强的目标和应用的精确描述以及对现有作品的分类，本调查关注文本分类的数据增强方法，旨在为研究者和从业者提供一个简明而全面的概述。从分类学中，我们将100多种方法分为12个不同的组，并给出了最先进的参考文献，通过将它们相互关联来阐述哪些方法是非常有前途的。最后，研究的角度，可能构成一个积木为今后的工作提供。
2022-09-08 cs.AI cs.CL
An Improved Text Sentiment Classification Model Using TF-IDF and Next Word Negation
随着文本情感分析的快速发展，对电子文档自动分类的需求也在飞速增长。文本分类或文本挖掘的范式是近年来许多研究工作的主题。在本文中，我们提出了一种文本情感分类技术，使用词频-逆文档频率（TF-IDF）以及下一个词否定（NWN）。我们还比较了二进制词袋模型，TF-IDF模型和TF-IDF与下一个词否定（TF-IDF-NWN）模型的文本分类性能。我们提出的模型，然后应用于三种不同的文本挖掘算法，我们发现线性支持向量机（LSVM）是最适合与我们提出的模型。所取得的结果表明，与早期的方法相比，准确性显着增加。
2018-06-17 cs.CL cs.IR
Explicit Interaction Model towards Text Classification
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Shandong Normal University（山东师范大学）
文本分类是自然语言处理的基本任务之一。最近，与浅层模型相比，深层神经网络在文本分类任务中取得了令人满意的性能。尽管深度模型的重要性，他们忽略了细粒度（词和类之间的匹配信号）的分类线索，因为他们的分类主要依赖于文本级表示。为了解决这个问题，我们引入了交互机制，将词级匹配信号的文本分类任务。特别是，我们设计了一个新的框架，显式交互模型（称为EXAM），配备了互动机制。我们在几个基准数据集上证明了所提出的方法，包括多标签和多类文本分类任务。大量的实验结果证明了该方法的优越性。作为一个副产品，我们已经发布了代码和参数设置，以方便其他研究。
2018-11-23 cs.CL cs.LG
A Survey on Text Classification: From Shallow to Deep Learning
Beihang University（北京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Leeds（利兹大学）；Lehigh University（里海大学）
文本分类是自然语言处理中最基本、最关键的任务。由于深度学习取得了前所未有的成功，过去十年来，这一领域的研究激增。文献中提出了许多方法、数据集和评价指标，因此需要进行全面和更新的调查。本文通过回顾1961年至2021年的最新方法填补了这一空白，重点关注从传统模型到深度学习的模型。我们根据文本内容和用于特征提取和分类的模型建立了一个文本分类系统。然后，我们将详细讨论这些类别中的每一个，处理支持预测测试的技术发展和基准数据集。本调查还提供了不同技术之间的全面比较，以及各种评估指标的优缺点。最后，总结了本研究的主要意义、未来研究方向和面临的挑战。
2021-12-22 cs.CL
Selective Text Augmentation with Word Roles for Low-Resource Text Classification
Shanghai University of Finance and Economics（上海财经大学）
数据增强技术被广泛应用于文本分类任务中，以提高分类器的性能，特别是在低资源的情况下。大多数以前的方法进行文本增强没有考虑文本中的单词的不同功能，这可能会产生不满意的样本。不同的词在文本分类中可能扮演不同的角色，这启发我们有策略地选择合适的角色进行文本增强。在这项工作中，我们首先确定文本中的词和文本类别之间的关系，从统计相关性和语义相似性的角度，然后利用它们划分为四个角色的话-黄金，风险，奖金，和琐碎的话，这对文本分类具有不同的功能。基于这些词的角色，我们提出了一种新的增强技术，称为STA（选择性文本增强），不同的文本编辑操作有选择地应用于特定的角色的话。STA可以生成多样且相对干净的样本，同时保留原始的核心语义，并且实现起来也相当简单。在5个基准低资源文本分类数据集上的大量实验表明，STA产生的增强样本成功地提高了分类模型的性能，其性能显著优于以前的非选择性方法，包括两种基于大语言模型的技术。跨数据集实验进一步表明，STA可以帮助分类器更好地推广到其他数据集比以前的方法。
2022-09-04 cs.AI cs.CL
Text-based classification of interviews for mental health -- juxtaposing the state of the art
University of Amsterdam（阿姆斯特丹大学）
目前，精神疾病分类的最新技术是基于基于音频的分类。本文旨在设计和评估一个最先进的文本分类网络。假设是，一个精心设计的基于文本的方法构成了一个强大的竞争对国家的最先进的音频为基础的方法。荷兰语自然语言模型受到预训练单语NLP模型稀缺性的限制，因此荷兰语自然语言模型对句子的长范围语义依赖性的捕获率较低。针对这个问题，本文提出了belabBERT，一个新的荷兰语语言模型，扩展了RoBERTa[15]体系结构。belabBERT是在一个大型的荷兰语语料库（+32GB）上训练的。在评估了基于文本的分类的强度之后，本文做了一个简单的探索，将该框架扩展到基于文本和音频的混合分类。这个混合框架的目标是展示一个非常基本的音频分类网络的混合原理。总体目标是通过证明新的基于文本的分类已经是一个强大的独立解决方案，为混合精神疾病分类奠定基础。
2020-07-29 cs.CL cs.LG cs.SD
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications（北京邮电大学）
层次多标签学术文本分类（HMTC）是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法（AHMCA），该算法综合了文本、关键词和层次结构等特征，将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联，以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
TextRGNN: Residual Graph Neural Networks for Text Classification
近年来，基于图神经网络（GNN）的文本分类模型受到越来越多的关注。这些模型大多采用类似的网络范式，即使用预训练节点嵌入初始化和两层图卷积。在这项工作中，我们提出了TextRGNN，这是一种改进的GNN结构，它引入了残差连接来加深卷积网络深度。我们的结构可以获得更宽的节点感受野，并有效地抑制节点特征的过度平滑。此外，我们将概率语言模型融入到图节点嵌入的初始化中，从而可以更好地提取图的非图语义信息。实验结果表明，该模型具有较好的通用性和有效性.无论是在语料库级别还是文本级别，它都能显著提高分类精度，并在广泛的文本分类数据集上实现SOTA性能。
2023-01-25 cs.AI cs.CL
Comparative Analysis of Text Classification Approaches in Electronic Health Records
King’s College London（伦敦国王学院）
文本分类任务旨在从电子健康记录中收集和/或组织信息，是支持临床和转化研究的关键。然而，与其他分类任务相比，这些任务提出了具体的挑战，特别是由于临床记录中使用的医学词汇和语言的特殊性质。嵌入方法的最新进展已经显示出对几个临床任务的有希望的结果，但是没有将这些方法与其他常用的词表示和分类模型进行详尽的比较。在这项工作中，我们分析了不同的词表示，文本预处理和分类算法对四个不同的文本分类任务的性能的影响。结果表明，传统的方法，当定制的特定语言和结构的文本固有的分类任务，可以达到或超过最近的基于上下文嵌入，如BERT的性能。
2020-05-08 cs.CL cs.LG
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University（克兰菲尔德大学）；University of Liverpool（利物浦大学）
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法，包括无监督学习，半监督学习，自学习，文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题，提出了一种新的、简单的无监督文本分类模型，并利用国际贸易标准分类（SITC）代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词，并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型，我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据，采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明，即使在将训练数据集的大小增加30%之后，非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型（如Transformers）成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
A Chinese Text Classification Method With Low Hardware Requirement Based on Improved Model Concatenation
Zhiwei Research Institute（智微研究院）；University of Melbourne（墨尔本大学）
为了提高中文文本分类模型在低硬件要求下的准确率，本文设计了一种改进的基于级联的模型，该模型由TextCNN、LSTM和Bi-LSTM等5个子模型级联而成。与现有的集成学习方法相比，对于一个文本分类任务，该模型的准确率提高了2%。同时，该模型对硬件的要求也远低于基于BERT的模型。
2021-11-12 cs.CL cs.LG
A Survey of Active Learning for Text Classification using Deep Neural Networks
University of Leipzig（莱比锡大学）
近年来，自然语言处理（NLP）和神经网络（NN）都发生了重大变化。然而，对于主动学习（AL）目的，NN不太常用-尽管它们目前很受欢迎。通过将NN的卓越文本分类性能用于AL，我们可以使用相同的数据量来提高模型的性能，或者减少数据，从而减少所需的注释工作，同时保持相同的性能。我们回顾了使用深度神经网络（DNN）进行文本分类的AL，并详细说明了过去阻碍采用的两个主要原因：（a）NN无法提供可靠的不确定性估计，最常用的查询策略依赖于此，以及（b）在小数据上训练DNN的挑战。为了调查前者，我们构建了一个分类的查询策略，区分基于数据的，基于模型的，基于预测的实例选择，并调查这些类在最近的研究中的流行程度。此外，我们回顾了（D）NN背景下基于NN的NLP最新进展，如词嵌入或语言模型，调查了AL，文本分类和DNN交叉点的当前最新技术水平，并将NLP的最新进展与AL联系起来。最后，我们分析了AL文本分类的最新工作，将各自的查询策略与分类法联系起来，并概述了共性和缺点。因此，我们强调了当前研究的差距，并提出了开放的研究问题。
2020-08-17 cs.CL cs.LG
Graph Convolutional Networks for Text Classification
Northwestern University（西北大学）
文本分类是自然语言处理中的一个重要而经典的问题。已经有许多应用卷积神经网络（规则网格上的卷积，例如，序列）进行分类。然而，只有有限数量的研究探索了更灵活的图卷积神经网络（非网格上的卷积，例如，任意图形）的任务。在这项工作中，我们建议使用图卷积网络的文本分类。我们基于词同现和文档词关系为语料库构建单个文本图，然后学习该语料库的文本图卷积网络（Text GCN）。我们的文本GCN初始化为单词和文档的one-hot表示，然后联合学习单词和文档的嵌入，由文档的已知类标签监督。我们在多个基准数据集上的实验结果表明，没有任何外部词嵌入或知识的普通文本GCN优于最先进的文本分类方法。另一方面，Text GCN还学习预测单词和文档嵌入。此外，实验结果表明，随着训练数据的减少，文本GCN相对于现有比较方法的改进更加显著，说明文本GCN在文本分类中对较少训练数据的鲁棒性。
2018-11-13 cs.AI cs.CL
Identifying Semantically Difficult Samples to Improve Text Classification
IBM Research（IBM研究院）；DA-IICT（达达赛信息技术学院）
在本文中，我们研究了从给定的文本数据集中处理困难样本对下游文本分类任务的影响。我们通过在语义嵌入空间中分析困难样本，将其定义为文本分类的非明显情况;具体而言-（i）属于不同类别的语义相似样本和（ii）属于同一类别的语义不相似样本。我们提出了一个惩罚函数来衡量数据集中每个样本的整体难度得分。我们在13个标准数据集上进行了详尽的实验，以显示高达9%的一致改进，并讨论了定性结果，以显示我们的方法在识别文本分类模型的困难样本方面的有效性。
2023-02-13 cs.AI cs.CL
A Survey of Neural Network Techniques for Feature Extraction from Text
University of Waterloo（滑铁卢大学）
本文旨在促进关于使用神经网络架构的文本特征提取技术的讨论。本文讨论的研究问题集中在最先进的神经网络技术，已被证明是有用的工具，语言处理，语言生成，文本分类和其他计算语言学任务。
2017-04-27 cs.CL
TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent（腾讯公司）
文本表示是自然语言处理中的一个基本问题，尤其是在文本分类中。最近，许多具有精细表示模型的神经网络方法（例如FASTTEXT，CNN，RNN和许多具有注意力机制的混合模型）声称它们在特定的文本分类数据集上达到了最先进的水平。然而，它缺乏一个统一的基准来比较这些模型，并揭示每个子组件的优势，为各种设置。我们重新实现了20多个流行的文本表示模型，用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考，并对上述结果进行了分析，得到了一些效果。
2018-03-19 cs.CL
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Model and Evaluation: Towards Fairness in Multilingual Text Classification
Guangdong University of Technology（广东工业大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
近年来，越来越多的研究集中在解决文本分类模型中的偏见。然而，现有的研究主要集中在单语文本分类模型的公平性上，多语种文本分类模型的公平性研究还很有限。针对多语言文本分类问题，提出了一种基于对比学习的多语言文本分类去偏框架。我们提出的方法不依赖于任何外部语言资源，可以扩展到任何其他语言。该模型包括四个模块：多语言文本表示模块、语言融合模块、文本去偏模块和文本分类模块。多语种文本表示模块采用多语种预训练语言模型表示文本，语言融合模块通过对比学习使不同语言的语义空间趋于一致，文本去偏模块采用对比学习使模型无法识别敏感属性信息。文本分类模块完成多语种文本分类的基本任务。另外，现有的多语种文本分类公平性研究在评价模式上比较单一。公平性的评价方法与单语平等差异评价方法相同，即对单一语言进行评价。本文提出了一个多维的多语种文本分类公平性评价框架，该框架评价了模型的单语种公平性差异、多语种公平性差异、多语种公平性性能差异以及公平性策略的破坏性。我们希望我们的工作可以提供一个更普遍的去偏置方法和更全面的多语言文本公平性任务的评估框架。
2023-03-28 cs.CL
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University（北京大学）
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构，并混合它们的表示进行分类，其中层次结构对所有输入文本保持不变。而不是单独建模，在这项工作中，我们提出了层次引导的对比学习（HGSTOM）直接嵌入到文本编码器的层次结构。在训练过程中，HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起，文本编码器可以学习独立地生成分层感知的文本表示。因此，经过训练后，HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
Many-Class Text Classification with Matching
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在这项工作中，我们制定了\textbf{T} ext \textbf{C}分类作为一个\textbf{M}匹配问题之间的文本和标签，并提出了一个简单而有效的框架命名为TCM。与以往的文本分类方法相比，TCM利用分类标签的细粒度语义信息，这有助于在类别数量较大时更好地区分每个类别，特别是在低资源场景中。TCM也易于实现，并且与各种大型预训练语言模型兼容。我们在Few-Shot和全数据设置中对4个文本分类数据集（每个数据集有20多个标签）进行了TCM评估，该模型比其他文本分类范式有显着改进。我们还进行了广泛的实验与中医的不同变种，并讨论其成功的潜在因素。我们的方法和分析提供了一个新的角度对文本分类。
2022-05-23 cs.CL
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的，这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构，如Kim，Yoon的用于句子分类的卷积神经网络，显示了有希望的结果。在本文中，我们提出了将注意力机制纳入网络，以提高其性能，我们还提出了WordRank的词汇选择，以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法，TextCNN在20News上的准确度从94.79提高到96.88，此外，通过使用WordRank，嵌入层的参数数量可以大大减少，而准确度损失很小。通过使用WordRank进行词汇选择，我们可以将参数的数量减少5倍以上，从7.9M减少到1.5M，准确率仅下降1.2%。
2021-08-04 cs.CL
Improve Text Classification Accuracy with Intent Information
School of Mathematics and Statistics（数学与统计学院）；Guangdong University of Technology（广东工业大学）
文本分类作为面向任务的对话系统的核心组成部分，一直是研究和工业界的热点，并取得了巨大的进展。然而，现有的方法没有考虑标签信息的使用，这可能会削弱文本分类系统的性能在一些令牌感知的场景。为了解决这个问题，本文介绍了使用标签信息作为标签嵌入的文本分类任务，并取得了显着的性能在基准数据集。
2022-12-15 cs.CL
Research Experiment on Multi-Model Comparison for Chinese Text Classification Tasks
本文在THUCNews数据集上对比了TextCNN、TextRNN和FastText三种深度学习模型在中文文本分类任务中的性能，并分析了它们在不同场景下的适用性。
2024-12-25 cs.CL
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
由于数据稀疏性，许多分类模型在短文本上效果不佳。为了解决这个问题，我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同，我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明，该模型在短文本分类方面优于现有模型，同时生成连贯的主题。
2018-09-11 cs.CL
Text Classification: A Perspective of Deep Learning Methods
University of Chinese Academic of Science（中国科学院大学）
本文综述基于深度学习的文本分类方法，梳理特征提取、降维、评估等关键流程，并比较总结不同深度学习分类算法。
2023-09-24 cs.CL
Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
University College London（伦敦大学学院）
本文对字符级卷积神经网络解决中文语料文本分类问题进行了有益的探索。我们构建了一个大规模的中文语料库，实验结果表明，字符级卷积神经网络在中文语料库上的性能优于其对应的中文格式数据集。这是首次将字符级卷积神经网络应用于文本分类问题。
2016-11-15 cs.CL
Description Based Text Classification with Reinforcement Learning
Zhejiang University（浙江大学）
文本分类的任务通常分为两个阶段：{ \it文本特征提取}和{ \it分类}。在这个标准的形式化中，类别仅仅被表示为标签词汇表中的索引，并且模型缺乏关于分类的明确指示。受当前将NLP问题形式化为问答任务的趋势的启发，我们提出了一个新的文本分类框架，其中每个类别标签与一个类别描述相关联。描述由手工制作的模板或使用来自强化学习的抽象/提取模型生成。描述和文本的连接被馈送到分类器，以决定是否应该将当前标签分配给文本。所提出的策略迫使该模型参加最显着的文本相对于标签，这可以被视为一个硬版本的注意力，从而导致更好的性能。我们观察到，在广泛的文本分类任务，包括单标签分类，多标签分类和多方面的情感分析的强基线显着的性能提升。
2020-06-04 cs.CL
A Comprehensive Survey of Text Classification Techniques and Their Research Applications: Observational and Experimental Insights
Khalifa University（哈利法大学）；University of London, Birkbeck College（伦敦大学伯克贝克学院）；Brighton College, Dubai（迪拜布莱顿学院）
本文提出一个基于研究领域的文本分类分层分类法，并通过经验与实验双重评估方法比较和排名各方法学子技术，为研究人员提供领域特定的决策依据。
2024-11-25 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法，发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中，其中一些新的/测试文档可能不属于任何训练类，在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
Text Classification using Capsules
Gachon University（嘉泉大学）；NAVER
本文提出了一种使用胶囊网络进行文本分类的实证探索。虽然已经表明胶囊网络对于图像分类是有效的，但是它们在文本领域中的有效性还没有被探索。在本文中，我们证明了胶囊网络确实具有文本分类的潜力，并且它们比卷积神经网络具有几个优势。我们进一步提出了一个简单的路由方法，有效地降低了动态路由的计算复杂性。我们利用七个基准数据集来证明胶囊网络以及所提出的路由方法提供了可比的结果。
2018-08-14 cs.CL
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务，并取得了巨大的成功，超过了基准，如GLUE。建立语言模型的方法在一种语言中取得了很好的效果，它可以作为一个开箱即用的模型应用于多个自然语言处理任务，如分类，摘要，生成等。在自然语言处理的所有经典方法中，掩蔽语言建模是使用最多的。通常，构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型，从经典的和最先进的Transformer模型来分类文本，以节省成本。序列分类器主要用于文本分类领域。然而，令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测，因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能，并在同一组数据上评估每个模型。在这项工作中，我们使用预训练模型作为基础模型，并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Understanding Graph Convolutional Networks for Text Classification
The University of Sydney（悉尼大学）
图卷积网络（Graph Convolutional Network，GCN）在处理具有丰富关系结构的任务时非常有效，并且在图嵌入中能够保持数据集的全局结构信息。近年来，许多研究者都在研究GCN是否能够处理不同的自然语言处理任务，尤其是文本分类。虽然将GCN应用于文本分类已经得到了很好的研究，但其图的构造技术，如节点/边选择及其特征表示，以及文本分类中的最佳GCN学习机制却被忽视了。在本文中，我们进行了全面的分析，节点和边嵌入在一个图和GCN学习技术在文本分类中的作用。我们的分析是同类分析中的第一个，并提供了有用的见解，每个图节点/边构造机制的重要性时，在不同的文本分类基准的GCN训练/测试，以及在其半监督环境下应用。
2022-03-30 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics（上海财经大学）
文本增强技术被广泛应用于文本分类问题，以提高分类器的性能，特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法，但它们以非选择性的方式增强文本，这意味着不太重要或嘈杂的词与信息词有相同的机会被增强，从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词，并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字，我们提出STA（选择性文本增强）选择性地增强文本，其中信息，类指示词被强调，但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明，STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Performance Analysis of Supervised Machine Learning Algorithms for Text Classification
该研究针对多领域文本分类需求增长的问题，采用多种监督机器学习算法在不同带标注数据集上开展文本分类实验，结合基于BPN的ANN模型搭建独立分类平台，通过基准方法测试得出不同模型的分类准确率表现。
2025-08-31 cs.CL
Survey of resampling techniques for improving classification performance in unbalanced datasets
许多分类问题需要处理类之间的数据不平衡。通常期望在少数类上具有高召回率，同时在多数类上保持高精确度。在本文中，我们回顾了文献中提出的一些重新排序技术来处理不平衡的数据集，并研究它们对分类性能的影响。
2016-08-22 cs.LG stat.AP stat.ML
Feature Selection for Gender Classification in TUIK Life Satisfaction Survey
Muğla Sıtkı Koçman University（穆拉·西特基·科奇曼大学）
属性选择是数据采掘分类前的一种方法。在这项研究中，已经创建了一个新的数据集，通过使用土耳其统计研究所（TSI）生活满意度调查数据集的整体满意度表示的属性。在数据采掘应用中，使用属性选择算法通过排序搜索方法对属性进行排序。这些选定的属性进行分类测试与朴素贝叶斯和随机森林从机器学习算法。根据选择的属性的数量和分类准确率，比较特征选择算法。在这项研究中，这是旨在减少数据集的体积，最好的分类结果来选择3个属性的卡方2算法。随机森林分类算法的最佳分类率为73%。
2018-07-12 cs.LG stat.ML
Attribute-aware Collaborative Filtering: Survey and Classification
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
属性感知CF模型的目标是不仅考虑用户对项目的历史评级，而且还考虑与用户（例如年龄），项目（例如价格）甚至评级（例如评级时间）相关的信息进行评级预测。本文综述了近十年来属性感知CF系统的研究成果，发现在数学上可以将其分为四类。我们为读者提供的不仅是高层次的数学解释现有的作品在这一领域，但也为每一类模型的数学见解。最后，我们提供了深入的实验结果，比较每个类别中的主要作品的有效性。
2018-10-20 cs.IR cs.LG stat.ML
A Survey of Naïve Bayes Machine Learning approach in Text Document Classification
Pondicherry University（本地治里大学）
文本文档分类的目的是根据标签文档训练集所建议的可能性将一个或多个预定义的类别关联起来。许多机器学习算法在训练具有预定义类别的系统方面发挥着至关重要的作用，其中朴素贝叶斯有一些有趣的事实，即它简单、易于实现，并且尽管存在朴素的依赖性，但在大型数据集中仍能获得更好的准确性。朴素贝叶斯机器学习方法的重要性已经被认识到，因此该研究已经被用于文本文档分类和可用的统计事件模型。本文对文本分类中的各种特征选择方法以及与文本分类相关的度量进行了讨论和比较。
2010-03-09 cs.IR cs.LG
Bias Mitigation Methods for Binary Classification Decision-Making Systems: Survey and Recommendations
King’s College London（伦敦国王学院）
本文系统综述了二元分类决策系统中的偏见缓解方法，分析其优势与局限，并为未来方法设计提出建议。
2023-05-31 cs.AI cs.CY cs.LG
How Complex is your classification problem? A survey on measuring classification complexity
Instituto Tecnológico de Aeronáutica（航空技术研究所）；Universidade de Brasília（巴西利亚大学）；University of Bonn（波恩大学）；University of Orléans（奥尔良大学）；IBM Watson（IBM沃森）
从分类问题的训练数据集中提取的特征已被证明是一些荟萃分析中的有效预测因子。其中，分类复杂性的度量可以用来估计将数据点分离到其期望类别中的难度。数据的空间分布的描述符和决策边界的形状和大小的估计是用于该表征的已知测量。这些信息可以支持制定新的数据驱动的预处理和模式识别技术，而这些技术又可以侧重于问题的这些特点所突出的挑战。本文调查和分析的措施，可以从训练数据集中提取，以表征各自的分类问题的复杂性。他们在最近的文献中的使用也进行了审查和讨论，允许在该领域的未来工作的前景机会。最后，描述了一个名为扩展复杂性库（ECoL）的R包，它实现了一组复杂性度量，并公开提供。
2020-12-30 cs.LG stat.ML
An Empirical Survey of Data Augmentation for Time Series Classification with Neural Networks
Kyushu University（九州大学）
近年来，深度人工神经网络在模式识别方面取得了许多成功。这一成功的部分原因可以归因于对大数据的依赖，以提高泛化能力。然而，在时间序列识别领域，许多数据集往往非常小。解决该问题的一种方法是通过使用数据增强。在本文中，我们调查的数据增强技术的时间序列和它们的应用与神经网络的时间序列分类。我们提出了一个分类法，并概述了四个家庭的时间序列数据增强，包括基于变换的方法，模式混合，生成模型和分解方法。此外，我们经验性地评估了12种时间序列数据增强方法在128个时间序列分类数据集上使用6种不同类型的神经网络。通过研究结果，我们能够分析每种数据增强方法的特点、优缺点和建议。本调查的目的是帮助在选择时间序列数据增强的神经网络的应用。
2021-07-02 cs.LG stat.ML
Enhancement of Short Text Clustering by Iterative Classification
Dalhousie University（达尔豪西大学）
短文本聚类是一个具有挑战性的任务，由于缺乏信号包含在这样的短文本。在这项工作中，我们提出了迭代分类作为一种方法来浪费聚类质量（例如，准确性）的短文本。给定使用任意聚类算法获得的短文本的聚类，迭代分类应用离群值去除以获得无离群值的聚类。然后，它训练一个分类算法，使用非离群值的基础上，他们的集群分布。使用训练好的分类模型，迭代分类对离群值进行重新分类，以获得一组新的聚类。通过多次重复，我们获得了更好的文本聚类。我们的实验结果表明，所提出的聚类增强方法不仅提高了不同聚类方法的聚类质量（例如，k-means、k-means和分层聚类），而且在几个短文本数据集上的性能也优于现有技术的短文本聚类方法，具有统计上显著的优势。
2020-01-31 cs.CL cs.IR cs.LG
Deep Learning for Text Style Transfer: A Survey
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Max Planck Institute（马克斯·普朗克研究所）；ETH Zürich（苏黎世联邦理工学院）；UC San Diego（加州大学圣迭戈分校）；University of Waterloo（滑铁卢大学）；University of Michigan（密歇根大学）
文本风格转换是自然语言生成中的一项重要任务，旨在控制生成文本中的某些属性，如礼貌、情感、幽默等。它在自然语言处理领域有着悠久的历史，最近由于深度神经模型带来的有前途的性能而重新获得了极大的关注。本文对神经文本风格迁移的研究进行了系统的综述，涵盖了自2017年第一个神经文本风格迁移工作以来的100多篇代表性文章。我们讨论的任务制定，现有的数据集和子任务，评估，以及丰富的方法，在并行和非并行数据的存在。我们还就有关这项任务未来发展的各种重要主题进行了讨论。我们的策展论文列表位于https://github.com/zhijing-jin/Text_Style_Transfer_Survey
2021-12-16 cs.AI cs.CL cs.LG
Machine Learning for Cataract Classification and Grading on Ophthalmic Imaging Modalities: A Survey
Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）
白内障是全球视力损害和失明的主要原因。多年来，研究人员在开发用于白内障自动分类和分级的最先进的机器学习技术方面取得了重大进展，旨在早期预防白内障并提高临床医生的诊断效率。该调查提供了基于眼科图像的白内障分类/分级机器学习技术的最新进展的全面调查。本文从传统机器学习方法和深度学习方法两个研究方向对现有文献进行了总结。这项调查还提供了对现有作品的优点和局限性的见解。此外，我们还讨论了基于机器学习技术的白内障自动分类/分级的几个挑战，并为未来的研究提出了可能的解决方案。
2022-04-02 cs.CV cs.LG eess.IV
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame（圣母大学）；Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）；University of California at San Diego（加州大学圣迭戈分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来，Seq 2Seq开创的各种神经编码器-解码器模型已经被提出，通过学习将输入文本映射到输出文本来实现目标。然而，仅靠输入文本往往只能提供有限的知识来生成所需的输出，因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题，研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分：（1）知识集成到文本生成中的一般方法和体系结构;（2）针对不同形式的知识数据，给出具体的技术和应用。这项调查可以有广泛的受众，包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
Deep Learning for Time Series Classification and Extrinsic Regression: A Current Survey
Monash University（莫纳什大学）；IRIMAS（IRIMAS研究所）；University of Haute-Alsace（上阿尔萨斯大学）
本文综述了深度学习在时间序列分类与外部回归中的最新进展，涵盖网络架构、训练方法、挑战与机遇，并总结人类活动识别和卫星对地观测两大应用。
2023-12-19 cs.AI cs.CV cs.LG
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University（北京大学）
文本摘要和情感分类都旨在捕捉文本的主要思想，但在不同的层次上。文本摘要是在几个句子内描述文本，而情感分类可以被视为一种特殊类型的摘要，它将文本“概括”成更抽象的方式，即，情感课基于这一思想，我们提出了一个分层的端到端模型，用于文本摘要和情感分类的联合学习，其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此，情感分类层放在文本摘要层上，并导出层次结构。在Amazon在线评论数据集上的实验结果表明，该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
A Comprehensive Survey and Classification of Evaluation Criteria for Trustworthy Artificial Intelligence
ADAPT Research Centre（ADAPT研究中心）；University of Galway（戈尔韦大学）
本文系统综述了可信人工智能评估标准，围绕欧盟七项TAI原则识别现有标准并提出新的分类体系，指出标准化需求与障碍，为TAI治理提供支持。
2024-10-10 cs.AI cs.CY cs.HC
One-Class Classification: A Survey
AWS AI（AWS人工智能）；Johns Hopkins University（约翰斯·霍普金斯大学）
单类分类（OCC）是多类分类的一种特殊情况，其中在训练期间观察到的数据来自单个正类。OCC的目标是学习一种表示和/或分类器，以便在推理过程中识别正标记的查询。近年来，这个话题在计算机视觉、机器学习和生物识别领域引起了相当大的兴趣。在这篇文章中，我们提供了一个经典的统计和最近的基于深度学习的OCC方法的视觉识别的调查。我们讨论了现有的OCC方法的优点和缺点，并确定在这一领域的研究有前途的途径。此外，我们还讨论了OCC常用的数据集和评估指标。
2021-01-08 cs.CV cs.LG
Deep Learning and Open Set Malware Classification: A Survey
Florida Institute of Technology（佛罗里达理工学院）
随着互联网的迅速发展，恶意软件已经成为互联网用户面临的主要威胁之一。随着恶意软件的急剧增加，利用最新的机器学习技术将恶意软件分类到已知的恶意软件家族中，并对未知的恶意软件进行识别，这就涉及到机器学习中的开集识别（OSR）问题。最近的机器学习工作已经从不同的场景中揭示了开集识别（OSR）。在未知训练样本缺失的情况下，OSR系统不仅要对已知类别进行正确分类，还要对未知类别进行识别。本调查概述了不同的深度学习技术，讨论了OSR和图形表示解决方案，并介绍了恶意软件分类系统。
2020-04-08 cs.CR cs.LG stat.ML
A Survey of AI Text-to-Image and AI Text-to-Video Generators
Kent State University（肯特州立大学）
本文综述了AI文生图与文生视频生成模型，涵盖数据预处理、神经网络类型、评估指标，并讨论挑战与未来方向，指出其在视频制作、内容创作和数字营销中的广阔应用前景。
2023-11-10 cs.AI cs.CL cs.CV
