Evaluation of Representation Models for Text Classification with AutoML Tools
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Industrial Engineering IAO（弗劳恩霍夫工业工程研究所）
近年来，自动机器学习（AutoML）在表格数据方面取得了越来越多的成功。然而，处理像文本这样的非结构化数据是一个挑战，并且没有得到开源AutoML工具的广泛支持。这项工作比较了三个手动创建的文本表示和AutoML工具自动创建的文本嵌入。我们的基准测试包括四个流行的开源AutoML工具和八个用于文本分类的数据集。结果表明，直接的文本表示比自动创建文本嵌入的AutoML工具性能更好。
2021-07-07 cs.CL cs.LG
Dual-State Capsule Networks for Text Classification
University of Moratuwa（莫拉图瓦大学）
基于上下文嵌入的文本分类系统对于许多低资源语言来说是不可行的选择。另一方面，最近推出的胶囊网络显示出与这些文本分类模型相当的性能。因此，它们可以被认为是一个可行的替代文本分类的语言，没有预先训练的上下文嵌入模型。然而，目前的胶囊网络依赖于空间模式，而不考虑文本的顺序特征。它们在捕获较长序列中的上下文级别信息方面也是次优的。本文提出了一种新的基于双状态胶囊（DS-Caps）网络的文本分类技术，该技术经过优化以缓解这些问题。两种状态，即句子级和单词级，与胶囊层集成，以捕获更深层次的上下文级信息，用于语言建模。利用状态层次的上下文层次信息，对胶囊间的动态路由过程进行了优化。DS-Caps网络在多个数据集上的性能优于现有的胶囊网络架构，特别是对于具有较长文本序列的任务。我们还证明了DS-Caps在低资源语言的文本分类中的优越性。
2021-09-10 cs.CL cs.LG
SLCNN: Sentence-Level Convolutional Neural Network for Text Classification
University of Zanjan（赞詹大学）
文本分类是自然语言处理的一项基本任务。最近的几项研究表明，深度学习在文本处理方面取得了成功。卷积神经网络（CNN）作为一种流行的深度学习模型，在文本分类任务中取得了显着的成功。在本文中，新的基线模型进行了研究，文本分类使用CNN。在这些模型中，文档作为三维张量表示被馈送到网络，以提供文档级分析。应用这种方法使模型能够利用文本中句子的位置信息。此外，分析相邻的句子可以提取额外的特征。所提出的模型进行了比较与国家的最先进的模型，使用几个数据集。实验结果表明，所提出的模型具有较好的性能，尤其是在较长的文档中。
2023-01-27 cs.CL cs.LG
Self-supervised Regularization for Text Classification
Shanghai Jiao Tong University（上海交通大学）；Northeastern University（东北大学）；UC San Diego（加利福尼亚大学圣迭戈分校）
文本分类是一个被广泛研究的问题，有着广泛的应用。在许多现实问题中，用于训练分类模型的文本数量是有限的，这使得这些模型容易过拟合。为了解决这个问题，我们提出了SSL-Reg，一种基于自监督学习（SSL）的数据依赖正则化方法。SSL是一种无监督学习方法，它在输入数据上定义辅助任务，而不使用任何人类提供的标签，并通过解决这些辅助任务来学习数据表示。在SSL-Reg中，监督分类任务和无监督SSL任务同时执行。SSL任务是无监督的，它纯粹是在输入文本上定义的，不使用任何人工提供的标签。使用SSL任务训练模型可以防止模型过度拟合到分类任务中有限数量的类标签。在17个文本分类数据集上的实验证明了该方法的有效性。
2021-03-24 cs.CL cs.LG
Label-guided Learning for Text Classification
文本分类是自然语言处理中最重要和最基本的任务之一。这一任务的执行主要依赖于文本表示学习。目前，大多数现有的学习框架主要集中在编码词之间的本地上下文信息。这些方法在编码文本信息时往往忽略了全局线索，如标签信息。在本研究中，我们提出了一个用于文本表示和分类的标签引导学习框架LguidedLearn。我们的方法是新颖的，但简单的，我们只插入一个标签引导的编码层到常用的文本表示学习模式。该标签引导层执行基于标签的注意编码，以将通用文本嵌入（由上下文信息学习器编码）映射到不同的标签空间，从而产生标签式嵌入。在我们提出的框架中，标签引导层可以很容易地直接应用于上下文编码方法来执行联合学习。基于局部上下文信息和全局标签线索两者对文本信息进行编码。因此，得到的文本嵌入更强大的文本分类和歧视。在基准数据集上进行了大量的实验，以说明我们提出的方法的有效性。
2020-02-25 cs.CL cs.LG
TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent（腾讯公司）
文本表示是自然语言处理中的一个基本问题，尤其是在文本分类中。最近，许多具有精细表示模型的神经网络方法（例如FASTTEXT，CNN，RNN和许多具有注意力机制的混合模型）声称它们在特定的文本分类数据集上达到了最先进的水平。然而，它缺乏一个统一的基准来比较这些模型，并揭示每个子组件的优势，为各种设置。我们重新实现了20多个流行的文本表示模型，用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考，并对上述结果进行了分析，得到了一些效果。
2018-03-19 cs.CL
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Model and Evaluation: Towards Fairness in Multilingual Text Classification
Guangdong University of Technology（广东工业大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
近年来，越来越多的研究集中在解决文本分类模型中的偏见。然而，现有的研究主要集中在单语文本分类模型的公平性上，多语种文本分类模型的公平性研究还很有限。针对多语言文本分类问题，提出了一种基于对比学习的多语言文本分类去偏框架。我们提出的方法不依赖于任何外部语言资源，可以扩展到任何其他语言。该模型包括四个模块：多语言文本表示模块、语言融合模块、文本去偏模块和文本分类模块。多语种文本表示模块采用多语种预训练语言模型表示文本，语言融合模块通过对比学习使不同语言的语义空间趋于一致，文本去偏模块采用对比学习使模型无法识别敏感属性信息。文本分类模块完成多语种文本分类的基本任务。另外，现有的多语种文本分类公平性研究在评价模式上比较单一。公平性的评价方法与单语平等差异评价方法相同，即对单一语言进行评价。本文提出了一个多维的多语种文本分类公平性评价框架，该框架评价了模型的单语种公平性差异、多语种公平性差异、多语种公平性性能差异以及公平性策略的破坏性。我们希望我们的工作可以提供一个更普遍的去偏置方法和更全面的多语言文本公平性任务的评估框架。
2023-03-28 cs.CL
Deep Learning Based Text Classification: A Comprehensive Review
Snapchat Inc（Snapchat公司）；Google Brain（谷歌大脑）；Nanyang Technological University（南洋理工大学）；University of Tabriz（大不里士大学）；Microsoft Research（微软研究院）
基于深度学习的模型在各种文本分类任务中已经超越了基于经典机器学习的方法，包括情感分析、新闻分类、问答和自然语言推理。在本文中，我们全面回顾了近年来开发的150多种基于深度学习的文本分类模型，并讨论了它们的技术贡献、相似性和优势。我们还提供了广泛用于文本分类的40多个流行数据集的摘要。最后，我们对不同深度学习模型在流行基准测试上的性能进行了定量分析，并讨论了未来的研究方向。
2021-01-04 cs.CL cs.LG stat.ML
SSMix: Saliency-Based Span Mixup for Text Classification
Clova AI, Naver Corp.（Naver公司Clova AI）；KAIST（韩国科学技术院）
具有混合的数据增强已被证明对各种计算机视觉任务有效。尽管取得了巨大的成功，但将mixup应用于NLP任务仍然存在障碍，因为文本由具有可变长度的离散标记组成。在这项工作中，我们提出了SSMix，一种新的混合方法，操作是在输入文本上执行的，而不是像以前的方法那样在隐藏向量上执行的。SSMix通过基于跨度的混合来合成一个句子，同时保留两个原始文本的局部性，并保留更多与依赖于显著性信息的预测相关的标记。通过大量的实验，我们从经验上验证了我们的方法在广泛的文本分类基准（包括文本蕴涵、情感分类和问题类型分类）上优于隐藏级混淆方法。我们的代码可在https://github.com/clovaai/ssmix上获得。
2021-06-15 cs.AI cs.CL cs.LG
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University（北京大学）
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构，并混合它们的表示进行分类，其中层次结构对所有输入文本保持不变。而不是单独建模，在这项工作中，我们提出了层次引导的对比学习（HGSTOM）直接嵌入到文本编码器的层次结构。在训练过程中，HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起，文本编码器可以学习独立地生成分层感知的文本表示。因此，经过训练后，HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
Adopting the Multi-answer Questioning Task with an Auxiliary Metric for Extreme Multi-label Text Classification Utilizing the Label Hierarchy
University of Malaya（马来亚大学）；Vanderbilt University Medical Center（范德比尔特大学医学中心）
极端多标签文本分类利用标签层次结构将极端标签划分为多个标签组，将任务转化为简单的多组多标签分类任务。目前的研究将标签编码为固定长度的向量，需要为不同的标签组建立多个分类器。问题是如何只构建一个分类器而不牺牲层次结构中的标签关系。本文采用多答案提问任务进行极端多标签分类。本文还提出了一种辅助分类评价指标。本研究将所提出的方法与评估指标应用于法律领域。讨论了合法Berts的利用和任务分配的研究。实验结果表明，提出的层次结构和多答案提问任务可以对EURLEX数据集进行极端的多标签分类。而在对多标签分类任务进行微调时，领域自适应的BERT模型在本实验中并没有表现出明显的优势。该方法在理论上也适用于零样本学习。
2023-03-02 cs.CL
Orthogonal Matching Pursuit for Text Classification
École Polytechnique（巴黎综合理工学院）；Athens University of Economics and Business（雅典经济与商业大学）
在文本分类中，由于高维数而出现过拟合问题，使得正则化变得必要。虽然经典的正则化器提供稀疏性，但它们无法返回高度准确的模型。相反，最先进的群套索正则化器以低稀疏性为代价提供了更好的结果。在本文中，我们采用贪婪的变量选择算法，称为正交匹配追踪，文本分类任务。我们还扩展了标准组OMP通过引入重叠组OMP处理重叠组的功能。实证分析表明，OMP和重叠GOMP构成强大的正则化，能够产生有效的和非常稀疏的模型。代码和数据可在线获取：https://github.com/y3nk0/OMP-for-Text-Classification。
2018-10-09 cs.CL cs.LG stat.ML
Cross Language Text Classification via Subspace Co-Regularized Multi-View Learning
Temple University（天普大学）
在许多多语言文本分类问题中，不同语言的文档往往共享同一组类别。为了减少为每种语言训练分类模型的标记成本，重要的是通过进行跨语言分类将从一种语言获得的标记知识转移到另一种语言。本文提出了一种新的子空间共正则化多视图学习方法用于跨语言文本分类。该方法建立在由机器翻译产生的平行语料库上。它联合最小化每种语言中每个分类器的训练误差，同时惩罚并行文档的子空间表示之间的距离。我们对大量跨语言文本分类任务的实证研究表明，所提出的方法始终优于一些归纳方法，领域自适应方法，和多视图学习方法。
2012-06-27 cs.CL cs.IR cs.LG
Many-Class Text Classification with Matching
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在这项工作中，我们制定了\textbf{T} ext \textbf{C}分类作为一个\textbf{M}匹配问题之间的文本和标签，并提出了一个简单而有效的框架命名为TCM。与以往的文本分类方法相比，TCM利用分类标签的细粒度语义信息，这有助于在类别数量较大时更好地区分每个类别，特别是在低资源场景中。TCM也易于实现，并且与各种大型预训练语言模型兼容。我们在Few-Shot和全数据设置中对4个文本分类数据集（每个数据集有20多个标签）进行了TCM评估，该模型比其他文本分类范式有显着改进。我们还进行了广泛的实验与中医的不同变种，并讨论其成功的潜在因素。我们的方法和分析提供了一个新的角度对文本分类。
2022-05-23 cs.CL
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group（阿里巴巴集团）
由于电子健康记录（EHR）系统的广泛采用，医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性，如长度的多样性、文本类型的混合性、医学术语的大量使用等，给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果，例如文本分类和问答。然而，独立的BERT模型不能处理医学文本的复杂性，特别是冗长的临床笔记。在此，我们开发了一个新的模型称为KG-MTT-BERT（知识图增强多类型文本BERT）通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组（DRG）分类中的表现优于所有基线和其他最先进的模型，这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的，这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构，如Kim，Yoon的用于句子分类的卷积神经网络，显示了有希望的结果。在本文中，我们提出了将注意力机制纳入网络，以提高其性能，我们还提出了WordRank的词汇选择，以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法，TextCNN在20News上的准确度从94.79提高到96.88，此外，通过使用WordRank，嵌入层的参数数量可以大大减少，而准确度损失很小。通过使用WordRank进行词汇选择，我们可以将参数的数量减少5倍以上，从7.9M减少到1.5M，准确率仅下降1.2%。
2021-08-04 cs.CL
Improve Text Classification Accuracy with Intent Information
School of Mathematics and Statistics（数学与统计学院）；Guangdong University of Technology（广东工业大学）
文本分类作为面向任务的对话系统的核心组成部分，一直是研究和工业界的热点，并取得了巨大的进展。然而，现有的方法没有考虑标签信息的使用，这可能会削弱文本分类系统的性能在一些令牌感知的场景。为了解决这个问题，本文介绍了使用标签信息作为标签嵌入的文本分类任务，并取得了显着的性能在基准数据集。
2022-12-15 cs.CL
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University（上海外国语大学）
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验，揭示了标签平滑不仅能提升分类性能，还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
Corpus Statistics in Text Classification of Online Data
Dalhousie University（达尔豪斯大学）；Moldova Technical University（摩尔多瓦技术大学）；University of Ottawa（渥太华大学）
机器学习（ML）从一门精品科学到一门普遍接受的技术的转变，增加了ML研究的复制性和可移植性的重要性。在目前的工作中，我们研究如何语料库特征的文本数据集对应的文本分类结果。我们的工作从一个在线健康相关论坛的子论坛收集的两个数据集。我们的实证结果得到了多类情感分析的应用。
2018-03-16 cs.CL cs.IR cs.LG
Research Experiment on Multi-Model Comparison for Chinese Text Classification Tasks
本文在THUCNews数据集上对比了TextCNN、TextRNN和FastText三种深度学习模型在中文文本分类任务中的性能，并分析了它们在不同场景下的适用性。
2024-12-25 cs.CL
LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中，只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架，其中测试样本首先被分配伪标签，然后用于训练神经文本分类器。在大多数以前的工作中，伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME，弱监督文本分类的框架，完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现，将弱监督分类和文本蕴涵相结合可以减轻两者的缺点，从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型，LIME在弱监督文本分类中的表现优于最近的基线，并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
由于数据稀疏性，许多分类模型在短文本上效果不佳。为了解决这个问题，我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同，我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明，该模型在短文本分类方面优于现有模型，同时生成连贯的主题。
2018-09-11 cs.CL
Text Classification: A Perspective of Deep Learning Methods
University of Chinese Academic of Science（中国科学院大学）
本文综述基于深度学习的文本分类方法，梳理特征提取、降维、评估等关键流程，并比较总结不同深度学习分类算法。
2023-09-24 cs.CL
Text classification with word embedding regularization and soft similarity measure
Masaryk University（马萨里克大学）；Faculty of Informatics（信息学院）
自从Mikolov等人的开创性工作以来，词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量，如软余弦度量（SCM）和词移动者距离（WMD），被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色，但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度，但其在文本分类上的性能从未与WMD进行过比较。最近，两种词嵌入正则化技术被证明可以减少存储和内存成本，并提高训练速度，文档处理速度以及词类比，词相似性和语义文本相似性的任务性能。然而，这些技术对文本分类的影响尚未得到研究。在我们的工作中，我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估，我们使用$k$ NN分类器和六个标准数据集：BBCSPORT，TWITTER，OHSUMED，REUTERS-21578，AMAZON和20 NEWS。我们发现，与非正则化词嵌入相比，正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序，通过Cholesky分解得到这样的正则化嵌入。我们还表明，具有正则化词嵌入的SCM在文本分类方面明显优于WMD，并且速度快了10，000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
In-depth Question classification using Convolutional Neural Networks
School of Informatics and Computing（信息与计算学院）
用于计算机视觉的卷积神经网络相当直观。在用于图像分类的典型CNN中，第一层学习边缘，随后的层学习一些可以识别对象的过滤器。但用于自然语言处理的CNN并不经常使用，也不完全直观。我们对卷积过滤器在文本分类任务中学习的内容有了很好的了解，为此，我们提出了一种神经网络结构，它能够在更短的时间内给出良好的结果。我们将使用卷积神经网络来预测问题的主要或更广泛的主题，然后为每个预测的主题使用单独的网络来准确地分类它们的子主题。
2018-03-31 cs.CL
Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
University College London（伦敦大学学院）
本文对字符级卷积神经网络解决中文语料文本分类问题进行了有益的探索。我们构建了一个大规模的中文语料库，实验结果表明，字符级卷积神经网络在中文语料库上的性能优于其对应的中文格式数据集。这是首次将字符级卷积神经网络应用于文本分类问题。
2016-11-15 cs.CL
Description Based Text Classification with Reinforcement Learning
Zhejiang University（浙江大学）
文本分类的任务通常分为两个阶段：{ \it文本特征提取}和{ \it分类}。在这个标准的形式化中，类别仅仅被表示为标签词汇表中的索引，并且模型缺乏关于分类的明确指示。受当前将NLP问题形式化为问答任务的趋势的启发，我们提出了一个新的文本分类框架，其中每个类别标签与一个类别描述相关联。描述由手工制作的模板或使用来自强化学习的抽象/提取模型生成。描述和文本的连接被馈送到分类器，以决定是否应该将当前标签分配给文本。所提出的策略迫使该模型参加最显着的文本相对于标签，这可以被视为一个硬版本的注意力，从而导致更好的性能。我们观察到，在广泛的文本分类任务，包括单标签分类，多标签分类和多方面的情感分析的强基线显着的性能提升。
2020-06-04 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法，发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中，其中一些新的/测试文档可能不属于任何训练类，在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
Text Classification using Capsules
Gachon University（嘉泉大学）；NAVER
本文提出了一种使用胶囊网络进行文本分类的实证探索。虽然已经表明胶囊网络对于图像分类是有效的，但是它们在文本领域中的有效性还没有被探索。在本文中，我们证明了胶囊网络确实具有文本分类的潜力，并且它们比卷积神经网络具有几个优势。我们进一步提出了一个简单的路由方法，有效地降低了动态路由的计算复杂性。我们利用七个基准数据集来证明胶囊网络以及所提出的路由方法提供了可比的结果。
2018-08-14 cs.CL
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务，并取得了巨大的成功，超过了基准，如GLUE。建立语言模型的方法在一种语言中取得了很好的效果，它可以作为一个开箱即用的模型应用于多个自然语言处理任务，如分类，摘要，生成等。在自然语言处理的所有经典方法中，掩蔽语言建模是使用最多的。通常，构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型，从经典的和最先进的Transformer模型来分类文本，以节省成本。序列分类器主要用于文本分类领域。然而，令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测，因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能，并在同一组数据上评估每个模型。在这项工作中，我们使用预训练模型作为基础模型，并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Understanding Graph Convolutional Networks for Text Classification
The University of Sydney（悉尼大学）
图卷积网络（Graph Convolutional Network，GCN）在处理具有丰富关系结构的任务时非常有效，并且在图嵌入中能够保持数据集的全局结构信息。近年来，许多研究者都在研究GCN是否能够处理不同的自然语言处理任务，尤其是文本分类。虽然将GCN应用于文本分类已经得到了很好的研究，但其图的构造技术，如节点/边选择及其特征表示，以及文本分类中的最佳GCN学习机制却被忽视了。在本文中，我们进行了全面的分析，节点和边嵌入在一个图和GCN学习技术在文本分类中的作用。我们的分析是同类分析中的第一个，并提供了有用的见解，每个图节点/边构造机制的重要性时，在不同的文本分类基准的GCN训练/测试，以及在其半监督环境下应用。
2022-03-30 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics（上海财经大学）
文本增强技术被广泛应用于文本分类问题，以提高分类器的性能，特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法，但它们以非选择性的方式增强文本，这意味着不太重要或嘈杂的词与信息词有相同的机会被增强，从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词，并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字，我们提出STA（选择性文本增强）选择性地增强文本，其中信息，类指示词被强调，但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明，STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Text-based classification of interviews for mental health -- juxtaposing the state of the art
University of Amsterdam（阿姆斯特丹大学）
目前，精神疾病分类的最新技术是基于基于音频的分类。本文旨在设计和评估一个最先进的文本分类网络。假设是，一个精心设计的基于文本的方法构成了一个强大的竞争对国家的最先进的音频为基础的方法。荷兰语自然语言模型受到预训练单语NLP模型稀缺性的限制，因此荷兰语自然语言模型对句子的长范围语义依赖性的捕获率较低。针对这个问题，本文提出了belabBERT，一个新的荷兰语语言模型，扩展了RoBERTa[15]体系结构。belabBERT是在一个大型的荷兰语语料库（+32GB）上训练的。在评估了基于文本的分类的强度之后，本文做了一个简单的探索，将该框架扩展到基于文本和音频的混合分类。这个混合框架的目标是展示一个非常基本的音频分类网络的混合原理。总体目标是通过证明新的基于文本的分类已经是一个强大的独立解决方案，为混合精神疾病分类奠定基础。
2020-07-29 cs.CL cs.LG cs.SD
Performance Analysis of Supervised Machine Learning Algorithms for Text Classification
该研究针对多领域文本分类需求增长的问题，采用多种监督机器学习算法在不同带标注数据集上开展文本分类实验，结合基于BPN的ANN模型搭建独立分类平台，通过基准方法测试得出不同模型的分类准确率表现。
2025-08-31 cs.CL
Abstractive Text Classification Using Sequence-to-convolution Neural Networks
Sogang University（西江大学）
我们提出了一种新的用于文本分类的深度神经网络模型及其训练方案。我们的模型序列到卷积神经网络（Seq 2CNN）由两个块组成：序列块，它总结输入文本;卷积块，它接收输入的摘要并将其分类为标签。Seq 2CNN是端到端训练的，可以对不同长度的文本进行分类，而无需将输入预处理为固定长度。我们还提出了稳定训练的渐进权重转移（GWS）方法。GWS应用于我们的模型的损失函数。我们将我们的模型与使用不同数据预处理方法训练的基于单词的TextCNN进行了比较。我们在没有任何集成或数据增强的情况下，在基于单词的TextCNN上获得了分类准确性的显著提高。
2020-06-02 cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术：（a）TFIDF与依赖语法，特征选择和加权;（b）类关联规则与支持向量机，分类。阿拉伯语文本有两种形式：词根化和词干浅化。我们得到的结果表明，轻干文本导致更好的性能比routifed文本，类关联规则更适合于小的依赖语法约束获得的特征集，最后，支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
Deep Learning for Hindi Text Classification: A Comparison
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
自然语言处理（NLP），特别是自然语言文本分析，近年来取得了很大的进展。深度学习在文本处理中的应用，使文本处理技术发生了革命性的变化，并取得了显著的效果。不同的深度学习架构，如CNN、LSTM和最近的Transformer，已被用于实现NLP任务的最新结果。在这项工作中，我们调查了大量用于文本分类任务的深度学习架构。这部作品特别关注印地语文本的分类。由于缺乏大型标注语料库，对梵文书写的形态丰富而资源贫乏的印地语进行分类的研究受到了限制。在这项工作中，我们使用英语数据集的翻译版本来评估基于CNN、LSTM和Attention的模型。基于BERT和LASER的多语言预训练句子嵌入也进行了比较，以评估其对印地语的有效性。本文也作为一个教程流行的文本分类技术。
2020-01-19 cs.CL cs.IR cs.LG
Text classification based on ensemble extreme learning machine
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；The University of Edinburgh（爱丁堡大学）
在本文中，我们提出了一种新的方法，基于成本敏感的集成加权极端学习机，我们称之为AE 1-WELM。我们将这种方法应用于文本分类。AE 1-WELM是一种包含平衡和不平衡多重分类的文本分类算法。加权ELM对不同类别的样本赋予不同的权重，在一定程度上提高了分类精度，但加权ELM只考虑了不同类别样本之间的差异，而忽略了同一类别样本之间的差异。通过样本信息熵度量文档的重要性，并根据文档的重要性生成代价敏感矩阵和代价敏感因子，将代价敏感加权ELM无缝嵌入AdaBoost. M1框架中。向量空间模型（VSM）文本表示方法维数高、特征稀疏，增加了ELM的负担。为了克服这个问题，我们开发了一个文本分类框架相结合的词向量和AE 1-WELM。实验结果表明，该方法为文本分类提供了一种准确、可靠、有效的解决方案。
2018-05-10 cs.AI cs.CL cs.IR
An Improved Text Sentiment Classification Model Using TF-IDF and Next Word Negation
随着文本情感分析的快速发展，对电子文档自动分类的需求也在飞速增长。文本分类或文本挖掘的范式是近年来许多研究工作的主题。在本文中，我们提出了一种文本情感分类技术，使用词频-逆文档频率（TF-IDF）以及下一个词否定（NWN）。我们还比较了二进制词袋模型，TF-IDF模型和TF-IDF与下一个词否定（TF-IDF-NWN）模型的文本分类性能。我们提出的模型，然后应用于三种不同的文本挖掘算法，我们发现线性支持向量机（LSVM）是最适合与我们提出的模型。所取得的结果表明，与早期的方法相比，准确性显着增加。
2018-06-17 cs.CL cs.IR
Adaptive Region Embedding for Text Classification
Tsinghua University（清华大学）；Cisco Systems（思科系统公司）
深度学习模型如卷积神经网络和递归网络广泛应用于文本分类。尽管取得了巨大的成功，但大多数深度学习模型都忽视了对上下文信息建模的重要性，而上下文信息对于理解文本至关重要。在这项工作中，我们提出了自适应区域嵌入来学习上下文表示，以提高文本分类。具体来说，元网络被学习为每个区域生成上下文矩阵，并且每个词与其对应的上下文矩阵交互以产生用于进一步分类的区域表示。与以前的模型，旨在捕捉上下文信息相比，我们的模型包含更少的参数，更灵活。我们在8个文本分类基准数据集上广泛评估了我们的方法。实验结果表明，该方法具有较好的性能，能有效地避免歧义。
2019-05-28 cs.CL
Privacy-Preserving Text Classification on BERT Embeddings with Homomorphic Encryption
CryptoLab；Seoul National University（首尔国立大学）
嵌入技术将原始文本中的信息压缩到保持语义的低维向量中，由于其有效性而被广泛采用。然而，最近的研究表明，嵌入可能会泄露有关文本敏感属性的私人信息，并且在某些情况下，可以反转以恢复原始输入文本。为了解决这些日益增长的隐私挑战，我们提出了一个私有化机制嵌入的基础上同态加密，以防止潜在的泄漏的任何一条信息的过程中的文本分类。特别是，我们的方法执行文本分类的加密嵌入从国家的最先进的模型，如BERT，支持一个高效的GPU实现CKKS加密方案。我们表明，我们的方法提供了加密保护的BERT嵌入，同时在很大程度上保留其实用程序的下游文本分类任务。
2022-10-05 cs.CL
Do Convolutional Networks need to be Deep for Text Classification ?
LORIA（洛林计算机科学及其应用实验室）；SESAMm（SESAMm公司）
在这项工作中，我们研究了深度在文本分类卷积模型中的重要性，无论是考虑字符还是单词输入。我们在5个标准的文本分类和情感分析任务上表明，当文本输入表示为字符序列时，深度模型确实比浅层网络提供了更好的性能。然而，一个简单的浅而宽的网络比深度模型（如DenseNet）更好。我们的浅词模型进一步在两个数据集上建立了新的最先进的性能：Yelp Binary（95.9%）和Yelp Full（64.9%）。
2017-07-13 cs.CL
NatCat: Weakly Supervised Text Classification with Naturally Annotated Resources
University of Chicago（芝加哥大学）；Rutgers University（罗格斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们描述NatCat，一个大规模的文本分类资源，由三个数据源构建：维基百科，Stack Exchange和Reddit。NatCat由在线社区中自然发生的手动策展衍生的文档类别对组成。为了证明它的有用性，我们通过在NatCat上训练来构建通用文本分类器，并在一套11个文本分类任务（CatEval）上对其进行评估，报告了与之前的工作相比的巨大改进。我们基准不同的建模选择和资源组合，并显示任务如何受益于特定的NatCat数据源。
2021-09-19 cs.CL
How to Fine-Tune BERT for Text Classification?
Fudan University（复旦大学）
语言模型预训练已被证明是有用的学习通用语言表示。BERT（Bidirectional Encoder Representations from Transformers）作为一种最先进的语言模型预训练模型，在许多语言理解任务中取得了令人惊叹的成绩。本文针对文本分类任务，对BERT的不同微调方法进行了详尽的实验研究，并给出了BERT微调的一般解决方案。最后，提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进的结果。
2020-02-05 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
A Text Classification Application: Poet Detection from Poetry
随着互联网的广泛使用，文本数据的规模日益增大。诗歌可以作为文本增长的一个例子。本研究的目的是根据诗人的不同对诗歌进行分类。首先，我们构建了由三个不同的诗人用英语写的诗歌组成的数据集。在此基础上实现了文本分类技术，采用卡方检验进行特征选择。此外，尝试了五种不同的分类算法。这些算法是序列最小优化、朴素贝叶斯、C4.5决策树、随机森林和k-近邻。虽然每个分类器表现出很大的不同的结果，超过70%的分类成功率采取的顺序最小优化技术。
2018-10-24 cs.CL cs.IR cs.LG
A Curriculum Learning Approach for Multi-domain Text Classification Using Keyword weight Ranking
Tsinghua University（清华大学）；Meituan（美团）；Peng Cheng Laboratory（鹏城实验室）
文本分类是一个非常经典的NLP任务，但它有两个突出的缺点：一方面，文本分类是深度领域依赖的。也就是说，在一个领域的语料库上训练的分类器在另一个领域中可能表现不那么好。另一方面，文本分类模型需要大量带注释的数据进行训练。然而，对于某些领域，可能不存在足够的注释数据。因此，研究如何有效地利用不同领域的文本数据来提高模型在不同领域的性能是很有价值的。一些多领域文本分类模型通过对抗训练来提取所有领域之间的共享特征和每个领域的特定特征。我们注意到，不同领域的特征区分度不同，因此本文提出了一种基于关键词权重排序的课程学习策略来提高多领域文本分类模型的性能。在Amazon review和FDU-MTL数据集上的实验结果表明，该课程学习策略有效地提高了基于对抗学习的多领域文本分类模型的性能，优于现有的方法.
2022-10-27 cs.CL
Selective Text Augmentation with Word Roles for Low-Resource Text Classification
Shanghai University of Finance and Economics（上海财经大学）
数据增强技术被广泛应用于文本分类任务中，以提高分类器的性能，特别是在低资源的情况下。大多数以前的方法进行文本增强没有考虑文本中的单词的不同功能，这可能会产生不满意的样本。不同的词在文本分类中可能扮演不同的角色，这启发我们有策略地选择合适的角色进行文本增强。在这项工作中，我们首先确定文本中的词和文本类别之间的关系，从统计相关性和语义相似性的角度，然后利用它们划分为四个角色的话-黄金，风险，奖金，和琐碎的话，这对文本分类具有不同的功能。基于这些词的角色，我们提出了一种新的增强技术，称为STA（选择性文本增强），不同的文本编辑操作有选择地应用于特定的角色的话。STA可以生成多样且相对干净的样本，同时保留原始的核心语义，并且实现起来也相当简单。在5个基准低资源文本分类数据集上的大量实验表明，STA产生的增强样本成功地提高了分类模型的性能，其性能显著优于以前的非选择性方法，包括两种基于大语言模型的技术。跨数据集实验进一步表明，STA可以帮助分类器更好地推广到其他数据集比以前的方法。
2022-09-04 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications（北京邮电大学）
层次多标签学术文本分类（HMTC）是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法（AHMCA），该算法综合了文本、关键词和层次结构等特征，将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联，以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
Adaptable and Reliable Text Classification using Large Language Models
Florida Atlantic University（佛罗里达大西洋大学）
本研究提出以大语言模型为核心的自适应可靠文本分类范式，简化传统工作流，在4个数据集上验证其优于传统方法，且经少样本或微调后性能可达最优。
2024-12-07 cs.CL
PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification
Carnegie Mellon University（卡内基梅隆大学）
PESCO是一种新颖的对比学习框架，通过添加提示增强标签匹配并利用检索标签在自训练循环中丰富训练集，将文本分类转化为神经文本匹配问题，在四个基准数据集上实现了零样本文本分类的最先进性能。
2023-05-24 cs.CL
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
