Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University（克兰菲尔德大学）；University of Liverpool（利物浦大学）
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法，包括无监督学习，半监督学习，自学习，文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题，提出了一种新的、简单的无监督文本分类模型，并利用国际贸易标准分类（SITC）代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词，并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型，我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据，采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明，即使在将训练数据集的大小增加30%之后，非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型（如Transformers）成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
A Chinese Text Classification Method With Low Hardware Requirement Based on Improved Model Concatenation
Zhiwei Research Institute（智微研究院）；University of Melbourne（墨尔本大学）
为了提高中文文本分类模型在低硬件要求下的准确率，本文设计了一种改进的基于级联的模型，该模型由TextCNN、LSTM和Bi-LSTM等5个子模型级联而成。与现有的集成学习方法相比，对于一个文本分类任务，该模型的准确率提高了2%。同时，该模型对硬件的要求也远低于基于BERT的模型。
2021-11-12 cs.CL cs.LG
Evaluation of Representation Models for Text Classification with AutoML Tools
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Industrial Engineering IAO（弗劳恩霍夫工业工程研究所）
近年来，自动机器学习（AutoML）在表格数据方面取得了越来越多的成功。然而，处理像文本这样的非结构化数据是一个挑战，并且没有得到开源AutoML工具的广泛支持。这项工作比较了三个手动创建的文本表示和AutoML工具自动创建的文本嵌入。我们的基准测试包括四个流行的开源AutoML工具和八个用于文本分类的数据集。结果表明，直接的文本表示比自动创建文本嵌入的AutoML工具性能更好。
2021-07-07 cs.CL cs.LG
Dual-State Capsule Networks for Text Classification
University of Moratuwa（莫拉图瓦大学）
基于上下文嵌入的文本分类系统对于许多低资源语言来说是不可行的选择。另一方面，最近推出的胶囊网络显示出与这些文本分类模型相当的性能。因此，它们可以被认为是一个可行的替代文本分类的语言，没有预先训练的上下文嵌入模型。然而，目前的胶囊网络依赖于空间模式，而不考虑文本的顺序特征。它们在捕获较长序列中的上下文级别信息方面也是次优的。本文提出了一种新的基于双状态胶囊（DS-Caps）网络的文本分类技术，该技术经过优化以缓解这些问题。两种状态，即句子级和单词级，与胶囊层集成，以捕获更深层次的上下文级信息，用于语言建模。利用状态层次的上下文层次信息，对胶囊间的动态路由过程进行了优化。DS-Caps网络在多个数据集上的性能优于现有的胶囊网络架构，特别是对于具有较长文本序列的任务。我们还证明了DS-Caps在低资源语言的文本分类中的优越性。
2021-09-10 cs.CL cs.LG
SLCNN: Sentence-Level Convolutional Neural Network for Text Classification
University of Zanjan（赞詹大学）
文本分类是自然语言处理的一项基本任务。最近的几项研究表明，深度学习在文本处理方面取得了成功。卷积神经网络（CNN）作为一种流行的深度学习模型，在文本分类任务中取得了显着的成功。在本文中，新的基线模型进行了研究，文本分类使用CNN。在这些模型中，文档作为三维张量表示被馈送到网络，以提供文档级分析。应用这种方法使模型能够利用文本中句子的位置信息。此外，分析相邻的句子可以提取额外的特征。所提出的模型进行了比较与国家的最先进的模型，使用几个数据集。实验结果表明，所提出的模型具有较好的性能，尤其是在较长的文档中。
2023-01-27 cs.CL cs.LG
TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent（腾讯公司）
文本表示是自然语言处理中的一个基本问题，尤其是在文本分类中。最近，许多具有精细表示模型的神经网络方法（例如FASTTEXT，CNN，RNN和许多具有注意力机制的混合模型）声称它们在特定的文本分类数据集上达到了最先进的水平。然而，它缺乏一个统一的基准来比较这些模型，并揭示每个子组件的优势，为各种设置。我们重新实现了20多个流行的文本表示模型，用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考，并对上述结果进行了分析，得到了一些效果。
2018-03-19 cs.CL
Model and Evaluation: Towards Fairness in Multilingual Text Classification
Guangdong University of Technology（广东工业大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
近年来，越来越多的研究集中在解决文本分类模型中的偏见。然而，现有的研究主要集中在单语文本分类模型的公平性上，多语种文本分类模型的公平性研究还很有限。针对多语言文本分类问题，提出了一种基于对比学习的多语言文本分类去偏框架。我们提出的方法不依赖于任何外部语言资源，可以扩展到任何其他语言。该模型包括四个模块：多语言文本表示模块、语言融合模块、文本去偏模块和文本分类模块。多语种文本表示模块采用多语种预训练语言模型表示文本，语言融合模块通过对比学习使不同语言的语义空间趋于一致，文本去偏模块采用对比学习使模型无法识别敏感属性信息。文本分类模块完成多语种文本分类的基本任务。另外，现有的多语种文本分类公平性研究在评价模式上比较单一。公平性的评价方法与单语平等差异评价方法相同，即对单一语言进行评价。本文提出了一个多维的多语种文本分类公平性评价框架，该框架评价了模型的单语种公平性差异、多语种公平性差异、多语种公平性性能差异以及公平性策略的破坏性。我们希望我们的工作可以提供一个更普遍的去偏置方法和更全面的多语言文本公平性任务的评估框架。
2023-03-28 cs.CL
Deep Learning Based Text Classification: A Comprehensive Review
Snapchat Inc（Snapchat公司）；Google Brain（谷歌大脑）；Nanyang Technological University（南洋理工大学）；University of Tabriz（大不里士大学）；Microsoft Research（微软研究院）
基于深度学习的模型在各种文本分类任务中已经超越了基于经典机器学习的方法，包括情感分析、新闻分类、问答和自然语言推理。在本文中，我们全面回顾了近年来开发的150多种基于深度学习的文本分类模型，并讨论了它们的技术贡献、相似性和优势。我们还提供了广泛用于文本分类的40多个流行数据集的摘要。最后，我们对不同深度学习模型在流行基准测试上的性能进行了定量分析，并讨论了未来的研究方向。
2021-01-04 cs.CL cs.LG stat.ML
SSMix: Saliency-Based Span Mixup for Text Classification
Clova AI, Naver Corp.（Naver公司Clova AI）；KAIST（韩国科学技术院）
具有混合的数据增强已被证明对各种计算机视觉任务有效。尽管取得了巨大的成功，但将mixup应用于NLP任务仍然存在障碍，因为文本由具有可变长度的离散标记组成。在这项工作中，我们提出了SSMix，一种新的混合方法，操作是在输入文本上执行的，而不是像以前的方法那样在隐藏向量上执行的。SSMix通过基于跨度的混合来合成一个句子，同时保留两个原始文本的局部性，并保留更多与依赖于显著性信息的预测相关的标记。通过大量的实验，我们从经验上验证了我们的方法在广泛的文本分类基准（包括文本蕴涵、情感分类和问题类型分类）上优于隐藏级混淆方法。我们的代码可在https://github.com/clovaai/ssmix上获得。
2021-06-15 cs.AI cs.CL cs.LG
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University（北京大学）
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构，并混合它们的表示进行分类，其中层次结构对所有输入文本保持不变。而不是单独建模，在这项工作中，我们提出了层次引导的对比学习（HGSTOM）直接嵌入到文本编码器的层次结构。在训练过程中，HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起，文本编码器可以学习独立地生成分层感知的文本表示。因此，经过训练后，HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
Many-Class Text Classification with Matching
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
在这项工作中，我们制定了\textbf{T} ext \textbf{C}分类作为一个\textbf{M}匹配问题之间的文本和标签，并提出了一个简单而有效的框架命名为TCM。与以往的文本分类方法相比，TCM利用分类标签的细粒度语义信息，这有助于在类别数量较大时更好地区分每个类别，特别是在低资源场景中。TCM也易于实现，并且与各种大型预训练语言模型兼容。我们在Few-Shot和全数据设置中对4个文本分类数据集（每个数据集有20多个标签）进行了TCM评估，该模型比其他文本分类范式有显着改进。我们还进行了广泛的实验与中医的不同变种，并讨论其成功的潜在因素。我们的方法和分析提供了一个新的角度对文本分类。
2022-05-23 cs.CL
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的，这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构，如Kim，Yoon的用于句子分类的卷积神经网络，显示了有希望的结果。在本文中，我们提出了将注意力机制纳入网络，以提高其性能，我们还提出了WordRank的词汇选择，以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法，TextCNN在20News上的准确度从94.79提高到96.88，此外，通过使用WordRank，嵌入层的参数数量可以大大减少，而准确度损失很小。通过使用WordRank进行词汇选择，我们可以将参数的数量减少5倍以上，从7.9M减少到1.5M，准确率仅下降1.2%。
2021-08-04 cs.CL
Improve Text Classification Accuracy with Intent Information
School of Mathematics and Statistics（数学与统计学院）；Guangdong University of Technology（广东工业大学）
文本分类作为面向任务的对话系统的核心组成部分，一直是研究和工业界的热点，并取得了巨大的进展。然而，现有的方法没有考虑标签信息的使用，这可能会削弱文本分类系统的性能在一些令牌感知的场景。为了解决这个问题，本文介绍了使用标签信息作为标签嵌入的文本分类任务，并取得了显着的性能在基准数据集。
2022-12-15 cs.CL
Research Experiment on Multi-Model Comparison for Chinese Text Classification Tasks
本文在THUCNews数据集上对比了TextCNN、TextRNN和FastText三种深度学习模型在中文文本分类任务中的性能，并分析了它们在不同场景下的适用性。
2024-12-25 cs.CL
LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中，只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架，其中测试样本首先被分配伪标签，然后用于训练神经文本分类器。在大多数以前的工作中，伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME，弱监督文本分类的框架，完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现，将弱监督分类和文本蕴涵相结合可以减轻两者的缺点，从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型，LIME在弱监督文本分类中的表现优于最近的基线，并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
由于数据稀疏性，许多分类模型在短文本上效果不佳。为了解决这个问题，我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同，我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明，该模型在短文本分类方面优于现有模型，同时生成连贯的主题。
2018-09-11 cs.CL
Text Classification: A Perspective of Deep Learning Methods
University of Chinese Academic of Science（中国科学院大学）
本文综述基于深度学习的文本分类方法，梳理特征提取、降维、评估等关键流程，并比较总结不同深度学习分类算法。
2023-09-24 cs.CL
Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
University College London（伦敦大学学院）
本文对字符级卷积神经网络解决中文语料文本分类问题进行了有益的探索。我们构建了一个大规模的中文语料库，实验结果表明，字符级卷积神经网络在中文语料库上的性能优于其对应的中文格式数据集。这是首次将字符级卷积神经网络应用于文本分类问题。
2016-11-15 cs.CL
Description Based Text Classification with Reinforcement Learning
Zhejiang University（浙江大学）
文本分类的任务通常分为两个阶段：{ \it文本特征提取}和{ \it分类}。在这个标准的形式化中，类别仅仅被表示为标签词汇表中的索引，并且模型缺乏关于分类的明确指示。受当前将NLP问题形式化为问答任务的趋势的启发，我们提出了一个新的文本分类框架，其中每个类别标签与一个类别描述相关联。描述由手工制作的模板或使用来自强化学习的抽象/提取模型生成。描述和文本的连接被馈送到分类器，以决定是否应该将当前标签分配给文本。所提出的策略迫使该模型参加最显着的文本相对于标签，这可以被视为一个硬版本的注意力，从而导致更好的性能。我们观察到，在广泛的文本分类任务，包括单标签分类，多标签分类和多方面的情感分析的强基线显着的性能提升。
2020-06-04 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法，发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中，其中一些新的/测试文档可能不属于任何训练类，在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
Text Classification using Capsules
Gachon University（嘉泉大学）；NAVER
本文提出了一种使用胶囊网络进行文本分类的实证探索。虽然已经表明胶囊网络对于图像分类是有效的，但是它们在文本领域中的有效性还没有被探索。在本文中，我们证明了胶囊网络确实具有文本分类的潜力，并且它们比卷积神经网络具有几个优势。我们进一步提出了一个简单的路由方法，有效地降低了动态路由的计算复杂性。我们利用七个基准数据集来证明胶囊网络以及所提出的路由方法提供了可比的结果。
2018-08-14 cs.CL
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务，并取得了巨大的成功，超过了基准，如GLUE。建立语言模型的方法在一种语言中取得了很好的效果，它可以作为一个开箱即用的模型应用于多个自然语言处理任务，如分类，摘要，生成等。在自然语言处理的所有经典方法中，掩蔽语言建模是使用最多的。通常，构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型，从经典的和最先进的Transformer模型来分类文本，以节省成本。序列分类器主要用于文本分类领域。然而，令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测，因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能，并在同一组数据上评估每个模型。在这项工作中，我们使用预训练模型作为基础模型，并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Understanding Graph Convolutional Networks for Text Classification
The University of Sydney（悉尼大学）
图卷积网络（Graph Convolutional Network，GCN）在处理具有丰富关系结构的任务时非常有效，并且在图嵌入中能够保持数据集的全局结构信息。近年来，许多研究者都在研究GCN是否能够处理不同的自然语言处理任务，尤其是文本分类。虽然将GCN应用于文本分类已经得到了很好的研究，但其图的构造技术，如节点/边选择及其特征表示，以及文本分类中的最佳GCN学习机制却被忽视了。在本文中，我们进行了全面的分析，节点和边嵌入在一个图和GCN学习技术在文本分类中的作用。我们的分析是同类分析中的第一个，并提供了有用的见解，每个图节点/边构造机制的重要性时，在不同的文本分类基准的GCN训练/测试，以及在其半监督环境下应用。
2022-03-30 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics（上海财经大学）
文本增强技术被广泛应用于文本分类问题，以提高分类器的性能，特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法，但它们以非选择性的方式增强文本，这意味着不太重要或嘈杂的词与信息词有相同的机会被增强，从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词，并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字，我们提出STA（选择性文本增强）选择性地增强文本，其中信息，类指示词被强调，但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明，STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Text-based classification of interviews for mental health -- juxtaposing the state of the art
University of Amsterdam（阿姆斯特丹大学）
目前，精神疾病分类的最新技术是基于基于音频的分类。本文旨在设计和评估一个最先进的文本分类网络。假设是，一个精心设计的基于文本的方法构成了一个强大的竞争对国家的最先进的音频为基础的方法。荷兰语自然语言模型受到预训练单语NLP模型稀缺性的限制，因此荷兰语自然语言模型对句子的长范围语义依赖性的捕获率较低。针对这个问题，本文提出了belabBERT，一个新的荷兰语语言模型，扩展了RoBERTa[15]体系结构。belabBERT是在一个大型的荷兰语语料库（+32GB）上训练的。在评估了基于文本的分类的强度之后，本文做了一个简单的探索，将该框架扩展到基于文本和音频的混合分类。这个混合框架的目标是展示一个非常基本的音频分类网络的混合原理。总体目标是通过证明新的基于文本的分类已经是一个强大的独立解决方案，为混合精神疾病分类奠定基础。
2020-07-29 cs.CL cs.LG cs.SD
Performance Analysis of Supervised Machine Learning Algorithms for Text Classification
该研究针对多领域文本分类需求增长的问题，采用多种监督机器学习算法在不同带标注数据集上开展文本分类实验，结合基于BPN的ANN模型搭建独立分类平台，通过基准方法测试得出不同模型的分类准确率表现。
2025-08-31 cs.CL
A Simple Graph Contrastive Learning Framework for Short Text Classification
Jilin University（吉林大学）；University of Trento（特伦托大学）
针对现有短文本分类图对比学习模型依赖数据增强易引入噪声、忽略潜在视图判别信息的问题，提出无需数据增强的SimSTC框架，通过多组件图学习获取多视图嵌入再做对比学习，性能超越大语言模型。
2025-01-16 cs.CL
Abstractive Text Classification Using Sequence-to-convolution Neural Networks
Sogang University（西江大学）
我们提出了一种新的用于文本分类的深度神经网络模型及其训练方案。我们的模型序列到卷积神经网络（Seq 2CNN）由两个块组成：序列块，它总结输入文本;卷积块，它接收输入的摘要并将其分类为标签。Seq 2CNN是端到端训练的，可以对不同长度的文本进行分类，而无需将输入预处理为固定长度。我们还提出了稳定训练的渐进权重转移（GWS）方法。GWS应用于我们的模型的损失函数。我们将我们的模型与使用不同数据预处理方法训练的基于单词的TextCNN进行了比较。我们在没有任何集成或数据增强的情况下，在基于单词的TextCNN上获得了分类准确性的显著提高。
2020-06-02 cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术：（a）TFIDF与依赖语法，特征选择和加权;（b）类关联规则与支持向量机，分类。阿拉伯语文本有两种形式：词根化和词干浅化。我们得到的结果表明，轻干文本导致更好的性能比routifed文本，类关联规则更适合于小的依赖语法约束获得的特征集，最后，支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
Adaptive Region Embedding for Text Classification
Tsinghua University（清华大学）；Cisco Systems（思科系统公司）
深度学习模型如卷积神经网络和递归网络广泛应用于文本分类。尽管取得了巨大的成功，但大多数深度学习模型都忽视了对上下文信息建模的重要性，而上下文信息对于理解文本至关重要。在这项工作中，我们提出了自适应区域嵌入来学习上下文表示，以提高文本分类。具体来说，元网络被学习为每个区域生成上下文矩阵，并且每个词与其对应的上下文矩阵交互以产生用于进一步分类的区域表示。与以前的模型，旨在捕捉上下文信息相比，我们的模型包含更少的参数，更灵活。我们在8个文本分类基准数据集上广泛评估了我们的方法。实验结果表明，该方法具有较好的性能，能有效地避免歧义。
2019-05-28 cs.CL
An Improved Text Sentiment Classification Model Using TF-IDF and Next Word Negation
随着文本情感分析的快速发展，对电子文档自动分类的需求也在飞速增长。文本分类或文本挖掘的范式是近年来许多研究工作的主题。在本文中，我们提出了一种文本情感分类技术，使用词频-逆文档频率（TF-IDF）以及下一个词否定（NWN）。我们还比较了二进制词袋模型，TF-IDF模型和TF-IDF与下一个词否定（TF-IDF-NWN）模型的文本分类性能。我们提出的模型，然后应用于三种不同的文本挖掘算法，我们发现线性支持向量机（LSVM）是最适合与我们提出的模型。所取得的结果表明，与早期的方法相比，准确性显着增加。
2018-06-17 cs.CL cs.IR
Privacy-Preserving Text Classification on BERT Embeddings with Homomorphic Encryption
CryptoLab；Seoul National University（首尔国立大学）
嵌入技术将原始文本中的信息压缩到保持语义的低维向量中，由于其有效性而被广泛采用。然而，最近的研究表明，嵌入可能会泄露有关文本敏感属性的私人信息，并且在某些情况下，可以反转以恢复原始输入文本。为了解决这些日益增长的隐私挑战，我们提出了一个私有化机制嵌入的基础上同态加密，以防止潜在的泄漏的任何一条信息的过程中的文本分类。特别是，我们的方法执行文本分类的加密嵌入从国家的最先进的模型，如BERT，支持一个高效的GPU实现CKKS加密方案。我们表明，我们的方法提供了加密保护的BERT嵌入，同时在很大程度上保留其实用程序的下游文本分类任务。
2022-10-05 cs.CL
Do Convolutional Networks need to be Deep for Text Classification ?
LORIA（洛林计算机科学及其应用实验室）；SESAMm（SESAMm公司）
在这项工作中，我们研究了深度在文本分类卷积模型中的重要性，无论是考虑字符还是单词输入。我们在5个标准的文本分类和情感分析任务上表明，当文本输入表示为字符序列时，深度模型确实比浅层网络提供了更好的性能。然而，一个简单的浅而宽的网络比深度模型（如DenseNet）更好。我们的浅词模型进一步在两个数据集上建立了新的最先进的性能：Yelp Binary（95.9%）和Yelp Full（64.9%）。
2017-07-13 cs.CL
NatCat: Weakly Supervised Text Classification with Naturally Annotated Resources
University of Chicago（芝加哥大学）；Rutgers University（罗格斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们描述NatCat，一个大规模的文本分类资源，由三个数据源构建：维基百科，Stack Exchange和Reddit。NatCat由在线社区中自然发生的手动策展衍生的文档类别对组成。为了证明它的有用性，我们通过在NatCat上训练来构建通用文本分类器，并在一套11个文本分类任务（CatEval）上对其进行评估，报告了与之前的工作相比的巨大改进。我们基准不同的建模选择和资源组合，并显示任务如何受益于特定的NatCat数据源。
2021-09-19 cs.CL
How to Fine-Tune BERT for Text Classification?
Fudan University（复旦大学）
语言模型预训练已被证明是有用的学习通用语言表示。BERT（Bidirectional Encoder Representations from Transformers）作为一种最先进的语言模型预训练模型，在许多语言理解任务中取得了令人惊叹的成绩。本文针对文本分类任务，对BERT的不同微调方法进行了详尽的实验研究，并给出了BERT微调的一般解决方案。最后，提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进的结果。
2020-02-05 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
A Curriculum Learning Approach for Multi-domain Text Classification Using Keyword weight Ranking
Tsinghua University（清华大学）；Meituan（美团）；Peng Cheng Laboratory（鹏城实验室）
文本分类是一个非常经典的NLP任务，但它有两个突出的缺点：一方面，文本分类是深度领域依赖的。也就是说，在一个领域的语料库上训练的分类器在另一个领域中可能表现不那么好。另一方面，文本分类模型需要大量带注释的数据进行训练。然而，对于某些领域，可能不存在足够的注释数据。因此，研究如何有效地利用不同领域的文本数据来提高模型在不同领域的性能是很有价值的。一些多领域文本分类模型通过对抗训练来提取所有领域之间的共享特征和每个领域的特定特征。我们注意到，不同领域的特征区分度不同，因此本文提出了一种基于关键词权重排序的课程学习策略来提高多领域文本分类模型的性能。在Amazon review和FDU-MTL数据集上的实验结果表明，该课程学习策略有效地提高了基于对抗学习的多领域文本分类模型的性能，优于现有的方法.
2022-10-27 cs.CL
Selective Text Augmentation with Word Roles for Low-Resource Text Classification
Shanghai University of Finance and Economics（上海财经大学）
数据增强技术被广泛应用于文本分类任务中，以提高分类器的性能，特别是在低资源的情况下。大多数以前的方法进行文本增强没有考虑文本中的单词的不同功能，这可能会产生不满意的样本。不同的词在文本分类中可能扮演不同的角色，这启发我们有策略地选择合适的角色进行文本增强。在这项工作中，我们首先确定文本中的词和文本类别之间的关系，从统计相关性和语义相似性的角度，然后利用它们划分为四个角色的话-黄金，风险，奖金，和琐碎的话，这对文本分类具有不同的功能。基于这些词的角色，我们提出了一种新的增强技术，称为STA（选择性文本增强），不同的文本编辑操作有选择地应用于特定的角色的话。STA可以生成多样且相对干净的样本，同时保留原始的核心语义，并且实现起来也相当简单。在5个基准低资源文本分类数据集上的大量实验表明，STA产生的增强样本成功地提高了分类模型的性能，其性能显著优于以前的非选择性方法，包括两种基于大语言模型的技术。跨数据集实验进一步表明，STA可以帮助分类器更好地推广到其他数据集比以前的方法。
2022-09-04 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications（北京邮电大学）
层次多标签学术文本分类（HMTC）是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法（AHMCA），该算法综合了文本、关键词和层次结构等特征，将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联，以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
TextRGNN: Residual Graph Neural Networks for Text Classification
近年来，基于图神经网络（GNN）的文本分类模型受到越来越多的关注。这些模型大多采用类似的网络范式，即使用预训练节点嵌入初始化和两层图卷积。在这项工作中，我们提出了TextRGNN，这是一种改进的GNN结构，它引入了残差连接来加深卷积网络深度。我们的结构可以获得更宽的节点感受野，并有效地抑制节点特征的过度平滑。此外，我们将概率语言模型融入到图节点嵌入的初始化中，从而可以更好地提取图的非图语义信息。实验结果表明，该模型具有较好的通用性和有效性.无论是在语料库级别还是文本级别，它都能显著提高分类精度，并在广泛的文本分类数据集上实现SOTA性能。
2023-01-25 cs.AI cs.CL
Graph Convolutional Networks for Text Classification
Northwestern University（西北大学）
文本分类是自然语言处理中的一个重要而经典的问题。已经有许多应用卷积神经网络（规则网格上的卷积，例如，序列）进行分类。然而，只有有限数量的研究探索了更灵活的图卷积神经网络（非网格上的卷积，例如，任意图形）的任务。在这项工作中，我们建议使用图卷积网络的文本分类。我们基于词同现和文档词关系为语料库构建单个文本图，然后学习该语料库的文本图卷积网络（Text GCN）。我们的文本GCN初始化为单词和文档的one-hot表示，然后联合学习单词和文档的嵌入，由文档的已知类标签监督。我们在多个基准数据集上的实验结果表明，没有任何外部词嵌入或知识的普通文本GCN优于最先进的文本分类方法。另一方面，Text GCN还学习预测单词和文档嵌入。此外，实验结果表明，随着训练数据的减少，文本GCN相对于现有比较方法的改进更加显著，说明文本GCN在文本分类中对较少训练数据的鲁棒性。
2018-11-13 cs.AI cs.CL
Identifying Semantically Difficult Samples to Improve Text Classification
IBM Research（IBM研究院）；DA-IICT（达达赛信息技术学院）
在本文中，我们研究了从给定的文本数据集中处理困难样本对下游文本分类任务的影响。我们通过在语义嵌入空间中分析困难样本，将其定义为文本分类的非明显情况;具体而言-（i）属于不同类别的语义相似样本和（ii）属于同一类别的语义不相似样本。我们提出了一个惩罚函数来衡量数据集中每个样本的整体难度得分。我们在13个标准数据集上进行了详尽的实验，以显示高达9%的一致改进，并讨论了定性结果，以显示我们的方法在识别文本分类模型的困难样本方面的有效性。
2023-02-13 cs.AI cs.CL
Text classification optimization algorithm based on graph neural network
New York University（纽约大学）；University of Houston（休斯顿大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of Southern California（南加州大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Duke University（杜克大学）
本文提出一种基于图神经网络的文本分类优化算法，通过引入自适应图构建策略和高效图卷积操作，有效解决了传统方法语义缺失及现有GNN模型图构建复杂、训练成本高的问题，在多个公共数据集上性能优越。
2024-08-09 cs.AI cs.CL
Genetic Optimization of Keywords Subset in the Classification Analysis of Texts Authorship
Ivan Franko Lviv National University（伊万·弗兰科利沃夫国立大学）
分析了以文本频率为属性的关键词集的遗传选择问题。遗传优化是在一组单词上进行的，该组单词是具有给定频率限制的频率字典的分数。频率词典是在分析英语小说文本的文本序列的基础上形成的。采用最近k近邻分类器的误差作为适应度函数，通过遗传算法使适应度函数最小化。实验结果表明，基于遗传算法从频域词典中选择关键词集的属性，按作者类别进行文本分类具有较高的查准率和查全率。
2012-11-14 cs.CL cs.IR
The Text Classification Pipeline: Starting Shallow going Deeper
University of Catania（卡塔尼亚大学）；University of Palermo（巴勒莫大学）
本文综述文本分类流水线，从浅层到深层，强调深度学习与大型语言模型的作用，并整合传统与当代方法以促进整体理解。
2025-03-20 cs.AI cs.CL cs.IR
Investigating Capsule Networks with Dynamic Routing for Text Classification
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Pennsylvania State University（宾夕法尼亚州立大学）；Graduate School at Shenzhen, Tsinghua University（清华大学深圳研究生院）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
在这项研究中，我们探索了具有动态路由的胶囊网络用于文本分类。我们提出了三种策略来稳定动态路由过程，以减轻一些可能包含“背景”信息或未成功训练的噪声胶囊的干扰。在六个文本分类基准上用胶囊网络进行了一系列实验。胶囊网络在6个数据集中的4个上达到了最先进的水平，这表明了胶囊网络在文本分类方面的有效性。我们还表明，胶囊网络在将单标签文本分类转移到多标签文本分类时，比强基线方法表现出显着的改进。据我们所知，这是第一次对胶囊网络进行文本建模的实证研究。
2018-09-03 cs.AI cs.CL
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University（北京大学）
文本摘要和情感分类都旨在捕捉文本的主要思想，但在不同的层次上。文本摘要是在几个句子内描述文本，而情感分类可以被视为一种特殊类型的摘要，它将文本“概括”成更抽象的方式，即，情感课基于这一思想，我们提出了一个分层的端到端模型，用于文本摘要和情感分类的联合学习，其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此，情感分类层放在文本摘要层上，并导出层次结构。在Amazon在线评论数据集上的实验结果表明，该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
Enhancement of Short Text Clustering by Iterative Classification
Dalhousie University（达尔豪西大学）
短文本聚类是一个具有挑战性的任务，由于缺乏信号包含在这样的短文本。在这项工作中，我们提出了迭代分类作为一种方法来浪费聚类质量（例如，准确性）的短文本。给定使用任意聚类算法获得的短文本的聚类，迭代分类应用离群值去除以获得无离群值的聚类。然后，它训练一个分类算法，使用非离群值的基础上，他们的集群分布。使用训练好的分类模型，迭代分类对离群值进行重新分类，以获得一组新的聚类。通过多次重复，我们获得了更好的文本聚类。我们的实验结果表明，所提出的聚类增强方法不仅提高了不同聚类方法的聚类质量（例如，k-means、k-means和分层聚类），而且在几个短文本数据集上的性能也优于现有技术的短文本聚类方法，具有统计上显著的优势。
2020-01-31 cs.CL cs.IR cs.LG
Text-to-Text Multi-view Learning for Passage Re-ranking
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）；David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）
最近，自然语言处理的许多进展都是由在大型语料库上预先训练的深度上下文表示驱动的。通常，针对特定下游任务对这些预训练模型进行微调是基于单视图学习的，然而这是不够的，因为句子可以从不同的角度进行不同的解释。因此，在这项工作中，我们提出了一个文本到文本的多视图学习框架，将一个额外的视图-文本生成视图-到一个典型的单视图通道排名模型。从经验上讲，所提出的方法是帮助的排名性能相比，其单视图对应。文中还报告了消融研究。
2022-08-10 cs.CL cs.IR
ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency
Sun Yat-sen University（中山大学）；University of Technology Sydney（悉尼科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Oxford（牛津大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
近年来，在从文本监督中学习视觉表示方面取得了巨大的成功，促进了文本监督语义分割的出现。然而，现有的工作集中在像素分组和跨模态语义对齐，而忽略了同一图像的多个增强视图之间的对应关系。为了克服这种局限性，我们提出了多\textbf{View} \textbf{Co}坚持学习（ViewCo）的文本监督语义分割。具体来说，我们首先提出了文本到视图的一致性建模，以学习相同输入图像的多个视图的对应关系。此外，我们提出了跨视图分割一致性建模，以解决文本监督的模糊性问题，通过对比暹罗视觉编码器的段功能。文本到视图的一致性有利于密集分配的视觉特征，鼓励不同的作物对齐相同的文本，而跨视图分割一致性建模提供了额外的自我监督，克服了模糊的文本监督分割掩码的限制。在大规模图像文本数据的训练下，该模型可以直接以zero-shot方式分割任意类别的对象。大量的实验表明，ViewCo在PASCAL VOC 2012、PASCAL Context和COCO上的平均性能分别比最先进的方法高出2.9\%、1.6\%和2.4\%。
2023-01-31 cs.AI cs.CL cs.CV
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分，如主题识别，垃圾邮件过滤，电子邮件路由，语言识别，体裁分类，可读性评估等。当使用短语模式时，文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为，从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务，它使用语法检查，问答，信息抽取，机器翻译，文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
BERTifying Sinhala -- A Comprehensive Analysis of Pre-trained Language Models for Sinhala Text Classification
University of Moratuwa（莫拉图瓦大学）
这项研究提供了第一个全面的分析性能的预先训练的语言模型僧伽罗语文本分类。我们对一组不同的僧伽罗语文本分类任务进行了测试，我们的分析表明，在包括僧伽罗语的预训练多语言模型（XLM-R，LaBSE和LASER）中，XLM-R是迄今为止僧伽罗语文本分类的最佳模型。我们还预训练了两个基于RoberTa的单语僧伽罗语模型，它们远远优于现有的僧伽罗语预训练语言模型。我们表明，当微调时，这些预先训练的语言模型为僧伽罗语文本分类设置了一个非常强大的基线，并且在标记数据不足以进行微调的情况下具有鲁棒性。我们还提供了一组使用预训练模型进行僧伽罗语文本分类的建议。我们还介绍了新的注释数据集，这些数据集对僧伽罗语文本分类的未来研究非常有用，并公开发布了我们的预训练模型。
2022-08-17 cs.CL
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research（赛富时研究院）
即使像BERT这样的预先训练的语言编码器在许多任务中共享，问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答，固定类，分类层的文本分类，和相似性评分层的回归任务，我们表明，这种区别是没有必要的，所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
