Text classification optimization algorithm based on graph neural network
New York University(纽约大学);University of Houston(休斯顿大学);Washington University in St. Louis(圣路易斯华盛顿大学);University of Southern California(南加州大学);Johns Hopkins University(约翰斯·霍普金斯大学);Duke University(杜克大学)
本文提出一种基于图神经网络的文本分类优化算法,通过引入自适应图构建策略和高效图卷积操作,有效解决了传统方法语义缺失及现有GNN模型图构建复杂、训练成本高的问题,在多个公共数据集上性能优越。
2024-08-09 cs.AI cs.CL
Investigating Capsule Networks with Dynamic Routing for Text Classification
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Pennsylvania State University(宾夕法尼亚州立大学);Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);Nanjing University of Posts and Telecommunications(南京邮电大学);Zhejiang University(浙江大学);Tencent(腾讯)
在这项研究中,我们探索了具有动态路由的胶囊网络用于文本分类。我们提出了三种策略来稳定动态路由过程,以减轻一些可能包含“背景”信息或未成功训练的噪声胶囊的干扰。在六个文本分类基准上用胶囊网络进行了一系列实验。胶囊网络在6个数据集中的4个上达到了最先进的水平,这表明了胶囊网络在文本分类方面的有效性。我们还表明,胶囊网络在将单标签文本分类转移到多标签文本分类时,比强基线方法表现出显着的改进。据我们所知,这是第一次对胶囊网络进行文本建模的实证研究。
2018-09-03 cs.AI cs.CL
Hierarchical information matters: Text classification via tree based graph neural network
Beihang University(北京航空航天大学)
文本分类是自然语言处理的一项重要任务。近年来,图神经网络(GNNs)发展迅速,并被应用于文本分类任务。树作为一种特殊的图数据,具有较简单的数据结构,能为文本分类提供丰富的层次信息。受结构熵的启发,通过最小化结构熵来构造图的编码树,提出HINT算法,旨在充分利用文本中所包含的层次信息进行文本分类。具体来说,我们首先为每个文本建立一个依存句法分析图。然后设计了一种结构熵最小化算法,对图中的关键信息进行解码,并将每个图转换为对应的编码树。基于编码树的层次结构,通过逐层更新编码树中非叶节点的表示,得到整个图的表示。最后,我们展示了层次信息在文本分类中的有效性。实验结果表明,HINT方法具有结构简单、参数少的特点,在流行的基准测试中性能优于现有的方法。
2022-08-20 cs.AI cs.CL
XAI-CLASS: Explanation-Enhanced Text Classification with Extremely Weak Supervision
Virginia Tech(弗吉尼亚理工大学)
针对极弱监督文本分类忽略伪标签解释信息的问题,本文提出XAI-CLASS方法,通过多轮问答生成伪训练数据并以多任务框架同时学习文本分类与词重要性预测,显著提升分类性能和可解释性。
2023-10-31 cs.AI cs.CL
Evaluating Unsupervised Text Classification: Zero-shot and Similarity-based Approaches
Technical University of Munich(慕尼黑工业大学);University of Twente(特文特大学)
该研究针对未见类别文本分类任务,系统性对比了基于相似度与零样本两类无监督方法,提出新型基线和Lbl2TransformerVec方法,验证了相似度类方法的优势及嵌入表示优化的增益。
2023-01-31 cs.AI cs.CL
Comprehensive Implementation of TextCNN for Enhanced Collaboration between Natural Language Processing and System Recommendation
Northern Arizona University(北亚利桑那大学);Stevens Institute of Technology(斯蒂文斯理工学院);University of Sydney(悉尼大学);Univeristy of California, Irvine(加利福尼亚大学尔湾分校);Trine University(特莱恩大学)
本文分析深度学习在NLP核心任务中的应用,并通过与TextCNN结合的交互式集成训练实证验证了文本分类性能的显著提升。
2024-03-12 cs.AI cs.CL
Depth $F_1$: Improving Evaluation of Cross-Domain Text Classification by Measuring Semantic Generalizability
Dartmouth College(达特茅斯学院)
针对现有跨域文本分类评估未考虑域间相似性、易掩盖模型在高差异目标样本上迁移失败的问题,提出与$F_1$互补的新指标Depth $F_1$,以衡量模型在源域不相似目标样本上的性能,实现对模型语义泛化性的深度评估。
2024-06-20 cs.AI cs.CL
Improving Indonesian Text Classification Using Multilingual Language Model
Institut Teknologi Bandung(万隆理工学院);School of Electrical Engineering and Informatics(电气与信息工程学院)
与英语相比,印度尼西亚语文本分类任务的标记数据量非常小。最近开发的多语言语言模型已经显示出其有效创建多语言表示的能力。本文研究了结合英语和印度尼西亚语数据对构建印度尼西亚语文本分类的影响(例如,情感分析和仇恨言论)使用多语言模型。使用基于特征的方法,我们观察其性能的各种数据大小和总增加的英语数据。实验表明,添加英语数据,特别是如果印度尼西亚语数据量很小,可以提高性能。使用微调方法,我们进一步证明了它的有效性,利用英语来建立印尼语文本分类模型。
2020-09-12 cs.AI cs.CL
An Amharic News Text classification Dataset
AIMS-AMMI Addis Ababa Science and Technology University(AIMS-AMMI 亚的斯亚贝巴科技大学)
在NLP中,文本分类是我们试图解决的主要问题之一,它在语言分析中的应用是无可争议的。缺乏标记的训练数据使得在阿姆哈拉语等低资源语言中完成这些任务变得更加困难。收集、标记、注释和使这类数据有价值的任务将鼓励初级研究人员、学校和机器学习从业者用他们的语言实现现有的分类模型。在这篇简短的论文中,我们的目标是介绍阿姆哈拉语文本分类数据集,该数据集由超过5万篇新闻文章组成,分为6类。该数据集提供了简单的基线性能,以鼓励研究和更好的性能实验。
2021-03-10 cs.AI cs.CL
Hierarchical Heterogeneous Graph Representation Learning for Short Text Classification
Baidu Research, Baidu Inc.(百度研究院、百度公司);University of Virginia(弗吉尼亚大学);Tsinghua University(清华大学)
短文本分类是自然语言处理的一项基本任务。由于缺乏上下文信息和标注数据,在实际应用中遇到了困难。本文提出了一种基于图神经网络(GNN)的短文本分类方法SHINE。首先,我们将短文本数据集建模为一个由单词级组件图组成的层次异构图,这些组件图引入了更多的语义和句法信息。然后,我们动态地学习一个短文档图,以促进相似短文本之间的有效标签传播。因此,与现有的基于GNN的方法相比,SHINE可以更好地利用相同类型节点之间的交互,并捕获短文本之间的相似性。在各种基准短文本数据集上的大量实验表明,SHINE始终优于最先进的方法,特别是在标签较少的情况下。
2021-10-30 cs.AI cs.CL
Multidimensional Perceptron for Efficient and Explainable Long Text Classification
Alibaba Group(阿里巴巴集团)
提出段感知多维感知机(SWIPE)替代注意力/RNN,通过监督学习整体标签与无监督感知分段贡献,在提升长文本分类效率与准确率的同时实现优越可解释性。
2023-04-04 cs.AI cs.CL
SkIn: Skimming-Intensive Long-Text Classification Using BERT for Medical Corpus
Beijing Institute of Technology(北京理工大学)
BERT是自然语言处理中广泛使用的预训练模型。然而,由于BERT是文本长度的平方,BERT模型很难直接用于长文本语料库。在某些领域,收集的文本数据可能相当长,例如在医疗保健领域。因此,为了将BERT预先训练好的语言知识应用于长文本,本文模仿人类阅读长段落时的略读-精读方法,提出了略读-精读模型(SkIn)。它可以动态地选择文本中的关键信息,使输入BERT-Base模型的句子显著缩短,可以有效地节省分类算法的成本。实验表明,SkIn方法在医学领域的长文本分类数据集上取得了优于基线的准确率,而其时间和空间需求随着文本长度线性增加,缓解了基本BERT在长文本数据上的时间和空间溢出问题。
2022-09-24 cs.AI cs.CL
Enhancing Text Classification with a Novel Multi-Agent Collaboration Framework Leveraging BERT
Dell Technologies(戴尔科技);NYU(纽约大学)
提出一种以BERT为主分类器、动态升级低置信度预测至多智能体协作系统的新型框架,在基准数据集上较标准BERT分类器准确率提升5.5%。
2025-02-25 cs.AI cs.CL
HFT-ONLSTM: Hierarchical and Fine-Tuning Multi-label Text Classification
North China Electric Power University(华北电力大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
在现实世界中,许多重要的分类问题都是由一个层次结构或分类法中的大量密切相关的类别组成的。层次多标签文本分类(HMTC)具有更高的准确率,在一个层次或分类组织密切相关的类别的大集合已经成为一个具有挑战性的问题。在本文中,我们提出了一种基于有序神经LSTM神经网络(简称HFT-ONLSTM)的分层和微调方法,以实现更准确的逐层HMTC。首先,我们提出了一种新的方法来学习联合嵌入的基础上,父类别标签和文本数据,准确地捕捉类别标签和文本的联合功能。第二,采用微调技术的训练参数,这样的文本分类结果在上层应该有助于在较低的分类。最后,通过在两个基准数据集上与现有的层次化和平面化多标签文本分类方法进行比较,实验结果表明,HFT-ONLSTM方法的性能优于其他方法,特别是在降低计算成本的同时获得了更好的性能.
2022-04-18 cs.AI cs.CL
TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent(腾讯公司)
文本表示是自然语言处理中的一个基本问题,尤其是在文本分类中。最近,许多具有精细表示模型的神经网络方法(例如FASTTEXT,CNN,RNN和许多具有注意力机制的混合模型)声称它们在特定的文本分类数据集上达到了最先进的水平。然而,它缺乏一个统一的基准来比较这些模型,并揭示每个子组件的优势,为各种设置。我们重新实现了20多个流行的文本表示模型,用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考,并对上述结果进行了分析,得到了一些效果。
2018-03-19 cs.CL
The Text Classification Pipeline: Starting Shallow going Deeper
University of Catania(卡塔尼亚大学);University of Palermo(巴勒莫大学)
本文综述文本分类流水线,从浅层到深层,强调深度学习与大型语言模型的作用,并整合传统与当代方法以促进整体理解。
2025-03-20 cs.AI cs.CL cs.IR
Model and Evaluation: Towards Fairness in Multilingual Text Classification
Guangdong University of Technology(广东工业大学);Guangdong University of Foreign Studies(广东外语外贸大学)
近年来,越来越多的研究集中在解决文本分类模型中的偏见。然而,现有的研究主要集中在单语文本分类模型的公平性上,多语种文本分类模型的公平性研究还很有限。针对多语言文本分类问题,提出了一种基于对比学习的多语言文本分类去偏框架。我们提出的方法不依赖于任何外部语言资源,可以扩展到任何其他语言。该模型包括四个模块:多语言文本表示模块、语言融合模块、文本去偏模块和文本分类模块。多语种文本表示模块采用多语种预训练语言模型表示文本,语言融合模块通过对比学习使不同语言的语义空间趋于一致,文本去偏模块采用对比学习使模型无法识别敏感属性信息。文本分类模块完成多语种文本分类的基本任务。另外,现有的多语种文本分类公平性研究在评价模式上比较单一。公平性的评价方法与单语平等差异评价方法相同,即对单一语言进行评价。本文提出了一个多维的多语种文本分类公平性评价框架,该框架评价了模型的单语种公平性差异、多语种公平性差异、多语种公平性性能差异以及公平性策略的破坏性。我们希望我们的工作可以提供一个更普遍的去偏置方法和更全面的多语言文本公平性任务的评估框架。
2023-03-28 cs.CL
SSMix: Saliency-Based Span Mixup for Text Classification
Clova AI, Naver Corp.(Naver公司Clova AI);KAIST(韩国科学技术院)
具有混合的数据增强已被证明对各种计算机视觉任务有效。尽管取得了巨大的成功,但将mixup应用于NLP任务仍然存在障碍,因为文本由具有可变长度的离散标记组成。在这项工作中,我们提出了SSMix,一种新的混合方法,操作是在输入文本上执行的,而不是像以前的方法那样在隐藏向量上执行的。SSMix通过基于跨度的混合来合成一个句子,同时保留两个原始文本的局部性,并保留更多与依赖于显著性信息的预测相关的标记。通过大量的实验,我们从经验上验证了我们的方法在广泛的文本分类基准(包括文本蕴涵、情感分类和问题类型分类)上优于隐藏级混淆方法。我们的代码可在https://github.com/clovaai/ssmix上获得。
2021-06-15 cs.AI cs.CL cs.LG
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University(北京大学)
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构,并混合它们的表示进行分类,其中层次结构对所有输入文本保持不变。而不是单独建模,在这项工作中,我们提出了层次引导的对比学习(HGSTOM)直接嵌入到文本编码器的层次结构。在训练过程中,HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起,文本编码器可以学习独立地生成分层感知的文本表示。因此,经过训练后,HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
Many-Class Text Classification with Matching
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
在这项工作中,我们制定了\textbf{T} ext \textbf{C}分类作为一个\textbf{M}匹配问题之间的文本和标签,并提出了一个简单而有效的框架命名为TCM。与以往的文本分类方法相比,TCM利用分类标签的细粒度语义信息,这有助于在类别数量较大时更好地区分每个类别,特别是在低资源场景中。TCM也易于实现,并且与各种大型预训练语言模型兼容。我们在Few-Shot和全数据设置中对4个文本分类数据集(每个数据集有20多个标签)进行了TCM评估,该模型比其他文本分类范式有显着改进。我们还进行了广泛的实验与中医的不同变种,并讨论其成功的潜在因素。我们的方法和分析提供了一个新的角度对文本分类。
2022-05-23 cs.CL
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group(阿里巴巴集团)
由于电子健康记录(EHR)系统的广泛采用,医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性,如长度的多样性、文本类型的混合性、医学术语的大量使用等,给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果,例如文本分类和问答。然而,独立的BERT模型不能处理医学文本的复杂性,特别是冗长的临床笔记。在此,我们开发了一个新的模型称为KG-MTT-BERT(知识图增强多类型文本BERT)通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组(DRG)分类中的表现优于所有基线和其他最先进的模型,这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的,这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构,如Kim,Yoon的用于句子分类的卷积神经网络,显示了有希望的结果。在本文中,我们提出了将注意力机制纳入网络,以提高其性能,我们还提出了WordRank的词汇选择,以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法,TextCNN在20News上的准确度从94.79提高到96.88,此外,通过使用WordRank,嵌入层的参数数量可以大大减少,而准确度损失很小。通过使用WordRank进行词汇选择,我们可以将参数的数量减少5倍以上,从7.9M减少到1.5M,准确率仅下降1.2%。
2021-08-04 cs.CL
Improve Text Classification Accuracy with Intent Information
School of Mathematics and Statistics(数学与统计学院);Guangdong University of Technology(广东工业大学)
文本分类作为面向任务的对话系统的核心组成部分,一直是研究和工业界的热点,并取得了巨大的进展。然而,现有的方法没有考虑标签信息的使用,这可能会削弱文本分类系统的性能在一些令牌感知的场景。为了解决这个问题,本文介绍了使用标签信息作为标签嵌入的文本分类任务,并取得了显着的性能在基准数据集。
2022-12-15 cs.CL
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University(上海外国语大学)
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验,揭示了标签平滑不仅能提升分类性能,还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
Research Experiment on Multi-Model Comparison for Chinese Text Classification Tasks
本文在THUCNews数据集上对比了TextCNN、TextRNN和FastText三种深度学习模型在中文文本分类任务中的性能,并分析了它们在不同场景下的适用性。
2024-12-25 cs.CL
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
由于数据稀疏性,许多分类模型在短文本上效果不佳。为了解决这个问题,我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同,我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明,该模型在短文本分类方面优于现有模型,同时生成连贯的主题。
2018-09-11 cs.CL
Text Classification: A Perspective of Deep Learning Methods
University of Chinese Academic of Science(中国科学院大学)
本文综述基于深度学习的文本分类方法,梳理特征提取、降维、评估等关键流程,并比较总结不同深度学习分类算法。
2023-09-24 cs.CL
Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
University College London(伦敦大学学院)
本文对字符级卷积神经网络解决中文语料文本分类问题进行了有益的探索。我们构建了一个大规模的中文语料库,实验结果表明,字符级卷积神经网络在中文语料库上的性能优于其对应的中文格式数据集。这是首次将字符级卷积神经网络应用于文本分类问题。
2016-11-15 cs.CL
Description Based Text Classification with Reinforcement Learning
Zhejiang University(浙江大学)
文本分类的任务通常分为两个阶段:{ \it文本特征提取}和{ \it分类}。在这个标准的形式化中,类别仅仅被表示为标签词汇表中的索引,并且模型缺乏关于分类的明确指示。受当前将NLP问题形式化为问答任务的趋势的启发,我们提出了一个新的文本分类框架,其中每个类别标签与一个类别描述相关联。描述由手工制作的模板或使用来自强化学习的抽象/提取模型生成。描述和文本的连接被馈送到分类器,以决定是否应该将当前标签分配给文本。所提出的策略迫使该模型参加最显着的文本相对于标签,这可以被视为一个硬版本的注意力,从而导致更好的性能。我们观察到,在广泛的文本分类任务,包括单标签分类,多标签分类和多方面的情感分析的强基线显着的性能提升。
2020-06-04 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法,发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中,其中一些新的/测试文档可能不属于任何训练类,在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
Text Classification using Capsules
Gachon University(嘉泉大学);NAVER
本文提出了一种使用胶囊网络进行文本分类的实证探索。虽然已经表明胶囊网络对于图像分类是有效的,但是它们在文本领域中的有效性还没有被探索。在本文中,我们证明了胶囊网络确实具有文本分类的潜力,并且它们比卷积神经网络具有几个优势。我们进一步提出了一个简单的路由方法,有效地降低了动态路由的计算复杂性。我们利用七个基准数据集来证明胶囊网络以及所提出的路由方法提供了可比的结果。
2018-08-14 cs.CL
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务,并取得了巨大的成功,超过了基准,如GLUE。建立语言模型的方法在一种语言中取得了很好的效果,它可以作为一个开箱即用的模型应用于多个自然语言处理任务,如分类,摘要,生成等。在自然语言处理的所有经典方法中,掩蔽语言建模是使用最多的。通常,构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型,从经典的和最先进的Transformer模型来分类文本,以节省成本。序列分类器主要用于文本分类领域。然而,令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测,因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能,并在同一组数据上评估每个模型。在这项工作中,我们使用预训练模型作为基础模型,并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Understanding Graph Convolutional Networks for Text Classification
The University of Sydney(悉尼大学)
图卷积网络(Graph Convolutional Network,GCN)在处理具有丰富关系结构的任务时非常有效,并且在图嵌入中能够保持数据集的全局结构信息。近年来,许多研究者都在研究GCN是否能够处理不同的自然语言处理任务,尤其是文本分类。虽然将GCN应用于文本分类已经得到了很好的研究,但其图的构造技术,如节点/边选择及其特征表示,以及文本分类中的最佳GCN学习机制却被忽视了。在本文中,我们进行了全面的分析,节点和边嵌入在一个图和GCN学习技术在文本分类中的作用。我们的分析是同类分析中的第一个,并提供了有用的见解,每个图节点/边构造机制的重要性时,在不同的文本分类基准的GCN训练/测试,以及在其半监督环境下应用。
2022-03-30 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Performance Analysis of Supervised Machine Learning Algorithms for Text Classification
该研究针对多领域文本分类需求增长的问题,采用多种监督机器学习算法在不同带标注数据集上开展文本分类实验,结合基于BPN的ANN模型搭建独立分类平台,通过基准方法测试得出不同模型的分类准确率表现。
2025-08-31 cs.CL
Abstractive Text Classification Using Sequence-to-convolution Neural Networks
Sogang University(西江大学)
我们提出了一种新的用于文本分类的深度神经网络模型及其训练方案。我们的模型序列到卷积神经网络(Seq 2CNN)由两个块组成:序列块,它总结输入文本;卷积块,它接收输入的摘要并将其分类为标签。Seq 2CNN是端到端训练的,可以对不同长度的文本进行分类,而无需将输入预处理为固定长度。我们还提出了稳定训练的渐进权重转移(GWS)方法。GWS应用于我们的模型的损失函数。我们将我们的模型与使用不同数据预处理方法训练的基于单词的TextCNN进行了比较。我们在没有任何集成或数据增强的情况下,在基于单词的TextCNN上获得了分类准确性的显著提高。
2020-06-02 cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术:(a)TFIDF与依赖语法,特征选择和加权;(b)类关联规则与支持向量机,分类。阿拉伯语文本有两种形式:词根化和词干浅化。我们得到的结果表明,轻干文本导致更好的性能比routifed文本,类关联规则更适合于小的依赖语法约束获得的特征集,最后,支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
Adaptive Region Embedding for Text Classification
Tsinghua University(清华大学);Cisco Systems(思科系统公司)
深度学习模型如卷积神经网络和递归网络广泛应用于文本分类。尽管取得了巨大的成功,但大多数深度学习模型都忽视了对上下文信息建模的重要性,而上下文信息对于理解文本至关重要。在这项工作中,我们提出了自适应区域嵌入来学习上下文表示,以提高文本分类。具体来说,元网络被学习为每个区域生成上下文矩阵,并且每个词与其对应的上下文矩阵交互以产生用于进一步分类的区域表示。与以前的模型,旨在捕捉上下文信息相比,我们的模型包含更少的参数,更灵活。我们在8个文本分类基准数据集上广泛评估了我们的方法。实验结果表明,该方法具有较好的性能,能有效地避免歧义。
2019-05-28 cs.CL
Privacy-Preserving Text Classification on BERT Embeddings with Homomorphic Encryption
CryptoLab;Seoul National University(首尔国立大学)
嵌入技术将原始文本中的信息压缩到保持语义的低维向量中,由于其有效性而被广泛采用。然而,最近的研究表明,嵌入可能会泄露有关文本敏感属性的私人信息,并且在某些情况下,可以反转以恢复原始输入文本。为了解决这些日益增长的隐私挑战,我们提出了一个私有化机制嵌入的基础上同态加密,以防止潜在的泄漏的任何一条信息的过程中的文本分类。特别是,我们的方法执行文本分类的加密嵌入从国家的最先进的模型,如BERT,支持一个高效的GPU实现CKKS加密方案。我们表明,我们的方法提供了加密保护的BERT嵌入,同时在很大程度上保留其实用程序的下游文本分类任务。
2022-10-05 cs.CL
Do Convolutional Networks need to be Deep for Text Classification ?
LORIA(洛林计算机科学及其应用实验室);SESAMm(SESAMm公司)
在这项工作中,我们研究了深度在文本分类卷积模型中的重要性,无论是考虑字符还是单词输入。我们在5个标准的文本分类和情感分析任务上表明,当文本输入表示为字符序列时,深度模型确实比浅层网络提供了更好的性能。然而,一个简单的浅而宽的网络比深度模型(如DenseNet)更好。我们的浅词模型进一步在两个数据集上建立了新的最先进的性能:Yelp Binary(95.9%)和Yelp Full(64.9%)。
2017-07-13 cs.CL
NatCat: Weakly Supervised Text Classification with Naturally Annotated Resources
University of Chicago(芝加哥大学);Rutgers University(罗格斯大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们描述NatCat,一个大规模的文本分类资源,由三个数据源构建:维基百科,Stack Exchange和Reddit。NatCat由在线社区中自然发生的手动策展衍生的文档类别对组成。为了证明它的有用性,我们通过在NatCat上训练来构建通用文本分类器,并在一套11个文本分类任务(CatEval)上对其进行评估,报告了与之前的工作相比的巨大改进。我们基准不同的建模选择和资源组合,并显示任务如何受益于特定的NatCat数据源。
2021-09-19 cs.CL
How to Fine-Tune BERT for Text Classification?
Fudan University(复旦大学)
语言模型预训练已被证明是有用的学习通用语言表示。BERT(Bidirectional Encoder Representations from Transformers)作为一种最先进的语言模型预训练模型,在许多语言理解任务中取得了令人惊叹的成绩。本文针对文本分类任务,对BERT的不同微调方法进行了详尽的实验研究,并给出了BERT微调的一般解决方案。最后,提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进的结果。
2020-02-05 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.(AdresGezgini股份公司);Garanti BBVA Teknoloji(担保BBVA科技公司)
在这项研究中,提出了一种基于自然语言处理(NLP)的方法,用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21,000个标记广告文本组成。在这项研究中,双向编码器表示从Transformers(BERT)模型,这是一个基于transformer的语言模型,最近使用的领域,如文本分类在自然语言处理文献中,被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
A Curriculum Learning Approach for Multi-domain Text Classification Using Keyword weight Ranking
Tsinghua University(清华大学);Meituan(美团);Peng Cheng Laboratory(鹏城实验室)
文本分类是一个非常经典的NLP任务,但它有两个突出的缺点:一方面,文本分类是深度领域依赖的。也就是说,在一个领域的语料库上训练的分类器在另一个领域中可能表现不那么好。另一方面,文本分类模型需要大量带注释的数据进行训练。然而,对于某些领域,可能不存在足够的注释数据。因此,研究如何有效地利用不同领域的文本数据来提高模型在不同领域的性能是很有价值的。一些多领域文本分类模型通过对抗训练来提取所有领域之间的共享特征和每个领域的特定特征。我们注意到,不同领域的特征区分度不同,因此本文提出了一种基于关键词权重排序的课程学习策略来提高多领域文本分类模型的性能。在Amazon review和FDU-MTL数据集上的实验结果表明,该课程学习策略有效地提高了基于对抗学习的多领域文本分类模型的性能,优于现有的方法.
2022-10-27 cs.CL
Adaptable and Reliable Text Classification using Large Language Models
Florida Atlantic University(佛罗里达大西洋大学)
本研究提出以大语言模型为核心的自适应可靠文本分类范式,简化传统工作流,在4个数据集上验证其优于传统方法,且经少样本或微调后性能可达最优。
2024-12-07 cs.CL
PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification
Carnegie Mellon University(卡内基梅隆大学)
PESCO是一种新颖的对比学习框架,通过添加提示增强标签匹配并利用检索标签在自训练循环中丰富训练集,将文本分类转化为神经文本匹配问题,在四个基准数据集上实现了零样本文本分类的最先进性能。
2023-05-24 cs.CL
Label Semantic Aware Pre-training for Few-shot Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon Web Services AI Labs(亚马逊云服务人工智能实验室);University of Pennsylvania(宾夕法尼亚大学)
在文本分类任务中,有用的信息被编码在标签名称中。标签语义感知系统已经利用这些信息在微调和预测期间提高了文本分类性能。然而,在预训练过程中使用标签语义还没有得到广泛的探讨。因此,我们提出标签语义感知预训练(LSAP),以提高文本分类系统的泛化和数据效率。LSAP通过对来自各种领域的标记句子进行二次预训练,将标签语义纳入预训练的生成模型(在我们的案例中为T5)。由于一般领域的预训练需要大量的数据,我们开发了一个过滤和标记管道,可以从未标记的文本中自动创建标记-标签对。我们对意图(ATIS,Snips,TOPv 2)和主题分类(AG News,Yahoo!答案)。LSAP在Few-Shot文本分类的最新模型上获得了显着的准确性改进,同时在高资源设置中保持与最新技术相当的性能。
2022-05-29 cs.CL
Bag of Tricks for Efficient Text Classification
Facebook AI Research(Facebook人工智能研究院)
本文探讨了一个简单而有效的文本分类基线。我们的实验表明,我们的快速文本分类器fastText在准确性方面通常与深度学习分类器相当,并且在训练和评估方面快了许多数量级。我们可以使用标准的多核CPU在不到10分钟的时间内对超过10亿个单词进行训练fastText,并在不到一分钟的时间内对312K类中的50万个句子进行分类。
2016-08-09 cs.CL
Turkish Text Classification: From Lexicon Analysis to Bidirectional Transformer
The Koc School(科奇学校)
文本分类在学术和工业环境中的使用越来越多。虽然基于规则的方法已经相当成功,但监督机器学习已被证明对大多数语言最成功,其中大多数研究都是在英语上进行的。在这篇文章中,成功的词汇分析,支持向量机,和极端梯度提升的文本分类和情感分析的任务进行了评估,在土耳其和一个预训练的Transformer为基础的分类器,提出了优于以前的方法,土耳其文本分类。在文本分类的背景下,本文中提出的所有机器学习模型都是独立于领域的,不需要任何特定于任务的修改。
2020-08-21 cs.CL cs.LG
Neural Text Classification by Jointly Learning to Cluster and Align
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Pittsburgh(匹兹堡大学)
分布式文本聚类提供语义信息表示,并捕获每个词和语义聚类质心之间的相关性。我们扩展的神经文本聚类方法的文本分类任务,通过一个潜在的变量模型和分布式词嵌入的相互作用,以丰富的令牌的表示和测量令牌和每个可学习的聚类中心之间的相关性。该方法联合学习词聚类中心和聚类标记对齐,在多个基准数据集上取得了最新的结果,证明了所提出的聚类标记对齐机制确实有利于文本分类。值得注意的是,我们的定性分析已经明显地表明,所提出的模型学习的文本表示是符合我们的直觉。
2020-11-24 cs.CL
Zero-shot Text Classification With Generative Language Models
NVIDIA(英伟达)
这项工作研究使用自然语言,使zero-shot模型适应新的任务。我们使用来自社交评论平台的文本和元数据作为简单预训练任务的来源。然后,我们提供的语言模型与分类任务的自然语言描述作为输入和训练它生成正确的答案在自然语言通过语言建模目标。这使得模型可以推广到新的分类任务,而不需要多个多任务分类头。我们展示了这些生成式语言模型的zero-shot性能,这些模型在来自torchtext库的六个基准文本分类数据集上进行了弱监督训练。尽管无法访问训练数据,我们实现了高达45%的绝对提高分类精度超过随机或多数类基线。这些结果表明,自然语言可以作为简单而强大的任务适应描述符。我们相信这为文本问题的新元学习策略指明了方向。
2019-12-10 cs.CL
A Multi-cascaded Deep Model for Bilingual SMS Classification
Lahore University of Management Sciences (LUMS)(拉合尔管理科学大学(LUMS))
大多数文本分类的研究都集中在英语语言上。然而,短信等短文本受到区域语言的影响。这使得自动文本分类任务具有挑战性,因为文本中的语言具有多语言,非正式和嘈杂的性质。在这项工作中,我们提出了一种新的多级联深度学习模型,称为McM双语短信分类。McM利用$n$ -语法级信息以及文本的长期依赖性进行学习。我们的方法旨在学习一个没有任何代码转换指示,词汇规范化,语言翻译或语言音译的模型。该模型完全依赖于文本,因为没有外部知识库用于学习。为此目的,一个12类双语文本数据集开发的SMS反馈公民对公共服务包含混合罗马乌尔都语和英语。我们的模型在这个数据集上实现了高精度的分类,并且在多语言文本分类方面优于以前的模型,突出了McM的语言独立性。
2019-11-29 cs.CL
Text Level Graph Neural Network for Text Classification
Peking University(北京大学)
近年来,图神经网络(graph neural network,GNN)在处理复杂结构和保持全局信息方面有很好的表现,因此研究者们开始探索GNN技术在文本分类中的应用。然而,以往基于GNN的方法主要面临语料层次图结构固定、不支持在线测试和内存消耗大等实际问题。为了解决这些问题,我们提出了一种新的基于GNN的模型,该模型为每个输入文本构建全局参数共享的图,而不是整个语料库的单个图。该方法消除了单个文本与支持在线测试的整个语料库之间的依赖负担,但仍然保留了全局信息。此外,我们在文本中构建更小的窗口,这不仅提取更多的局部特征,而且显着减少边数以及内存消耗。实验表明,我们的模型优于现有的模型在几个文本分类数据集,即使消耗更少的内存。
2019-10-08 cs.CL