TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent(腾讯公司)
文本表示是自然语言处理中的一个基本问题,尤其是在文本分类中。最近,许多具有精细表示模型的神经网络方法(例如FASTTEXT,CNN,RNN和许多具有注意力机制的混合模型)声称它们在特定的文本分类数据集上达到了最先进的水平。然而,它缺乏一个统一的基准来比较这些模型,并揭示每个子组件的优势,为各种设置。我们重新实现了20多个流行的文本表示模型,用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考,并对上述结果进行了分析,得到了一些效果。
2018-03-19 cs.CL
Model and Evaluation: Towards Fairness in Multilingual Text Classification
Guangdong University of Technology(广东工业大学);Guangdong University of Foreign Studies(广东外语外贸大学)
近年来,越来越多的研究集中在解决文本分类模型中的偏见。然而,现有的研究主要集中在单语文本分类模型的公平性上,多语种文本分类模型的公平性研究还很有限。针对多语言文本分类问题,提出了一种基于对比学习的多语言文本分类去偏框架。我们提出的方法不依赖于任何外部语言资源,可以扩展到任何其他语言。该模型包括四个模块:多语言文本表示模块、语言融合模块、文本去偏模块和文本分类模块。多语种文本表示模块采用多语种预训练语言模型表示文本,语言融合模块通过对比学习使不同语言的语义空间趋于一致,文本去偏模块采用对比学习使模型无法识别敏感属性信息。文本分类模块完成多语种文本分类的基本任务。另外,现有的多语种文本分类公平性研究在评价模式上比较单一。公平性的评价方法与单语平等差异评价方法相同,即对单一语言进行评价。本文提出了一个多维的多语种文本分类公平性评价框架,该框架评价了模型的单语种公平性差异、多语种公平性差异、多语种公平性性能差异以及公平性策略的破坏性。我们希望我们的工作可以提供一个更普遍的去偏置方法和更全面的多语言文本公平性任务的评估框架。
2023-03-28 cs.CL
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分,如主题识别,垃圾邮件过滤,电子邮件路由,语言识别,体裁分类,可读性评估等。当使用短语模式时,文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为,从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务,它使用语法检查,问答,信息抽取,机器翻译,文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University(北京大学)
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构,并混合它们的表示进行分类,其中层次结构对所有输入文本保持不变。而不是单独建模,在这项工作中,我们提出了层次引导的对比学习(HGSTOM)直接嵌入到文本编码器的层次结构。在训练过程中,HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起,文本编码器可以学习独立地生成分层感知的文本表示。因此,经过训练后,HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
Many-Class Text Classification with Matching
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
在这项工作中,我们制定了\textbf{T} ext \textbf{C}分类作为一个\textbf{M}匹配问题之间的文本和标签,并提出了一个简单而有效的框架命名为TCM。与以往的文本分类方法相比,TCM利用分类标签的细粒度语义信息,这有助于在类别数量较大时更好地区分每个类别,特别是在低资源场景中。TCM也易于实现,并且与各种大型预训练语言模型兼容。我们在Few-Shot和全数据设置中对4个文本分类数据集(每个数据集有20多个标签)进行了TCM评估,该模型比其他文本分类范式有显着改进。我们还进行了广泛的实验与中医的不同变种,并讨论其成功的潜在因素。我们的方法和分析提供了一个新的角度对文本分类。
2022-05-23 cs.CL
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的,这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构,如Kim,Yoon的用于句子分类的卷积神经网络,显示了有希望的结果。在本文中,我们提出了将注意力机制纳入网络,以提高其性能,我们还提出了WordRank的词汇选择,以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法,TextCNN在20News上的准确度从94.79提高到96.88,此外,通过使用WordRank,嵌入层的参数数量可以大大减少,而准确度损失很小。通过使用WordRank进行词汇选择,我们可以将参数的数量减少5倍以上,从7.9M减少到1.5M,准确率仅下降1.2%。
2021-08-04 cs.CL
Improve Text Classification Accuracy with Intent Information
School of Mathematics and Statistics(数学与统计学院);Guangdong University of Technology(广东工业大学)
文本分类作为面向任务的对话系统的核心组成部分,一直是研究和工业界的热点,并取得了巨大的进展。然而,现有的方法没有考虑标签信息的使用,这可能会削弱文本分类系统的性能在一些令牌感知的场景。为了解决这个问题,本文介绍了使用标签信息作为标签嵌入的文本分类任务,并取得了显着的性能在基准数据集。
2022-12-15 cs.CL
Research Experiment on Multi-Model Comparison for Chinese Text Classification Tasks
本文在THUCNews数据集上对比了TextCNN、TextRNN和FastText三种深度学习模型在中文文本分类任务中的性能,并分析了它们在不同场景下的适用性。
2024-12-25 cs.CL
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
由于数据稀疏性,许多分类模型在短文本上效果不佳。为了解决这个问题,我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同,我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明,该模型在短文本分类方面优于现有模型,同时生成连贯的主题。
2018-09-11 cs.CL
Text Classification: A Perspective of Deep Learning Methods
University of Chinese Academic of Science(中国科学院大学)
本文综述基于深度学习的文本分类方法,梳理特征提取、降维、评估等关键流程,并比较总结不同深度学习分类算法。
2023-09-24 cs.CL
Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
University College London(伦敦大学学院)
本文对字符级卷积神经网络解决中文语料文本分类问题进行了有益的探索。我们构建了一个大规模的中文语料库,实验结果表明,字符级卷积神经网络在中文语料库上的性能优于其对应的中文格式数据集。这是首次将字符级卷积神经网络应用于文本分类问题。
2016-11-15 cs.CL
Description Based Text Classification with Reinforcement Learning
Zhejiang University(浙江大学)
文本分类的任务通常分为两个阶段:{ \it文本特征提取}和{ \it分类}。在这个标准的形式化中,类别仅仅被表示为标签词汇表中的索引,并且模型缺乏关于分类的明确指示。受当前将NLP问题形式化为问答任务的趋势的启发,我们提出了一个新的文本分类框架,其中每个类别标签与一个类别描述相关联。描述由手工制作的模板或使用来自强化学习的抽象/提取模型生成。描述和文本的连接被馈送到分类器,以决定是否应该将当前标签分配给文本。所提出的策略迫使该模型参加最显着的文本相对于标签,这可以被视为一个硬版本的注意力,从而导致更好的性能。我们观察到,在广泛的文本分类任务,包括单标签分类,多标签分类和多方面的情感分析的强基线显着的性能提升。
2020-06-04 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法,发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中,其中一些新的/测试文档可能不属于任何训练类,在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research(赛富时研究院)
即使像BERT这样的预先训练的语言编码器在许多任务中共享,问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答,固定类,分类层的文本分类,和相似性评分层的回归任务,我们表明,这种区别是没有必要的,所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
Text Classification using Capsules
Gachon University(嘉泉大学);NAVER
本文提出了一种使用胶囊网络进行文本分类的实证探索。虽然已经表明胶囊网络对于图像分类是有效的,但是它们在文本领域中的有效性还没有被探索。在本文中,我们证明了胶囊网络确实具有文本分类的潜力,并且它们比卷积神经网络具有几个优势。我们进一步提出了一个简单的路由方法,有效地降低了动态路由的计算复杂性。我们利用七个基准数据集来证明胶囊网络以及所提出的路由方法提供了可比的结果。
2018-08-14 cs.CL
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务,并取得了巨大的成功,超过了基准,如GLUE。建立语言模型的方法在一种语言中取得了很好的效果,它可以作为一个开箱即用的模型应用于多个自然语言处理任务,如分类,摘要,生成等。在自然语言处理的所有经典方法中,掩蔽语言建模是使用最多的。通常,构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型,从经典的和最先进的Transformer模型来分类文本,以节省成本。序列分类器主要用于文本分类领域。然而,令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测,因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能,并在同一组数据上评估每个模型。在这项工作中,我们使用预训练模型作为基础模型,并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Understanding Graph Convolutional Networks for Text Classification
The University of Sydney(悉尼大学)
图卷积网络(Graph Convolutional Network,GCN)在处理具有丰富关系结构的任务时非常有效,并且在图嵌入中能够保持数据集的全局结构信息。近年来,许多研究者都在研究GCN是否能够处理不同的自然语言处理任务,尤其是文本分类。虽然将GCN应用于文本分类已经得到了很好的研究,但其图的构造技术,如节点/边选择及其特征表示,以及文本分类中的最佳GCN学习机制却被忽视了。在本文中,我们进行了全面的分析,节点和边嵌入在一个图和GCN学习技术在文本分类中的作用。我们的分析是同类分析中的第一个,并提供了有用的见解,每个图节点/边构造机制的重要性时,在不同的文本分类基准的GCN训练/测试,以及在其半监督环境下应用。
2022-03-30 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Performance Analysis of Supervised Machine Learning Algorithms for Text Classification
该研究针对多领域文本分类需求增长的问题,采用多种监督机器学习算法在不同带标注数据集上开展文本分类实验,结合基于BPN的ANN模型搭建独立分类平台,通过基准方法测试得出不同模型的分类准确率表现。
2025-08-31 cs.CL
Abstractive Text Classification Using Sequence-to-convolution Neural Networks
Sogang University(西江大学)
我们提出了一种新的用于文本分类的深度神经网络模型及其训练方案。我们的模型序列到卷积神经网络(Seq 2CNN)由两个块组成:序列块,它总结输入文本;卷积块,它接收输入的摘要并将其分类为标签。Seq 2CNN是端到端训练的,可以对不同长度的文本进行分类,而无需将输入预处理为固定长度。我们还提出了稳定训练的渐进权重转移(GWS)方法。GWS应用于我们的模型的损失函数。我们将我们的模型与使用不同数据预处理方法训练的基于单词的TextCNN进行了比较。我们在没有任何集成或数据增强的情况下,在基于单词的TextCNN上获得了分类准确性的显著提高。
2020-06-02 cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术:(a)TFIDF与依赖语法,特征选择和加权;(b)类关联规则与支持向量机,分类。阿拉伯语文本有两种形式:词根化和词干浅化。我们得到的结果表明,轻干文本导致更好的性能比routifed文本,类关联规则更适合于小的依赖语法约束获得的特征集,最后,支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
Zero-shot Text Classification With Generative Language Models
NVIDIA(英伟达)
这项工作研究使用自然语言,使zero-shot模型适应新的任务。我们使用来自社交评论平台的文本和元数据作为简单预训练任务的来源。然后,我们提供的语言模型与分类任务的自然语言描述作为输入和训练它生成正确的答案在自然语言通过语言建模目标。这使得模型可以推广到新的分类任务,而不需要多个多任务分类头。我们展示了这些生成式语言模型的zero-shot性能,这些模型在来自torchtext库的六个基准文本分类数据集上进行了弱监督训练。尽管无法访问训练数据,我们实现了高达45%的绝对提高分类精度超过随机或多数类基线。这些结果表明,自然语言可以作为简单而强大的任务适应描述符。我们相信这为文本问题的新元学习策略指明了方向。
2019-12-10 cs.CL
Adaptive Region Embedding for Text Classification
Tsinghua University(清华大学);Cisco Systems(思科系统公司)
深度学习模型如卷积神经网络和递归网络广泛应用于文本分类。尽管取得了巨大的成功,但大多数深度学习模型都忽视了对上下文信息建模的重要性,而上下文信息对于理解文本至关重要。在这项工作中,我们提出了自适应区域嵌入来学习上下文表示,以提高文本分类。具体来说,元网络被学习为每个区域生成上下文矩阵,并且每个词与其对应的上下文矩阵交互以产生用于进一步分类的区域表示。与以前的模型,旨在捕捉上下文信息相比,我们的模型包含更少的参数,更灵活。我们在8个文本分类基准数据集上广泛评估了我们的方法。实验结果表明,该方法具有较好的性能,能有效地避免歧义。
2019-05-28 cs.CL
Privacy-Preserving Text Classification on BERT Embeddings with Homomorphic Encryption
CryptoLab;Seoul National University(首尔国立大学)
嵌入技术将原始文本中的信息压缩到保持语义的低维向量中,由于其有效性而被广泛采用。然而,最近的研究表明,嵌入可能会泄露有关文本敏感属性的私人信息,并且在某些情况下,可以反转以恢复原始输入文本。为了解决这些日益增长的隐私挑战,我们提出了一个私有化机制嵌入的基础上同态加密,以防止潜在的泄漏的任何一条信息的过程中的文本分类。特别是,我们的方法执行文本分类的加密嵌入从国家的最先进的模型,如BERT,支持一个高效的GPU实现CKKS加密方案。我们表明,我们的方法提供了加密保护的BERT嵌入,同时在很大程度上保留其实用程序的下游文本分类任务。
2022-10-05 cs.CL
Do Convolutional Networks need to be Deep for Text Classification ?
LORIA(洛林计算机科学及其应用实验室);SESAMm(SESAMm公司)
在这项工作中,我们研究了深度在文本分类卷积模型中的重要性,无论是考虑字符还是单词输入。我们在5个标准的文本分类和情感分析任务上表明,当文本输入表示为字符序列时,深度模型确实比浅层网络提供了更好的性能。然而,一个简单的浅而宽的网络比深度模型(如DenseNet)更好。我们的浅词模型进一步在两个数据集上建立了新的最先进的性能:Yelp Binary(95.9%)和Yelp Full(64.9%)。
2017-07-13 cs.CL
NatCat: Weakly Supervised Text Classification with Naturally Annotated Resources
University of Chicago(芝加哥大学);Rutgers University(罗格斯大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们描述NatCat,一个大规模的文本分类资源,由三个数据源构建:维基百科,Stack Exchange和Reddit。NatCat由在线社区中自然发生的手动策展衍生的文档类别对组成。为了证明它的有用性,我们通过在NatCat上训练来构建通用文本分类器,并在一套11个文本分类任务(CatEval)上对其进行评估,报告了与之前的工作相比的巨大改进。我们基准不同的建模选择和资源组合,并显示任务如何受益于特定的NatCat数据源。
2021-09-19 cs.CL
How to Fine-Tune BERT for Text Classification?
Fudan University(复旦大学)
语言模型预训练已被证明是有用的学习通用语言表示。BERT(Bidirectional Encoder Representations from Transformers)作为一种最先进的语言模型预训练模型,在许多语言理解任务中取得了令人惊叹的成绩。本文针对文本分类任务,对BERT的不同微调方法进行了详尽的实验研究,并给出了BERT微调的一般解决方案。最后,提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进的结果。
2020-02-05 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.(AdresGezgini股份公司);Garanti BBVA Teknoloji(担保BBVA科技公司)
在这项研究中,提出了一种基于自然语言处理(NLP)的方法,用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21,000个标记广告文本组成。在这项研究中,双向编码器表示从Transformers(BERT)模型,这是一个基于transformer的语言模型,最近使用的领域,如文本分类在自然语言处理文献中,被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Neural Text Classification and Stacked Heterogeneous Embeddings for Named Entity Recognition in SMM4H 2021
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文介绍了我们参与SMM 4 H共享任务2021的发现。我们解决了命名实体识别(NER)和文本分类。为了解决NER问题,我们探索了具有堆叠异构嵌入和语言特征的BiLSTM-CRF。我们研究了各种机器学习算法(逻辑回归,支持向量机(SVM)和神经网络)来解决文本分类问题。我们提出的方法可以推广到不同的语言,我们已经证明了其有效性英语和西班牙语。我们的文本分类提交(团队:MIC-NLP)在ADE分类(任务1a)和职业分类(任务7a)上分别获得了$0.46$和$0.90$的F1分数。在NER的情况下,我们的提交物在ADE跨度检测(任务1b)和职业跨度检测(任务7 b)上分别获得了$0.50$和$0.82$的F1分数。
2021-06-11 cs.CL
A Curriculum Learning Approach for Multi-domain Text Classification Using Keyword weight Ranking
Tsinghua University(清华大学);Meituan(美团);Peng Cheng Laboratory(鹏城实验室)
文本分类是一个非常经典的NLP任务,但它有两个突出的缺点:一方面,文本分类是深度领域依赖的。也就是说,在一个领域的语料库上训练的分类器在另一个领域中可能表现不那么好。另一方面,文本分类模型需要大量带注释的数据进行训练。然而,对于某些领域,可能不存在足够的注释数据。因此,研究如何有效地利用不同领域的文本数据来提高模型在不同领域的性能是很有价值的。一些多领域文本分类模型通过对抗训练来提取所有领域之间的共享特征和每个领域的特定特征。我们注意到,不同领域的特征区分度不同,因此本文提出了一种基于关键词权重排序的课程学习策略来提高多领域文本分类模型的性能。在Amazon review和FDU-MTL数据集上的实验结果表明,该课程学习策略有效地提高了基于对抗学习的多领域文本分类模型的性能,优于现有的方法.
2022-10-27 cs.CL
Adaptable and Reliable Text Classification using Large Language Models
Florida Atlantic University(佛罗里达大西洋大学)
本研究提出以大语言模型为核心的自适应可靠文本分类范式,简化传统工作流,在4个数据集上验证其优于传统方法,且经少样本或微调后性能可达最优。
2024-12-07 cs.CL
PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification
Carnegie Mellon University(卡内基梅隆大学)
PESCO是一种新颖的对比学习框架,通过添加提示增强标签匹配并利用检索标签在自训练循环中丰富训练集,将文本分类转化为神经文本匹配问题,在四个基准数据集上实现了零样本文本分类的最先进性能。
2023-05-24 cs.CL
Label Semantic Aware Pre-training for Few-shot Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon Web Services AI Labs(亚马逊云服务人工智能实验室);University of Pennsylvania(宾夕法尼亚大学)
在文本分类任务中,有用的信息被编码在标签名称中。标签语义感知系统已经利用这些信息在微调和预测期间提高了文本分类性能。然而,在预训练过程中使用标签语义还没有得到广泛的探讨。因此,我们提出标签语义感知预训练(LSAP),以提高文本分类系统的泛化和数据效率。LSAP通过对来自各种领域的标记句子进行二次预训练,将标签语义纳入预训练的生成模型(在我们的案例中为T5)。由于一般领域的预训练需要大量的数据,我们开发了一个过滤和标记管道,可以从未标记的文本中自动创建标记-标签对。我们对意图(ATIS,Snips,TOPv 2)和主题分类(AG News,Yahoo!答案)。LSAP在Few-Shot文本分类的最新模型上获得了显着的准确性改进,同时在高资源设置中保持与最新技术相当的性能。
2022-05-29 cs.CL
Bag of Tricks for Efficient Text Classification
Facebook AI Research(Facebook人工智能研究院)
本文探讨了一个简单而有效的文本分类基线。我们的实验表明,我们的快速文本分类器fastText在准确性方面通常与深度学习分类器相当,并且在训练和评估方面快了许多数量级。我们可以使用标准的多核CPU在不到10分钟的时间内对超过10亿个单词进行训练fastText,并在不到一分钟的时间内对312K类中的50万个句子进行分类。
2016-08-09 cs.CL
Mimicking Human Process: Text Representation via Latent Semantic Clustering for Classification
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
考虑到文本中具有不同特征的词对分类的重要性不同,将它们单独分组可以加强各部分的语义表达。因此,我们提出了一种新的文本表示方案,通过聚类的话,根据其潜在的语义和组合在一起,得到一组聚类向量,然后连接作为最终的文本表示。五个分类基准的评估证明了我们的方法的有效性。我们进一步进行可视化分析,显示统计聚类结果,并验证我们的动机的有效性。
2019-06-18 cs.CL
Classification Analysis Of Authorship Fiction Texts in The Space Of Semantic Fields
Ivan Franko Lviv National University(伊万·弗兰科利沃夫国立大学)
分析了朴素贝叶斯分类器(NB)和k近邻分类器(kNN)在英语小说作者文本分类语义分析中的应用。作者的作品是在向量空间中进行考察的,名词和动词语义场的频率特征构成了向量空间的基础。作者文本在语义场向量空间中的高度精确分类表明了作者个人风格在这个空间中的存在。
2012-10-22 cs.CL
Neural Text Classification by Jointly Learning to Cluster and Align
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Pittsburgh(匹兹堡大学)
分布式文本聚类提供语义信息表示,并捕获每个词和语义聚类质心之间的相关性。我们扩展的神经文本聚类方法的文本分类任务,通过一个潜在的变量模型和分布式词嵌入的相互作用,以丰富的令牌的表示和测量令牌和每个可学习的聚类中心之间的相关性。该方法联合学习词聚类中心和聚类标记对齐,在多个基准数据集上取得了最新的结果,证明了所提出的聚类标记对齐机制确实有利于文本分类。值得注意的是,我们的定性分析已经明显地表明,所提出的模型学习的文本表示是符合我们的直觉。
2020-11-24 cs.CL
A Multi-cascaded Deep Model for Bilingual SMS Classification
Lahore University of Management Sciences (LUMS)(拉合尔管理科学大学(LUMS))
大多数文本分类的研究都集中在英语语言上。然而,短信等短文本受到区域语言的影响。这使得自动文本分类任务具有挑战性,因为文本中的语言具有多语言,非正式和嘈杂的性质。在这项工作中,我们提出了一种新的多级联深度学习模型,称为McM双语短信分类。McM利用$n$ -语法级信息以及文本的长期依赖性进行学习。我们的方法旨在学习一个没有任何代码转换指示,词汇规范化,语言翻译或语言音译的模型。该模型完全依赖于文本,因为没有外部知识库用于学习。为此目的,一个12类双语文本数据集开发的SMS反馈公民对公共服务包含混合罗马乌尔都语和英语。我们的模型在这个数据集上实现了高精度的分类,并且在多语言文本分类方面优于以前的模型,突出了McM的语言独立性。
2019-11-29 cs.CL
Text Level Graph Neural Network for Text Classification
Peking University(北京大学)
近年来,图神经网络(graph neural network,GNN)在处理复杂结构和保持全局信息方面有很好的表现,因此研究者们开始探索GNN技术在文本分类中的应用。然而,以往基于GNN的方法主要面临语料层次图结构固定、不支持在线测试和内存消耗大等实际问题。为了解决这些问题,我们提出了一种新的基于GNN的模型,该模型为每个输入文本构建全局参数共享的图,而不是整个语料库的单个图。该方法消除了单个文本与支持在线测试的整个语料库之间的依赖负担,但仍然保留了全局信息。此外,我们在文本中构建更小的窗口,这不仅提取更多的局部特征,而且显着减少边数以及内存消耗。实验表明,我们的模型优于现有的模型在几个文本分类数据集,即使消耗更少的内存。
2019-10-08 cs.CL
Hierarchical Text Classification of Urdu News using Deep Neural Network
National University of Computer and Emerging Sciences(国立计算机与新兴科学大学)
互联网上的数字文本日益增多。对大量异构数据集进行分类是一项非常具有挑战性的工作,需要改进的信息处理方法来组织文本。为了对大规模的语料库进行分类,一种常用的方法是使用层次文本分类,其目的是在层次结构中对文本数据进行分类。已经提出了几种方法来处理文本分类,但大多数研究都是在英语语言上进行的。本文提出了一种用于乌尔都语新闻分层文本分类的深度学习模型-由来自8个在线新闻网站的51,325个句子组成,属于以下类型:体育;科技;和娱乐。本文的目标有两个:(1)开发一个大型的乌尔都语新闻人工注释数据集,用于分层文本分类;(2)使用我们提出的基于LSTM机制的模型对乌尔都语新闻进行分层分类,称为分层多层LSTM(HMLSTM)。我们的模型由两个模块组成:文本表示层,用于获得文本表示,其中我们使用Word 2 vec嵌入将单词转换为矢量,乌尔都语分层LSTM层(UHLSTML)是一个端到端的完全连接的深度LSTM网络,用于执行自动特征学习,我们为类层次结构的每个级别训练一个LSTM层。我们已经进行了广泛的实验,我们自己创建的数据集命名为乌尔都语新闻数据集的层次文本分类(UNDHTC)。结果表明,我们提出的方法对于分层文本分类是非常有效的,它显著优于基线方法,并且与深度神经模型相比也取得了良好的效果。
2021-07-07 cs.CL
A Robust Contrastive Alignment Method For Multi-Domain Text Classification
Beijing University of Posts and Telecommunications(北京邮电大学);University of Surrey(萨里大学);Shandong University of Finance and Economics(山东财经大学)
多领域文本分类可以在各种场景下对文本进行自动分类。由于人类语言的多样性,不同领域中具有相同标签的文本可能差异很大,这给多领域文本分类带来了挑战。当前的高级方法使用私有共享范式,通过共享编码器捕获域共享特征,并为每个域训练私有编码器以提取域特定特征。然而,在现实的情况下,这些方法的效率低下,因为新的领域不断出现。在本文中,我们提出了一个强大的对比对齐方法对齐文本分类的不同领域的特征在同一个特征空间中的监督对比学习。通过这种方法,我们只需要两个通用的特征提取器来实现多领域的文本分类。大量的实验结果表明,我们的方法执行等同于或有时优于国家的最先进的方法,它使用复杂的多分类器在一个私人共享的框架。
2022-04-26 cs.CL
Towards Human-Centred Explainability Benchmarks For Text Classification
许多自然语言处理(NLP)任务(如文本分类)的进展都是由通过公开可用的基准进行的客观、可再现和可扩展的评估驱动的。然而,这些并不总是代表使用文本分类器的真实世界场景,例如情感分析或错误信息检测。在这份立场文件中,我们提出了两点,旨在缓解这一问题。首先,我们建议扩展文本分类基准来评估文本分类器的可解释性。我们回顾了与客观评估产生有效解释的能力相关的挑战,这将我们引向第二个要点:我们建议将这些基准放在以人为本的应用中,例如通过使用社交媒体,游戏化或从人类判断中学习可解释性指标。
2022-11-10 cs.CL
The Authors Matter: Understanding and Mitigating Implicit Bias in Deep Text Classification
Michigan State University(密歇根州立大学);TAL Education Group(好未来教育集团)
很明显,在人类数据上训练的深度文本分类模型可能会有偏见。特别是,他们产生偏见的文本,明确包括某些人口群体的身份条款的结果。我们把这种类型的偏见称为外显偏见,这已经得到了广泛的研究。然而,深度文本分类模型也可能对某些人口统计群体的作者所写的文本产生有偏见的结果。我们把这种偏见称为隐性偏见,我们对它的理解仍然相当有限。在本文中,我们首先证明了隐含的偏见存在于不同的文本分类任务,为不同的人口群体。然后,我们建立了一个基于学习的解释方法,以加深我们对内隐偏见的认识。具体来说,我们验证了分类器学会根据与作者的人口统计属性相关的语言特征进行预测。接下来,我们提出了一个Debiased-TC框架来训练深度文本分类器,以便对正确的特征进行预测,从而减轻隐含的偏见。我们在三个真实世界的数据集上进行了广泛的实验。结果表明,在我们提出的框架下训练的文本分类模型在公平性方面显着优于传统模型,在分类性能方面也略有提高。
2021-05-06 cs.CL
Resilient Combination of Complementary CNN and RNN Features for Text Classification through Attention and Ensembling
Swisscom AG(瑞士电信股份公司)
现有的文本分类方法包括预处理、特征提取和后处理等几个不同的步骤。在这项工作中,我们专注于端到端的神经架构,并表明文本分类的最佳性能是通过组合来自不同神经模块的信息来获得的。具体地说,我们结合卷积,经常性和注意模块集成方法,并表明它们是互补的。我们介绍ECGA,一个端到端的去到架构的新颖的文本分类任务。我们证明了它是有效的和强大的,因为它达到或超过了最先进的各种数据集,包括低和高的数据制度。
2019-03-28 cs.CL
Like a Good Nearest Neighbor: Practical Content Moderation and Text Classification
Technical University of Darmstadt(达姆施塔特工业大学)
针对少样本文本分类依赖大模型难部署的问题,提出无额外可学习参数的LaGoNN方案,通过引入训练数据近邻信息修改输入来优化SetFit,在内容审核等多场景下提升了分类性能。
2024-01-29 cs.CL
Language classification from bilingual word embedding graphs
TU Darmstadt(达姆施塔特工业大学);Goethe University(歌德大学)
我们在单语语义评价任务中研究了第二语言在双语词嵌入中的作用。我们发现,下游任务的表现和第二语言的相似性目标语言之间的强和弱的正相关。此外,我们展示了如何双语词嵌入可以用于语义语言分类的任务,联合语义空间在第二语言中有意义的方式不同。我们的研究结果支持这一假设,语义语言相似性的影响,结构相似性以及地理/接触。
2016-10-10 cs.CL
Integrating Semantic Knowledge to Tackle Zero-shot Text Classification
Data Science Institute(数据科学研究所);Imperial College London(伦敦帝国理工学院);Department of Computing(计算系)
新兴类的训练数据不足甚至不可用是包括文本分类在内的许多分类任务的一大挑战。因此,识别在学习阶段从未见过的类的文本文档,即所谓的zero-shot文本分类,是困难的,只有有限的以前的作品解决了这个问题。在本文中,我们提出了一个两阶段的框架连同数据增强和特征增强来解决这个问题。四种语义知识(词嵌入,类描述,类层次结构,和一个通用的知识图谱)被纳入建议的框架,以有效地处理看不见的类的实例。实验结果表明,在zero-shot场景下,与基线和最近的方法相比,每个阶段以及两个阶段的组合在分类真实世界文本时实现了最佳的整体准确率。
2019-03-29 cs.CL
AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification
Sun Yat-sen University(中山大学)
最近,深度学习模型已经被证明能够在句子和文档分类任务中取得显着的性能。在这项工作中,我们提出了一个新的框架称为AC-BLSTM建模的句子和文档,它结合了非对称卷积神经网络(ACNN)与双向长短期记忆网络(BLSTM)。实验结果表明,该模型在情感分析、问题类型分类和主观性分类等五个任务上均取得了较好的效果。为了进一步提高AC-BLSTM的性能,本文将生成模型与AC-BLSTM相结合,提出了一种用于文本分类的半监督学习框架G-AC-BLSTM。
2017-06-05 cs.CL
Does a Hybrid Neural Network based Feature Selection Model Improve Text Classification?
IIIT-Hyderabad(海得拉巴国际信息技术学院)
文本分类是自然语言处理领域的一个基本问题。文本分类主要集中在对有助于分类文本数据的所有相关特征给予更多的重视。除此之外,文本可能具有冗余或高度相关的特征。这些特征增加了分类算法的复杂性。因此,许多降维方法被提出来与传统的机器学习分类器。将降维方法与机器学习分类器结合使用,取得了较好的效果。在本文中,我们提出了一种混合特征选择方法,通过结合各种基于过滤器的特征选择方法和快速文本分类器获得相关的功能。然后,我们提出了三种实现特征选择和神经网络管道的方法。我们观察到,当特征选择方法与神经网络一起使用时,训练时间减少。我们还观察到一些数据集的准确性略有提高。
2021-01-22 cs.CL
Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Xi’an Jiaotong University(西安交通大学)
文本分类是自然语言处理的基础,图神经网络近年来被应用于文本分类。然而,现有的基于图的作品既不能捕捉每个文档中的上下文单词关系,也不能实现新单词的归纳学习。在这项工作中,为了克服这些问题,我们提出了通过GNN进行归纳文本分类的TextING。我们首先为每个文档构建单独的图,然后使用GNN根据它们的局部结构来学习细粒度的单词表示,这也可以有效地为新文档中的未看到的单词生成嵌入。最后,词节点被聚合作为文档嵌入。在四个基准数据集上的大量实验表明,我们的方法优于最先进的文本分类方法。
2020-05-12 cs.CL
ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification
Beihang University(北京航空航天大学);University of Ottawa(渥太华大学);University of Leeds(利兹大学)
提出对比学习框架ContrastNet,通过拉近同类、推开异类表示学习判别性特征,并在任务级和实例级引入无监督对比正则化防止过拟合,在8个数据集上超越现有最先进模型。
2023-05-16 cs.CL
Applying LLMs to Active Learning: Towards Cost-Efficient Cross-Task Text Classification without Manually Labeled Data
Graduate School of Science and Technology, Keio University, Yokohama, Japan(Keio大学理工研究生院)
本文提出将大语言模型集成到主动学习框架中,在无需人工标注数据的情况下实现高性价比的跨任务文本分类,仅用约6%的计算成本保留GPT超过93%的分类性能。
2025-05-05 cs.CL
Sequential Learning of Convolutional Features for Effective Text Classification
Samsung R&D Institute, Bangalore(三星班加罗尔研发中心)
文本分类一直是自然语言处理的主要问题之一。随着深度学习的出现,卷积神经网络(CNN)已经成为这项任务的流行解决方案。然而,最初针对图像提出的CNN在文本处理的背景下面临许多关键挑战,即在其基本模块中:卷积滤波器和最大池化。大多数现有的用于文本分类的CNN模型都忽略了这些挑战。在本文中,我们提出了一个实验研究的基本块的CNN在文本分类。在此基础上,我们提出了序列卷积注意递归网络(SCARN)。与先前提出的递归卷积模型相比,所提出的SCARN模型有效地利用了递归结构和卷积结构的优点。我们在不同的文本分类数据集上测试了我们的模型,包括情感分析和问题分类。大量的实验表明,SCARN在参数显著减少的情况下优于其他递归卷积架构。此外,SCARN与同样大的各种深度CNN和LSTM架构相比,实现了更好的性能。
2019-09-12 cs.CL