Selecting and combining complementary feature representations and classifiers for hate speech detection
École de Technologie Supérieure, University of Quebec(魁北克大学高等技术学院);Universidade Federal de Pernambuco(伯南布哥联邦大学)
仇恨言论是社交网络中的一个主要问题,因为每天都会产生大量的数据。最近的工作证明了机器学习(ML)在处理区分仇恨帖子与讽刺或攻击性语言所需的细微差别方面的有用性。已经提出了许多用于仇恨言论检测的ML解决方案,通过改变从文本中提取特征的方式或所采用的分类算法。然而,大多数工作只考虑一种类型的特征提取和分类算法。这项工作认为,需要多种特征提取技术和不同的分类模型的组合。我们提出了一个框架来分析多个特征提取和分类技术之间的关系,以了解它们如何相互补充。该框架是用来选择一个子集的互补技术,组成一个强大的多分类器系统(MCS)的仇恨言论检测。考虑四个仇恨语音分类数据集的实验研究表明,所提出的框架是一个很有前途的方法,分析和设计高性能的MCS,这项任务。使用所提出的框架获得的MCS系统显着优于所有模型的组合和同质和异构的选择算法,证明了具有适当的选择方案的重要性。源代码、图表和数据集分割可以在GitHub存储库中找到:https://github.com/Menelau/Hate-Speech-MCS。
2022-01-18 cs.AI cs.CL cs.SI
Information-Theoretic Complementary Prompts for Improved Continual Text Classification
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·扎耶德人工智能大学);Center for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术 excellence 中心);Chinese Academy of Sciences(中国科学院);Tencent AI Lab(腾讯人工智能实验室)
提出InfoComp方法,通过信息论框架学习任务特定与任务无关的互补提示空间,有效缓解灾难性遗忘并促进前向知识迁移,在持续文本分类基准上超越现有最先进方法。
2025-05-27 cs.CL
LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中,只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架,其中测试样本首先被分配伪标签,然后用于训练神经文本分类器。在大多数以前的工作中,伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME,弱监督文本分类的框架,完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现,将弱监督分类和文本蕴涵相结合可以减轻两者的缺点,从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型,LIME在弱监督文本分类中的表现优于最近的基线,并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
TextRGNN: Residual Graph Neural Networks for Text Classification
近年来,基于图神经网络(GNN)的文本分类模型受到越来越多的关注。这些模型大多采用类似的网络范式,即使用预训练节点嵌入初始化和两层图卷积。在这项工作中,我们提出了TextRGNN,这是一种改进的GNN结构,它引入了残差连接来加深卷积网络深度。我们的结构可以获得更宽的节点感受野,并有效地抑制节点特征的过度平滑。此外,我们将概率语言模型融入到图节点嵌入的初始化中,从而可以更好地提取图的非图语义信息。实验结果表明,该模型具有较好的通用性和有效性.无论是在语料库级别还是文本级别,它都能显著提高分类精度,并在广泛的文本分类数据集上实现SOTA性能。
2023-01-25 cs.AI cs.CL
Graph Convolutional Networks for Text Classification
Northwestern University(西北大学)
文本分类是自然语言处理中的一个重要而经典的问题。已经有许多应用卷积神经网络(规则网格上的卷积,例如,序列)进行分类。然而,只有有限数量的研究探索了更灵活的图卷积神经网络(非网格上的卷积,例如,任意图形)的任务。在这项工作中,我们建议使用图卷积网络的文本分类。我们基于词同现和文档词关系为语料库构建单个文本图,然后学习该语料库的文本图卷积网络(Text GCN)。我们的文本GCN初始化为单词和文档的one-hot表示,然后联合学习单词和文档的嵌入,由文档的已知类标签监督。我们在多个基准数据集上的实验结果表明,没有任何外部词嵌入或知识的普通文本GCN优于最先进的文本分类方法。另一方面,Text GCN还学习预测单词和文档嵌入。此外,实验结果表明,随着训练数据的减少,文本GCN相对于现有比较方法的改进更加显著,说明文本GCN在文本分类中对较少训练数据的鲁棒性。
2018-11-13 cs.AI cs.CL
Identifying Semantically Difficult Samples to Improve Text Classification
IBM Research(IBM研究院);DA-IICT(达达赛信息技术学院)
在本文中,我们研究了从给定的文本数据集中处理困难样本对下游文本分类任务的影响。我们通过在语义嵌入空间中分析困难样本,将其定义为文本分类的非明显情况;具体而言-(i)属于不同类别的语义相似样本和(ii)属于同一类别的语义不相似样本。我们提出了一个惩罚函数来衡量数据集中每个样本的整体难度得分。我们在13个标准数据集上进行了详尽的实验,以显示高达9%的一致改进,并讨论了定性结果,以显示我们的方法在识别文本分类模型的困难样本方面的有效性。
2023-02-13 cs.AI cs.CL
Text classification optimization algorithm based on graph neural network
New York University(纽约大学);University of Houston(休斯顿大学);Washington University in St. Louis(圣路易斯华盛顿大学);University of Southern California(南加州大学);Johns Hopkins University(约翰斯·霍普金斯大学);Duke University(杜克大学)
本文提出一种基于图神经网络的文本分类优化算法,通过引入自适应图构建策略和高效图卷积操作,有效解决了传统方法语义缺失及现有GNN模型图构建复杂、训练成本高的问题,在多个公共数据集上性能优越。
2024-08-09 cs.AI cs.CL
Investigating Capsule Networks with Dynamic Routing for Text Classification
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Pennsylvania State University(宾夕法尼亚州立大学);Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);Nanjing University of Posts and Telecommunications(南京邮电大学);Zhejiang University(浙江大学);Tencent(腾讯)
在这项研究中,我们探索了具有动态路由的胶囊网络用于文本分类。我们提出了三种策略来稳定动态路由过程,以减轻一些可能包含“背景”信息或未成功训练的噪声胶囊的干扰。在六个文本分类基准上用胶囊网络进行了一系列实验。胶囊网络在6个数据集中的4个上达到了最先进的水平,这表明了胶囊网络在文本分类方面的有效性。我们还表明,胶囊网络在将单标签文本分类转移到多标签文本分类时,比强基线方法表现出显着的改进。据我们所知,这是第一次对胶囊网络进行文本建模的实证研究。
2018-09-03 cs.AI cs.CL
Hierarchical information matters: Text classification via tree based graph neural network
Beihang University(北京航空航天大学)
文本分类是自然语言处理的一项重要任务。近年来,图神经网络(GNNs)发展迅速,并被应用于文本分类任务。树作为一种特殊的图数据,具有较简单的数据结构,能为文本分类提供丰富的层次信息。受结构熵的启发,通过最小化结构熵来构造图的编码树,提出HINT算法,旨在充分利用文本中所包含的层次信息进行文本分类。具体来说,我们首先为每个文本建立一个依存句法分析图。然后设计了一种结构熵最小化算法,对图中的关键信息进行解码,并将每个图转换为对应的编码树。基于编码树的层次结构,通过逐层更新编码树中非叶节点的表示,得到整个图的表示。最后,我们展示了层次信息在文本分类中的有效性。实验结果表明,HINT方法具有结构简单、参数少的特点,在流行的基准测试中性能优于现有的方法。
2022-08-20 cs.AI cs.CL
XAI-CLASS: Explanation-Enhanced Text Classification with Extremely Weak Supervision
Virginia Tech(弗吉尼亚理工大学)
针对极弱监督文本分类忽略伪标签解释信息的问题,本文提出XAI-CLASS方法,通过多轮问答生成伪训练数据并以多任务框架同时学习文本分类与词重要性预测,显著提升分类性能和可解释性。
2023-10-31 cs.AI cs.CL
Evaluating Unsupervised Text Classification: Zero-shot and Similarity-based Approaches
Technical University of Munich(慕尼黑工业大学);University of Twente(特文特大学)
该研究针对未见类别文本分类任务,系统性对比了基于相似度与零样本两类无监督方法,提出新型基线和Lbl2TransformerVec方法,验证了相似度类方法的优势及嵌入表示优化的增益。
2023-01-31 cs.AI cs.CL
Complementary Advantages of ChatGPTs and Human Readers in Reasoning: Evidence from English Text Reading Comprehension
Southeast University(东南大学);Qufu Normal University(曲阜师范大学)
本研究通过三个推理测试比较ChatGPT与高中生,发现两者在常识、情感和因果推理上各有优劣,形成互补关系。
2023-11-17 cs.CL
Task-adaptive Pre-training and Self-training are Complementary for Natural Language Understanding
UC Santa Barbara(加州大学圣巴巴拉分校);Salesforce Research(赛富时研究院)
任务自适应预训练(Task-adaptive pre-training,TAPT)和自训练(Self-training,ST)是提高具有大量未标记数据的自然语言理解(natural language understanding,NLU)任务的主要半监督方法。然而,目前还不清楚它们是否学习类似的表示,或者它们是否可以有效地结合起来。在本文中,我们表明,TAPT和ST可以通过遵循TAPT -> Finetuning -> Self-training(TFS)过程与简单的TFS协议互补。实验结果表明,TFS协议能够有效利用未标记数据,在情感分类、释义识别、自然语言推理、命名实体识别和对话槽分类等6个数据集上实现一致的强组合增益。我们研究了各种半监督设置,并一致表明,从TAPT和ST的收益可以通过以下TFS程序强加性。我们希望TFS可以作为未来NLP研究的重要半监督基线。
2023-02-19 cs.CL
A Complementary Joint Training Approach Using Unpaired Speech and Text for Low-Resource Automatic Speech Recognition
University of Science and Technology of China(中国科学技术大学);iFlytek Research(科大讯飞研究院)
非配对数据对低资源的自动语音识别(ASR)有很大的帮助,它可以用于多任务训练或依赖于语言模型的预训练的混合模型的设计。在这项工作中,我们利用不成对的数据训练一般的序列到序列模型。通过在模型训练之前生成相应的缺失部分,以数据对的形式使用未配对的语音和文本。受语音-伪标签对和合成音频-文本对在声学特征和语言特征上的互补性的启发,提出了一种互补的联合训练(CJT)方法,即用两个数据对交替训练一个模型。此外,提出了伪标签的标签掩蔽和合成音频的梯度限制,以进一步处理与真实数据的偏差,称为CJT++。实验结果表明,与纯语音训练相比,所提出的基本CJT在干净/其他测试集上取得了很大的性能提升,而CJT++再训练则进一步提高了性能.同样明显的是,所提出的方法优于具有相同模型大小和波束大小的wav2vec2.0模型,特别是在极端低资源的情况下。
2022-04-05 cs.CL cs.SD eess.AS
TextZoo, a New Benchmark for Reconsidering Text Classification
Tencent(腾讯公司)
文本表示是自然语言处理中的一个基本问题,尤其是在文本分类中。最近,许多具有精细表示模型的神经网络方法(例如FASTTEXT,CNN,RNN和许多具有注意力机制的混合模型)声称它们在特定的文本分类数据集上达到了最先进的水平。然而,它缺乏一个统一的基准来比较这些模型,并揭示每个子组件的优势,为各种设置。我们重新实现了20多个流行的文本表示模型,用于10多个数据集的分类。本文从神经网络的角度对文本分类问题进行了重新思考,并对上述结果进行了分析,得到了一些效果。
2018-03-19 cs.CL
Complementary Fusion of Multi-Features and Multi-Modalities in Sentiment Analysis
Beijing Forestry University(北京林业大学);Carnegie Mellon University(卡内基梅隆大学)
情感分析主要基于文本,近十年来发展迅速,引起了学术界和工业界的广泛关注。然而,现实世界中的信息通常来自多种形式,如音频和文本。因此,本文基于音频和文本,考虑多模态情感分析的任务,提出了一种新的融合策略,包括多特征融合和多模态融合,以提高音频-文本情感分析的准确性。我们称之为DFF-ATMF(Deep Feature Fusion - Audio and Text Modality Fusion)模型,它由两个并行的分支组成,即基于音频模态的分支和基于文本模态的分支。其核心机制是多特征向量和多通道注意的融合。在CMU-MOSI数据集和最近发布的CMU-MOSEI数据集上的实验,都是从YouTube上收集的情感分析,显示了我们的DFF-ATMF模型非常有竞争力的结果。此外,凭借注意力权重分布热图,我们还证明了使用DFF-ATMF学习的深度特征是互补的,并且是鲁棒的。令人惊讶的是,DFF-ATMF在IEMOCAP数据集上也取得了新的最先进的结果,表明所提出的融合策略对于多模态情感识别也具有良好的泛化能力。
2019-12-11 cs.CL cs.SD eess.AS
SSMix: Saliency-Based Span Mixup for Text Classification
Clova AI, Naver Corp.(Naver公司Clova AI);KAIST(韩国科学技术院)
具有混合的数据增强已被证明对各种计算机视觉任务有效。尽管取得了巨大的成功,但将mixup应用于NLP任务仍然存在障碍,因为文本由具有可变长度的离散标记组成。在这项工作中,我们提出了SSMix,一种新的混合方法,操作是在输入文本上执行的,而不是像以前的方法那样在隐藏向量上执行的。SSMix通过基于跨度的混合来合成一个句子,同时保留两个原始文本的局部性,并保留更多与依赖于显著性信息的预测相关的标记。通过大量的实验,我们从经验上验证了我们的方法在广泛的文本分类基准(包括文本蕴涵、情感分类和问题类型分类)上优于隐藏级混淆方法。我们的代码可在https://github.com/clovaai/ssmix上获得。
2021-06-15 cs.AI cs.CL cs.LG
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia(佐治亚大学)
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此,需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务,近年来受到了广泛的关注。在本文中,我们描述了几个最基本的文本挖掘任务和技术,包括文本预处理,分类和聚类。此外,我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Model and Evaluation: Towards Fairness in Multilingual Text Classification
Guangdong University of Technology(广东工业大学);Guangdong University of Foreign Studies(广东外语外贸大学)
近年来,越来越多的研究集中在解决文本分类模型中的偏见。然而,现有的研究主要集中在单语文本分类模型的公平性上,多语种文本分类模型的公平性研究还很有限。针对多语言文本分类问题,提出了一种基于对比学习的多语言文本分类去偏框架。我们提出的方法不依赖于任何外部语言资源,可以扩展到任何其他语言。该模型包括四个模块:多语言文本表示模块、语言融合模块、文本去偏模块和文本分类模块。多语种文本表示模块采用多语种预训练语言模型表示文本,语言融合模块通过对比学习使不同语言的语义空间趋于一致,文本去偏模块采用对比学习使模型无法识别敏感属性信息。文本分类模块完成多语种文本分类的基本任务。另外,现有的多语种文本分类公平性研究在评价模式上比较单一。公平性的评价方法与单语平等差异评价方法相同,即对单一语言进行评价。本文提出了一个多维的多语种文本分类公平性评价框架,该框架评价了模型的单语种公平性差异、多语种公平性差异、多语种公平性性能差异以及公平性策略的破坏性。我们希望我们的工作可以提供一个更普遍的去偏置方法和更全面的多语言文本公平性任务的评估框架。
2023-03-28 cs.CL
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分,如主题识别,垃圾邮件过滤,电子邮件路由,语言识别,体裁分类,可读性评估等。当使用短语模式时,文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为,从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务,它使用语法检查,问答,信息抽取,机器翻译,文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group(阿里巴巴集团)
由于电子健康记录(EHR)系统的广泛采用,医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性,如长度的多样性、文本类型的混合性、医学术语的大量使用等,给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果,例如文本分类和问答。然而,独立的BERT模型不能处理医学文本的复杂性,特别是冗长的临床笔记。在此,我们开发了一个新的模型称为KG-MTT-BERT(知识图增强多类型文本BERT)通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组(DRG)分类中的表现优于所有基线和其他最先进的模型,这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Classification
Peking University(北京大学)
层次文本分类由于其复杂的标签层次结构而成为多标签分类中一个具有挑战性的子任务。现有的方法分别编码文本和标签层次结构,并混合它们的表示进行分类,其中层次结构对所有输入文本保持不变。而不是单独建模,在这项工作中,我们提出了层次引导的对比学习(HGSTOM)直接嵌入到文本编码器的层次结构。在训练过程中,HGARCH在标签层次结构的指导下为输入文本构造正样本。通过将输入文本及其正样本拉在一起,文本编码器可以学习独立地生成分层感知的文本表示。因此,经过训练后,HGARCH增强的文本编码器可以省去冗余的层次。在三个基准数据集上的大量实验验证了HGARCH的有效性。
2022-03-23 cs.CL
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University(上海外国语大学)
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验,揭示了标签平滑不仅能提升分类性能,还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
Many-Class Text Classification with Matching
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
在这项工作中,我们制定了\textbf{T} ext \textbf{C}分类作为一个\textbf{M}匹配问题之间的文本和标签,并提出了一个简单而有效的框架命名为TCM。与以往的文本分类方法相比,TCM利用分类标签的细粒度语义信息,这有助于在类别数量较大时更好地区分每个类别,特别是在低资源场景中。TCM也易于实现,并且与各种大型预训练语言模型兼容。我们在Few-Shot和全数据设置中对4个文本分类数据集(每个数据集有20多个标签)进行了TCM评估,该模型比其他文本分类范式有显着改进。我们还进行了广泛的实验与中医的不同变种,并讨论其成功的潜在因素。我们的方法和分析提供了一个新的角度对文本分类。
2022-05-23 cs.CL
TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的,这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构,如Kim,Yoon的用于句子分类的卷积神经网络,显示了有希望的结果。在本文中,我们提出了将注意力机制纳入网络,以提高其性能,我们还提出了WordRank的词汇选择,以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法,TextCNN在20News上的准确度从94.79提高到96.88,此外,通过使用WordRank,嵌入层的参数数量可以大大减少,而准确度损失很小。通过使用WordRank进行词汇选择,我们可以将参数的数量减少5倍以上,从7.9M减少到1.5M,准确率仅下降1.2%。
2021-08-04 cs.CL
Improve Text Classification Accuracy with Intent Information
School of Mathematics and Statistics(数学与统计学院);Guangdong University of Technology(广东工业大学)
文本分类作为面向任务的对话系统的核心组成部分,一直是研究和工业界的热点,并取得了巨大的进展。然而,现有的方法没有考虑标签信息的使用,这可能会削弱文本分类系统的性能在一些令牌感知的场景。为了解决这个问题,本文介绍了使用标签信息作为标签嵌入的文本分类任务,并取得了显着的性能在基准数据集。
2022-12-15 cs.CL
Research Experiment on Multi-Model Comparison for Chinese Text Classification Tasks
本文在THUCNews数据集上对比了TextCNN、TextRNN和FastText三种深度学习模型在中文文本分类任务中的性能,并分析了它们在不同场景下的适用性。
2024-12-25 cs.CL
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
由于数据稀疏性,许多分类模型在短文本上效果不佳。为了解决这个问题,我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同,我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明,该模型在短文本分类方面优于现有模型,同时生成连贯的主题。
2018-09-11 cs.CL
Text Classification: A Perspective of Deep Learning Methods
University of Chinese Academic of Science(中国科学院大学)
本文综述基于深度学习的文本分类方法,梳理特征提取、降维、评估等关键流程,并比较总结不同深度学习分类算法。
2023-09-24 cs.CL
Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
University College London(伦敦大学学院)
本文对字符级卷积神经网络解决中文语料文本分类问题进行了有益的探索。我们构建了一个大规模的中文语料库,实验结果表明,字符级卷积神经网络在中文语料库上的性能优于其对应的中文格式数据集。这是首次将字符级卷积神经网络应用于文本分类问题。
2016-11-15 cs.CL
Description Based Text Classification with Reinforcement Learning
Zhejiang University(浙江大学)
文本分类的任务通常分为两个阶段:{ \it文本特征提取}和{ \it分类}。在这个标准的形式化中,类别仅仅被表示为标签词汇表中的索引,并且模型缺乏关于分类的明确指示。受当前将NLP问题形式化为问答任务的趋势的启发,我们提出了一个新的文本分类框架,其中每个类别标签与一个类别描述相关联。描述由手工制作的模板或使用来自强化学习的抽象/提取模型生成。描述和文本的连接被馈送到分类器,以决定是否应该将当前标签分配给文本。所提出的策略迫使该模型参加最显着的文本相对于标签,这可以被视为一个硬版本的注意力,从而导致更好的性能。我们观察到,在广泛的文本分类任务,包括单标签分类,多标签分类和多方面的情感分析的强基线显着的性能提升。
2020-06-04 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法,发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中,其中一些新的/测试文档可能不属于任何训练类,在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research(赛富时研究院)
即使像BERT这样的预先训练的语言编码器在许多任务中共享,问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答,固定类,分类层的文本分类,和相似性评分层的回归任务,我们表明,这种区别是没有必要的,所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
Text Classification using Capsules
Gachon University(嘉泉大学);NAVER
本文提出了一种使用胶囊网络进行文本分类的实证探索。虽然已经表明胶囊网络对于图像分类是有效的,但是它们在文本领域中的有效性还没有被探索。在本文中,我们证明了胶囊网络确实具有文本分类的潜力,并且它们比卷积神经网络具有几个优势。我们进一步提出了一个简单的路由方法,有效地降低了动态路由的计算复杂性。我们利用七个基准数据集来证明胶囊网络以及所提出的路由方法提供了可比的结果。
2018-08-14 cs.CL
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务,并取得了巨大的成功,超过了基准,如GLUE。建立语言模型的方法在一种语言中取得了很好的效果,它可以作为一个开箱即用的模型应用于多个自然语言处理任务,如分类,摘要,生成等。在自然语言处理的所有经典方法中,掩蔽语言建模是使用最多的。通常,构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型,从经典的和最先进的Transformer模型来分类文本,以节省成本。序列分类器主要用于文本分类领域。然而,令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测,因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能,并在同一组数据上评估每个模型。在这项工作中,我们使用预训练模型作为基础模型,并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Understanding Graph Convolutional Networks for Text Classification
The University of Sydney(悉尼大学)
图卷积网络(Graph Convolutional Network,GCN)在处理具有丰富关系结构的任务时非常有效,并且在图嵌入中能够保持数据集的全局结构信息。近年来,许多研究者都在研究GCN是否能够处理不同的自然语言处理任务,尤其是文本分类。虽然将GCN应用于文本分类已经得到了很好的研究,但其图的构造技术,如节点/边选择及其特征表示,以及文本分类中的最佳GCN学习机制却被忽视了。在本文中,我们进行了全面的分析,节点和边嵌入在一个图和GCN学习技术在文本分类中的作用。我们的分析是同类分析中的第一个,并提供了有用的见解,每个图节点/边构造机制的重要性时,在不同的文本分类基准的GCN训练/测试,以及在其半监督环境下应用。
2022-03-30 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Performance Analysis of Supervised Machine Learning Algorithms for Text Classification
该研究针对多领域文本分类需求增长的问题,采用多种监督机器学习算法在不同带标注数据集上开展文本分类实验,结合基于BPN的ANN模型搭建独立分类平台,通过基准方法测试得出不同模型的分类准确率表现。
2025-08-31 cs.CL
Abstractive Text Classification Using Sequence-to-convolution Neural Networks
Sogang University(西江大学)
我们提出了一种新的用于文本分类的深度神经网络模型及其训练方案。我们的模型序列到卷积神经网络(Seq 2CNN)由两个块组成:序列块,它总结输入文本;卷积块,它接收输入的摘要并将其分类为标签。Seq 2CNN是端到端训练的,可以对不同长度的文本进行分类,而无需将输入预处理为固定长度。我们还提出了稳定训练的渐进权重转移(GWS)方法。GWS应用于我们的模型的损失函数。我们将我们的模型与使用不同数据预处理方法训练的基于单词的TextCNN进行了比较。我们在没有任何集成或数据增强的情况下,在基于单词的TextCNN上获得了分类准确性的显著提高。
2020-06-02 cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术:(a)TFIDF与依赖语法,特征选择和加权;(b)类关联规则与支持向量机,分类。阿拉伯语文本有两种形式:词根化和词干浅化。我们得到的结果表明,轻干文本导致更好的性能比routifed文本,类关联规则更适合于小的依赖语法约束获得的特征集,最后,支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
Adaptive Region Embedding for Text Classification
Tsinghua University(清华大学);Cisco Systems(思科系统公司)
深度学习模型如卷积神经网络和递归网络广泛应用于文本分类。尽管取得了巨大的成功,但大多数深度学习模型都忽视了对上下文信息建模的重要性,而上下文信息对于理解文本至关重要。在这项工作中,我们提出了自适应区域嵌入来学习上下文表示,以提高文本分类。具体来说,元网络被学习为每个区域生成上下文矩阵,并且每个词与其对应的上下文矩阵交互以产生用于进一步分类的区域表示。与以前的模型,旨在捕捉上下文信息相比,我们的模型包含更少的参数,更灵活。我们在8个文本分类基准数据集上广泛评估了我们的方法。实验结果表明,该方法具有较好的性能,能有效地避免歧义。
2019-05-28 cs.CL
Privacy-Preserving Text Classification on BERT Embeddings with Homomorphic Encryption
CryptoLab;Seoul National University(首尔国立大学)
嵌入技术将原始文本中的信息压缩到保持语义的低维向量中,由于其有效性而被广泛采用。然而,最近的研究表明,嵌入可能会泄露有关文本敏感属性的私人信息,并且在某些情况下,可以反转以恢复原始输入文本。为了解决这些日益增长的隐私挑战,我们提出了一个私有化机制嵌入的基础上同态加密,以防止潜在的泄漏的任何一条信息的过程中的文本分类。特别是,我们的方法执行文本分类的加密嵌入从国家的最先进的模型,如BERT,支持一个高效的GPU实现CKKS加密方案。我们表明,我们的方法提供了加密保护的BERT嵌入,同时在很大程度上保留其实用程序的下游文本分类任务。
2022-10-05 cs.CL
Do Convolutional Networks need to be Deep for Text Classification ?
LORIA(洛林计算机科学及其应用实验室);SESAMm(SESAMm公司)
在这项工作中,我们研究了深度在文本分类卷积模型中的重要性,无论是考虑字符还是单词输入。我们在5个标准的文本分类和情感分析任务上表明,当文本输入表示为字符序列时,深度模型确实比浅层网络提供了更好的性能。然而,一个简单的浅而宽的网络比深度模型(如DenseNet)更好。我们的浅词模型进一步在两个数据集上建立了新的最先进的性能:Yelp Binary(95.9%)和Yelp Full(64.9%)。
2017-07-13 cs.CL
NatCat: Weakly Supervised Text Classification with Naturally Annotated Resources
University of Chicago(芝加哥大学);Rutgers University(罗格斯大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们描述NatCat,一个大规模的文本分类资源,由三个数据源构建:维基百科,Stack Exchange和Reddit。NatCat由在线社区中自然发生的手动策展衍生的文档类别对组成。为了证明它的有用性,我们通过在NatCat上训练来构建通用文本分类器,并在一套11个文本分类任务(CatEval)上对其进行评估,报告了与之前的工作相比的巨大改进。我们基准不同的建模选择和资源组合,并显示任务如何受益于特定的NatCat数据源。
2021-09-19 cs.CL
How to Fine-Tune BERT for Text Classification?
Fudan University(复旦大学)
语言模型预训练已被证明是有用的学习通用语言表示。BERT(Bidirectional Encoder Representations from Transformers)作为一种最先进的语言模型预训练模型,在许多语言理解任务中取得了令人惊叹的成绩。本文针对文本分类任务,对BERT的不同微调方法进行了详尽的实验研究,并给出了BERT微调的一般解决方案。最后,提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进的结果。
2020-02-05 cs.CL
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University(北京大学)
文本摘要和情感分类都旨在捕捉文本的主要思想,但在不同的层次上。文本摘要是在几个句子内描述文本,而情感分类可以被视为一种特殊类型的摘要,它将文本“概括”成更抽象的方式,即,情感课基于这一思想,我们提出了一个分层的端到端模型,用于文本摘要和情感分类的联合学习,其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此,情感分类层放在文本摘要层上,并导出层次结构。在Amazon在线评论数据集上的实验结果表明,该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.(AdresGezgini股份公司);Garanti BBVA Teknoloji(担保BBVA科技公司)
在这项研究中,提出了一种基于自然语言处理(NLP)的方法,用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21,000个标记广告文本组成。在这项研究中,双向编码器表示从Transformers(BERT)模型,这是一个基于transformer的语言模型,最近使用的领域,如文本分类在自然语言处理文献中,被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Neural Text Classification and Stacked Heterogeneous Embeddings for Named Entity Recognition in SMM4H 2021
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文介绍了我们参与SMM 4 H共享任务2021的发现。我们解决了命名实体识别(NER)和文本分类。为了解决NER问题,我们探索了具有堆叠异构嵌入和语言特征的BiLSTM-CRF。我们研究了各种机器学习算法(逻辑回归,支持向量机(SVM)和神经网络)来解决文本分类问题。我们提出的方法可以推广到不同的语言,我们已经证明了其有效性英语和西班牙语。我们的文本分类提交(团队:MIC-NLP)在ADE分类(任务1a)和职业分类(任务7a)上分别获得了$0.46$和$0.90$的F1分数。在NER的情况下,我们的提交物在ADE跨度检测(任务1b)和职业跨度检测(任务7 b)上分别获得了$0.50$和$0.82$的F1分数。
2021-06-11 cs.CL
A Curriculum Learning Approach for Multi-domain Text Classification Using Keyword weight Ranking
Tsinghua University(清华大学);Meituan(美团);Peng Cheng Laboratory(鹏城实验室)
文本分类是一个非常经典的NLP任务,但它有两个突出的缺点:一方面,文本分类是深度领域依赖的。也就是说,在一个领域的语料库上训练的分类器在另一个领域中可能表现不那么好。另一方面,文本分类模型需要大量带注释的数据进行训练。然而,对于某些领域,可能不存在足够的注释数据。因此,研究如何有效地利用不同领域的文本数据来提高模型在不同领域的性能是很有价值的。一些多领域文本分类模型通过对抗训练来提取所有领域之间的共享特征和每个领域的特定特征。我们注意到,不同领域的特征区分度不同,因此本文提出了一种基于关键词权重排序的课程学习策略来提高多领域文本分类模型的性能。在Amazon review和FDU-MTL数据集上的实验结果表明,该课程学习策略有效地提高了基于对抗学习的多领域文本分类模型的性能,优于现有的方法.
2022-10-27 cs.CL
Rank-Aware Negative Training for Semi-Supervised Text Classification
Zhuiyi AI Lab(追一人工智能实验室);Northwestern Polytechnical University(西北工业大学)
针对半监督文本分类中伪标签噪声影响性能的问题,提出排序感知负训练框架,结合不确定性排序与负训练策略,在多数基准数据集上超越现有最优方法。
2023-06-13 cs.CL
Improving End-to-End Text Image Translation From the Auxiliary Text Translation Task
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Samsung Research China - Beijing(三星电子中国研究院(北京));Zhongke Fanyu Technology Co., Ltd(中科凡语科技有限公司)
端到端文本图像翻译(TIT)是将图像中的源语言翻译成目标语言的一种翻译方法,近年来受到了广泛的关注。然而,数据稀疏性限制了端到端文本图像翻译的性能。多任务学习是通过从互补的相关任务中探索知识来缓解这个问题的一种重要方法。在本文中,我们提出了一种新的文本翻译增强文本图像翻译,它训练端到端模型与文本翻译作为辅助任务。通过共享模型参数和多任务训练,我们的模型能够充分利用容易获得的大规模文本平行语料库。大量的实验结果表明,我们提出的方法优于现有的端到端的方法,并与文本翻译和识别任务的联合多任务学习取得了更好的效果,证明翻译和识别辅助任务是互补的。
2022-10-08 cs.CL
Adaptable and Reliable Text Classification using Large Language Models
Florida Atlantic University(佛罗里达大西洋大学)
本研究提出以大语言模型为核心的自适应可靠文本分类范式,简化传统工作流,在4个数据集上验证其优于传统方法,且经少样本或微调后性能可达最优。
2024-12-07 cs.CL