TextCNN with Attention for Text Classification
绝大多数文本内容都是非结构化的,这使得自动分类成为许多应用程序的重要任务。文本分类的目标是将文本文档自动分类到一个或多个预定义的类别中。最近提出的文本分类的简单架构,如Kim,Yoon的用于句子分类的卷积神经网络,显示了有希望的结果。在本文中,我们提出了将注意力机制纳入网络,以提高其性能,我们还提出了WordRank的词汇选择,以减少网络嵌入参数和加快训练的准确性损失最小。通过采用所提出的想法,TextCNN在20News上的准确度从94.79提高到96.88,此外,通过使用WordRank,嵌入层的参数数量可以大大减少,而准确度损失很小。通过使用WordRank进行词汇选择,我们可以将参数的数量减少5倍以上,从7.9M减少到1.5M,准确率仅下降1.2%。
2021-08-04 cs.CL
Improve Text Classification Accuracy with Intent Information
School of Mathematics and Statistics(数学与统计学院);Guangdong University of Technology(广东工业大学)
文本分类作为面向任务的对话系统的核心组成部分,一直是研究和工业界的热点,并取得了巨大的进展。然而,现有的方法没有考虑标签信息的使用,这可能会削弱文本分类系统的性能在一些令牌感知的场景。为了解决这个问题,本文介绍了使用标签信息作为标签嵌入的文本分类任务,并取得了显着的性能在基准数据集。
2022-12-15 cs.CL
Research Experiment on Multi-Model Comparison for Chinese Text Classification Tasks
本文在THUCNews数据集上对比了TextCNN、TextRNN和FastText三种深度学习模型在中文文本分类任务中的性能,并分析了它们在不同场景下的适用性。
2024-12-25 cs.CL
Topic Memory Networks for Short Text Classification
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
由于数据稀疏性,许多分类模型在短文本上效果不佳。为了解决这个问题,我们提出了主题记忆网络的短文本分类与一种新的主题记忆机制编码潜在的主题表示类标签指示。与大多数专注于使用外部知识或预先训练的主题扩展特征的先前工作不同,我们的模型以端到端的方式与记忆网络共同探索主题推理和文本分类。在四个基准数据集上的实验结果表明,该模型在短文本分类方面优于现有模型,同时生成连贯的主题。
2018-09-11 cs.CL
Text Classification: A Perspective of Deep Learning Methods
University of Chinese Academic of Science(中国科学院大学)
本文综述基于深度学习的文本分类方法,梳理特征提取、降维、评估等关键流程,并比较总结不同深度学习分类算法。
2023-09-24 cs.CL
Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
University College London(伦敦大学学院)
本文对字符级卷积神经网络解决中文语料文本分类问题进行了有益的探索。我们构建了一个大规模的中文语料库,实验结果表明,字符级卷积神经网络在中文语料库上的性能优于其对应的中文格式数据集。这是首次将字符级卷积神经网络应用于文本分类问题。
2016-11-15 cs.CL
Description Based Text Classification with Reinforcement Learning
Zhejiang University(浙江大学)
文本分类的任务通常分为两个阶段:{ \it文本特征提取}和{ \it分类}。在这个标准的形式化中,类别仅仅被表示为标签词汇表中的索引,并且模型缺乏关于分类的明确指示。受当前将NLP问题形式化为问答任务的趋势的启发,我们提出了一个新的文本分类框架,其中每个类别标签与一个类别描述相关联。描述由手工制作的模板或使用来自强化学习的抽象/提取模型生成。描述和文本的连接被馈送到分类器,以决定是否应该将当前标签分配给文本。所提出的策略迫使该模型参加最显着的文本相对于标签,这可以被视为一个硬版本的注意力,从而导致更好的性能。我们观察到,在广泛的文本分类任务,包括单标签分类,多标签分类和多方面的情感分析的强基线显着的性能提升。
2020-06-04 cs.CL
A Comprehensive Survey of Text Classification Techniques and Their Research Applications: Observational and Experimental Insights
Khalifa University(哈利法大学);University of London, Birkbeck College(伦敦大学伯克贝克学院);Brighton College, Dubai(迪拜布莱顿学院)
本文提出一个基于研究领域的文本分类分层分类法,并通过经验与实验双重评估方法比较和排名各方法学子技术,为研究人员提供领域特定的决策依据。
2024-11-25 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法,发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中,其中一些新的/测试文档可能不属于任何训练类,在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
Text Classification using Capsules
Gachon University(嘉泉大学);NAVER
本文提出了一种使用胶囊网络进行文本分类的实证探索。虽然已经表明胶囊网络对于图像分类是有效的,但是它们在文本领域中的有效性还没有被探索。在本文中,我们证明了胶囊网络确实具有文本分类的潜力,并且它们比卷积神经网络具有几个优势。我们进一步提出了一个简单的路由方法,有效地降低了动态路由的计算复杂性。我们利用七个基准数据集来证明胶囊网络以及所提出的路由方法提供了可比的结果。
2018-08-14 cs.CL
Comparison Study Between Token Classification and Sequence Classification In Text Classification
无监督机器学习技术已被应用于自然语言处理任务,并取得了巨大的成功,超过了基准,如GLUE。建立语言模型的方法在一种语言中取得了很好的效果,它可以作为一个开箱即用的模型应用于多个自然语言处理任务,如分类,摘要,生成等。在自然语言处理的所有经典方法中,掩蔽语言建模是使用最多的。通常,构建语言模型的唯一要求是存在大量文本数据语料库。文本分类引擎使用各种模型,从经典的和最先进的Transformer模型来分类文本,以节省成本。序列分类器主要用于文本分类领域。然而,令牌分类器也是可行的候选模型。序列分类器和标记分类器都倾向于改善分类预测,因为它们捕获的上下文信息不同。这项工作旨在比较序列分类器和令牌分类器的性能,并在同一组数据上评估每个模型。在这项工作中,我们使用预训练模型作为基础模型,并将令牌分类器和序列分类器的结果与这两种评分模式进行比较。
2022-11-25 cs.CL
Understanding Graph Convolutional Networks for Text Classification
The University of Sydney(悉尼大学)
图卷积网络(Graph Convolutional Network,GCN)在处理具有丰富关系结构的任务时非常有效,并且在图嵌入中能够保持数据集的全局结构信息。近年来,许多研究者都在研究GCN是否能够处理不同的自然语言处理任务,尤其是文本分类。虽然将GCN应用于文本分类已经得到了很好的研究,但其图的构造技术,如节点/边选择及其特征表示,以及文本分类中的最佳GCN学习机制却被忽视了。在本文中,我们进行了全面的分析,节点和边嵌入在一个图和GCN学习技术在文本分类中的作用。我们的分析是同类分析中的第一个,并提供了有用的见解,每个图节点/边构造机制的重要性时,在不同的文本分类基准的GCN训练/测试,以及在其半监督环境下应用。
2022-03-30 cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Performance Analysis of Supervised Machine Learning Algorithms for Text Classification
该研究针对多领域文本分类需求增长的问题,采用多种监督机器学习算法在不同带标注数据集上开展文本分类实验,结合基于BPN的ANN模型搭建独立分类平台,通过基准方法测试得出不同模型的分类准确率表现。
2025-08-31 cs.CL
Recent Advances in Hierarchical Multi-label Text Classification: A Survey
Beijing University Of Posts and Telecommunications(北京邮电大学);Patent Examination Cooperation, CNIPA(国家知识产权局专利审查协作中心);Zhongtukexin Co. Ltd.(中图科信有限公司);Deakin University(迪肯大学)
本文综述了分层多标签文本分类的最新进展,涵盖开源数据集、主要方法、评估指标、学习策略及当前挑战,并提出了未来的研究方向。
2023-07-30 cs.AI cs.CL
Text Classification using Graph Convolutional Networks: A Comprehensive Survey
Information Technology University(信息技术大学)
本文综述了基于图卷积网络的文本分类方法,按架构和监督模式分类比较了各方法在基准数据集上的性能,并指出了其优势、局限及未来研究方向。
2024-10-12 cs.CL cs.LG
LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中,只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架,其中测试样本首先被分配伪标签,然后用于训练神经文本分类器。在大多数以前的工作中,伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME,弱监督文本分类的框架,完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现,将弱监督分类和文本蕴涵相结合可以减轻两者的缺点,从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型,LIME在弱监督文本分类中的表现优于最近的基线,并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Turkish Text Classification: From Lexicon Analysis to Bidirectional Transformer
The Koc School(科奇学校)
文本分类在学术和工业环境中的使用越来越多。虽然基于规则的方法已经相当成功,但监督机器学习已被证明对大多数语言最成功,其中大多数研究都是在英语上进行的。在这篇文章中,成功的词汇分析,支持向量机,和极端梯度提升的文本分类和情感分析的任务进行了评估,在土耳其和一个预训练的Transformer为基础的分类器,提出了优于以前的方法,土耳其文本分类。在文本分类的背景下,本文中提出的所有机器学习模型都是独立于领域的,不需要任何特定于任务的修改。
2020-08-21 cs.CL cs.LG
Deep Learning-based Sentiment Classification: A Comparative Survey
Beni-Suef University(贝尼苏韦夫大学);Universidade de Vigo(维戈大学)
本文综述了影响深度学习情绪分类性能的因素,将其分为数据准备、特征表示和分类技术三类,并基于21个数据集对100多种方法进行了比较分析。
2023-12-12 cs.AI cs.CL
A Survey on Data Augmentation for Text Classification
Technical University of Darmstadt(达姆施塔特工业大学)
数据增强,即通过变换人工创建用于机器学习的训练数据,是跨机器学习学科的广泛研究的研究领域。虽然它有助于提高模型的泛化能力,但它也可以解决许多其他挑战和问题,从克服有限的训练数据,到规范目标,再到限制用于保护隐私的数据量。基于对数据增强的目标和应用的精确描述以及对现有作品的分类,本调查关注文本分类的数据增强方法,旨在为研究者和从业者提供一个简明而全面的概述。从分类学中,我们将100多种方法分为12个不同的组,并给出了最先进的参考文献,通过将它们相互关联来阐述哪些方法是非常有前途的。最后,研究的角度,可能构成一个积木为今后的工作提供。
2022-09-08 cs.AI cs.CL
An Improved Text Sentiment Classification Model Using TF-IDF and Next Word Negation
随着文本情感分析的快速发展,对电子文档自动分类的需求也在飞速增长。文本分类或文本挖掘的范式是近年来许多研究工作的主题。在本文中,我们提出了一种文本情感分类技术,使用词频-逆文档频率(TF-IDF)以及下一个词否定(NWN)。我们还比较了二进制词袋模型,TF-IDF模型和TF-IDF与下一个词否定(TF-IDF-NWN)模型的文本分类性能。我们提出的模型,然后应用于三种不同的文本挖掘算法,我们发现线性支持向量机(LSVM)是最适合与我们提出的模型。所取得的结果表明,与早期的方法相比,准确性显着增加。
2018-06-17 cs.CL cs.IR
Explicit Interaction Model towards Text Classification
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Shandong Normal University(山东师范大学)
文本分类是自然语言处理的基本任务之一。最近,与浅层模型相比,深层神经网络在文本分类任务中取得了令人满意的性能。尽管深度模型的重要性,他们忽略了细粒度(词和类之间的匹配信号)的分类线索,因为他们的分类主要依赖于文本级表示。为了解决这个问题,我们引入了交互机制,将词级匹配信号的文本分类任务。特别是,我们设计了一个新的框架,显式交互模型(称为EXAM),配备了互动机制。我们在几个基准数据集上证明了所提出的方法,包括多标签和多类文本分类任务。大量的实验结果证明了该方法的优越性。作为一个副产品,我们已经发布了代码和参数设置,以方便其他研究。
2018-11-23 cs.CL cs.LG
Selective Text Augmentation with Word Roles for Low-Resource Text Classification
Shanghai University of Finance and Economics(上海财经大学)
数据增强技术被广泛应用于文本分类任务中,以提高分类器的性能,特别是在低资源的情况下。大多数以前的方法进行文本增强没有考虑文本中的单词的不同功能,这可能会产生不满意的样本。不同的词在文本分类中可能扮演不同的角色,这启发我们有策略地选择合适的角色进行文本增强。在这项工作中,我们首先确定文本中的词和文本类别之间的关系,从统计相关性和语义相似性的角度,然后利用它们划分为四个角色的话-黄金,风险,奖金,和琐碎的话,这对文本分类具有不同的功能。基于这些词的角色,我们提出了一种新的增强技术,称为STA(选择性文本增强),不同的文本编辑操作有选择地应用于特定的角色的话。STA可以生成多样且相对干净的样本,同时保留原始的核心语义,并且实现起来也相当简单。在5个基准低资源文本分类数据集上的大量实验表明,STA产生的增强样本成功地提高了分类模型的性能,其性能显著优于以前的非选择性方法,包括两种基于大语言模型的技术。跨数据集实验进一步表明,STA可以帮助分类器更好地推广到其他数据集比以前的方法。
2022-09-04 cs.AI cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
TextRGNN: Residual Graph Neural Networks for Text Classification
近年来,基于图神经网络(GNN)的文本分类模型受到越来越多的关注。这些模型大多采用类似的网络范式,即使用预训练节点嵌入初始化和两层图卷积。在这项工作中,我们提出了TextRGNN,这是一种改进的GNN结构,它引入了残差连接来加深卷积网络深度。我们的结构可以获得更宽的节点感受野,并有效地抑制节点特征的过度平滑。此外,我们将概率语言模型融入到图节点嵌入的初始化中,从而可以更好地提取图的非图语义信息。实验结果表明,该模型具有较好的通用性和有效性.无论是在语料库级别还是文本级别,它都能显著提高分类精度,并在广泛的文本分类数据集上实现SOTA性能。
2023-01-25 cs.AI cs.CL
Comparative Analysis of Text Classification Approaches in Electronic Health Records
King’s College London(伦敦国王学院)
文本分类任务旨在从电子健康记录中收集和/或组织信息,是支持临床和转化研究的关键。然而,与其他分类任务相比,这些任务提出了具体的挑战,特别是由于临床记录中使用的医学词汇和语言的特殊性质。嵌入方法的最新进展已经显示出对几个临床任务的有希望的结果,但是没有将这些方法与其他常用的词表示和分类模型进行详尽的比较。在这项工作中,我们分析了不同的词表示,文本预处理和分类算法对四个不同的文本分类任务的性能的影响。结果表明,传统的方法,当定制的特定语言和结构的文本固有的分类任务,可以达到或超过最近的基于上下文嵌入,如BERT的性能。
2020-05-08 cs.CL cs.LG
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University(克兰菲尔德大学);University of Liverpool(利物浦大学)
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法,包括无监督学习,半监督学习,自学习,文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题,提出了一种新的、简单的无监督文本分类模型,并利用国际贸易标准分类(SITC)代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词,并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型,我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据,采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明,即使在将训练数据集的大小增加30%之后,非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型(如Transformers)成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
A Chinese Text Classification Method With Low Hardware Requirement Based on Improved Model Concatenation
Zhiwei Research Institute(智微研究院);University of Melbourne(墨尔本大学)
为了提高中文文本分类模型在低硬件要求下的准确率,本文设计了一种改进的基于级联的模型,该模型由TextCNN、LSTM和Bi-LSTM等5个子模型级联而成。与现有的集成学习方法相比,对于一个文本分类任务,该模型的准确率提高了2%。同时,该模型对硬件的要求也远低于基于BERT的模型。
2021-11-12 cs.CL cs.LG
A Survey of Active Learning for Text Classification using Deep Neural Networks
University of Leipzig(莱比锡大学)
近年来,自然语言处理(NLP)和神经网络(NN)都发生了重大变化。然而,对于主动学习(AL)目的,NN不太常用-尽管它们目前很受欢迎。通过将NN的卓越文本分类性能用于AL,我们可以使用相同的数据量来提高模型的性能,或者减少数据,从而减少所需的注释工作,同时保持相同的性能。我们回顾了使用深度神经网络(DNN)进行文本分类的AL,并详细说明了过去阻碍采用的两个主要原因:(a)NN无法提供可靠的不确定性估计,最常用的查询策略依赖于此,以及(b)在小数据上训练DNN的挑战。为了调查前者,我们构建了一个分类的查询策略,区分基于数据的,基于模型的,基于预测的实例选择,并调查这些类在最近的研究中的流行程度。此外,我们回顾了(D)NN背景下基于NN的NLP最新进展,如词嵌入或语言模型,调查了AL,文本分类和DNN交叉点的当前最新技术水平,并将NLP的最新进展与AL联系起来。最后,我们分析了AL文本分类的最新工作,将各自的查询策略与分类法联系起来,并概述了共性和缺点。因此,我们强调了当前研究的差距,并提出了开放的研究问题。
2020-08-17 cs.CL cs.LG
Graph Convolutional Networks for Text Classification
Northwestern University(西北大学)
文本分类是自然语言处理中的一个重要而经典的问题。已经有许多应用卷积神经网络(规则网格上的卷积,例如,序列)进行分类。然而,只有有限数量的研究探索了更灵活的图卷积神经网络(非网格上的卷积,例如,任意图形)的任务。在这项工作中,我们建议使用图卷积网络的文本分类。我们基于词同现和文档词关系为语料库构建单个文本图,然后学习该语料库的文本图卷积网络(Text GCN)。我们的文本GCN初始化为单词和文档的one-hot表示,然后联合学习单词和文档的嵌入,由文档的已知类标签监督。我们在多个基准数据集上的实验结果表明,没有任何外部词嵌入或知识的普通文本GCN优于最先进的文本分类方法。另一方面,Text GCN还学习预测单词和文档嵌入。此外,实验结果表明,随着训练数据的减少,文本GCN相对于现有比较方法的改进更加显著,说明文本GCN在文本分类中对较少训练数据的鲁棒性。
2018-11-13 cs.AI cs.CL
Identifying Semantically Difficult Samples to Improve Text Classification
IBM Research(IBM研究院);DA-IICT(达达赛信息技术学院)
在本文中,我们研究了从给定的文本数据集中处理困难样本对下游文本分类任务的影响。我们通过在语义嵌入空间中分析困难样本,将其定义为文本分类的非明显情况;具体而言-(i)属于不同类别的语义相似样本和(ii)属于同一类别的语义不相似样本。我们提出了一个惩罚函数来衡量数据集中每个样本的整体难度得分。我们在13个标准数据集上进行了详尽的实验,以显示高达9%的一致改进,并讨论了定性结果,以显示我们的方法在识别文本分类模型的困难样本方面的有效性。
2023-02-13 cs.AI cs.CL
Text Classification Algorithms: A Survey
University of Virginia(弗吉尼亚大学)
近年来,复杂文档和文本的数量呈指数级增长,需要对机器学习方法有更深入的理解,才能在许多应用中准确地对文本进行分类。许多机器学习方法在自然语言处理中取得了令人瞩目的成绩。这些学习算法的成功依赖于它们理解复杂模型和数据中非线性关系的能力。然而,寻找合适的文本分类结构、体系结构和技术对于研究人员来说是一个挑战。本文对文本分类算法进行了简要的综述。本综述涵盖了不同的文本特征提取,降维方法,现有的算法和技术,以及评估方法。最后,讨论了每种技术的局限性及其在实际问题中的应用。
2020-05-20 cs.AI cs.CL cs.IR
The Text Classification Pipeline: Starting Shallow going Deeper
University of Catania(卡塔尼亚大学);University of Palermo(巴勒莫大学)
本文综述文本分类流水线,从浅层到深层,强调深度学习与大型语言模型的作用,并整合传统与当代方法以促进整体理解。
2025-03-20 cs.AI cs.CL cs.IR
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题,一些研究已经应用到策略,利用层次结构的问题,大量的类别。目前,层次文本分类(HTC)受到了广泛的关注,具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中,我们提出了一种基于分层微调有序神经元LSTM(HFT-ONLSTM)的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明,我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Text Classification Under Class Distribution Shift: A Survey
Department of Computer Science, University of Bucharest(计算机科学系,布加勒斯特大学)
本文综述了文本分类中类别分布偏移问题,探讨了开放集学习、零样本学习等方法,并提出了连续学习作为解决分布偏移的潜在方案。
2026-01-15 cs.AI cs.CL cs.LG
Text-based classification of interviews for mental health -- juxtaposing the state of the art
University of Amsterdam(阿姆斯特丹大学)
目前,精神疾病分类的最新技术是基于基于音频的分类。本文旨在设计和评估一个最先进的文本分类网络。假设是,一个精心设计的基于文本的方法构成了一个强大的竞争对国家的最先进的音频为基础的方法。荷兰语自然语言模型受到预训练单语NLP模型稀缺性的限制,因此荷兰语自然语言模型对句子的长范围语义依赖性的捕获率较低。针对这个问题,本文提出了belabBERT,一个新的荷兰语语言模型,扩展了RoBERTa[15]体系结构。belabBERT是在一个大型的荷兰语语料库(+32GB)上训练的。在评估了基于文本的分类的强度之后,本文做了一个简单的探索,将该框架扩展到基于文本和音频的混合分类。这个混合框架的目标是展示一个非常基本的音频分类网络的混合原理。总体目标是通过证明新的基于文本的分类已经是一个强大的独立解决方案,为混合精神疾病分类奠定基础。
2020-07-29 cs.CL cs.LG cs.SD
A Few-Shot Learning Focused Survey on Recent Named Entity Recognition and Relation Classification Methods
School of Computing, University of Georgia(佐治亚大学计算学院)
本文综述了近期解决命名实体识别与关系分类的深度学习模型,重点关注少样本学习性能,以帮助研究者了解文本挖掘及结构化信息提取的最新技术。
2024-03-26 cs.CL
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分,如主题识别,垃圾邮件过滤,电子邮件路由,语言识别,体裁分类,可读性评估等。当使用短语模式时,文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为,从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务,它使用语法检查,问答,信息抽取,机器翻译,文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
Recent Neural Methods on Slot Filling and Intent Classification for Task-Oriented Dialogue Systems: A Survey
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
近年来,在深度学习技术和对会话AI的高需求的推动下,已经提出了各种方法来解决在面向任务的对话系统中引出和理解用户需求的能力。我们专注于两个核心任务,插槽填充(SF)和意图分类(IC),并调查如何基于神经的模型已经迅速发展,以解决自然语言理解对话系统。我们介绍了三种神经体系结构:独立模型,分别对SF和IC进行建模,联合模型,同时利用两个任务的共同利益,以及迁移学习模型,将模型扩展到新的领域。我们讨论了SF和IC的研究现状,并强调了仍然需要注意的挑战。
2020-11-01 cs.CL
TASSY -- A Text Annotation Survey System
University of Konstanz(康斯坦茨大学);University of Passau(帕绍大学);University of Wuppertal(伍珀塔尔大学)
我们提出了一个免费和开源的工具,用于创建基于Web的调查,包括文本注释任务。现有工具提供文字注释或测量功能,但不能同时提供。结合这两种输入类型对于调查读者对文本的感知特别相关,这也取决于读者的背景,例如年龄,性别和教育。我们的工具主要满足图书馆和信息科学,社会科学和人文科学研究人员的需求,他们应用内容分析来调查,例如,媒体偏见、政治传播或假新闻。
2021-12-16 cs.CL
What do You Mean by Relation Extraction? A Survey on Datasets and Study on Scientific Relation Classification
IT University of Copenhagen(哥本哈根信息技术大学);Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS))
在过去的五年中,关系抽取(RE)的研究取得了广泛的进展,许多新的数据集发布。同时,设置清晰度降低,导致可靠的经验评估难度增加(Taillé等人,2020年)。在本文中,我们提供了一个全面的调查RE数据集,并重新审视任务的定义和社区采用。我们发现跨数据集和跨域设置特别缺乏。我们提出了一个实证研究的科学关系分类在两个数据集。尽管大量的数据重叠,我们的分析揭示了注释的实质性差异。注释差异强烈影响关系分类性能,解释了跨数据集评估的大幅下降。进一步子域内的变化存在,但影响关系分类只有有限的程度。总的来说,我们的研究要求更严格地报告RE设置和多个测试集的评估。
2022-04-28 cs.CL
Deep Learning-based Computational Job Market Analysis: A Survey on Skill Extraction and Classification from Job Postings
LMU Munich(慕尼黑大学);Fraunhofer Center for International Management and Knowledge Economy IMW(弗劳恩霍夫国际管理与知识经济中心IMW);IT University of Copenhagen(哥本哈根信息技术大学)
本综述系统梳理了基于深度学习的职位公告技能抽取与分类方法,汇总公开数据集并统一相关术语定义,填补了该跨学科领域的评估空白。
2024-02-08 cs.CL
Automated text summarisation and evidence-based medicine: A survey of two domains
Macquarie University(麦考瑞大学);CSIRO Australia(澳大利亚联邦科学与工业研究组织)
循证医学(EBM)的实践促使医生在做出临床决策时利用最新的研究证据。由于各种医学主题的大量和不断增长的出版研究,从业者经常发现自己的信息超载。因此,自然语言处理研究最近已经开始探索用于执行医学领域特定的自动文本摘要(ATS)技术的技术-针对压缩大型医学文本的任务。然而,为这项任务开发有效的摘要技术需要跨领域的知识。我们提出了一个调查的循证医学,特定领域的需求,循证医学,自动摘要技术,以及它们是如何被应用到迄今为止。我们设想,这项调查将作为第一资源,为循证医学的未来业务文本摘要技术的发展。
2017-06-25 cs.CL
Text Summarization Techniques: A Brief Survey
University of Georgia(佐治亚大学);Institute of Bioinformatics(生物信息学研究所)
近年来,来自各种来源的文本数据量呈爆炸式增长。这一卷文本是一个宝贵的信息和知识来源,需要有效地总结才能有用。本文综述了文本自动摘要的主要方法。我们回顾了不同的总结过程,并描述了不同方法的有效性和缺点。
2017-07-28 cs.CL
BERTifying Sinhala -- A Comprehensive Analysis of Pre-trained Language Models for Sinhala Text Classification
University of Moratuwa(莫拉图瓦大学)
这项研究提供了第一个全面的分析性能的预先训练的语言模型僧伽罗语文本分类。我们对一组不同的僧伽罗语文本分类任务进行了测试,我们的分析表明,在包括僧伽罗语的预训练多语言模型(XLM-R,LaBSE和LASER)中,XLM-R是迄今为止僧伽罗语文本分类的最佳模型。我们还预训练了两个基于RoberTa的单语僧伽罗语模型,它们远远优于现有的僧伽罗语预训练语言模型。我们表明,当微调时,这些预先训练的语言模型为僧伽罗语文本分类设置了一个非常强大的基线,并且在标记数据不足以进行微调的情况下具有鲁棒性。我们还提供了一组使用预训练模型进行僧伽罗语文本分类的建议。我们还介绍了新的注释数据集,这些数据集对僧伽罗语文本分类的未来研究非常有用,并公开发布了我们的预训练模型。
2022-08-17 cs.CL
Content Selection in Data-to-Text Systems: A Survey
Edinburgh Napier University(爱丁堡纳皮尔大学)
数据到文本系统在从数据自动生成报告方面非常强大,因此它们简化了复杂数据的表示。数据到文本系统不是使用可视化技术来呈现数据,而是使用自然(人类)语言,这是人与人之间交流的最常见方式。此外,数据到文本系统可以使其输出内容适应用户的偏好、背景或兴趣,因此用户可以愉快地与之交互。内容选择是每个数据到文本系统的重要组成部分,因为它是确定哪些可用信息应该传达给用户的模块。本文首先介绍了数据到文本生成领域,描述了一般的数据到文本系统的体系结构,然后回顾了最先进的内容选择方法。最后,它提供了选择方法的建议,并讨论了未来研究的机会。
2016-10-26 cs.CL
A Survey and Classification of Controlled Natural Languages
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
这里所说的受控自然语言(CNL)传统上有许多不同的名称。特别是在过去的四十年里,设计了各种各样的语言。它们被应用于改善人类之间的交流,改善翻译,或为正式符号提供自然和直观的表示。尽管存在明显的差异,但将所有这些语言放在同一个保护伞下似乎是明智的。为了使各种语言的秩序,这里提出了一个通用的分类方案。对现有的以英语为基础的CNLs进行了全面的调查,列出并描述了从1930年到今天的100种语言。对这些语言的分类表明,它们形成了一个单一的分散的云,填充了自然语言(如英语)和形式语言(如命题逻辑)之间的概念空间。本文的目标是为CNL提供一个通用的术语和通用的模型,有助于理解它们的一般性质,为对该领域感兴趣的研究人员提供一个起点,并帮助开发人员做出设计决策。
2015-07-07 cs.CL
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
近年来,检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比,检索增强文本生成模型具有显著的优势,特别是在许多自然语言处理任务中,检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式,然后根据对话响应生成、机器翻译和其他生成任务的不同,回顾了值得注意的方法。最后,它指出了一些重要的方向,最近的方法,以促进未来的研究。
2022-02-13 cs.CL
Unifying Question Answering, Text Classification, and Regression via Span Extraction
Salesforce Research(赛富时研究院)
即使像BERT这样的预先训练的语言编码器在许多任务中共享,问答、文本分类和回归模型的输出层也有很大的不同。跨度解码器经常用于问答,固定类,分类层的文本分类,和相似性评分层的回归任务,我们表明,这种区别是没有必要的,所有三个可以统一为跨度提取。统一的跨度提取方法在几个问答、文本分类和回归基准的辅助监督预训练、低数据和多任务学习实验中具有优异或相当的性能。
2019-09-20 cs.CL
Recent Advances in Text-to-SQL: A Survey of What We Have and What We Expect
University of Michigan(密歇根大学);Westlake University(西湖大学)
Text-to-SQL由于能够将自然语言中的语义转换为SQL查询,并在构建与数据库系统的自然语言接口中得到了实际应用,因此受到了自然语言处理和数据库社区的关注。文本到SQL的主要挑战在于对自然语句的含义进行编码,解码为SQL查询,以及在这两种形式之间转换语义。最近的进展在不同程度上解决了这些挑战。然而,仍然缺乏对这项任务的全面调查。为此,我们回顾了文本到SQL的数据集,方法和评估的最新进展,并提供了这个系统的调查,解决了上述挑战,并讨论了潜在的未来方向。我们希望这项调查可以作为快速访问现有的工作,并激励未来的研究。
2022-08-22 cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc(PeopleTec公司);Auburn University(奥本大学)
自然语言处理(NLP)在很大程度上依赖于训练数据。随着Transformers变得越来越大,它们需要大量的训练数据。为了满足这个要求,文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言,然后再翻译回英语。在本文中,我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
A Survey of Cognitive Distortion Detection and Classification in NLP
Department of Informatics, King’s College London(信息学院,伦敦国王学院)
本文首次系统综述了NLP领域二十年来的38项认知扭曲检测与分类研究,统一了分类体系与任务设置,并提供评估指标、数据表模板和伦理流程图等实用资源,以提升研究的可比性与可复现性。
2025-09-22 cs.CL
Survey of Query-based Text Summarization
针对基于查询的文本摘要领域现有研究缺乏系统梳理的问题,本综述总结了该领域及相关通用文本摘要的代表性研究,并提出分类体系与相关分析。
2024-10-06 cs.CL cs.IR