Theoretical Foundations of Forward Feature Selection Methods based on Mutual Information
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);EPF Lausanne(洛桑联邦理工学院)
特征选择问题出现在各种应用中,例如微阵列分析、临床预测、文本分类、图像分类和人脸识别、多标签学习和互联网流量分类。在各种方法中,基于互信息的前向特征选择方法已经变得非常流行,并且在实际中被广泛使用。然而,这些方法的比较评价受到限制,是基于特定的数据集和分类。在本文中,我们开发了一个理论框架,允许评估的方法的基础上,他们的理论属性。我们的框架是基于目标目标函数的方法试图近似的属性,并在一个新的分类功能,根据他们的贡献的类的解释,我们推导出的目标目标函数的上限和下限,并将这些界限与功能类型。然后,我们描述了所采取的方法的近似类型,并分析了这些近似如何处理目标函数的良好性质。此外,我们开发了一个分布式设置,旨在说明的方法的各种缺陷,并提供了几个错误的功能选择的例子。根据我们的工作,我们清楚地确定了应该避免的方法,以及目前具有最佳性能的方法。
2018-02-14 cs.LG stat.ML
A Novel Feature Selection and Extraction Technique for Classification
BITS Pilani KK Birla Goa Campus(贝拉理工学院皮拉尼KK比拉果阿校区);Rutgers University(罗格斯大学)
本文提出了一种通用的特征选择和提取技术-类相关特征(CDF).我们使用CDF来提高分类的准确性,同时通过解决维数灾难来控制计算开销。为了证明该技术的通用性,将其应用于手写数字识别和文本分类。
2014-12-26 cs.CV cs.LG
A Text Classification Application: Poet Detection from Poetry
随着互联网的广泛使用,文本数据的规模日益增大。诗歌可以作为文本增长的一个例子。本研究的目的是根据诗人的不同对诗歌进行分类。首先,我们构建了由三个不同的诗人用英语写的诗歌组成的数据集。在此基础上实现了文本分类技术,采用卡方检验进行特征选择。此外,尝试了五种不同的分类算法。这些算法是序列最小优化、朴素贝叶斯、C4.5决策树、随机森林和k-近邻。虽然每个分类器表现出很大的不同的结果,超过70%的分类成功率采取的顺序最小优化技术。
2018-10-24 cs.CL cs.IR cs.LG
Review of Swarm Intelligence-based Feature Selection Methods
University of Kurdistan(库尔德斯坦大学);Queensland University of Technology(昆士兰科技大学);University of Applied Science and Technology(应用科学与技术大学)
在过去的几十年中,计算机和数据库技术的快速发展导致了大规模数据集的快速增长。另一方面,具有需要高速度和高精度的高维数据集的数据采掘应用正在迅速增加。这些应用程序的一个重要问题是维数灾难,其中特征的数量远远高于模式的数量。降维方法之一是特征选择,它可以提高数据采掘任务的准确性,降低其计算复杂性。特征选择方法旨在选择具有最低内部相似性和与目标类的最高相关性的特征子集。它通过消除不相关、冗余或噪声数据来降低数据的维度。本文对不同的特征选择方法进行了比较分析,并对这些方法进行了一般性的分类。此外,本文研究了最新的群体智能算法,并对基于这些算法的特征选择方法进行了综述。此外,对不同的基于群体智能的特征选择方法的优缺点进行了评价.
2020-08-07 cs.LG cs.NE stat.ML
Multi-Objective Evolutionary approach for the Performance Improvement of Learners using Ensembling Feature selection and Discretization Technique on Medical data
National Institute of Technology(印度国家理工学院)
生物医学数据充满了连续的实值;特征集中的这些值往往会产生问题,如欠拟合,维数灾难和由于更高的方差而增加的错误分类率。作为回应,数据集的预处理技术最大限度地减少了副作用,并在保持足够的准确性方面取得了成功。特征选择和离散化是处理生物医学数据中数据冗余的两个必要的预处理步骤。然而,在以往的工作中,缺乏统一的努力,通过集成特征选择和离散化一起解决数据冗余问题,导致不相交和碎片化的领域。本文提出了一种新的基于多目标的降维框架,它结合了离散化和特征约简作为一个集成模型执行特征选择和离散化。选择最佳的功能和分类的离散化和非离散化功能的特征子集是由多目标遗传算法(NSGA-II)。这两个目标是最小化特征选择过程中的出错率和最大化信息增益,同时将离散化视为适应度标准。
2020-04-16 cs.AI cs.LG
Machine Learning in Automated Text Categorization
在过去的十年里,由于数字形式的文件越来越多,以及随之而来的组织文件的需要,将文本自动分类(或分类)到预定义的类别中的兴趣蓬勃发展。在研究界,解决这个问题的主要方法是基于机器学习技术:一般的归纳过程通过从一组预分类文档中学习类别的特征来自动构建分类器。这种方法的优点是知识工程的方法(包括在手动定义的分类领域的专家)是一个非常好的效果,相当大的节省专家人力,并直接移植到不同的领域。本综述讨论了属于机器学习范式的文本分类的主要方法。我们将详细讨论与三个不同问题有关的问题,即文档表示,分类器构建和分类器评估。
2001-10-26 cs.IR cs.LG
High-performance automatic categorization and attribution of inventory catalogs
Webstructor project(Webstructor项目)
自动文本分类的机器学习技术的应用和适应的库存目录数据属性的问题,探索不同的方法和最佳的解决方案,解决准确性和性能之间的权衡选择。
2022-02-09 cs.IR cs.LG
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting(RJ研究咨询公司);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
本文提出了一种新的半监督框架与卷积神经网络(CNN)的文本分类。与以前依赖于单词嵌入的方法不同,我们的方法从未标记的数据中学习小文本区域的嵌入,以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想,即使训练是在未标记的数据上完成的,也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
Neural Discourse Structure for Text Categorization
University of Washington(华盛顿大学)
我们表明,话语结构,所定义的修辞结构理论和现有的话语分析器,提供的好处,文本分类。我们的方法使用递归神经网络和新提出的注意力机制来计算文本的表示,重点是突出的内容,从任务和任务的角度来看。实验考虑的方法的变体,并说明其优点和缺点。
2017-05-06 cs.CL cs.LG
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks
RJ Research Consulting(RJ研究咨询公司);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
卷积神经网络(CNN)是一种能够利用图像数据的二维结构等数据的内部结构的神经网络。本文研究CNN在文本分类中的应用,利用文本数据的一维结构(即词序)进行准确的预测。我们不像通常那样使用低维词向量作为输入,而是直接将CNN应用于高维文本数据,这导致直接学习嵌入小文本区域以用于分类。除了CNN从图像到文本的直接适应之外,还提出了一种简单但新的变体,该变体在卷积层中采用词袋转换。还探索了组合多个卷积层的扩展以获得更高的准确性。实验结果表明,我们的方法相比,国家的最先进的方法的有效性。
2015-03-26 cs.CL cs.LG stat.ML
A Route Confidence Evaluation Method for Reliable Hierarchical Text Categorization
BioCircuits Institute(生物电路研究所);University of California San Diego(加州大学圣地亚哥分校);Babes-Bolyai University(巴比什-波雅依大学);University of Cagliari(卡利亚里大学)
随着万维网上文本数据量的快速增长,层次文本分类(HTC)变得越来越重要。在提出的不同的策略,以应付HTC,本地分类器每节点(LCN)的方法达到了良好的性能,通过镜像底层类层次结构,同时在测试步骤中执行自顶向下的策略。然而,嵌入层次信息(父子关系),以提高HTC系统的性能的问题仍然是开放的。提出了一种用于评价HTC系统中最终候选标签可靠性的路径置信度评价方法。为了考虑层次结构中嵌入的信息,使用权重因子来考虑每个级别的重要性。提出了一种自顶向下决策过程中的接受/拒绝策略,该策略通过拒绝少数百分比的样本,即,可靠性得分低的人。在路透社基准数据集(RCV 1- v2)上的实验结果证实了所提出的方法的有效性,与其他最先进的HTC方法相比。
2012-06-02 cs.IR cs.LG
Improve Document Embedding for Text Categorization Through Deep Siamese Neural Network
Data Science Institute, University of Virginia(弗吉尼亚大学数据科学研究所)
由于互联网上的数据量不断增加,找到一个高信息量,低维的文本表示是有效的自然语言处理任务,包括文本分类的主要挑战之一。这种表示应该捕获文本的语义信息,同时保留它们的相关性级别用于文档分类。该方法将具有相似主题的文档映射到向量空间表示中的相似空间。为了获得大文本的表示,我们提出了利用深连体神经网络。为了在分布式表示中嵌入主题中的文档相关性,我们使用连体神经网络来共同学习文档表示。我们的连体网络由两个多层感知器的子网络组成。我们检查我们的表示为文本分类任务的BBC新闻数据集。结果表明,所提出的表示优于传统的和国家的最先进的表示在文本分类任务在这个数据集上。
2020-05-31 cs.CL cs.IR cs.LG
Using the Tsetlin Machine to Learn Human-Interpretable Rules for High-Accuracy Text Categorization with Medical Applications
University of Agder(阿格德尔大学);Sørlandet Hospital Trust(南挪威医院信托)
该研究提出将Tsetlin机用于文本分类,其在20个新闻组、IMDb及临床数据集上的精度优于多数对比方法,且GPU实现速度更快,兼顾精度与可解释性,适用于医疗等领域。
2026-11-17 cs.CL cs.LG stat.ML
Non-Standard Words as Features for Text Categorization
University of Rijeka(里耶卡大学)
本文提出了克罗地亚语文本分类使用非标准词(NSW)的功能。非标准词有:数字、日期、首字母缩略词、缩写、货币等。克罗地亚语的新南威尔士州根据克罗地亚新南威尔士州分类法确定。本研究共收集了390篇文本文献,并将其分为官方文献、文学文献、信息文献、大众文献、教育文献和科学文献六类。在SKIPEZ文本集的三种不同表示形式上进行了文本分类实验:第一种表示形式以非结构特征的出现频率为特征,第二种表示形式以非结构特征的统计量(方差、变异系数、标准差等)为特征,第三种表示形式以非结构特征的出现频率为特征,第四种表示形式以非结构特征的出现频率为特征,第五种表示形式以非结构特征的统计量为特征。被用作特征;而第三表示组合了前两个特征集。实验中使用了朴素贝叶斯、CN 2、C4. 5、kNN、分类树和随机森林算法进行文本分类。使用第一个特征集(NSW频率)取得了最好的分类结果,分类准确率为87%。这表明,NSW应被视为高度屈折语言(如克罗地亚语)的特征。新南威尔士州为基础的功能降低了特征空间的维数,没有标准的词形还原程序,因此袋的新南威尔士州应考虑进一步的克罗地亚文本分类实验。
2014-11-16 cs.CL cs.LG
Consistent Text Categorization using Data Augmentation in e-Commerce
Technion – Israel Institute of Technology(以色列理工学院);Yahoo Research(雅虎研究院)
本文针对电商产品分类中相似商品标注不一致的问题,提出一种基于半监督数据增强的一致性文本分类框架,在保持生产级性能的同时提升模型一致性。
2023-05-30 cs.CL cs.IR cs.LG
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
RJ Research Consulting(RJ研究咨询公司);Baidu Inc(百度公司)
One-hot CNN(卷积神经网络)已被证明对文本分类有效(Johnson & Zhang,2015)。我们将其视为一般框架的一个特例,该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下,我们探索了一种使用长短期记忆(LSTM)的更复杂的区域嵌入方法。LSTM可以嵌入可变(可能很大)大小的文本区域,而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层,获得了最佳结果。结果表明,在这个任务中,嵌入的文本区域,可以传达复杂的概念,是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。
2016-05-26 cs.CL cs.LG stat.ML
Large Scale Product Categorization using Structured and Unstructured Attributes
WalmartLabs(沃尔玛实验室)
电子商务中使用文本数据进行产品分类是一个非常具有挑战性的极端分类问题,需要对数千个类别和数百万个产品进行分类。尽管多类文本分类在学术界和工业界都是一个研究得很好的问题,但大多数方法要么将产品内容视为一堆文本,要么只考虑一些产品属性用于建模目的。考虑到在流行的电子商务平台上销售的产品种类繁多,考虑到产品拥有自己独特的基于类别的属性集,很难将所有可用的产品属性作为建模练习的一部分。在本文中,我们比较层次模型,平面模型,并表明在特定情况下,平面模型表现更好。我们探索了两个基于深度学习的模型,这些模型从每个产品的非结构化数据中提取特征,然后将它们组合起来创建产品签名。我们还提出了一个新的想法,即以非结构化的方式将结构化属性及其值与卷积过滤器一起使用,这样,按产品类别对属性和不同属性进行排序不再成为建模挑战。这种方法对于错误的产品属性名称和值的存在也更健壮,并且可以优雅地概括为使用封闭列表和开放列表属性。
2019-03-01 cs.IR cs.LG stat.ML
A Comparative Study of Pretrained Language Models on Thai Social Text Categorization
Chulalongkorn University(朱拉隆功大学)
社交媒体上用户生成内容的数据量不断增长,即使在资源稀缺的语言中,也提供了几乎无限的未标记数据语料库。在本文中,我们证明了两个泰国社会文本分类任务的最先进的结果,可以实现预训练语言模型上的一个大的嘈杂的泰国社会媒体语料库超过12.6亿令牌,后来微调的下游分类任务。由于内容的语言噪音和特定领域的性质,我们为泰国社交媒体设计的独特数据预处理步骤被用来简化模型的训练理解。我们比较了四种现代语言模型:ULMFiT、ELMo与biLSTM、OpenAI GPT和BERT。我们系统地比较了不同维度的模型,包括预训练和微调的速度,困惑,下游分类基准以及有限预训练数据的性能。
2019-12-17 cs.CL cs.LG stat.ML
Minimally Supervised Categorization of Text with Metadata
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
针对文档分类中元数据未被利用和标签稀缺的问题,提出最小监督框架MetaCat,通过生成模型将文本与元数据嵌入同一语义空间并合成训练样本,有效提升了分类性能。
2021-11-13 cs.CL cs.IR cs.LG
Text Categorization Can Enhance Domain-Agnostic Stopword Extraction
Masakhane Research Community(Masakhane研究社区)
本文结合 MasakhaNEWS 等数据集验证文本分类可有效提取九种非洲语言及法语的领域无关停用词,并提出统计与语言学结合的混合方法。
2024-01-24 cs.CL cs.LG
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore(迈索尔大学)
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法,直到实现期望的级别分区,使得每个分区包含单个类的标记文档。一旦获得所需的聚类,各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验,以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level
RJ Research Consulting(RJ研究咨询公司);Rutgers University(罗格斯大学)
本文报告了我们早期的工作(2015年),浅字级卷积神经网络(CNN)在Conneau等人(2016年)中用于测试非常深的字符级CNN的具有相对较大训练数据的八个数据集上的性能。我们的调查结果如下。浅字级CNN实现了比Conneau等人报道的出错率更好的出错率,尽管由于Conneau等人的独特预处理,结果应该在某种程度上进行解释。浅单词级CNN使用更多的参数,因此比深字符级CNN需要更多的存储;然而,浅单词级CNN计算得快得多。
2016-08-31 cs.CL cs.LG stat.ML
Inverse-Category-Frequency based supervised term weighting scheme for text categorization
Beihang University(北京航空航天大学)
在kNN、基于质心的分类器和支持向量机等分类器中,项加权策略往往决定着分类器的性能。文本分类中广泛使用的术语加权方案,即,idf,起源于信息检索领域。在文本分类中,idf的直观性似乎不如IR。本文将逆类别频率(icf)引入到术语加权方案中,提出了两种新的方法,即,tf.ICF和基于ICF的监督术语加权方案。icf采用icf来代替idf因子,并且倾向于出现在较少类别中的术语,而不是较少文档。基于icf的方法结合icf和相关频率(rf)以监督的方式对术语进行加权。我们的跨分类器和跨语料库的实验表明,我们提出的方法是优于或相当于六个监督术语加权方案和三个传统的计划,在宏观F1和微观F1。
2012-06-06 cs.AI cs.LG
Handling Imbalanced Dataset in Multi-label Text Categorization using Bagging and Adaptive Boosting
Institut Teknologi Bandung(万隆理工学院)
不平衡的数据集是由于现实世界中可用的数据分布不均匀而发生的,例如对万隆政府办公室投诉的处理。因此,多标签文本分类算法可能不会产生最好的性能,因为分类器往往会被大多数数据所拖累,而忽略少数数据。本文采用Bagging和Adaptive Boosting算法来解决这个问题,提高文本分类的性能。采用汉明损失、子集准确度、基于实例的准确度和微平均f-测度等四个评价指标对结果进行评价。采用SMO弱分类器的Bagging ML-LP在子集准确率和基于示例的准确率方面表现最好。采用SMO弱分类器对ML-BR进行Bagging具有最好的微平均f-测度。另一方面,AdaBoost MH与J 48弱分类器具有最低的汉明损失值。因此,这两种算法在提高文本分类性能方面都有很大的潜力,但仅适用于某些弱分类器。然而,在提高少数标签的准确性方面,bagging比adaptive boosting更具潜力。
2019-06-11 cs.CL cs.LG
Multi-Granular Text Encoding for Self-Explaining Categorization
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心);Westlake University(西湖大学);Tencent AI Lab(腾讯人工智能实验室)
自解释文本分类需要一个分类器进行预测,并提供支持证据。一种流行的证据类型是从输入文本中提取的子序列,这些子序列足以让分类器进行预测。在这项工作中,我们定义了多粒度的ngrams作为解释的基本单元,并将所有的ngrams组织成一个层次结构,以便在计算较长的ngrams时可以重用较短的ngrams。我们利用树结构的LSTM通过参数共享来学习每个单元的上下文无关表示。医学疾病分类实验表明,我们的模型比BiLSTM和CNN基线更准确,更高效,更紧凑。更重要的是,我们的模型可以提取直观的多粒度证据来支持其预测。
2019-07-19 cs.CL cs.LG
Automating Violence Detection and Categorization from Ancient Texts
Universität Hamburg(汉堡大学)
本文首次利用大型语言模型自动检测古代文本中的暴力并跨维度分类,通过微调和数据增强在检测与细粒度分类上分别达到0.93和0.86的F1分数。
2025-03-11 cs.CL cs.DL cs.LG
Variational Learning for the Inverted Beta-Liouville Mixture Model and Its Application to Text Categorization
Hezhou University(贺州学院);North China University of Technology(北方工业大学);DigApis Information Security Technology Co., Ltd.(江苏迪格艾普斯信息安全技术有限公司);Jiangsu University(江苏大学);Beijing University of Posts and Telecommunications(北京邮电大学)
有限逆Beta-Liouville混合模型(IBLMM)最近由于其正数据建模能力而获得了一些关注。在传统的变分推理(VI)框架下,分析上容易处理的解决方案的变分后验分布的优化不能得到,因为变分目标函数涉及评价的难处理的时刻。在最近提出的扩展变分推理框架下,提出了一种新的变分目标函数来代替原变分目标函数,以避免难以处理的矩计算,从而使IBLMM的解析解能够以一种优雅的方式导出.实验表明,所提出的方法具有良好的性能与合成数据和现实世界的应用程序,即文本分类。
2021-12-29 cs.CL cs.LG
Improving Large-Scale k-Nearest Neighbor Text Categorization with Label Autoencoders
University of Vigo(维戈大学)
本文提出一种基于标签自编码器的多标签懒惰学习方法,改进传统k近邻算法,在MEDLINE数据集上评估多种文档表示和自编码器配置,实现大规模文本自动语义索引。
2024-02-03 cs.CL cs.IR cs.LG
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat,通过联合表示学习模块与层次化数据增强模块,有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
A Comparative Study on using Principle Component Analysis with Different Text Classifiers
Assiut University(艾斯尤特大学)
文本分类(TC)是将一组文档自动组织成一组预定义类别的任务。在过去的几年里,越来越多的注意力已经支付给数字形式的文件的使用,这使得文本分类成为一个具有挑战性的问题。文本分类的最大问题是其大量的特征。这些特征中的大多数是冗余的、噪声的和不相关的,导致与大多数分类器的过度拟合。因此,特征提取是提高文本分类器整体精度和性能的重要步骤。在本文中,我们将提供一个概述使用主成分分析(PCA)作为特征提取与各种分类器。实验结果表明,采用PCA降维后,分类器的性能得到了提高。实验在Classic 03、CNAE-9和DBWorld三个UCI数据集上进行。我们比较了使用PCA与流行和知名的文本分类器的分类性能结果。结果表明,使用PCA大大提高了大多数分类器的分类性能。
2018-07-04 cs.IR cs.LG
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization
École Centrale de Nantes(南特中央理工学院)
卷积神经网络(CNN)是一类代表性的深度学习算法,包括基于其分层架构对输入数据执行卷积不变分类的卷积计算。然而,经典的卷积神经网络学习方法使用最速下降算法进行训练,学习性能受卷积层和全连接层初始权重设置的影响很大,需要重新调整以在不同的模型结构和数据下获得更好的性能。结合模拟退火算法在全局搜索方面的优势,提出将其应用于超参数搜索过程,以提高卷积神经网络(CNN)的有效性。本文在Text-CNN神经网络的基础上引入SA-CNN神经网络用于文本分类任务,并实现了用于超参数搜索的模拟退火算法。实验表明,我们可以实现更高的分类精度比早期的模型与手动调整,并在时间和空间上的改进,探索相对于人类调整是实质性的。
2023-03-13 cs.LG
Supervised learning Methods for Bangla Web Document Categorization
University Malaysia Pahang(马来西亚彭亨大学);Hajee Mohammad Danesh Science and Technology University(哈吉·穆罕默德·达内什科学技术大学);Rajshai University of Engineering and Technology(拉杰沙希工程技术大学)
本文探讨了机器学习方法的使用,或者更具体地说,四种监督学习方法,即决策树(C 4.5),K-最近邻(KNN),朴素贝叶斯(NB),和支持向量机(SVM)的孟加拉语Web文档的分类。这是一个自动将一组文档从预定义的集合中分类的任务。虽然广泛的方法已被应用于英语文本分类,孟加拉语文本分类的研究相对较少。因此,我们试图分析的效率,这四种方法分类孟加拉文文件。为了验证,孟加拉语语料库从各种网站已经开发并作为实验的例子。对于孟加拉语,实证结果支持,所有四种方法都产生了令人满意的性能与SVM达到良好的效果,在高维和相对嘈杂的文档特征向量。
2014-10-08 cs.CL cs.LG
Sequence-to-Set Semantic Tagging: End-to-End Multi-label Prediction using Neural Attention for Complex Query Reformulation and Automated Text Categorization
The Ohio State University(俄亥俄州立大学);Nationwide Children’s Hospital(全国儿童医院)
新颖的上下文可能经常出现在复杂的查询场景中,例如在涉及生物医学文献的循证医学(EBM)中,其可能不明确地指出现在任何基于事实或规则的知识源(例如,像UMLS的本体)中的实体或规范概念形式。此外,在当前上下文中有意义的候选概念之间的隐藏关联可能不存在于单个文档中,而是通过替代词汇形式存在于集合中。因此,受到最近序列到序列神经模型在广泛的NLP任务中提供最先进技术的成功的启发,我们开发了一种新的序列到集合框架,用于学习可以影响语料库内术语转移的文档表示,用于语义标记大量文档。我们证明了我们提出的方法在用于文本分类的监督多标签分类设置中以及在没有人类注释的文档标签的独特无监督设置中都是有效的,该设置不使用外部知识资源,只使用语料库派生的术语统计来驱动训练。此外,我们表明,使用我们的架构对大量未标记数据进行半监督训练,可以在有限的标记数据可用时提高文本分类任务的性能。我们的方法来生成文档编码,采用我们的序列到集合模型来推断语义标签,根据我们所知,在基于Okapi BM 25的文档检索系统上评估时,为TREC CDS 2016挑战数据集提供了最先进的无监督查询扩展任务;以及MLTM基线(Soleimani et al,2016),用于www.example.com和Ohsumed数据集上的监督和半监督多标签预测任务del.icio.us。我们将公开我们的代码和数据。
2019-11-11 cs.CL cs.IR cs.LG
Automatic Pharma News Categorization
Pharma Research and Early Development Operations(制药研究与早期开发运营部);Roche Innovation Center Basel(罗氏巴塞尔创新中心);F. Hoffmann - La Roche AG(罗氏公司)
我们使用的文本数据集包括23个新闻类别相关的医药信息科学,为了比较多个Transformer模型在分类任务中的微调性能。使用具有多个自回归和自编码转换模型的平衡数据集,我们比较了它们的微调性能。为了验证获胜的方法,我们对错误预测的实例进行模型行为诊断,包括检查类别度量,评估预测确定性和评估潜在空间表示。最后,我们提出了一个集成模型,由表现最好的个人预测,并证明这种方法提供了一个适度的改进F1度量。
2021-12-28 cs.IR cs.LG
MOSLD-Bench: Multilingual Open-Set Learning and Discovery Benchmark for Text Categorization
Department of Computer Science, University of Bucharest(计算机科学系,布加勒斯特大学)
MOSLD-Bench是一个多语言开放集学习与发现基准,用于文本分类,包含960,000个数据样本,覆盖12种语言,提出新框架以连续发现和学习新类别。
2026-01-19 cs.AI cs.CL cs.LG
PromptMind Team at MEDIQA-CORR 2024: Improving Clinical Text Correction with Error Categorization and LLM Ensembles
本研究针对MEDIQA-CORR 2024临床文本纠错共享任务的三个子任务,提出基于提示的上下文学习策略,并结合自一致性与LLM集成方法提升医疗文本的错误检测与纠正性能。
2024-05-14 cs.AI cs.CL cs.LG
Application of Hierarchical Temporal Memory Theory for Document Categorization
College of Engineering, Pune(浦那工程学院);Maker’s Lab, Tech Mahindra Ltd.(马恒达科技公司创客实验室)
目前的工作打算研究的性能的层次时间记忆(HTM)理论的自动分类的文本以及文件。HTM是一种基于人类大脑新皮层工作原理的生物启发理论。本研究旨在提供一个替代的框架,使用HTM理论中的空间位置学习算法进行文档分类。由于HTM只接受二进制数据流作为输入,潜在语义索引(LSI)技术用于从输入中提取顶部特征并将其转换为二进制格式。Spatial Poisson算法将二进制输入转换为稀疏模式,其中具有重叠空间模式的类似输入文本使得易于将模式分类为类别。所获得的结果证明,HTM理论,虽然是在其新生阶段,执行与大多数流行的机器学习为基础的分类。
2021-12-29 cs.CL cs.LG
Intra-Modal Proxy Learning for Zero-Shot Visual Categorization with CLIP
Alibaba Group(阿里巴巴集团);University of Washington(华盛顿大学)
本文提出模态内代理学习InMaP,利用文本代理在未标注视觉数据上直接学习视觉代理以缩小CLIP模态差距,并在ImageNet上将零样本准确率从77.02%提升至80.21%。
2023-10-30 cs.CV cs.LG
On the Effectiveness of Large Language Models in Automating Categorization of Scientific Texts
University of Applied Sciences, Mannheim(曼海姆应用科学大学)
针对科学文献快速增长下的分类需求,研究评估多种大语言模型的层级分类能力,发现Meta Llama 3.1等模型在FORC数据集上准确率达0.82,优于传统BERT模型。
2025-02-08 cs.CL cs.DL cs.LG
Light-Weighted CNN for Text Classification
Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
对于管理,文档被分类到一个特定的类别中,为了做到这一点,大多数组织使用手工劳动。在今天的自动化时代,手动完成这样的任务是不合理的,为了避免这种情况,我们在市场上有很多软件。然而,效率和最低的资源消耗是焦点,这也是创造竞争的焦点。通过机器将这些文档分类到指定的类中提供了很好的帮助。分类技术之一是使用卷积神经网络(TextCNN)的文本分类。TextCNN使用多种大小的过滤器,就像Googlenet中引入的inception层一样。该网络提供了良好的精度,但由于大量的可训练参数而导致高内存消耗。为了解决这个问题,我们引入了一种基于可分离卷积的全新架构。可分离卷积的思想已经存在于图像分类领域,但尚未引入文本分类任务。在这种架构的帮助下,我们可以大幅减少可训练参数。
2020-04-16 cs.CL cs.LG stat.ML
Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales
我们解决评级推理问题,其中不是简单地决定评论是"竖起大拇指"还是"竖起大拇指",如在先前的情感分析工作中,而是必须确定作者关于多点尺度的评价(例如,一至五颗“星”)。这个任务代表了标准多类文本分类的一个有趣的转折,因为类标签之间有几个不同程度的相似性;例如,“三颗星”直观上更接近“四颗星”而不是“一颗星”。我们首先评估人类在任务中的表现。然后,我们应用一种基于问题的度量标签公式的元算法,该算法改变给定n元分类器的输出,以明确尝试确保相似的项获得相似的标签。我们表明,元算法可以提供显着的改进,多类和回归版本的支持向量机时,我们采用了一种新的相似性度量适当的问题。
2005-06-17 cs.CL cs.LG
AnnoPage Dataset: Dataset of Non-Textual Elements in Documents with Fine-Grained Categorization
Faculty of Information Technology, Brno University of Technology(布拉格技术学院);Moravian Library(摩拉维亚图书馆);National Library of the Czech Republic(捷克国家图书馆);Library of the Czech Academy of Sciences(捷克科学院图书馆)
AnnoPage Dataset 是一个包含 7,550 页历史文档的新型数据集,通过专家标注 25 类非文本元素的边界框,支持文档布局分析和目标检测研究,并提供 YOLO 和 DETR 基线结果。
2025-07-16 cs.AI cs.CV cs.LG
Improving Document Classification with Multi-Sense Embeddings
University of Utah(犹他大学);IIT Guwahati(印度理工学院古瓦哈提分校);IISC Bangalore(印度科学学院班加罗尔分院)
文本文档的有效表示是许多NLP任务中的重要组成部分。对长文本分类的研究表明,简单的词向量加权平均用于句子表示通常优于更复杂的神经模型。最近提出的稀疏复合文档向量(SCDV)(Mekala et. al,2017)使用词向量上的软聚类将这种方法从句子扩展到文档。然而,SCDV忽视了词的多义性,也遭受了更高维度的诅咒。在这项工作中,我们解决这些缺点,并提出SCDV-MS。SCDV-MS利用多意义的词嵌入和学习一个低维流形。通过在多个真实数据集上的广泛实验,我们表明SCDV-MS嵌入在多类和多标签文本分类任务上优于以前最先进的嵌入。此外,SCDV-MS嵌入在文本分类任务的时间和空间复杂度方面比SCDV更有效。
2019-11-18 cs.CL cs.IR cs.LG
Multimodal Categorization of Crisis Events in Social Media
Dataminr Inc.(Dataminr公司);Rutgers University(罗格斯大学);University of California, Davis(加州大学戴维斯分校)
图像分类和自然语言处理的最新发展,加上社交媒体使用的快速增长,使实时检测世界各地突发事件的工作取得了根本性的进展。应急反应就是这样一个领域,它将从这些进展中获益。通过每分钟处理数十亿条文本和图像,可以自动检测事件,使应急响应工作人员能够更好地评估快速变化的情况,并相应地部署资源。迄今为止,该领域的大多数事件检测技术都集中在仅图像或仅文本的方法上,这限制了检测性能并影响了向危机响应团队提供的信息的质量。在本文中,我们提出了一种新的多模态融合方法,利用图像和文本作为输入。特别是,我们引入了一个交叉注意模块,可以过滤无信息和误导性的组件,从弱模态的样本样本的基础上。此外,我们采用了一种基于多模态图的方法,在训练过程中随机转换不同的多模态对的嵌入,以更好地规范学习过程,以及处理有限的训练数据,通过构建新的匹配对从不同的样本。我们表明,我们的方法优于单峰的方法和强大的多峰基线上的三个危机相关的任务的大幅度。
2020-04-10 cs.AI cs.CL cs.CV
"What is Relevant in a Text Document?": An Interpretable Machine Learning Approach
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希赫兹研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学)
文本文档可以用许多抽象概念来描述,如语义类别、写作风格或情感。机器学习(ML)模型已经被训练成自动将文档映射到这些抽象概念,允许注释非常大的文本集合,超过人类一生所能处理的。除了非常准确地预测文本的类别之外,还非常希望了解分类过程如何以及为什么发生。在本文中,我们证明了这样的理解可以通过使用分层相关传播(LRP),最近开发的技术,用于解释复杂的非线性分类器的预测跟踪的分类决策回单个单词。我们训练两个基于单词的ML模型,一个卷积神经网络(CNN)和一个词袋SVM分类器,对主题分类任务,并适应LRP方法分解这些模型的预测到单词。所得分数表示单个单词对整体分类决策的贡献程度。这使得人们能够从文本文档中提取相关信息,而无需明确的语义信息抽取步骤。我们进一步使用的词明智的相关性得分生成新的基于矢量的文档表示捕捉语义信息。基于这些文档向量,我们引入了模型解释能力的度量,并表明,尽管SVM和CNN模型在分类准确性方面表现相似,但后者表现出更高的可解释性,这使得它更容易为人类所理解,并可能对其他应用更有用。
2016-12-23 cs.CL cs.IR cs.LG
Naive Bayes and Text Classification I - Introduction and Theory
朴素贝叶斯分类器是基于流行的贝叶斯概率定理的分类器家族,以创建简单但性能良好的模型而闻名,特别是在文档分类和疾病预测领域。在本文中,我们将在文档分类的背景下研究朴素贝叶斯分类的主要概念。
2017-02-14 cs.LG
verBERT: Automating Brazilian Case Law Document Multi-label Categorization Using BERT
Institute of Mathematics and Statistics (IME) -- University of São Paulo (USP)(圣保罗大学数学与统计研究所(IME)——圣保罗大学(USP))
在这项工作中,我们进行了一项研究,使用基于注意力的算法来自动分类的巴西判例法文件。我们使用来自Kollemata项目的数据来生成两个具有适当分类系统的不同数据集。然后,我们实现了一个多类和多标签版本的BERT,并使用生成的数据集微调不同的BERT模型。我们评估了几个指标,采用微平均F1-Score作为我们的主要指标,我们获得了F1-micro=0.72的性能值,对应于测试统计基线的30%的增益。在这项工作中,我们进行了一项研究,使用基于注意力的算法来自动分类的巴西判例法文件。我们使用来自\textit{Kollemata}项目的数据来产生两个具有适当分类系统的不同数据集。然后,我们实现了一个多类和多标签版本的BERT,并使用生成的数据集微调不同的BERT模型。我们评估了几个指标,采用微平均F1分数作为我们的主要指标,我们获得了$\langle \mathcal{F}_1 \rangle_{micro}=0.72$的性能值,对应于测试统计基线的30%的增益。
2022-03-11 cs.LG
Machine learning approach for text and document mining
Institute of technology Gopeshwar(戈佩什瓦尔技术学院);Bansathali University(班萨塔利大学);University of Oviedo(奥维耶多大学);Siemens Information Systems Limited(西门子信息系统有限公司)
文本分类(TC),也称为文本分类,是将一组文本文档自动分类为预定义集合中的不同类别的任务。如果一个文档恰好属于其中一个类别,则它是一个单标签分类任务;否则,它是一个多标签分类任务。TC使用来自信息检索(IR)和机器学习(ML)的几种工具,并且在过去几年中受到学术界研究人员和行业开发人员的广泛关注。在本文中,我们首先使用基于KNN的机器学习方法对文档进行分类,然后返回最相关的文档。
2014-06-06 cs.IR cs.LG
Cancer Diagnosis Categorization in Electronic Health Records Using Large Language Models and BioBERT: Model Performance Evaluation Study
University of Tennessee Health Science Center(田纳西大学健康科学中心);University of Tennessee Graduate School of Medicine(田纳西大学医学研究生院)
本研究评估了GPT-3.5、GPT-4o、Llama 3.2、Gemini 1.5和BioBERT在电子健康记录中分类癌症诊断的性能,发现BioBERT在ICD代码上最优,GPT-4o在自由文本上最优,但两者均需人工监督才能用于临床。
2025-10-08 cs.AI cs.CL cs.LG