Effectiveness of Hierarchical Softmax in Large Scale Classification Tasks
Ericsson R&D(爱立信研发部)
通常,Softmax用于神经网络的最后一层,以获得输出类的概率分布。但Softmax的主要问题是,对于具有大量可能输出的大规模数据集,它的计算成本很高。为了在如此大规模的数据集上有效地近似类概率,我们可以使用Hierarchical Softmax。LSHTC数据集用于研究分层Softmax的性能。LSHTC数据集有大量的类别。在本文中,我们评估和报告正常Softmax与分层Softmax在LSHTC数据集上的性能。该评估使用宏f1分数作为性能度量。观察结果是,分层Softmax的性能随着类的数量增加而下降。
2018-12-13 cs.LG stat.ML
Hierarchical Subspace Learning for Dimensionality Reduction to Improve Classification Accuracy in Large Data Sets
University of Waterloo(滑铁卢大学)
流形学习用于降维,目标是找到一个投影子空间,以分别增加和减少类间和类内方差。然而,子空间学习方法的瓶颈往往来自于数据集的高维性。本文提出了一种分层方法来扩展子空间学习方法,目标是将大型数据集的分类提高3%到10%。不同的方法组合进行了研究。我们评估所提出的方法在五个公开的大型数据集,不同的特征值为基础的子空间学习方法,如线性判别分析,主成分分析,广义判别分析,重建独立成分分析。为了进一步研究所提出的方法对各种分类方法的影响,我们将生成的结果馈送到线性判别分析,二次线性分析,k-最近邻和随机森林分类器。所得到的分类精度进行比较,以显示分层方法的有效性,报告的结果,平均增加5%的分类精度。
2021-05-25 cs.LG stat.ML
Inconsistent Node Flattening for Improving Top-down Hierarchical Classification
George Mason University(乔治梅森大学)
大规模的数据分类是一个重要的研究领域,其中的类在结构上组织在一个层次结构中。自顶向下的方法,利用层次结构的学习和预测阶段是有效的大规模层次分类。然而,自顶向下方法的准确性由于误差传播而较差,即,在层次结构中的较高层产生的预测误差不能在较低层校正。在更高层次上出现错误的主要原因之一是由于领域专家创建这些层次结构的任意过程而引入的不一致节点的存在。在本文中,我们提出了两种不同的数据驱动的方法(本地和全球)的层次结构的修改,识别和不一致的节点存在于层次结构。我们广泛的经验评估所提出的方法在几个图像和文本数据集不同分布的功能,类和训练实例,每类显示了改进的分类性能比竞争层次的修改方法。具体来说,我们看到我们的方法在最佳TD基线上的Macro-F1分数提高了7%。源码:http://www.cs.gmu.edu/~mlbio/InconsistentNodeFlattening
2017-06-05 cs.LG stat.ML
Hierarchical Maximum Margin Learning for Multi-Class Classification
由于多类分类的多样性,设计准确、高效的分类器成为多类分类的一个挑战。最近的研究表明,类结构学习可以极大地促进多类学习。在本文中,我们提出了一种新的方法来学习多类分类问题的类结构。类的结构被假定为一个二进制层次树。为了学习这样的树,我们提出了一个最大分隔间距的方法来确定任何内部节点的子节点。所提出的方法确保由任何两个兄弟节点表示的两个类组是最可分离的。在实验中,我们评估了所提出的方法的准确性和效率比其他多类分类方法对现实世界中的大规模问题。实验结果表明,该方法在大多数数据集上的精度优于基准方法,在所有数据集上的效率均优于其他类结构学习方法。
2012-02-14 cs.LG stat.ML
Hierarchical Attention Generative Adversarial Networks for Cross-domain Sentiment Classification
Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系);Key Laboratory of Embedded System and Service Computing, Ministry of Education(教育部嵌入式系统与服务计算重点实验室);Tongji University(同济大学)
跨领域情感分类是领域自适应和情感分类中的一项重要任务。由于域差异,在源域数据上训练的情感分类器可能不能很好地在目标域数据上工作。近年来,许多研究人员将深度神经网络模型用于跨领域情感分类任务,其中许多使用梯度反射层(GRL)来设计对抗性网络结构以训练域共享情感分类器。与这些方法不同的是,我们提出了分层注意力生成对抗网络(HAGAN),它交替地训练生成器和生成器,以产生一个文档表示,这是情感可区分的,但域不可区分。此外,HAGAN模型采用双向门控递归单元(Bi-GRU)将单词和句子的上下文信息编码到文档表示中。此外,HAGAN模型使用层次注意力机制来优化文档表示,并自动捕获主元和非主元。在Amazon评论数据集上的实验表明了HAGAN的有效性。
2019-03-27 cs.LG stat.ML
Hierarchical thematic classification of major conference proceedings
针对专家给定树状层次结构的文本分类场景,提出基于词熵加权的层次相似度函数,结合变分贝叶斯推理的闭式EM算法,在两个数据集上的排序准确率优于多种现有层次分类方法。
2024-06-21 cs.IR cs.LG stat.ML
Multiclass feature learning for hyperspectral image classification: sparse and hierarchical solutions
University of Zurich(苏黎世大学);Université de Nice Sofia Antipolis(尼斯索菲亚安蒂波利斯大学);Université de Bretagne Sud(南布列塔尼大学)
在本文中,我们解决的问题,发现一组有效的空间滤波器来解决高光谱分类问题。我们不是使用专家知识先验地固定过滤器及其参数,而是让模型在可能的过滤器(可能是无限的)空间中随机抽取它们。我们定义了一个活动集特征学习器,它只在模型中包含改进分类器的特征。为此,我们考虑一个快速和线性分类器,多类逻辑分类,并表明,具有良好的表示(发现的过滤器),这样一个简单的分类器可以达到至少最先进的性能。我们将所提出的主动集学习器应用于四个高光谱图像分类问题,包括不同分辨率的农业和城市分类,以及多模态数据。我们还提出了一个分层设置,它允许生成更复杂的银行的功能,可以更好地描述数据中存在的非线性。
2016-06-23 cs.LG stat.ML
Conformal Prediction in Hierarchical Classification with Constrained Representation Complexity
Department of Environment, Ghent University(根特大学环境系);Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);MCML, Munich(慕尼黑机器学习中心);DFKI (DSA), Kaiserslautern(德国人工智能研究中心(数据分析与智能系统部门),凯泽斯劳滕);Dept. of Data Analysis and Mathematical Modelling, Ghent University(根特大学数据分析与数学建模系)
本文提出两种高效算法,扩展了split conformal预测框架到分层分类,通过表示复杂性概念,在保证覆盖性的前提下,使预测集更小且问题更一般化。
2026-04-10 cs.LG stat.ML
Efficient Path Prediction for Semi-Supervised and Weakly Supervised Hierarchical Text Classification
Hong Kong University of Science and Technology(香港科技大学)
层次文本分类有许多实际应用。然而,标记大量文档是昂贵的。在实践中,我们可以使用半监督学习或弱监督学习(例如,无数据分类)以降低标记成本。在本文中,我们提出了一个路径成本敏感的学习算法,利用结构信息,并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量的未标记数据,并将路径约束引入到学习算法中,以结合类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径相关分数结合。由于我们把结构敏感的成本的学习算法,以约束与类层次结构一致的分类,不需要重建不同结构的特征向量,我们可以显着降低计算成本相比,结构输出学习。在两个层次文本分类基准上的实验结果表明,该方法不仅是有效的,而且是有效的处理半监督和弱监督的层次文本分类。
2019-02-25 cs.IR cs.LG stat.ML
Machine Learning based Prediction of Hierarchical Classification of Transposable Elements
The University of New Orleans(新奥尔良大学)
转座因子(Transposable Elements,TE)或跳跃基因(jumping gene)是具有内在能力在宿主基因组内从一个基因组位置移动到另一个基因组位置的DNA序列。研究表明,TE在功能基因内或附近的存在可能会改变其表达。TEs还可以导致突变率的增加,甚至可以介导基因组中的重复和大的插入和缺失,促进总的遗传重排。因此,正确分类的识别跳跃基因是必不可少的,以了解他们在基因组中的遗传和进化的影响。虽然已经开发了计算方法,执行二进制分类或多标签分类的TE,很少有研究集中在他们的层次分类。最先进的机器学习分类方法利用多层感知器(MLP)(一类神经网络)来对TE进行分层分类。然而,现有的方法在分类TE时具有有限的准确性。一个更有效的分类器,它可以解释的作用,生殖细胞和体细胞的进化,是必要的。在这项研究中,我们研究了各种机器学习(ML)方法的性能。最后,提出了一种基于支持向量机(SVM)的TE分层分类方法,具有较高的分类精度。
2019-08-26 cs.LG q-bio.GN stat.ML
Hyperbolic Interaction Model For Hierarchical Multi-Label Classification
Beijing Jiaotong University(北京交通大学)
与传统的分类任务假设标签互斥不同,层次多标签分类(HMLC)的目标是为每个实例分配多个标签,标签按照层次关系组织。除了标签,由于语言本体是内在的层次结构,词与词之间的概念关系也可以形成层次结构。因此,学习从单词层次结构到标签层次结构的映射可能是一个挑战。我们建议将单词和标签层次结构嵌入到双曲空间中。其主要原因是双曲空间的树状性与具有层次结构的符号数据的复杂性相匹配。设计了一种新的双曲交互模型(HyperIM)来学习标签感知的文档表示,并对HMLC进行预测。在三个基准数据集上进行了广泛的实验。实验结果表明,该模型能够真实地捕捉复杂的数据结构,与现有方法相比,进一步提高了HMLC的性能。为了方便未来的研究,我们的代码是公开的。
2019-09-04 cs.CL cs.LG stat.ML
Hierarchical Image Classification using Entailment Cone Embeddings
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
图像分类已被广泛研究,但在使用传统图像-标签对之外的非常规外部指导进行训练方面的工作有限。我们提出了一套利用信息的语义层次结构嵌入类标签的方法。我们首先将标签层次知识注入到任意基于CNN的分类器中,并根据经验表明,这种外部语义信息与图像的视觉语义相结合的可用性提高了整体性能。在这个方向上更进一步,我们更明确地建模的标签标签和标签图像的相互作用,使用保序嵌入由欧几里德和双曲几何,在自然语言中流行,并将其调整到分层图像分类和表示学习。我们在分层ETHEC数据集上实证验证了所有模型。
2020-04-25 cs.CV cs.LG stat.ML
Notes on hierarchical ensemble methods for DAG-structured taxonomies
Università degli Studi di Milano(米兰大学)
从文本分类到计算生物学的几个实际问题的特点是分层多标签分类任务。文献中提出的大多数方法都集中在树结构的分类,但只有少数的分类结构,根据有向无环图(DAG)。在这篇文章中,介绍了用于达格结构分类法的新型分类集成算法。特别是层次化的自顶向下(HTD-DAG)和真正的路径规则(TPR-DAG)的DAG提出和讨论。
2014-06-18 cs.AI cs.LG stat.ML
Set-valued prediction in hierarchical classification with constrained representation complexity
Ghent University(根特大学);LMU Munich(慕尼黑大学);Poznań University of Technology(波兹南理工大学);Yahoo! Research(雅虎研究院)
集值预测是多类分类中的一个众所周知的概念。当分类器不确定测试实例的类标签时,它可以预测一组类而不是单个类。在本文中,我们专注于分层多类分类问题,其中有效集(通常)对应于层次结构的内部节点。我们认为,这是一个非常强的限制,我们提出了一个放宽通过引入的概念表示复杂性的预测集。结合概率分类器,这导致了一个具有挑战性的推理问题,需要特定的组合优化算法。我们提出了三种方法,并在基准数据集上对其进行了评估:一种基于矩阵向量乘法的朴素方法,一种重新表述为带有冲突图的背包问题的方法,以及一种递归树搜索方法。实验结果表明,最后一种方法是计算效率比其他两种方法,由于层次分解的条件类分布。
2022-03-13 cs.AI cs.LG stat.ML
Adversarial Attack on Hierarchical Graph Pooling Neural Networks
University of Pittsburgh(匹兹堡大学);Intel Labs(英特尔实验室)
近年来,图神经网络(graph neural networks,GNNs)的出现和发展,在节点分类、图分类等领域显示出强大的图表示学习能力。这些模型的鲁棒性研究也开始引起机器学习领域的关注。然而,该领域的大部分现有工作都集中在节点级任务的GNN上,而很少有工作研究GNN对图分类任务的鲁棒性。在本文中,我们的目的是探讨层次图池(HGP)神经网络的脆弱性,这是先进的GNN,在预测精度方面的图分类表现非常好。我们提出了一个对抗攻击的框架,这项任务。具体来说,我们设计了一个代理模型,它由卷积和池化运算符组成,用于生成对抗样本,以欺骗基于GNN的分层图分类模型。我们将池化算子保留的节点设置为我们的攻击目标,然后稍微扰动攻击目标,以欺骗分层GNN中的池化算子,使其选择错误的节点进行保留。我们证明了由我们的代理模型从多个数据集生成的对抗样本具有足够的可转移性来攻击当前最先进的图分类模型。此外,我们对目标模型进行了鲁棒训练,并证明了重新训练的图分类模型能够更好地抵御来自敌对样本的攻击。据我们所知,这是针对基于GNN的分层图分类模型的对抗攻击的第一项工作。
2020-05-23 cs.CR cs.LG stat.ML
Improved Hierarchical Patient Classification with Language Model Pretraining over Clinical Notes
Google Health(谷歌健康)
电子健康记录中的临床记录包含高度异质的书写风格,包括非标准术语或缩写。在预测建模中使用这些注释传统上需要预处理(例如,获取频繁术语或主题建模),这会去除源数据的大部分丰富性。我们提出了一个预训练的分层递归神经网络模型,该模型以直观的方式解析最小化处理的临床笔记,并表明与将笔记视为无序术语集合或不进行预训练的模型相比,它提高了重症监护医学信息市场III(MIMIC-III)数据集上出院诊断分类任务的性能。我们还将归因技术应用于示例,以识别模型用于进行预测的单词,并显示单词附近上下文的重要性。
2019-11-15 cs.CL cs.LG stat.ML
Classification with Costly Features in Hierarchical Deep Sets
Faculty of Electrical Engineering, Czech Technical University in Prague(捷克技术大学电气工程学院)
本文扩展了基于深度强化学习的算法,引入分层深度集合和分层softmax,以处理分层结构数据中的带代价特征分类,在七个数据集上表现更优,并应用于恶意域名分类。
2024-02-29 cs.AI cs.LG stat.ML
HMIC: Hierarchical Medical Image Classification, A Deep Learning Approach
University of Virginia(弗吉尼亚大学);University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校);The Aga Khan University(阿迦汗大学);University of Zambia School of Medicine(赞比亚大学医学院);Queen Mary University of London(伦敦玛丽女王大学)
图像分类是医学大数据革命的核心。用于数字医学图像的诊断和分类的改进的信息处理方法已经证明通过深度学习方法是成功的。随着这一领域的探索,传统的监督分类器的性能存在局限性。本文概述了一种方法,这是从目前的医学图像分类任务,查看多类分类的问题不同。我们使用我们的分层医学图像分类(HMIC)方法进行分层分类。HMIC使用深度学习模型的堆栈,在临床图像层次的每个级别上提供特定的理解。为了测试我们的性能,我们使用小肠图像的活检,其中包含父级中的三个类别(乳糜泻、环境性肠病和组织学正常对照)。对于儿童水平,乳糜泻严重程度分为4类(I、IIIa、IIIb和IIIC)。
2020-06-23 cs.AI cs.CV cs.LG
Combining multiple resolutions into hierarchical representations for kernel-based image classification
Univ. Bretagne-Sud(南布列塔尼大学);IRISA(法国国家信息与自动化研究所(IRISA));Univ. Strasbourg(斯特拉斯堡大学)
基于地理对象的图像分析(GEOBIA)框架近年来得到了越来越多的关注。遵循这种流行的模式,我们提出了一种新的多尺度分类方法,操作上的分层图像表示建立在不同的分辨率从两个图像。它们使用不同的传感器捕获相同的场景,并通过分层表示自然地融合在一起,其中较粗的级别是从低空间分辨率(LSR)或中等空间分辨率(MSR)图像构建的,而较细的级别是从高空间分辨率(HSR)或极高空间分辨率(VHSR)图像生成的。这样的表示允许人们受益于由于较粗的级别的上下文信息,以及由于较细的级别的子区域空间布置信息。然后,使用两个专用的结构化内核来直接对所构造的分层表示执行机器学习。该策略克服了传统GEOBIA分类程序只能处理一个或很少几个预选尺度的限制。在城市分类任务上运行的实验表明,该方法可以大大提高分类准确率在单一尺度上工作的常规方法。
2016-07-12 cs.CV stat.ML
Comparing Multi-class, Binary and Hierarchical Machine Learning Classification schemes for variable stars
即将进行的天气调查将产生前所未有的数据量。这需要一个自动框架,可以快速有效地为几个新的对象分类挑战提供分类标签。使用数据描述11种类型的变星从卡塔利娜实时瞬态巡天(CRTS),我们说明了如何捕捉最重要的信息,从计算的功能,并描述了详细的方法,如何稳健地使用信息理论的功能选择和评估。我们应用三种机器学习(ML)算法,并演示如何通过交叉验证技术优化这些分类器。对于CRTS数据集,我们发现随机森林(RF)分类器在平衡精度和几何平均值方面表现最好。我们展示了大幅改善的分类结果转换成一个二进制分类任务的多类问题,实现了平衡的准确率为$\sim$ 99%的分类$δ$ -盾牌和异常造父变星(ACEP)。此外,我们描述了如何分类性能可以通过转换成一个层次分类的“平面多类”的问题得到改善。我们开发了一个新的层次结构,并提出了一套新的分类功能,使子类型的造父变星,RR天琴座和食双星CRTS数据的准确识别。
2019-07-18 astro-ph.IM cs.IT math.IT