Semi-supervised Predictive Clustering Trees for (Hierarchical) Multi-label Classification
Jožef Stefan Institute（约热夫·斯泰凡研究所）；Jožef Stefan International Postgraduate School（约热夫·斯泰凡国际研究生学院）；University of Bari（巴里大学）
本文针对多标签及层次多标签分类任务，提出基于预测聚类树的半监督学习方法，并扩展为随机森林集成方法，在23个数据集上验证了其优于有监督方法，同时保持可解释性并降低时间复杂度。
2024-03-30 cs.AI cs.LG
Multi-source Hierarchical Prediction Consolidation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lehigh University（理海大学）；SUNY Buffalo（纽约州立大学布法罗分校）；Baidu Research（百度研究院）；Tsinghua University（清华大学）
在医疗数据采掘等大数据应用中，出于隐私考虑，需要从多个信息源收集同一实例的预测，在聚合多个预测时，原始特征会被丢弃或保留。此外，需要聚合众包标签以估计数据的真实情况。由于预测模型或人类众包工作人员的不完善，嘈杂和相互冲突的信息无处不在，不可避免。尽管已经提出了最先进的聚合方法来处理具有平面结构的标签空间，但是随着标签空间变得越来越复杂，标签分层结构下的聚合变得必要，但是在很大程度上被忽略了。这些标签层次结构可以提供相当多的信息，因为它们通常由领域专家创建，以理解许多现实世界案例（如蛋白质功能相互作用或疾病关系）的高度复杂的标签相关性。我们提出了一种新的多源分层预测合并方法，有效地利用复杂的分层标签结构，以解决噪声和冲突的信息，本质上源于多个不完美的来源。我们制定的问题作为一个封闭形式的解决方案的优化问题。所提出的方法捕获的平滑度整体信息源，以及惩罚任何合并结果，违反了从标签层次结构的约束。层次实例相似性以及合并结果以完全无监督的迭代方式推断。在合成数据集和真实数据集上的实验结果表明了该方法的有效性。
2016-08-11 cs.DB cs.LG
Hierarchical Image Classification with A Literally Toy Dataset
图像分类中的无监督领域自适应（UDA）仍然是一个很大的挑战。在现有的UDA图像数据集中，类通常以扁平化的方式组织，可以训练一个简单的分类器。然而，在某些情况下，平面类别起源于一些基类。例如，马车属于鸟类。我们定义了分类任务，其中类具有上述特征，并且平面类和基本类被分层地组织为分层图像分类。直观地，利用这种分层结构将有利于分层图像分类，例如，两个容易混淆的类可能属于完全不同的基类。在本文中，我们通过融合从标签层次结构中学习到的特征来提高分类性能。具体来说，我们训练特征提取监督的分层标签和UDA技术，这将输出多个功能的输入图像。这些特征随后被连接起来以预测最细粒度的类。这项研究是用一个名为Lego-15的新数据集进行的。Lego-15数据集由乐高积木的合成图像和真实图像组成，包含15类积木。每个类都源自一个粗级别标签和一个中间级别标签。例如，类“85080”与砖（粗）和砖（中）相关联。在这个数据集中，我们证明了我们的方法在分层图像分类中比UDA的基线带来了一致的改进。广泛的消融和变异研究提供了对新数据集和研究算法的见解。
2021-11-01 cs.CV
Are "Hierarchical" Visual Representations Hierarchical?
University of Washington（华盛顿大学）
本文研究了“分层”视觉表示是否比标准表示更好捕获人类感知的分层，创建了包含12个数据集的HierNet基准，发现Hyperbolic和Matryoshka表示在捕获分层上未超越标准表示，但在搜索效率和可解释性方面有优势。
2023-11-23 cs.AI cs.CV cs.LG
Solution for the EPO CodeFest on Green Plastics: Hierarchical multi-label classification of patents relating to green plastics using deep learning
本研究的目的是对绿色塑料相关技术的专利进行多标签专利分级。这是一个新兴领域，目前没有分类方案，因此没有标记数据可用，使得这项任务特别具有挑战性。我们首先提出了一个分类方案，这项技术和一种方法来学习一个机器学习模型，将专利分类到建议的分类方案。为了实现这一目标，我们提出了一种自动为专利分配标签的策略，以创建一个标记的训练数据集，该数据集可用于在监督学习设置中学习分类模型。使用所述训练数据集，我们提出了两个分类模型，一个SciBERT神经网络（SBNN）模型和一个SciBERT分层神经网络（SBHNN）模型。这两种模型都使用BERT模型作为特征提取器，并在其上使用神经网络作为分类器。我们进行了广泛的实验和报告共同评估指标，这个具有挑战性的分类问题。实验结果验证了我们的方法的有效性，并表明我们的模型设置了一个非常强大的基准这个问题。我们还通过可视化训练模型给出的单词重要性来解释我们的模型，这表明该模型能够提取输入文档的高级语义信息。最后，我们强调了我们的解决方案如何满足EPO CodeFest的评估标准，并概述了未来工作的可能方向。我们的代码已在https://github.com/epo/CF22-Green-Hands上提供
2023-02-22 cs.CL cs.LG
Semantic Instance Labeling Leveraging Hierarchical Segmentation
Georgia Institute of Technology（佐治亚理工学院）
大多数用于室内RGBD语义标记的方法集中于使用像素或超像素来训练分类器。在本文中，我们使用超像素的层次结构来实现更高级别的分割，以获得更好的分割来训练我们的分类器。通过关注更直接符合对象的有意义的片段，无论大小如何，我们使用简单的特征（如3D大小，LAB颜色直方图，宽度，高度和形状）训练决策树的随机森林作为分类器，这些特征由表面法线的直方图指定。我们在纽约大学V2深度数据集上测试了我们的方法，这是一个具有挑战性的杂乱室内环境数据集。我们使用NYU V2深度数据集的实验表明，我们的方法在由数据集（地板、结构、家具和对象）引入的一般语义标记和更特定于对象的语义标记上都实现了最先进的结果。我们表明，从超像素层次结构的分割上训练分类器比直接在超像素，补丁或像素上训练更好的结果。
2017-08-02 cs.CV
HSD: A hierarchical singing annotation dataset
Waseda University（早稻田大学）
一般音乐都有明显的层次结构，尤其是流行歌曲中作为主旋律的演唱部分。然而，目前大多数歌唱标注数据集只记录音符的符号信息，忽略了音乐的结构。在本文中，我们提出了一个层次化的歌唱注释数据集，由68首流行歌曲从Youtube。该数据集以增强的LyRiCs格式记录每个音符的开始/结束时间、音高、持续时间和歌词，以呈现音乐的层次结构。我们在两个阶段的过程中注释每首歌曲：第一，使用相应的乐谱和歌词文件创建初始标签;第二，手动校准这些标签参考原始音频。我们主要通过将其与自动歌唱转录（AST）数据集进行比较来验证所提出的数据集的标记准确性。实验结果表明，该数据集达到了AST数据集的标注精度。
2022-09-26 cs.SD
HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification
Georgia Institute of Technology（佐治亚理工学院）；Yale University（耶鲁大学）；Microsoft（微软公司）
本文提出HiGen框架，通过层级引导损失和任务特定预训练生成动态文本表示，用于层次文本分类，并在新数据集ENZYME及WOS、NYT上验证其优越性能。
2024-02-22 cs.CL cs.LG
Hybrid Losses for Hierarchical Embedding Learning
Queen Mary University of London（伦敦玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）；New York University（纽约大学）
该研究利用树状标签层次结构，提出结合广义三元组与交叉熵的混合损失，在多任务框架中提升嵌入空间结构，并在OrchideaSOL数据集上验证了其在分类、检索和泛化上的优势。
2025-01-22 cs.IR cs.LG cs.SD
Error Detection and Constraint Recovery in Hierarchical Multi-Label Classification without Prior Knowledge
Arizona State University（亚利桑那州立大学）
本文提出了一种基于错误检测规则的方法，在无先验知识的情况下实现分层多标签分类中的错误检测与约束恢复，具有抗噪能力和多数据集应用能力。
2025-12-25 cs.AI cs.LG cs.LO
Hierarchical Image Classification using Entailment Cone Embeddings
ETH Zurich（苏黎世联邦理工学院）；MIT（麻省理工学院）
图像分类已被广泛研究，但在使用传统图像-标签对之外的非常规外部指导进行训练方面的工作有限。我们提出了一套利用信息的语义层次结构嵌入类标签的方法。我们首先将标签层次知识注入到任意基于CNN的分类器中，并根据经验表明，这种外部语义信息与图像的视觉语义相结合的可用性提高了整体性能。在这个方向上更进一步，我们更明确地建模的标签标签和标签图像的相互作用，使用保序嵌入由欧几里德和双曲几何，在自然语言中流行，并将其调整到分层图像分类和表示学习。我们在分层ETHEC数据集上实证验证了所有模型。
2020-04-25 cs.CV cs.LG stat.ML
Hierarchical Class-Based Curriculum Loss
Samsung Research America（三星美国研究院）
机器学习中的分类算法通常假设平坦标签空间。然而，大多数真实世界的数据在标签之间具有依赖性，这通常可以通过使用层次结构来捕获。利用这种关系，可以帮助开发一个模型，能够满足依赖关系，提高模型的准确性和可解释性。此外，由于层次结构中的不同级别对应于不同的粒度，因此同等地惩罚每个标签可能不利于模型学习。在本文中，我们提出了一个损失函数，分层课程损失，具有两个属性：（i）满足标签空间中存在的分层约束，以及（ii）根据标签在层次结构中的级别为标签提供非均匀权重，通过训练范式隐式学习。我们从理论上表明，建议的损失函数是一个更严格的0-1损失的限制相比，任何其他损失满足层次约束。我们测试我们的损失函数在现实世界的图像数据集，并表明，它显着大幅优于多个基线。
2020-06-05 cs.CV cs.LG stat.ML
Deep Learning with Label Noise: A Hierarchical Approach
Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
深度神经网络容易受到标签噪声的影响。现有的提高鲁棒性的方法，如元学习和正则化，通常需要对网络架构进行重大更改或仔细调整优化过程。在这项工作中，我们提出了一种简单的分层方法，在训练深度学习模型时引入了标签层次结构。我们的方法不需要改变网络架构或优化过程。我们通过广泛的模拟和真实数据集以及各种标签噪声类型来研究我们的分层网络。我们的分层方法改进了具有标签噪声的常规深度神经网络的学习。将我们的分层方法与预训练模型相结合，在现实世界的噪声数据集中实现了最先进的性能。
2022-05-28 cs.CV cs.LG
Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework
Salesforce Research（Salesforce研究院）
当前的对比学习框架专注于利用单个监督信号来学习表示，这限制了对看不见的数据和下游任务的有效性。在本文中，我们提出了一个分层的多标签表示学习框架，可以利用所有可用的标签，并保持类之间的层次关系。我们引入了新的层次保持损失，共同适用于层次惩罚的对比损失，并执行层次约束。损失函数是数据驱动的，并自动适应任意多标签结构。在多个数据集上的实验表明，我们的关系保持嵌入在各种任务上都表现良好，并且优于基线监督和自监督方法。代码可在https://github.com/salesforce/hierarchicalContrastiveLearning上获得。
2022-04-27 cs.AI cs.CV cs.LG
Coherent Hierarchical Multi-Label Classification Networks
University of Oxford（牛津大学）
层次多标签分类（HMC）是一个具有挑战性的分类任务，通过对类施加层次约束来扩展标准多标签分类问题。在本文中，我们提出了C-HMCNN（h），这是一种解决HMC问题的新方法，它在给定底层多标签分类问题的网络h的情况下，利用层次信息来产生与约束一致的预测并提高性能。我们进行了广泛的实验分析，显示了与最先进的模型相比，C-HMCNN（h）的优越性能。
2020-10-20 cs.LG stat.ML
On Learning Vector Representations in Hierarchical Label Spaces
Technische Universität Darmstadt（达姆施塔特工业大学）；German Institute for Educational Research（德国教育研究所）
多标签分类中的一个重要问题是捕获标签模式或对这些模式有影响的底层结构。本文解决了这样一个问题，即如何利用层次结构的标签。我们提出了一种新的方法来学习向量表示的标签空间给出了一个层次的标签和标签同现模式。我们的实验结果定性地表明，所提出的方法是能够学习标签之间的重叠，利用标签层次结构以及标签同现。它突出了层次信息的重要性，以获得促进类比推理的标签空间上的相似性。我们还通过实验说明了学习表示对标签层次结构的依赖性。
2015-04-16 cs.CL cs.LG stat.ML
A Capsule Network for Hierarchical Multi-Label Image Classification
Deakin University（迪肯大学）；CSIRO Data 61（联邦科学与工业研究组织数据61所）
图像分类是计算机视觉中最重要的领域之一。当多类图像分类问题基于层次或分类法被布置成较小的问题时，分层多标签分类适用。因此，分层分类模式通常在每个实例上提供多个类别预测，由此期望这些预测反映彼此相关的图像类别的结构。在本文中，我们提出了一个多标签胶囊网络（ML-CapsNet）的分层分类。我们的ML-CapsNet预测多个图像类的基础上，分层的类标签树结构。为此，我们提出了一个损失函数，考虑到网络的多标签预测。因此，我们的ML-CapsNet的训练方法使用了从粗到细的范式，同时保持了与标签层次结构中分类级别结构的一致性。我们还使用广泛可用的数据集进行实验，并将该模型与文献中其他地方的替代品进行比较。在我们的实验中，我们的ML-CapsNet相对于这些替代方法产生了一定的改进幅度。
2022-09-13 cs.CV cs.LG
Hyperbolic Interaction Model For Hierarchical Multi-Label Classification
Beijing Jiaotong University（北京交通大学）
与传统的分类任务假设标签互斥不同，层次多标签分类（HMLC）的目标是为每个实例分配多个标签，标签按照层次关系组织。除了标签，由于语言本体是内在的层次结构，词与词之间的概念关系也可以形成层次结构。因此，学习从单词层次结构到标签层次结构的映射可能是一个挑战。我们建议将单词和标签层次结构嵌入到双曲空间中。其主要原因是双曲空间的树状性与具有层次结构的符号数据的复杂性相匹配。设计了一种新的双曲交互模型（HyperIM）来学习标签感知的文档表示，并对HMLC进行预测。在三个基准数据集上进行了广泛的实验。实验结果表明，该模型能够真实地捕捉复杂的数据结构，与现有方法相比，进一步提高了HMLC的性能。为了方便未来的研究，我们的代码是公开的。
2019-09-04 cs.CL cs.LG stat.ML
HAXMLNet: Hierarchical Attention Network for Extreme Multi-Label Text Classification
Fudan University（复旦大学）
极端多标签文本分类（XMTC）解决了从极端尺度标签集中用最相关的标签标记每个文本的问题。传统的方法使用词袋（BOW）表示，没有上下文信息作为其特征。最先进的基于深度学习的方法AttentionXML使用递归神经网络（RNN）和多标签注意力，很难处理极端规模（数十万个标签）问题。为了解决这个问题，我们提出了我们的HAXMLNet，它使用了一个高效和有效的层次结构与多标签的注意。实验结果表明，HAXMLNet达到了竞争力的性能与其他国家的最先进的方法。
2019-03-24 cs.IR cs.LG stat.ML
A no-regret generalization of hierarchical softmax to extreme multi-label classification
Poznan University of Technology（波兹南理工大学）；Yahoo! Research（雅虎研究院）
极端多标签分类（XMLC）是一个用从极大的可能标签池中选择的一小部分相关标签来标记实例的问题。大的标签空间可以通过将标签组织为树来有效地处理，就像通常用于多类问题的分层softmax（HSM）方法一样。在本文中，我们调查的概率标签树（PLT），最近已经设计解决XMLC问题。我们表明，PLT是一个无悔的多标签推广的HSM时，精度@k被用作模型的评价指标。至关重要的是，我们证明了选择一个标签的启发式-减少技术，从多标签到多类，是经常使用的HSM -一般是不一致的。我们还表明，我们的PLT实现（称为extremeText（XT））比使用pick-one-label启发式和XML-CNN（一种专门为XMLC问题设计的深度网络）的HSM获得了更好的结果。此外，XT在统计性能，模型大小和预测时间方面与许多最先进的方法具有竞争力，这使得它适合在在线系统中部署。
2018-10-27 cs.LG stat.ML
Hierarchical Multi-Label Generation with Probabilistic Level-Constraint
PatSnap Co., LTD（PatSnap公司）
本文将层次多标签分类重构为层次多标签生成（HMG），提出带概率层级约束的生成式框架，无需聚类等预处理即可精确控制标签输出的数量、长度和层级，并在HMG任务上取得新的SOTA性能。
2025-04-30 cs.LG
Beyond Flat Labels: Level-Restricted Contrastive Learning for Hierarchical Fine-Grained Vision Classification
The Ohio State University（俄亥俄州立大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Neuromatch；Boston University（波士顿大学）
针对多模态对比学习在层次标签空间中预测不一致的问题，提出层级限制对比学习，仅在同一层级内进行对比，并采用组平衡设计，显著提升层次一致性和分类精度。
2026-09-29 cs.CV cs.LG
Learning with Hierarchical Complement Objective
National Tsing-Hua University（国立清华大学）；Electronic and Optoelectronic System Research Laboratories, ITRI（工业技术研究院电子与光电系统研究实验室）；Google Research（谷歌研究院）
标签层次广泛存在于许多与视觉相关的问题中，从图像分类中的显式标签层次到语义分割中的隐式标签层次。然而，最先进的方法通常部署交叉熵损失，隐含地假设类标签是排他性的，因此彼此独立。由于来自同一父类别的类通常具有一定的相似性，我们设计了一个新的训练图，称为分层互补目标训练（HCOT），它利用了标签层次结构中的信息。HCOT最大化地面真值类的概率，同时以分层方式中和其余类的概率，使模型显式地利用标签层次结构。建议的HCOT评估图像分类和语义分割任务。实验结果证实，HCOT在CIFAR-100、ImageNet-2012和PASCAL-Context中的性能优于最先进的模型。该研究进一步证明了HCOT可以应用于具有潜在标签层次结构的任务，这是许多机器学习任务的共同特征。
2019-11-17 cs.CV cs.LG
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Hierarchical Partitioning of the Output Space in Multi-label Data
HOMER（Hierarchy Of Multi-Label Classifiers）是一种多标签学习算法，它将初始学习任务分解为多个更简单的子任务，首先从给定的标签集合中构建标签的层次结构，然后使用给定的基本多标签分类器（MLC）来处理所产生的子问题。主要目标是有效地解决现实世界中经常出现的多标签分类问题中的类不平衡和可扩展性问题。在这项工作中，我们提出了一个HOMER模型的一般设置和一个简单的扩展算法，适合于MLC的输出排名。此外，我们提供了一个详细的分析的算法的性能，无论是从一个方面的有效性和计算复杂性。一个次要的贡献涉及的K均值算法，这是在标签层次结构的第一步服务的平衡的变体的介绍。我们进行了广泛的实验，在六个真实世界的数据集，经验HOMER的参数研究，并提供了不同的聚类方法和MLC的算法的实例化的例子，实证结果表明，一个显着的改善给定的基础MLC。
2016-12-19 cs.LG stat.ML
Hierarchy-Consistent Learning and Adaptive Loss Balancing for Hierarchical Multi-Label Classification
Ocean University of China（中国海洋大学）
本文提出HCAL分类器，通过原型对比学习、自适应任务加权和原型扰动机制解决层次多标签分类中的结构一致性与损失平衡问题，并引入HVR指标评估层次一致性，在三个数据集上取得优于基线模型的精度和一致性。
2025-08-19 cs.CV cs.LG
Semi-Supervised Hierarchical Multi-Label Classifier Based on Local Information
Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天文、光学与电子研究所）
本文提出基于局部信息的半监督层次多标签分类器 SSHMC-BLI，利用未标记实例的已标记邻居标签路径构建伪标签，在 12 个功能基因组学数据集上验证其能显著提升仅用标记数据训练的层次分类器性能。
2024-04-30 cs.LG q-bio.QM
CHiLS: Zero-Shot Image Classification with Hierarchical Label Sets
University of California - San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 CHiLS 方法，通过为每个类别生成子类并利用 CLIP 进行零样本分类后将预测映射回父类，在具有隐式语义层次的数据集上无需额外训练即可提升分类准确性。
2023-05-31 cs.CV cs.LG
Request-and-Reverify: Hierarchical Hypothesis Testing for Concept Drift Detection with Expensive Labels
Nokia Bell Labs（诺基亚贝尔实验室）；University of Florida（佛罗里达大学）
常见分类模型的一个重要假设是数据的平稳性。然而，在现实世界的流媒体应用中，由特征和标签的联合分布表示的数据概念不是静止的，而是随着时间漂移的。概念漂移检测旨在检测这种漂移并调整模型，以减轻模型预测性能的任何恶化。不幸的是，大多数现有的概念漂移检测方法依赖于一个强大的和过于乐观的条件，真正的标签是立即为所有已经分类的实例。本文提出了一种新的分层假设测试框架，该框架采用请求-再验证策略，仅在必要时请求标签来检测概念漂移。在此框架下，分别提出了两种基于分类不确定性的层次假设检验（HHT-CU）和基于属性拟合优度的层次假设检验（HHT-AG）。在基准数据集的实验中，我们的方法表现出压倒性的优势，超过最先进的无监督漂移检测器。更重要的是，当我们使用更少的标签时，我们的方法甚至优于DDM（广泛使用的监督漂移检测器）。
2018-06-28 cs.AI cs.LG stat.ML
Clinically-Inspired Hierarchical Multi-Label Classification of Chest X-rays with a Penalty-Based Loss Function
Gina Cody School of Engineering and Computer Science, Concordia University（康考迪亚大学吉娜·科迪工程与计算机科学学院）；YULCOM Technologies（YULCOM科技公司）；Division of Radiation Oncology, McGill University Health Centre（麦吉尔大学健康中心放射肿瘤科）
本文提出一种临床启发的胸部X光分层多标签分类方法，通过自定义分层二元交叉熵损失函数建模标签依赖关系，在CheXpert数据集上取得0.903 AUROC，并增强了模型可解释性。
2025-02-05 cs.AI cs.CV cs.LG
Hierarchical Taxonomy-Aware and Attentional Graph Capsule RCNNs for Large-Scale Multi-Label Text Classification
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University（北京航空航天大学大数据与脑计算高精尖创新中心）；State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；University of Pennsylvania（宾夕法尼亚大学）；National Computer Network Emergency Response Technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
CNN、RNN、GCN和CapsNets在表示学习方面表现出了重要的见解，并广泛用于各种文本挖掘任务，如大规模多标签文本分类。然而，大多数现有的多标签文本分类的深度模型考虑非连续和长距离语义或顺序语义，但如何考虑这两个连贯的研究较少。此外，现有的方法大多将输出标签视为独立的方法，但忽略了它们之间的层次关系，导致有用的语义信息丢失。在本文中，我们提出了一种新的分层分类意识和注意力图胶囊循环CNN框架，用于大规模多标签文本分类。具体来说，我们首先建议每个文件的词序保留图形的话，并规范化为相应的词矩阵表示，保留了非连续的，长距离和本地顺序语义。然后将单词矩阵输入到所提出的注意力图胶囊递归CNN中，以更有效地学习语义特征。为了利用类标签之间的层次关系，我们提出了一种层次分类嵌入方法来学习它们的表示，并定义了一种新的加权余量损失，通过将标签表示相似性。在三个数据集上的广泛评估表明，与最先进的方法相比，我们的模型显着提高了大规模多标签文本分类的性能。
2019-06-09 cs.IR cs.LG stat.ML
HiNet: Hierarchical Classification with Neural Network
SAP Innovation Center（SAP创新中心）；Yale-NUS College（耶鲁-新加坡国立大学学院）
传统上，分类具有超过10000个不同轨迹的大型分层标签只能通过扁平标签来实现。虽然扁平标签是可行的，它错过了标签中的层次信息。像\cite{vural2004hierarchical}的HSVM这样的分层模型变得不可能训练，因为整个架构中的SVM数量太多了。我们开发了一种基于神经网络的分层架构，这种架构易于训练。此外，我们推导出一个推理算法，可以有效地推断MAP（最大后验概率）跟踪我们的定理保证。此外，与扁平模型中的$O(n^h)$相比，该模型的复杂度仅为$O(n^2)$，其中$h$是层次结构的高度。
2018-01-12 cs.LG
Bottom-up Hierarchical Classification Using Confusion-based Logit Compression
Ohio State University（俄亥俄州立大学）；AFRL/RYAP（美国空军研究实验室/赖特-帕特森空军基地研究部）
在这项工作中，我们提出了一种方法来有效地计算标签后验的基本平面分类器中存在的几个验证的例子内自自底向上的【形】的分层推理框架。独立的验证集（不用于训练基本分类器）对于后验估计是优选的，以避免过拟合基本分类器，然而，小的验证集限制了可以有效使用的特征的数量。我们提出了一个简单的，但强大的，logit向量压缩方法的基础上广义logits和标签混淆的任务标签后验估计的上下文中的分层分类。在多个大小的验证集上提供了与其他压缩技术的广泛比较实验，并与相关的分层分类方法进行了比较。所提出的方法缓解了没有足够的验证实例进行可靠的后验估计的问题，同时保持强大的分层分类性能。
2021-10-05 cs.CV cs.LG
Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
我们考虑的问题，多标签分类的标签位于一个层次结构。然而，与大多数现有的作品在分层多标签分类，我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功，这让我们受到鼓舞，我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势：i）分类器更好地泛化，因为它利用了标签上存在层次结构的先验知识，以及ii）除了标签同现信息之外，标签嵌入还可以受益于输入数据点的流形结构，从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明，联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外，建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习，并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
A Top-down Supervised Learning Approach to Hierarchical Multi-label Classification in Networks
Pontificia Universidad Javeriana（哈维里亚那天主教大学）
节点分类是从网络中其他节点可用的信息中推断或预测缺失节点属性的任务。本文提出了一种层次多标签分类的一般预测模型，其中待推断的属性可以指定为一个严格偏序集。它是基于一个自上而下的分类方法，解决了分层多标签分类与监督学习建立一个本地分类每类。所提出的模型展示了一个案例研究的基因功能的预测水稻，水稻品种。它是比较的层次二项式邻域，概率模型，通过评估这两种方法的预测性能和计算成本。这项工作的结果支持工作假设，即所提出的模型可以实现良好的预测效率水平，同时与最先进的技术水平相关。
2022-03-23 cs.LG
Scribble-based Hierarchical Weakly Supervised Learning for Brain Tumor Segmentation
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
最近最先进的深度学习方法显着改善了脑肿瘤分割。然而，完全监督训练需要大量手动标记的掩码，这非常耗时，并且需要领域专业知识。带有涂鸦的弱监督学习在模型准确性和手动标记的工作量之间提供了一个很好的权衡。然而，为了分割分层脑肿瘤结构，手动标记每个子结构的涂鸦可能仍然是苛刻的。在本文中，我们只使用两种弱标签，即，在整个肿瘤和健康脑组织上涂写，以及每个子结构存在的全局标签，以训练深度学习模型来分割所有子区域。具体来说，我们分两个阶段训练两个网络：首先，我们只使用整个肿瘤涂鸦训练一个整个肿瘤（WT）分割网络，它大致恢复训练数据的WT掩模;然后，我们聚类的WT区域的指导下，全球标签。将聚类得到的粗糙子结构分割作为弱标记对第二个网络进行训练。密集CRF损失用于改进弱监督分割。我们在BraTS 2017数据集上评估了我们的方法，并在子结构分割上获得了具有竞争力的WT骰子分数以及与使用完全注释的掩码进行训练时的上限相比的可比分数。
2019-11-05 cs.CV cs.LG eess.IV
Hierarchical Multi-Label Classification with Missing Information for Benthic Habitat Imagery
Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机科学学院）；Memorial University of Newfoundland（纽芬兰纪念大学）；Vector Institute（向量研究所）
本研究针对底栖生境图像层次多标签分类任务，验证了在领域内数据上自监督预训练的模型在标注缺失场景下的性能优势，为水下图像自动标注建立基准。
2024-09-10 cs.CV cs.LG
BI-LAVA: Biocuration with Hierarchical Image Labeling through Active Learning and Visual Analysis
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Universidad Nacional de Ingenieria（国立工程大学）；University of Delaware（特拉华大学）
本文提出 BI-LAVA 系统，结合层次化分类器、主动学习与可视化分析，辅助专家在标签不完整的生物医学图像数据中探索、修正并生成层次化标签，提升数据质量。
2023-08-15 cs.HC cs.LG
Label Granularity Skew in Federated Learning with Hierarchical Image Classification
School of Computer Science and Engineering, Soongsil University（崇实大学计算机科学与工程学院）；School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）
本文针对联邦分层分类中存在的标签粒度偏差问题，提出FedBDFT方法，经实验验证该方法可显著提升严重标签粒度偏差下的鲁棒性，且能更好保留未见细粒度类别的分层表示。
2026-08-11 cs.LG
HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）；Tianjin University（天津大学）
目前最先进的层次文本分类模型HiAGM有两个局限性。首先，它将每个文本样本与数据集中包含不相关信息的所有标签相关联。第二，它不考虑任何统计约束的标签表示学习的结构编码器，而表示学习的约束被证明是有帮助的，在以前的工作。在本文中，我们提出HTCInfoMax来解决这些问题，通过引入信息最大化，其中包括两个模块：文本标签互信息最大化和标签先验匹配。第一个模块可以显式地对每个文本样本与其地面真值标签之间的交互进行建模，从而过滤掉不相关的信息。第二个鼓励结构编码器学习更好的表示与所需的特性，为所有的标签，可以更好地处理标签不平衡的分层文本分类。在两个基准数据集上的实验结果证明了所提出的HTCInfoMax的有效性。
2021-04-12 cs.CL cs.LG
Hyperbolic Space with Hierarchical Margin Boosts Fine-Grained Learning from Coarse Labels
Southeast University（东南大学）；Baidu Inc.（百度公司）；AInnovation Technology Group Co., Ltd（创新技术集团有限公司）；University of Toronto（多伦多大学）；Zhejiang University（浙江大学）
针对从粗标签学习细粒度嵌入的挑战，提出将视觉嵌入映射至双曲空间，并引入分层余弦间隔机制以增强判别能力，在五个基准数据集上取得SOTA结果。
2023-11-18 cs.CV cs.LG cs.MM
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
Xidian University（西安电子科技大学）；JD Finance American Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
深度度量学习（DML）在各种机器学习任务中起着至关重要的作用。然而，大多数现有的具有二进制相似性的深度度量学习方法对真实世界数据中广泛存在的噪声标签敏感。由于这些噪声标签往往会导致严重的性能下降，这是至关重要的，以提高DML的鲁棒性和泛化能力。在本文中，我们提出了一种自适应分层相似性度量学习方法。它考虑了两个噪声不敏感的信息，\textit{i.e.}，类的分歧和样本的一致性。具体而言，类间分歧可以利用双曲度量学习在建模中有效地挖掘比二进制更丰富的相似性信息，而样本一致性可以利用对比增强进一步提高模型的泛化能力。更重要的是，我们设计了一个自适应的策略来整合这些信息在一个统一的视图。值得注意的是，新方法可以扩展到任何基于对的度量损失。在基准数据集上的大量实验结果表明，与当前的深度度量学习方法相比，我们的方法具有最先进的性能。
2021-10-29 cs.AI cs.CV cs.LG
Online Continual Learning on Hierarchical Label Expansion
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
针对现实中持续学习场景新旧任务存在层级关系的问题，提出带在线学习约束的层级标签扩展（HLE）任务配置，以及基于层级感知伪标签的排练方法和内存采样策略，在多种持续学习设置上性能优于现有最优方法。
2023-08-28 cs.LG
Expert Knowledge-Guided Length-Variant Hierarchical Label Generation for Proposal Classification
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；University of Central Florida（中佛罗里达大学）；University of Macau（澳门大学）
为了促进科学和技术的发展，研究提案被提交给政府机构开发的公开竞争项目（例如，NSF）。提案分类是实现有效和公平评审任务的最重要任务之一。建议分类旨在将建议分类为长度可变的标签序列。在本文中，我们制定的建议分类问题成一个层次多标签分类任务。虽然有一些先前的研究，提案分类表现出独特的特点：1）提案的分类结果是在一个层次的学科结构，具有不同的粒度水平; 2）提案包含多种类型的文档; 3）领域专家可以经验性地提供部分标签，可以利用，以提高任务的性能。在本文中，我们专注于开发一个新的深度提案分类框架，以联合建模这三个特征。特别地，为了顺序地生成标签，我们利用先前生成的标签来预测下一级的标签;为了集成来自专家的部分标签，我们使用这些经验部分标签的嵌入来初始化神经网络的状态。我们的模型可以自动识别标签序列的最佳长度，以停止下一个标签预测。最后，我们提出了广泛的结果表明，我们的方法可以联合模型部分标签，文本信息和标签序列中的语义依赖关系，从而实现先进的性能。
2021-09-15 cs.CL cs.LG
Adapting Differential Molecular Representation with Hierarchical Prompts for Multi-label Property Prediction
College of Informatics, Huazhong Agricultural University（华中农业大学信息学院）
针对传统分子性质预测方法忽略多标签复杂关联的问题，提出分层提示分子表示学习框架HiPM，通过分层编码与任务感知提示树实现多粒度任务关联建模，在多标签数据集上达SOTA性能。
2024-08-11 cs.AI cs.LG q-bio.QM
Neo: Generalizing Confusion Matrix Visualization to Hierarchical and Multi-Output Labels
University of Konstanz（康斯坦茨大学）；Apple（苹果公司）
混淆矩阵是一种无处不在的可视化，用于帮助人们评估机器学习模型，它是一种表格布局，可以在所有数据实例上将预测的类标签与实际的类标签进行比较。我们与Apple的机器学习从业者进行了形成性研究，发现传统的混淆矩阵不支持现代应用程序中更复杂的数据结构，例如分层和多输出标签。为了表达混淆矩阵的这种变化，我们设计了一个代数模型混淆矩阵的概率分布。基于这个代数，我们开发了Neo，一个可视化的分析系统，使从业者能够灵活地创作和交互分层和多输出混淆矩阵，可视化派生的指标，重新规范化的混乱，并共享矩阵规范。最后，我们通过三个模型评估场景展示了Neo的实用性，这些场景可以帮助人们更好地理解模型性能并揭示隐藏的困惑。
2022-02-17 cs.AI cs.HC cs.LG
HMCGeo: IP Region Prediction Based on Hierarchical Multi-label Classification
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（北京邮电大学信息与通信工程学院）；Tianhe Cyberspace Security Technology Research Institute Co., Ltd.（天河网络空间安全技术研究院有限公司）
本文提出新型层次多标签分类框架HMCGeo，将IP地理定位视为层次多标签分类问题，利用残差连接特征提取、注意力预测单元及复合损失函数优化多粒度预测，显著优于现有方法。
2025-01-26 cs.LG
Efficient Path Prediction for Semi-Supervised and Weakly Supervised Hierarchical Text Classification
Hong Kong University of Science and Technology（香港科技大学）
层次文本分类有许多实际应用。然而，标记大量文档是昂贵的。在实践中，我们可以使用半监督学习或弱监督学习（例如，无数据分类）以降低标记成本。在本文中，我们提出了一个路径成本敏感的学习算法，利用结构信息，并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量的未标记数据，并将路径约束引入到学习算法中，以结合类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径相关分数结合。由于我们把结构敏感的成本的学习算法，以约束与类层次结构一致的分类，不需要重建不同结构的特征向量，我们可以显着降低计算成本相比，结构输出学习。在两个层次文本分类基准上的实验结果表明，该方法不仅是有效的，而且是有效的处理半监督和弱监督的层次文本分类。
2019-02-25 cs.IR cs.LG stat.ML
HiCoRe: Visual Hierarchical Context-Reasoning
Federal University of Technology - Parana（巴拉那联邦理工大学）；University of Maryland, College Park（马里兰大学帕克分校）
关于图像/对象及其分层交互的推理是下一代计算机视觉方法的关键概念。在这里，我们提出了一个新的框架来处理它通过一个可视化的层次上下文为基础的推理。现有的推理方法主要是利用图像对象的细粒度标签及其相互作用来预测新对象的标签。我们的框架修改了当前的信息流。它超越并独立于对象的细粒度标签来定义图像上下文。它考虑了图像及其边界框中信息的不同抽象级别（即分类）之间的分层交互。除了这些联系之外，它还考虑了它们的内在特征。为此，我们构建图并将其应用于具有卷积神经网络的图卷积网络。我们在广泛使用的卷积神经网络上显示出很强的有效性，在知名的图像数据集上获得了3倍的增益。我们评估的能力和行为，我们的框架在不同的情况下，考虑不同的（超类，子类和层次）的粒度级别。我们还探讨了注意力机制，通过图注意力网络和预处理方法，考虑到维数扩展和/或减少的功能的表示。进一步的分析进行比较监督和半监督的方法。
2019-09-02 cs.CV cs.LG
HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined RGB and Depth Inpainting
New Jersey Institute of Technology（新泽西理工学院）
提出HI-GAN，一种由三个GAN分层组成的端到端RGBD修复方法，通过引入边缘和分割标签图像作为辅助输入显著提升修复性能。
2024-02-15 cs.AI cs.CV cs.LG
Feature extraction using Spectral Clustering for Gene Function Prediction using Hierarchical Multi-label Classification
Pontificia Universidad Javeriana（哈维里亚那天主教大学）
基因注释解决了预测基因和功能之间未知关联的问题（例如，生物学过程）。尽管最近取得了进展，但主要依赖于体内生物实验的注释程序所需的成本和时间仍然非常高。本文提出了一种新的在硅片上的方法，结合聚类分析和层次多标签分类（HMC）的注释问题。该方法使用谱聚类从基因共表达网络（GCN）中提取新的特征，丰富了预测任务。HMC是用来建立多个估计，考虑基因功能的层次结构。所提出的方法被应用到玉米，在世界上最具优势和生产力的作物之一的案例研究。这些结果说明了计算机模拟方法是减少基因注释时间和成本的关键。更具体地说，他们强调了以下方面的重要性：（i）构建代表GCN中基因关系结构的新特征来注释基因;（ii）考虑生物过程的结构以获得一致的预测。
2022-04-28 cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）
针对现有层次多标签文本分类（HMTC）对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题，提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL，在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Image-based Novel Fault Detection with Deep Learning Classifiers using Hierarchical Labels
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；OG Technology（OG科技公司）
本研究提出利用故障分类体系的分层标签和软标签技术，改进深度神经网络在在线故障检测中对未知新型故障的检测能力，并在热轧钢检测图像中验证了性能提升。
2024-03-26 cs.AI cs.LG
Hierarchical Text Classification with Reinforced Label Assignment
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Peking University（北京大学）；University of Southern California（南加州大学）
虽然现有的分层文本分类（HTC）方法试图捕捉标签层次结构的模型训练，他们要么对每个标签的本地决策或完全忽略的层次信息在推理。为了解决训练和推理之间的不匹配以及以更原则的方式对标签依赖性进行建模，我们将HTC制定为马尔可夫决策过程，并建议通过深度强化学习来学习标签分配策略，以确定在何处放置对象以及何时停止分配过程。所提出的方法Hierarchy以一致的方式在训练和推理时间期间探索层次结构，并做出相互依赖的决策。作为一个通用框架，Hierarchy可以将不同的神经编码器作为端到端训练的基础模型。在五个公共数据集和四个基本模型上的实验表明，Hierarchy在Macro-F1中的平均性能比平面分类器提高了33.4%，并且比最先进的HTC方法有很大的提高。数据和代码可以在https://github.com/morningmoni/HiLAP上找到。
2019-08-27 cs.CL cs.IR cs.LG
