Causal Invariance and Counterfactual Learning Driven Cooperative Game for Multi-Label Classification
Sun Yat-sen University(中山大学)
本文提出因果协作博弈框架,通过因果发现与反事实好奇心奖励提升多标签分类的鲁棒性和稀有标签预测能力。
2025-11-30 cs.AI cs.LG
Domain-Aware Hierarchical Contrastive Learning for Semi-Supervised Generalization Fault Diagnosis
College of Cyber Security, Jinan University(济南大学网络安全学院);Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
本文提出面向域的层次对比学习框架,解决半监督域泛化故障诊断中伪标签偏差和样本利用不均的问题,通过域感知学习和层次对比学习提升监督质量与未标记样本利用。
2026-04-22 cs.AI cs.LG
Adapting Differential Molecular Representation with Hierarchical Prompts for Multi-label Property Prediction
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院)
针对传统分子性质预测方法忽略多标签复杂关联的问题,提出分层提示分子表示学习框架HiPM,通过分层编码与任务感知提示树实现多粒度任务关联建模,在多标签数据集上达SOTA性能。
2024-08-11 cs.AI cs.LG q-bio.QM
Neo: Generalizing Confusion Matrix Visualization to Hierarchical and Multi-Output Labels
University of Konstanz(康斯坦茨大学);Apple(苹果公司)
混淆矩阵是一种无处不在的可视化,用于帮助人们评估机器学习模型,它是一种表格布局,可以在所有数据实例上将预测的类标签与实际的类标签进行比较。我们与Apple的机器学习从业者进行了形成性研究,发现传统的混淆矩阵不支持现代应用程序中更复杂的数据结构,例如分层和多输出标签。为了表达混淆矩阵的这种变化,我们设计了一个代数模型混淆矩阵的概率分布。基于这个代数,我们开发了Neo,一个可视化的分析系统,使从业者能够灵活地创作和交互分层和多输出混淆矩阵,可视化派生的指标,重新规范化的混乱,并共享矩阵规范。最后,我们通过三个模型评估场景展示了Neo的实用性,这些场景可以帮助人们更好地理解模型性能并揭示隐藏的困惑。
2022-02-17 cs.AI cs.HC cs.LG
Request-and-Reverify: Hierarchical Hypothesis Testing for Concept Drift Detection with Expensive Labels
Nokia Bell Labs(诺基亚贝尔实验室);University of Florida(佛罗里达大学)
常见分类模型的一个重要假设是数据的平稳性。然而,在现实世界的流媒体应用中,由特征和标签的联合分布表示的数据概念不是静止的,而是随着时间漂移的。概念漂移检测旨在检测这种漂移并调整模型,以减轻模型预测性能的任何恶化。不幸的是,大多数现有的概念漂移检测方法依赖于一个强大的和过于乐观的条件,真正的标签是立即为所有已经分类的实例。本文提出了一种新的分层假设测试框架,该框架采用请求-再验证策略,仅在必要时请求标签来检测概念漂移。在此框架下,分别提出了两种基于分类不确定性的层次假设检验(HHT-CU)和基于属性拟合优度的层次假设检验(HHT-AG)。在基准数据集的实验中,我们的方法表现出压倒性的优势,超过最先进的无监督漂移检测器。更重要的是,当我们使用更少的标签时,我们的方法甚至优于DDM(广泛使用的监督漂移检测器)。
2018-06-28 cs.AI cs.LG stat.ML
Tree Methods for Hierarchical Classification in Parallel
我们提出的方法,使高效的分层分类并行。我们的方法将一批分类分数和标签(对应于语义树中的给定节点)转换为对应于沿着树向下到每个给定节点的祖先路径中的所有节点的分数和标签,仅依赖于在硬件加速器上有效执行的张量操作。我们实现了我们的方法,并在当前的硬件加速器上测试它们,其中包含WordNet 3.0中所有英语同义词集的树,跨越20个深度级别的117,659个类。我们将一批批分数和标签转换为它们各自的祖先路径,所产生的计算可以忽略不计,并且在数据足迹上仅消耗固定的0.04GB内存。
2022-09-21 cs.AI cs.LG
On Learning Vector Representations in Hierarchical Label Spaces
Technische Universität Darmstadt(达姆施塔特工业大学);German Institute for Educational Research(德国教育研究所)
多标签分类中的一个重要问题是捕获标签模式或对这些模式有影响的底层结构。本文解决了这样一个问题,即如何利用层次结构的标签。我们提出了一种新的方法来学习向量表示的标签空间给出了一个层次的标签和标签同现模式。我们的实验结果定性地表明,所提出的方法是能够学习标签之间的重叠,利用标签层次结构以及标签同现。它突出了层次信息的重要性,以获得促进类比推理的标签空间上的相似性。我们还通过实验说明了学习表示对标签层次结构的依赖性。
2015-04-16 cs.CL cs.LG stat.ML
Deep Learning with Label Noise: A Hierarchical Approach
Meta AI;Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
深度神经网络容易受到标签噪声的影响。现有的提高鲁棒性的方法,如元学习和正则化,通常需要对网络架构进行重大更改或仔细调整优化过程。在这项工作中,我们提出了一种简单的分层方法,在训练深度学习模型时引入了标签层次结构。我们的方法不需要改变网络架构或优化过程。我们通过广泛的模拟和真实数据集以及各种标签噪声类型来研究我们的分层网络。我们的分层方法改进了具有标签噪声的常规深度神经网络的学习。将我们的分层方法与预训练模型相结合,在现实世界的噪声数据集中实现了最先进的性能。
2022-05-28 cs.CV cs.LG
Clinically-Inspired Hierarchical Multi-Label Classification of Chest X-rays with a Penalty-Based Loss Function
Gina Cody School of Engineering and Computer Science, Concordia University(康考迪亚大学吉娜·科迪工程与计算机科学学院);YULCOM Technologies(YULCOM科技公司);Division of Radiation Oncology, McGill University Health Centre(麦吉尔大学健康中心放射肿瘤科)
本文提出一种临床启发的胸部X光分层多标签分类方法,通过自定义分层二元交叉熵损失函数建模标签依赖关系,在CheXpert数据集上取得0.903 AUROC,并增强了模型可解释性。
2025-02-05 cs.AI cs.CV cs.LG
HiNet: Hierarchical Classification with Neural Network
SAP Innovation Center(SAP创新中心);Yale-NUS College(耶鲁-新加坡国立大学学院)
传统上,分类具有超过10000个不同轨迹的大型分层标签只能通过扁平标签来实现。虽然扁平标签是可行的,它错过了标签中的层次信息。像\cite{vural2004hierarchical}的HSVM这样的分层模型变得不可能训练,因为整个架构中的SVM数量太多了。我们开发了一种基于神经网络的分层架构,这种架构易于训练。此外,我们推导出一个推理算法,可以有效地推断MAP(最大后验概率)跟踪我们的定理保证。此外,与扁平模型中的$O(n^h)$相比,该模型的复杂度仅为$O(n^2)$,其中$h$是层次结构的高度。
2018-01-12 cs.LG
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题,一些研究已经应用到策略,利用层次结构的问题,大量的类别。目前,层次文本分类(HTC)受到了广泛的关注,具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中,我们提出了一种基于分层微调有序神经元LSTM(HFT-ONLSTM)的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明,我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Online hierarchical partitioning of the output space in extreme multi-label data stream
Virginia Tech, Virginia Polytechnic Institute and State University(弗吉尼亚理工大学、弗吉尼亚理工学院和州立大学)
iHOMER通过增量分层方法提升在线多标签分类性能,有效应对概念漂移和非平稳性挑战。
2025-07-28 cs.AI cs.LG
Semi-Supervised Hierarchical Multi-Label Classifier Based on Local Information
Instituto Nacional de Astrofísica, Óptica y Electrónica(国家天文、光学与电子研究所)
本文提出基于局部信息的半监督层次多标签分类器 SSHMC-BLI,利用未标记实例的已标记邻居标签路径构建伪标签,在 12 个功能基因组学数据集上验证其能显著提升仅用标记数据训练的层次分类器性能。
2024-04-30 cs.LG q-bio.QM
Hyperbolic Interaction Model For Hierarchical Multi-Label Classification
Beijing Jiaotong University(北京交通大学)
与传统的分类任务假设标签互斥不同,层次多标签分类(HMLC)的目标是为每个实例分配多个标签,标签按照层次关系组织。除了标签,由于语言本体是内在的层次结构,词与词之间的概念关系也可以形成层次结构。因此,学习从单词层次结构到标签层次结构的映射可能是一个挑战。我们建议将单词和标签层次结构嵌入到双曲空间中。其主要原因是双曲空间的树状性与具有层次结构的符号数据的复杂性相匹配。设计了一种新的双曲交互模型(HyperIM)来学习标签感知的文档表示,并对HMLC进行预测。在三个基准数据集上进行了广泛的实验。实验结果表明,该模型能够真实地捕捉复杂的数据结构,与现有方法相比,进一步提高了HMLC的性能。为了方便未来的研究,我们的代码是公开的。
2019-09-04 cs.CL cs.LG stat.ML
Coherent Hierarchical Multi-Label Classification Networks
University of Oxford(牛津大学)
层次多标签分类(HMC)是一个具有挑战性的分类任务,通过对类施加层次约束来扩展标准多标签分类问题。在本文中,我们提出了C-HMCNN(h),这是一种解决HMC问题的新方法,它在给定底层多标签分类问题的网络h的情况下,利用层次信息来产生与约束一致的预测并提高性能。我们进行了广泛的实验分析,显示了与最先进的模型相比,C-HMCNN(h)的优越性能。
2020-10-20 cs.LG stat.ML
A Top-down Supervised Learning Approach to Hierarchical Multi-label Classification in Networks
Pontificia Universidad Javeriana(哈维里亚那天主教大学)
节点分类是从网络中其他节点可用的信息中推断或预测缺失节点属性的任务。本文提出了一种层次多标签分类的一般预测模型,其中待推断的属性可以指定为一个严格偏序集。它是基于一个自上而下的分类方法,解决了分层多标签分类与监督学习建立一个本地分类每类。所提出的模型展示了一个案例研究的基因功能的预测水稻,水稻品种。它是比较的层次二项式邻域,概率模型,通过评估这两种方法的预测性能和计算成本。这项工作的结果支持工作假设,即所提出的模型可以实现良好的预测效率水平,同时与最先进的技术水平相关。
2022-03-23 cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
针对现有层次多标签文本分类(HMTC)对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题,提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL,在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Eliminating Information Leakage in Hard Concept Bottleneck Models with Supervised, Hierarchical Concept Learning
The Hong Kong University of Science and Technology(香港科技大学)
针对概念瓶颈模型的信息泄漏问题,提出SupCBM,通过标签监督和分层概念集,利用干预矩阵实现标签预测,显著减少信息泄漏并提升性能。
2024-02-03 cs.AI cs.LG
HAXMLNet: Hierarchical Attention Network for Extreme Multi-Label Text Classification
Fudan University(复旦大学)
极端多标签文本分类(XMTC)解决了从极端尺度标签集中用最相关的标签标记每个文本的问题。传统的方法使用词袋(BOW)表示,没有上下文信息作为其特征。最先进的基于深度学习的方法AttentionXML使用递归神经网络(RNN)和多标签注意力,很难处理极端规模(数十万个标签)问题。为了解决这个问题,我们提出了我们的HAXMLNet,它使用了一个高效和有效的层次结构与多标签的注意。实验结果表明,HAXMLNet达到了竞争力的性能与其他国家的最先进的方法。
2019-03-24 cs.IR cs.LG stat.ML
A Capsule Network for Hierarchical Multi-Label Image Classification
Deakin University(迪肯大学);CSIRO Data 61(联邦科学与工业研究组织数据61所)
图像分类是计算机视觉中最重要的领域之一。当多类图像分类问题基于层次或分类法被布置成较小的问题时,分层多标签分类适用。因此,分层分类模式通常在每个实例上提供多个类别预测,由此期望这些预测反映彼此相关的图像类别的结构。在本文中,我们提出了一个多标签胶囊网络(ML-CapsNet)的分层分类。我们的ML-CapsNet预测多个图像类的基础上,分层的类标签树结构。为此,我们提出了一个损失函数,考虑到网络的多标签预测。因此,我们的ML-CapsNet的训练方法使用了从粗到细的范式,同时保持了与标签层次结构中分类级别结构的一致性。我们还使用广泛可用的数据集进行实验,并将该模型与文献中其他地方的替代品进行比较。在我们的实验中,我们的ML-CapsNet相对于这些替代方法产生了一定的改进幅度。
2022-09-13 cs.CV cs.LG
Joint Learning of Hyperbolic Label Embeddings for Hierarchical Multi-label Classification
Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
我们考虑的问题,多标签分类的标签位于一个层次结构。然而,与大多数现有的作品在分层多标签分类,我们不假设标签层次是已知的。最近双曲嵌入在捕获层次关系方面取得了成功,这让我们受到鼓舞,我们建议联合学习分类器参数和标签嵌入。这样的联合学习预计将提供双重优势:i)分类器更好地泛化,因为它利用了标签上存在层次结构的先验知识,以及ii)除了标签同现信息之外,标签嵌入还可以受益于输入数据点的流形结构,从而导致更忠实于标签层次结构的嵌入。我们提出了一种新的配方的联合学习和经验评估其有效性。结果表明,联合学习比采用基于标签共现的预训练双曲嵌入的基线有所改进。此外,建议的分类器实现国家的最先进的标准基准的泛化。我们还提出了评估的双曲嵌入联合学习,并表明他们代表的层次结构更准确地比其他的替代品。
2021-01-13 cs.CL cs.LG
Hierarchical Scoring for Machine Learning Classifier Error Impact Evaluation
National Security Institute, Virginia Tech(维吉尼亚理工大学国家安全研究所);Applied Research Corporation, Virginia Tech(维吉尼亚理工大学应用研究公司)
本文提出层次评分度量,通过评分树评估分类器误差影响,实现更细粒度的模型性能评估。
2025-08-06 cs.AI cs.LG
Rare Yet Popular: Evidence and Implications from Labeled Datasets for Network Anomaly Detection
Huawei Technologies, co. Ltd(华为技术有限公司)
异常检测研究工作通常提出算法或端到端系统,旨在自动发现数据集或流中的异常值。虽然关于算法或更好的评估指标的定义的文献比比皆是,但它们被评估的基础事实的质量很少受到质疑。在本文中,我们提出了一个系统的分析,可用的公共(以及我们的私人)地面真相异常检测的背景下,网络环境中,数据本质上是时间的,多变量的,特别是,表现出空间属性,据我们所知,我们是第一个探索。我们的分析表明,虽然根据定义,异常是时间上罕见的事件,但它们的空间特征清楚地表明,某些类型的异常比其他异常更受欢迎。我们发现,简单的聚类可以将人类标记的需求减少2倍至10倍,这是我们首次在野外进行定量分析。
2022-11-18 cs.AI cs.LG cs.NI
Label Granularity Skew in Federated Learning with Hierarchical Image Classification
School of Computer Science and Engineering, Soongsil University(崇实大学计算机科学与工程学院);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
本文针对联邦分层分类中存在的标签粒度偏差问题,提出FedBDFT方法,经实验验证该方法可显著提升严重标签粒度偏差下的鲁棒性,且能更好保留未见细粒度类别的分层表示。
2026-08-11 cs.LG
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
Xidian University(西安电子科技大学);JD Finance American Corporation(京东金融美国公司);University of Pittsburgh(匹兹堡大学)
深度度量学习(DML)在各种机器学习任务中起着至关重要的作用。然而,大多数现有的具有二进制相似性的深度度量学习方法对真实世界数据中广泛存在的噪声标签敏感。由于这些噪声标签往往会导致严重的性能下降,这是至关重要的,以提高DML的鲁棒性和泛化能力。在本文中,我们提出了一种自适应分层相似性度量学习方法。它考虑了两个噪声不敏感的信息,\textit{i.e.},类的分歧和样本的一致性。具体而言,类间分歧可以利用双曲度量学习在建模中有效地挖掘比二进制更丰富的相似性信息,而样本一致性可以利用对比增强进一步提高模型的泛化能力。更重要的是,我们设计了一个自适应的策略来整合这些信息在一个统一的视图。值得注意的是,新方法可以扩展到任何基于对的度量损失。在基准数据集上的大量实验结果表明,与当前的深度度量学习方法相比,我们的方法具有最先进的性能。
2021-10-29 cs.AI cs.CV cs.LG
Online Continual Learning on Hierarchical Label Expansion
Yonsei University(延世大学);Seoul National University(首尔国立大学)
针对现实中持续学习场景新旧任务存在层级关系的问题,提出带在线学习约束的层级标签扩展(HLE)任务配置,以及基于层级感知伪标签的排练方法和内存采样策略,在多种持续学习设置上性能优于现有最优方法。
2023-08-28 cs.LG
BI-LAVA: Biocuration with Hierarchical Image Labeling through Active Learning and Visual Analysis
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Universidad Nacional de Ingenieria(国立工程大学);University of Delaware(特拉华大学)
本文提出 BI-LAVA 系统,结合层次化分类器、主动学习与可视化分析,辅助专家在标签不完整的生物医学图像数据中探索、修正并生成层次化标签,提升数据质量。
2023-08-15 cs.HC cs.LG
HMCGeo: IP Region Prediction Based on Hierarchical Multi-label Classification
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);School of Information and Communication Engineering, Beijing University of Posts and Telecommunications(北京邮电大学信息与通信工程学院);Tianhe Cyberspace Security Technology Research Institute Co., Ltd.(天河网络空间安全技术研究院有限公司)
本文提出新型层次多标签分类框架HMCGeo,将IP地理定位视为层次多标签分类问题,利用残差连接特征提取、注意力预测单元及复合损失函数优化多粒度预测,显著优于现有方法。
2025-01-26 cs.LG
HTCInfoMax: A Global Model for Hierarchical Text Classification via Information Maximization
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Beihang University(北京航空航天大学);Tianjin University(天津大学)
目前最先进的层次文本分类模型HiAGM有两个局限性。首先,它将每个文本样本与数据集中包含不相关信息的所有标签相关联。第二,它不考虑任何统计约束的标签表示学习的结构编码器,而表示学习的约束被证明是有帮助的,在以前的工作。在本文中,我们提出HTCInfoMax来解决这些问题,通过引入信息最大化,其中包括两个模块:文本标签互信息最大化和标签先验匹配。第一个模块可以显式地对每个文本样本与其地面真值标签之间的交互进行建模,从而过滤掉不相关的信息。第二个鼓励结构编码器学习更好的表示与所需的特性,为所有的标签,可以更好地处理标签不平衡的分层文本分类。在两个基准数据集上的实验结果证明了所提出的HTCInfoMax的有效性。
2021-04-12 cs.CL cs.LG
A no-regret generalization of hierarchical softmax to extreme multi-label classification
Poznan University of Technology(波兹南理工大学);Yahoo! Research(雅虎研究院)
极端多标签分类(XMLC)是一个用从极大的可能标签池中选择的一小部分相关标签来标记实例的问题。大的标签空间可以通过将标签组织为树来有效地处理,就像通常用于多类问题的分层softmax(HSM)方法一样。在本文中,我们调查的概率标签树(PLT),最近已经设计解决XMLC问题。我们表明,PLT是一个无悔的多标签推广的HSM时,精度@k被用作模型的评价指标。至关重要的是,我们证明了选择一个标签的启发式-减少技术,从多标签到多类,是经常使用的HSM -一般是不一致的。我们还表明,我们的PLT实现(称为extremeText(XT))比使用pick-one-label启发式和XML-CNN(一种专门为XMLC问题设计的深度网络)的HSM获得了更好的结果。此外,XT在统计性能,模型大小和预测时间方面与许多最先进的方法具有竞争力,这使得它适合在在线系统中部署。
2018-10-27 cs.LG stat.ML
Expert Knowledge-Guided Length-Variant Hierarchical Label Generation for Proposal Classification
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);University of Central Florida(中佛罗里达大学);University of Macau(澳门大学)
为了促进科学和技术的发展,研究提案被提交给政府机构开发的公开竞争项目(例如,NSF)。提案分类是实现有效和公平评审任务的最重要任务之一。建议分类旨在将建议分类为长度可变的标签序列。在本文中,我们制定的建议分类问题成一个层次多标签分类任务。虽然有一些先前的研究,提案分类表现出独特的特点:1)提案的分类结果是在一个层次的学科结构,具有不同的粒度水平; 2)提案包含多种类型的文档; 3)领域专家可以经验性地提供部分标签,可以利用,以提高任务的性能。在本文中,我们专注于开发一个新的深度提案分类框架,以联合建模这三个特征。特别地,为了顺序地生成标签,我们利用先前生成的标签来预测下一级的标签;为了集成来自专家的部分标签,我们使用这些经验部分标签的嵌入来初始化神经网络的状态。我们的模型可以自动识别标签序列的最佳长度,以停止下一个标签预测。最后,我们提出了广泛的结果表明,我们的方法可以联合模型部分标签,文本信息和标签序列中的语义依赖关系,从而实现先进的性能。
2021-09-15 cs.CL cs.LG
Learning Representations For Images With Hierarchical Labels
ETH Zurich(苏黎世联邦理工学院)
图像分类已被广泛研究,但在使用非传统的外部指导而不是传统的图像-标签对来训练这样的模型的方向上的工作有限。在这篇论文中,我们提出了一套方法来利用信息的语义层次结构引起的类标签。在论文的第一部分中,我们注入标签层次知识的任意分类器和经验表明,这种外部语义信息的可用性,结合图像的视觉语义提高整体性能。在这个方向上更进一步,我们使用在自然语言中流行的基于保序嵌入的模型来更明确地建模标签-标签和标签-图像交互,并将其定制到计算机视觉领域来执行图像分类。尽管在本质上形成对比,但注入分层信息的CNN分类器和基于嵌入的模型在新呈现的真实世界ETH昆虫学收集图像数据集https://www.research-collection.ethz.ch/handle/20.500.11850/365379上的表现优于分层不可知模型。
2020-04-11 cs.CV cs.LG stat.ML
HI-GAN: Hierarchical Inpainting GAN with Auxiliary Inputs for Combined RGB and Depth Inpainting
New Jersey Institute of Technology(新泽西理工学院)
提出HI-GAN,一种由三个GAN分层组成的端到端RGBD修复方法,通过引入边缘和分割标签图像作为辅助输入显著提升修复性能。
2024-02-15 cs.AI cs.CV cs.LG
Feature extraction using Spectral Clustering for Gene Function Prediction using Hierarchical Multi-label Classification
Pontificia Universidad Javeriana(哈维里亚那天主教大学)
基因注释解决了预测基因和功能之间未知关联的问题(例如,生物学过程)。尽管最近取得了进展,但主要依赖于体内生物实验的注释程序所需的成本和时间仍然非常高。本文提出了一种新的在硅片上的方法,结合聚类分析和层次多标签分类(HMC)的注释问题。该方法使用谱聚类从基因共表达网络(GCN)中提取新的特征,丰富了预测任务。HMC是用来建立多个估计,考虑基因功能的层次结构。所提出的方法被应用到玉米,在世界上最具优势和生产力的作物之一的案例研究。这些结果说明了计算机模拟方法是减少基因注释时间和成本的关键。更具体地说,他们强调了以下方面的重要性:(i)构建代表GCN中基因关系结构的新特征来注释基因;(ii)考虑生物过程的结构以获得一致的预测。
2022-04-28 cs.LG
Hierarchical Image Classification using Entailment Cone Embeddings
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
图像分类已被广泛研究,但在使用传统图像-标签对之外的非常规外部指导进行训练方面的工作有限。我们提出了一套利用信息的语义层次结构嵌入类标签的方法。我们首先将标签层次知识注入到任意基于CNN的分类器中,并根据经验表明,这种外部语义信息与图像的视觉语义相结合的可用性提高了整体性能。在这个方向上更进一步,我们更明确地建模的标签标签和标签图像的相互作用,使用保序嵌入由欧几里德和双曲几何,在自然语言中流行,并将其调整到分层图像分类和表示学习。我们在分层ETHEC数据集上实证验证了所有模型。
2020-04-25 cs.CV cs.LG stat.ML
Beyond Flat Labels: Level-Restricted Contrastive Learning for Hierarchical Fine-Grained Vision Classification
The Ohio State University(俄亥俄州立大学);Washington University in St. Louis(圣路易斯华盛顿大学);Neuromatch;Boston University(波士顿大学)
针对多模态对比学习在层次标签空间中预测不一致的问题,提出层级限制对比学习,仅在同一层级内进行对比,并采用组平衡设计,显著提升层次一致性和分类精度。
2026-09-29 cs.CV cs.LG
Using Ontologies To Improve Performance In Massively Multi-label Prediction Models
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
大规模多标签预测/分类问题出现在医疗保健或生物学等环境中,非常精确的预测是有用的。大规模多标签问题的一个挑战是标签的频率分布通常是长尾的,这导致很少有稀有标签的正面例子。我们提出了一个解决这个问题的方法,通过修改一个神经网络的输出层,创建一个贝叶斯网络的sigmoids,利用标签之间的本体关系,以帮助共享信息之间的罕见和更常见的标签。我们将这种方法应用于疾病预测(ICD-9代码)和蛋白质功能预测(基因本体论术语)这两个大规模多标签任务,并获得了每个标签AUROC和不太常见标签平均精度的显着改善。
2019-05-28 cs.AI cs.LG stat.ML
Hierarchical Class-Based Curriculum Loss
Samsung Research America(三星美国研究院)
机器学习中的分类算法通常假设平坦标签空间。然而,大多数真实世界的数据在标签之间具有依赖性,这通常可以通过使用层次结构来捕获。利用这种关系,可以帮助开发一个模型,能够满足依赖关系,提高模型的准确性和可解释性。此外,由于层次结构中的不同级别对应于不同的粒度,因此同等地惩罚每个标签可能不利于模型学习。在本文中,我们提出了一个损失函数,分层课程损失,具有两个属性:(i)满足标签空间中存在的分层约束,以及(ii)根据标签在层次结构中的级别为标签提供非均匀权重,通过训练范式隐式学习。我们从理论上表明,建议的损失函数是一个更严格的0-1损失的限制相比,任何其他损失满足层次约束。我们测试我们的损失函数在现实世界的图像数据集,并表明,它显着大幅优于多个基线。
2020-06-05 cs.CV cs.LG stat.ML
Enhancing Text-Based Hierarchical Multilabel Classification for Mobile Applications via Contrastive Learning
Tencent Shenzhen Guangdong China;Xidian University Xi'an Shaanxi China;Shenzhen Institute of Information Technology Shenzhen Guangdong China;Independent Researcher Dublin County Dublin Ireland;Tencent;Xidian University;Shenzhen Institute of Information Technology;Independent Researcher
针对移动应用分层多标签分类问题,提出HMCN(从无约束多标签和分层约束顺序预测两角度处理分类)与HMCL(通过对比学习增强应用表示),在腾讯及公共数据集上表现优异,部署后提升用户信用风险管理KS指标10.70%。
2025-07-06 cs.LG
SYNAPSE-G: Bridging Large Language Models and Graph Learning for Rare Event Classification
Google Research(谷歌研究)
本文提出SYNAPSE-G流水线,利用LLM生成合成数据作为种子,通过图上的半监督标签传播识别并标注候选正样本,有效解决了罕见事件分类中的冷启动问题。
2025-08-13 cs.LG
All Mistakes Are Not Equal: Comprehensive Hierarchy Aware Multi-label Predictions (CHAMP)
Google Research India(谷歌印度研究院)
本文考虑层次多标签分类(HMC)问题,其中(i)每个示例可以有多个标签,(ii)标签通过特定于域的层次树相关联。在所有错误都不相等的直觉指导下,我们提出了综合层次感知多标签预测(CHAMP),这是一个根据层次树的严重程度惩罚错误预测的框架。虽然已经有作品将这样的想法应用于单标签分类,但据我们所知,对于多标签分类,专注于错误严重性的此类作品有限。关键原因是,在多标签环境中,没有明确的方法来量化先验错误预测的严重程度。在这项工作中,我们提出了一个简单但有效的指标来量化HMC中错误的严重程度,自然导致CHAMP。在六个公共HMC数据集上进行的广泛实验(图像,音频和文本)表明,结合分层信息会带来实质性的收益,因为CHAMP改善了AUPRC(2.6%的中位数百分比改善)和分层指标(2.85%的中位数百分比改善),超过了独立的分层或多标签分类方法。与标准多标签基线相比,CHAMP在稳健性(平均百分比改善8.87%)和更少的数据机制方面提供了改进的AUPRC。此外,我们的方法提供了一个框架,以提高现有的多标签分类算法更好的错误(18.1%的平均百分比增量)。
2022-06-17 cs.AI cs.CV cs.LG
Learning with Hierarchical Complement Objective
National Tsing-Hua University(国立清华大学);Electronic and Optoelectronic System Research Laboratories, ITRI(工业技术研究院电子与光电系统研究实验室);Google Research(谷歌研究院)
标签层次广泛存在于许多与视觉相关的问题中,从图像分类中的显式标签层次到语义分割中的隐式标签层次。然而,最先进的方法通常部署交叉熵损失,隐含地假设类标签是排他性的,因此彼此独立。由于来自同一父类别的类通常具有一定的相似性,我们设计了一个新的训练图,称为分层互补目标训练(HCOT),它利用了标签层次结构中的信息。HCOT最大化地面真值类的概率,同时以分层方式中和其余类的概率,使模型显式地利用标签层次结构。建议的HCOT评估图像分类和语义分割任务。实验结果证实,HCOT在CIFAR-100、ImageNet-2012和PASCAL-Context中的性能优于最先进的模型。该研究进一步证明了HCOT可以应用于具有潜在标签层次结构的任务,这是许多机器学习任务的共同特征。
2019-11-17 cs.CV cs.LG
Multi-source Hierarchical Prediction Consolidation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学);SUNY Buffalo(纽约州立大学布法罗分校);Baidu Research(百度研究院);Tsinghua University(清华大学)
在医疗数据采掘等大数据应用中,出于隐私考虑,需要从多个信息源收集同一实例的预测,在聚合多个预测时,原始特征会被丢弃或保留。此外,需要聚合众包标签以估计数据的真实情况。由于预测模型或人类众包工作人员的不完善,嘈杂和相互冲突的信息无处不在,不可避免。尽管已经提出了最先进的聚合方法来处理具有平面结构的标签空间,但是随着标签空间变得越来越复杂,标签分层结构下的聚合变得必要,但是在很大程度上被忽略了。这些标签层次结构可以提供相当多的信息,因为它们通常由领域专家创建,以理解许多现实世界案例(如蛋白质功能相互作用或疾病关系)的高度复杂的标签相关性。我们提出了一种新的多源分层预测合并方法,有效地利用复杂的分层标签结构,以解决噪声和冲突的信息,本质上源于多个不完美的来源。我们制定的问题作为一个封闭形式的解决方案的优化问题。所提出的方法捕获的平滑度整体信息源,以及惩罚任何合并结果,违反了从标签层次结构的约束。层次实例相似性以及合并结果以完全无监督的迭代方式推断。在合成数据集和真实数据集上的实验结果表明了该方法的有效性。
2016-08-11 cs.DB cs.LG
Hierarchical Taxonomy-Aware and Attentional Graph Capsule RCNNs for Large-Scale Multi-Label Text Classification
Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑计算高精尖创新中心);State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);University of Pennsylvania(宾夕法尼亚大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
CNN、RNN、GCN和CapsNets在表示学习方面表现出了重要的见解,并广泛用于各种文本挖掘任务,如大规模多标签文本分类。然而,大多数现有的多标签文本分类的深度模型考虑非连续和长距离语义或顺序语义,但如何考虑这两个连贯的研究较少。此外,现有的方法大多将输出标签视为独立的方法,但忽略了它们之间的层次关系,导致有用的语义信息丢失。在本文中,我们提出了一种新的分层分类意识和注意力图胶囊循环CNN框架,用于大规模多标签文本分类。具体来说,我们首先建议每个文件的词序保留图形的话,并规范化为相应的词矩阵表示,保留了非连续的,长距离和本地顺序语义。然后将单词矩阵输入到所提出的注意力图胶囊递归CNN中,以更有效地学习语义特征。为了利用类标签之间的层次关系,我们提出了一种层次分类嵌入方法来学习它们的表示,并定义了一种新的加权余量损失,通过将标签表示相似性。在三个数据集上的广泛评估表明,与最先进的方法相比,我们的模型显着提高了大规模多标签文本分类的性能。
2019-06-09 cs.IR cs.LG stat.ML
Hierarchical Partitioning of the Output Space in Multi-label Data
HOMER(Hierarchy Of Multi-Label Classifiers)是一种多标签学习算法,它将初始学习任务分解为多个更简单的子任务,首先从给定的标签集合中构建标签的层次结构,然后使用给定的基本多标签分类器(MLC)来处理所产生的子问题。主要目标是有效地解决现实世界中经常出现的多标签分类问题中的类不平衡和可扩展性问题。在这项工作中,我们提出了一个HOMER模型的一般设置和一个简单的扩展算法,适合于MLC的输出排名。此外,我们提供了一个详细的分析的算法的性能,无论是从一个方面的有效性和计算复杂性。一个次要的贡献涉及的K均值算法,这是在标签层次结构的第一步服务的平衡的变体的介绍。我们进行了广泛的实验,在六个真实世界的数据集,经验HOMER的参数研究,并提供了不同的聚类方法和MLC的算法的实例化的例子,实证结果表明,一个显着的改善给定的基础MLC。
2016-12-19 cs.LG stat.ML
Hierarchy-Consistent Learning and Adaptive Loss Balancing for Hierarchical Multi-Label Classification
Ocean University of China(中国海洋大学)
本文提出HCAL分类器,通过原型对比学习、自适应任务加权和原型扰动机制解决层次多标签分类中的结构一致性与损失平衡问题,并引入HVR指标评估层次一致性,在三个数据集上取得优于基线模型的精度和一致性。
2025-08-19 cs.CV cs.LG
Semi-Supervised Hierarchical Graph Classification
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
节点分类和图分类是两个图学习问题,分别预测节点的类标签和图的类标签。图的节点通常表示真实世界的实体,例如,社交网络中的用户或文档引文网络中的文档。在这项工作中,我们考虑一个更具挑战性但实际上有用的设置,其中节点本身是一个图形实例。这导致了一个层次图的观点,出现在许多领域,如社会网络,生物网络和文档收集。我们研究层次图中的节点分类问题,其中“节点”是图实例。由于标签通常是有限的,我们设计了一个新的半监督解决方案命名为SEAL-CI。SEAL-CI采用迭代框架,轮流更新两个模块,一个工作在图实例级别,另一个工作在层次图级别。为了保证层次图中不同层次之间的一致性,提出了层次图互信息(HGMI),并给出了一种有理论保证的HGMI计算方法。我们证明了这种层次图建模和建议的SEAL-CI方法对文本和社交网络数据的有效性。
2022-09-05 cs.AI cs.LG cs.SI
CHiLS: Zero-Shot Image Classification with Hierarchical Label Sets
University of California - San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出 CHiLS 方法,通过为每个类别生成子类并利用 CLIP 进行零样本分类后将预测映射回父类,在具有隐式语义层次的数据集上无需额外训练即可提升分类准确性。
2023-05-31 cs.CV cs.LG
Multilabel Classification by Hierarchical Partitioning and Data-dependent Grouping
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
在现代多标签分类问题中,每个数据实例属于一个大类集合中的少数类。换句话说,这些问题涉及学习非常稀疏的二进制标签向量。此外,在大规模问题中,标签通常具有一定的(未知的)层次结构。在本文中,我们利用标签向量的稀疏性和层次结构,使用标签分组将它们嵌入到低维空间中。因此,我们在一个低得多的维空间中解决分类问题,然后使用适当定义的提升在原始空间中获得标签。我们的方法建立在(Ubaru & Mazumdar,2017)的工作基础上,其中还探索了多标签分类的组测试思想。首先,我们提出了一种新的数据依赖的分组方法,其中我们使用一个组的建设基础上的低秩非负矩阵分解(NMF)的标签矩阵的训练实例。该构造还允许我们使用最近的结果来开发一种快速预测算法,该算法在标签数量上具有对数运行时间。然后,我们提出了一个分层分区的方法,利用标签层次结构在大规模的问题划分了大的标签空间,并创建较小的子问题,然后可以通过分组的方法独立解决。许多基准数据集上的数值结果表明,与其他流行的方法相比,我们提出的方法实现了具有竞争力的精度,显着降低计算成本。
2020-10-31 cs.LG stat.ML
HierLPR: Decision making in hierarchical multi-label classification with local precision rates
University of California(加利福尼亚大学);Academia Sinica(中央研究院)
在这篇文章中,我们提出了一种新的排名算法,称为HierLPR,多标签分类问题时,候选标签遵循一个已知的层次结构。HierLPR的动机是一个名为eAUC的新指标,我们设计它来评估分类决策的排名。这个指标与命中曲线和本地精确率相关联,强调第一次调用的准确性。我们表明,HierLPR优化eAUC下的树约束和一些轻的假设在层次结构中的节点之间的依赖关系。我们还提供了一种策略,根据HierLPR产生的排序对每个节点进行调用,目的是控制FDR或最大化F分数。我们所提出的方法的性能证明了合成数据集以及使用NCBI GEO数据集的疾病诊断的一个真正的例子。在这些情况下,HierLPR在精确度-召回率曲线的早期部分显示出优于竞争方法的有利结果。
2018-10-18 cs.LG stat.ML
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales(新南威尔士大学);The Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);Australian Institute of Health and Welfare(澳大利亚卫生与福利研究所)
国际疾病分类(ICD)编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中,我们提出了一个分层的标签式注意力Transformer模型(HiLAT)的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后,我们采用了两个层次的标签明智的注意力机制,创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能,我们开发了ClinicalplusXLNet,它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明,HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具,用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
Hierarchical Text Classification with Reinforced Label Assignment
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学);University of Southern California(南加州大学)
虽然现有的分层文本分类(HTC)方法试图捕捉标签层次结构的模型训练,他们要么对每个标签的本地决策或完全忽略的层次信息在推理。为了解决训练和推理之间的不匹配以及以更原则的方式对标签依赖性进行建模,我们将HTC制定为马尔可夫决策过程,并建议通过深度强化学习来学习标签分配策略,以确定在何处放置对象以及何时停止分配过程。所提出的方法Hierarchy以一致的方式在训练和推理时间期间探索层次结构,并做出相互依赖的决策。作为一个通用框架,Hierarchy可以将不同的神经编码器作为端到端训练的基础模型。在五个公共数据集和四个基本模型上的实验表明,Hierarchy在Macro-F1中的平均性能比平面分类器提高了33.4%,并且比最先进的HTC方法有很大的提高。数据和代码可以在https://github.com/morningmoni/HiLAP上找到。
2019-08-27 cs.CL cs.IR cs.LG
Automated Intracranial Artery Labeling using a Graph Neural Network and Hierarchical Refinement
University of Washington(华盛顿大学)
自动标注颅内动脉(ICA)的解剖名称有利于特征提取和颅内血管结构的详细分析。由于自然和病理原因,ICA存在显著变化,这使得自动标记具有挑战性。然而,用于评价解剖标记的现有公共数据集有限。我们构建了一个全面的数据集与729磁共振血管造影扫描,并提出了一个图神经网络(GNN)的方法来标记动脉分类类型的节点和边缘的属性关系图。此外,一个分层细化框架的发展,以进一步改善GNN的输出,以纳入结构和相关知识的ICA。我们的方法实现了97.5%的节点标记的准确性,63.8%的扫描正确标记的所有环威利斯节点,在测试集的105扫描与健康和患病的受试者。这是对现有技术方法的显著改进。自动动脉标记有望最大限度地减少人工描述复杂ICA网络的工作量,并为识别血管疾病的几何风险因素提供有价值的信息。我们的代码和数据集可以在https://github.com/clatfd/GNN-ARTLABEL上找到。
2020-07-11 cs.CV cs.LG eess.IV
ECLARE: Extreme Classification with Label Graph Correlations
IIT Delhi(德里印度理工学院);UC San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院);IIT Kanpur(坎普尔印度理工学院)
深度极端分类(XC)旨在训练深度架构,这些架构可以使用极大标签集中最相关的标签子集来标记数据点。XC的核心效用来自于预测训练过程中很少看到的标签。这种罕见的标签是个性化推荐的关键,可以让用户感到高兴和惊讶。然而,大量的稀有标签和每个稀有标签的少量训练数据提供了显著的统计和计算挑战。最先进的深度XC方法试图通过合并标签的文本描述来解决这个问题,但没有充分解决这个问题。本文介绍了ECLARE,这是一种可扩展的深度学习架构,不仅包含标签文本,还包含标签相关性,可在几毫秒内提供准确的实时预测。ECLARE的核心贡献包括一个简单的架构和可扩展的技术,以训练深度模型以及数百万标签规模的标签相关图。特别是,ECLARE提供的预测是2%至14%以上的准确性都公开可用的基准数据集,以及专有数据集的相关产品推荐任务来源于必应搜索引擎。ECLARE代码可在https://github.com/Extreme-classification/ECLARE上找到。
2021-07-31 cs.CL cs.IR cs.LG