UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration
Nanyang Technological University（南洋理工大学）；Wenzhou University（温州大学）
域自适应全景分割旨在通过利用一个或多个相关源域中的现成注释数据来减轻数据注释挑战。然而，现有的研究采用两个独立的网络进行实例分割和语义分割，这导致过多的网络参数以及复杂和计算密集的训练和推理过程。我们设计了UniDAformer，一个统一的域自适应全景分割Transformer，它很简单，但可以在单个网络中同时实现域自适应实例分割和语义分割。UniDAformer引入了分层掩模校准（HMC），通过在线实时自我训练，在区域、超像素和像素级别纠正不准确的预测。它有三个独特的特点：1）它能够实现统一的域自适应全景自适应; 2）它减轻了错误预测并有效地改进了域自适应全景分割; 3）它是端到端可训练的，具有简单得多的训练和推理流水线。在多个公共基准上进行的大量实验表明，与最先进的技术相比，UniDAformer实现了卓越的域自适应全景分割。
2023-03-22 cs.CV
A Fast Hierarchical Multilevel Image Segmentation Method using Unbiased Estimators
University of California San Diego（加州大学圣迭戈分校）；Schlumberger Technology Center（斯伦贝谢技术中心）
本文提出了一种新的方法，图像分割的分层多级阈值。该方法是全球性的，凝聚的性质和无视像素位置。它涉及类内方差与类间方差的无偏估计量之比的优化。我们得到一个递归关系，在每一步的方差，加快了这一进程。该方法的有效性与一些众所周知的方法进行了比较。
2007-12-24 cs.CV
Hierarchical pixel clustering for image segmentation
St. Petersburg Institute for Informatics and Automation of RAS（俄罗斯科学院圣彼得堡信息学与自动化研究所）
本文讨论了像素簇或像素段的连续数目的逐段常数图像近似。研究了图像逼近的层次序列对最优逼近序列的优化。通过减少类中的段数，提供了从像素聚类到图像分割的过渡。算法由初等公式证明。
2014-01-23 cs.CV
PartNet: A Large-scale Benchmark for Fine-grained and Hierarchical Part-level 3D Object Understanding
Stanford University（斯坦福大学）；University of California San Diego（加州大学圣迭戈分校）；Simon Fraser University（西蒙弗雷泽大学）；Intel AI Lab（英特尔人工智能实验室）
我们提出了PartNet：一个一致的，大规模的3D对象数据集，用细粒度，实例级和层次化的3D零件信息进行注释。我们的数据集包括573，585个零件实例，超过26，671个3D模型，涵盖24个对象类别。该数据集支持并充当许多任务的催化剂，例如形状分析，动态3D场景建模和模拟，启示分析等。使用我们的数据集，我们建立了三个基准任务评估三维零件识别：细粒度的语义分割，层次语义分割，和实例分割。我们对四种用于细粒度语义分割的最先进的3D深度学习算法和三种用于分层语义分割的基线方法进行了基准测试。我们还提出了一种新的方法部分实例分割，并证明其优越的性能比现有的方法。
2018-12-06 cs.CV
Image Segmentation Using Hierarchical Merge Tree
University of Utah（犹他大学）
本文研究了计算机视觉中最基本的问题之一：图像分割。我们提出了一个监督的分层方法对象无关的图像分割。从超像素过分割开始，采用树结构表示区域合并的层次结构，将图像区域分割问题归结为寻找一组树节点的标签分配。我们制定的树结构作为一个受约束的条件模型相关联的区域合并使用集成边界分类器预测的可能性。然后可以通过有效地找到模型的全局最优解来推断最终分割。我们还提出了一个迭代的训练和测试算法，生成各种树结构，并结合它们强调准确的边界分割积累。在六个公共数据集上的实验结果和与其他最新方法的比较表明，我们的方法达到了最先进的区域精度，在没有语义先验的图像分割中具有很强的竞争力。
2016-07-31 cs.CV
Part2Object: Hierarchical Unsupervised 3D Instance Segmentation
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
针对无监督3D实例分割中聚类松紧不当导致的分割误差问题，提出带物体引导的分层聚类方法Part2Object及配套的Hi-Mask3D模型，利用2D帧的3D物体性先验引导多层聚类，在多场景下取得优于现有最优模型的性能。
2024-07-14 cs.CV
Robust 3D Scene Segmentation through Hierarchical and Learnable Part-Fusion
Intel Labs（英特尔实验室）
3D语义分割是自动驾驶、机器人和AR/VR等多个场景理解应用的基本构建块。几种最先进的语义分割模型遭受部分误分类问题，其中，同一对象的部分被不正确地标记。以往的方法采用层次化、迭代法来融合语义和实例信息，但它们在上下文融合中缺乏可学习性，并且计算复杂和启发式驱动。本文提出了分段融合，一种新的基于注意力的语义和实例信息的层次融合方法，以解决部分错误分类。所提出的方法包括一个图形分割算法，用于将点分组为片段，将点特征合并为片段特征，一个可学习的基于注意力的网络，根据它们的语义和实例特征融合这些片段，然后是一个简单而有效的连接组件标记算法，将片段特征转换为实例标签。Segment-Fusion可以灵活地与任何网络架构一起用于语义/实例分割。在ScanNet和S3 DIS数据集上进行评估时，它将几个语义分割骨干的定性和定量性能提高了5%。
2021-11-16 cs.CV
Hierarchical Pyramid Representations for Semantic Segmentation
Hiroshima University（广岛大学）；Gifu University（岐阜大学）
对于语义分割来说，理解复杂和杂乱场景的上下文是一个具有挑战性的问题。然而，在没有事先和额外监督的情况下，很难对上下文进行建模，因为场景的因素，例如对象的规模、形状和外观，在这些场景中变化很大。为了解决这个问题，我们建议学习对象的结构和对象之间的层次结构，因为上下文是基于这些内在属性。在这项研究中，我们设计了新的层次结构，上下文，和多尺度的金字塔表示捕捉输入图像的属性。我们的核心思想是递归分割在不同的层次区域的基础上预定义的区域数量和聚合的上下文在这些地区。聚集的上下文被用来预测区域之间的上下文关系，并在下面的层次结构中划分区域。最后，通过构造金字塔表示从递归聚集的上下文，多尺度和层次性质。在实验中，我们证实了我们提出的方法在PASCAL上下文中达到了最先进的性能。
2021-04-05 cs.CV
Non-Hierarchical Transformers for Pedestrian Segmentation
Deep-REAL；University of Delaware（特拉华大学）
本研究针对自主系统实例分割的可访问性与包容性挑战，提出结合EVA-02非分层视觉Transformer与Cascade Mask R-CNN掩码头的方法，在AVA数据集测试集上取得52.68%的mAP，验证了ViT架构的相关效用。
2023-07-11 cs.CV
Image segmentation by optimal and hierarchical piecewise constant approximations
St. Petersburg Institute for Informatics and Automation of RAS（俄罗斯科学院圣彼得堡信息学与自动化研究所）
分段常数图像近似的连续数目的段或集群的不连通的像素进行治疗。提出了利用图像逼近的层次序列优化最优逼近序列的方法。多维情况下的彩色和多光谱图像的推广预见。
2013-06-10 cs.CV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Transformers在医学图像分割方面取得了巨大成功。然而，Transformers可能会表现出有限的泛化能力，由于潜在的单尺度自我注意力（SA）机制。在本文中，我们通过引入多尺度层次视觉Transformer（MERIT）骨干网络来解决这个问题，该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器，即级联注意力解码（CASCADE），以进一步细化MERIT生成的多阶段特征。最后，我们介绍了一种有效的多阶段特征混合损失聚合（MUTATION）方法，通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准（即，Synapse Multi-organ，ACDC）证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
Deep Hierarchical Semantic Segmentation
Beijing Institute of Technology（北京理工大学）；ETH Zurich（苏黎世联邦理工学院）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）；Baidu Research（百度研究院）
人类能够在观察中识别结构化关系，使我们能够将复杂的场景分解为更简单的部分，并在多个层次上抽象视觉世界。然而，这种人类感知的层次推理能力在当前的语义分割文献中仍然很大程度上未被探索。现有的工作往往是知道扁平标签和预测目标类专门为每个像素。在本文中，我们，而不是解决分层语义分割（HSS），其目的是在结构化，像素级的视觉观察描述的类层次结构。我们设计了HSSN，一个通用的HSS框架，解决了这项任务中的两个关键问题：i）如何有效地使现有的层次不可知的分割网络适应HSS设置，以及ii）如何利用层次信息来规范HSS网络学习。为了解决i），HSSN直接将HSS转换为逐像素多标签分类任务，仅对当前分割模型带来最小的架构改变。为了解决ii），HSSN首先探索层次结构的固有属性作为训练目标，其强制分割预测服从层次结构。此外，HSSN与层次诱导的边缘约束，重塑像素嵌入空间，从而产生良好的结构化像素表示，并最终改善分割。我们在四个语义分割数据集上进行实验（即，Mapillary Vistas 2.0、Cityscapes、LIP和PASCAL-Person-Part），采用不同的类层次、分段网络结构和主干，展示了HSSN的通用性和优越性。
2022-03-29 cs.CV
Open-Vocabulary Semantic Segmentation in Remote Sensing via Hierarchical Attention Masking and Model Composition
Institute of Photogrammetry and GeoInformation（摄影测量与地理信息研究所）
ReSeg-CLIP通过层次化注意力掩码和模型组合方法，实现无需训练的遥感开放词汇语义分割，取得最优性能。
2026-02-27 cs.CV
HiMTok: Learning Hierarchical Mask Tokens for Image Segmentation with Large Multimodal Model
Uni-Ubi；Zhejiang University（浙江大学）；Tongji University（同济大学）
提出层次化掩码分词器HiMTok，用最多32个Token表示分割掩码，免除了去分词化对原始图像的依赖，通过3阶段训练方案实现由粗到细学习与多任务双向信息流，在多项分割任务上达到SOTA并增强视觉定位与理解能力。
2025-07-16 cs.CV
Concealed Object Segmentation with Hierarchical Coherence Modeling
Sun Yat-sen University（中山大学）；Ocean University of China（中国海洋大学）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）
针对隐藏目标分割在极端场景下结果不完整的问题，提出HCM分割器，通过阶段内与跨阶段一致性建模及可逆重校准解码器提升完整性，并在三类任务上验证有效。
2024-01-22 cs.CV
Document Structure Extraction using Prior based High Resolution Hierarchical Semantic Segmentation
Media and Data Science Research Labs, Adobe（Adobe 媒体与数据科学研究实验室）；Adobe Experience Cloud（Adobe 体验云）
文档图像的结构提取是一个长期的研究课题，因为它具有广泛的实际应用价值。在本文中，我们分享我们的研究结果，采用分层语义分割网络的结构提取的任务。我们提出了一种基于先验的深度分层CNN网络架构，该架构可以使用非常高分辨率（1800 x 1000）的图像进行文档结构提取。我们将文档图像划分为重叠的水平条带，使得网络分割条带并使用其预测掩码作为预测后续条带的分割的先验。我们进行实验，通过消融方法和低分辨率变化的比较，建立我们的基于条带的网络架构的有效性。此外，为了展示我们的网络的能力，我们只对一种类型的文档（表单）进行训练，并在其他一般文档数据集上获得最先进的结果。我们介绍了我们新的人类注释的表单数据集，并表明我们的方法在提取层次结构方面显着优于该数据集上的不同分割基线。我们的方法目前正在Adobe的AEM表单中使用，用于将纸张和PDF表单自动转换为基于HTML的现代表单。
2020-09-17 cs.CV
H-EMD: A Hierarchical Earth Mover's Distance Method for Instance Segmentation
University of Notre Dame（圣母大学）；Nanjing University of Science and Technology（南京理工大学）；Leibniz-Institut für Analytische Wissenschaften–ISAS–e.V.（莱布尼茨分析科学研究所）
基于深度学习（DL）的语义分割方法在生物医学图像分割中取得了优异的性能，产生了高质量的概率图，允许提取丰富的实例信息，以促进良好的实例分割。虽然大量的努力投入到开发新的DL语义分割模型，很少注意到一个关键问题，即如何有效地探索其概率图，以达到最佳的可能实例分割。我们观察到，概率图DL语义分割模型可以用来生成许多可能的实例候选人，和准确的实例分割，可以通过选择一组“优化”的候选人作为输出实例。此外，所生成的实例候选形成行为良好的分层结构（森林），其允许以优化的方式选择实例。因此，我们提出了一种新的框架，称为分层地球移动的距离（H-EMD），实例分割在生物医学的2D+时间视频和3D图像，明智地采用了一致的实例选择与语义分割生成的概率图。H-EMD包含两个主要阶段。(1)实例候选生成：通过在森林结构中生成许多实例候选来捕获概率图中的实例结构化信息。(2)实例候选选择：从候选集合中选择实例进行最终的实例分割。我们制定了一个关键的实例选择问题的实例候选森林作为一个优化问题的基础上的推土机的距离（EMD），并解决它的整数线性规划。在8个生物医学视频或3D数据集上的大量实验表明，H-EMD始终提高DL语义分割模型，并且与最先进的方法具有很强的竞争力。
2022-06-02 cs.CV
A SAM-based Solution for Hierarchical Panoptic Segmentation of Crops and Weeds Competition
National Yang Ming Chiao Tung University（阳明交通大学）
本文针对CVPPA作物与杂草层次化全景分割挑战，提出结合SAM实例分割与DINO、YOLO-v8目标检测提示输入的方法，在PhenoBench数据集上取得81.33的PQ+分数。
2023-09-24 cs.CV
Hierarchical Superpixel Segmentation via Structural Information Theory
Beihang University（北京航空航天大学）；Shijiazhuang Tiedao University（石家庄铁道大学）；Macquarie University（麦考瑞大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对现有基于图的超像素分割方法忽略非相邻像素影响、未充分利用全局信息的问题，提出基于结构信息论的分层超像素分割方法SIT-HSS，通过1D SE引导的图构建和2D SE引导的分层图划分实现分割，性能优于现有无监督超像素分割算法。
2025-01-13 cs.CV
Diagonal Hierarchical Consistency Learning for Semi-supervised Medical Image Segmentation
University College London（伦敦大学学院）
提出DiHC-Net框架，通过对角分层一致性学习在多子模型间施加中间与最终预测的一致性正则化，实现鲁棒的半监督医学图像分割，在公共基准数据集上超越所有先前方法。
2024-04-29 cs.CV
Hierarchical Aggregation for 3D Instance Segmentation
Huazhong University of Science & Technology（华中科技大学）；Horizon Robotics（地平线机器人）
点云上的实例分割是三维场景感知中的一项基本任务。在这项工作中，我们提出了一个简洁的基于聚类的框架命名为HAIS，它充分利用了点和点集的空间关系。考虑到基于聚类的方法可能会导致过度分割或欠分割，我们引入分层聚合来逐步生成实例建议，即，点聚合用于初步聚类点到集合，集合聚合用于从集合生成完整实例。一旦获得完整的3D实例，则采用实例内预测的子网络进行噪声点过滤和掩模质量评分。HAIS速度快（每帧仅410 ms），不需要非最大抑制。它在ScanNet v2基准测试中排名第一，达到了最高的69.9% AP50，并大大超过了以前的最先进的（SOTA）方法。在S3DIS数据集上的SOTA实验结果验证了该方法的良好泛化能力。代码将在https://github.com/hustvl/HAIS上提供。
2021-08-05 cs.CV
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University（斯坦福大学）
实例分割是计算机视觉中的一个活跃话题，通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外，在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法，可以执行无监督发现的长尾类别的实例分割，通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构，我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练，没有对长尾对象进行额外的注释，我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明，该模型实现了竞争力的定量结果LVIS相比，监督和部分监督的方法。
2021-04-02 cs.CV
HIVE-Net: Centerline-Aware HIerarchical View-Ensemble Convolutional Network for Mitochondria Segmentation in EM Images
Huaqiao University（华侨大学）；Guangdong Second Provincial General Hospital（广东省第二人民医院）
电子显微镜图像的语义分割是有效获取可靠形态统计信息的重要环节。尽管使用深度卷积神经网络（CNN）取得了巨大成功，但它们仍然会产生粗分割，其中线粒体分割存在大量不连续性和假阳性。在这项研究中，我们引入了一个中心线感知的多任务网络，利用中心线作为线粒体的内在形状线索来规则化分割。由于3D CNN在大型医疗体积上的应用通常受到其大量计算成本和存储开销的阻碍，我们引入了一种新的分层视图集成卷积（HVEC），这是一种简单的3D卷积替代方案，可以使用更有效的2D卷积来学习3D空间上下文。HVEC能够分解和共享多视图信息，从而提高学习能力。在两个具有挑战性的基准上的广泛验证结果表明，所提出的方法在准确性和视觉质量方面优于最先进的方法，但模型大小大大减少。此外，所提出的模型也表现出显着提高的泛化能力，特别是当训练与相当有限的训练数据量。
2021-01-08 cs.CV
Semantic Alignment in Hyperbolic Space for Open-Vocabulary Semantic Segmentation
Fulbright University Vietnam（富布赖特大学越南分校）
本文提出HyRo框架，通过解耦超几何空间中的层次和语义对齐，提升开放词汇语义分割性能。
2026-05-09 cs.CV
Hierarchical Random Walker Segmentation for Large Volumetric Biomedical Images
International Max Planck Research School - Molecular Biomedicine（国际马克斯·普朗克分子生物医学研究学院）
图像分割的随机游走方法是半自动图像分割的常用工具，尤其在生物医学领域。然而，它的线性渐近运行时间和内存要求，使应用程序的3D数据集的大小增加不切实际。我们提出了一个层次化的框架，据我们所知，是第一次尝试克服这些限制的随机步行算法，实现了次线性运行时间和恒定的内存复杂度。该框架的目标是-而不是与基线方法相比提高分割质量-使核心数据集上的交互式分割成为可能。在合成数据和CT-ORG数据集上对该方法进行了定量评估，其中确认了算法运行时间的预期改进，同时保持了高分割质量。增量（即，交互更新）运行时间被证明在标准PC上以秒为单位，即使对于大小为数百GB的卷也是如此。在一个小的案例研究中，证明了当前生物医学研究对大现实世界的适用性。所提出的方法的实现在广泛使用的体渲染和处理软件Voreen（https：//www.uni-muenster.de/Voreen/）的版本5.2中公开可用。
2022-08-23 cs.CV
Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）；Tencent YouTu Lab（腾讯优图实验室）
我们实现了3D语义场景标注，通过边缘探索每个点和它的上下文邻居之间的语义关系。除了用于预测点标签的编码器-解码器分支之外，我们还构建了边缘分支来分层整合点特征并生成边缘特征。为了在边缘分支中加入点特征，我们建立了一个分层图框架，其中图从粗层初始化，并沿着点解码过程逐渐丰富。对于最终图中的每条边，我们预测一个标签来指示两个连接点的语义一致性，以增强点预测。在不同的层，边缘特征也被馈送到相应的点模块，以集成上下文信息，用于局部区域中的消息传递增强。这两个分支相互作用，在分割中相互合作。在多个3D语义标注数据集上的实验结果证明了本文工作的有效性。
2019-09-23 cs.CV
Hierarchical Attention Networks for Medical Image Segmentation
Renmin University of China（中国人民大学）；AInnovation Technology Co., Ltd.（创新奇智科技有限公司）；Northwestern Polytechnical University（西北工业大学）；Visionary Intelligence Ltd.（远景智能有限公司）；Beijing Tongren Hospital（北京同仁医院）；Peking Union Medical College Hospital（北京协和医院）
医学图像具有类间模糊性、高变异性和噪声等特点，其像素点的识别具有挑战性。与以往基于自注意的方法从一个层次获取上下文信息不同，本文从高阶图的角度重新构建了自注意力机制，提出了一种新的方法--层次注意力网络（HANet），用于解决医学图像分割问题。具体地，嵌入在HANet中的HA模块从多个级别的邻居捕获上下文信息，其中这些邻居是从高阶图中提取的。在高阶图中，只有当两个节点之间的相关性足够高时，它们之间才会有一条边，这自然减少了由于类间不区分而引起的噪声注意信息。所提出的HA模块对输入方差具有鲁棒性，并且可以灵活地插入到现有的卷积神经网络中。我们进行了三个医学图像分割任务，包括视盘/杯分割，血管分割，肺分割实验。大量的结果表明，我们的方法是更有效的和强大的比现有的国家的最先进的方法。
2019-11-25 cs.CV
Search3D: Hierarchical Open-Vocabulary 3D Segmentation
ETH Zurich（苏黎世联邦理工学院）；Google Zurich（谷歌苏黎世分部）；Google Munich（谷歌慕尼黑分部）；Stanford University（斯坦福大学）
Search3D提出层级开放词汇三维场景表示，支持多粒度搜索，超越物体级查询，并在场景规模部件分割基准上优于基线，同时保持物体和材料分割性能。
2025-01-22 cs.CV
Multi-level Activation for Segmentation of Hierarchically-nested Classes
Technische Universität München（慕尼黑工业大学）
对于许多生物图像分割任务，包括拓扑知识，如类的嵌套，可以大大提高结果。然而，大多数“开箱即用”的CNN模型仍然对这种先验信息视而不见。在本文中，我们提出了一种新的方法来编码这些信息，通过一个多级激活层和三个兼容的损失。我们对所有这些都进行了2018年Data Science Bowl挑战赛中亮场显微镜细胞图像中的细胞核分割的基准测试，提供了细胞和嵌套亚细胞结构的示例性分割任务。我们的方案大大加快了学习速度，并且优于使用soft-max激活的标准多类分类和先前提出的方法，显著提高了Dice得分（p值<0.007）。我们的方法在概念上是简单的，易于实现，可以集成在任何CNN架构。它可以推广到更多的类，有或没有进一步的包容关系。
2018-08-21 cs.CV
Brain Tumor Segmentation Based on Refined Fully Convolutional Neural Networks with A Hierarchical Dice Loss
Zhejiang University（浙江大学）
语义分割作为计算机视觉中的一项基本任务，可以为目标检测和实例分割提供基础信息，帮助人工智能更好地理解现实世界。自全卷积神经网络（FCNN）提出以来，由于其高像素分类精度和高定位精度，在语义分割中得到了广泛的应用。本文将几种著名的FCNN应用于脑肿瘤分割，进行比较并调整网络结构，以获得更好的性能，如精度，召回率，交集均值（mIoU）和骰子得分系数（DSC）。对经典FCNN的调整包括在卷积层之间添加更多的连接，在上采样层之后扩大解码器，以及改变浅层信息的重用方式。除了结构的修改，我们还提出了一个新的分类器与分层骰子损失。损失函数受类间包含关系的启发，将多类分类转化为多类二分分类，以抵消不平衡数据集带来的负面影响。在训练集和测试集上进行了大量的实验，以评估我们改进的全卷积神经网络和新型损失函数。有竞争力的数字证明他们比他们的前任更有效。
2018-02-13 cs.CV
HPR-SAM: Hierarchical Probabilistic Representation Learning for Prompt-free SAM-based Medical Image Segmentation
Yale University（耶鲁大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
研究针对无提示SAM医学图像分割中现有方法局限，提出HPR框架，通过DAR、MAR、LRR学习互补解剖学表示，经HPF整合预测并兼容原始SAM解码器，实验验证该框架在多数据集上有效，达最优性能。
2026-07-09 cs.CV
Improving Semantic Segmentation in Transformers using Hierarchical Inter-Level Attention
University of Toronto（多伦多大学）；Nvidia（英伟达）；Vector Institute（向量研究所）
现有的基于变换器的图像主干通常在一个方向上从较低级别向较高级别传播特征信息。这可能不是理想的，因为描绘准确对象边界的定位能力在较低的高分辨率特征图中最突出，而可以消除属于一个对象与另一个对象的图像信号的歧义的语义通常出现在更高级别的处理中。我们提出了层次间注意力（HILA），一种基于注意力的方法，捕获不同级别的功能之间的自下而上和自上而下的更新。HILA通过在骨干编码器的较高和较低级别的特征之间添加本地连接来扩展分层视觉Transformer架构。在每一次迭代中，我们构建了一个层次结构，通过让较高级别的功能竞争分配，以更新属于它们的较低级别的功能，迭代解决对象部分的关系。这些改进的较低级别特征然后用于重新更新较高级别特征。HILA可以集成到大多数分层架构中，而不需要对基础模型进行任何更改。我们将HILA添加到SegFormer和Swin Transformer中，并在语义分割中以更少的参数和FLOPS显示出显著的准确性改进。项目网址及代码：https://www.cs.toronto.edu/~garyleung/hila/
2022-07-05 cs.CV
UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation
Yale University, USA（耶鲁大学）；Nanyang Technological University, Singapore（南洋理工大学）；Dalian University of Technology, China（大连理工大学）
UniMRSeg通过分层自监督补偿在输入、特征和输出层面弥合完整与缺失模态差距，以统一网络高效应对多模态分割中的模态缺失问题，并在多个任务上显著超越现有方法。
2025-09-19 cs.CV
Beyond the Final Layer: Hierarchical Query Fusion Transformer with Agent-Interpolation Initialization for 3D Instance Segmentation
University of Science and Technology of China（中国科学技术大学）
本文提出BFL方法，通过智能体插值初始化模块和层次化查询融合解码器，解决三维实例分割中查询初始化位置与内容信息难以兼顾及深层物体消失问题，在多个数据集上取得优越性能。
2025-02-06 cs.CV
PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation
Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）
3D形状分割的深度学习方法通常被公式化为多类标记问题。现有的模型是针对一组固定的标签进行训练的，这极大地限制了它们的灵活性和自适应性。我们选择自上而下的递归分解，并基于递归神经网络开发了第一个用于3D形状分层分割的深度学习模型。从表示为点云的完整形状开始，我们的模型执行递归二进制分解，其中层次结构中所有节点的分解网络共享权重。在每个节点处，训练节点分类器以确定其分解的类型（邻接或对称）和停止标准。在高层节点中提取的特征递归地传播到低层节点。因此，在较高级别的有意义的分解提供了强有力的上下文线索，约束在较低级别的分割。同时，为了提高每个节点的分割精度，我们用为相应部分提取的形状特征来增强递归上下文特征。该方法根据点云形状的复杂程度，将点云中的三维形状分割成不固定数量的部分，具有很强的通用性和灵活性。它实现了最先进的性能，无论是细粒度和语义分割，在公共基准和一个新的基准细粒度分割提出了这项工作。我们还展示了它的应用细粒度的部分细化图像到形状重建。
2022-01-15 cs.CV
Hierarchical semantic segmentation using modular convolutional neural networks
Vayavision（Vayavision 公司）
涉及识别物体的部分或容器的内容物的图像识别任务可以被视为分层问题，其可以通过初始识别主要物体，然后识别其部分或内容物来解决。为了实现这样的模块化识别，有必要使用一种识别方法（识别一般对象）的输出作为第二种方法（识别部分或内容）的输入。近年来，卷积神经网络已经成为图像分割和分类的主要方法。本文研究了一种将卷积神经网络串联起来用于透明血管内材料的语义分割的方法。它应用一个完全卷积的神经网络将图像分割成容器和背景，容器区域用作第二个网络的输入，第二个网络识别玻璃容器的内容。将第一网络生成的分割图转移到第二网络是使用阀过滤器注意力方法执行的，该方法涉及在图像的不同片段上使用不同的过滤器。这种模块化的语义分割方法优于使用单个网络识别血管及其内容物的单步的方法。模块化神经网络的一个优点是它允许从现有的训练模块构建网络，以及训练网络模块的转移和重用，而不需要对组装的网络进行任何再训练。
2017-10-14 cs.CV
Hierarchical Multi-Scale Attention for Semantic Segmentation
Nvidia（英伟达）
多尺度推理通常用于改善语义分割的结果。多个图像尺度通过网络传递，然后将结果与平均或最大池化相结合。在这项工作中，我们提出了一种基于注意力的方法来结合多尺度预测。我们表明，在某些尺度上的预测更好地解决特定的故障模式，并且网络学会了在这种情况下支持这些尺度，以便生成更好的预测。我们的注意力机制是分层的，这使得它的训练内存效率比其他最近的方法高出大约4倍。除了实现更快的训练外，这还允许我们使用更大的作物尺寸进行训练，从而提高模型精度。我们在两个数据集上展示了我们的方法的结果：Cityscapes和Mapillary Vistas。对于具有大量弱标记图像的Cityscapes，我们还利用自动标记来提高泛化能力。使用我们的方法，我们在Mapillary（61.1 IOU值）和Cityscapes（85.1 IOU测试）中实现了新的最先进的结果。
2020-05-21 cs.CV
MIS-HCC: Hierarchical Channel Clustering for Efficient Medical Image Segmentation
Yale University（耶鲁大学）；University of Florida（佛罗里达大学）；Wichita State University（威奇托州立大学）；Purdue University（普渡大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Stevens Institute of Technology（史蒂文斯理工学院）；Zhejiang University（浙江大学）
针对医学图像分割模型在资源受限平台部署的挑战，提出分层聚类压缩方法MIS-HCC，利用瓦瑟斯坦距离表示通道相似性形成矩阵指导聚类，融合通道生成压缩网络，实验证明其在精度和压缩效率上优于现有方法。
2026-07-21 cs.CV
Hierarchical Self-Supervised Learning for Medical Image Segmentation Based on Multi-Domain Data Aggregation
University of Notre Dame（圣母大学）
大型标记数据集是监督式深度学习成功的关键，但对于医学图像分割，获得足够的注释图像用于模型训练具有高度挑战性。在许多情况下，未注释的图像是丰富的，易于获取。自监督学习在挖掘原始数据信息和表示学习方面显示出巨大的潜力。在本文中，我们提出了分层自监督学习（HSSL），一个新的自监督框架，提高医学图像分割，充分利用未注释的数据。与当前关于特定任务的自监督预训练以及随后的监督微调的文献不同，我们利用SSL从各种医学图像分割任务的异构数据中学习与任务无关的知识。具体来说，我们首先从几个医疗挑战中聚合一个数据集，然后以自我监督的方式对网络进行预训练，最后对标记数据进行微调。我们开发了一个新的损失函数，结合对比损失和分类损失和预训练的编码器-解码器架构的分割任务。我们的大量实验表明，多域联合预训练有利于下游分割任务，并显着优于单域预训练。与从头开始学习相比，我们的新方法在各种任务上都有更好的性能（例如，+0.69%至+18.60%（Dice评分，注释数据为5%）。在有限的训练数据的情况下，我们的方法可以实质性地弥合性能差距。更密集的注释（例如，10%与~ 100%的注释数据）。
2021-07-10 cs.CV
From Pixels to Objects: A Hierarchical Approach for Part and Object Segmentation Using Local and Global Aggregation
Huazhong University of Science and Technology（华中科技大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种层次化Transformer分割模型，通过局部与全局双重聚合策略从像素逐步构建超像素和物体分组，在PartImageNet和Pascal Part数据集上显著超越现有方法。
2024-09-02 cs.CV
HGFormer: Hierarchical Grouping Transformer for Domain Generalized Semantic Segmentation
Wuhan University（武汉大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
提出层次化分组Transformer（HGFormer），通过显式分组像素形成部分级和整体级掩码并结合双尺度掩码分类结果，显著提升了领域泛化语义分割的鲁棒性。
2023-05-22 cs.CV
MaskGroup: Hierarchical Point Grouping and Masking for 3D Instance Segmentation
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了三维实例分割问题，该问题在机器人学、增强现实等领域有着广泛的应用。由于三维物体周围环境的复杂性，不同物体的分离是非常困难的。为了解决这个具有挑战性的问题，我们提出了一个新的框架组和细化的3D实例。在实践中，我们首先学习每个点的偏移向量，并将其移动到其预测的实例中心。为了更好地对这些点进行分组，我们提出了一种分层点融合算法来逐步合并集中聚集的点。所有的点被分组到小的集群中，这些集群进一步逐渐经历另一个聚类过程以合并到更大的组中。这些多尺度组被用于实例预测，这有利于预测具有不同尺度的实例。此外，一个新的MaskScoreNet开发，以产生这些群体的二进制点掩模，进一步细化分割结果。在ScanNetV2和S3DIS基准上进行的大量实验证明了该方法的有效性。例如，我们的方法在ScanNetV2测试集上实现了66.4\%的mAP和0.5的IoU阈值，比最先进的方法高1.9\%。
2022-03-28 cs.CV
Shape Complexes in Continuous Max-Flow Hierarchical Multi-Labeling Problems
Robarts Research Institute（罗伯茨研究所）；Western University（韦仕敦大学）
虽然之前已经在连续最大流图像分割的上下文中研究了多个标签之间的拓扑考虑，但是还没有以一般和可扩展的方式对形状考虑进行类似的研究。本文提出了用于分割的形状复合体，它通过结合多个标签和超标签来捕获更复杂的形状，这些标签和超标签受到测地线星凸性的约束。形状复合体将测地线星形凸性约束与分层标签组织相结合，它们一起允许表示更复杂的形状。该框架避免了使用坐标系统翘曲技术将形状约束转换为拓扑约束，这对于某些分割问题可能是模糊的或定义不清的。
2015-10-15 cs.CV
CLIPer: Hierarchically Improving Spatial Representation of CLIP for Open-Vocabulary Semantic Segmentation
Tianjin University（天津大学）；Chongqing University（重庆大学）；Zhengzhou University（郑州大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出CLIPer层次化框架，通过早期层融合和扩散模型细粒度补偿改进CLIP空间表示，在多个开放词汇语义分割数据集上取得最优性能。
2024-11-21 cs.CV
Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）；University of Wurzburg（维尔茨堡大学）；KU Leuven（鲁汶大学）
针对视频语义分割中query匹配效率低的问题，提出THE-Mask方法，首次引入时序感知层级object queries，通过两轮匹配机制和层级损失提升训练效率，并设计时序聚合解码器捕捉跨帧信息，在VSPW基准上达到SOTA性能。
2023-09-14 cs.CV
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
无监督语义分割的目的是发现图像内和图像间的分组，这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地，分割具有不同的粒度级别，在无监督分割中产生了歧义。现有的方法避免了这种模糊性，并将其视为建模之外的一个因素，而我们拥抱它，并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是，一个好的表示不仅应该揭示特定的分组级别，而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性，并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法，称为分层分割（HSG）。通过捕获视觉相似性和统计共现，HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
LangHOPS: Language Grounded Hierarchical Open-Vocabulary Part Segmentation
INSAIT；Sofia University "St. Kliment Ohridski"（索菲亚大学"圣克莱门特·欧里迪斯基"）；ETH Zurich（苏黎世联邦理工学院）；TU Munich（慕尼黑技术大学）；Toyota Motor Europe（丰田欧洲公司）
LangHOPS通过多模态大语言模型实现开放词汇物体-部件实例分割，取得领域内和跨数据集的优异性能。
2026-01-12 cs.CV
Joint Segmentation and Deconvolution of Ultrasound Images Using a Hierarchical Bayesian Model based on Generalized Gaussian Priors
University of Toulouse（图卢兹大学）；IRIT/INP-ENSEEIHT（图卢兹国立综合理工学院国立高等电子技术、电子学、计算机、水力学院/图卢兹信息学研究所）；IRIT, CNRS UMR 5505（法国国家科学研究中心联合研究单位5505 图卢兹信息学研究所）
提出了一种医学超声图像的联合分割与去卷积贝叶斯方法。与分段均匀图像相反，US图像表现出与组织结构相关的重特征散斑图案。广义高斯分布（GGD）已被证明是最相关的分布之一，用于表征斑点在美国的图像。因此，我们提出了一个GGD-Potts模型定义的标签地图耦合US图像分割和反卷积。未知模型参数的贝叶斯估计，包括US图像，标签图和所有超参数，很难以封闭形式表示。因此，我们研究了一个吉布斯采样器来生成根据感兴趣的后验分布的样本。这些生成的样本最终用于计算未知参数的贝叶斯估计。所提出的贝叶斯模型的性能与现有的方法相比，通过几个实验进行现实的合成数据和在体内US图像。
2016-05-02 cs.CV
HELPNet: Hierarchical Perturbations Consistency and Entropy-guided Ensemble for Scribble Supervised Medical Image Segmentation
School of Information Science and Technology, Northwest University（西北大学信息科学与技术学院）
针对涂鸦弱监督医学图像分割标注信息有限的问题，本文提出HELPNet框架，通过层次扰动一致性、熵引导伪标签和结构先验细化三个模块提升分割精度，在多个数据集上达到接近全监督方法的性能。
2024-12-25 cs.CV
SSHMT: Semi-supervised Hierarchical Merge Tree for Electron Microscopy Image Segmentation
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）
基于区域的方法已被证明是必要的，以提高电子显微镜（EM）图像中的神经元结构的分割精度。大多数基于区域的分割方法使用评分函数来确定区域合并。这样的功能通常是学习与监督算法，需要大量的地面实况数据，这是昂贵的收集。我们提出了一个半监督的方法，减少了这种需求。基于一个合并树结构，我们开发了一个可微的无监督损失项，强制执行一致的预测，从学习的功能。然后，我们提出了一个贝叶斯模型，结合了监督和无监督的信息的概率学习。在三个EM数据集上的实验结果表明，通过使用整个地面真实数据的仅3%至7%的子集，我们的方法在完整标记数据集上的表现始终接近最先进的监督方法，并且显著优于具有相同标记子集的监督方法。
2016-08-14 cs.CV
HCNet: Hierarchical Context Network for Semantic Segmentation
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote SensingWuhan University（武汉大学测绘遥感信息工程国家重点实验室）
全局上下文信息在视觉理解问题中至关重要，特别是在像素级语义分割中。主流的方法采用自注意力机制对全局上下文信息进行建模。然而，属于不同类别的像素通常具有弱特征相关性。在自注意力机制中，不加区别地对全局像素级相关矩阵进行建模是极其冗余的。为了解决上述问题，我们提出了一个层次上下文网络差分建模同质像素强相关性和异构像素弱相关性。具体来说，我们首先提出了一个多尺度引导的预分割模块，将整个特征图划分为不同的基于类的同质区域。在每个同质区域内，我们设计了像素上下文模块来捕获像素级相关性。随后，不同的自我注意力机制，仍然在密集的像素级的方式建模弱异质相关性，区域上下文模块提出了一个统一的表示，每个区域的稀疏区域级的依赖关系模型。通过聚合细粒度的像素上下文特征和粗粒度的区域上下文特征，我们提出的网络不仅可以分层建模全局上下文信息，还可以收获多粒度表示，以更鲁棒地识别多尺度对象。我们在Cityscapes和ISPRS Vaihingen数据集上评估了我们的方法。在没有Bells或Whistles的情况下，我们的方法在Cityscapes和ISPRS Vaihingen测试集上实现了82.8%的平均IoU和91.4%的总体准确率，达到了最先进的结果。
2020-10-20 cs.CV
Hierarchical Mask2Former: Panoptic Segmentation of Crops, Weeds and Leaves
University of Lincoln（林肯大学）
提出分层全景分割方法，基于Mask2Former同时识别作物、杂草和叶片，实现75.99的PQ†，并通过紧凑架构使推理速度提升60%且精度损失小于1%。
2023-10-10 cs.CV
Scribble-Supervised Medical Image Segmentation with Dynamic Teacher Switching and Hierarchical Consistency
1 Carnegie Mellon University, PA 15213, United States 2 PASSIO Lab, North Carolina A\&T State University, NC 27401, United States 3 University of Houston, TX 77004, United States 4 Northwestern University, IL 60611, United States
SDT-Net通过动态教师切换和层次一致性机制，提升人工书写监督下医学图像分割的准确性和解剖合理性。
2026-01-23 cs.CV
Hierarchical Self-Prompting SAM: A Prompt-Free Medical Image Segmentation Framework
State Key Laboratory of Multimodal Artificial Intelligence System, Institute of Automation, Chinese Academy of Science, China（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院，中国）；School of Artificial Intelligence, University of Chinese Academy of Science, China（人工智能学院，中国科学院大学，中国）；Department of Radiology, Peking Union Medical College Hospital, Peking Union Medical College, Chinese Academy of Medical Sciences, Beijing（放射科，北医三院，北京医科大学，中国医学科学院，北京）
本文提出分层自提示SAM（HSP-SAM），首次在自提示过程中学习抽象提示，实现无提示医学图像分割，在息肉和皮肤病变等任务上性能优越，并在部分基准上较先前最优方法提升最高14.04%。
2025-06-03 cs.CV
