Exploiting Depth from Single Monocular Images for Object Detection and Semantic Segmentation
The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）
增强RGB数据与测量的深度已被证明可以提高计算机视觉中的一系列任务的性能，包括目标检测和语义分割。尽管诸如微软Kinect之类的深度传感器已经促进了这种深度信息的容易获取，但是在视觉任务中使用的绝大多数图像不包含深度信息。在本文中，我们表明，增强RGB图像与估计的深度也可以提高目标检测和语义分割的准确性。具体来说，我们首先利用最近成功的深度估计从单目图像和学习深度深度估计模型。然后，我们从估计的深度学习深度特征，并结合RGB特征进行目标检测和语义分割。此外，我们提出了一种RGB-D语义分割方法，该方法采用多任务训练方案：语义标签预测和深度值回归。我们在几个数据集上测试了我们的方法，并证明了将来自估计深度的信息结合起来显著提高了目标检测和语义分割的性能。
2016-10-06 cs.CV
Modality-Specific Enhancement and Complementary Fusion for Semi-Supervised Multi-Modal Brain Tumor Segmentation
本文提出了一种半监督多模态脑肿瘤分割框架，通过模态特异性增强模块和互补信息融合模块提升分割性能。
2025-12-10 cs.CV
Complementary Network with Adaptive Receptive Fields for Melanoma Segmentation
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong SAR, China
皮肤镜图像中黑色素瘤的自动分割是皮肤癌计算机辅助诊断的关键。现有的方法可能会受到空洞和收缩的问题，有限的分割性能。为了解决这些问题，我们提出了一种新的互补网络与自适应接收字段学习。而不是独立的分割任务，我们引入了一个前景网络来检测黑色素瘤病变和一个背景网络来掩盖非黑色素瘤区域。此外，我们提出了自适应的atrous卷积（AAC）和知识聚合模块（KAM），以填补漏洞，缓解收缩问题。AAC在多个尺度上显式地控制感受野，KAM通过扩张卷积与自适应感受野卷积浅特征图，该自适应感受野根据深特征图进行调整。此外，提出了一种新的互损，利用前台和后台网络之间的依赖性，从而使这两个网络内的干扰影响。因此，这种相互训练策略使半监督学习和提高边界敏感性。使用皮肤成像协作（ISIC）2018皮肤病变分割数据集进行训练，我们的方法实现了86.4%的骰子系数，并且与最先进的黑色素瘤分割方法相比表现出更好的性能。
2020-01-12 cs.CV
Improving Lidar-Based Semantic Segmentation of Top-View Grid Maps by Learning Features in Complementary Representations
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们介绍了一种新的方法来预测语义信息的稀疏，单次激光雷达测量的自动驾驶的背景下。特别是，我们融合了互补表示的学习特征。该方法的目的是专门在提高顶视图网格地图的语义分割。为了实现这一目标，3D LiDAR点云被投影到两个正交的2D表示上。对于每个表示，开发了定制的深度学习架构以有效地提取语义信息，该语义信息由上级深度神经网络融合。这项工作的贡献是三方面的：（1）我们检查了融合分割网络中的不同阶段。(2)我们量化了嵌入不同特征的影响。(3)我们使用这项调查的结果来设计一个量身定制的深度神经网络架构，利用不同表示的各自优势。我们的方法使用SemanticKITTI数据集进行评估，该数据集提供了超过23.000个LiDAR测量的逐点语义注释。
2022-03-02 cs.CV
ACNet: Attention Based Network to Exploit Complementary Features for RGBD Semantic Segmentation
Zhejiang University（浙江大学）
与RGB语义分割相比，RGBD语义分割考虑了深度信息，可以获得更好的分割效果。然而，由于RGB和深度（D）图像的特征分布在不同场景中显著变化，因此当代分割器有效地利用RGBD信息仍然存在问题。在本文中，我们提出了一个注意力互补网络（ACNet），它有选择地从RGB和深度分支中收集特征。主要贡献在于注意力互补模块（ACM）和三个并行分支的架构。更准确地说，ACM是一个基于通道注意力的模块，它从RGB和深度分支中提取加权特征。该架构保留了原始RGB和深度分支的推断，并同时启用融合分支。基于上述结构，ACNet能够从不同渠道开发更多高质量的特征。我们在SUN-RGBD和NYUDv 2数据集上评估了我们的模型，并证明了我们的模型优于最先进的方法。特别地，使用ResNet 50在NYUDv 2测试集上实现了48.3%的mIoU得分。我们将在https://github.com/anheidelonghu/ACNet上发布基于PyTorch的源代码和经过训练的分割模型。
2019-05-24 cs.CV
Deep Complementary Joint Model for Complex Scene Registration and Few-shot Segmentation on Medical Images
Southeast University（东南大学）；Centre de Recherche en Information Biomédicale Sino-Français (CRIBs)（中法生物医学信息研究中心）；Univ Rennes（雷恩大学）；Inserm（法国国家健康与医学研究院）；LTSI - UMR1099（信号与图像处理实验室）
基于深度学习的医学图像配准和分割联合模型利用互补性（配准的增强数据或弱监督数据、分割的区域约束）在复杂场景和Few-Shot情况下带来相互改进。然而，联合模型的进一步采用受到阻碍：1）增强数据的多样性降低，限制了分割的进一步增强，2）弱监督数据中的未对齐区域干扰训练过程，3）在Few-Shot情况下缺乏基于标签的区域约束限制了配准性能。提出了一种新的深度互补联合模型（DeepRS），用于复杂场景的配准和Few-Shot分割。我们在配准中嵌入扰动因子以增加变形的活跃性，从而保持增强数据的多样性。我们采用逐像素的加权方法来提取对齐置信度图，该置信度图突出了弱监督数据中的对齐区域，从而通过加权来抑制未对齐区域的干扰。分割模型的输出被用来实现基于深度的区域约束，从而减轻了标签的要求，并带来精细的配准。在MM-WHS 2017 Challenge的CT数据集上进行的大量实验显示了我们的DeepRS的巨大优势，其性能优于现有的最先进模型。
2020-08-03 cs.CV
MaskDiffusion: Exploiting Pre-trained Diffusion Models for Semantic Segmentation
Keio University（庆应义塾大学）
提出MaskDiffusion，利用预训练冻结Stable Diffusion实现无需训练和标注的开放词汇语义分割，在Potsdam和COCO-Stuff上显著优于现有方法，并扩展了分割应用范围。
2024-03-17 cs.CV
Exploiting Inter-pixel Correlations in Unsupervised Domain Adaptation for Semantic Segmentation
Seoul National University（首尔大学）
通过无监督领域自适应（UDA），“自训练”已经成为语义分割的主要方法。它为目标域创建一组伪标签，以提供显式的监督。然而，伪标签是有噪声的、稀疏的并且不提供关于像素间相关性的任何信息。我们认为像素间的相关性非常重要，因为语义分割是一个预测高度结构化的像素级输出的任务。因此，在本文中，我们提出了一种方法，通过自注意模块从源域到目标域的像素间的相关性。该模块将分割网络的预测作为输入，并创建将相似像素相关的自助预测。该模块只在源域上训练，以学习域不变的像素间相关性，然后在目标域上训练分割网络。该网络不仅从伪标签中学习，而且还通过跟踪自我注意模块的输出来学习，该模块提供了关于像素间相关性的额外知识。通过大量的实验，我们表明，我们的方法显着提高了两个标准的UDA基准测试的性能，也可以与最近的国家的最先进的方法相结合，以实现更好的性能。
2021-10-21 cs.CV
Exploiting the Complementarity of 2D and 3D Networks to Address Domain-Shift in 3D Semantic Segmentation
University of Bologna（博洛尼亚大学）
本文解释了多模态3D语义分割中独立处理2D和3D信息的双分支设计的有效性，并提出一种简单改进方法以增强其对域偏移的鲁棒性，在多个无监督域适应基准和域泛化场景中取得最优性能。
2023-04-06 cs.CV
Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity
Meta AI Research（元人工智能研究院）；UC Berkeley（加州大学伯克利分校）
开放世界实例分割是将像素分组为对象实例而无需任何预定分类的任务。这是具有挑战性的，因为最先进的方法依赖于从大型标记数据集获得的显式类语义，并且域外评估性能显着下降。在这里，我们提出了一种新的方法，面具的建议，通用的网络（GGN），没有语义监督。我们的方法结合了像素亲和力的局部测量与实例级掩码监督，产生一个训练方案，旨在使模型的通用数据多样性允许。我们介绍了一种预测成对亲和力（PA）的方法，这是一种学习到的像素对之间的局部关系。PA很好地概括了看不见的类别。从PA中，我们构建了一个大的伪地面实况实例掩码集;结合人工注释的实例掩码，我们训练了GGN，并在各种基准测试（包括COCO、LVIS、ADE 20 K和UVO）上在开放世界实例分割上显著优于SOTA。代码可在项目网站上获得：www.example.com。
2022-04-12 cs.CV
Complementary Patch for Weakly Supervised Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Northwestern Polytechnical University（西北工业大学）
基于图像级标签的弱监督语义分割（Weakly Supervised Semantic Segmentation，WSSS）是利用类激活图（Class Activation Map，CAM）的输出生成伪标签进行语义分割的一种新方法。然而，CAM仅从少量区域中发现种子，这可能不足以用作语义分割的伪掩码。在本文中，我们制定的CAM对象区域的扩展作为信息的增加。从信息论的角度出发，提出了一种新的互补补丁（CP）表示，并证明了一对具有互补隐藏（补丁）部分的输入图像的CAM之和（CP对）的信息大于或等于基线CAM的信息.因此，可以通过缩小CP对生成的CAM的总和与原始CAM之间的差距来获得具有更多与对象种子相关的信息的CAM。我们提出了一个由三重网络和三个正则化函数实现的CP网络（CPN）。为了进一步提高CAM的质量，我们提出了一个像素区域相关模块（PRCM），通过使用特征图和CAM之间的对象区域关系来增强上下文信息。在PASCAL VOC 2012数据集上的实验结果表明，我们提出的方法在WSSS中达到了新的最先进水平，验证了我们的CP表示和CPN的有效性。
2021-08-09 cs.CV
Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations
Shenzhen University（深圳大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一种新的模型，点云语义分割，利用本地和全局结构的点云的基础上的上下文点表示。具体来说，我们丰富了每一个点表示，通过执行一个新的门控融合点本身和它的上下文点。然后，基于丰富的表示，我们提出了一种新的图形点网络模块，依赖于图形的注意块动态地组成和更新每个点表示在本地点云结构。最后，我们诉诸于空间明智的和通道明智的注意力策略，利用点云的全球结构，从而产生每个点的语义标签。在公共点云数据库（即S3DIS和ScanNet数据集）上的广泛结果证明了我们提出的模型的有效性，优于最先进的方法。本文的代码可以在https://github.com/fly519/ELGS上找到。
2019-11-13 cs.CV
Reducing Annotation Burden: Exploiting Image Knowledge for Few-Shot Medical Video Object Segmentation via Spatiotemporal Consistency Relearning
MedAI Technology (Wuxi) Co. Ltd.（MedAI科技（无锡）有限公司）；Technical University of Munich（慕尼黑工业大学）
针对医学视频标注稀缺问题，提出两阶段框架，先利用标注图像训练少样本分割模型，再通过时空一致性再学习及特征、预测层约束提升性能，在低数据场景下实现优于现有方法的医学视频分割效果。
2025-03-19 cs.CV
CoBra: Complementary Branch Fusing Class and Semantic Knowledge for Robust Weakly Supervised Semantic Segmentation
Yonsei University（延世大学）
提出CoBra双分支框架，融合CNN的类别知识与ViT的语义知识，通过类别感知投影和语义感知投影生成鲁棒伪掩码，在PASCAL VOC 2012上实现最先进的弱监督语义分割。
2024-05-27 cs.CV
Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，广义zero-shot语义分割（GST 3）预测像素的语义标签看到和看不见的类。大多数GST 3方法采用生成方法，该方法从相应的语义类（例如，word 2 vec）来训练用于可见类和不可见类的新颖分类器。虽然生成式方法表现出不错的性能，但它们有两个局限性：（1）视觉特征偏向于可见的类;（2）每当出现新的不可见类时，分类器都应该重新训练。我们提出了一个歧视性的方法来解决这些限制在一个统一的框架。为此，我们利用视觉和语义编码器来学习一个联合嵌入空间，其中语义编码器将语义特征转换为语义原型，作为相应类的视觉特征的中心。具体来说，我们引入边界感知回归（BAR）和语义一致性（SC）损失来学习判别特征。我们的方法，利用联合嵌入空间，连同BAR和SC条款，证明了看到的偏见问题。在测试时，我们避免了利用语义原型作为最近邻（NN）分类器的再训练过程。为了进一步减轻偏见的问题，我们还提出了一种推理技术，称为阿波罗纽斯校准（AC），调制的决策边界的NN分类阿波罗纽斯圆自适应。实验结果表明，我们的框架的有效性，实现了一个新的国家的艺术标准基准。
2021-08-14 cs.CV
The Devil is in the Boundary: Exploiting Boundary Representation for Basis-based Instance Segmentation
KAIST（韩国科学技术院）
单阶段实例分割追求对实时视觉应用的更连贯的场景理解，最近得到了普及，实现了比其两阶段同行更简单和更有效的设计。此外，它的全局掩码表示通常比迄今为止占主导地位的两阶段掩码R-CNN具有更高的精度。尽管单阶段方法取得了令人鼓舞的进展，但实例边界的更精细划分仍然没有得到挖掘。实际上，边界信息提供了强形状表示，其可以与单级分割器的全卷积掩模特征协同操作。在这项工作中，我们提出了基于边界基础的实例分割（B2 Inst）来学习全局边界表示，可以补充现有的基于全局掩码的方法，这些方法通常缺乏高频细节。此外，我们设计了一个统一的掩码和边界的质量度量，并引入了一个网络块，学习得分的每一个实例的预测本身。当应用于单阶段实例分割中的最强基线时，我们的B2 Inst会带来一致的改进，并准确地解析出场景中的实例边界。无论是单阶段框架还是两阶段框架，我们都优于COCO数据集上现有的最先进的方法，具有相同的ResNet-50和ResNet-101主干。
2020-11-26 cs.CV
Exploiting Intermediate Reconstructions in Optical Coherence Tomography for Test-Time Adaption of Medical Image Segmentation
Medical University of Vienna（维也纳医科大学）
本文提出IRTTA方法，利用光学相干断层扫描中的中间重建信息，在测试时间适应医疗图像分割，提升分割性能并实现语义不确定性估计。
2026-03-05 cs.CV
Label-Efficient 3D Brain Segmentation via Complementary 2D Diffusion Models with Orthogonal Views
School of Computing, Korea Advanced Institute of Science and Technology（韩国科学技术院计算机学院）；Electrical Engineering and Computer Science, Daegu Gyeongbuk Institute of Science and Technology（大庆北科学技术院电气工程与计算机科学系）；School of Medicine, Yale University（耶鲁大学医学院）；Gordon Center for Medical Imaging, Massachusetts General Hospital and Harvard Medical School（麻省总医院与哈佛医学院戈登医学影像中心）
提出利用互补二维扩散模型从正交视图提取特征并融合为三维表示，以少标签实现可靠脑分割，优于现有自监督方法。
2024-07-17 cs.CV
Complementary Bi-directional Feature Compression for Indoor 360° Semantic Segmentation with Self-distillation
Beijing Jiaotong University（北京交通大学）；Institute of Information Science（信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京先进信息科学与网络技术重点实验室）
最近，基于水平表示的全景语义分割方法优于基于投影的解决方案，因为通过在垂直方向上压缩球形数据可以有效地去除失真。然而，这些方法忽略了失真分布先验并且限于不平衡的感受野，例如，感受野在垂直方向上是足够的，而在水平方向上是不足的。相应地，在另一个方向上压缩的垂直表示可以提供隐含的失真先验，并扩大水平感受野。在本文中，我们结合这两种不同的表示，并提出了一种新的360°语义分割解决方案，从互补的角度。我们的网络包括三个模块：一个特征提取模块，一个双向压缩模块，和一个合奏解码模块。首先，我们从全景图中提取多尺度特征。然后，设计了一个双向压缩模块，将特征压缩成两个互补的低维表示，提供内容感知和失真先验。此外，为了便于双向特征的融合，在集成解码模块中设计了一种独特的自蒸馏策略，以增强不同特征之间的交互性，进一步提高性能。实验结果表明，我们的方法优于国家的最先进的解决方案，至少有10%的改进，定量评估，同时显示最佳的视觉外观性能。
2022-07-06 cs.CV
Exploring and Exploiting Diversity for Image Segmentation
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
语义图像分割是计算机视觉的一项重要任务，但由于其包含识别和分割两个部分，因此具有一定的难度。该任务通常被转换为指数级大输出空间上的结构化输出问题，该输出空间通常由离散概率模型建模。最好的分割是通过推断最大后验概率（MAP）的解决方案，由模型定义的输出分布。由于优化的限制，模型不能任意复杂。这导致了一个权衡：设计一个更精确的模型，该模型以不精确和可能棘手的优化为代价，在图像元素之间包含丰富的高阶交互，或者利用一个易处理的模型，该模型产生不太精确的MAP解，但可能包含高质量的解作为其输出分布的其他模式。本文研究了后者，并提出了一种两阶段的语义分割方法。在第一阶段，一个易于处理的分割模型输出一组来自底层分布的高概率分割，这些分割不仅仅是彼此的微小扰动。至关重要的是，这一阶段的输出是一组多样化的合理解决方案，而不仅仅是一个单一的解决方案。在第二阶段，一个有区别地训练的重新排序模型从这个集合中选择最好的分割。重新排序阶段可以使用比可以在分割模型中可追踪地使用的特征复杂得多的特征，从而允许比简单地返回MAP解决方案更好地探索解决方案空间。该公式与底层分割模型（例如CRF、CNN等）无关。和优化算法，这使得它适用于广泛的模型和推理方法。一些语义图像分割基准数据集上的方法的评估突出了它的优越性推断MAP解决方案。
2017-09-05 cs.CV
Exploiting Diverse Characteristics and Adversarial Ambivalence for Domain Adaptive Segmentation
Alibaba Group（阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
使语义分割模型适应新领域是一个重要但具有挑战性的问题。最近已经取得了启发性的进展，但是现有方法的性能在真实数据集上是不令人满意的，其中新的目标域包括异构子域（例如，不同的天气特征）。我们指出，仔细推理的多模态在目标域可以提高适应模型的鲁棒性。为此，我们提出了一个条件引导的适应框架，该框架由一个特别关注的渐进式对抗训练（APAT）机制和一个新的自我训练策略授权。APAT策略逐步执行特定条件的对齐和关注的全局特征匹配。新的自训练方案有效地利用了易适应区域和难适应区域的对抗性矛盾以及目标子域之间的相关性。我们评估我们的方法（DCAA）在各种适应情况下，目标图像在天气条件下变化。与基线的比较和最先进的方法证明了DCAA优于竞争对手。
2021-01-07 cs.CV
Complementary Segmentation of Primary Video Objects with Reversible Flows
Beihang University（北京航空航天大学）；Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；SenseTime Group Limited（商汤集团有限公司）
分割视频中的主要对象是计算机视觉中的一个重要而又具有挑战性的问题，因为它表现出不同程度的前景/背景模糊性。为了减少这样的歧义，我们提出了一种新的配方，通过利用前景和背景的上下文，以及他们的互补约束。在此公式下，进一步定义统一的目标函数来编码每个提示。为了实现，我们设计了一个互补分割网络（CSNet）与两个独立的分支，它可以同时编码的前景和背景信息以及联合空间约束。CSNet以端到端的方式在具有手动注释的显著对象的海量图像上进行训练。通过在每个视频帧上应用CSNet，可以初始化空间前景和背景图。为了有效和高效地执行时间一致性，我们将每个帧划分为超像素，并构造邻域可逆流，以反映远距离帧中超像素之间最可靠的时间对应关系。利用这样的流，初始化的前景和背景可以沿着时间维度传播，使得主视频对象逐渐弹出并且干扰物被很好地抑制。在三个视频数据集上的实验结果表明，该方法与18种最先进的模型相比，具有令人印象深刻的性能。
2018-11-23 cs.CV
MECPformer: Multi-estimations Complementary Patch with CNN-Transformers for Weakly Supervised Semantic Segmentation
Tongji University（同济大学）
基于卷积神经网络（CNN）的弱监督语义分割的初始种子总是突出最具区分力的区域，但无法识别全局目标信息。基于Transformers的方法已被相继提出，受益于捕获远程特征表示的优势。然而，我们观察到一个缺陷，不管基于Transformer的礼物。给定一个类，基于Transformer生成的初始种子可能会侵入属于其他类的区域。受上述问题的启发，我们设计了一个简单而有效的方法，多估计互补补丁（MECP）策略和自适应冲突模块（ACM），称为MECPformer。给定一幅图像，在不同的时间段使用MECP策略进行操作，网络在不同的层次上挖掘和深度融合语义信息。此外，自适应模型自适应地去除冲突像素，并利用网络的自训练能力来挖掘潜在的目标信息。没有花里胡哨，我们的MECPformer在PASCAL VOC 2012上达到了最先进的72.0% mIoU，在MS COCO 2014数据集上达到了42.4%。该代码可在https://github.com/ChunmengLiu1/MECPformer上获得。
2023-03-19 cs.CV
Exploiting Inductive Bias in Transformer for Point Cloud Classification and Segmentation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Shandong University（山东大学）；Charles Sturt University（查尔斯特大学）
针对点云处理中点间连接提取难、现有方法难兼顾局部与全局特征的问题，提出归纳偏置辅助Transformer（IBT），融合相对位置编码等局部特征增强自注意力，在分类分割任务上表现更优。
2023-04-27 cs.CV
Complementary consistency semi-supervised learning for 3D left atrial image segmentation
Hunan University of Science and Technology（湖南科技大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
提出基于互补一致性训练的CC-Net网络，通过主模型与辅助模型间的相互扰动与一致性约束，有效利用未标记数据，在3D左心房图像分割任务中实现了优于现有先进算法的半监督分割性能。
2023-04-04 cs.CV eess.IV
Complementary Advantages: Exploiting Cross-Field Frequency Correlation for NIR-Assisted Image Denoising
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息研究院）
针对近红外辅助RGB图像去噪中两域贡献难平衡的问题，提出基于频域互补相关先验的FCENet，通过频率动态选择与穷尽融合机制实现更优去噪效果。
2025-03-24 cs.CV
Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation
School of Automation, Southeast University（东南大学自动化学院）；Technical University of Munich（慕尼黑工业大学）
针对多模态语义分割中不同传感器特征匹配差、融合不稳定的问题，提出双向极性感知跨模态融合（BPCF）模块，在6种模态配对的8个公开数据集上取得SOTA结果。
2026-10-14 cs.CV
Exploiting Unlabeled Structures through Task Consistency Training for Versatile Medical Image Segmentation
Sichuan University（四川大学）；University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
针对通用医学图像分割中部分标注数据集类别不平衡问题，提出无需额外模型的任务一致性训练框架，通过主辅头预测一致性利用未标注结构，结合过滤策略和不确定性加权损失，在8个腹部数据集上验证了有效性。
2025-09-05 cs.CV
Exploiting Domain Properties in Language-Driven Domain Generalization for Semantic Segmentation
Yonsei University（延世大学）；Sookmyung Women’s University（淑明女子大学）
本文提出DPMFormer框架，通过领域感知提示学习和对比学习提升语义分割的领域泛化能力。
2025-12-18 cs.CV
Leveraging weak complementary labels to improve semantic segmentation of hepatocellular carcinoma and cholangiocarcinoma in H&E-stained slides
Technische Universität Berlin（柏林工业大学）；Aignostics GmbH（Aignostics 公司）；Charité Universitätsmedizin Berlin（柏林夏里特医学院）；Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林健康研究所（夏里特医学院））；University Hospital Düsseldorf（杜塞尔多夫大学医院）；Ludwig-Maximilians-Universität München（慕尼黑大学）；German Cancer Research Center（德国癌症研究中心）
在本文中，我们提出了一种深度学习分割方法，用于从苏木精和伊红（H&E）染色的全切片图像中对两种最常见的原发性肝癌-肝细胞癌和肝内胆管癌进行分类和量化。虽然医学图像的语义分割通常需要领域专家进行昂贵的像素级注释，但通常存在在临床诊断中常规获得但很少用于模型训练的附加信息。我们建议通过推导补充标签来利用来自患者诊断的这种弱信息，该标签指示样本不能属于哪个类别。为了整合这些标签，我们制定了一个互补的损失分割。受医学应用的启发，我们证明了在模型训练期间包含仅具有弱互补标签的额外补丁可以显着提高模型的预测性能和鲁棒性。在肝细胞癌和肝内胆管细胞癌之间的诊断鉴别的任务，我们达到了平衡的准确性为0.91（95%置信区间：0.86 - 0.95），在案件水平的165个坚持。此外，我们还表明，利用互补标签提高了分割的鲁棒性，并提高了案例级的性能。
2023-02-03 cs.CV cs.LG
Exploiting saliency for object segmentation from image level labels
Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Amsterdam（阿姆斯特丹大学）
近年来，语义标签任务有了显著的改进。然而，现有技术的方法依赖于大规模像素级注释。本文研究了从当前对象类的图像级注释中训练像素级语义标签网络的问题。最近，已经表明，可以从图像级标签获得指示有区别的对象区域的高质量种子。在没有额外信息的情况下，由于同现，获得对象的完整范围是一个固有的不适定问题。我们建议使用一个显着性模型作为额外的信息，从而利用先验知识的对象范围和图像统计。我们展示了如何结合这两个信息源，以恢复80%的完全监督性能-这是最新的弱监督训练的像素级语义标记。该代码可在https://goo.gl/KygSeb上获得。
2017-07-14 cs.CV
Efficient Event-Based Semantic Segmentation via Exploiting Frame-Event Fusion: A Hybrid Neural Network Approach
Hebei Li 1, † , Yansong Peng 1, † , Jiahui Yuan 1 , Peixi Wu 1 , Jin Wang 1 Yueyi Zhang 1, * , Xiaoyan Sun 1, 2（河北理工大学）
本文提出一种融合脉冲神经网络与人工神经网络的混合框架，通过三个专用模块高效结合事件与帧信息，在多个数据集上实现最先进分割精度并显著降低能耗。
2025-07-04 cs.CV
Exploiting Object-based and Segmentation-based Semantic Features for Deep Learning-based Indoor Scene Classification
University of Coimbra（科英布拉大学）；Polytechnic Institute of Tomar（托马理工学院）
针对室内场景分类的类间模糊和类内差异问题，提出融合目标检测语义信息与语义分割的SHMF特征及三分支GOS²F²App网络，在两个基准数据集上取得最优结果。
2024-04-11 cs.CV
MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation
TU Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；NVIDIA（英伟达公司）；Microsoft（微软公司）
提出MICDrop，通过互补掩蔽图像和深度编码特征并引入特征融合模块，强制利用双模态信息，提升无监督域适应语义分割在精细结构和模糊外观上的性能，在多个基准上达到SOTA。
2024-08-29 cs.CV
OOD-SEG: Exploiting out-of-distribution detection techniques for learning image segmentation from sparse multi-class positive-only annotations
Department of Neurosurgery, King's College Hospital（国王学院医院神经外科）
本文提出一种基于分布外检测技术的图像分割方法，利用稀疏多类正样本标注进行学习，无需背景标注，提升分割鲁棒性和泛化能力。
2026-04-02 cs.CV
Modality Mixer Exploiting Complementary Information for Multi-modal Action Recognition
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院）
本文提出 M-Mixer 网络，通过 MCU 循环单元和 CFEM 模块有效融合跨模态互补信息与时序上下文，在多个数据集上实现了优于现有最先进方法的动作识别性能。
2023-11-21 cs.CV
TFNet: Exploiting Temporal Cues for Fast and Accurate LiDAR Semantic Segmentation
HKUST(GZ)（香港科技大学（广州））；University of Bonn（波恩大学）；HKUST（香港科技大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对基于距离图像的激光雷达语义分割中“多对一”导致的点遮挡问题，提出融合时间信息的TFNet及通用最大投票后处理方法，在两个基准上验证了有效性。
2024-04-14 cs.CV
4D-CS: Exploiting Cluster Prior for 4D Spatio-Temporal LiDAR Semantic Segmentation
Northeastern University（东北大学）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization, Northeastern University（东北大学工业智能与系统优化国家前沿科学中心）
针对多帧LiDAR分割时空不一致问题，本文提出双分支网络4D-CS，利用跨帧聚类先验融合点特征与聚类特征，在SemanticKITTI和nuScenes上取得最先进性能。
2025-01-06 cs.CV
DepthFlow: Exploiting Depth-Flow Structural Correlations for Unsupervised Video Object Segmentation
GenGenAI；Yonsei University（延世大学）
本文提出 DepthFlow，利用深度与光流结构的相关性从单张图像合成光流，将图像-掩码对扩展为 VOS 训练三元组，并以简单编码器-解码器在全部公开基准上达到最先进水平。
2025-07-26 cs.CV
Exploit CAM by itself: Complementary Learning System for Weakly Supervised Semantic Segmentation
Southeast University（东南大学）；Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）
基于图像级标签的弱监督语义分割（WSSS）一直受到类激活图（CAM）导致的对象区域不完整的困扰，CAM无法生成用于语义分割的细粒度掩模。为了指导CAM发现更多的非歧视性对象模式，本文转向一个有趣的工作机制，在代理学习互补学习系统（CLS）。CLS认为，新皮层建立了一种一般知识的感觉，而海马体专门学习特定的细节，完成了学习的模式。受这种简单但有效的学习模式的启发，我们提出了一种通用特定的学习机制（GSLM）来显式地驱动粗粒度的CAM到细粒度的伪掩码。具体来说，GSLM开发了通用学习模块（GLM）和特定学习模块（SLM）。GLM通过图像级监督进行训练，以从CAM中提取粗略和一般的定位表示。基于GLM中的一般知识，SLM逐步利用来自本地化表示的特定空间知识，以显式方式扩展CAM。为此，我们提出了种子重新激活，以帮助SLM重新激活非歧视性的地区，通过设置一个边界的激活值，它连续识别更多的CAM区域。在没有额外的细化过程的情况下，我们的方法能够在PASCAL VOC 2012上实现超过20.0% mIoU的CAM突破性改进，在MS COCO 2014数据集上实现10.0% mIoU，这代表了现有WSSS方法中的最新技术水平。
2023-03-04 cs.CV
Beyond CNNs: Exploiting Further Inherent Symmetries in Medical Images for Segmentation
Macquarie University（麦考瑞大学）；University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
肿瘤的自动分割是医学图像分析和计算机辅助诊断的关键步骤。虽然现有的基于卷积神经网络（CNN）的方法已经达到了最先进的性能，但在医学肿瘤分割中仍然存在许多挑战。这是因为常规CNN只能利用平移不变性，而忽略了医学图像中存在的其他固有对称性，如旋转和反射。为了克服这一缺点，我们提出了一种新的组等变分割框架，通过编码这些固有的对称性来学习更精确的表示。首先，在每个方向上设计了基于核的同变运算，可以有效地解决现有方法中学习对称性的差距。然后，为了保持分割网络全局等变，我们设计了具有逐层对称约束的独特组层。通过利用进一步的对称性，新的分割CNN可以大大降低样本复杂度和滤波器的冗余度（大约2/3）。更重要的是，基于我们的新框架，我们证明了新构建的GER-UNet在现实世界的临床数据上优于其常规的基于CNN的同行和最先进的分割方法。具体来说，我们的分割框架的组层可以无缝集成到任何流行的基于CNN的分割架构中。
2020-05-08 cs.CV cs.LG eess.IV
Exploiting Inherent Class Label: Towards Robust Scribble Supervised Semantic Segmentation
Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究院）；Peking University（北京大学）；National Biomedical Imaging Center, Peking University（北京大学国家生物医学成像科学中心）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对涂鸦监督语义分割中标签稀疏与风格多变导致的预测不稳定问题，提出利用类别标签生成伪标签的类别驱动涂鸦促进网络，并构建 ScribbleCOCO、ScribbleCityscapes 基准验证其准确与鲁棒优势。
2025-03-18 cs.CV
GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation
The University of Sydney（悉尼大学）
从投影视图（如范围视图（RV）和鸟瞰视图（BEV））中分割点云语义分割已被深入研究。不同的视图获取点云的不同信息，因此彼此互补。然而，现有的基于投影的点云语义分割方法在预测不同视图时通常采用香草后期融合策略，未能在表示学习过程中从几何角度探索互补信息。在本文中，我们引入了一个几何流网络（GFNet），探索不同的视图之间的几何对应关系，在一个融合前的搜索方式。具体而言，我们设计了一种新的几何流模块（GFM）双向对齐和传播的互补信息，根据几何关系下的端到端的学习计划在不同的视图。我们在两个广泛使用的基准数据集SemanticKITTI和nuScenes上进行了大量的实验，以证明我们的GFNet用于基于项目的点云语义分割的有效性。具体地说，GFNet不仅显著提高了每个视图的性能，而且在所有现有的基于投影的模型上实现了最先进的结果。代码可在\url{https://github.com/haibo-qiu/GFNet}上获得。
2022-09-24 cs.CV
Exploiting Target Knowledge from MLLMs for Robust Few-Shot Segmentation
UCAS（中国科学院大学）；ISCAS（中国科学院软件研究所）；UNT（北德克萨斯大学）
提出MK-FSS框架，利用多模态大语言模型挖掘查询图像的空间与语义目标知识，通过双记忆融合和跨模态提示增强SAM 2的少样本分割鲁棒性，显著优于现有方法。
2026-09-25 cs.CV
RFBNet: Deep Multimodal Networks with Residual Fusion Blocks for RGB-D Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
RGB-D语义分割方法常规地使用两个独立的编码器来从RGB和深度数据提取特征。然而，缺乏有效的融合机制来桥接编码器，以充分利用来自多个模态的互补信息。本文提出了一种新的自下而上的交互式融合结构来建模编码器之间的相互依赖性。该结构引入交互流来互连编码器。交互流不仅逐步聚合来自编码器的特定于模态的特征，而且还为它们计算互补特征。为了实例化这种结构，本文提出了一种残差融合块（RFB），以制定编码器的相互依赖性。RFB由两个剩余单元和一个带有门机构的融合单元组成。它为特定于模态的编码器学习互补特征，并提取特定于模态的特征以及跨模态特征。在RFB的基础上，提出了一种用于RGB-D语义分割的深度多模态网络RFBNet。在两个数据集上的实验证明了对相互依赖关系建模的有效性，并且RFBNet达到了最先进的性能。
2019-09-16 cs.CV
Complementary and Contrastive Learning for Audio-Visual Segmentation
School of Information and Communication Engineering, Dalian University of Technology（信息与通信工程学院，大连理工大学）；School of Future Technology and the School of Artificial Intelligence, Dalian University of Technology（未来技术学院和人工智能学院，大连理工大学）
提出CCFormer框架，通过早期集成模块、多查询Transformer模块和双模态对比学习全面捕捉音视频时空上下文，在S4、MS3和AVSS数据集上达到最先进水平。
2025-10-11 cs.CV
Exploiting bilateral symmetry in brain lesion segmentation
University of Ottawa（渥太华大学）
包括中风和肿瘤在内的脑部病变在位置、大小、强度和形式方面具有高度的可变性，使得自动分割变得困难。我们提出了一种改进现有的分割方法，利用双边准对称的健康大脑，故障时，病变的存在。具体来说，我们使用神经图像的非线性配准到其自身的反射版本（“反射配准”）来确定每个体素在另一个半球中的同源（对应）体素。将同源体素周围的补丁作为一组新特征添加到分割算法中。为了评估这种方法，我们实现了两种不同的基于CNN的多模式MRI中风病变分割算法，然后通过使用上述反射配准方法添加额外对称特征来增强它们。对于每种架构，我们在缺血性卒中病变分割挑战（ISLES）2015挑战的SISS训练数据集上比较了有和没有对称增强的性能。使用仿射反射配准可以提高基线性能，但非线性反射配准可以提供更好的结果：一种架构的Dice系数比基线提高了13个百分点，另一种架构提高了9个百分点。我们认为，现有的分割算法，特别是使用非线性，无模板的方法添加对称功能的广泛适用性。
2019-07-18 cs.CV cs.LG eess.IV
Context-Aware Interaction Network for RGB-T Semantic Segmentation
Shanghai University（上海大学）；Wenzhou Institute of Shanghai University（上海大学温州研究院）
针对RGB-T语义分割中多层级信息交互未能有效探索模态间互补关系的问题，提出CAINet，通过CACR、GCM和DA模块结合辅助监督显式引导上下文交互，在MFNet和PST900数据集上达到SOTA性能。
2024-01-03 cs.CV
Exploiting Clinically Available Delineations for CNN-based Segmentation in Radiotherapy Treatment Planning
Amsterdam University Medical Center, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹医学中心）；University Medical Center Utrecht（乌得勒支大学医学中心）；Image Sciences Institute, University Medical Center Utrecht（乌得勒支大学医学中心影像科学研究所）
卷积神经网络（CNN）已被广泛和成功地用于医学图像分割。然而，CNN通常被认为需要大量的专用专家分段训练卷，这在实践中可能是有限的。这项工作调查临床上获得的分割，这是很容易在图片存档和通信系统（PACS）可以提供一个可能的数据来源，训练的CNN分割器官的危险（OAR）在放射治疗计划。在这些数据中，可能缺乏被认为与目标临床用途无关的结构描述。为了克服这个问题，我们使用多标签而不是多类分割。我们凭经验评估了多少临床描绘将足以训练用于OAR分割的CNN，并发现将训练集大小增加到有限数量的图像之外会导致收益急剧减少。此外，我们发现，通过使用多标签分割，参考标准中的缺失结构不会对整体分割精度产生负面影响。这些结果表明，在临床工作流程中获得的分割可用于训练准确的OAR分割模型。
2019-11-12 cs.CV cs.LG stat.ML
C3S3: Complementary Competition and Contrastive Selection for Semi-Supervised Medical Image Segmentation
Zhejiang University of Technology（浙江工业大学）
针对半监督医学图像分割中边界细节捕捉不准的问题，提出C3S3模型。该模型通过结果驱动的对比学习模块优化边界定位，并利用动态互补竞争模块生成高质量伪标签，显著提升了分割精度与边界清晰度。
2025-06-25 cs.AI cs.CV
Cross-Domain Complementary Learning Using Pose for Multi-Person Part Segmentation
University of Washington（华盛顿大学）；Microsoft Azure+AI（微软Azure+AI）
带有逐像素训练标签的监督深度学习在多人部分分割方面取得了巨大成功。然而，像素级的数据标记非常昂贵。为了解决这一问题，人们一直在探索使用合成数据来避免数据标注。虽然为合成数据生成标签很容易，但与使用真实数据和手动标签的结果相比，结果要差得多。性能的下降主要是由于畴隙，即，真实数据和合成数据之间像素值统计的差异。在本文中，我们观察到，真实的和合成的人都有一个骨架（姿势）表示。我们发现，在训练过程中，骨架可以有效地连接合成域和真实域。我们所提出的方法利用了真实数据的丰富和现实的变化和容易获得的标签的合成数据学习多人部分分割的真实图像上没有任何人类注释的标签。通过实验，我们表明，在没有任何人类标记的情况下，我们的方法可以在Pascal-Person-Parts和COCO-DensePose数据集上执行几种需要人类标记的最先进方法。另一方面，如果在训练过程中真实图像中也有部分标签，则我们的方法比有监督的最先进的方法表现得更好。我们进一步证明了我们的方法在预测真实图像中的新关键点时的通用性，其中没有真实的数据标签可用于新关键点检测。代码和预训练模型可在https://github.com/kevinlin311tw/CDCL-human-part-segmentation上获得
2020-05-14 cs.CV
Exploiting segmentation labels and representation learning to forecast therapy response of PDAC patients
Technical University of Munich（慕尼黑工业大学）；Klinikum Rechts der Isar（伊萨尔河右岸医院）；Imperial College London（帝国理工学院）；German Cancer Consortium DKTK（德国癌症联盟（DKTK））
胰腺导管腺癌的治疗反应的预测是一个具有临床挑战性和重要的任务，在这个高死亡率的肿瘤实体。能够应对这一挑战的神经网络的训练受到缺乏大型数据集和胰腺解剖定位困难的阻碍。在这里，我们提出了一种混合深度神经网络管道来预测肿瘤对初始化疗的反应，该管道基于实体瘤反应评价标准（RECIST）评分，这是临床医生进行癌症反应评价的标准化方法以及肿瘤标志物和患者的临床评价。我们利用了从分割到分类的表示转移以及本地化和表示学习的组合。我们的方法产生了一个非常数据有效的方法，能够预测治疗反应，ROC-AUC为63.7%，总共只使用477个数据集。
2023-03-30 cs.CV eess.IV
LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation
School of Electrical and Computer Engineering Purdue University（普渡大学电气与计算机工程学院）；Weldon School of Biomedical Engineering Purdue University（普渡大学生物医学工程学院）
用于视觉场景理解的逐像素语义分割不仅需要准确，而且需要高效，以便在实时应用中找到任何用途。现有的算法虽然准确，但它们并没有专注于有效地利用神经网络的参数。因此，它们在参数和操作数量方面都很庞大;因此也很慢。在本文中，我们提出了一种新的深度神经网络架构，该架构允许它在不显著增加参数数量的情况下进行学习。我们的网络仅使用1150万个参数和21.2 GFLOPs来处理分辨率为3x 640 x360的图像。它在CamVid上提供了最先进的性能，并在Cityscapes数据集上提供了可比的结果。我们还比较了我们的网络在NVIDIA GPU和嵌入式系统设备上的处理时间与现有的最先进的架构在不同的图像分辨率。
2017-06-14 cs.CV cs.LG
Exploiting full Resolution Feature Context for Liver Tumor and Vessel Segmentation via Integrate Framework: Application to Liver Tumor and Vessel 3D Reconstruction under embedded microprocessor
China University of Petroleum（中国石油大学）；Qingdao Municipal Hospital（青岛市市立医院）；University of Chinese Academy of Sciences（中国科学院大学）
肝癌是世界上最常见的恶性肿瘤之一。对CT图像中的肝脏肿瘤和血管进行分割和标记，可以为医生进行肝脏肿瘤诊断和手术干预提供方便。在过去的几十年里，许多先进的医学图像分割算法都是在这一时期出现的。随着嵌入式设备的发展，医学分割和自动重建的嵌入式部署为未来的自动化手术任务带来了前景。然而，现有的分割方法大多只关注图像的空间特征上下文，对医学图像的语义相关性存在感知缺陷，严重影响了肝脏肿瘤和血管的分割精度。将大型复杂模型部署到嵌入式设备中需要在模型精度、推理速度和模型容量之间进行合理的权衡。针对这些问题，本文提出了一种基于Transformer的多尺度特征融合网络TransFusionNet。该网络在肝脏血管和肝脏肿瘤分割方面取得了很好的效果，同时利用CT图像的全局信息，提高了肝脏肿瘤形态边缘的识别能力。实验表明，在血管分割任务中，TransFusionNet实现了0.899的平均Dice系数，在肝脏肿瘤分割任务中，TransFusionNet实现了0.961的平均Dice系数。与最先进的框架相比，我们的模型取得了最好的分割结果。此外，我们将模型部署到嵌入式微结构中，构建了一个完整的肝脏肿瘤血管分割和重建模型。这种专有结构将成为未来医疗领域的独家组成部分。
2022-02-28 cs.CV cs.LG eess.IV
