Adaptive Semantic Segmentation with a Strategic Curriculum of Proxy Labels
Carnegie Mellon University(卡内基梅隆大学)
训练深度网络进行语义分割需要对大量数据进行注释,这可能是耗时且昂贵的。不幸的是,当在与训练数据不一致的域中进行测试时,这些训练过的网络仍然泛化能力很差。在本文中,我们表明,通过仔细呈现标记的源域和代理标记的目标域数据的网络的混合物,我们可以实现最先进的无监督领域自适应的结果。通过我们的设计,网络只使用源域的注释来逐步学习特定于目标域的特征。我们使用网络自己的预测为目标域生成代理标签。我们的架构,然后允许选择性地挖掘容易的样本从这组代理标签,和硬样本从注释的源域。我们进行了一系列的实验与GTA 5,城市景观和BDD 100 k数据集的合成到真实的领域自适应和地理领域自适应,显示我们的方法的优势,基线和现有的方法。
2018-11-08 cs.CV cs.LG
Are Synthetic Corruptions A Reliable Proxy For Real-World Corruptions?
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学小组);Max-Planck-Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克研究所信息学研究所萨尔兰信息学校区)
本文通过最大规模的语义分割基准研究,验证合成损坏与真实世界损坏在模型性能上的强相关性,证明合成损坏可作为鲁棒性评估的可靠代理,并分析了不同损坏类型的适用条件。
2025-05-07 cs.CV
Regularizing Proxies with Multi-Adversarial Training for Unsupervised Domain-Adaptive Semantic Segmentation
JD AI Research(京东人工智能研究院);The University of Adelaide(阿德莱德大学)
训练语义分割模型需要大量的像素级标注,这阻碍了其大规模应用。利用计算机图形学,我们可以生成几乎无限的带有精确注释的训练数据。然而,由于域偏移,用合成数据训练的深度模型通常不能直接很好地推广到现实图像。已经观察到,可以依赖于标记的合成数据来预测未标记的真实图像的高度置信的标记。为了解决无监督的领域自适应问题,我们探索了生成高质量标签作为代理标签来监督目标数据训练的可能性。具体来说,我们提出了一种新的基于代理的方法,使用多对抗训练。我们首先使用合成数据(源域)训练模型。多个鉴别器用于在不同级别上对齐源域和目标域(真实图像)之间的特征。然后,我们专注于通过结合类预测器的置信度和对抗性鉴别器的置信度来获得和选择高质量的代理标签。我们的判别器不仅作为正则化器来鼓励特征对齐,而且还为生成代理标签提供了另一种置信度度量。依靠生成的高质量代理,我们的模型可以在目标域上以“监督方式”进行训练。在两个主要任务GTA5->Cityscapes和SYNTHIA->Cityscapes上,我们的方法实现了最先进的结果,大大优于以前的方法。
2019-07-29 cs.CV
WebSeg: Learning Semantic Segmentation from Web Searches
Nankai University(南开大学);University of Oxford(牛津大学)
在本文中,我们改进了语义分割自动学习Flickr图像与特定的关键字,而不依赖于任何明确的用户注释,从而大大减轻了依赖准确的注释相比,以前的弱监督方法。为了解决这样一个具有挑战性的问题,我们利用几个低级别的线索(如显着性,边缘等)。来帮助生成代理地面实况。由于网络抓取图像的多样性,我们预计会有大量的“标签噪声”,其中可能存在其他对象。我们设计了一个在线噪声滤波方案,能够处理这种标签噪声,特别是在杂乱的图像。我们使用这种过滤策略作为辅助模块,以帮助帮助分割网络学习更干净的代理注释。在流行的PASCAL VOC 2012语义分割基准上进行的广泛实验显示,在我们的WebSeg(mIoU = 57.0%)和弱监督(mIoU = 63.3%)设置中,结果令人惊讶。
2018-03-27 cs.CV
Warm Start Active Learning with Proxy Labels \& Selection via Semi-Supervised Fine-Tuning
NVIDIA(英伟达)
在构建用于深度学习的医学成像数据集时,下一步注释哪一卷是一个具有挑战性的问题。主动学习是解决这一问题的有效方法之一。然而,AL一直是一个很难破解的AL算法和采集功能是最有用的数据集。此外,当开始时没有标记的数据时,首先标记哪些卷会加剧问题。这被称为AL中的冷启动问题。我们提出了两个新的战略AL专门用于3D图像分割。首先,我们提出了一个代理任务,然后利用代理任务产生的不确定性排名的未标记的数据进行注释来解决冷启动问题。其次,我们为每个活动迭代制作了一个两阶段的学习框架,其中未标记的数据也用于第二阶段作为半监督微调策略。我们展示了我们的方法在两个著名的大型公共数据集上的承诺,这些数据集来自医疗分割十项全能。结果表明,初始数据的选择和半监督框架都表现出显着的改善几个AL策略。
2022-09-13 cs.CV
Online Reflective Learning for Robust Medical Image Segmentation
Shenzhen University(深圳大学);The Chinese University of Hong Kong(香港中文大学);University of Leeds(利兹大学);Shenzhen RayShape Medical Technology Co., Ltd(深圳睿影医疗科技有限公司)
当测试图像呈现不可见的分布时,深度分割模型往往面临失败的风险。提高模型对这些风险的鲁棒性对于深度模型的大规模临床应用至关重要。在这项研究中,受人类学习周期的启发,我们提出了一种新的在线反射学习框架(RefSeg),以提高分割的鲁棒性。基于对动作的反射概念,我们的RefSeg首先驱动深度模型采取动作以获得语义分割。然后,RefSeg触发模型以反映自身。由于让深度模型在测试过程中意识到其分割失败具有挑战性,RefSeg从语义掩码中合成了一个逼真的代理图像,以帮助深度模型构建直观有效的反射。这个代理翻译并强调了分割缺陷。通过最大化原始输入和代理之间的结构相似性,关闭了动作反射循环,提高了分割鲁棒性。RefSeg在测试阶段运行,通常用于分割模型。使用公共心脏MR数据集和两个内部大型超声数据集对三个医学图像分割任务进行的广泛验证表明,我们的RefSeg显着提高了模型的鲁棒性,并报告了强大竞争对手的最先进性能。
2022-07-01 cs.AI cs.CV cs.LG
Rethinking Early-Fusion Strategies for Improved Multimodal Image Segmentation
School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院)
针对现有RGB-T多模态分割方法参数和计算开销大的问题,提出基于早期融合与特征聚类的EFNet网络及轻量级多尺度解码器,以更低成本超越现有最优方法。
2025-01-19 cs.CV
Self-Supervised 3D Traversability Estimation with Proxy Bank Guidance
INHA UNIVERSITY(仁荷大学)
越野环境中移动机器人的可通行性估计需要比传统的语义分割用于约束环境,如道路条件。最近,以自我监督的方式从过去的驾驶经验中学习可通行性估计的方法正在兴起,因为它们可以显着降低人类标记成本和标记错误。然而,自我监督的数据只提供监督的实际遍历的区域,诱导认知的不确定性,根据负面信息的稀缺性。很少收集负面数据,因为记录数据时系统可能会严重损坏。为了减轻不确定性,我们引入了一种基于深度度量学习的方法,将未标记的数据与一些积极和消极的原型结合起来,以利用不确定性,该方法使用语义分割和可遍历性回归进行联合学习。为了坚定地评估所提出的框架,我们引入了一个新的评估指标,全面评估分割和回归。此外,我们构建了一个驾驶数据集'Dtrail'在越野环境中的移动机器人平台,这是由各种各样的负面数据。我们在Dtrail以及公开的SemanticKITTI数据集上检查了我们的方法。
2022-12-20 cs.CV cs.RO
Rethinking Uncertainty Quantification and Entanglement in Image Segmentation
Technical University of Denmark, DTU Compute(丹麦技术大学,DTU计算学院);University of Lucerne, Faculty of Health Sciences and Medicine(卢塞恩大学,医学与健康科学学院)
本文研究了图像分割中不确定性量化的分解与纠缠问题,分析了不同模型组合的不确定性纠缠程度,并提出量化指标,评估了不同任务下的性能。
2026-10-01 cs.CV
Early Fusion of Features for Semantic Segmentation
University of Virginia(弗吉尼亚大学)
本文提出一种结合ResNet-50骨干与反向HRNet的语义分割框架,通过特征早期融合和避免骨干微调,在多个基准数据集上实现了高分割精度。
2024-02-08 cs.CV
Noisy Image Segmentation With Soft-Dice
KTH Royal Institute of Technology(KTH皇家理工学院);RaySearch Laboratories(RaySearch实验室)
该研究针对标签含噪的医学图像分割场景,分析soft-Dice损失的最优解特征与体积偏差界,证明其软分割经阈值转换后收敛至最优Dice,并通过实验验证理论结果。
2023-05-04 cs.CV
Rethinking Foundation Model Collaboration: Enhancing Specialized Models through Proxy Task Reasoning
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与运载学院);Department of Urban Studies and Planning, Massachusetts Institute of Technology(麻省理工学院城市研究与规划系)
提出FAT框架,将基础模型与专用模型协作视为任务分解而非替代,通过代理任务(如选择或验证)提升结构化预测性能,在多个任务上优于直接使用基础模型回归。
2026-07-01 cs.CV
Multi-Stage Fusion for One-Click Segmentation
University of Bonn(波恩大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);National University of Singapore(新加坡国立大学)
分割图像中感兴趣的对象是照片编辑和图像分析等应用程序的重要组成部分。在交互式设置下,应该在最小化用户输入的同时实现良好的分割。当前基于深度学习的交互式分割方法使用早期融合并在图像输入层结合用户提示。由于分割CNN有很多层,早期融合可能会削弱用户交互对最终预测结果的影响。因此,我们提出了一个新的多阶段指导框架的互动分割。通过在网络的不同阶段结合用户提示,我们允许用户交互以更直接的方式影响最终的分割输出。与早期融合框架相比,我们提出的框架在参数计数上的增加可以忽略不计。我们对标准的交互式实例分割和单击分割基准进行了广泛的实验,并报告了最先进的性能。
2020-10-20 cs.CV
Predicting Future Instance Segmentation by Forecasting Convolutional Features
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
预测未来事件是智能行为的重要前提。视频预测已被研究作为一个代理任务,实现这一目标。最近的工作已经表明,为了预测未来帧的语义分割,在语义级的预测比预测RGB帧然后分割这些帧更有效。在本文中,我们考虑更具挑战性的问题,未来的实例分割,另外分割出个别对象。为了处理每个图像不同数量的输出标签,我们在Mask R-CNN实例分割模型的固定大小卷积特征空间中开发了一个预测模型。我们将Mask R-CNN的“检测头”应用于预测的特征,以产生未来帧的实例分割。实验表明,该方法显着提高了基于光流和重新利用的实例分割架构的强基线。
2018-10-03 cs.CV
Leveraging Unlabeled Scans for NCCT Image Segmentation in Early Stroke Diagnosis: A Semi-Supervised GAN Approach
University of Thessaly(色萨利大学)
本文提出一种半监督GAN方法,利用未标记扫描数据提升早期中风NCCT图像分割的准确性,以提高诊断效率和临床决策支持。
2026-02-12 cs.CV
Advanced Image Segmentation Techniques for Neural Activity Detection via C-fos Immediate Early Gene Expression
本文提出结合CNN、AutoEncoder特征提取与约束聚类及改进Unet的工作流程,用于C-fos图像分割,以提高神经活动检测的准确性并减少人工干预。
2025-03-10 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology(华中科技大学);VIVO Inc.(维沃移动通信有限公司)
人类具有很强的类无关对象分割能力,能够精确地勾画出未知对象的边界,这促使我们提出了一种基于框监督类无关对象分割(BoxCaseg)的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码,作为代理地面实况,以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像,弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当,并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
Video Patch Pruning: Efficient Video Instance Segmentation via Early Token Reduction
本文提出VPP框架,利用时间先验知识实现早期ViT层的高效稀疏性,实现高达60%的补丁减少,在密集预测任务中超越传统图像基补丁剪枝方法,保持在补丁使用低于55%时的稳定性能。
2026-04-01 cs.CV
Class Based Thresholding in Early Exit Semantic Segmentation Networks
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
我们提出了基于类的分割保持(CBT),以减少早期退出语义分割模型的计算成本,同时保持平均交集超过并集(mIoU)的性能。CBT的一个关键思想是利用自然发生的神经崩溃现象。具体来说,通过计算训练集中每个类别的平均预测概率,CBT为每个类别分配不同的掩蔽阈值,以便对于属于易于预测类别的像素可以更快地终止计算。我们展示了CBT在Cityscapes和ADE 20K数据集上的有效性。与先前最先进的提前退出模型相比,CBT可以将计算成本降低$23\%$。
2022-10-27 cs.CV cs.LG
Density Matters: Improved Core-set for Active Domain Adaptive Segmentation
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室)
针对主动域自适应分割中现有方法忽略样本局部特征关联、标注预算利用率低的问题,研究提出结合动态掩码卷积局部密度估计与密度感知贪心算法的改进核心集方法,在极少标注下达到接近全监督的性能。
2023-12-15 cs.CV
Adaptive Early-Learning Correction for Segmentation from Noisy Annotations
NYU Center for Data Science(纽约大学数据科学中心);NYU Courant Institute of Mathematical Sciences(纽约大学库朗数学科学研究所)
存在噪声注释的深度学习在分类中得到了广泛的研究,但在分割任务中的研究要少得多。在这项工作中,我们研究了在不准确注释的数据上训练的深度分割网络的学习动态。我们发现了一个以前在分类背景下报道过的现象:网络倾向于在“早期学习”阶段首先拟合干净的像素级标签,然后才最终记住错误的注释。然而,与分类相反,分段记忆并不同时出现在所有的语义类别中。受这些发现的启发,我们提出了一种新的方法,从噪声注释分割两个关键要素。首先,我们在训练过程中分别检测每个类别的记忆阶段的开始。这使我们能够自适应地纠正嘈杂的注释,以利用早期学习。其次,我们引入了一个正则化项,该项可以强制跨尺度的一致性,以提高对注释噪声的鲁棒性。我们的方法优于标准方法的医学成像分割任务,噪声合成模仿人类注释错误。它还为弱监督语义分割中存在的真实噪声注释提供了鲁棒性,在PASCAL VOC 2012上实现了最先进的结果。代码可在https://github.com/Kangningthu/ADELE上获得
2022-03-06 cs.CV cs.LG
Transferability limitations for Covid 3D Localization Using SARS-CoV-2 segmentation models in 4D CT images
National Technical University of Athens(雅典国立技术大学);Institute of Communications and Computer Systems(通信与计算机系统研究所)
在本文中,我们研究了使用深度学习模型对CT图像中的肺炎感染区域进行语义分割时的可移植性限制。所提出的方法采用4通道输入; 3个通道基于Hounsfield标度,加上一个通道(二进制)表示肺面积。我们使用了3个不同的公开可用的CT数据集。如果肺部区域掩模不可用,则深度学习模型生成代理图像。实验结果表明,在创建Covid分割模型时,应谨慎使用可转移性;在大数据集中多次重新训练模型会导致分割准确性下降。
2022-09-13 cs.CV eess.IV
Self-Supervised Learning for Image Segmentation: A Comprehensive Survey
该综述聚焦自监督学习在图像分割领域的应用,调研150余篇相关论文,对前置任务、下游任务及基准数据集做实用分类,总结关键结论并提出未来方向,为研究者提供系统参考。
2025-05-19 cs.CV
Domain Adaptive Knowledge Distillation for Driving Scene Semantic Segmentation
Indian Institute of Technology Madras(印度马德拉斯理工学院)
实际的自动驾驶系统面临两个关键挑战:内存限制和域间隙问题。在本文中,我们提出了一种新的方法来学习领域的自适应知识的模型与有限的内存,从而赋予该模型的能力,以全面的方式来处理这些问题。我们称之为“领域自适应知识蒸馏“,并提出了一个多层次的蒸馏策略,以有效地在不同层次的知识,在无监督的领域自适应语义分割的上下文中解决同样的问题。此外,我们引入了一种新型的交叉熵损失,它利用了老师的伪标签。这些伪教师标签在以下方面发挥着多方面的作用:(i)从教师网络到学生网络的知识蒸馏;(ii)作为目标域图像的基础事实的代理,其中问题完全无监督。我们介绍了四种范式提取领域自适应知识,并进行了广泛的实验和消融研究,真实的,以及合成的真实场景。我们的实验证明了我们提出的方法的巨大成功。
2020-11-26 cs.CV
CLIPer: Hierarchically Improving Spatial Representation of CLIP for Open-Vocabulary Semantic Segmentation
Tianjin University(天津大学);Chongqing University(重庆大学);Zhengzhou University(郑州大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出CLIPer层次化框架,通过早期层融合和扩散模型细粒度补偿改进CLIP空间表示,在多个开放词汇语义分割数据集上取得最优性能。
2024-11-21 cs.CV
Sparse Photometric 3D Face Reconstruction Guided by Morphable Models
ShanghaiTech University(上海科技大学)
我们提出了一种新的三维人脸重建技术,利用稀疏光度立体(PS)和最新进展的人脸注册/建模从一个单一的图像。我们观察到,3D变形的脸的方法提供了一个合理的几何代理光位置校准。具体来说,我们开发了一个强大的优化技术,可以校准每像素的照明方向和照明在一个非常高的精度,而无需假设均匀的表面反射。接下来,我们对输入图像和几何代理应用语义分割,以使用定制的过滤器来细化多毛与裸露的皮肤区域。合成和真实数据的实验表明,通过使用一个非常小的图像集,我们的技术能够重建精细的几何细节,如皱纹,眉毛,青春痘,毛孔等,相当于有时超过电影质量的产品。
2017-11-29 cs.CV
Unleashing the Power of Prompt-driven Nucleus Instance Segmentation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Engineering, Westlake University(西湖大学工学院);University of Liverpool(利物浦大学)
针对组织学图像细胞核实例分割中代理图后处理易错且参数敏感的问题,提出由细胞核提示器与微调SAM构成的提示驱动框架,并用相邻核负提示区分重叠核,在三个基准上达到最先进水平。
2024-01-24 cs.CV
SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation
Tianjin University(天津大学);Chongqing University(重庆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出SED,一种用于开放词汇语义分割的简单编码器-解码器,通过分层骨干生成代价图、渐进融合解码和类别早期拒绝,在保证精度的同时实现最高4.7倍加速。
2024-02-27 cs.CV
Frame-to-Frame Aggregation of Active Regions in Web Videos for Weakly Supervised Semantic Segmentation
Seoul National University(首尔国立大学)
当深度神经网络在仅具有图像级标记的数据上进行训练时,每个图像中激活的区域倾向于仅识别目标对象的一小部分区域。我们提出了一种方法,使用视频自动收获的网络,通过使用时间信息,这是不存在于静态图像中的目标对象来识别一个更大的区域。视频中的时间变化允许目标对象的不同区域被激活。我们在视频的每一帧中获得激活区域,然后使用基于光流的变形技术将连续帧中的区域聚合成单个图像。所得到的定位图覆盖更多的目标对象,然后可以用作代理地面实况来训练分割网络。这种简单的方法在相同的监督级别下优于现有的方法,甚至是依赖于额外注释的方法。基于VGG-16和ResNet 101主干,我们的方法在PASCAL VOC 2012测试图像上分别实现了65.0和67.4的mIoU,这代表了最新的技术水平。
2019-08-13 cs.CV
Inherent Consistent Learning for Accurate Semi-supervised Medical Image Segmentation
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong(Shenzhen)(香港中文大学(深圳))
本文提出固有一致性学习方法,通过有监督语义代理适配器和无监督语义一致学习器对齐有标签与无标签数据的语义表示,在标注数据极少时显著提升半监督医学图像分割性能。
2023-04-18 cs.CV
Early Explorations of Lightweight Models for Wound Segmentation on Mobile Devices
University of Würzburg(维尔茨堡大学)
本文针对移动端伤口分割研究不足的问题,探索了ENet、TopFormer和UNeXt三种轻量级架构,在公开数据集上取得与UNet相当的性能,并在手机应用中验证了TopFormer区分伤口与相近颜色物体的有效性。
2024-08-30 cs.AI cs.CV
DouC: Dual-Branch CLIP for Training-Free Open-Vocabulary Segmentation
Department of Electrical Engineering and Computer Science, University of Wyoming, Laramie, WY, USA(电气工程与计算机科学系,怀俄明大学,拉勒米,怀俄明州,美国)
DouC提出无训练双分支CLIP框架,通过分解密集预测为互补组件,结合轻量级推理时标记门控提升补丁可靠性,以及通过冻结视觉基础模型引导的代理注意力注入外部结构先验,实现局部标记可靠性与结构感知补丁交互的联合影响,无需额外参数和重训练。
2026-04-27 cs.CV
A dynamic interactive learning framework for automated 3D medical image segmentation
Shenzhen University(深圳大学)
针对3D医学图像分割中标注成本高和模型迭代延迟的问题,提出融合交互式分割与流式弱监督学习的动态框架,以62%标注减少达到接近全监督在线及离线训练的性能。
2023-12-11 cs.CV
Weakly supervised segmentation with cross-modality equivariant constraints
École de Technologie Supérieure(高等技术学院);Purdue University(普渡大学)
弱监督学习已经成为一种有吸引力的替代方案,以减轻语义分割中对大型标记数据集的需求。目前大多数方法利用类激活图(CAM),它可以从图像级注释生成。然而,由此产生的地图已被证明是高度判别,未能作为最佳的代理像素级标签。我们提出了一种新的学习策略,利用自我监督的多模态图像的情况下,显着提高原始CAM。特别是,所提出的方法是基于两个观察。首先,全监督分割网络的学习通过数据增强隐含地施加等方差,而这种隐含的约束在使用图像标签生成的CAM上消失。第二,图像模态之间的共性可以用作有效的自我监督信号,校正跨多个模态获得的CAM所示的不一致性。为了有效地训练我们的模型,我们集成了一个新的损失函数,其中包括一个模态内和跨模态等变项,明确施加这些约束在训练过程中。此外,我们在类预测分布上添加了KL发散,以促进模态之间的信息交换,与等变正则化器相结合,进一步提高了我们模型的性能。在流行的多模态BRATS数据集上的详尽实验表明,在相同的学习条件下,我们的方法优于最近的相关文献。
2022-01-14 cs.CV
Find it if You Can: End-to-End Adversarial Erasing for Weakly-Supervised Semantic Segmentation
University of Amsterdam(阿姆斯特丹大学);TomTom
语义分割是一项传统上需要大量像素级地面实况标签数据集的任务,这是耗时且昂贵的。最近在弱监督设置方面的进展表明,仅使用图像级标签可以获得合理的性能。分类通常被用作代理任务来训练深度神经网络,从该深度神经网络提取注意力图。然而,分类任务只需要最少的证据来进行预测,因此它专注于最具区分力的对象区域。为了克服这个问题,我们提出了一个新的配方对抗擦除的注意力地图。与以前的对抗性擦除方法相比,我们用相反的损失函数优化了两个网络,这消除了某些次优策略的要求;例如,具有多个训练步骤,使训练过程复杂化,或者在不同分布上运行的网络之间的权重共享策略可能对性能次优。所提出的解决方案不需要显著性掩模,而是使用正则化损失来防止注意力图扩散到区分度较低的对象区域。我们在Pascal VOC数据集上的实验表明,与我们的基线相比,我们的对抗性方法将分割性能提高了2.1 mIoU,与以前的对抗性擦除方法相比,提高了1.0 mIoU。
2020-11-09 cs.CV
Multi-Compound Transformer for Accurate Biomedical Image Segmentation
The University of Hong Kong(香港大学);Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)深圳大数据研究院);SenseTime Research(商汤科技研究院)
最近的视觉Transformer(即图像分类)学习不同的补丁令牌的非本地注意的相互作用。然而,现有技术没有学习不同像素的跨尺度依赖性、不同标签的语义对应性以及特征表示和语义嵌入的一致性,这些对于生物医学分割是至关重要的。在本文中,我们解决了上述问题,提出了一个统一的Transformer网络,称为多复合Transformer(MCTrans),它将丰富的特征学习和语义结构挖掘到一个统一的框架。具体来说,MCTrans将多尺度卷积特征嵌入为一系列令牌,并执行尺度内和尺度间的自注意,而不是以前的作品中的单尺度注意。此外,一个可学习的代理嵌入也被引入到模型的语义关系和特征增强,分别使用自注意和交叉注意。MCTrans可以很容易地插入到一个类似UNet的网络中,并在六个标准基准中实现了对最先进的生物医学图像分割方法的显着改进。例如,MCTrans在Pannuke,CVC-Clinic,CVC-Colon,Etis,Kavirs,ISIC 2018数据集中分别优于UNet 3.64%,3.71%,4.34%,2.8%,1.88%,1.57%。代码可在https://github.com/JiYuanFeng/MCTrans上获得。
2021-06-28 cs.CV
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程系)
用于语义图像分割的深度卷积网络通常需要大规模的标记数据,例如ImageNet和MS COCO,用于网络预训练。为了减少标注工作,最近提出了自监督语义分割来预训练没有任何人类提供的标签的网络。这种新形式的学习的关键是设计一个代理任务(例如图像着色),从中可以在未标记的数据上制定区分损失。然而,许多代理任务,缺乏关键的监督信号,可以诱导目标图像分割任务的歧视性表示。因此,自我监督的性能仍然远远低于监督的预训练。在这项研究中,我们克服了这个限制,将“混合和匹配”(M&M)调整阶段的自我监督管道。所提出的方法很容易插入许多自我监督的方法,并不使用更多的注释样本比原来的过程。然而,它能够提高目标图像分割任务的性能,以超过完全监督的预训练对应对象。通过更好地利用目标数据集中有限的逐像素注释,可以实现这种改进。具体来说,我们首先介绍了“混合”阶段,稀疏采样和混合补丁从目标集,以反映丰富和多样的目标图像的局部补丁统计。然后,“匹配”阶段形成类连接图,其可用于导出用于微调网络的强的基于三元组的鉴别损失。我们的范式遵循现有自我监督研究的标准实践,不需要额外的数据或标签。通过提出的M&M方法,与PASCAL VOC 2012数据集和CityScapes数据集上的ImageNet预训练对应物相比,自我监督方法首次可以实现相当甚至更好的性能。
2018-01-30 cs.CV cs.LG
Learning Open-vocabulary Semantic Segmentation Models From Natural Language Supervision
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学)
在本文中,我们考虑的问题,开放词汇语义分割(OVS),其目的是分割对象的任意类,而不是预定义的,封闭的类别。主要贡献如下:首先,我们提出了一个基于transformer的OVS模型,称为OVSegmentor,它只利用网络抓取的图像-文本对进行预训练,而不使用任何掩码注释。OVSegmentor通过基于slot-attention的绑定模块将图像像素组装成一组可学习的组标记,并将组标记与相应的字幕嵌入对齐。其次,我们提出了两个代理任务进行训练,即掩码实体完成和跨图像掩码一致性。前者的目标是在给定组标记的情况下推断标题中的所有掩码实体,这使得模型能够学习视觉组和文本实体之间的细粒度对齐。后者在包含共享实体的图像之间强制执行一致的掩码预测,这鼓励模型学习视觉不变性。第三,我们通过过滤频繁出现的实体CC 12 M来构建CC 4 M数据集进行预训练,这显著提高了训练效率。第四,我们在三个基准数据集上执行zero-shot传输,PASCAL VOC 2012,PASCAL Context和COCO Object。我们的模型通过仅使用3%的数据(4 M vs 134 M)进行预训练,实现了优于最先进方法的分割结果。代码和预训练模型将被发布用于未来的研究。
2023-03-03 cs.CV
Cross-aware Early Fusion with Stage-divided Vision and Language Transformer Encoders for Referring Image Segmentation
School of Artificial Intelligence, Sogang University(西江大学人工智能学院);School of Electronic Engineering, Sogang University(西江大学电子工程学院)
针对指代图像分割中早期融合时语言特征无法参照视觉信息的问题,提出CrossVLT架构,通过阶段划分的视觉与语言Transformer编码器实现双向交叉感知早期融合与多层级特征对齐,在三个公开基准上性能超越现有最优方法。
2024-08-14 cs.AI cs.CV
Differentiable Proxy Learning for Adaptive Quantization Control in H.264 Video Coding
School of Engineering Science, Simon Fraser University(工程科学学院,西蒙·弗雷泽大学)
研究针对H.264视频编码中优化量化参数难的问题,提出可微代理学习方法,基于可变速率学习压缩模型,通过软索引机制使代理可微,经训练近似H.264率失真行为,所构建框架在相关任务中显著改善率任务权衡。
2026-07-14 cs.CV eess.IV
Targeted Semantic Segmentation of Himalayan Glacial Lakes Using Time-Series SAR: Towards Automated GLOF Early Warning
Space Research Center Nepal Academy of Science and Technology(尼泊尔科学与技术学院空间研究中心)
本文提出利用时序SAR数据和深度学习模型对喜马拉雅冰湖进行靶向语义分割,实现自动化GLOF早期预警系统。
2025-12-30 cs.CV eess.IV
Lung nodules segmentation from CT with DeepHealth toolkit
University of Turin(都灵大学);Fondazione Ricerca Molinette Onlus(莫利内特研究基金会(非营利组织))
在医学图像分割领域中,准确、一致的边界分割对肿瘤体积的估计和处理起着重要的作用。在全球范围内,肺癌是导致死亡的主要原因之一,肺结节的早期检测对于癌症的早期诊断和患者的生存率至关重要。本研究的目的是证明Deephealth工具包(包括PyECVL和PyEDDL库)精确分割肺结节的可行性。使用PyECVL和PyEDDL在UniToChest上进行了肺结节分割的实验,用于数据预处理以及神经网络训练。结果描绘了在宽直径范围内的肺结节的准确分割和比传统检测方法更好的准确性。本文中使用的数据集和代码可作为基线参考公开获取。
2022-08-01 cs.CV eess.IV
AADG: Automatic Augmentation for Domain Generalization on Retinal Image Segmentation
卷积神经网络在医学图像分割中得到了广泛的应用,并取得了良好的效果。然而,性能可能会受到训练数据(源域)和测试数据(目标域)之间的域间隙的显着影响。为了解决这个问题,我们提出了一种基于数据操作的领域泛化方法,称为自动增强领域泛化(AADG)。我们的AADG框架可以有效地对数据增强策略进行采样,这些策略可以生成新的域,并从适当的搜索空间中使训练集多样化。具体来说,我们引入了一种新的代理任务,最大限度地提高了多个增强的新领域之间的多样性,在一个单位球空间的Sinkhorn距离测量,使自动增强听话。采用对抗训练和深度强化学习来有效地搜索目标。对11个公开获取的眼底图像数据集(4个用于视网膜血管分割,4个用于视盘和杯(OD/OC)分割,3个用于视网膜病变分割)进行了全面的定量和定性实验。两个OCTA数据集的视网膜血管分割进一步参与验证跨模态泛化。我们提出的AADG具有最先进的泛化性能,并在视网膜血管,OD/OC和病变分割任务上优于现有方法。经验验证,学习到的策略是模型不可知的,可以很好地转移到其他模型。源代码可在https://github.com/CRazorback/AADG上获得。
2022-07-27 cs.CV eess.IV
Early Preparation Pays Off: New Classifier Pre-tuning for Class Incremental Semantic Segmentation
Nankai University(南开大学);NKIARI
本文提出NeST新分类器预调优方法,通过学习旧分类器到新分类器的变换来初始化新分类器,防止特征提取器剧烈变化,并在Pascal VOC 2012和ADE20K上显著提升类增量语义分割性能。
2024-07-19 cs.CV cs.LG
Joint Optimization of Class-Specific Training- and Test-Time Data Augmentation in Segmentation
Imperial College London(帝国理工学院);University of Oxford(牛津大学);University of Birmingham(伯明翰大学);The Chinese University of Hong Kong(香港中文大学)
本文提出一种基于梯度元学习的医学图像分割数据增强框架,通过联合优化类别特定训练时增强与测试时增强来对齐数据分布,并在多个任务上显著提升分割性能。
2023-05-30 cs.CV cs.LG
Referring Video Object Segmentation with Cross-Modality Proxy Queries
DUT-RU International School of Information Science & Engineering, Dalian University of Technology, China(大连理工大学国际信息科学与工程学院,中国);Chinese University of Hong Kong, China(香港中文大学,中国);University of Sydney, Australia(悉尼大学,澳大利亚)
ProxyFormer通过引入代理查询和联合语义一致性策略,提升指引用视频目标分割的准确性和效率。
2025-11-26 cs.CV
Delving into Decision-based Black-box Attacks on Semantic Segmentation
Shanghai Engineering Research Center of AI & Robotics(上海市人工智能与机器人工程研究中心);Academy for Engineering & Technology(工程技术学院);Fudan University(复旦大学);Shanghai Key Lab of Intelligent Information Processing(上海市智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文首次探索语义分割的基于决策的黑盒攻击,提出离散线性攻击(DLA)方法,通过离散线性噪声实现高效攻击,实验证明其仅用50次查询即可大幅降低PSPNet的mIoU。
2024-02-02 cs.CR cs.CV
A Text-Image Fusion Method with Data Augmentation Capabilities for Referring Medical Image Segmentation
College of Information Science and Engineering(信息科学与工程学院);Ritsumeikan University(立命馆大学);Tiwaki Co., Ltd.(Tiwaki公司);Dalian University of Technology(大连理工大学);School of Software(软件学院);Zhejiang University(浙江大学)
提出一种早期融合框架,在数据增强前结合文本与视觉特征,并设计轻量生成器弥合语义差距,在三个医学影像任务和四个分割框架上取得最先进结果。
2025-10-14 cs.AI cs.CV
Towards Fairness under Label Bias in Image Segmentation: Impact, Measurement and Mitigation
Department of Applied Mathematics and Computer Science(应用数学与计算机科学系)
本文提出一种基于数据的Confident Learning方法,用于检测和缓解图像分割中的标签偏见,通过比较训练标签与模型预测,识别偏见方向并改进公平性。
2026-09-29 cs.CV cs.LG
Proxy-Embedding as an Adversarial Teacher: An Embedding-Guided Bidirectional Attack for Referring Expression Segmentation Models
National Pilot School of Software, Yunnan University(云南大学软件试点学校);School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
本文提出PEAT,一种嵌入引导的双向对抗攻击方法,用于揭示指代表达分割模型在多模态结构和跨文本输入下的脆弱性,并在多个架构与基准上验证其优于现有基线。
2025-09-22 cs.CV
Adaptation of Distinct Semantics for Uncertain Areas in Polyp Segmentation
Chonnam National University(全南大学)
针对结肠镜息肉分割因息肉特征及边界模糊导致性能不佳的问题,提出含互补三边解码器与连续注意力模块的ADSNet架构,可修正误分类、恢复弱特征,在息肉基准上性能优于现有方法,且能灵活适配多种编码器与解码器骨干。
2024-05-13 cs.AI cs.CV
Unsupervised Semantic Segmentation by Contrasting Object Mask Proposals
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院)
能够在没有监督的情况下学习图像的密集语义表示是计算机视觉中的一个重要问题。然而,尽管它的重要性,这个问题仍然相当未被探索,除了少数例外,认为无监督的语义分割的小规模数据集与狭窄的视觉域。在本文中,我们首次尝试解决传统上用于监督情况的数据集上的问题。为了实现这一点,我们引入了一个两步框架,采用了一个预先确定的中间级之前的对比优化目标,学习像素嵌入。这标志着与依赖于代理任务或端到端集群的现有工作的巨大偏离。此外,我们还讨论了拥有包含有关对象或其部分信息的先验知识的重要性,并讨论了以无监督方式获得此类先验知识的几种可能性。实验评估表明,我们的方法来与现有的作品的关键优势。首先,学习的像素嵌入可以使用PASCAL上的K-Means直接聚类到语义组中。在完全无监督的设置下,在这样一个具有挑战性的基准上解决语义分割任务没有先例。其次,当转移到新的数据集(例如COCO和DAVIS)时,我们的表示可以在强基线上进行改进。代码可用。
2021-08-03 cs.CV cs.LG
Localized Region Contrast for Enhancing Self-Supervised Learning in Medical Image Segmentation
University of California, Irvine(加州大学欧文分校);University of Oxford(牛津大学);Yale University(耶鲁大学)
提出集成局部区域对比(LRC)的对比学习框架,通过Felzenszwalb算法识别超像素并采用新颖对比采样损失执行局部对比学习,显著提升医学图像分割在有限标注和全监督预训练下的性能。
2023-04-06 cs.AI cs.CV cs.LG
On Mathews Correlation Coefficient and Improved Distance Map Loss for Automatic Glacier Calving Front Segmentation in SAR Imagery
Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
极地冰盖的绝大多数出口冰川和冰流都终止于海洋。在过去几十年里,通过冰川崩解进入海洋的冰量损失增加了。关于冰解前缘位置的时间变化的信息提供了关于冰川和冰流状态的基本信息,这些信息可以用作校准和验证数据,以增强冰动力学建模。为了自动识别产犊前缘位置,可以使用基于深度神经网络的语义分割流水线来描绘所获取的SAR图像。然而,极端的类不平衡是非常具有挑战性的准确产犊前分割在这些图像。因此,我们建议使用马修斯相关系数(MCC)作为早期停止标准,因为它的对称性和对类不平衡的不变性。此外,我们提出了一个改进的距离映射为基础的二进制交叉熵(BCE)损失函数。距离图为损失函数添加了关于重要分割区域的上下文,并有助于解释不平衡的数据。使用Mathews相关系数作为早期停止,与常用的BCE相比,平均提高了15%的骰子系数。修改后的距离图损失进一步提高了分割性能的另一个2%。这些结果是令人鼓舞的,因为它们支持所提出的方法的有效性的分割问题遭受极端类不平衡。
2021-03-09 cs.CV eess.IV