A Spatial Guided Self-supervised Clustering Network for Medical Image Segmentation
The University of Sydney(悉尼大学);Med-X Research Institute, Shanghai Jiao Tong University(上海交通大学Med-X研究院)
医学图像的分割是自动化临床决策支持系统中的一个基本步骤。然而,现有的基于监督式深度学习的医学图像分割方法仍然存在问题,因为它们依赖于大量标记的训练数据。尽管医学成像数据存储库继续扩展,但注释数据的量并没有相应地增加。因此,我们提出了一种新的空间引导自监督聚类网络(SGSCN)的医学图像分割,在那里我们引入了多个损失函数,旨在帮助分组图像像素的空间连接,并具有类似的功能表示。它从单个图像中以端到端的方式迭代学习每个像素的特征表示和聚类分配。我们还提出了一个基于上下文的一致性损失,更好地描绘图像区域的形状和边界。它强制属于一个聚类的所有像素在空间上靠近聚类中心。我们评估了我们的方法对2个公共医学图像数据集,并将其与现有的传统和自监督聚类方法进行比较。实验结果表明,该方法对医学图像分割的准确性最高。
2021-07-11 cs.CV
Confidence Guided Stereo 3D Object Detection with Split Depth Estimation
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
准确可靠的3D目标检测对于安全自动驾驶至关重要。尽管最近的发展,基于立体的方法和基于激光雷达的方法之间的性能差距仍然相当大。准确的深度估计对于基于立体的3D目标检测方法的性能是至关重要的,特别是对于与前景中的对象相关联的那些像素。此外,基于立体的方法遭受深度估计精度的高变化,这在目标检测流水线中通常不被考虑。为了解决这两个问题,我们提出了CG-立体声,一个置信度引导的立体3D目标检测流水线,它在深度估计过程中对前景和背景像素使用单独的解码器,并利用来自深度估计网络的置信度估计作为3D对象检测器中的软注意力机制。我们的方法在KITTI基准上优于所有最先进的基于立体的3D探测器。
2020-03-11 cs.CV
Preference-Guided Adaptation for Open-Vocabulary Semantic Segmentation via Prompt Disagreement
KAIST(韩国科学技术院)
提出用二元偏好替代密集掩码的适配框架,利用提示分歧作为内置偏好来源,通过区域局部化偏好优化与一致性正则化,在无需像素级标注下提升开放词汇语义分割在专业领域的性能。
2026-09-29 cs.CV
TRACER: Extreme Attention Guided Salient Object Tracing Network
Korea University(高丽大学)
现有显著性目标检测(SOD)的研究主要集中在提取具有边缘信息的显著目标和聚合多层次特征以提高SOD性能。为了达到令人满意的性能,该方法采用精细的边缘信息和低的多级差异。然而,性能增益和计算效率不能同时获得,这促使我们研究现有编码器-解码器结构中的低效率以避免这种权衡。我们提出了TRACER,它通过将注意力引导跟踪模块检测显着的物体与明确的边缘。我们在第一个编码器的末端采用了一个掩蔽的边缘注意模块,使用快速傅立叶变换将细化的边缘信息传播到下游的特征提取。在多级聚合阶段,联合注意模块识别出互补信道和重要的空间信息。为了提高解码器的性能和计算效率,我们最大限度地减少解码器块的使用与对象注意模块。该模块从细化通道和空间表示中提取未检测到的对象和边缘信息。随后,我们提出了一个自适应像素强度损失函数来处理相对重要的像素,而不是像传统的损失函数一样对待所有像素。与13种现有方法的比较表明,TRACER在五个基准数据集上实现了最先进的性能。我们在https://github.com/Karel911/TRACER上发布了TRACER。
2022-06-27 cs.CV
PixelUp: Zero-Shot Semantic Feature Upsampling for Fine-Grained Vision Tasks
PixelUp是一种零样本、与视觉基础模型无关的语义特征上采样器,通过多尺度语义引导的窗口交叉注意力架构实现细粒度视觉任务的最优性能,可提升语义分割、深度估计等任务的精度。
2026-08-05 cs.CV
Boundary Guided Context Aggregation for Semantic Segmentation
Beihang University(北京航空航天大学)
近年来的语义分割研究开始注意到边界信息的重要性,大多数方法都将边界看作是语义细节的补充。然而,简单地将边界和主流特征结合起来并不能保证语义建模的整体改进。与以往的研究相比,我们利用边界作为上下文聚合的重要指导,以促进图像的整体语义理解。为此,我们提出了一个边界引导上下文聚合网络(BCANet),其中多尺度边界提取器(MSB)借用多个尺度的骨干特征是专门为准确的边界检测而设计的。在此基础上,进一步提出了对非局部网络进行改进的边界引导上下文聚合模块(BCA),以捕获边界区域像素与对象内部像素之间的长程依赖关系。通过沿边界聚集上下文信息,相同类别的内部像素实现相互增益,从而增强类内一致性。我们在Cityscapes和ADE20K数据库上进行了广泛的实验,并与最先进的方法取得了可比的结果,清楚地表明了所提出的方法的有效性。
2021-10-27 cs.CV
UGainS: Uncertainty Guided Anomaly Instance Segmentation
RWTH Aachen University(亚琛工业大学);Ford Motor Company(福特汽车公司)
针对异常分割中像素分组限制评估单个异常物体的问题,提出UGainS方法,利用不确定性区域引导通用分割模型生成精确异常实例掩码,提升了逐像素分割性能并在多个验证集上取得优异AP。
2023-08-03 cs.CV
CLIP-S$^4$: Language-Guided Self-Supervised Semantic Segmentation
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
本研究提出CLIP-S$^4$方法,结合自监督像素对比学习与CLIP引导的双重一致性约束,实现无标注、无未知类别信息的多类语义分割任务,在多个基准上性能优于现有方法,尤其大幅提升未知类别识别效果。
2023-05-01 cs.AI cs.CV
Box-driven Class-wise Region Masking and Filling Rate Guided Loss for Weakly Supervised Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);The University of Sydney(悉尼大学);SenseTime(商汤科技);Chinese Academy of Sciences - Artificial Intelligence Research(中国科学院人工智能创新研究院)
语义分割通过采用深度全卷积网络(FCN)取得了巨大的进步。然而,基于FCN的模型的性能严重依赖于大量的像素级注释,这是昂贵的和耗时的。为了解决这个问题,学习从边界框进行弱监督分割是一个很好的选择。如何充分利用边界盒的类级和区域级监督是弱监督学习面临的关键挑战。在本文中,我们首先介绍了一个盒子驱动的类的屏蔽模型(casual-wise masking model,简称casual-wise masking model)来去除每个类的不相关区域。此外,基于限界框监督生成的像素级分割建议,计算每个类别的平均填充率作为重要的先验线索,提出填充率引导的自适应损失(FR-Loss)算法,帮助模型忽略建议中错误标记的像素。与以前的方法直接训练模型与固定的个别段建议,我们的方法可以调整模型学习与全局统计信息。因此,它可以帮助减少错误标记提案的负面影响。我们评估所提出的方法上具有挑战性的PASCAL VOC 2012基准,并与其他方法进行比较。大量的实验结果表明,该方法是有效的,达到了最先进的结果。
2019-04-26 cs.CV
Density Map Guided Object Detection in Aerial Images
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);East Carolina University(东卡罗来纳大学)
高分辨率航空图像中的目标检测是一项具有挑战性的任务,因为1)目标尺寸的大变化,以及2)目标的非均匀分布。一种常见的解决方案是将大的航空图像分成小的(均匀的)作物,然后对每个小作物应用目标检测。在本文中,我们研究的图像裁剪策略,以解决这些挑战。具体来说,我们提出了一个密度图引导的目标检测网络(DMNet),这是从观察到的图像的对象密度图表示对象如何分布在地图的像素强度方面的启发。随着像素强度的变化,它能够判断一个区域是否有物体,这反过来又为统计地裁剪图像提供了指导。DMNet有三个关键组件:密度图生成模块、图像裁剪模块和物体检测器。DMNet生成密度图,并根据密度强度学习比例信息,以形成裁剪区域。大量的实验表明,DMNet在两个流行的航空图像数据集上实现了最先进的性能,即VisionDrone和UAVDT。
2020-04-12 cs.CV
Pseudolabel guided pixels contrast for domain adaptive semantic segmentation
East China University of Science and Technology(华东理工大学)
针对无监督域自适应语义分割中对比学习未考虑类内特征多样性的问题,提出PGPC框架,在两个基准任务上实现性能提升,且可增强其他UDA方法表现且不增加模型复杂度。
2025-01-15 cs.CV cs.LG
A Language-Guided Benchmark for Weakly Supervised Open Vocabulary Semantic Segmentation
Indian Institute of Technology(印度理工学院)
越来越多的注意力被转移到数据高效的问题设置,如开放词汇语义分割(OVSS),它处理分割在训练过程中可能会或可能不会看到的任意对象。与OVSS相关的最接近的标准问题是Zero-Shot和Few-Shot Segmentation(ZSS,FSS)及其跨数据集变体,其中需要零到很少的注释来分割新的类。现有的FSS和ZSS方法利用完全监督的像素标记的可见类来分割不可见类。像素级标签很难获得,使用廉价的图像级标签形式的弱监督通常更实用。为此,我们提出了一种新的统一的弱监督OVSS管道,可以在新的类上执行ZSS,FSS和跨数据集分割,而无需在归纳设置中使用基础(可见)或新(不可见)类的像素级标签。我们提出了弱监督语义引导分割网络(WLSegNet),这是一种新型的语言引导分割管道,i)使用批量聚合(平均值)学习可概括的上下文向量,以使用冻结CLIP(一种视觉语言模型)将类提示映射到图像特征,ii)将弱ZSS/FSS转换为弱语义分割和Zero-Shot分割。学习的上下文向量避免了在训练期间对已看到的类的过拟合,并且在测试期间更好地转移到新的类。WLSegNet避免了在训练过程中进行微调和使用外部数据集。所提出的流水线在PASCAL VOC上分别以39和3 mIOU点击败了用于弱广义Zero-Shot和弱Few-Shot语义分割的现有方法,在MS COCO上以5 mIOU点击败了弱Few-Sho…
2023-02-27 cs.CV
3D Guided Weakly Supervised Semantic Segmentation
Australian National University(澳大利亚国立大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织 Data61)
逐像素的干净注释对于全监督的语义分割是必要的,这是费力且昂贵的。在本文中,我们提出了一个弱监督的二维语义分割模型,将稀疏的限界框标签与可用的三维信息,这是更容易获得先进的传感器。我们用边界框手动标记2D-3D语义(2D-3D-S)数据集的子集,并引入我们的2D-3D推理模块来生成精确的逐像素分段建议掩码。在3D信息的指导下,我们首先生成对象的点云,并计算每个点的对象概率得分。然后,我们将具有对象概率的点云投影回2D图像,然后进行细化步骤以获得分割建议,这些分割建议被视为伪标签以训练语义分割网络。我们的方法以递归方式工作,以逐步完善上述细分建议。在2D-3D-S数据集上的大量实验结果表明,当限界框标签仅在一小部分训练图像上可用时,该方法可以生成准确的分割建议。与最近的国家的最先进的方法的性能比较进一步说明了我们的方法的有效性。
2020-12-01 cs.CV
Uncertainty and Energy based Loss Guided Semi-Supervised Semantic Segmentation
Indian Institute of Science Education and Research Bhopal(印度科学教育与研究学院博帕尔分校)
本文提出在半监督语义分割的交并伪监督网络中引入任意不确定性与基于能量的损失,利用逐像素方差和生成建模提升分割性能,并通过实验验证其优于现有方法。
2025-01-03 cs.CV
Transmission-Guided Bayesian Generative Model for Smoke Segmentation
The Australian National University(澳大利亚国立大学)
烟雾分割对于精确定位野火至关重要,以便在早期阶段将其扑灭。尽管深度神经网络在图像分割任务上取得了令人鼓舞的结果,但由于其非刚性形状和透明外观,它们容易对烟雾分割过于自信。这是由知识水平的不确定性和标记水平的不确定性引起的,知识水平的不确定性是由于用于精确烟雾分割的有限训练数据和标记水平的不确定性,标记水平的不确定性表示标记地面实况的困难。为了有效地模拟这两种类型的不确定性,我们引入了贝叶斯生成模型来同时估计模型参数及其预测的后验分布。此外,烟雾图像具有低对比度和模糊性,受基于物理的图像去雾方法的启发,我们设计了一种传输引导的局部相干性损失,以引导网络基于像素距离和传输特征学习成对关系。为了促进这一领域的发展,我们还提供了一个高质量的烟雾分割数据集SMOKE 5K,由1,400个真实图像和4,000个合成图像组成,并带有像素级注释。基准测试数据集上的实验结果表明,我们的模型实现了准确的预测和可靠的不确定性地图表示模型对其预测的无知。我们的代码和数据集可在https://github.com/redlessme/Transmission-BVM上公开获取。
2023-03-02 cs.CV
Few-Shot Segmentation Propagation with Guided Networks
UC Berkeley(加州大学伯克利分校)
基于学习的视觉分割方法在特定类型的分割任务上取得了进展,但受到必要的监督,固定任务的狭窄定义以及在推理过程中缺乏控制以纠正错误的限制。为了弥补标准方法的刚性和注释负担,我们解决了Few-Shot分割的问题:给定很少的图像和很少的像素监督,相应地分割任何图像。我们提出了引导网络,它从任何数量的监督中提取潜在的任务表示,并优化我们的架构端到端,以实现快速,准确的Few-Shot分割。我们的方法可以在没有进一步优化的情况下切换任务,并在获得更多指导时快速更新。我们报告的第一个结果,从一个像素每个概念的分割,并显示实时交互式视频分割。我们的统一方法传播像素注释跨空间的交互式分割,跨时间的视频分割,跨场景的语义分割。我们的引导分割器在注释量和时间方面的准确性是最先进的。请访问http://github.com/shelhamer/revolver获取代码、模型和更多详细信息。
2018-05-25 cs.CV cs.LG stat.ML
Fuse & Calibrate: A bi-directional Vision-Language Guided Framework for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
针对指代表达图像分割中视觉与语言交互不足的问题,提出 FCNet 双向引导融合框架,通过视觉引导融合与语言引导校准生成高质量多模态特征,并在多个基准上超越现有方法。
2024-05-18 cs.CV
AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation
Georgia Institute of Technology(佐治亚理工学院)
用于域自适应语义分割的大多数现代方法依赖于在自适应期间对源数据的持续访问,这可能由于计算或隐私约束而不可行。我们专注于无源领域自适应语义分割,其中一个源模型必须适应一个新的目标域只给未标记的目标数据。我们提出了增强一致性指导的自训练(AUGCO),这是一种无源自适应算法,它使用模型的像素级预测一致性,跨各种自动生成的每个目标图像的视图以及模型置信度来识别可靠的像素预测,并选择性地对这些像素进行自训练。AUGCO在3个标准的语义分割基准测试中实现了最先进的无源自适应结果,所有这些都在一个简单的实现和快速收敛的方法中实现。
2022-01-06 cs.CV cs.LG
A Benchmark Dataset and Saliency-guided Stacked Autoencoders for Video-based Salient Object Detection
Beihang University(北京航空航天大学);State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);International Research Institute for Multidisciplinary Science(国际交叉科学研究院)
基于图像的显著性目标检测(SOD)在过去几十年中得到了广泛的研究。然而,基于视频的超氧化物歧化酶是少得多的探讨,因为缺乏大规模的视频数据集内的显着对象是明确的定义和注释。为此,本文提出了一个基于视频的SOD数据集,由200个视频(64分钟)。在构建数据集时,我们手动注释了7,650个均匀采样的关键帧上的所有对象和区域,并收集了23个自由观看所有视频的受试者的眼动跟踪数据。从用户数据中,我们发现视频中的显著对象可以被定义为在整个视频中始终弹出的对象,并且具有这样的属性的对象可以通过将手动注释的对象/区域掩模与多个主体的眼睛跟踪数据相结合来明确地注释。据我们所知,它是目前基于视频的显著目标检测的最大数据集。基于此数据集,本文提出了一种无监督的基线方法,基于视频的SOD使用显着性指导堆叠自动编码器。在该方法中,多个时空显著性线索首先在像素,超像素和对象水平提取。有了这些显着性线索,堆叠的自动编码器被无监督地构建,其通过渐进地编码从像素及其时空邻居收集的高维显着性线索来自动推断每个像素的显着性得分。实验结果表明,所提出的无监督方法在所提出的数据集上优于30种最先进的模型,包括19种基于图像的经典模型(无监督或非深度学习),6种基于图像的深度学习模型,以及5种基于视频的无监督模型。此外,基准测试结果表明,该数据集是非常具有挑战性的,并有可能促进基于视频的SOD的发展。
2017-05-09 cs.CV
Attend and Segment: Attention Guided Active Semantic Segmentation
KU Leuven(鲁汶大学)
在动态环境中,具有有限视野/资源的代理在尝试解析场景之前不能完全观察场景。在这样的设置中,公共语义分割架构的部署是不可行的。在本文中,我们提出了一种方法,逐步分割场景给定的序列的部分观察。其主要思想是通过参加最不确定的领域来完善代理对环境的理解。我们的方法包括一个自我监督的注意力机制和一个专门的架构,以维护和利用空间记忆地图填充在环境中看不见的地区。智能体可以选择并关注一个区域,同时依靠来自访问区域的线索来产生其他部分的幻觉。我们在CityScapes,CamVid和Kitti数据集上达到了78.1%,80.9%和76.5%的平均像素精度,仅处理18%的图像像素(10个视网膜样的一瞥)。我们对视网膜样瞥见的瞥见次数、输入图像大小和有效性进行了消融研究。我们比较我们的方法,几个基线,并表明,最佳的结果是通过访问一个非常低的分辨率视图的场景在第一时间步。
2020-07-22 cs.CV
Automatic Image Labelling at Pixel Level
Northwest University(西北大学);Fudan University(复旦大学);The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
用于语义图像分割的深度网络的性能在很大程度上取决于在像素级标记的大规模训练图像的可用性。通常,通过劳动密集型过程手动获得这种像素级图像标记。为了减轻手动图像标记的负担,我们提出了一个有趣的学习方法来自动生成像素级图像标记。一个引导过滤网络(GFN)首先开发学习的分割知识,从源域,这样的GFN,然后转移这样的分割知识,在目标域中生成粗糙的对象掩模。这样的粗糙对象掩模被视为伪标签,并且它们被进一步整合以在目标域中迭代地优化/细化GFN。我们在六个图像集上的实验表明,我们提出的方法可以生成细粒度的对象掩码(即,像素级对象标记),其质量与手动标记的质量非常相似。我们提出的方法也可以实现更好的性能比大多数现有的弱监督方法的语义图像分割。
2020-07-20 cs.CV
Linguistic Query-Guided Mask Generation for Referring Image Segmentation
Alibaba Group(阿里巴巴集团)
参考图像分割的目的是根据给定的语言表达分割出感兴趣的图像区域,这是一个典型的多模态任务。现有的方法要么采用基于像素分类的框架或基于可学习查询的框架来生成掩码,这两种方法都不足以处理具有固定数量的参数化原型的各种文本-图像对。在这项工作中,我们提出了一个端到端的框架建立在Transformer执行语言查询引导掩码生成,被称为LGFormer。该方法将语言特征看作查询,为任意输入的图像文本对生成专门的原型,从而生成更加一致的分割结果。此外,我们在编码器和解码器中设计了几个跨模态交互模块(\eg,视觉语言双向注意模块,VLBA),以实现更好的跨模态对齐。
2023-03-22 cs.CV
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
由于难以获得高质量的标注,从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割,往往产生噪声预测周围的对象边界。为了解决这个问题,我们采用了超像素表示,并开发了一种强大的迭代学习策略,该策略结合了分割网络的噪声感知训练和噪声标签细化,两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束,并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明,我们的方法优于最近的国家的最先进的方法,并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Snow Mask Guided Adaptive Residual Network for Image Snow Removal
Xidian University(西安电子科技大学);Beijing Electronic Science and Technology Institute(北京电子科技学院);The Chinese University of Hong Kong(香港中文大学);Guangxi Normal University(广西师范大学)
恶劣天气下的图像复原是一项具有挑战性的任务。以往的工作大多集中在消除图像中的雨和霾现象。然而,雪也是一种极其常见的大气现象,它会严重影响高级计算机视觉任务的性能,例如目标检测和语义分割。近年来,人们提出了一些去雪方法,但大多数方法都是直接以雪图像为优化对象。然而,雪的位置和形状的分布是复杂的。因此,不能有效地检测雪花/雪线将影响除雪并限制模型性能。为了解决这些问题,我们提出了一个雪掩模引导的自适应残差网络(SMGARN)。具体来说,SMGARN由三个部分组成,掩码网络,制导融合网络(GF-Net)和重建网络。首先,我们建立了一个具有自像素注意力(SA)和跨像素注意力(CA)的Mask-Net来捕获雪花的特征并准确定位雪的位置,从而预测出准确的雪掩模。其次,将预测的雪面具送入专门设计的GF-Net,以自适应地指导模型去除积雪。最后,利用一个高效的重构网络对图像进行去噪和校正,重构出最终的无雪图像。大量的实验表明,我们的SMGARN数值上优于所有现有的除雪方法,重建图像的视觉对比度更清晰。所有代码都将可用。
2022-07-11 cs.CV
MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出MTA-CLIP框架,通过掩码级视觉-语言对齐、掩码-文本解码器、对比学习及提示学习解决像素级对齐中的边界歧义问题,在ADE20k和Cityscapes上取得最优分割性能。
2024-07-31 cs.CV
Center-guided Classifier for Semantic Segmentation of Remote Sensing Images
School of Software Technology, Zhejiang University(浙江大学软件学院);Innovation Center of Yangtze River Delta, Zhejiang University(浙江大学长三角创新中心);School of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);City University of Hong Kong(香港城市大学)
针对遥感图像类内方差大、现有softmax分类器存在监督间接、建模能力不足及决策不透明的问题,提出名为CenterSeg的中心引导分类器,通过多原型、格拉斯曼流形约束等实现性能提升与可解释性,在三个数据集上验证有效。
2025-03-21 cs.CV
Context-Guided Semantic Alignment for Feature Fusion Networks
Department of Embedded Systems Engineering, Incheon National University(仁川国立大学嵌入式系统工程系)
提出轻量级语义对齐模块FINE,通过跨层级注意力机制利用高层上下文指导低层特征融合,并引入对齐感知令牌采样降低计算复杂度,提升目标检测精度。
2026-08-27 cs.CV
Seeing the Whole Picture: Distribution-Guided Data-Free Distillation for Semantic Segmentation
National University of Defense Technology(国防科技大学)
本文提出DFSS框架,通过利用教师模型的BN统计信息引导近似分布采样,提升语义分割任务的性能,减少对辅助数据的依赖。
2025-12-15 cs.CV
A Certified Radius-Guided Attack Framework to Image Segmentation Models
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Illinois Institute of Technology(伊利诺伊理工学院)
针对图像分割模型易受对抗扰动影响的问题,提出认证半径引导攻击框架,利用像素认证半径设计白盒损失与黑盒PBGD攻击,实现渐近最优性能。
2023-04-05 cs.CR cs.CV cs.LG
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
C2FMAE通过粗到细的掩码自编码器,解决自监督视觉预训练中对比学习与掩码建模的矛盾,提升图像分类、目标检测和语义分割的性能。
2026-03-10 cs.CV cs.LG
Information-guided pixel augmentation for pixel-wise contrastive learning
University of Science and Technology of China(中国科学技术大学)
对比学习(CL)是自监督学习的一种形式,并已被广泛用于各种任务。与广泛研究的实例级对比学习不同,像素级对比学习主要帮助像素级任务,如医学标志检测。实例级CL中实例的对应物是像素级CL中的像素及其相邻上下文。为了建立更好的特征表示,有大量的文献设计实例级CL的实例增强策略,但几乎没有类似的工作像素增强像素级CL与像素粒度。在本文中,我们试图弥合这一差距。我们首先将一个像素分为三类,即低,中,高信息量的像素包含的信息量的基础上。受“InfoMin”原则的启发,我们为每个类别设计了单独的增强策略,包括增强强度和采样率。大量的实验验证了我们的信息引导的像素增强策略成功地编码更多的歧视性表示,并超越其他竞争对手的方法在无监督的局部特征匹配。此外,我们的预训练模型提高了一次性和完全监督模型的性能。据我们所知,我们是第一个提出一个像素增强方法与像素粒度增强无监督像素的对比学习。
2022-11-14 cs.CV
D3S2: Diffusion-Guided Dataset Distillation for Semantic Segmentation
Zhejiang University(浙江大学)
针对语义分割数据集蒸馏中的长尾类别不平衡、像素级对齐和高计算成本问题,提出两阶段框架D3S2,通过类别平衡掩码选择和扩散引导图像合成生成紧凑训练集,在极低压缩率下显著提升分割性能。
2026-10-07 cs.AI cs.CV
SuperCL: Superpixel Guided Contrastive Learning for Medical Image Segmentation Pre-training
Institute of Medical Technology, Peking University Health Science Center, Peking University(北京大学医学部医学技术研究所);Department of Biomedical Engineering, Peking University(北京大学生物医学工程系);National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心);Institute of Biomedical Engineering, Shenzhen Bay Laboratory(深圳湾实验室生物医学工程研究所);Institute of Biomedical Engineering, Peking University Shenzhen Graduate School(北京大学深圳研究生院生物医学工程研究所)
提出SuperCL,一种基于超像素引导的对比学习预训练方法,通过ILCP和IGCP策略生成对比对,利用结构先验提升医学图像分割性能,在8个数据集上超越12种现有方法。
2025-04-20 cs.AI cs.CV
Reference-guided Pseudo-Label Generation for Medical Semantic Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University Medicine Essen(埃森大学医学院)
对于医学成像应用来说,产生密集注释的数据是一项困难而繁琐的任务。为了解决这个问题,我们提出了一种新的方法来产生监督半监督语义分割。我们认为,标记和未标记的图像之间的视觉相似的区域可能包含相同的语义,因此应该共享它们的标签。遵循这一思想,我们使用少量的标记图像作为参考材料,并将未标记图像中的像素与参考集中最佳拟合像素的语义进行匹配。通过这种方式,我们避免了在纯粹基于预测的伪标签中常见的确认偏差等陷阱。由于我们的方法不需要任何架构更改或伴随的网络,因此可以轻松地将其插入到现有的框架中。我们在X射线解剖分割上实现了与标准完全监督模型相同的性能,尽管标记图像减少了95%。除了对我们提出的方法的不同方面进行深入分析外,我们还通过将我们的方法与现有的视网膜流体分割方法进行比较,进一步证明了我们的参考引导学习范式的有效性,因为我们在最近的工作中提高了高达15%的平均IoU。
2021-12-01 cs.AI cs.CV cs.LG
Binary Change Guided Hyperspectral Multiclass Change Detection
School of Computer Science, Wuhan University(武汉大学计算机学院)
高光谱图像具有丰富的光谱信息,能够检测出细微的变化,并能区分不同的变化类别进行变化检测。然而,目前的研究工作主要集中在高光谱二值变化检测,无法提供精细的变化类别信息。而大多数的高光谱多类变化检测方法都采用了光谱解混的方法,但往往忽略了时间相关性和误差积累。在这项研究中,我们提出了一个无监督的二进制变化引导的高光谱多类变化检测网络(BCG-Net)的HMCD,其目的是提高多类变化检测结果和解混结果与成熟的二进制变化检测方法。在BCG-Net中,针对多时相光谱解混设计了一种新的部分连体联合解混模块,并提出了一种突破性的基于二值变化检测结果伪标签的时间相关性约束,从变化检测的角度指导解混过程,使不变像元的丰度更一致,变化像元的丰度更准确。此外,针对传统规则易受数值影响的问题,提出了一种新的二进制变化检测规则。提出了光谱分解和变化检测过程的迭代优化方法,以消除分解结果对变化检测结果的累积误差和偏差。实验结果表明,我们提出的BCG-Net可以实现比较,甚至是最先进的方法之间的多类变化检测的优秀性能,并获得更好的光谱解混的结果在同一时间。
2021-12-11 cs.CV eess.IV
Not All Pixels Are Equal: Confidence-Guided Attention for Feature Matching
Dongyue Li(李东岳)
本文提出基于置信度的注意力机制,通过自适应修剪注意力权重和引入分类损失,提升特征匹配的准确性与效率。
2026-02-22 cs.CV
DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting
Tsinghua University(清华大学);PhiGent Robotics(鉴智机器人)
最近的进展表明,使用对比图像-文本对的大规模预训练可以是从自然语言监督进行高质量视觉表示学习的有前途的替代方案。受益于更广泛的监督来源,这种新的范式表现出令人印象深刻的可转移性,下游分类任务和数据集。然而,将从图像-文本对中学习到的知识转移到更复杂的密集预测任务中的问题几乎没有被访问过。在这项工作中,我们通过隐式和显式地利用CLIP的预训练知识,提出了一个新的密集预测框架。具体来说,我们将CLIP中的原始图像-文本匹配问题转换为像素-文本匹配问题,并使用像素-文本得分图来指导密集预测模型的学习。通过进一步使用来自图像的上下文信息来提示语言模型,我们能够促进我们的模型更好地利用预先训练的知识。我们的方法是模型不可知的,可以应用于任意密集预测系统和各种预训练的视觉骨干,包括CLIP模型和ImageNet预训练模型。大量的实验证明了我们的方法在语义分割,目标检测和实例分割任务上的优越性能。代码可在https://github.com/raoyongming/DenseCLIP上获得
2022-03-21 cs.AI cs.CV cs.LG
Guided Super-Resolution as Pixel-to-Pixel Transformation
ETH Zürich(苏黎世联邦理工学院)
引导超分辨率是用于若干计算机视觉任务的统一框架,其中输入是某个目标量的低分辨率源图像(例如,用飞行时间照相机获取的透视深度)和来自不同域的高分辨率引导图像(例如,来自传统相机的灰度图像);目标输出是源的高分辨率版本(在我们的示例中,是高分辨率深度图)。看待这个问题的标准方法是将其公式化为超分辨率任务,即,源图像被上采样到目标分辨率,同时从向导中传送丢失的高频细节。在这里,我们建议将这种解释转变为引导图像到源图像域的像素到像素映射。逐像素映射被参数化为多层感知器,其权重通过最小化源图像和下采样目标图像之间的差异来学习。重要的是,我们的公式可以只正则化映射函数,同时避免正则化输出;从而产生清晰,自然的图像。该方法是无监督的,只使用特定的源和引导图像来拟合映射。我们评估我们的方法在两个不同的任务,超分辨率的深度图和树的高度图。在这两种情况下,我们在定量比较中明显优于最近的基线,同时提供视觉上更清晰的输出。
2019-08-15 cs.CV
Novel View Synthesis via Depth-guided Skip Connections
Aalto University(阿尔托大学)
我们介绍了一个原则性的方法,用于合成一个场景的新的意见,给出了一个单一的源图像。用于新视图合成的先前方法可以分为基于图像的渲染方法(例如,流预测)或像素生成方法。流预测使目标视图能够直接重用像素,但很容易导致结果失真。直接回归像素可以产生结构上一致的结果,但通常缺乏低级别的细节。在本文中,我们利用一个编码器-解码器架构回归像素的目标视图。为了保持细节,我们将解码器对齐的特征图与跳过连接耦合,其中对齐由目标视图的预测深度图指导。我们的实验结果表明,我们的方法不会受到扭曲,并成功地保留纹理细节对齐跳过连接。
2021-01-05 cs.CV
Prior-guided Hierarchical Instance-pixel Contrastive Learning for Ultrasound Speckle Noise Suppression
School of Biological Science and Medical Engineering, Southeast University(生物科学与医学工程学院,东南大学);Department of Biomedical Engineering, The Ohio State University(生物医学工程系,奥斯特大学);Jiangsu Key Laboratory of Biomaterials and Devices, Southeast University(江苏省生物材料与器件重点实验室,东南大学);State Key Laboratory of Digital Medical Engineering, Southeast University(国家数字医学工程重点实验室,东南大学)
本文提出了一种基于先验的层次实例-像素对比学习模型,通过结合Transformer和CNN架构,有效抑制超声波斑点噪声并保持结构细节。
2026-02-14 cs.CV
Pixel-Accurate Epipolar Guided Matching
Stony Brook University(石溪大学);SUNY Korea(SUNY韩国)
本文提出一种精确引导匹配方法,通过在角度空间中直接选择候选,提高鲁棒性和效率,实验表明在ETH3D数据集上速度提升显著。
2026-03-19 cs.CV
Image Inpainting Using AutoEncoder and Guided Selection of Predicted Pixels
Isfahan University of Technology(伊斯法罕理工大学);McMaster University(麦克马斯特大学)
图像修补是一种有效的增强失真图像的方法。不同的修复方法使用相邻像素的信息来预测丢失像素的值。最近,深度神经网络已经被用于学习图像的结构和语义细节以用于修复目的。在本文中,我们提出了一个网络的图像修补。该网络类似于U-Net,从图像中提取各种特征,从而获得更好的结果。我们通过用输出图像的恢复像素替换损坏的像素来改进最终结果。我们的实验结果表明,该方法产生高质量的结果相比,传统的方法。
2021-12-17 cs.CV eess.IV
Dragging with Geometry: From Pixels to Geometry-Guided Image Editing
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Singapore Management University(新加坡国立大学)
GeoDrag通过整合3D几何线索和统一位移场,实现了高精度、结构一致的拖拽图像编辑,解决了多点拖拽冲突和几何引导不连续性问题。
2026-02-20 cs.CV
Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical Scene Segmentation with Limited Annotations
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University College London(伦敦大学学院);Zhejiang Lab(之江实验室)
手术场景分割对于促进机器人手术中的认知辅助至关重要。然而,以逐帧方式逐像素地注释手术视频是昂贵且耗时的。为了大大减少标记负担,在这项工作中,我们研究了机器人手术视频的半监督场景分割,这是实际上必不可少的,但以前很少探索。我们认为,临床上合适的注释情况下的等距采样。然后,我们提出了PGV-CL,一种新的伪标签引导的跨视频对比度学习方法,以提高场景分割。它有效地利用未标记的数据进行可靠的全局模型正则化,从而产生更具鉴别力的特征表示。具体地说,对于可信的表示学习,我们建议结合伪标签来指导对选择,获得更可靠的表示对像素对比度。此外,我们扩展了表示学习空间,从以前的图像级到跨视频,这可以捕捉全局语义,以利于学习过程。我们在公共机器人手术数据集EndoVis 18和公共白内障数据集CaDIS上广泛评估了我们的方法。实验结果证明了我们的方法的有效性,在不同的标记率下,我们的方法始终优于最先进的半监督方法,甚至超过了EndoVis 18上的完全监督训练,标记率为10.1%。
2022-07-20 cs.CV
PNEC-Mamba: Prototype-Guided Positive-Negative Evidence Calibration for Hyperspectral Image Classification
针对高光谱图像分类中像素表征歧义问题,提出PNEC-Mamba框架,通过正负证据校准与不确定性估计提升分类性能,在三个基准数据集上优于现有最优方法。
2026-08-04 cs.CV
Advanced Pixel Diffusion Model with Guided Sparse Global Refinement
University of Electronic Science and Technology of China(电子科技大学)
针对现有像素扩散模型的缺陷,提出 PixSGR 框架,通过引导式稀疏全局细化实现高效高质量图像生成,在 ImageNet 上 256×256 分辨率 FID 达 1.51,512×512 分辨率达 1.60。
2026-09-02 cs.CV
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences
Technical University of Munich(慕尼黑工业大学);CIIRC Czech Technical University in Prague(布拉格捷克技术大学CIIRC)
用于视觉定位的经典匹配流水线通常涉及三个步骤:(i)局部特征检测和描述,(ii)特征匹配,以及(iii)离群值拒绝。最近出现的对应网络提出在单个网络内执行这些步骤,但由于内存瓶颈而遭受低匹配分辨率。在这项工作中,我们提出了一个新的角度来估计对应的检测到细化的方式,我们首先预测补丁级匹配的建议,然后完善它们。我们提出了Patch2Pix,一种新的细化网络,通过从这些建议定义的局部区域回归像素级匹配,并联合拒绝离群匹配与置信度得分来细化匹配建议。Patch2Pix是弱监督的,以学习与输入图像对的对极几何一致的对应关系。我们表明,我们的细化网络显着提高了图像匹配,单应性估计和定位任务的对应网络的性能。此外,我们还证明了我们的学习细化可以推广到完全监督的方法,而无需重新训练,这使我们获得了最先进的本地化性能。该代码可在https://github.com/GrumpyZhou/patch2pix上获得。
2021-03-26 cs.CV
Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity
POSTECH(浦项科技大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
针对文本引导图像压缩中像素保真度下降的问题,提出文本自适应编码与联合图像-文本损失训练的框架,在保持高感知质量的同时实现高像素级保真度,并在LPIPS指标上优于所有基线。
2024-05-22 cs.CV cs.LG
ConeGS: Error-Guided Densification Using Pixel Cones for Improved Reconstruction With Fewer Primitives
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
ConeGS通过基于像素锥的误差引导稠密化方法,在较少基础元素的情况下提升3D重建质量与渲染性能。
2026-01-21 cs.CV
Towards Keypoint Guided Self-Supervised Depth Estimation
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Yamagata University, Faculty of Science(山形大学理学部)
本文提出使用关键点作为自我监督线索,从输入图像的集合中学习深度图估计。由于难以从真实图像获得地面真实深度,因此已经提出了许多无监督和自监督的深度估计方法。这些无监督方法中的大多数使用深度图和自我运动估计来将来自当前图像的像素重新投影到来自图像集合的相邻图像中。深度和自我运动估计的基础上评估相应的原始和重新投影像素之间的像素强度差。我们建议首先在两幅图像中选择图像关键点,然后重新投影并比较两幅图像的对应关键点,而不是重新投影单个像素。关键点应该很好地描述了独特的图像特征。通过学习具有和不具有关键点提取技术的深度模型,我们表明使用关键点改进了深度估计学习。我们还提出了一些未来的方向,为关键点引导的学习结构从运动的问题。
2020-11-05 cs.CV
I2E: From Image Pixels to Actionable Interactive Environments for Text-Guided Image Editing
Huazhong University of Science and Technology(华中科技大学);Kuaishou Technology(快手科技);Central China Normal University(华中师范大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
I2E提出一种'分解-然后-行动'范式,通过分解器将无结构图像转换为可操作的对象层,并利用物理感知的视觉-语言-行动代理进行复杂指令解析,同时构建I2E-Bench基准测试集,实验表明其在处理复杂组合指令和保持物理合理性方面优于现有方法。
2026-04-07 cs.CV
SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);City University of Macau(澳门城市大学);Meitu Inc(美图公司)
针对基于草图的图像编辑缺乏像素级精度及对应数据集、评估指标的问题,提出SI-Edit框架,构建SI-Data数据集并建立评估指标,实现更可靠的结构控制与像素级局部编辑效果。
2026-08-11 cs.CV
Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction
Archimedes Athena Research Center(雅典娜研究中心);National Technical University of Athens(雅典国家技术大学);University of Crete(克里特大学);IACM-Forth(希腊研究与技术基金会-应用与计算数学研究所)
本文提出Re2Pix框架,通过先预测语义表示再生成视觉内容,提升动态环境视频预测的语义一致性和视觉质量。
2026-04-13 cs.CV
Pixels or Code? Benchmarking Instruction-Guided Visual Artifact Operation
Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学)
该研究提出VAO-Bench基准,评估像素空间编辑器、代码生成多模态系统及工具使用智能体在视觉工件操作任务中的表现,发现可执行代码系统更擅长依赖更新,像素空间编辑器执行更快且视觉质量佳。
2026-10-14 cs.CV