Pixel-level Semantics Guided Image Colorization
University of Amsterdam(阿姆斯特丹大学);Lancaster University(兰卡斯特大学)
虽然许多图像彩色化算法最近已经显示出从灰度照片产生合理的颜色版本的能力,但它们仍然遭受上下文混淆和边缘渗色的问题。为了解决上下文混淆,我们建议将像素级的对象语义来指导图像着色。其基本原理是,人类感知和区分颜色的基础上的对象的语义类别。我们提出了一个具有两个分支的分层神经网络。一个分支学习对象是什么,而另一个分支学习对象的颜色。该网络联合优化语义分割损失和着色损失。为了攻击边缘渗色,我们在推理时采用联合双边上采样层来生成具有尖锐边缘的更连续的彩色图。我们的网络是在PASCAL VOC 2012和COCO-stuff上训练的,带有语义分割标签,与最先进的彩色化相比,它产生了更真实、更精细的结果。
2018-08-05 cs.CV
Few-Shot Segmentation Propagation with Guided Networks
UC Berkeley(加州大学伯克利分校)
基于学习的视觉分割方法在特定类型的分割任务上取得了进展,但受到必要的监督,固定任务的狭窄定义以及在推理过程中缺乏控制以纠正错误的限制。为了弥补标准方法的刚性和注释负担,我们解决了Few-Shot分割的问题:给定很少的图像和很少的像素监督,相应地分割任何图像。我们提出了引导网络,它从任何数量的监督中提取潜在的任务表示,并优化我们的架构端到端,以实现快速,准确的Few-Shot分割。我们的方法可以在没有进一步优化的情况下切换任务,并在获得更多指导时快速更新。我们报告的第一个结果,从一个像素每个概念的分割,并显示实时交互式视频分割。我们的统一方法传播像素注释跨空间的交互式分割,跨时间的视频分割,跨场景的语义分割。我们的引导分割器在注释量和时间方面的准确性是最先进的。请访问http://github.com/shelhamer/revolver获取代码、模型和更多详细信息。
2018-05-25 cs.CV cs.LG stat.ML
Semantically-Guided Representation Learning for Self-Supervised Monocular Depth
Toyota Research Institute (TRI)(丰田研究院);University of Michigan(密歇根大学)
自监督学习在单目深度估计方面显示出巨大的前景,使用几何作为唯一的监督来源。深度网络确实能够通过隐式地利用类别级模式来学习将视觉外观与3D属性相关联的表示。在这项工作中,我们研究如何更直接地利用这种语义结构来指导几何表示学习,同时保持在自我监督制度。我们提出了一种新的架构,利用固定的预训练语义分割网络来指导通过像素自适应卷积的自监督表示学习,而不是在多任务方法中使用语义标签和代理损失。此外,我们提出了一个两阶段的训练过程,以克服一个共同的语义偏见动态对象通过reservation。我们的方法改进了对所有像素、细粒度细节和每个语义类别进行自监督单目深度预测的现有技术。
2020-02-27 cs.CV cs.LG
Saliency guided deep network for weakly-supervised image segmentation
Jilin University(吉林大学)
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法,可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的,使得它们不能为图像分割提供有效的信息。在本文中,我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图,并通过种子区域生长方法将位置线索作为种子进行生长,以扩展像素级标签的范围。在种子的生长过程中,我们使用显著性值来加权像素之间的相似性,以控制生长。因此,显著性信息可以帮助生成有区别的对象区域,并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates
Microsoft Research(微软研究院)
典型的自自底向上的【形】人体姿态估计框架包括两个阶段,关键点检测和分组。大多数现有的工作集中于开发分组算法,例如,关联嵌入和我们在方法中采用的像素关键点回归。我们提出了几个方案,很少或不彻底的研究之前,提高关键点检测和分组(关键点回归)的性能。首先,我们利用关键点热图进行逐像素关键点回归,而不是将它们分离以改进关键点回归。其次,我们采用逐像素空间Transformer网络来学习自适应表示,以处理尺度和方向方差,从而进一步提高关键点回归质量。最后,我们提出了一个联合形状和热值评分计划,以促进更有可能是真实的姿态估计的姿态。连同用于平衡背景和关键点像素从而提高热图估计质量的权衡热图估计损失,我们得到了最先进的自自底向上的【形】的人体姿态估计结果。代码可在https://github.com/HRNet/HRNet-Bottom-up-Pose-Estimation上获得。
2020-06-28 cs.CV
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
C2FMAE通过粗到细的掩码自编码器,解决自监督视觉预训练中对比学习与掩码建模的矛盾,提升图像分类、目标检测和语义分割的性能。
2026-03-10 cs.CV cs.LG
Generating Self-Guided Dense Annotations for Weakly Supervised Semantic Segmentation
National Tsing Hua University(国立清华大学)
在图像级监督下学习语义分割模型比在完全监督设置下更具挑战性。在不知道确切的像素-标签对应关系的情况下,大多数弱监督方法依赖于外部模型来推断伪像素级标签以用于训练语义分割模型。在本文中,我们的目标是开发一个单一的神经网络,而不诉诸任何外部模型。我们提出了一种新的自我引导策略,充分利用在多个级别上学习的特征,逐步生成密集的伪标签。首先,我们使用高级特征作为类特定的本地化映射来粗略定位类。接下来,我们提出了一个亲和度指导的方法,鼓励每个本地化地图是一致的,他们的中间水平的功能。第三,我们采用训练图像本身作为指导,并提出一种自我指导的细化,以进一步将图像的固有结构转移到地图中。最后,我们从这些本地化地图中获得伪像素级标签,并使用伪标签作为地面实况来训练语义分割模型。我们提出的自指导策略是一个统一的框架,它建立在单个网络上,并在训练过程中交替更新特征表示和细化定位图。在PASCAL VOC 2012分割基准上的实验结果表明,在相同的设置下,我们的方法优于其他弱监督方法。
2018-10-16 cs.CV
Distance Guided Channel Weighting for Semantic Segmentation
Nanyang Technological University(南洋理工大学);Beihang University(北京航空航天大学)
最近的工作在通过利用深度神经网络捕获具有高通道数的特征来提高多个计算机视觉任务的性能方面取得了巨大成功。然而,许多通道提取的特征是没有区别的,包含大量的冗余信息。在本文中,我们解决上述问题,通过引入距离导引信道加权(DGCW)模块。DGCW模块是以逐像素上下文提取的方式构建的,其通过在建模其与其他像素的关系时对每个像素的特征向量的不同通道进行加权来增强特征的区分度。该方法可以充分利用特征图中的高区分度信息,而忽略特征图中的低区分度信息,并能捕捉到特征图中的长距离依赖关系。此外,通过将DGCW模块与基线分割网络相结合,我们提出了距离引导信道加权网络(DGCWNet)。我们进行了大量的实验,以证明DGCWNet的有效性。特别是,它在Cityscapes上实现了81.6%的mIoU,只有精细的注释数据用于训练,并且在另外两个语义分割数据集上也获得了令人满意的性能,即Pascal Context和ADE 20 K。代码将很快在https://github.com/LanyunZhu/DGCWNet上提供。
2022-05-13 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外(OOD)对象,并输出像素的异常概率。本文提出了一种原型引导的异常分割网络(PGAN),用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中,原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义,与从测试图像中提取的特征进行相似度比较,然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上,所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明,PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV
A Certified Radius-Guided Attack Framework to Image Segmentation Models
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Illinois Institute of Technology(伊利诺伊理工学院)
针对图像分割模型易受对抗扰动影响的问题,提出认证半径引导攻击框架,利用像素认证半径设计白盒损失与黑盒PBGD攻击,实现渐近最优性能。
2023-04-05 cs.CR cs.CV cs.LG
CLIP-S$^4$: Language-Guided Self-Supervised Semantic Segmentation
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
本研究提出CLIP-S$^4$方法,结合自监督像素对比学习与CLIP引导的双重一致性约束,实现无标注、无未知类别信息的多类语义分割任务,在多个基准上性能优于现有方法,尤其大幅提升未知类别识别效果。
2023-05-01 cs.AI cs.CV
A Spatial Guided Self-supervised Clustering Network for Medical Image Segmentation
The University of Sydney(悉尼大学);Med-X Research Institute, Shanghai Jiao Tong University(上海交通大学Med-X研究院)
医学图像的分割是自动化临床决策支持系统中的一个基本步骤。然而,现有的基于监督式深度学习的医学图像分割方法仍然存在问题,因为它们依赖于大量标记的训练数据。尽管医学成像数据存储库继续扩展,但注释数据的量并没有相应地增加。因此,我们提出了一种新的空间引导自监督聚类网络(SGSCN)的医学图像分割,在那里我们引入了多个损失函数,旨在帮助分组图像像素的空间连接,并具有类似的功能表示。它从单个图像中以端到端的方式迭代学习每个像素的特征表示和聚类分配。我们还提出了一个基于上下文的一致性损失,更好地描绘图像区域的形状和边界。它强制属于一个聚类的所有像素在空间上靠近聚类中心。我们评估了我们的方法对2个公共医学图像数据集,并将其与现有的传统和自监督聚类方法进行比较。实验结果表明,该方法对医学图像分割的准确性最高。
2021-07-11 cs.CV
Confidence Guided Stereo 3D Object Detection with Split Depth Estimation
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
准确可靠的3D目标检测对于安全自动驾驶至关重要。尽管最近的发展,基于立体的方法和基于激光雷达的方法之间的性能差距仍然相当大。准确的深度估计对于基于立体的3D目标检测方法的性能是至关重要的,特别是对于与前景中的对象相关联的那些像素。此外,基于立体的方法遭受深度估计精度的高变化,这在目标检测流水线中通常不被考虑。为了解决这两个问题,我们提出了CG-立体声,一个置信度引导的立体3D目标检测流水线,它在深度估计过程中对前景和背景像素使用单独的解码器,并利用来自深度估计网络的置信度估计作为3D对象检测器中的软注意力机制。我们的方法在KITTI基准上优于所有最先进的基于立体的3D探测器。
2020-03-11 cs.CV
Preference-Guided Adaptation for Open-Vocabulary Semantic Segmentation via Prompt Disagreement
KAIST(韩国科学技术院)
提出用二元偏好替代密集掩码的适配框架,利用提示分歧作为内置偏好来源,通过区域局部化偏好优化与一致性正则化,在无需像素级标注下提升开放词汇语义分割在专业领域的性能。
2026-09-29 cs.CV
TRACER: Extreme Attention Guided Salient Object Tracing Network
Korea University(高丽大学)
现有显著性目标检测(SOD)的研究主要集中在提取具有边缘信息的显著目标和聚合多层次特征以提高SOD性能。为了达到令人满意的性能,该方法采用精细的边缘信息和低的多级差异。然而,性能增益和计算效率不能同时获得,这促使我们研究现有编码器-解码器结构中的低效率以避免这种权衡。我们提出了TRACER,它通过将注意力引导跟踪模块检测显着的物体与明确的边缘。我们在第一个编码器的末端采用了一个掩蔽的边缘注意模块,使用快速傅立叶变换将细化的边缘信息传播到下游的特征提取。在多级聚合阶段,联合注意模块识别出互补信道和重要的空间信息。为了提高解码器的性能和计算效率,我们最大限度地减少解码器块的使用与对象注意模块。该模块从细化通道和空间表示中提取未检测到的对象和边缘信息。随后,我们提出了一个自适应像素强度损失函数来处理相对重要的像素,而不是像传统的损失函数一样对待所有像素。与13种现有方法的比较表明,TRACER在五个基准数据集上实现了最先进的性能。我们在https://github.com/Karel911/TRACER上发布了TRACER。
2022-06-27 cs.CV
PixelUp: Zero-Shot Semantic Feature Upsampling for Fine-Grained Vision Tasks
PixelUp是一种零样本、与视觉基础模型无关的语义特征上采样器,通过多尺度语义引导的窗口交叉注意力架构实现细粒度视觉任务的最优性能,可提升语义分割、深度估计等任务的精度。
2026-08-05 cs.CV
Boundary Guided Context Aggregation for Semantic Segmentation
Beihang University(北京航空航天大学)
近年来的语义分割研究开始注意到边界信息的重要性,大多数方法都将边界看作是语义细节的补充。然而,简单地将边界和主流特征结合起来并不能保证语义建模的整体改进。与以往的研究相比,我们利用边界作为上下文聚合的重要指导,以促进图像的整体语义理解。为此,我们提出了一个边界引导上下文聚合网络(BCANet),其中多尺度边界提取器(MSB)借用多个尺度的骨干特征是专门为准确的边界检测而设计的。在此基础上,进一步提出了对非局部网络进行改进的边界引导上下文聚合模块(BCA),以捕获边界区域像素与对象内部像素之间的长程依赖关系。通过沿边界聚集上下文信息,相同类别的内部像素实现相互增益,从而增强类内一致性。我们在Cityscapes和ADE20K数据库上进行了广泛的实验,并与最先进的方法取得了可比的结果,清楚地表明了所提出的方法的有效性。
2021-10-27 cs.CV
Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis
ETH Zurich(苏黎世联邦理工学院);University of Hong Kong(香港大学);HKUST(香港科技大学);University of Trento(特伦托大学);University of Wurzburg(维尔茨堡大学)
我们提出了一种新的ECGAN具有挑战性的语义图像合成任务。虽然已经取得了相当大的改善,合成图像的质量是远远不能令人满意的,由于三个基本上未解决的挑战。1)语义标签不提供详细的结构信息,使得难以综合局部细节和结构。2)广泛采用的CNN操作,如卷积,下采样和归一化通常会导致空间分辨率损失,从而无法完全保留原始语义信息,导致语义不一致的结果。3)现有的语义图像合成方法集中于从单个输入语义布局建模局部语义信息。然而,它们忽略了多个输入语义布局的全局语义信息,即,跨不同输入布局的像素之间的语义交叉关系。为了解决1),我们提出使用边缘作为中间表示,其进一步通过所提出的注意力引导边缘转移模块来引导图像生成。边缘信息由卷积生成器产生,并引入详细的结构信息。为了解决2),我们设计了一个有效的模块,根据原始的语义布局有选择地突出类相关的特征图,以保留语义信息。为了解决3)问题,受当前对比学习方法的启发,提出了一种新的对比学习方法,该方法的目的是使属于同一语义类的像素嵌入比来自不同语义类的像素嵌入生成更相似的图像内容。这样做可以通过显式地探索来自多个输入语义布局的标记像素的结构来捕获更多的语义关系。在三个具有挑战性的数据集上的实验表明,我们的ECGAN比最先进的方法取得了更好的结果。
2023-03-28 cs.CV cs.LG eess.IV
CalibrateMix: Guided-Mixup Calibration of Image Semi-Supervised Models
针对现有半监督图像分类模型校准性差、易产生过度自信预测的问题,本文提出CalibrateMix方法,通过区分难易样本开展针对性混合,在多个基准上实现了更低的期望校准误差与更优分类准确率。
2025-11-17 cs.AI cs.CV
UGainS: Uncertainty Guided Anomaly Instance Segmentation
RWTH Aachen University(亚琛工业大学);Ford Motor Company(福特汽车公司)
针对异常分割中像素分组限制评估单个异常物体的问题,提出UGainS方法,利用不确定性区域引导通用分割模型生成精确异常实例掩码,提升了逐像素分割性能并在多个验证集上取得优异AP。
2023-08-03 cs.CV
Grad-CL: Source Free Domain Adaptation with Gradient Guided Feature Disalignment
Department of Data Science and Engineering(数据科学与工程系);Indian Institute of Science Education and Research Bhopal(印度科学教育与研究学院博帕尔)
针对跨域眼底图像分割性能下降问题,提出无源域自适应框架Grad-CL,结合梯度引导的伪标签细化与余弦相似度对比学习,显著提升了视盘和视杯的分割精度与边界描绘。
2025-09-12 cs.CV
Box-driven Class-wise Region Masking and Filling Rate Guided Loss for Weakly Supervised Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);The University of Sydney(悉尼大学);SenseTime(商汤科技);Chinese Academy of Sciences - Artificial Intelligence Research(中国科学院人工智能创新研究院)
语义分割通过采用深度全卷积网络(FCN)取得了巨大的进步。然而,基于FCN的模型的性能严重依赖于大量的像素级注释,这是昂贵的和耗时的。为了解决这个问题,学习从边界框进行弱监督分割是一个很好的选择。如何充分利用边界盒的类级和区域级监督是弱监督学习面临的关键挑战。在本文中,我们首先介绍了一个盒子驱动的类的屏蔽模型(casual-wise masking model,简称casual-wise masking model)来去除每个类的不相关区域。此外,基于限界框监督生成的像素级分割建议,计算每个类别的平均填充率作为重要的先验线索,提出填充率引导的自适应损失(FR-Loss)算法,帮助模型忽略建议中错误标记的像素。与以前的方法直接训练模型与固定的个别段建议,我们的方法可以调整模型学习与全局统计信息。因此,它可以帮助减少错误标记提案的负面影响。我们评估所提出的方法上具有挑战性的PASCAL VOC 2012基准,并与其他方法进行比较。大量的实验结果表明,该方法是有效的,达到了最先进的结果。
2019-04-26 cs.CV
Density Map Guided Object Detection in Aerial Images
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);East Carolina University(东卡罗来纳大学)
高分辨率航空图像中的目标检测是一项具有挑战性的任务,因为1)目标尺寸的大变化,以及2)目标的非均匀分布。一种常见的解决方案是将大的航空图像分成小的(均匀的)作物,然后对每个小作物应用目标检测。在本文中,我们研究的图像裁剪策略,以解决这些挑战。具体来说,我们提出了一个密度图引导的目标检测网络(DMNet),这是从观察到的图像的对象密度图表示对象如何分布在地图的像素强度方面的启发。随着像素强度的变化,它能够判断一个区域是否有物体,这反过来又为统计地裁剪图像提供了指导。DMNet有三个关键组件:密度图生成模块、图像裁剪模块和物体检测器。DMNet生成密度图,并根据密度强度学习比例信息,以形成裁剪区域。大量的实验表明,DMNet在两个流行的航空图像数据集上实现了最先进的性能,即VisionDrone和UAVDT。
2020-04-12 cs.CV
A Language-Guided Benchmark for Weakly Supervised Open Vocabulary Semantic Segmentation
Indian Institute of Technology(印度理工学院)
越来越多的注意力被转移到数据高效的问题设置,如开放词汇语义分割(OVSS),它处理分割在训练过程中可能会或可能不会看到的任意对象。与OVSS相关的最接近的标准问题是Zero-Shot和Few-Shot Segmentation(ZSS,FSS)及其跨数据集变体,其中需要零到很少的注释来分割新的类。现有的FSS和ZSS方法利用完全监督的像素标记的可见类来分割不可见类。像素级标签很难获得,使用廉价的图像级标签形式的弱监督通常更实用。为此,我们提出了一种新的统一的弱监督OVSS管道,可以在新的类上执行ZSS,FSS和跨数据集分割,而无需在归纳设置中使用基础(可见)或新(不可见)类的像素级标签。我们提出了弱监督语义引导分割网络(WLSegNet),这是一种新型的语言引导分割管道,i)使用批量聚合(平均值)学习可概括的上下文向量,以使用冻结CLIP(一种视觉语言模型)将类提示映射到图像特征,ii)将弱ZSS/FSS转换为弱语义分割和Zero-Shot分割。学习的上下文向量避免了在训练期间对已看到的类的过拟合,并且在测试期间更好地转移到新的类。WLSegNet避免了在训练过程中进行微调和使用外部数据集。所提出的流水线在PASCAL VOC上分别以39和3 mIOU点击败了用于弱广义Zero-Shot和弱Few-Shot语义分割的现有方法,在MS COCO上以5 mIOU点击败了弱Few-Sho…
2023-02-27 cs.CV
3D Guided Weakly Supervised Semantic Segmentation
Australian National University(澳大利亚国立大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织 Data61)
逐像素的干净注释对于全监督的语义分割是必要的,这是费力且昂贵的。在本文中,我们提出了一个弱监督的二维语义分割模型,将稀疏的限界框标签与可用的三维信息,这是更容易获得先进的传感器。我们用边界框手动标记2D-3D语义(2D-3D-S)数据集的子集,并引入我们的2D-3D推理模块来生成精确的逐像素分段建议掩码。在3D信息的指导下,我们首先生成对象的点云,并计算每个点的对象概率得分。然后,我们将具有对象概率的点云投影回2D图像,然后进行细化步骤以获得分割建议,这些分割建议被视为伪标签以训练语义分割网络。我们的方法以递归方式工作,以逐步完善上述细分建议。在2D-3D-S数据集上的大量实验结果表明,当限界框标签仅在一小部分训练图像上可用时,该方法可以生成准确的分割建议。与最近的国家的最先进的方法的性能比较进一步说明了我们的方法的有效性。
2020-12-01 cs.CV
Reference-guided Pseudo-Label Generation for Medical Semantic Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University Medicine Essen(埃森大学医学院)
对于医学成像应用来说,产生密集注释的数据是一项困难而繁琐的任务。为了解决这个问题,我们提出了一种新的方法来产生监督半监督语义分割。我们认为,标记和未标记的图像之间的视觉相似的区域可能包含相同的语义,因此应该共享它们的标签。遵循这一思想,我们使用少量的标记图像作为参考材料,并将未标记图像中的像素与参考集中最佳拟合像素的语义进行匹配。通过这种方式,我们避免了在纯粹基于预测的伪标签中常见的确认偏差等陷阱。由于我们的方法不需要任何架构更改或伴随的网络,因此可以轻松地将其插入到现有的框架中。我们在X射线解剖分割上实现了与标准完全监督模型相同的性能,尽管标记图像减少了95%。除了对我们提出的方法的不同方面进行深入分析外,我们还通过将我们的方法与现有的视网膜流体分割方法进行比较,进一步证明了我们的参考引导学习范式的有效性,因为我们在最近的工作中提高了高达15%的平均IoU。
2021-12-01 cs.AI cs.CV cs.LG
Transmission-Guided Bayesian Generative Model for Smoke Segmentation
The Australian National University(澳大利亚国立大学)
烟雾分割对于精确定位野火至关重要,以便在早期阶段将其扑灭。尽管深度神经网络在图像分割任务上取得了令人鼓舞的结果,但由于其非刚性形状和透明外观,它们容易对烟雾分割过于自信。这是由知识水平的不确定性和标记水平的不确定性引起的,知识水平的不确定性是由于用于精确烟雾分割的有限训练数据和标记水平的不确定性,标记水平的不确定性表示标记地面实况的困难。为了有效地模拟这两种类型的不确定性,我们引入了贝叶斯生成模型来同时估计模型参数及其预测的后验分布。此外,烟雾图像具有低对比度和模糊性,受基于物理的图像去雾方法的启发,我们设计了一种传输引导的局部相干性损失,以引导网络基于像素距离和传输特征学习成对关系。为了促进这一领域的发展,我们还提供了一个高质量的烟雾分割数据集SMOKE 5K,由1,400个真实图像和4,000个合成图像组成,并带有像素级注释。基准测试数据集上的实验结果表明,我们的模型实现了准确的预测和可靠的不确定性地图表示模型对其预测的无知。我们的代码和数据集可在https://github.com/redlessme/Transmission-BVM上公开获取。
2023-03-02 cs.CV
Fuse & Calibrate: A bi-directional Vision-Language Guided Framework for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
针对指代表达图像分割中视觉与语言交互不足的问题,提出 FCNet 双向引导融合框架,通过视觉引导融合与语言引导校准生成高质量多模态特征,并在多个基准上超越现有方法。
2024-05-18 cs.CV
DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting
Tsinghua University(清华大学);PhiGent Robotics(鉴智机器人)
最近的进展表明,使用对比图像-文本对的大规模预训练可以是从自然语言监督进行高质量视觉表示学习的有前途的替代方案。受益于更广泛的监督来源,这种新的范式表现出令人印象深刻的可转移性,下游分类任务和数据集。然而,将从图像-文本对中学习到的知识转移到更复杂的密集预测任务中的问题几乎没有被访问过。在这项工作中,我们通过隐式和显式地利用CLIP的预训练知识,提出了一个新的密集预测框架。具体来说,我们将CLIP中的原始图像-文本匹配问题转换为像素-文本匹配问题,并使用像素-文本得分图来指导密集预测模型的学习。通过进一步使用来自图像的上下文信息来提示语言模型,我们能够促进我们的模型更好地利用预先训练的知识。我们的方法是模型不可知的,可以应用于任意密集预测系统和各种预训练的视觉骨干,包括CLIP模型和ImageNet预训练模型。大量的实验证明了我们的方法在语义分割,目标检测和实例分割任务上的优越性能。代码可在https://github.com/raoyongming/DenseCLIP上获得
2022-03-21 cs.AI cs.CV cs.LG
A Benchmark Dataset and Saliency-guided Stacked Autoencoders for Video-based Salient Object Detection
Beihang University(北京航空航天大学);State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);International Research Institute for Multidisciplinary Science(国际交叉科学研究院)
基于图像的显著性目标检测(SOD)在过去几十年中得到了广泛的研究。然而,基于视频的超氧化物歧化酶是少得多的探讨,因为缺乏大规模的视频数据集内的显着对象是明确的定义和注释。为此,本文提出了一个基于视频的SOD数据集,由200个视频(64分钟)。在构建数据集时,我们手动注释了7,650个均匀采样的关键帧上的所有对象和区域,并收集了23个自由观看所有视频的受试者的眼动跟踪数据。从用户数据中,我们发现视频中的显著对象可以被定义为在整个视频中始终弹出的对象,并且具有这样的属性的对象可以通过将手动注释的对象/区域掩模与多个主体的眼睛跟踪数据相结合来明确地注释。据我们所知,它是目前基于视频的显著目标检测的最大数据集。基于此数据集,本文提出了一种无监督的基线方法,基于视频的SOD使用显着性指导堆叠自动编码器。在该方法中,多个时空显著性线索首先在像素,超像素和对象水平提取。有了这些显着性线索,堆叠的自动编码器被无监督地构建,其通过渐进地编码从像素及其时空邻居收集的高维显着性线索来自动推断每个像素的显着性得分。实验结果表明,所提出的无监督方法在所提出的数据集上优于30种最先进的模型,包括19种基于图像的经典模型(无监督或非深度学习),6种基于图像的深度学习模型,以及5种基于视频的无监督模型。此外,基准测试结果表明,该数据集是非常具有挑战性的,并有可能促进基于视频的SOD的发展。
2017-05-09 cs.CV
Attend and Segment: Attention Guided Active Semantic Segmentation
KU Leuven(鲁汶大学)
在动态环境中,具有有限视野/资源的代理在尝试解析场景之前不能完全观察场景。在这样的设置中,公共语义分割架构的部署是不可行的。在本文中,我们提出了一种方法,逐步分割场景给定的序列的部分观察。其主要思想是通过参加最不确定的领域来完善代理对环境的理解。我们的方法包括一个自我监督的注意力机制和一个专门的架构,以维护和利用空间记忆地图填充在环境中看不见的地区。智能体可以选择并关注一个区域,同时依靠来自访问区域的线索来产生其他部分的幻觉。我们在CityScapes,CamVid和Kitti数据集上达到了78.1%,80.9%和76.5%的平均像素精度,仅处理18%的图像像素(10个视网膜样的一瞥)。我们对视网膜样瞥见的瞥见次数、输入图像大小和有效性进行了消融研究。我们比较我们的方法,几个基线,并表明,最佳的结果是通过访问一个非常低的分辨率视图的场景在第一时间步。
2020-07-22 cs.CV
Endo-SemiS: Towards Robust Semi-Supervised Image Segmentation for Endoscopic Video
Vanderbilt University(范德比尔特大学);Vanderbilt University Medical Center(范德比尔特大学医学中心)
Endo-SemiS通过四种策略提升内窥镜视频分割性能,利用未标注数据和互学机制,在有限标注条件下实现更准确的分割结果。
2025-12-18 cs.CV
Automatic Image Labelling at Pixel Level
Northwest University(西北大学);Fudan University(复旦大学);The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
用于语义图像分割的深度网络的性能在很大程度上取决于在像素级标记的大规模训练图像的可用性。通常,通过劳动密集型过程手动获得这种像素级图像标记。为了减轻手动图像标记的负担,我们提出了一个有趣的学习方法来自动生成像素级图像标记。一个引导过滤网络(GFN)首先开发学习的分割知识,从源域,这样的GFN,然后转移这样的分割知识,在目标域中生成粗糙的对象掩模。这样的粗糙对象掩模被视为伪标签,并且它们被进一步整合以在目标域中迭代地优化/细化GFN。我们在六个图像集上的实验表明,我们提出的方法可以生成细粒度的对象掩码(即,像素级对象标记),其质量与手动标记的质量非常相似。我们提出的方法也可以实现更好的性能比大多数现有的弱监督方法的语义图像分割。
2020-07-20 cs.CV
Linguistic Query-Guided Mask Generation for Referring Image Segmentation
Alibaba Group(阿里巴巴集团)
参考图像分割的目的是根据给定的语言表达分割出感兴趣的图像区域,这是一个典型的多模态任务。现有的方法要么采用基于像素分类的框架或基于可学习查询的框架来生成掩码,这两种方法都不足以处理具有固定数量的参数化原型的各种文本-图像对。在这项工作中,我们提出了一个端到端的框架建立在Transformer执行语言查询引导掩码生成,被称为LGFormer。该方法将语言特征看作查询,为任意输入的图像文本对生成专门的原型,从而生成更加一致的分割结果。此外,我们在编码器和解码器中设计了几个跨模态交互模块(\eg,视觉语言双向注意模块,VLBA),以实现更好的跨模态对齐。
2023-03-22 cs.CV
LOC: A General Language-Guided Framework for Open-Set 3D Occupancy Prediction
提出通用语言引导框架LOC,通过融合多帧LiDAR点、泊松重建和KNN语义分配,结合密集对比学习,在nuScenes上实现开放集3D占用预测,兼顾已知类精度与未知类区分。
2025-10-25 cs.CL cs.CV cs.LG
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
由于难以获得高质量的标注,从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割,往往产生噪声预测周围的对象边界。为了解决这个问题,我们采用了超像素表示,并开发了一种强大的迭代学习策略,该策略结合了分割网络的噪声感知训练和噪声标签细化,两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束,并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明,我们的方法优于最近的国家的最先进的方法,并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Teachers in concordance for pseudo-labeling of 3D sequential data
Czech Technical University in Prague(布拉格捷克理工大学)
本文提出Concordance方法,通过训练多个利用不同时间信息的教师模型并融合其伪标签,在仅使用20%人工标签的情况下提升3D语义分割与目标检测性能,超越部分全监督方法。
2023-07-05 cs.CV cs.RO
Snow Mask Guided Adaptive Residual Network for Image Snow Removal
Xidian University(西安电子科技大学);Beijing Electronic Science and Technology Institute(北京电子科技学院);The Chinese University of Hong Kong(香港中文大学);Guangxi Normal University(广西师范大学)
恶劣天气下的图像复原是一项具有挑战性的任务。以往的工作大多集中在消除图像中的雨和霾现象。然而,雪也是一种极其常见的大气现象,它会严重影响高级计算机视觉任务的性能,例如目标检测和语义分割。近年来,人们提出了一些去雪方法,但大多数方法都是直接以雪图像为优化对象。然而,雪的位置和形状的分布是复杂的。因此,不能有效地检测雪花/雪线将影响除雪并限制模型性能。为了解决这些问题,我们提出了一个雪掩模引导的自适应残差网络(SMGARN)。具体来说,SMGARN由三个部分组成,掩码网络,制导融合网络(GF-Net)和重建网络。首先,我们建立了一个具有自像素注意力(SA)和跨像素注意力(CA)的Mask-Net来捕获雪花的特征并准确定位雪的位置,从而预测出准确的雪掩模。其次,将预测的雪面具送入专门设计的GF-Net,以自适应地指导模型去除积雪。最后,利用一个高效的重构网络对图像进行去噪和校正,重构出最终的无雪图像。大量的实验表明,我们的SMGARN数值上优于所有现有的除雪方法,重建图像的视觉对比度更清晰。所有代码都将可用。
2022-07-11 cs.CV
MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出MTA-CLIP框架,通过掩码级视觉-语言对齐、掩码-文本解码器、对比学习及提示学习解决像素级对齐中的边界歧义问题,在ADE20k和Cityscapes上取得最优分割性能。
2024-07-31 cs.CV
Center-guided Classifier for Semantic Segmentation of Remote Sensing Images
School of Software Technology, Zhejiang University(浙江大学软件学院);Innovation Center of Yangtze River Delta, Zhejiang University(浙江大学长三角创新中心);School of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);City University of Hong Kong(香港城市大学)
针对遥感图像类内方差大、现有softmax分类器存在监督间接、建模能力不足及决策不透明的问题,提出名为CenterSeg的中心引导分类器,通过多原型、格拉斯曼流形约束等实现性能提升与可解释性,在三个数据集上验证有效。
2025-03-21 cs.CV
D3S2: Diffusion-Guided Dataset Distillation for Semantic Segmentation
Zhejiang University(浙江大学)
针对语义分割数据集蒸馏中的长尾类别不平衡、像素级对齐和高计算成本问题,提出两阶段框架D3S2,通过类别平衡掩码选择和扩散引导图像合成生成紧凑训练集,在极低压缩率下显著提升分割性能。
2026-10-07 cs.AI cs.CV
SuperCL: Superpixel Guided Contrastive Learning for Medical Image Segmentation Pre-training
Institute of Medical Technology, Peking University Health Science Center, Peking University(北京大学医学部医学技术研究所);Department of Biomedical Engineering, Peking University(北京大学生物医学工程系);National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心);Institute of Biomedical Engineering, Shenzhen Bay Laboratory(深圳湾实验室生物医学工程研究所);Institute of Biomedical Engineering, Peking University Shenzhen Graduate School(北京大学深圳研究生院生物医学工程研究所)
提出SuperCL,一种基于超像素引导的对比学习预训练方法,通过ILCP和IGCP策略生成对比对,利用结构先验提升医学图像分割性能,在8个数据集上超越12种现有方法。
2025-04-20 cs.AI cs.CV
Binary Change Guided Hyperspectral Multiclass Change Detection
School of Computer Science, Wuhan University(武汉大学计算机学院)
高光谱图像具有丰富的光谱信息,能够检测出细微的变化,并能区分不同的变化类别进行变化检测。然而,目前的研究工作主要集中在高光谱二值变化检测,无法提供精细的变化类别信息。而大多数的高光谱多类变化检测方法都采用了光谱解混的方法,但往往忽略了时间相关性和误差积累。在这项研究中,我们提出了一个无监督的二进制变化引导的高光谱多类变化检测网络(BCG-Net)的HMCD,其目的是提高多类变化检测结果和解混结果与成熟的二进制变化检测方法。在BCG-Net中,针对多时相光谱解混设计了一种新的部分连体联合解混模块,并提出了一种突破性的基于二值变化检测结果伪标签的时间相关性约束,从变化检测的角度指导解混过程,使不变像元的丰度更一致,变化像元的丰度更准确。此外,针对传统规则易受数值影响的问题,提出了一种新的二进制变化检测规则。提出了光谱分解和变化检测过程的迭代优化方法,以消除分解结果对变化检测结果的累积误差和偏差。实验结果表明,我们提出的BCG-Net可以实现比较,甚至是最先进的方法之间的多类变化检测的优秀性能,并获得更好的光谱解混的结果在同一时间。
2021-12-11 cs.CV eess.IV
Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity
POSTECH(浦项科技大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
针对文本引导图像压缩中像素保真度下降的问题,提出文本自适应编码与联合图像-文本损失训练的框架,在保持高感知质量的同时实现高像素级保真度,并在LPIPS指标上优于所有基线。
2024-05-22 cs.CV cs.LG
Towards Real-Time Text2Video via CLIP-Guided, Pixel-Level Optimization
Carnegie Mellon University(卡内基梅隆大学)
我们介绍了一种基于一系列给定的语言描述生成视频的方法。视频的帧是顺序生成的,并在CLIP图像-文本编码器的指导下进行优化;通过语言描述进行迭代,使当前描述的权重高于其他描述。与通过图像生成器模型本身进行优化(这往往是计算繁重的)相反,所提出的方法直接在像素级计算CLIP损失,以适合于近实时的【形】系统的速度实现一般内容。该方法可以以每秒1-2帧的速率生成高达720 p分辨率、可变帧速率和任意宽高比的视频。请访问我们的网站观看视频并访问我们的开源代码:https://pschaldenbrand.github.io/text2video/。
2022-10-23 cs.CV cs.LG
Guided Collaborative Training for Pixel-wise Semi-Supervised Learning
City University of Hong Kong(香港城市大学);SenseTime Research(商汤科技研究院)
我们研究的推广半监督学习(SSL)不同的像素明智的任务。虽然SSL方法在图像分类中取得了令人印象深刻的结果,但由于其需要密集的输出,将其应用于像素级任务的性能并不令人满意。此外,现有的逐像素SSL方法仅适用于某些任务,因为它们通常需要使用特定于任务的属性。在本文中,我们提出了一个新的SSL框架,命名为引导协作训练(GCT),像素明智的任务,有两个主要的技术贡献。首先,GCT通过一种新的缺陷检测器解决了密集输出所引起的问题。其次,GCT中的模块通过两个新提出的独立于任务特定属性的约束从未标记数据中协作学习。因此,GCT可以应用于广泛的像素级任务,而无需结构自适应。我们对四个具有挑战性的视觉任务进行了广泛的实验,包括语义分割,真实图像去噪,人像图像抠图和夜间图像增强,结果表明GCT的性能大大优于最先进的SSL方法。我们的代码可在:https://github.com/ZHKKKe/PixelSSL.
2020-08-12 cs.CV cs.LG eess.IV
Information-guided pixel augmentation for pixel-wise contrastive learning
University of Science and Technology of China(中国科学技术大学)
对比学习(CL)是自监督学习的一种形式,并已被广泛用于各种任务。与广泛研究的实例级对比学习不同,像素级对比学习主要帮助像素级任务,如医学标志检测。实例级CL中实例的对应物是像素级CL中的像素及其相邻上下文。为了建立更好的特征表示,有大量的文献设计实例级CL的实例增强策略,但几乎没有类似的工作像素增强像素级CL与像素粒度。在本文中,我们试图弥合这一差距。我们首先将一个像素分为三类,即低,中,高信息量的像素包含的信息量的基础上。受“InfoMin”原则的启发,我们为每个类别设计了单独的增强策略,包括增强强度和采样率。大量的实验验证了我们的信息引导的像素增强策略成功地编码更多的歧视性表示,并超越其他竞争对手的方法在无监督的局部特征匹配。此外,我们的预训练模型提高了一次性和完全监督模型的性能。据我们所知,我们是第一个提出一个像素增强方法与像素粒度增强无监督像素的对比学习。
2022-11-14 cs.CV
Diffusion Model Guided Sampling with Pixel-Wise Aleatoric Uncertainty Estimation
针对扩散模型缺乏图像质量定量评估的问题,提出在采样阶段利用扰动去噪分数方差估计逐像素任意不确定性,并以此引导采样,在 ImageNet 和 CIFAR-10 上改善低质样本过滤与 FID。
2024-11-29 cs.CV cs.LG stat.ML
Beyond Pixel Reconstruction: Retrieval-Guided Glyph-Aware Restoration for Low-Resource Manchu Historical Documents
Beijing Jiaotong University(北京交通大学);University of Florida(佛罗里达大学)
针对满文历史文档修复中像素级重建忽略字形结构的问题,提出检索引导的字形感知修复框架,通过引入字形级结构知识提升低资源条件下的修复质量与字形保真度。
2026-10-02 cs.AI cs.CV cs.LG
Not All Pixels Are Equal: Confidence-Guided Attention for Feature Matching
Dongyue Li(李东岳)
本文提出基于置信度的注意力机制,通过自适应修剪注意力权重和引入分类损失,提升特征匹配的准确性与效率。
2026-02-22 cs.CV
Image Inpainting Using AutoEncoder and Guided Selection of Predicted Pixels
Isfahan University of Technology(伊斯法罕理工大学);McMaster University(麦克马斯特大学)
图像修补是一种有效的增强失真图像的方法。不同的修复方法使用相邻像素的信息来预测丢失像素的值。最近,深度神经网络已经被用于学习图像的结构和语义细节以用于修复目的。在本文中,我们提出了一个网络的图像修补。该网络类似于U-Net,从图像中提取各种特征,从而获得更好的结果。我们通过用输出图像的恢复像素替换损坏的像素来改进最终结果。我们的实验结果表明,该方法产生高质量的结果相比,传统的方法。
2021-12-17 cs.CV eess.IV
Spatially-Adaptive Image Restoration using Distortion-Guided Networks
Michigan State University(密歇根州立大学);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们提出了一个通用的基于学习的解决方案,用于恢复遭受空间变化退化的图像。现有的方法通常是特定于退化的,并且在不同的图像和不同的像素内采用相同的处理。然而,我们假设,这种空间刚性处理是次优的同时恢复退化的像素,以及重建图像的干净区域。为了克服这一限制,我们提出了SPAIR,一个网络设计,利用失真定位信息和动态调整计算图像中的困难区域。SPAIR包括两个组件,(1)识别退化像素的定位网络,以及(2)利用来自滤波器和特征域中的定位网络的知识来选择性地和自适应地恢复退化像素的恢复网络。我们的主要思想是利用空间域中严重退化的不均匀性,并将此知识适当地嵌入到执行稀疏归一化、特征提取和注意力的失真引导模块中。我们的架构是不可知的物理形成模型,并概括了几种类型的空间变化的退化。我们证明了四个恢复任务的效果SPAIR单独去除雨条纹,雨滴,阴影和运动模糊。在11个基准数据集上与现有技术进行了广泛的定性和定量比较,结果表明,我们的降级不可知网络设计与最先进的降级特定架构相比,具有显著的性能提升。代码可在https://github.com/human-analysis/spatially-adaptive-image-restoration获得。
2021-08-19 cs.CV cs.LG
PriorityCut: Occlusion-guided Regularization for Warp-based Image Animation
MoneyBrain Inc.(MoneyBrain公司)
图像动画生成源图像的视频跟随驱动视频的运动。最先进的自监督图像动画方法根据驱动视频的运动来扭曲源图像,并通过修复来恢复扭曲伪影。这些方法大多使用vanilla卷积进行图像修复,vanilla卷积不区分有效像素和无效像素。因此,视觉伪影在修复后仍然很明显。CutMix是一种最先进的正则化策略,可以剪切和混合图像块,并在不同的计算机视觉任务中得到广泛研究。在剩余的计算机视觉任务中,基于扭曲的图像动画是CutMix效果尚待研究的领域之一。本文首先对CutMix在基于变形的图像动画中的作用进行了初步的研究。我们在研究中观察到,CutMix仅有助于提高像素值,但会扰乱像素之间的空间关系。基于这样的观察,我们提出了PriorityCut,一种新的增强方法,使用前景的前k个百分比的遮挡像素来正则化基于扭曲的图像动画。通过利用基于扭曲的图像动画中的领域知识,PriorityCut显著减少了不同数据集上最先进的基于扭曲的图像动画模型中的扭曲伪影。
2021-03-22 cs.CV cs.LG
Guided Super-Resolution as Pixel-to-Pixel Transformation
ETH Zürich(苏黎世联邦理工学院)
引导超分辨率是用于若干计算机视觉任务的统一框架,其中输入是某个目标量的低分辨率源图像(例如,用飞行时间照相机获取的透视深度)和来自不同域的高分辨率引导图像(例如,来自传统相机的灰度图像);目标输出是源的高分辨率版本(在我们的示例中,是高分辨率深度图)。看待这个问题的标准方法是将其公式化为超分辨率任务,即,源图像被上采样到目标分辨率,同时从向导中传送丢失的高频细节。在这里,我们建议将这种解释转变为引导图像到源图像域的像素到像素映射。逐像素映射被参数化为多层感知器,其权重通过最小化源图像和下采样目标图像之间的差异来学习。重要的是,我们的公式可以只正则化映射函数,同时避免正则化输出;从而产生清晰,自然的图像。该方法是无监督的,只使用特定的源和引导图像来拟合映射。我们评估我们的方法在两个不同的任务,超分辨率的深度图和树的高度图。在这两种情况下,我们在定量比较中明显优于最近的基线,同时提供视觉上更清晰的输出。
2019-08-15 cs.CV