AlphaNet: An Attention Guided Deep Network for Automatic Image Matting
Fynd
在本文中，我们提出了一个端到端的解决方案，即从自然图像中高精度提取前景物体的图像抠图。当背景是纯绿色或蓝色时，可以在工作室设置中通过色度键控轻松实现图像抠图和背景检测。尽管如此，在具有复杂且不均匀深度背景的自然场景中的图像抠图仍然是需要人为干预的繁琐任务。为了在自然场景中实现完整的自动前景提取，我们提出了一种方法，该方法将语义分割和深度图像抠图过程同化到单个网络中，以生成用于图像合成任务的详细语义抠图。我们提出的方法的贡献是双重的，首先，它可以被解释为一个完全自动化的语义图像抠图方法，其次作为现有的语义分割模型的细化。我们提出了一种新的模型架构，作为分割和抠图的组合，将上采样和下采样算子的功能与注意力的概念统一起来。如我们的工作所示，注意力引导下采样和上采样可以提取高质量的边界细节，不像其他正常的下采样和上采样技术。为了实现同样的目标，我们利用了一个注意力引导的编码器-解码器框架，该框架进行无监督学习，用于从数据中自适应地生成注意力图，以服务和指导上采样和下采样算子。我们还构建了一个以时尚电子商务为重点的数据集，其中包含高质量的alpha蒙版，以便于图像蒙版的训练和评估。
2020-03-07 cs.CV cs.LG eess.IV
SHDM-NET: Heat Map Detail Guidance with Image Matting for Industrial Weld Semantic Segmentation Network
在实际工业生产中，钢板焊接效果的评定是一项重要的工作，而焊缝截面的分割是评定的基础。本文提出了一种基于深度学习语义分割算法的工业焊缝分割网络，融合了热图细节指导和图像抠图，解决了焊缝区域的自动分割问题。在现有的语义分割网络中，通过融合高层和底层的特征，可以保持边界信息。但这种方法会导致底层空间信息表达不足，导致分割边界定位不准确。我们提出了一个基于热图的详细指导模块，在底层网络中充分表达分割区域的边界信息，以解决这个问题。具体地，可以通过添加详细分支来预测分割的边界，然后将其与由掩码标签生成的边界热图进行匹配以计算均方误差损失来增强边界信息的表达。此外，虽然深度学习在语义分割领域取得了巨大成功，但由于经典的分割网络在编码和解码过程中造成细节信息的丢失，分割边界区域的精度不高。针对这一问题，本文引入了一种抠像算法对语义分割网络的分割区域边界进行标定。通过对工业焊接数据集的大量实验，验证了该方法的有效性，其识别率达到97.93%。值得注意的是，这一性能与人类手动分割（MINUS 97.96%）相当。
2022-07-09 cs.CV
Temporally Coherent Person Matting Trained on Fake-Motion Dataset
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）
我们提出了一种新的基于神经网络的方法来执行抠图的视频描绘的人，不需要额外的用户输入，如trimaps。我们的架构通过使用基于运动估计的图像分割算法输出平滑，结合U-Net跳过连接上的卷积LSTM模块，实现了所产生的alpha蒙版的时间稳定性。我们还提出了一种假运动算法，该算法可以为视频抠图网络生成训练剪辑，给出具有地面真实阿尔法抠图和背景视频的照片。我们将随机运动应用于照片及其蒙版，以模拟人们在真实视频中发现的运动，并将结果与背景剪辑合成。它允许我们在没有大型注释视频数据集的情况下训练对视频进行操作的深度神经网络，并提供地面实况训练剪辑前景光流，用于损失函数。
2021-09-10 cs.CV
Bridging Composite and Real: Towards End-to-end Deep Image Matting
The University of Sydney（悉尼大学）；Birkbeck College, University of London（伦敦大学伯贝克学院）
从自然图像中提取准确的前景有利于许多下游应用，如电影制作和增强现实。然而，前景的毛茸茸的特征和各种外观，例如，动物和肖像，挑战了现有的遮片方法，现有的遮片方法通常需要额外的用户输入，例如trimap或scribbles。为了解决这些问题，我们研究了语义和细节在图像抠图中的不同作用，并将任务分解为两个并行的子任务：高级语义分割和低级细节抠图。具体来说，我们提出了一种新的扫视和焦点抠图网络（GFM），它采用了一个共享的编码器和两个独立的解码器，以协作的方式学习这两个任务，用于端到端的自然图像抠图。此外，由于抠图任务中可用的自然图像有限，以往的方法通常采用合成图像进行训练和评估，这导致对真实世界图像的泛化能力有限。本文通过对前景图像和背景图像之间的各种差异进行综合分析，系统地研究了合成图像和真实世界图像之间的域间隙问题。我们发现，一个精心设计的组成路线RSSN，旨在减少差异，可以导致一个更好的模型具有显着的泛化能力。此外，我们还提供了一个包含2，000张高分辨率真实动物图像和10，000张肖像图像及其手动标记的alpha mattes的基准测试，作为评估matting模型对真实图像泛化能力的测试床。综合的实证研究表明，GFM优于最先进的方法，并有效地减少了泛化误差。代码和数据集将在https://github.com/JizhiziLi/GFM上发布。
2021-10-27 cs.CV cs.LG eess.IV
Lightweight high-resolution Subject Matting in the Real World
OPPO Research Institute（OPPO研究院）
针对高分辨率场景下SOD方法难兼顾速度与精度的问题，构建HRSOM数据集并提出含对称像素重排、TRSU模块的轻量PSUNet，性能优于10倍参数量的U²-Net与IOS16，移动端推理640×640图像仅113ms。
2023-12-12 cs.CV
End-to-End Human Instance Matting
Harbin Institute of Technology（哈尔滨工业大学）；Guangxi Normal University（广西师范大学）；Shandong Technology and Business University（山东工商学院）
本文提出端到端 E2E-HIM 框架，通过联合语义引导一次预测多个人体实例 alpha 遮罩，并构建 HIM-100K 数据集，显著提升精度与速度。
2024-03-03 cs.AI cs.CV
Medical Matting: A New Perspective on Medical Segmentation with Uncertainty
Harbin Engineering University（哈尔滨工程大学）；Monash University（蒙纳士大学）；Airdoc
利用二值掩模对形状复杂的模糊目标进行人工精确标记是一个困难的问题。在医学图像分割中，二值掩模表达不足的弱点是突出的，其中模糊是普遍存在的。在多个注释的情况下，通过二进制掩码为临床医生达成共识更具挑战性。此外，这些不确定的区域与病变的结构有关，可能包含有助于诊断的解剖信息。然而，目前对不确定性的研究主要集中在模型训练和数据标注中的不确定性。本文受图像抠图的启发，引入alpha matte作为软掩模来表示医学场景中的不确定区域，并提出了一种新的不确定性量化方法，填补了对病变结构不确定性研究的空白。在这项工作中，我们引入了一个新的架构，在多任务框架中生成二进制掩码和阿尔法抠图，它优于所有最先进的抠图算法比较。所提出的不确定性映射能够突出模糊区域，我们提出的一种新的多任务损失加权策略可以进一步提高性能，并展示其具体的好处。为了充分评估我们所提出的方法的有效性，我们首先标记三个医疗数据集与阿尔法遮片，以解决医疗场景中可用的遮片数据集的不足，并证明阿尔法遮片是一个更有效的标记方法比二进制掩码从定性和定量方面。
2022-01-01 cs.CV
MaSS13K: A Matting-level Semantic Segmentation Benchmark
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
针对现有语义分割数据集分辨率低、掩码不精确的问题，构建了4K分辨率的MaSS13K数据集，并提出MaSSFormer模型及结合伪标签的学习范式，实现高分辨率高质量分割。
2025-07-08 cs.CV
Boosting Semantic Human Matting with Coarse Annotations
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
语义人体抠图的目的是估计前景人体区域的每像素不透明度。这是相当具有挑战性的，通常需要用户交互式三重图和大量的高质量注释数据。注释此类数据是劳动密集型的，需要超出普通用户的技能，特别是考虑到人类非常详细的头发部分。相比之下，粗略注释的人类数据集更容易从公共数据集中获取和收集。在本文中，我们建议使用粗注释数据和细注释数据来增强端到端的语义人类抠像，而无需三图作为额外输入。具体来说，我们训练一个掩码预测网络来估计使用混合数据的粗语义掩码，然后提出一个质量统一网络来统一以前的粗掩码输出的质量。抠图细化网络接受统一的遮罩和输入图像来预测最终的alpha抠图。收集的粗注释数据集大大丰富了我们的数据集，可以为真实图像生成高质量的alpha蒙版。实验结果表明，该方法对国家的最先进的方法进行了验证。此外，该方法可用于粗标注公共数据集的细化，也可用于语义分割方法，从而在很大程度上降低了标注高质量人类数据的成本。
2020-04-10 cs.CV cs.LG eess.IV
Deep Automatic Natural Image Matting
The University of Sydney（悉尼大学）；JD Explore Academy, JD.com（京东探索研究院）
自动抠图是指在不需要像三分图这样的辅助输入的情况下，从任意的自然图像中估计出柔和的前景，这对图像编辑很有用。之前的方法试图学习语义特征来帮助抠像过程，但仅限于具有明显不透明前景的图像，例如人类和动物。在本文中，我们调查的困难时，将其扩展到自然图像与显着的透明/细致的前景或非显着的前景。为了解决这个问题，提出了一种新的端到端抠图网络，它可以预测上述类型的任何图像作为一个统一的语义表示的广义trimap。同时，所学习的语义特征通过注意力机制引导抠图网络聚焦于过渡区域。我们还构建了一个测试集AIM-500，其中包含500个不同的自然图像，涵盖所有类型以及手动标记的阿尔法蒙版，使其成为可行的基准AIM模型的泛化能力。实验结果表明，我们的网络训练可用的复合抠图数据集优于现有的方法，客观和主观。源代码和数据集可在https://github.com/JizhiziLi/AIM上获得。
2021-07-15 cs.AI cs.CV
Salient Object Detection for Images Taken by People With Vision Impairments
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出面向视力障碍人群拍摄图像的显著目标检测数据集VizWiz-SalientObject，包含32,000张人工标注图像，并基准测试了七种现代方法，发现其在处理大尺寸、简单边界、无文本及低质量图像时表现不佳。
2023-09-05 cs.CV
Weakly Supervised Learning for Salient Object Detection
Xi’an Jiaotong University（西安交通大学）
监督显著目标检测的最新进展在基准数据集上取得了显着的性能。然而，训练这样的模型需要昂贵的显着对象的像素级注释。此外，许多现有的显著性目标检测模型假设在输入图像中存在至少一个显著性目标。这样的假设通常会导致背景图像上的显著性图不那么吸引人，这些图像根本不包含显著对象。为了避免昂贵的像素级显著区域标注的要求，在本文中，我们研究了弱监督学习方法的显著目标检测。给定一组背景图像和显著对象图像，我们提出了一种解决方案，共同解决显著对象的存在和检测任务。我们采用了潜在的SVM框架，并制定了两个问题在一个单一的综合目标函数：超像素的显着性标签建模为隐变量，并涉及到一个分类项的条件显着对象存在变量，这反过来又取决于全局图像和区域显着性特征和显着性标签分配。在基准数据集上的实验结果验证了该方法的有效性。
2015-09-08 cs.CV
Segment and Matte Anything in a Unified Model
本文提出SAMA，一种基于SAM的轻量级模型，实现高质量的交互式图像分割与遮罩，通过多视图定位编码器和定位适配器提升精度，展现广泛的应用能力。
2026-01-17 cs.AI cs.CV
Contextual Hypergraph Modelling for Salient Object Detection
The University of Adelaide（阿德莱德大学）
显著目标检测的目的是定位图像中吸引人类注意力的对象。以前的方法通常将此作为图像对比度分析的问题。在这项工作中，我们将图像建模为超图，该超图利用一组超边来捕获图像像素或区域的上下文属性。因此，显着目标检测问题就变成了在超图中寻找显着顶点和超边的问题。超图建模的主要优点是它考虑了每个像素（或区域）与其邻域的亲和力以及与图像背景的分离。此外，我们提出了一种替代方法的基础上，中心与周围的上下文对比度分析，通过优化成本敏感的支持向量机（SVM）的目标函数进行显着的目标检测。四个具有挑战性的数据集上的实验结果表明，所提出的方法对国家的最先进的方法显着目标检测的有效性。
2013-10-22 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology（华中科技大学）；VIVO Inc.（维沃移动通信有限公司）
人类具有很强的类无关对象分割能力，能够精确地勾画出未知对象的边界，这促使我们提出了一种基于框监督类无关对象分割（BoxCaseg）的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码，作为代理地面实况，以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像，弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当，并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground
Nankai University（南开大学）；University of Central Florida（中佛罗里达大学）
我们提供了一个全面的评估显着的目标检测（SOD）模型。我们的分析确定了一个严重的设计偏见，现有的SOD数据集，假设每个图像包含至少一个明显突出的物体在低杂波。在现有数据集上进行评估时，设计偏差导致最先进的SOD模型具有饱和的高性能。然而，这些模型在应用于现实世界的日常场景时，仍然表现得远远不能令人满意。根据我们的分析，我们首先确定了一个全面和平衡的数据集应该满足的7个关键方面。然后，我们提出了一个新的高质量数据集，并更新了以前的显着性基准。具体来说，我们的SOC（显着对象在杂乱）数据集，包括图像的显着和非显着对象从日常对象类别。除了对象类别注释之外，每个突出图像都伴随着反映现实世界场景中常见挑战的属性。最后，我们报告基于属性的性能评估我们的数据集。
2018-07-22 cs.CV
Instance-Level Salient Object Segmentation
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
由于深度卷积神经网络，图像显著性检测最近取得了快速进展。然而，没有一个现有的方法能够识别检测到的显著区域中的对象实例。在本文中，我们提出了一个显着的实例分割方法，产生一个显着性掩模与不同的对象实例标签的输入图像。我们的方法由三个步骤组成，估计显着性图、检测显着对象轮廓和识别显着对象实例。对于前两步，我们提出了一个多尺度显着性细化网络，它生成高质量的显着区域掩模和显着对象轮廓。一旦与多尺度组合分组和基于MAP的子集优化框架相结合，我们的方法可以产生非常有前途的显著对象实例分割结果。为了促进显著性实例分割的进一步研究和评价，我们还构建了一个新的数据库，包含1000幅图像及其像素显著性实例注释。实验结果表明，我们提出的方法是能够实现国家的最先进的性能在所有公共基准的显着区域检测，以及我们的新数据集的显着实例分割。
2017-04-12 cs.CV
Exploring Image Enhancement for Salient Object Detection in Low Light Images
Wuhan University of Science and Technology（武汉科技大学）；National Institute of Informatics（国立信息学研究所）；Wuhan University（武汉大学）
在非均匀光照环境中拍摄的弱光图像通常会随着场景深度和相应的环境光而退化。这种退化导致退化图像模态中的严重对象信息丢失，这使得显著目标检测由于低对比度特性和人造光影响而更具挑战性。然而，现有的显著目标检测模型是基于在足够亮度的环境下捕获图像的假设开发的，这在现实世界场景中是不切实际的。在这项工作中，我们提出了一种图像增强方法，以促进在低光图像中的显著目标检测。该模型将物理光照模型直接嵌入到深度神经网络中来描述弱光图像的退化，其中环境光被视为逐点变量并随局部内容而变化。此外，一个非局部块层被用来捕捉一个对象的局部内容的差异对它的局部邻域有利于区域。为了定量评估，我们构建了一个低光图像数据集，其中包含像素级人类标记的地面实况注释，并在四个公共数据集和我们的基准数据集上报告了有希望的结果。
2020-07-31 cs.CV
On the Distribution of Salient Objects in Web Images and its Influence on Salient Object Detection
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
已经变得明显的是，高斯中心偏置可以用作视觉显著性检测的重要先验，这已经被证明用于预测人眼注视和显著目标检测。Tseng等人已经表明，摄影师倾向于将感兴趣的物体放在中心，这可能是眼睛注视中心偏差的一个原因。我们调查的影响，摄影师的中心偏置显着的目标检测，扩展我们以前的工作。我们发现，在Achanta和刘的数据集的照片中的显著对象的质心位置，实际上与高斯模型强烈相关。这是一个重要的见解，因为它为将这种中心偏差集成到显着的目标检测算法中提供了经验动机和理由，并有助于理解为什么高斯模型如此有效。为了评估中心偏置对显著目标检测的影响，我们将显式高斯中心偏置模型集成到两个最先进的显著目标检测算法中。这样，首先，我们量化高斯中心偏置对基于像素和分段的显著目标检测的影响。其次，我们改进了F1得分，Fb得分，召回精度曲线下的面积，受试者工作特征曲线下的面积，以及Achanta和Liu的知名数据集上的命中率。第三，通过去偏程等人。的区域对比度模型，我们示范性地证明，隐式中心偏差是部分负责国家的最先进的算法的出色性能。最后但并非最不重要的是，由于去偏程等人。的算法，我们引入了无偏显著目标检测方法，该方法对于图像数据不太可能具有摄影者的中心偏置的应用（例如，监视摄像机或自主机器人的图像数据）。
2015-01-10 cs.CV
A lightweight multi-scale context network for salient object detection in optical remote sensing images
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Leicester（莱斯特大学）
由于光学遥感图像的多尺度变化和前景背景的复杂性，光学遥感图像中的显著目标检测成为一个巨大的挑战。然而，与自然场景图像（NSIs）不同，光学RSI SOD任务的讨论仍然很少。在本文中，我们提出了一个多尺度的上下文网络，即MSCNet，在光RSIs的SOD。具体而言，采用多尺度上下文提取模块，通过有效地学习多尺度上下文信息来解决显著对象的尺度变化。同时，为了在复杂背景下准确检测出完整的显著目标，设计了一种基于注意力的金字塔特征聚合机制，对多尺度上下文提取模块中的显著区域进行逐步聚合和细化。在两个基准上的大量实验表明，MSCNet仅用3.26M参数就达到了有竞争力的性能。该代码将在https://github.com/NuaaYH/MSCNet上提供。
2022-05-18 cs.CV
A Classifier-guided Approach for Top-down Salient Object Detection
Nanyang Technological University（南洋理工大学）
我们提出了一个框架，自上而下的显着目标检测，采用了紧密耦合的图像分类模块。该分类器是在用于显着性建模的对象字典上计算的新型类别感知稀疏代码上训练的。错误分类表明相应的显著性模型是不准确的。因此，分类器选择需要更新显著性模型的图像。与传统稀疏编码相比，类别感知稀疏编码产生更好的图像分类准确度，同时降低了计算复杂性。提出了一种基于显著性加权的最大池化方法来改进图像分类，并进一步细化显著性图。在Graz-02和PASCAL VOC-07数据集上的实验结果证明了显著目标检测的有效性。虽然分类器的作用是支持显着的目标检测，我们评估其性能在图像分类，也说明了实用的阈值显着图图像分割。
2016-04-22 cs.CV
CoSformer: Detecting Co-Salient Object with Transformers
Nanjing University（南京大学）
共显著目标检测（Co-Salient Object Detection，CoSOD）的目的是模拟人类视觉系统，从一组相关图像中发现共同的显著目标。最近的方法通常开发复杂的基于深度学习的模型，大大提高了CoSOD任务的性能。但仍有两个主要缺点需要进一步解决，1）次优的图像间关系建模; 2）缺乏考虑图像间的可分性。在本文中，我们提出了共同显着的目标检测Transformer（CoSmerer）网络，以捕获显着和共同的视觉模式，从多个图像。通过利用Transformer架构，该方法解决了输入命令的影响，大大提高了CoSOD任务的稳定性。我们还引入了一个新的概念，图像间的可分性。我们构造了一个对比度学习方案来建模图像间的可分性，并学习更多的判别嵌入空间来区分真正的普通对象和噪声对象。在三个具有挑战性的基准上进行了广泛的实验，即，CoCA，CoSOD 3 k和Cosal 2015，证明了我们的CoSmerer优于尖端模型，并达到了新的最先进的水平。我们希望CoSmerer可以激励未来的研究更多的可视化共分析任务。
2022-09-22 cs.CV
Nested Network with Two-Stream Pyramid for Salient Object Detection in Optical Remote Sensing Images
City University of Hong Kong（香港城市大学）；Beijing Jiaotong University（北京交通大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Tianjin University（天津大学）
由于光学遥感图像中目标类型和尺度多样、成像方向多样、背景复杂，很难直接将自然场景图像中显著目标检测的成功推广到光学遥感图像中。在本文中，我们提出了一种基于网络架构形状的端到端深度网络，称为LV-Net，它以纯粹的数据驱动方式从光学RSI中检测显著对象。拟议的LV-Net由两个关键模块组成，即，双流金字塔模块（L形模块）和具有嵌套连接的编码器-解码器模块（V形模块）。具体而言，L形模块通过使用双流金字塔结构分层地提取一组互补信息，这有利于感知显著对象的多样尺度和局部细节。V形模块通过嵌套连接逐渐融合编码器细节特征和解码器语义特征，以抑制杂乱背景，突出显著对象。此外，我们构建了第一个公开可用的光学RSI数据集，用于显著目标检测，包括800张具有不同空间分辨率、不同显著性类型和像素地面实况的图像。在此基准数据集上的实验表明，该方法在定性和定量上都优于最先进的显著目标检测方法。
2019-06-20 cs.CV
Hyperspectral Image Dataset for Benchmarking on Salient Object Detection
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Jiangxi University of Finance and Economics（江西财经大学）
该研究发布了一个包含60幅高光谱图像及其标注和渲染彩色图像的高光谱显著目标检测数据集，并利用AUC指标评估了现有模型性能，以推动该领域发展。
2026-10-01 cs.CV
Automatic Salient Object Detection for Panoramic Images Using Region Growing and Fixation Prediction Model
Peking University Shenzhen Graduate School（北京大学深圳研究生院）
以往的显著性检测工作主要针对传统图像，但随着VR、AR技术的快速发展，全景图像的出现，显著性检测变得越来越具有挑战性，同时对全景图像中显著性内容的提取也具有重要的研究价值。在本文中，我们提出了一种新的自下而上的全景图像显著目标检测框架。首先，我们采用一种空间密度估计的方法来粗略地提取目标建议区域，与区域生长算法的帮助下。同时，从人类视觉搜索机制的角度，利用眼睛注视模型来预测图像中的视觉吸引力部分。然后，通过最大值归一化将先前的结果组合以获得粗糙显著图。最后，基于测地线距离的细化步骤用于后处理，以获得最终的显著图。为了公平地评估所提出的方法的性能，我们提出了一个高质量的全景图像数据集（SalPan）。广泛的评估表明，我们提出的方法对全景图像的有效性和所提出的方法对其他方法的优越性。
2018-04-10 cs.CV
Salient object detection on hyperspectral images using features learned from unsupervised segmentation task
AIST（日本产业技术综合研究所）
已经提出了来自彩色图像的各种显著性检测算法，以模仿人类观察者对相同场景的眼睛注视或专注的目标检测响应。然而，高光谱成像系统的发展使我们能够从物体的反射光源中获得观测场景的冗余光谱信息。一些研究表明，使用低级别的功能，高光谱图像的显着目标检测可以实现。在这项工作中，我们提出了一个显着的目标检测模型的高光谱图像应用流形排名（MR）的自监督卷积神经网络（CNN）的功能（高级功能）从无监督的图像分割任务。CNN的自我监督继续进行，直到聚类损失或显着性图收敛到每次迭代之间的定义误差。最后，显著性估计完成的显着性图在最后一次迭代时，自监督过程终止与收敛。实验结果表明，所提出的显着性检测算法的高光谱图像是优于国家的最先进的高光谱显着性模型，包括原来的MR为基础的显着性模型。
2019-02-28 cs.CV
Hierarchical Opacity Propagation for Image Matting
Shanghai Jiao Tong University（上海交通大学）
自然图像抠图是计算摄影和计算机视觉中的一个基本问题。近年来，深度神经网络在自然图像抠图中出现了大量成功的方法。与传统的基于传播的抠图方法相比，一些顶层深度图像抠图方法倾向于隐式地在神经网络中执行传播。需要一种用于像素之间更直接的阿尔法遮片传播的新颖结构。为此，本文提出了一种层次不透明度传播（HOP）抠图方法，其中不透明度信息在不同语义层的每个点的邻域中传播。该分层结构基于一个全局和多个局部传播块。通过HOP结构，高分辨率特征图中的每个特征点对将根据输入图像的外观进行连接。针对输入图像大小不固定的问题，提出了一种尺度不敏感的位置编码，并将随机插值增强引入到图像抠图中。大量的实验和烧蚀研究表明，HOP抠图是能够超越国家的最先进的抠图方法。
2020-04-07 cs.CV
Weakly Supervised Salient Object Detection Using Image Labels
Sun Yat-sen University（中山大学）；SenseTime Group Limited（商汤集团有限公司）
基于深度学习的显著目标检测最近取得了巨大的成功，其性能大大优于任何其他无监督方法。然而，注释每像素显著性掩模是一个繁琐且低效的过程。在本文中，我们注意到，优越的显着目标检测，可以通过迭代挖掘和纠正标记模糊显着图从传统的无监督方法。我们建议使用来自分类网络的粗糙显著对象激活图和从无监督方法生成的显著性图作为像素级注释的组合，并开发一种简单但非常有效的算法来训练完全卷积网络，用于由这些噪声注释监督的显著目标检测。我们的算法基于交替利用图形模型和训练用于模型更新的全卷积网络。图形模型通过空间一致性和结构保持来纠正内部标记模糊性，而全卷积网络有助于纠正交叉图像语义模糊性，同时更新下一次迭代的粗略激活图。实验结果表明，我们提出的方法大大优于所有最先进的无监督显着性检测方法，并且可以与当前最好的强监督方法相媲美，这些方法在所有公共基准上使用数千个像素级显着性图注释进行训练。
2018-03-17 cs.CV
RSSOD-Bench: A large-scale benchmark dataset for Salient Object Detection in Optical Remote Sensing Imagery
Technical University of Munich（慕尼黑工业大学）；Northwestern Polytechnical University（西北工业大学）
本文构建包含美国四城图像、类别均匀且场景多样的大规模 RSSOD-Bench，并基准评测 23 种方法，指出现有方法在遥感显著目标检测上仍有不足。
2023-06-04 cs.CV
Index Network
The University of Adelaide（阿德莱德大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
我们表明，现有的上采样算子可以统一使用的索引函数的概念。这个概念的灵感来自于深度图像抠图解码过程中的观察，其中索引引导的解池通常可以比其他上采样算子（如双线性插值）更好地恢复边界细节。通过将索引视为特征图的函数，我们引入了“学习索引”的概念，并提出了一种新的索引引导编码器-解码器框架，其中索引自适应地从数据中学习，并用于指导下采样和上采样阶段，而无需额外的训练监督。该框架的核心是一个新的可学习模块，称为索引网络（IndexNet），它根据特征图本身动态生成索引。IndexNet可以用作插件，适用于几乎所有现成的卷积网络，这些卷积网络具有耦合的下采样和上采样阶段，使网络能够动态捕获局部模式的变化。特别是，我们实例化并研究了IndexNet的五个家族，并证明了它们在四个密集预测任务上的有效性，包括图像去噪、图像抠像、语义分割和单目深度估计。代码和模型已在https://tinyurl.com/IndexNetV1上提供
2020-04-05 cs.CV
Deep Image Matting: A Comprehensive Survey
The University of Sydney（悉尼大学）
本文全面综述了深度学习时代图像抠图领域的最新进展，重点回顾了基于辅助输入和自动图像抠图两类子任务的方法、数据集及性能评估，并探讨了相关应用、现有挑战与未来机遇。
2023-04-10 cs.CV
Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360° Omnidirectional Image
显著目标检测（SOD）的目的是确定图像中最具视觉吸引力的目标。随着虚拟现实技术的发展，360°全景图像得到了广泛的应用，但由于360°全景图像失真严重、场景复杂，其SOD任务研究较少。本文提出了一种多投影融合细化网络（MPFR-Net）来检测360°全景图像中的显著目标。与现有方法不同的是，该方法将等矩形投影图像和对应的4幅立方体展开图像同时作为输入嵌入网络，立方体展开图像不仅为等矩形投影图像提供了补充信息，而且保证了立方体映射投影的对象完整性。为了充分利用这两种投影模式，设计了动态加权融合模块，从帧间和帧内特征的角度，以互补和动态的方式自适应地融合不同投影的特征。此外，为了充分探索编码器和解码器特征之间的交互方式，设计了过滤和细化（FR）模块来抑制特征本身与特征之间的冗余信息。在两个全向数据集上的实验结果表明，该方法在定性和定量上都优于现有的方法。
2022-12-23 cs.CV
Distortion-adaptive Salient Object Detection in 360$^\circ$ Omnidirectional Images
Beihang University（北京航空航天大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
基于图像的显著性目标检测（SOD）在过去几十年中得到了广泛的研究。然而，由于缺乏具有像素级注释的数据集，360 $^\circ$全向图像上的SOD研究较少。为此，本文提出了一个360 $^\circ$图像为基础的SOD数据集，其中包含500个高分辨率等矩形图像。我们从五个主流的360 $^\circ$视频数据集中收集了具有代表性的等距矩形图像，并以自由视点的方式使用精确的掩模手动注释这些图像上的所有对象和区域。据我们所知，这是第一个公开的数据集，用于360 $^\circ$场景上的显著目标检测。通过观察该数据集，我们发现投影失真，大规模复杂场景和小的显着对象是最突出的特点。受这些发现的启发，本文提出了一种等矩形图像上的SOD基线模型。在该方法中，我们构造了一个畸变自适应模块来处理由等矩形投影引起的畸变。此外，多尺度上下文集成块被引入到感知和区分丰富的场景和物体在全向场景。整个网络以渐进的方式组织起来，并进行深度监督。在360个$^\circ$ SOD数据集上的实验结果表明，该基线方法的性能优于目前最先进的方法。此外，在360 $^\circ$ SOD数据集上对所提出的基线方法和其他方法进行了基准测试，结果表明所提出的数据集具有很大的挑战性，这也验证了所提出的数据集和方法对促进360 $^\circ$全向场景SOD开发的有用性。
2019-09-11 cs.CV
Motion Guided Attention for Video Salient Object Detection
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Deepwise AI Lab（深智云人工智能实验室）
视频显著性目标检测的目的是发现视频中视觉上最有特色的对象。在视频显著目标检测中，如何有效地考虑目标运动是一个关键问题。现有的最先进的方法要么不明确地建模和收获运动线索或忽略空间上下文内的光流图像。在本文中，我们开发了一个多任务的运动引导视频显著目标检测网络，学习完成两个子任务，使用两个子网络，一个子网络的显著目标检测在静止图像和其他运动显著检测在光流图像。我们进一步介绍了一系列新颖的运动引导注意模块，它利用运动显著性子网络来关注和增强静态图像的子网络。这两个子网络通过端到端的训练来学习彼此适应。实验结果表明，该方法显着优于现有的国家的最先进的算法在广泛的基准测试。我们希望我们的简单而有效的方法将作为一个坚实的基线，并有助于减轻未来的研究在视频显着目标检测。将提供代码和模型。
2019-10-03 cs.CV
A Parallel Down-Up Fusion Network for Salient Object Detection in Optical Remote Sensing Images
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京市先进信息科学与网络技术重点实验室）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
光学遥感图像空间分辨率的多样性、地物类型、尺度和方位的多样性以及背景的复杂性对现有的显著性目标检测方法提出了挑战。通常，直接将针对自然场景图像（NSIs）设计的SOD方法应用于RSIs是不令人满意的。本文提出了一种新的并行上下融合网络（PDF-Net）用于光学遥感影像中的SOD，该网络充分利用了光路中的低层和高层特征以及跨光路的多分辨率特征来区分不同尺度的显著目标并抑制杂乱的背景。具体来说，保持一个关键的观察，即无论图像的分辨率如何，显着的物体仍然是显着的，PDF-Net采取连续的下采样，以形成五个平行的路径，并感知光学RSI中常见的缩放显着物体。同时，我们采用密集连接，以利用低，高层次的信息在同一条路径，并建立交叉路径的关系，这显式地产生强大的功能表示。最后，我们在并行路径中融合多分辨率特征，以结合不同分辨率特征的优点，即，高分辨率特征由完整的结构和清晰的细节组成，而低分辨率特征突出缩放的显著对象。在ORSSD数据集上进行的大量实验表明，该网络在定性和定量方面都优于现有的方法。
2020-10-02 cs.CV
Transforming Static Images Using Generative Models for Video Salient Object Detection
Yonsei University（延世大学）
本文提出利用图像到视频扩散模型为静态图像生成真实光流，构建大规模图像-光流对以增强视频显著目标检测训练，并在多个公开基准上取得领先性能。
2024-11-21 cs.CV
Revisiting Image Pyramid Structure for High Resolution Salient Object Detection
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
显著目标检测（SOD）是近年来的研究热点，但对于高分辨率图像的研究较少。不幸的是，与低分辨率（LR）图像和注释相比，HR图像及其像素级注释肯定更加劳动密集型和耗时。因此，我们提出了一个基于图像的SOD框架，逆显着性金字塔重建网络（InSPyReNet），用于在没有任何HR数据集的情况下进行HR预测。我们设计了InSPyReNet来生成显着图的严格图像金字塔结构，这使得可以使用基于图像融合的图像混合来集成多个结果。对于HR预测，我们设计了一种金字塔混合方法，该方法从同一图像的一对LR和HR尺度合成两个不同的图像金字塔，以克服有效感受野（ERF）的差异。我们对公共LR和HR SOD基准的广泛评估表明，InSPyReNet在各种SOD指标和边界准确性方面超越了最先进的（SotA）方法。
2022-11-16 cs.CV
Adaptive Graph Convolution Module for Salient Object Detection
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
显著目标检测（SOD）是一项涉及识别和分割图像中视觉上最显著的目标的任务。现有的解决方案可以使用多尺度特征融合机制来检测图像的全局上下文来实现这一点。然而，由于没有考虑图像中的结构，也没有考虑远距离像素之间的关系，传统的方法不能有效地处理复杂的场景。在本文中，我们提出了一个自适应图卷积模块（AGCM），以克服这些限制。原型特征最初使用可学习区域生成层从输入图像中提取，该可学习区域生成层在空间上对图像中的特征进行分组。然后，通过基于图架构在它们之间传播信息来细化原型特征，其中每个特征被视为一个节点。实验结果表明，所提出的AGCM显着提高SOD性能的定量和定量。
2023-03-17 cs.CV
Adjacent Context Coordination Network for Salient Object Detection in Optical Remote Sensing Images
Shanghai University（上海大学）；Nanyang Technological University（南洋理工大学）；Stony Brook University（石溪大学）
光学遥感图像中的显著目标检测（SOD），简称RSI-SOD，是研究光学遥感图像的一个新兴课题。然而，由于光学遥感图像和自然场景图像（NSIs）之间的差异，直接将NSI-SOD方法应用于光学遥感图像并不能取得令人满意的结果。在本文中，我们提出了一种新的相邻上下文协调网络（ACCoNet），探索协调相邻功能的编码器-解码器架构的RSI-SOD。具体来说，ACCoNet由三部分组成：编码器、相邻上下文协调模块（ACCoM）和解码器。ACCoM作为ACCoNet的关键组件，激活编码器输出特征的显著区域并将其传输到解码器。ACCoM包含一个局部分支和两个相邻的分支，用于同时协调多层次特征。局部分支以自适应的方式突出显著区域，而相邻分支引入相邻水平的全局信息来增强显著区域。另外，为了扩展经典解码器块的能力（即，几个级联的卷积层），我们用两个分支扩展它，并提出了一个分支聚合块来捕获解码器中的上下文信息。在两个基准数据集上进行的大量实验表明，所提出的ACCoNet在9个评估指标下优于22种最先进的方法，并且在单个NVIDIA Titan X GPU上运行高达81 fps。我们的方法的代码和结果可在https://github.com/MathLee/ACCoNet上获得。
2022-03-25 cs.CV
Automatic Trimap Generation for Image Matting
Indian Institute of Technology, Gandhinagar（甘地讷格尔印度理工学院）
图像抠图是计算摄影中一个长期存在的问题。虽然它已经被研究了二十多年，但开发一种不需要任何人工努力的自动抠图算法仍然是一个挑战。大多数最先进的抠图算法需要以三重图或涂鸦的形式进行人为干预，以从输入图像生成阿尔法抠图。在本文中，我们提出了一个简单而有效的方法来自动生成三分图从输入图像，使整个抠图过程中的人在循环。我们使用基于学习的抠图方法从自动生成的三重图中生成抠图。实验结果表明，我们的方法产生良好的质量trimap的结果到准确的哑光估计。我们验证我们的结果，通过手动创建的三分图，同时使用相同的图像抠图算法取代自动生成的三分图。
2017-07-04 cs.CV
Inductive Guided Filter: Real-time Deep Image Matting with Weakly Annotated Masks on Mobile Devices
Shanghai Jiao Tong University（上海交通大学）；Versa
最近，在深度图像抠图方面取得了重大进展。经典的抠图方法大都需要一个理想的三重图，而且计算时间长，在实际应用中很难得到。在移动应用中，需要一种高效的基于弱标注模板的图像抠图方法。在本文中，我们提出了一种基于深度学习和引导滤波的新方法，称为感应引导滤波器，它可以解决移动设备上的实时的【形】一般图像抠图任务。我们设计了一个轻量级的沙漏网络来参数化原始的Guided Filter方法，该方法将图像和弱注释的掩码作为输入。此外，使用Gabor损失提出了训练网络的复杂纹理图像抠图。此外，我们创建了一个图像抠图数据集MAT-2793与各种前景对象。实验结果表明，我们提出的方法大大减少了运行时间与鲁棒的准确性。
2019-05-16 cs.CV
Attention Guided Network for Salient Object Detection in Optical Remote Sensing Images
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Leicester（莱斯特大学）
光学遥感图像中的显著目标由于其尺度和形状的复杂性以及预测位置的不确定性，其显著目标检测是一项非常困难的任务。现有的SOD方法能够满足自然场景图像的检测性能，但由于遥感图像的上述图像特征，它们不能很好地适应RSI-SOD。在本文中，我们提出了一种新的注意力引导网络（AGNet）的SOD在光学RSIs，包括位置增强阶段和细节细化阶段。具体地说，位置增强阶段由语义注意模块和上下文注意模块组成，以准确地描述显著对象的近似位置。细节细化阶段使用所提出的自细化模块，在注意和反向注意的指导下逐步细化预测结果。此外，本文还采用混合损失法对网络的训练进行监督，从像素、区域和统计三个角度提高了模型的性能。在两个流行的基准上进行的大量实验表明，与其他最先进的方法相比，AGNet实现了具有竞争力的性能。该代码将在https://github.com/NuaaYH/AGNet上提供。
2022-07-05 cs.CV
Can You Spot the Chameleon? Adversarially Camouflaging Images from Co-Salient Object Detection
Tianjin University（天津大学）；Nanyang Technology University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Cleveland State University（克利夫兰州立大学）；IHPC, A*STAR（新加坡科技研究局高性能计算研究所）；Zhejiang Sci-Tech University（浙江理工大学）；University of South Carolina（南卡罗来纳大学）
共显目标检测（CoSOD）近年来取得了重大进展，在检索相关任务中发挥了重要作用。然而，它不可避免地提出了一个全新的安全和安保问题，即，高度个人化和敏感的内容可能通过强大的CoSOD方法被提取。在本文中，我们从对抗攻击的角度来解决这个问题，并确定了一个新的任务：对抗共显着攻击。特别是，给定从包含一些常见和显着对象的图像组中选择的图像，我们的目标是生成一个对抗版本，可以误导CoSOD方法预测不正确的共同显着区域。请注意，与用于分类的一般白盒对抗攻击相比，该新任务面临两个额外的挑战：（1）由于组中图像的不同外观而导致的低成功率;（2）由于CoSOD管道之间的显著差异而导致的跨CoSOD方法的低可转移性。为了解决这些挑战，我们提出了第一个黑盒联合对抗性曝光和噪声攻击（Jadena），我们根据新设计的高特征级别对比度敏感的损失函数联合和本地调整图像的曝光和附加扰动。我们的方法，没有任何关于最先进的CoSOD方法的信息，导致各种共显检测数据集的性能显着下降，并使共显对象无法检测。这可以在适当地保护当前在互联网上共享的大量个人照片方面具有强大的实际益处。此外，我们的方法是潜在的被利用作为衡量CoSOD方法的鲁棒性。
2022-04-18 cs.CV
Matting Anything
Georgia Tech（佐治亚理工学院）；Oregon（俄勒冈大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Picsart AI Research (PAIR)（Picsart人工智能研究院）
在本文中，我们提出了Matting Anything Model（MAM），这是一个高效且通用的框架，用于估计图像中任何实例的Alpha Matte，并提供灵活的交互式视觉或语言用户提示指导。与以往的专门的图像抠图网络相比，MAM具有以下几个显著的优点：（i）MAM能够处理各种类型的图像抠图，包括语义抠图、实例抠图和仅用单个模型的引用抠图;（ii）MAM利用来自分段任意模型（SAM）的特征图，并采用轻量级遮罩到遮罩（M2M）模块来通过迭代细化预测alpha遮罩，它只有270万个可训练参数。(iii)通过整合SAM，MAM简化了交互式使用从三重图到框、点或文本提示的图像抠图所需的用户干预。我们评估了MAM在各种图像抠图基准上的性能，实验结果表明，MAM在每个基准上的不同指标下达到了与最先进的专业图像抠图模型相当的性能。总体而言，MAM表现出优越的泛化能力，可以有效地处理各种图像抠图任务，使用较少的参数，使其成为一个实用的解决方案，统一的图像抠图。我们的代码和模型在https://github.com/SHI-Labs/Matting-Anything上开源。
2023-11-16 cs.CV
Scribble-based Boundary-aware Network for Weakly Supervised Salient Object Detection in Remote Sensing Images
University of Electronic Science and Technology of China（电子科技大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能初始研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
现有的基于CNN的显著目标检测（SOD）严重依赖于大规模像素级标注，这是劳动密集型的，耗时的，并且昂贵。相比之下，稀疏注释变得对突出的目标检测社区有吸引力。然而，很少有人致力于学习显着的目标检测稀疏注释，特别是在遥感领域。此外，稀疏注释通常包含很少的信息，这使得训练性能良好的模型具有挑战性，导致其性能大大落后于全监督模型。虽然一些SOD方法采用一些先验线索来提高检测性能，但它们通常缺乏对对象边界的有针对性的区分，从而提供边界定位较差的显著图。为此，在本文中，我们提出了一种新的弱监督显着目标检测框架来预测显着性的遥感图像稀疏潦草的注释。为了实现它，我们首先构建基于涂鸦的遥感显著性数据集，通过重新标记现有的大规模SOD数据集与涂鸦，即S-EOR数据集。在此基础上，我们提出了一种新的基于涂鸦的边界感知网络（SBA-Net）的遥感显著目标检测。具体来说，我们设计了一个边界感知模块（BAM）来探索对象边界语义，该语义由边界标签生成（BLG）模块生成的高置信度对象边界（伪）标签显式监督，迫使模型学习突出对象结构的特征，从而提高对象的边界定位。然后，边界语义与高层特征相结合，指导涂鸦标签监督下的显著目标检测。
2022-02-07 cs.CV
Non-Salient Region Object Mining for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Adelaide（阿德莱德大学）；University of Technology Sydney（悉尼科技大学）
语义分割的目的是对输入图像的每个像素进行分类。考虑到获取密集标签的困难，研究人员最近一直在求助于弱标签来减轻分割的注释负担。然而，现有的工作主要集中在扩大种子的伪标签内的图像的显着区域。在这项工作中，我们提出了一个非显着区域对象挖掘方法弱监督语义分割。我们引入了一个基于图的全局推理单元，以加强分类网络的能力，捕捉不相交和遥远的区域之间的全局关系。这有助于网络激活显著区域之外的对象特征。为了进一步挖掘非显著区域对象，我们提出发挥分割网络的自校正能力。具体来说，提出了一个潜在对象挖掘模块，以降低伪标签的假阴性率。此外，我们提出了一个非显着区域掩蔽模块复杂的图像生成掩蔽的伪标签。我们的非显著区域掩蔽模块有助于进一步发现非显著区域中的对象。在PASCAL VOC数据集上进行的大量实验证明了与当前方法相比最先进的结果。
2021-03-26 cs.CV
Multi-Scale Iterative Refinement Network for RGB-D Salient Object Detection
China University of Petroleum, Beijing Campus (CUP)（中国石油大学（北京））
利用RGB-D信息的广泛研究已被用于显著目标检测。然而，显着的视觉线索出现在不同的尺度和分辨率的RGB图像由于语义差距在不同的功能水平。同时，在跨模态深度图像和多尺度版本中也存在类似的显著模式。在RGB-D显著目标检测任务中，跨模态融合和多尺度细化仍然是一个悬而未决的问题。在本文中，我们首先引入自顶向下和自底向上的迭代细化架构，以利用多尺度特征，然后设计基于注意力的融合模块（ABF），以解决跨模态相关性。我们在七个公共数据集上进行了广泛的实验。实验结果表明了我们设计的方法的有效性
2022-01-24 cs.CV
Co-Salient Object Detection with Semantic-Level Consensus Extraction and Dispersion
Peking University（北京大学）
提出基于分层Transformer的语义级共识提取与分散模块，结合ViT和FPN构建端到端网络，在三个CoSOD数据集上实现最先进的协同显著目标检测性能。
2023-09-14 cs.CV
Hyperspectral Remote Sensing Images Salient Object Detection: The First Benchmark Dataset and Baseline
Beijing Institute of Technology（北京理工大学）
本文提出首个高光谱遥感图像显著目标检测数据集HRSSD及基线模型DSSN，通过跨级显著性评估块和高分辨率融合模块有效提升检测性能并验证了泛化能力。
2025-04-03 cs.CV
Generalised Co-Salient Object Detection
The Australian National University（澳大利亚国立大学）
本文提出广义协同显著目标检测（GCoSOD）设定，允许噪声图像不含共享目标，并通过随机采样训练策略GCT与自监督学习DS3L提升模型对目标缺失的感知能力和校准度，同时构建CoCA-Common和CoCA-Zero两个新测试集验证方法有效性。
2023-08-11 cs.CV
Salient Object Detection by Lossless Feature Reflection
Dalian University of Technology（大连理工大学）；University of Adelaide（阿德莱德大学）；Shanghai Jiao Tong University（上海交通大学）
显著性目标检测的目的是识别和定位图像中最显著的像素或区域，由于其广泛的实际应用，引起了越来越多的关注。然而，这种视觉任务是相当具有挑战性的，特别是在复杂的图像场景下。受自然图像的内在反射的启发，本文提出了一种新的用于大规模显著目标检测的特征学习框架。具体来说，我们设计了一个对称的全卷积网络（SFCN），在无损特征反射的指导下学习互补显著性特征。显着对象的位置信息，连同上下文和语义信息，被联合利用来监督所提出的网络，以进行更准确的显着性预测。此外，为了克服边界模糊的问题，我们提出了一个新的结构损失函数学习清晰的对象边界和空间一致的显着性。粗预测结果有效地细化这些结构信息的性能改善。在七个显著性检测数据集上的大量实验表明，我们的方法始终具有优异的性能，并且优于最近的最先进的方法。
2018-04-17 cs.CV
RGBT Salient Object Detection: A Large-scale Dataset and Benchmark
Anhui University（安徽大学）
复杂场景和环境中的显著目标检测是一个具有挑战性的研究课题。大部分工作集中在基于RGB的显著目标检测，这限制了其在黑暗环境和复杂背景等不利条件下的实际应用性能。热红外光谱成像提供了互补的信息，利用RGB图像和热红外图像进行复杂场景中的显著目标检测成为近年来的一个新的研究方向，并已被应用于许多计算机视觉任务中。然而，目前RGBT显著目标检测的研究受到缺乏大规模数据集和全面基准的限制。这项工作贡献了一个名为VT5000的RGBT图像数据集，包括5000个空间对齐的RGBT图像对与地面实况注释。VT5000在不同场景和环境中收集了11个挑战，用于探索算法的鲁棒性。有了这个数据集，我们提出了一个强大的基线方法，它提取每个模态内的多层次特征，并将所有模态的这些特征与注意力机制聚合在一起，用于精确的RGBT显著目标检测。在VT5000数据集和其他两个公共数据集上的实验表明，该方法的性能优于现有方法。此外，本文在VT 5000数据集上对RGBT显著目标检测的不同算法进行了综合分析，得出了一些有价值的结论，并为RGBT显著目标检测提供了一些潜在的研究方向。
2022-05-23 cs.CV
Robust Salient Object Detection on Compressed Images Using Convolutional Neural Networks
Peking University（北京大学）
本文针对压缩图像显著性目标检测，构建基准数据集并评估CNN模型，揭示压缩图像导致的性能瓶颈，进而提出专注于鲁棒特征表示学习的基线框架，显著提升退化图像鲁棒性并保持干净数据准确率。
2024-09-20 cs.CV
High-Resolution Deep Image Matting
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）；University of Oregon（俄勒冈大学）
图像抠图是图像和视频编辑合成的关键技术。传统上，深度学习方法采用整个输入图像和相关联的三重图来使用卷积神经网络推断阿尔法遮片。这样的方法在图像抠图中设置了最先进的技术;然而，由于硬件限制，它们可能在现实世界抠图应用中失败，因为用于抠图的现实世界输入图像大多具有非常高的分辨率。在本文中，我们提出了HDMatt，这是第一种基于深度学习的高分辨率输入图像抠图方法。更具体地说，HDMatt以基于补丁的裁剪和缝合方式为高分辨率输入运行抠图，并采用新颖的模块设计来解决不同补丁之间的上下文依赖性和一致性问题。与香草补丁为基础的推理，独立计算每个补丁相比，我们明确的跨补丁上下文依赖模型与新提出的跨补丁上下文模块（CPC）的指导下，给定的trimap。大量的实验证明了该方法的有效性和高分辨率输入的必要性。我们的HDMatt方法还在Adobe Image Matting和AlphaMatting基准测试中设置了最先进的性能，并在更真实的高分辨率图像上产生令人印象深刻的视觉效果。
2021-01-15 cs.CV
