Revisiting Salient Object Detection from an Observer-Centric Perspective
Dalian University of Technology(大连理工大学)
本文提出OC-SOD方法,通过考虑观察者偏好和意图,实现个性化显著性预测,并构建首个OC-SOD数据集和代理基线。
2026-02-06 cs.AI cs.CV
Instance-Level Salient Object Segmentation
Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学)
由于深度卷积神经网络,图像显著性检测最近取得了快速进展。然而,没有一个现有的方法能够识别检测到的显著区域中的对象实例。在本文中,我们提出了一个显着的实例分割方法,产生一个显着性掩模与不同的对象实例标签的输入图像。我们的方法由三个步骤组成,估计显着性图、检测显着对象轮廓和识别显着对象实例。对于前两步,我们提出了一个多尺度显着性细化网络,它生成高质量的显着区域掩模和显着对象轮廓。一旦与多尺度组合分组和基于MAP的子集优化框架相结合,我们的方法可以产生非常有前途的显著对象实例分割结果。为了促进显著性实例分割的进一步研究和评价,我们还构建了一个新的数据库,包含1000幅图像及其像素显著性实例注释。实验结果表明,我们提出的方法是能够实现国家的最先进的性能在所有公共基准的显着区域检测,以及我们的新数据集的显着实例分割。
2017-04-12 cs.CV
Salient Object Detection: A Survey
MarkableAI;Nankai University(南开大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Beihang University(北京航空航天大学)
在计算机视觉中,从自然场景中检测和分割显著目标,通常被称为显著目标检测,已经引起了极大的兴趣。虽然提出了许多模式,并出现了一些应用,但仍然缺乏对成就和问题的深入了解。我们的目标是提供一个全面的审查显着的目标检测和其他密切相关的领域,如通用的场景分割,对象的建议生成,和固定预测的显着性,这一领域的最新进展。涵盖228出版物,我们调查i)根,关键概念和任务,ii)核心技术和主要建模趋势,iii)数据集和评估指标的显着目标检测。我们还讨论了开放的问题,如模型性能的评估指标和数据集偏差,并提出了未来的研究方向。
2019-07-01 cs.AI cs.CV q-bio.NC
What is a salient object? A dataset and a baseline model for salient object detection
University of Wisconsin, Milwaukee(威斯康星大学密尔沃基分校)
与注视预测模型不同的显著目标检测或显著区域检测模型传统上一直在处理场景中最显著的对象或区域的定位和分割。虽然当场景中存在多个对象时,最显著对象的概念是合理的,但用于显著性检测方法评估的当前数据集通常具有仅具有一个单个对象的场景。我们在本文中介绍三个主要的贡献:首先,我们深入研究的问题,显着的目标检测,通过研究人们在场景中看,他们选择的最显着的对象,当他们被明确要求之间的关系。基于注视和显著性判断之间的一致性,我们认为最显著的物体是吸引最高分数注视的物体。其次,我们提供了两个新的偏差较小的基准数据集,其中包含挑战现有显着性模型的多个对象的场景。事实上,我们在我们的数据集上观察到8个最先进的模型的性能严重下降(40%至70%)。第三,我们提出了一个非常简单但功能强大的基于超像素的模型,用作模型评估和比较的基线。虽然与MSRA-5 K数据集上的最佳模型相当,但我们的模型在我们的数据上胜过其他模型,突出了现有模型的一个严重缺点,即定位最显著对象及其分割的过程复杂。我们还提供了一些标记的场景数据集,可用于评估显着的目标检测模型的审查和统计分析。我们相信,我们的工作可以极大地帮助弥补模型对现有有偏数据集的过度拟合,并为这个快速发展的领域的未来研究开辟新的途径。
2014-12-08 cs.CV
EGNet:Edge Guidance Network for Salient Object Detection
Nankai University(南开大学)
全卷积神经网络(FCN)在显著目标检测任务中显示出其优势。然而,大多数现有的基于FCNs的方法仍然遭受粗糙的对象边界。为了解决这个问题,本文着重研究了显著边缘信息和显著对象信息之间的互补性。因此,我们提出了一个边缘指导网络(EGNet)的显着目标检测与三个步骤,同时在一个单一的网络模型,这两种互补的信息。在第一步中,我们提取的显着目标特征的渐进融合的方式。在第二步中,我们综合局部边缘信息和全局位置信息,以获得显著的边缘特征。最后,为了充分利用这些互补特征,我们将相同的显著边缘特征与不同分辨率的显著对象特征相结合。融合特征利用显著边缘特征中丰富的边缘信息和位置信息,可以更准确地定位显著目标,尤其是其边界。实验结果表明,在不进行任何预处理和后处理的情况下,该方法在六个广泛使用的数据集上的性能优于现有方法。源代码可在http://mmcheng.net/egnet/上获得。
2019-08-22 cs.CV
Towards the Success Rate of One: Real-time Unconstrained Salient Object Detection
University of Maryland College Park(马里兰大学帕克分校);eBay Inc.(eBay公司)
在这项工作中,我们提出了一种高效和有效的方法,用于使用深度卷积神经网络进行图像中的无约束显著目标检测。我们的网络没有生成数千个候选边界框并对其进行优化,而是直接学习生成包含精确数量的显著对象的显著性图。在训练过程中,我们将地面实况矩形框转换为高斯分布,以更好地捕捉关于单个显著对象的ROI。在推理过程中,网络预测以具有适当协方差的显著对象为中心的高斯分布,从中很容易推断出边界框。值得注意的是,我们的网络在没有像素级注释的情况下执行显着图预测,在没有对象建议的情况下执行显着目标检测,并且同时执行显着对象subitizing,所有这些都在统一框架内的单次通过中。大量的实验表明,我们的方法在各种数据集上的性能大大优于现有方法,并且在推理过程中在单个GPU上使用VGG16网络实现了超过100 fps。
2017-08-02 cs.CV
Salient Object Detection for Images Taken by People With Vision Impairments
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出面向视力障碍人群拍摄图像的显著目标检测数据集VizWiz-SalientObject,包含32,000张人工标注图像,并基准测试了七种现代方法,发现其在处理大尺寸、简单边界、无文本及低质量图像时表现不佳。
2023-09-05 cs.CV
Addressing Multiple Salient Object Detection via Dual-Space Long-Range Dependencies
University of Nottingham(诺丁汉大学)
显著目标检测在许多下游任务中起着重要作用。然而,具有不同尺度和显著对象数量的复杂现实世界场景仍然构成挑战。在本文中,我们直接解决了复杂场景中检测多个显著对象的问题。我们提出了一个网络架构,将非本地的特征信息在空间和通道空间,捕捉单独的对象之间的远程依赖关系。传统的自下而上和非局部特征与特征融合门内的边缘特征相结合,该特征融合门在解码器中逐渐细化显著对象预测。我们表明,即使在复杂的情况下,我们的方法准确地定位多个显着的区域。为了证明我们的方法对多个显著对象问题的有效性,我们策划了一个只包含多个显著对象的新数据集。我们的实验表明,该方法在五个广泛使用的数据集上呈现出最先进的结果,无需任何预处理和后处理。我们在多对象数据集上获得了进一步的性能改进。数据集和源代码可在https://github.com/EricDengbowen/DSLRDNet上获得。
2021-11-04 cs.CV
On the Distribution of Salient Objects in Web Images and its Influence on Salient Object Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
已经变得明显的是,高斯中心偏置可以用作视觉显著性检测的重要先验,这已经被证明用于预测人眼注视和显著目标检测。Tseng等人已经表明,摄影师倾向于将感兴趣的物体放在中心,这可能是眼睛注视中心偏差的一个原因。我们调查的影响,摄影师的中心偏置显着的目标检测,扩展我们以前的工作。我们发现,在Achanta和刘的数据集的照片中的显著对象的质心位置,实际上与高斯模型强烈相关。这是一个重要的见解,因为它为将这种中心偏差集成到显着的目标检测算法中提供了经验动机和理由,并有助于理解为什么高斯模型如此有效。为了评估中心偏置对显著目标检测的影响,我们将显式高斯中心偏置模型集成到两个最先进的显著目标检测算法中。这样,首先,我们量化高斯中心偏置对基于像素和分段的显著目标检测的影响。其次,我们改进了F1得分,Fb得分,召回精度曲线下的面积,受试者工作特征曲线下的面积,以及Achanta和Liu的知名数据集上的命中率。第三,通过去偏程等人。的区域对比度模型,我们示范性地证明,隐式中心偏差是部分负责国家的最先进的算法的出色性能。最后但并非最不重要的是,由于去偏程等人。的算法,我们引入了无偏显著目标检测方法,该方法对于图像数据不太可能具有摄影者的中心偏置的应用(例如,监视摄像机或自主机器人的图像数据)。
2015-01-10 cs.CV
A Spatial-Temporal Dual-Mode Mixed Flow Network for Panoramic Video Salient Object Detection
College of Electrical and Information Engineering at Lanzhou University of Technology(兰州理工大学电气与信息工程学院);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
提出时空双模态混合流网络(STDMMF-Net),结合空间流与光流,通过ILA、ILW和BMA模块提升全景视频显著目标检测精度与泛化性能。
2023-10-13 cs.AI cs.CV
M$^3$Net: Multilevel, Mixed and Multistage Attention Network for Salient Object Detection
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对现有显著性目标检测方法简单聚合多尺度特征的问题,提出M$^3$Net,通过多尺度交互模块、混合注意力模块和多级监督策略,在六个数据集上超越现有方法。
2023-09-15 cs.AI cs.CV
Salient Object Detection: A Distinctive Feature Integration Model
College of Computer Science and Engineering(计算机科学与工程学院)
我们提出了一种新的方法,在不同的图像显著目标检测。我们的方法集成了空间特征,用于高效和鲁棒的表示,以捕获有关显著对象的有意义的信息。然后,我们训练一个条件随机场(CRF)使用集成功能。然后,在在线测试阶段使用训练的CRF模型来检测显著对象。我们在两个标准数据集上进行了实验,并将我们的方法与不同的参考方法进行了性能比较。实验结果表明,该方法在查准率、查全率和F-Measure等方面均优于其他方法。
2019-04-18 cs.CV
HSOD-BIT-V2: A New Challenging Benchmarkfor Hyperspectral Salient Object Detection
Beijing Institute of Technology(北京理工大学)
该研究构建了面向高光谱显著目标检测的大规模挑战性基准 HSOD-BIT-V2,并提出高分辨率网络 Hyper-HRNet,以增强光谱信息利用和复杂场景下的轮廓定位性能。
2025-03-18 cs.AI cs.CV
Masking Salient Object Detection, a Mask Region-based Convolutional Neural Network Analysis for Segmentation of Salient Objects
Federal University of Paraná(巴拉那联邦大学)
在本文中,我们提出了一个广泛的比较全卷积网络(FCN)和掩模区域为基础的卷积神经网络(Mask-RCNN)应用在显着的目标检测(SOD)的上下文中。SOD文献中的研究通常探索基于FCNs的架构,以检测视觉场景中的显著区域和对象。然而,除了取得的可喜成果外,FCN在一些具有挑战性的场景中也出现了问题。最近,SOD文献中的研究提出了使用Mask-RCNN方法来克服这些问题。然而,在SOD文献中没有对这两种网络进行广泛的比较,以证明Mask-RCNN在分割显著对象时优于FCN。为了有效地显示Mask-RCNN在SOD背景下优于FCN,我们在文献中广泛使用的8个数据集和4个度量中比较了Mask-RCNN的两种变体和FCN的两种变体。我们的研究结果表明,在这种情况下,Mask-RCNN在F-测量上比FCN提高了47%。
2019-09-17 cs.CV
Semantic Instance Meets Salient Object: Study on Video Semantic Salient Instance Segmentation
Kyushu University(九州大学);Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
只关注场景中突出的语义实例,比查看整个场景中的所有对象,为机器人导航和自动驾驶汽车带来更多好处。本文将视频中的显著区域分解为语义上有意义的成分,即语义显著实例。我们为视频语义显著实例分割(VSSIS)的新任务,即语义实例-显著对象(SISO)框架提供了基础。SISO框架是简单而有效的,利用两个不同的分割任务的优势,即语义实例分割和显著对象分割,以最终融合它们的最终结果。在SISO中,我们通过查看语义实例和显著区域之间的重叠像素来逐个地引入非重叠实例的顺序融合。我们还引入了一个经常性的实例传播,以完善的形状和语义的实例,和一个身份跟踪,以保持整个视频的身份和语义的实例的含义。实验结果证明了我们的SISO基线的有效性,它可以处理视频中的遮挡。此外,为了解决VSSIS的任务,我们通过为显着实例标签分配语义基础事实来增强DAVIS-2017基准数据集,获得SEmantic显着实例视频(SESIV)数据集。我们的SESIV数据集由84个高质量的视频序列组成,每帧都有像素级的地面实况标签。
2018-11-22 cs.CV
Unsupervised Salient Object Detection with Spectral Cluster Voting
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们解决了具有挑战性的任务,无监督的显着目标检测(SOD),利用谱聚类自监督功能。我们做出了以下贡献:(i)我们重新审视谱聚类,并展示了其对显着对象的像素进行分组的潜力;(ii)从各种自监督模型计算的图像特征上的谱聚类的多个应用中给出了掩模建议,例如,MoCov 2,SwAV,DINO,我们提出了一个简单但有效的赢家通吃的投票机制,用于选择显着的面具,利用对象先验的框架和独特性的基础上;(iii)使用选定的对象分割伪地面实况面具,我们训练显着的对象检测器,称为SelfMask,它优于以前的方法在三个无监督的SOD基准。代码可在https://github.com/NoelShin/selfmask上公开获取。
2022-03-23 cs.CV
Contextual Hypergraph Modelling for Salient Object Detection
The University of Adelaide(阿德莱德大学)
显著目标检测的目的是定位图像中吸引人类注意力的对象。以前的方法通常将此作为图像对比度分析的问题。在这项工作中,我们将图像建模为超图,该超图利用一组超边来捕获图像像素或区域的上下文属性。因此,显着目标检测问题就变成了在超图中寻找显着顶点和超边的问题。超图建模的主要优点是它考虑了每个像素(或区域)与其邻域的亲和力以及与图像背景的分离。此外,我们提出了一种替代方法的基础上,中心与周围的上下文对比度分析,通过优化成本敏感的支持向量机(SVM)的目标函数进行显着的目标检测。四个具有挑战性的数据集上的实验结果表明,所提出的方法对国家的最先进的方法显着目标检测的有效性。
2013-10-22 cs.CV
Co-Salient Object Detection with Co-Representation Purification
Nankai University(南开大学);SenseTime Research(商汤科技研究院);Tencent(腾讯)
共显目标检测(Co-SOD)的目的是从一组相关图像中发现共同的目标。挖掘共表征对于定位共显对象是必不可少的。遗憾的是,目前的Co-SOD方法没有足够注意到与共显对象无关的信息被包括在共表征中。共同表征中的这种不相关信息干扰其对共同显着对象的定位。在本文中,我们提出了一个共同代表纯化(CoRP)的方法,旨在寻找无噪声的共同代表。我们搜索几个像素的嵌入可能属于共同显着的地区。这些嵌入构成了我们的共同表示,并指导我们的预测。为了获得更纯粹的共同表示,我们使用预测来迭代地减少我们的共同表示中的不相关嵌入。在三个数据集上的实验表明,我们的CoRP在基准数据集上达到了最先进的性能。我们的源代码可以在https://github.com/ZZY816/CoRP上找到。
2023-03-14 cs.CV
SE2Net: Siamese Edge-Enhancement Network for Salient Object Detection
Carnegie Mellon University(卡内基梅隆大学)
深度卷积神经网络显著提升了显著目标检测在处理场景和对象外观大变化方面的能力。然而,卷积操作寻求对单个像素产生强烈的响应,而缺乏维护对象空间结构的能力。此外,下采样操作,例如池化和跨步,丢失了显著对象的空间细节。在本文中,我们提出了一个简单而有效的连体边缘增强网络(SE2Net),以保持显着的目标检测的边缘结构。具体地说,一种新的多级连体网络被构建来聚合低级别和高级别的特征,并重新估计边缘和区域的显著性地图。因此,通过增强边缘处的响应,预测区域变得更准确,并且通过抑制背景中的假阳性,预测边缘变得更语义化。在SE2Net生成边缘和区域的精细显着图之后,设计了一种边缘引导推理算法,以进一步改进沿着预测边缘的显着掩模。在几个基准数据集上进行了大量的实验,结果表明,该方法优于现有的方法。
2019-08-16 cs.CV
Learning RGB-D Salient Object Detection using background enclosure, depth contrast, and top-down features
Australian National University(澳大利亚国立大学);Data61-CSIRO
最近,深度卷积神经网络(CNN)在RGB显著目标检测方面表现出了强大的性能。尽管深度信息可以帮助改善检测结果,但用于RGB-D显著目标检测的CNN的探索仍然有限。在这里,我们提出了一种用于RGB-D显著目标检测的新型深度CNN架构,该架构利用了高级,中级和低级特征。此外,我们提出了新的深度功能,捕捉的想法,背景外壳和深度对比度,适合于一个学习的方法。与最先进的RGB-D显著目标检测方法相比,我们展示了改进的结果。我们还表明,低级和中级深度功能都有助于改善结果。特别是,我们的方法在RGBD 1000数据集上的F-Score为0.848,比第二名提高了10.7%。
2017-05-10 cs.CV
Rethinking Detecting Salient and Camouflaged Objects in Unconstrained Scenes
School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件工程学院);School of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学院);School of Computer Science and Technology, Hainan University(海南大学计算机科学与技术学院)
针对现有SOD与COD任务互斥建模的局限,本文构建覆盖所有逻辑存在情形的USC12K数据集,提出USCNet模型建模样本间与样本内属性关系,并设计CSCS指标,在全部场景中取得最优性能。
2025-07-07 cs.CV
Multistep feature aggregation framework for salient object detection
Nanjing Tech University(南京工业大学)
最近的显著性目标检测的工作已经利用多尺度特征的方式,使得高级别的功能和低级别的功能可以合作定位显著对象。许多先前的方法在显著目标检测中取得了很好的性能。通过合并高、低层特征,可以提取大量的特征信息。一般来说,他们在一个单向框架中完成这些工作,并将可变特征一直交织到最终的特征输出。这可能导致显著图的一些模糊或不准确的定位。为了克服这些困难,我们引入了一个多步特征聚合(MSFA)框架显著目标检测,它由三个模块组成,包括多样性接收(DR)模块,多尺度交互(MSI)模块和特征增强(FE)模块,以实现更好的多层次特征融合。在六个基准数据集上的实验结果表明,MSFA达到了最先进的性能。
2022-11-12 cs.CV
RGBT Salient Object Detection: A Large-scale Dataset and Benchmark
Anhui University(安徽大学)
复杂场景和环境中的显著目标检测是一个具有挑战性的研究课题。大部分工作集中在基于RGB的显著目标检测,这限制了其在黑暗环境和复杂背景等不利条件下的实际应用性能。热红外光谱成像提供了互补的信息,利用RGB图像和热红外图像进行复杂场景中的显著目标检测成为近年来的一个新的研究方向,并已被应用于许多计算机视觉任务中。然而,目前RGBT显著目标检测的研究受到缺乏大规模数据集和全面基准的限制。这项工作贡献了一个名为VT5000的RGBT图像数据集,包括5000个空间对齐的RGBT图像对与地面实况注释。VT5000在不同场景和环境中收集了11个挑战,用于探索算法的鲁棒性。有了这个数据集,我们提出了一个强大的基线方法,它提取每个模态内的多层次特征,并将所有模态的这些特征与注意力机制聚合在一起,用于精确的RGBT显著目标检测。在VT5000数据集和其他两个公共数据集上的实验表明,该方法的性能优于现有方法。此外,本文在VT 5000数据集上对RGBT显著目标检测的不同算法进行了综合分析,得出了一些有价值的结论,并为RGBT显著目标检测提供了一些潜在的研究方向。
2022-05-23 cs.CV
Generalised Co-Salient Object Detection
The Australian National University(澳大利亚国立大学)
本文提出广义协同显著目标检测(GCoSOD)设定,允许噪声图像不含共享目标,并通过随机采样训练策略GCT与自监督学习DS3L提升模型对目标缺失的感知能力和校准度,同时构建CoCA-Common和CoCA-Zero两个新测试集验证方法有效性。
2023-08-11 cs.CV
Multi-Scale Iterative Refinement Network for RGB-D Salient Object Detection
China University of Petroleum, Beijing Campus (CUP)(中国石油大学(北京))
利用RGB-D信息的广泛研究已被用于显著目标检测。然而,显着的视觉线索出现在不同的尺度和分辨率的RGB图像由于语义差距在不同的功能水平。同时,在跨模态深度图像和多尺度版本中也存在类似的显著模式。在RGB-D显著目标检测任务中,跨模态融合和多尺度细化仍然是一个悬而未决的问题。在本文中,我们首先引入自顶向下和自底向上的迭代细化架构,以利用多尺度特征,然后设计基于注意力的融合模块(ABF),以解决跨模态相关性。我们在七个公共数据集上进行了广泛的实验。实验结果表明了我们设计的方法的有效性
2022-01-24 cs.CV
Salient Object Detection in Video using Deep Non-Local Neural Networks
Ferdowsi University of Mashhad(马什哈德 Ferdowsi 大学)
图像和视频中显著目标的检测在许多计算机视觉应用中具有重要意义。尽管静止图像的显著性检测的现有技术在过去几年中已经发生了很大的变化,但是在视频显著性检测中几乎没有改进。本文研究了最近引入的非局部神经网络在视频显著目标检测中的应用。应用非局部神经网络来捕获全局依赖性,从而确定显著对象。分别研究了非局部操作对静态和动态显著性检测的影响,以同时利用外观和运动特征。介绍了一种新的深度非局部神经网络架构用于视频显著目标检测,并在两个著名的数据集DAVIS和FBMS上进行了测试。实验结果表明,该算法优于最先进的视频显著性检测方法。
2018-10-16 cs.CV
Evaluating Salient Object Detection in Natural Images with Multiple Objects having Multi-level Saliency
Zalando Research(Zalando研究院);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);National University of Singapore(新加坡国立大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
显著目标检测使用具有显著对象类和背景的标签的二进制地面实况来评估。在本文中,我们证实了基于三个主观实验的一种新的图像数据集,自然图像中的对象本质上被认为具有不同程度的重要性。我们的数据集名为SalMoN(多对象自然图像中的显着性),有588张包含多个对象的图像。主观实验通过注视时间、点击鼠标和画矩形记录自发注意和知觉。由于多目标图像中的目标显著性本质上是多层次的,因此我们提出显著性目标检测必须评估除了显著性目标类别检测能力之外检测所有多层次显著性目标的能力。为此,我们使用主观实验的结果生成多层次的地图作为与所有数据集图像相对应的地面实况,标签是多层次的显著对象和背景。然后,我们提出使用平均绝对误差,肯德尔的秩相关性和精确度-召回曲线下的平均面积来评估现有的显着目标检测方法对我们的多层次显着性地面真相数据集。将图像上的显著性检测表示为图的局部-全局分层处理的方法在我们的数据集中表现良好。
2020-03-19 cs.CV eess.IV
Non-Salient Region Object Mining for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University of Electronic Science and Technology of China(电子科技大学);University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
语义分割的目的是对输入图像的每个像素进行分类。考虑到获取密集标签的困难,研究人员最近一直在求助于弱标签来减轻分割的注释负担。然而,现有的工作主要集中在扩大种子的伪标签内的图像的显着区域。在这项工作中,我们提出了一个非显着区域对象挖掘方法弱监督语义分割。我们引入了一个基于图的全局推理单元,以加强分类网络的能力,捕捉不相交和遥远的区域之间的全局关系。这有助于网络激活显著区域之外的对象特征。为了进一步挖掘非显著区域对象,我们提出发挥分割网络的自校正能力。具体来说,提出了一个潜在对象挖掘模块,以降低伪标签的假阴性率。此外,我们提出了一个非显着区域掩蔽模块复杂的图像生成掩蔽的伪标签。我们的非显著区域掩蔽模块有助于进一步发现非显著区域中的对象。在PASCAL VOC数据集上进行的大量实验证明了与当前方法相比最先进的结果。
2021-03-26 cs.CV
Progressive Self-Guided Loss for Salient Object Detection
Nanyang Technological University(南洋理工大学);Ningbo University(宁波大学)
我们提出了一个简单而有效的渐进式自我引导损失函数,以促进图像中基于深度学习的显著目标检测(SOD)。由于显著对象的内部复杂性,大多数相关工作产生的显著图仍然遭受不完整的预测。我们提出的渐进式自我引导损失模拟了对模型预测的形态学关闭操作,用于逐步创建辅助训练监督以逐步指导训练过程。我们证明了这种新的损失函数可以引导SOD模型逐步突出更完整的显著对象,同时有助于以区域增长的方式揭示显著对象像素的空间依赖性。此外,提出了一种新的特征聚合模块,捕获多尺度特征,并通过分支注意力机制自适应地聚合它们。得益于这个模块,我们的SOD框架利用自适应聚合的多尺度特征来有效地定位和检测显著对象。几个基准数据集上的实验结果表明,我们的损失函数不仅提高了现有的SOD模型的性能,而无需架构修改,但也有助于我们提出的框架,以实现国家的最先进的性能。
2021-09-07 cs.CV
Motion Guided Attention for Video Salient Object Detection
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);Deepwise AI Lab(深智云人工智能实验室)
视频显著性目标检测的目的是发现视频中视觉上最有特色的对象。在视频显著目标检测中,如何有效地考虑目标运动是一个关键问题。现有的最先进的方法要么不明确地建模和收获运动线索或忽略空间上下文内的光流图像。在本文中,我们开发了一个多任务的运动引导视频显著目标检测网络,学习完成两个子任务,使用两个子网络,一个子网络的显著目标检测在静止图像和其他运动显著检测在光流图像。我们进一步介绍了一系列新颖的运动引导注意模块,它利用运动显著性子网络来关注和增强静态图像的子网络。这两个子网络通过端到端的训练来学习彼此适应。实验结果表明,该方法显着优于现有的国家的最先进的算法在广泛的基准测试。我们希望我们的简单而有效的方法将作为一个坚实的基线,并有助于减轻未来的研究在视频显着目标检测。将提供代码和模型。
2019-10-03 cs.CV
Democracy Does Matter: Comprehensive Feature Mining for Co-Salient Object Detection
XJTLU(西交利物浦大学);University of Liverpool(利物浦大学)
以检测一组图像中共存的显著对象为目标的共显目标检测正在变得流行。最近的研究使用注意力机制或额外的信息来聚合共同的共显特征,导致对目标对象的不完整甚至不正确的反应。在本文中,我们的目标是挖掘全面的共显特征与民主和减少背景干扰,而不引入任何额外的信息。为了实现这一目标,我们设计了一个民主原型生成模块来生成民主反应地图,覆盖足够的共显区域,从而涉及更多的共显对象的共享属性。然后,可以生成基于响应图的综合原型,作为最终预测的指南。为了抑制原型中的噪声背景信息,我们提出了一个自对比学习模块,在该模块中,在不依赖于额外的分类信息的情况下形成正对和负对。此外,我们还设计了一个民主特征增强模块,通过调整注意力值来进一步增强共显特征。大量的实验表明,我们的模型比以前的最先进的方法获得了更好的性能,特别是在具有挑战性的现实世界的情况下(例如,对于CoCA,在相同设置下,我们获得了MAE的2.0%增益,最大F-测量值的5.4%增益,最大E-测量值的2.3%增益,以及S-测量值的3.7%增益)。代码将很快发布。
2022-03-11 cs.CV
Memory-Efficient Deep Salient Object Segmentation Networks on Gridized Superpixels
Nokia Technologies(诺基亚科技)
具有逐像素标记任务(例如语义分割和显著目标检测)的计算机视觉算法随着深度学习的并入而经历了显著的准确性增加。深度分割方法对具有数亿个参数的预训练网络进行轻微修改和微调。在这项工作中,我们质疑是否需要有这样的内存需求网络的特定任务的显着对象分割。为此,我们提出了一种从头开始学习记忆高效网络的方法,只在显著的目标检测数据集上训练它。我们的方法将图像编码为网格化的超像素,该超像素保留了对象边界和常规像素的连接规则。这种表示允许我们使用在规则网格上操作的卷积神经网络。通过使用这些编码图像,我们训练了一个内存高效的网络,使用的参数数量仅为其他深度显著目标检测网络的0.048%。我们的方法显示出与最先进的深显着目标检测方法相当的准确性,并提供了一个更快,更节省内存的替代方案。由于其易于部署,这种网络对于诸如移动电话和IoT设备之类的存储器有限设备中的应用是优选的。
2018-05-22 cs.CV
SalProp: Salient object proposals via aggregated edge cues
Indian Institute of Technology Delhi(印度理工学院德里分校);National Institute of Technology Goa(印度国立理工学院果阿分校)
在本文中,我们提出了一种新的对象提案生成方案,制定了一个基于图的显着的边缘分类框架,利用边缘上下文。在所提出的方法中,我们构建了一个贝叶斯概率边缘图分配一个显着值的边缘利用低级别的边缘功能。然后学习条件随机场,以有效地将这些特征与对象/非对象标签结合起来进行边缘分类。我们提出了一个对象得分生成的窗口,通过分析显着的边缘密度内的限界框。在PASCAL VOC 2007数据集上进行的大量实验表明,该方法与10种常用的通用目标检测技术相比,具有较好的性能,同时使用较少的建议。
2017-06-14 cs.CV
Edge-guided Non-local Fully Convolutional Network for Salient Object Detection
Anhui University(安徽大学)
全卷积神经网络(FCN)凭借其高层次语义特征提取的优点,近年来被广泛应用于显著目标检测中,但现有的基于FCN的方法仍然存在连续跨越和池化操作,导致空间结构丢失和边缘模糊。为了保持显著对象的清晰边缘结构,我们提出了一种新的边缘引导的非局部FCN(ENFNet)执行边缘引导的特征学习,以准确的显著目标检测。在一个具体的,我们提取层次化的全球和本地的信息,在FCN纳入有效的特征表示的非本地功能。为了保持显著对象的良好边界,我们提出了一个指导块,将边缘先验知识嵌入到分层特征图中。引导块不仅执行特征方面的操作,而且空间方面的变换,以实现有效的边缘嵌入。我们的模型在MSRA-B数据集上训练,并在五个流行的基准数据集上进行测试。与现有方法相比,该方法在所有数据集上都取得了最好的性能。
2019-08-11 cs.CV
MSDNN: Multi-Scale Deep Neural Network for Salient Object Detection
Xiangtan University(湘潭大学)
显著目标检测是计算机视觉中的一个基本问题,受到了广泛的关注。近年来,深度学习模型成为图像特征提取的有力工具。在本文中,我们提出了一种用于显著目标检测的多尺度深度神经网络(MSDNN)。该模型首先利用递归卷积神经网络(RCNN)提取源图像的全局高级特征和上下文信息。然后采用多层叠加的反卷积层得到多尺度特征表示,并得到一系列显著性图。最后,我们研究了一个融合卷积模块(FCM),以建立一个最终的像素级显着图。该模型在四个显著的目标检测基准数据集上进行了广泛的评估。结果表明,我们的深度模型明显优于其他12种最先进的方法。
2018-01-12 cs.CV
Salient Object Detection for Point Clouds
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室)
研究了未探测任务点云显著目标检测(SOD)。与图像的SOD不同,我们发现点云的注意力转移可能会引起显着性冲突,即,一个对象矛盾地属于显着和非显着的类别。为了避免这个问题,我们提出了一种新的显着对象的视图依赖的角度,合理地反映点云场景中最引人注目的对象。根据这个公式,我们介绍了PCSOD,第一个为点云SOD提出的数据集,由2,872个室内/室外3D视图组成。我们数据集中的样本用分层注释标记,例如,超/子类,限界框和分割图,这赋予了我们的数据集验证各种架构的出色的通用性和广泛的适用性。为了证明我们的解决方案的可行性,我们进一步贡献了一个基线模型和基准五个代表性的模型进行全面的比较。该模型可以有效地分析不规则和无序的点检测显著对象。由于结合了任务定制的设计,我们的方法显示出明显的优越性,比其他基线,产生更令人满意的结果。大量的实验和讨论揭示了这一研究领域的潜力,为进一步研究铺平了道路。
2022-07-25 cs.CV
Learning Video Salient Object Detection Progressively from Unlabeled Videos
Zhejiang University of Technology(浙江工业大学)
最近基于深度学习的视频显著目标检测(VSOD)已经取得了一些突破,但是这些方法依赖于具有逐像素注释、弱注释或部分逐像素注释的昂贵的注释视频。基于VSOD与图像显著性目标检测(SOD)的异同,提出了一种新的VSOD方法,该方法采用渐进式框架,在不使用任何视频注释的情况下,按顺序定位和分割显著性目标。为了有效地将SOD数据集中学习到的知识用于VSOD,我们引入动态显着性来补偿定位过程中SOD运动信息的缺乏,但保留相同的精细分割过程。具体而言,时空位置标签的生成算法,其中包括生成高显着性的位置标签和跟踪显着对象在相邻帧,提出。基于这些位置标记,提出了一种引入光流分支的双流定位网络,用于视频显著目标的定位。虽然我们的方法根本不需要标记视频,但DAVIS,FBMS,ViSal,VOS和DAVSOD五个公共基准测试的实验结果表明,我们提出的方法与完全监督方法相比具有竞争力,并且优于最先进的弱无监督方法。
2022-04-05 cs.CV
CoSformer: Detecting Co-Salient Object with Transformers
Nanjing University(南京大学)
共显著目标检测(Co-Salient Object Detection,CoSOD)的目的是模拟人类视觉系统,从一组相关图像中发现共同的显著目标。最近的方法通常开发复杂的基于深度学习的模型,大大提高了CoSOD任务的性能。但仍有两个主要缺点需要进一步解决,1)次优的图像间关系建模; 2)缺乏考虑图像间的可分性。在本文中,我们提出了共同显着的目标检测Transformer(CoSmerer)网络,以捕获显着和共同的视觉模式,从多个图像。通过利用Transformer架构,该方法解决了输入命令的影响,大大提高了CoSOD任务的稳定性。我们还引入了一个新的概念,图像间的可分性。我们构造了一个对比度学习方案来建模图像间的可分性,并学习更多的判别嵌入空间来区分真正的普通对象和噪声对象。在三个具有挑战性的基准上进行了广泛的实验,即,CoCA,CoSOD 3 k和Cosal 2015,证明了我们的CoSmerer优于尖端模型,并达到了新的最先进的水平。我们希望CoSmerer可以激励未来的研究更多的可视化共分析任务。
2022-09-22 cs.CV
Uncertainty-aware Joint Salient Object and Camouflaged Object Detection
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);CSIRO(澳大利亚联邦科学与工业研究组织);EPFL(瑞士洛桑联邦理工学院)
视觉显著目标检测(SOD)的目的是发现引起人们注意的显著目标,而隐藏目标检测(COD)的目的是发现隐藏在周围环境中的隐藏目标。在本文中,我们提出了一个范例,利用矛盾的信息,以提高检测能力的显着目标检测和隐藏的目标检测。我们首先利用COD数据集中的易阳性样本作为SOD任务中的硬阳性样本,以提高SOD模型的鲁棒性。然后,我们引入了一个相似性度量模块来明确建模这两个任务的矛盾属性。此外,考虑到两个任务的数据集的标签的不确定性,我们提出了一个对抗学习网络,以实现高阶相似性度量和网络置信度估计。基准数据集上的实验结果表明,我们的解决方案导致国家的最先进的(SOTA)的性能为这两个任务。
2021-04-06 cs.CV
Nested Network with Two-Stream Pyramid for Salient Object Detection in Optical Remote Sensing Images
City University of Hong Kong(香港城市大学);Beijing Jiaotong University(北京交通大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);Tianjin University(天津大学)
由于光学遥感图像中目标类型和尺度多样、成像方向多样、背景复杂,很难直接将自然场景图像中显著目标检测的成功推广到光学遥感图像中。在本文中,我们提出了一种基于网络架构形状的端到端深度网络,称为LV-Net,它以纯粹的数据驱动方式从光学RSI中检测显著对象。拟议的LV-Net由两个关键模块组成,即,双流金字塔模块(L形模块)和具有嵌套连接的编码器-解码器模块(V形模块)。具体而言,L形模块通过使用双流金字塔结构分层地提取一组互补信息,这有利于感知显著对象的多样尺度和局部细节。V形模块通过嵌套连接逐渐融合编码器细节特征和解码器语义特征,以抑制杂乱背景,突出显著对象。此外,我们构建了第一个公开可用的光学RSI数据集,用于显著目标检测,包括800张具有不同空间分辨率、不同显著性类型和像素地面实况的图像。在此基准数据集上的实验表明,该方法在定性和定量上都优于最先进的显著目标检测方法。
2019-06-20 cs.CV
An Integration of Bottom-up and Top-Down Salient Cues on RGB-D Data: Saliency from Objectness vs. Non-Objectness
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Jiangxi University of Finance and Economics(江西财经大学);The University of Electro-Communications(电气通信大学)
自自底向上的【形】和自上而下的视觉线索是两种有助于视觉显著性模型的信息。这些显著线索可以来自特征的空间分布(基于空间的显著性)或上下文/任务相关特征(基于对象的显著性)。显着性模型通常分别采用自自底向上的【形】或自上而下的范式来整合显着性线索。在这项工作中,我们结合了自自底向上的【形】和自上而下的线索,从空间和基于对象的RGB-D数据的显着特征。此外,我们还研究了各种预训练的卷积神经网络基于对象相关特征激活的彩色图像自顶向下显著性提取的能力。我们证明,通过自自底向上的【形】和自顶向下的方法,从颜色和深度的显着特征相结合,显着改善显着的目标检测与基于空间和基于对象的显着线索。RGB-D显着性整合框架产生了可喜的结果相比,几个国家的最先进的模型。
2018-07-04 cs.CV
A Classifier-guided Approach for Top-down Salient Object Detection
Nanyang Technological University(南洋理工大学)
我们提出了一个框架,自上而下的显着目标检测,采用了紧密耦合的图像分类模块。该分类器是在用于显着性建模的对象字典上计算的新型类别感知稀疏代码上训练的。错误分类表明相应的显著性模型是不准确的。因此,分类器选择需要更新显著性模型的图像。与传统稀疏编码相比,类别感知稀疏编码产生更好的图像分类准确度,同时降低了计算复杂性。提出了一种基于显著性加权的最大池化方法来改进图像分类,并进一步细化显著性图。在Graz-02和PASCAL VOC-07数据集上的实验结果证明了显著目标检测的有效性。虽然分类器的作用是支持显着的目标检测,我们评估其性能在图像分类,也说明了实用的阈值显着图图像分割。
2016-04-22 cs.CV
Salient Object Detection via Augmented Hypotheses
Singapore Polytechnic(新加坡理工学院)
在本文中,我们提出使用\textit{augmented hypotheses},考虑对象,前景和紧凑性的显著目标检测。我们的算法包括四个基本步骤。首先,我们的方法通过对象性假设生成对象性图。在此基础上,我们估计前景边缘,并计算出相应的前景图,该前景图更倾向于前景物体。从对象图和前景图中,形成紧凑图以有利于紧凑对象。然后,我们推导出一个显着性的措施,产生一个像素精确的显着性图,均匀覆盖感兴趣的对象,并始终分离前和背景。最后,我们在两个具有挑战性的数据集MSRA-1000和iCoSeg上评估了所提出的框架。我们广泛的实验结果表明,我们的方法优于国家的最先进的方法。
2015-05-29 cs.CV
SaLite : A light-weight model for salient object detection
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
显著目标检测是一种流行的计算机视觉任务,其应用范围从异常检测到异常处理。上下文建模是显著性检测领域中的一个重要标准。全局上下文有助于通过对比场景全局视图中的其他对象来确定给定图像中的显著对象。然而,局部上下文特征在给定区域中以更高的精度检测显著对象的边界。为了结合两全其美,我们提出的SaLite模型同时使用全局和局部上下文特征。它是一种基于编码器-解码器的架构,其中编码器使用轻量级SqueezeNet,解码器使用卷积层建模。现代基于深度的显著性检测模型使用大量参数,难以在嵌入式系统上部署。本文尝试使用SaLite来解决上述问题,SaLite是一种用于显著目标检测的轻量级过程,而不会影响性能。我们的方法是广泛的三个公开可用的数据集,即DUTS,MSRA 10 K,和SOC进行评估。实验结果表明,我们提出的SaLite有显着的和一致的改进,比国家的最先进的方法。
2019-12-08 cs.CV
Salient Object Detection by Lossless Feature Reflection
Dalian University of Technology(大连理工大学);University of Adelaide(阿德莱德大学);Shanghai Jiao Tong University(上海交通大学)
显著性目标检测的目的是识别和定位图像中最显著的像素或区域,由于其广泛的实际应用,引起了越来越多的关注。然而,这种视觉任务是相当具有挑战性的,特别是在复杂的图像场景下。受自然图像的内在反射的启发,本文提出了一种新的用于大规模显著目标检测的特征学习框架。具体来说,我们设计了一个对称的全卷积网络(SFCN),在无损特征反射的指导下学习互补显著性特征。显着对象的位置信息,连同上下文和语义信息,被联合利用来监督所提出的网络,以进行更准确的显着性预测。此外,为了克服边界模糊的问题,我们提出了一个新的结构损失函数学习清晰的对象边界和空间一致的显着性。粗预测结果有效地细化这些结构信息的性能改善。在七个显著性检测数据集上的大量实验表明,我们的方法始终具有优异的性能,并且优于最近的最先进的方法。
2018-04-17 cs.CV
Scribble-based Boundary-aware Network for Weakly Supervised Salient Object Detection in Remote Sensing Images
University of Electronic Science and Technology of China(电子科技大学);Inception Institute of Artificial Intelligence (IIAI)(人工智能初始研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
现有的基于CNN的显著目标检测(SOD)严重依赖于大规模像素级标注,这是劳动密集型的,耗时的,并且昂贵。相比之下,稀疏注释变得对突出的目标检测社区有吸引力。然而,很少有人致力于学习显着的目标检测稀疏注释,特别是在遥感领域。此外,稀疏注释通常包含很少的信息,这使得训练性能良好的模型具有挑战性,导致其性能大大落后于全监督模型。虽然一些SOD方法采用一些先验线索来提高检测性能,但它们通常缺乏对对象边界的有针对性的区分,从而提供边界定位较差的显著图。为此,在本文中,我们提出了一种新的弱监督显着目标检测框架来预测显着性的遥感图像稀疏潦草的注释。为了实现它,我们首先构建基于涂鸦的遥感显著性数据集,通过重新标记现有的大规模SOD数据集与涂鸦,即S-EOR数据集。在此基础上,我们提出了一种新的基于涂鸦的边界感知网络(SBA-Net)的遥感显著目标检测。具体来说,我们设计了一个边界感知模块(BAM)来探索对象边界语义,该语义由边界标签生成(BLG)模块生成的高置信度对象边界(伪)标签显式监督,迫使模型学习突出对象结构的特征,从而提高对象的边界定位。然后,边界语义与高层特征相结合,指导涂鸦标签监督下的显著目标检测。
2022-02-07 cs.CV
CLASS: Cross-Level Attention and Supervision for Salient Objects Detection
Nanjing University(南京大学);Youtu Lab, Tencent(腾讯优图实验室)
显著目标检测(SOD)是计算机视觉的一项基本任务。近年来,随着深度神经网络的复兴,超氧化物歧化酶(SOD)取得了很大的进展。然而,仍然存在两个棘手的问题,不能很好地解决现有的方法,不可区分的区域和复杂的结构。为了解决这两个问题,在本文中,我们提出了一种用于精确SOD的新型深度网络,名为CLASS。首先,为了充分利用低层和高层特征的不同优势,我们提出了一种新的非局部跨层注意力(CLA),它可以捕获长范围的特征依赖关系,以增强完整的显着对象的区别。其次,设计了一种新的跨层监督(CLS),通过像素级、区域级和对象级学习复杂结构的互补上下文。然后可以很好地恢复显著对象的精细结构和边界。在实验中,我们提出的CLA和CLS,我们的类网。在五个数据集上的表现始终优于13种最先进的方法。
2020-09-24 cs.CV
A lightweight multi-scale context network for salient object detection in optical remote sensing images
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Leicester(莱斯特大学)
由于光学遥感图像的多尺度变化和前景背景的复杂性,光学遥感图像中的显著目标检测成为一个巨大的挑战。然而,与自然场景图像(NSIs)不同,光学RSI SOD任务的讨论仍然很少。在本文中,我们提出了一个多尺度的上下文网络,即MSCNet,在光RSIs的SOD。具体而言,采用多尺度上下文提取模块,通过有效地学习多尺度上下文信息来解决显著对象的尺度变化。同时,为了在复杂背景下准确检测出完整的显著目标,设计了一种基于注意力的金字塔特征聚合机制,对多尺度上下文提取模块中的显著区域进行逐步聚合和细化。在两个基准上的大量实验表明,MSCNet仅用3.26M参数就达到了有竞争力的性能。该代码将在https://github.com/NuaaYH/MSCNet上提供。
2022-05-18 cs.CV
Selectivity or Invariance: Boundary-aware Salient Object Detection
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学)
典型地,显著目标检测(SOD)模型在处理对象内部和边界时面临相反的要求。内部特征对强烈的外观变化应具有不变性,以突出整体的显著对象,而边界特征对轻微的外观变化应具有选择性,以区分显著对象和背景。为了解决这种选择性不变性的困境,我们提出了一种新的边界感知网络与连续膨胀的基于图像的SOD。在该网络中,通过引入边界定位流来增强边界处的特征选择性,同时通过复杂的内部感知流来保证内部的特征不变性。此外,过渡补偿流被用来修正内部和边界之间的过渡区域的可能故障。特别地,提出了一种集成的连续膨胀模块,以增强内部和过渡区域的特征不变性。在六个数据集上的实验表明,该方法优于16种最先进的方法。
2019-09-11 cs.CV
Salient Object Detection via Integrity Learning
Nankai University(南开大学);IIAI(IIAI(阿联酋创新人工智能研究院));Northwestern Polytechnical University(西北工业大学);The University of Hong Kong(香港大学);Terminus Group(特斯联集团)
虽然当前显著性目标检测(SOD)工作取得了显著的进展,但在预测显著性区域的完整性方面仍然存在局限性。我们在微观和宏观层面上定义了诚信的概念。具体来说,在微观层面,模型应该突出属于某个突出对象的所有部分。同时,在宏观层面上,该模型需要发现给定图像中的所有显著对象。为了促进SOD的完整性学习,我们设计了一个新的完整性认知网络(ICON),它探讨了学习强完整性功能的三个重要组成部分。1)与现有模型不同,现有模型更多地关注特征的可辨别性,我们引入了一个多样化的特征聚合(DFA)组件来聚合具有各种感受野的特征(即,核形状和上下文)并增加特征多样性。这种多样性是挖掘整体显著对象的基础。2)基于DFA特征,我们引入了完整性通道增强(ICE)组件,其目标是增强突出整体突出对象的特征通道,同时抑制其他分散注意力的特征通道。3)在提取增强特征后,采用部分-整体验证(PWV)方法来确定部分和整体对象特征是否具有强一致性。这种部分-整体协议可以进一步提高每个显着对象的微观层次的完整性。为了证明我们的ICON的有效性,在七个具有挑战性的基准上进行了全面的实验。我们的ICON在广泛的指标方面优于基线方法。值得注意的是,在六个数据集上,我们的ICON在平均假阴性率(FNR)方面比以前的最佳模型实现了约10%的相对改善。代码和结果可在www.example.com上获得。
2022-06-13 cs.CV
Geometry-Aware 3D Salient Object Detection Network
Northwestern Polytechnical University(西北工业大学);Nanjing University of Science and Technology(南京理工大学)
针对点云显著目标检测中边界模糊问题,提出几何感知网络,通过超点划分与几何增强模块,在PCSOD数据集上取得最先进性能。
2025-02-23 cs.CV
External Prompt Features Enhanced Parameter-efficient Fine-tuning for Salient Object Detection
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Central Media Technology Institute, Huawei(华为中央媒体技术研究院)
针对显著性目标检测中Transformer模型参数量大的问题,提出参数高效微调方法ExPert,通过在冻结编码器层间穿插适配器与外部提示特征注入器,在减少训练参数的同时显著提升检测性能,并在五个数据集上超越SOTA。
2024-08-24 cs.CV
Cross-layer Feature Pyramid Network for Salient Object Detection
Beijing Jiaotong University(北京交通大学);National University of Singapore(新加坡国立大学)
基于特征金字塔网络(FPN)的模型以渐进的方式融合了语义和显著细节,在显著目标检测中已被证明是非常有效的。然而,据观察,这些模型往往产生的显着地图不完整的对象结构或不清晰的对象边界,由于\emph{indirect}信息传播之间的遥远的层,使这种融合结构不太有效。在这项工作中,我们提出了一种新的跨层特征金字塔网络(CFPN),其中直接跨层通信,使显着目标检测,以提高渐进融合。具体来说,所提出的网络首先将来自不同层的多尺度特征聚合到可以访问高级和低级信息的特征图中。然后,它将聚合的特征分发到所有涉及的层,以获得对更丰富的上下文的访问。通过这种方式,每层的分布式特征同时拥有所有其他层的语义和显著细节,并且减少了重要信息的丢失。在六个广泛使用的显著性目标检测基准和三个流行的骨干上的大量实验结果清楚地表明,CFPN可以准确地定位相当完整的显著区域,并有效地分割对象边界。
2020-02-25 cs.CV eess.IV
Deep Reasoning with Multi-Scale Context for Salient Object Detection
Beijing Jiaotong University(北京交通大学);National University of Singapore(新加坡国立大学)
为了准确地检测显著对象,现有方法通常设计复杂的骨干网络架构来学习和融合强大的特征。然而,从融合特征执行显著性预测的显著性推理模块在其架构设计上受到的关注要少得多,并且通常仅采用几个完全卷积层。在本文中,我们发现显着性推理模块的有限容量确实是一个根本的性能瓶颈,提高其容量是获得更好的显着性预测的关键。相应地,我们提出了一个深度但重量轻的显着性推理模块,采用多扩张的深度卷积架构。这种深度推理模块虽然具有简单的架构,但可以直接从多尺度卷积特征快速执行关于显著对象的推理,并且以较少的计算成本给出优异的显著目标检测性能。据我们所知,我们是第一个揭示的重要性,推理模块的显着目标检测,并提出了一种新的架构设计具有吸引力的效率和准确性。广泛的实验评估表明,我们的简单的框架表现良好的国家的最先进的方法与复杂的骨干设计相比。
2019-03-25 cs.CV