Amulet: Aggregating Multi-level Convolutional Features for Salient Object Detection
Dalian University of Technology（大连理工大学）；Tiwaki Co.Ltd（Tiwaki株式会社）
全卷积神经网络（FCN）在许多密集标记问题中表现出了出色的性能。这些成功的一个关键支柱是从卷积层的特征中挖掘相关信息。然而，如何更好地聚合多级卷积特征图以用于显著目标检测还未得到充分探索。在这项工作中，我们提出了Amulet，一个通用的聚合多层次卷积特征框架，用于显着的目标检测。我们的框架首先将多层次的特征映射集成到多个分辨率中，同时将粗糙的语义和精细的细节结合起来。然后，它自适应地学习在每个分辨率下组合这些特征图，并使用组合的特征预测显著性图。最后，将预测结果有效地融合以生成最终的显著性图。此外，为了实现准确的边界推理和语义增强，低级别层中的边缘感知特征图和低分辨率特征的预测结果被递归地嵌入到学习框架中。通过以这种高效灵活的方式聚合多级卷积特征，所提出的显着性模型提供了准确的显着对象标记。综合实验表明，我们的方法表现良好，对国家的最先进的方法在几乎所有比较的评价指标。
2017-08-07 cs.CV
Panoramic Video Salient Object Detection with Ambisonic Audio Guidance
Bytedance（字节跳动）
视频显著目标检测（VSOD）作为计算机视觉的一个基本问题，在过去的十年中得到了广泛的讨论。然而，所有现有的工作都集中在解决2D场景中的VSOD问题。随着VR设备的快速发展，全景视频已经成为2D视频的一种有前途的替代方案，以提供真实世界的沉浸感。在本文中，我们的目标是解决视频显著目标检测问题的全景视频，其相应的立体混响音频。提出了一种多模态融合模块，该模块采用两个伪连体的音视频上下文融合（ACF）模块，有效地进行音视频交互。配备有球形位置编码的ACF块使得3D上下文中的融合能够从等矩形帧和立体混响音频捕获像素与声源之间的空间对应。实验结果验证了我们提出的组件的有效性，并表明我们的方法在ASOD60K数据集上达到了最先进的性能。
2022-11-26 cs.CV
Video Salient Object Detection via Contrastive Features and Attention Modules
University of California at Merced（加州大学默塞德分校）；ByteDance AI Lab（字节跳动人工智能实验室）
视频显著性目标检测的目的是找到视频中视觉上最有特色的对象。为了研究时间依赖性，现有的方法通常求助于递归神经网络或光流。然而，这些方法需要高的计算成本，并且倾向于随着时间的推移积累不准确性。在本文中，我们提出了一个网络的注意力模块学习对比特征的视频显着目标检测没有高计算时间建模技术。我们开发了一个非局部的自注意方案来捕获视频帧中的全局信息。一个共同的注意力配方是用来结合低级别和高级别的功能。我们进一步应用对比学习来改进特征表示，其中来自同一视频的前景区域对被拉在一起，前景-背景区域对在潜在空间中被推开。帧内对比度损失有助于分离前景和背景特征，帧间对比度损失提高了时间一致性。我们进行了广泛的实验，对视频显著目标检测和无监督视频对象分割的几个基准数据集，并表明，所提出的方法需要更少的计算，并表现出良好的对国家的最先进的方法。
2021-11-03 cs.CV
Edge-guided Non-local Fully Convolutional Network for Salient Object Detection
Anhui University（安徽大学）
全卷积神经网络（FCN）凭借其高层次语义特征提取的优点，近年来被广泛应用于显著目标检测中，但现有的基于FCN的方法仍然存在连续跨越和池化操作，导致空间结构丢失和边缘模糊。为了保持显著对象的清晰边缘结构，我们提出了一种新的边缘引导的非局部FCN（ENFNet）执行边缘引导的特征学习，以准确的显著目标检测。在一个具体的，我们提取层次化的全球和本地的信息，在FCN纳入有效的特征表示的非本地功能。为了保持显著对象的良好边界，我们提出了一个指导块，将边缘先验知识嵌入到分层特征图中。引导块不仅执行特征方面的操作，而且空间方面的变换，以实现有效的边缘嵌入。我们的模型在MSRA-B数据集上训练，并在五个流行的基准数据集上进行测试。与现有方法相比，该方法在所有数据集上都取得了最好的性能。
2019-08-11 cs.CV
SHD360: A Benchmark Dataset for Salient Human Detection in 360° Videos
Institut National des Sciences Appliquées de Rennes（雷恩国立应用科学学院）；Northeast Petroleum University（东北石油大学）
动态360°沉浸式视频中的显著人物检测（SHD）对于诸如机器人、增强现实中的人与人交互和人与物体交互等各种应用具有重要意义。然而，由于缺乏具有大规模全向视频和丰富注释的数据集，360°视频SHD在计算机视觉社区中很少讨论。为此，我们提出了SHD 360，第一个360°视频SHD数据集，其中包含各种现实生活中的日常场景。由于到目前为止还没有针对360°图像/视频SHD提出的方法，我们在我们的SHD 360上系统地基准测试了11种具有代表性的最先进的显著目标检测（SOD）方法，并从大量的实验结果中探索了关键问题。我们希望我们提出的数据集和基准可以作为一个很好的起点，推动以人为本的研究向360°全景数据发展。该数据集可在https://github.com/PanoAsh/SHD360上获得。
2021-12-22 cs.CV
A Benchmark Dataset and Saliency-guided Stacked Autoencoders for Video-based Salient Object Detection
Beihang University（北京航空航天大学）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）；International Research Institute for Multidisciplinary Science（国际交叉科学研究院）
基于图像的显著性目标检测（SOD）在过去几十年中得到了广泛的研究。然而，基于视频的超氧化物歧化酶是少得多的探讨，因为缺乏大规模的视频数据集内的显着对象是明确的定义和注释。为此，本文提出了一个基于视频的SOD数据集，由200个视频（64分钟）。在构建数据集时，我们手动注释了7，650个均匀采样的关键帧上的所有对象和区域，并收集了23个自由观看所有视频的受试者的眼动跟踪数据。从用户数据中，我们发现视频中的显著对象可以被定义为在整个视频中始终弹出的对象，并且具有这样的属性的对象可以通过将手动注释的对象/区域掩模与多个主体的眼睛跟踪数据相结合来明确地注释。据我们所知，它是目前基于视频的显著目标检测的最大数据集。基于此数据集，本文提出了一种无监督的基线方法，基于视频的SOD使用显着性指导堆叠自动编码器。在该方法中，多个时空显著性线索首先在像素，超像素和对象水平提取。有了这些显着性线索，堆叠的自动编码器被无监督地构建，其通过渐进地编码从像素及其时空邻居收集的高维显着性线索来自动推断每个像素的显着性得分。实验结果表明，所提出的无监督方法在所提出的数据集上优于30种最先进的模型，包括19种基于图像的经典模型（无监督或非深度学习），6种基于图像的深度学习模型，以及5种基于视频的无监督模型。此外，基准测试结果表明，该数据集是非常具有挑战性的，并有可能促进基于视频的SOD的发展。
2017-05-09 cs.CV
Weakly Supervised Video Salient Object Detection
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；CSIRO Australia（澳大利亚联邦科学与工业研究组织）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
基于逐像素标记的训练数据集的全监督视频显著性目标检测算法，在获取耗时且代价高昂的情况下，性能得到了显著提高。为了减轻数据标注的负担，我们提出了第一个弱监督的视频显著目标检测模型的基础上重新标记的“固定引导涂鸦注释”。具体来说，提出了一个“外观-运动融合模块”和基于双向ConvLSTM的框架，以实现有效的多模态学习和基于我们新的弱注释的长期时间上下文建模。此外，我们设计了一种新颖的前景-背景相似性损失来进一步探索跨帧的标签相似性。还引入了弱注释提升策略，以通过新的伪标签生成技术来提高我们的模型性能。在六个基准视频显著性检测数据集上的实验结果表明了该方法的有效性。
2021-04-06 cs.CV
A Class-wise Non-salient Region Generalized Framework for Video Semantic Segmentation
Shenzhen University（深圳大学）；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）
视频语义分割（VSS）由于真实环境的连续性，有利于处理动态场景。一方面，一些方法缓解了连续帧之间的预测不一致问题。另一方面，其他方法采用先前帧作为先验信息来帮助分割当前帧。虽然以前的方法在独立同分布（i.i.d）数据上取得了优异的性能，但它们不能很好地推广到其他未知的领域。因此，我们探索一个新的任务，视频概括语义分割（VGSS）的任务，同时考虑连续帧和领域泛化。在本文中，我们提出了一个类明智的非显着区域广义（CNSG）框架的VGSS任务。具体地说，我们首先定义了类非显着特征，它描述了类非显着区域的特征，携带更多的概括信息。然后，我们提出了一个类明智的非显着特征推理策略，选择和增强最广义的通道自适应。最后，我们提出了一个帧间非显着的质心对齐损失，以减轻预测不一致的问题，在VGSS任务。我们还扩展了我们的基于视频的框架，以图像为基础的广义语义分割（IGSS）的任务。实验表明，我们的CNSG框架在VGSS和IGSS任务中产生了显着的改善。
2022-12-29 cs.CV
Semi-Supervised Video Salient Object Detection Using Pseudo-Labels
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）；Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）；Megvii Technology（旷视科技）
基于深度学习的视频显著目标检测最近取得了巨大的成功，其性能显着优于任何其他无监督方法。然而，现有的数据驱动方法严重依赖于大量的逐像素注释的视频帧来提供这样有希望的结果。在本文中，我们解决了半监督视频显著目标检测任务使用伪标签。具体来说，我们提出了一个有效的视频显着性检测器，由一个空间细化网络和时空模块。基于相同的细化网络和运动信息的光流，我们进一步提出了一种新的方法，用于产生像素级的伪标签从稀疏注释帧。通过利用生成的伪标签以及部分手动注释，我们的视频显着性检测器学习空间和时间线索的对比度推断和一致性增强，从而产生准确的显着性图。实验结果表明，我们提出的半监督方法在VOS，DAVIS和FBMS三个公共基准测试中的性能甚至大大优于所有最先进的全监督方法。
2019-11-29 cs.CV
Video Salient Object Detection Using Spatiotemporal Deep Features
SOKENDAI (Graduate University for Advanced Studies)（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种在视频中检测显著对象的方法，该方法充分考虑了时间信息和空间信息。根据最近关于深度特征优于传统手工特征的报道，我们提出了一组新的时空深度（STD）特征，该特征利用帧上的局部和全局上下文。我们还提出了新的时空条件随机场（STCRF）来计算显着性STD功能。STCRF是CRF到时域的扩展，描述了帧内和帧间相邻区域之间的关系。STCRF导致帧上时间一致的显著性图，有助于显著对象边界的准确检测和检测过程中的噪声降低。我们提出的方法首先将输入视频分割成多个尺度，然后使用STCRF的STD特征在每个尺度水平上计算显着性图。通过融合不同尺度下的显著性图来计算最终的显著性图。我们的实验，使用公开的基准数据集，证实所提出的方法显着优于国家的最先进的方法。我们还将我们的显着性计算应用于视频对象分割任务，表明我们的方法优于现有的视频对象分割方法。
2018-06-18 cs.CV
TENet: Triple Excitation Network for Video Salient Object Detection
South China University of Technology（华南理工大学）；Dalian University of Technology（大连理工大学）
本文提出了一种简单有效的方法--三重激励网络（Triple Excitation Network），从空间、时间和在线激励三个方面对视频显著目标检测（VSOD）进行强化训练。这些激励机制是按照课程学习的精神设计的，旨在通过使用地面实况选择性地激励特征激活来减少训练开始时的学习模糊性。然后，我们逐渐减少地面真值激励的课程率的权重，并将其替换为课程互补图，以实现更好更快的收敛。特别是，空间激励加强明确的对象边界的特征激活，而时间激励施加运动，强调时空显着区域。空间和时间的刺激可以对抗VSOD的显著性转移问题和空间和时间特征之间的冲突。此外，我们的半课程学习设计实现了VSOD的第一个在线细化策略，该策略允许在测试期间激发和提高显着性反应，而无需重新训练。所提出的三重激励可以很容易地插件不同的VSOD方法。大量实验表明了所有三种激励方法的有效性，并且所提出的方法优于最先进的图像和视频显着目标检测方法，并且具有更好的性能。目标检测方法。
2020-08-30 cs.CV
Transforming Static Images Using Generative Models for Video Salient Object Detection
Yonsei University（延世大学）
本文提出利用图像到视频扩散模型为静态图像生成真实光流，构建大规模图像-光流对以增强视频显著目标检测训练，并在多个公开基准上取得领先性能。
2024-11-21 cs.CV
ASOD60K: An Audio-Induced Salient Object Detection Dataset for Panoramic Videos
探索人类在动态全景场景中关注的内容对于许多基础应用都很有用，包括零售业中的增强现实（AR）、AR驱动的招聘和视觉语言导航。考虑到这一目标，我们提出了PV-SOD，这是一个新的任务，旨在从全景视频中分割显著对象。与现有的固定/对象水平的显着性检测任务相比，我们专注于音频诱导的显着目标检测（SOD），其中显着的对象标记与音频诱导的眼动的指导。为了支持这一任务，我们收集了第一个大规模数据集，名为ASOD 60 K，其中包含用六级层次结构注释的4K分辨率视频帧，从而以丰富性，多样性和质量区分自己。具体地，每个序列用其超类/子类两者来标记，其中每个子类的对象用人眼注视、边界框、对象级/实例级掩码和相关联的属性（例如，几何失真）。这些由粗到细的注释使得能够对PV-SOD建模进行详细分析，例如，确定现有SOD模型的主要挑战，并预测扫描路径以研究人类的长期眼睛注视行为。我们系统地基准ASOD 60 K的11个代表性的方法，并得出一些有趣的发现。我们希望这项研究可以作为一个很好的起点，推进SOD研究向全景视频。数据集和基准将在https://github.com/PanoAsh/ASOD60K上公开提供。
2021-11-12 cs.CV
Boundary-guided Feature Aggregation Network for Salient Object Detection
全卷积网络（FCN）显著提高了许多像素标记任务的性能，例如语义分割和深度估计。然而，充分利用多级卷积特征图和边界信息用于显著目标检测仍然是重要的。在本文中，我们提出了一种新的FCN框架，结合对象边界信息的指导下，递归地集成多层卷积特征。首先，使用深度卷积网络来提取多级特征图，并将其分别聚合为多个分辨率，这些分辨率可用于生成粗糙的显著性图。同时，提出了另一个边界信息抽取分支，用于生成边界特征。最后，设计了一个基于注意力的特征融合模块，将边界信息融合到显著区域中，实现精确的边界推断和语义增强。最后的显着图是预测的边界图和集成显着图的组合，更接近地面真相。在四个大规模的基准测试上的实验和分析表明，我们的框架取得了新的最先进的结果。
2018-09-28 cs.CV
Depth-Cooperated Trimodal Network for Video Salient Object Detection
Sichuan University（四川大学）
深度可以为显著目标检测（SOD）提供有用的地理线索，并且已经在最近的RGB-D SOD方法中被证明是有用的。然而，现有的视频显著目标检测（VSOD）方法只利用时空信息，很少利用深度信息进行检测。在本文中，我们提出了一个深度合作的三峰网络，称为DCTNet的VSOD，这是一个开创性的工作，将深度信息，以协助VSOD。为此，我们首先从RGB帧生成深度，然后提出一种方法来不平等地对待这三种模态。具体而言，多模态注意力模块（MAM）被设计为主要模态（RGB）和两个辅助模态（深度，光流）之间的多模态远程依赖关系建模。我们还引入了一个细化融合模块（RFM），以抑制噪声在每一个模态，并选择有用的信息动态进一步的特征细化。最后，在细化特征后采用渐进融合策略，实现最终的跨模态融合。在5个基准数据集上的实验证明了该深度协作模型相对于现有的12种方法的优越性，同时也验证了深度的必要性。
2022-07-11 cs.CV
Agile Amulet: Real-Time Salient Object Detection with Contextual Attention
Dalian University of Technology（大连理工大学）；University of Adelaide（阿德莱德大学）
本文提出了一个敏捷聚合多层次特征框架（敏捷护身符）的显着目标检测。Agile Amulet建立在以前的工作基础上，使用多级卷积特征预测显着性图。与以前的作品相比，敏捷Amulet采用了一些关键创新，以提高训练和测试速度，同时提高预测准确性。更具体地说，我们首先介绍了一个上下文注意模块，可以快速突出最显着的对象或区域与上下文金字塔。因此，它有效地指导了低层卷积特征的学习，并告诉骨干网络在哪里寻找。上下文注意力模块是一个完全卷积的机制，它同时学习互补特征并预测每个像素的显著性得分。此外，我们提出了一种新的方法来聚合多级深度卷积特征。因此，我们能够单独使用预训练卷积网络的集成侧输出功能，这大大减少了模型参数，使模型大小为67 MB，约为Amulet的一半。与其他基于深度学习的显着性方法相比，Agile Amulet的重量更轻，运行速度更快（实时的【形】30 fps），并且在定量和定性评估方面在七个公共基准测试中实现了更高的性能。
2018-02-20 cs.CV
Confidence-guided Adaptive Gate and Dual Differential Enhancement for Video Salient Object Detection
Sun Yat-sen University（中山大学）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
视频显著性目标检测（VSOD）的目的是利用隐藏在视频序列中的空间和时间线索来定位和分割最吸引人的目标。然而，在现实世界的场景中，空间和时间线索通常是不可靠的，例如低对比度前景，快速运动和多个移动对象。为了解决这些问题，我们提出了一个新的框架，自适应地捕捉可用的信息，从空间和时间的线索，其中包含信心引导自适应门（CAG）模块和双差分增强（DDE）模块。对于RGB特征和光流特征，CAG估计预测和地面实况之间由IoU监督的置信度分数，以利用门机制重新校准信息。动态数据交换技术利用差分特征表示来丰富空间和时间信息，并生成融合特征。在四个广泛使用的数据集上的实验结果表明，该方法对十三个国家的最先进的方法的有效性。
2021-05-14 cs.CV
From Sight to Insight: Unleashing Eye-Tracking in Weakly Supervised Video Salient Object Detection
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；ByteDance China（字节跳动中国）；ByteDance USA（字节跳动美国）；Lingnan University（岭南大学）
本文研究弱监督视频显著性目标检测问题，通过引入眼动注视点信息，提出PSE模块提供位置与语义指导，设计SLQ竞争器进行特征选择，并构建IIMC对比学习范式增强时空建模，在五个基准上取得优异性能。
2025-06-30 cs.CV
Video Salient Object Detection via Adaptive Local-Global Refinement
The Chinese University of Hong Kong（香港中文大学）；Shenzhen University（深圳大学）
视频显著目标检测（VSOD）是许多视觉应用中的重要任务。可靠的VSOD需要同时利用来自空间域和时间域的信息。现有的算法大多采用简单的融合策略，如加法、拼接等，对不同领域的信息进行融合。尽管它们的简单性，这样的融合策略可能会引入特征冗余，也未能充分利用从空间域和时间域提取的多层次特征之间的关系。在本文中，我们提出了一个自适应的局部-全局细化框架VSOD。与以往的方法不同，本文提出了一种局部细化和全局细化的结构，对不同范围的简单融合特征进行细化，充分挖掘了多层次特征的局部依赖性和全局依赖性。此外，为了突出有效信息，抑制无用信息，设计了一种基于图卷积神经网络（GCN）的自适应加权机制。我们表明，我们的加权方法可以进一步利用特征相关性，从而驱动网络学习更具鉴别力的特征表示。在公开视频数据集上的大量实验结果证明了该方法的优越性。
2021-05-12 cs.CV
RDVSv2: A Large-scale Benchmark for RGB-D Video Salient Object Detection
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（四川大学合成视觉基础科学国家重点实验室）；College of Computer Science, Sichuan University（四川大学计算机学院）
介绍用于RGB-D视频显著目标检测的大规模基准测试RDVSv2，其规模大、场景多样。基于SAM2建立强大基线，采用参数高效微调策略联合编码多模态线索，该基线在RDVSv2及现有基准测试中达最优，为相关研究提供资源。
2026-07-29 cs.CV
Guidance and Teaching Network for Video Salient Object Detection
Wuhan University（武汉大学）；Jiangxi University of Finance and Economics（江西财经大学）
现有的视频显著目标检测（VSOD）方法由于难以挖掘时空线索，在理解复杂和噪声场景时受到限制，往往无法推断出显著目标。为了减轻这些缺点，我们提出了一个简单而有效的架构，称为指导和教学网络（GTNet），独立地隐藏有效的空间和时间线索与隐式指导和明确的教学功能和决策水平，分别。具体来说，我们（a）引入一个时间调制器来隐式地将来自运动的特征桥接到外观分支中，这能够协同地融合跨模态特征，以及（b）利用运动引导的掩码来在特征聚合期间传播显式提示。这种新的学习策略通过解耦复杂的时空线索和映射信息线索在不同的方式取得了令人满意的结果。在三个具有挑战性的基准测试上进行的大量实验表明，该方法可以在单个TITAN Xp GPU上以约28 fps的速度运行，并与14个尖端基线相比具有竞争力。
2021-06-06 cs.CV
Weakly Supervised Salient Object Detection Using Image Labels
Sun Yat-sen University（中山大学）；SenseTime Group Limited（商汤集团有限公司）
基于深度学习的显著目标检测最近取得了巨大的成功，其性能大大优于任何其他无监督方法。然而，注释每像素显著性掩模是一个繁琐且低效的过程。在本文中，我们注意到，优越的显着目标检测，可以通过迭代挖掘和纠正标记模糊显着图从传统的无监督方法。我们建议使用来自分类网络的粗糙显著对象激活图和从无监督方法生成的显著性图作为像素级注释的组合，并开发一种简单但非常有效的算法来训练完全卷积网络，用于由这些噪声注释监督的显著目标检测。我们的算法基于交替利用图形模型和训练用于模型更新的全卷积网络。图形模型通过空间一致性和结构保持来纠正内部标记模糊性，而全卷积网络有助于纠正交叉图像语义模糊性，同时更新下一次迭代的粗略激活图。实验结果表明，我们提出的方法大大优于所有最先进的无监督显着性检测方法，并且可以与当前最好的强监督方法相媲美，这些方法在所有公共基准上使用数千个像素级显着性图注释进行训练。
2018-03-17 cs.CV
DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection
Tianjin University（天津大学）；Key Laboratory of Artificial Intelligence, Ministry of Education（教育部人工智能重点实验室）
由于视频中的运动目标往往会引起人眼的注意，因此通常会利用时间运动信息和空间运动信息来检测视频中的显著目标。虽然有效的工具，如光流已被提出来提取时间运动信息，它经常遇到困难时，用于显著性检测由于摄像机的运动或显著对象的部分运动。在本文中，我们调查的互补作用的空间和时间的信息，并提出了一种新的动态时空网络（DS-Net）更有效地融合时空信息。我们构造了一个对称的双旁路网络来明确地提取空间和时间特征。设计了一个动态权值生成器（DWG），用于自动学习相应显著性分支的可靠性。设计了一种自顶向下的交叉注意聚合过程，以实现时空特征的动态互补聚合。最后，在粗显著图的指导下，通过空间注意力对特征进行修改，然后经过解码器部分得到最终的显著图。在VOS、DAVIS、FBMS、SegTrack-v2和ViSal五个基准测试上的实验结果表明，该方法比现有算法具有更好的性能。源代码可在https://github.com/TJUMMG/DS-Net上获得。
2022-03-22 cs.CV
DeepSaliency: Multi-Task Deep Neural Network Model for Salient Object Detection
Zhejiang University（浙江大学）；University of California, Merced（加州大学默塞德分校）；Temple University（天普大学）；Microsoft Research Asia（微软亚洲研究院）
显著性目标检测的一个关键问题是如何以数据驱动的方式有效地对显著性目标的语义属性进行建模。在本文中，我们提出了一种基于全卷积神经网络（FCNN）的多任务深度显着性模型，该模型具有全局输入（整个原始图像）和全局输出（整个显着性图）。原则上，所提出的显着性模型采用数据驱动的策略来编码潜在的显着性先验信息，然后建立一个多任务学习方案来探索显着性检测和语义图像分割之间的内在联系。通过从这两个相关任务中进行协作特征学习，共享的全卷积层为对象感知产生有效的特征。此外，它能够使用全卷积层跨不同级别捕获关于显著对象的语义信息，该全卷积层研究显著目标检测的特征共享特性，具有很大的特征冗余减少。最后，我们提出了一个图拉普拉斯正则化非线性回归模型的显着性细化。实验结果表明，我们的方法相比，国家的最先进的方法的有效性。
2016-06-07 cs.CV
Weakly Supervised Video Salient Object Detection via Point Supervision
Fudan University（复旦大学）；Yiwu Research Institute of Fudan University（复旦大学义乌研究院）
基于逐像素密集标注训练的视频显著目标检测模型已经取得了优异的性能，但是获得逐像素标注的数据集是费力的。一些作品试图使用潦草的注释来缓解这个问题，但点监督作为一种更节省劳动力的注释方法（甚至是用于密集预测的手动注释方法中最节省劳动力的方法）尚未被探索。在本文中，我们提出了一个强基线模型的基础上点监督。为了利用时间信息推断显著图，我们分别从短期和长期角度挖掘帧间互补信息。具体来说，我们提出了一个混合令牌注意模块，它混合光流和图像信息从正交方向，自适应突出的关键光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期线索，我们开发了长期跨帧注意力模块（LCFA），该模块帮助当前帧基于多帧标记推断显著对象。此外，我们标记两个点监督数据集，P-DAVIS和P-DAVSOD，通过重新标记DAVIS和DAVSOD数据集。在六个基准数据集上的实验表明，我们的方法优于以前最先进的弱监督方法，甚至可以与一些完全监督方法相媲美。提供源代码和数据集。
2022-07-15 cs.CV
RGB-D Salient Object Detection via 3D Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）；Sichuan University（四川大学）
RGB-D显著目标检测（SOD）近年来引起了越来越多的研究兴趣，并出现了许多基于编码器-解码器架构的深度学习方法。然而，大多数现有的RGB-D SOD模型在单个编码器或解码器阶段进行特征融合，这很难保证足够的跨模态融合能力。在本文中，我们首次尝试通过三维卷积神经网络来解决RGB-D SOD。该模型名为RD 3D，旨在编码器阶段的预融合和解码器阶段的深度融合，以有效地促进RGB和深度流的充分融合。具体而言，RD 3D首先通过膨胀的3D编码器跨RGB和深度模态进行预融合，然后通过设计配备有丰富的反向投影路径（RBPP）的3D解码器来提供深度特征融合，以利用3D卷积的广泛聚合能力。通过这种涉及编码器和解码器的渐进式融合策略，可以利用两种模态之间的有效和彻底的交互，并提高检测精度。在六个广泛使用的基准数据集上进行的大量实验表明，RD 3D在四个关键评估指标方面优于14种最先进的RGB-D SOD方法。我们的代码将在https://github.com/PPOLYpubki/RD3D上公开。
2021-01-25 cs.CV
Robust Salient Object Detection on Compressed Images Using Convolutional Neural Networks
Peking University（北京大学）
本文针对压缩图像显著性目标检测，构建基准数据集并评估CNN模型，揭示压缩图像导致的性能瓶颈，进而提出专注于鲁棒特征表示学习的基线框架，显著提升退化图像鲁棒性并保持干净数据准确率。
2024-09-20 cs.CV
PSNet: Parallel Symmetric Network for Video Salient Object Detection
Beijing Jiaotong University（北京交通大学）；City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）；Shenzhen University（深圳大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
对于视频显著目标检测（VSOD）任务，如何从外观模态和运动模态中挖掘信息一直是备受关注的课题。包括RGB外观流和光流运动流的双流结构已被广泛用作VSOD任务的典型流水线，但现有方法通常仅使用运动特征来单向引导外观特征或自适应但盲目地融合两种模态特征。然而，这些方法在不同的情况下表现不佳，由于不全面和不具体的学习计划。在本文中，遵循更安全的建模理念，我们深入研究的外观模态和运动模态的重要性，在更全面的方式，并提出了一个VSOD网络与上下平行对称，命名为PSNet。该算法通过设置两个具有不同主导模态的并行分支，在GDR（Gather Diffusion Reinforcement）模块和CRC（Cross-modal Refinement and Complement）模块的配合下实现完整的视频显著性解码。最后，我们使用重要性感知融合（IPF）模块，根据不同场景下的不同重要性，融合来自两个并行分支的特征。在四个基准数据集上的实验表明，我们的方法达到了理想的和有竞争力的性能。
2022-10-12 cs.CV
ViDSOD-100: A New Dataset and a Baseline Model for RGB-D Video Salient Object Detection
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；School of Informatics, Xiamen University（厦门大学信息学院）；Lingnan University（岭南大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科学、技术与研究局）；Institute of High Performance Computing (IHPC)（高性能计算研究所）；School of Data and Computer Science, Sun Yat-Sen University（中山大学数据与计算机科学学院）
本文提出ViDSOD-100数据集（100个视频，9,362帧）和ATF-Net基线模型，融合RGB外观、运动时空和深度几何信息，实现RGB-D视频显著性目标检测，性能超越现有方法。
2024-09-19 cs.CV
Exploring Rich and Efficient Spatial Temporal Interactions for Real Time Video Salient Object Detection
Qingdao University（青岛大学）；Jiangxi University of Finance and Economics（江西财经大学）；Xidian University（西安电子科技大学）；Stony Brook University（石溪大学）
当前主流方法主要从两个独立的场所来制定其视频显著性，即，空间和时间分支。作为一个补充组成部分，时间分支的主要任务是间歇性地将空间分支集中在那些具有显著运动的区域上。以这种方式，即使整体视频显著性质量严重依赖于其空间分支，但是，时间分支的性能仍然很重要。因此，提高整体视频显著性的关键因素是如何进一步有效地提高这些分支的性能。在本文中，我们提出了一种新的时空网络，以实现这种改进，在一个完整的互动方式。我们整合了一个轻量级的时间模型到空间分支粗定位那些空间显着的区域与值得信赖的显着运动。同时，空间分支本身能够以多尺度的方式递归地细化时间模型。通过这种方式，空间和时间分支都能够彼此交互，实现相互的性能改进。我们的方法易于实现，但有效，实现高质量的视频显着性检测的实时速度为50 FPS。
2020-08-07 cs.CV cs.LG
SAM-DAQ: Segment Anything Model with Depth-guided Adaptive Queries for RGB-D Video Salient Object Detection
针对现有SAM直接用于RGB-D视频显著性目标检测存在的三大挑战，本文提出SAM-DAQ方法，通过深度引导并行适配器与查询驱动时序记忆模块适配SAM2，在三个数据集上的所有指标均超越现有最优方法。
2025-11-13 cs.CV
Video Saliency Detection by 3D Convolutional Neural Networks
Jiangxi University of Finance and Economics（江西财经大学）
与静止图像显著性目标检测方法不同，视频显著性检测的一个关键挑战是如何提取和组合空间和时间特征。提出了一种基于三维卷积神经网络的视频序列显著目标检测方法。首先，我们设计了一个3D卷积网络（Conv3DNet），输入为三个视频帧，以学习视频序列的时空特征。然后，我们设计了一个3D去卷积网络（Deconv3DNet）来结合时空特征来预测视频序列的最终显著性图。实验结果表明，与现有的显著性检测方法相比，本文提出的显著性检测模型具有更好的显著性预测效果。
2018-07-12 cs.CV
Deep Reasoning with Multi-Scale Context for Salient Object Detection
Beijing Jiaotong University（北京交通大学）；National University of Singapore（新加坡国立大学）
为了准确地检测显著对象，现有方法通常设计复杂的骨干网络架构来学习和融合强大的特征。然而，从融合特征执行显著性预测的显著性推理模块在其架构设计上受到的关注要少得多，并且通常仅采用几个完全卷积层。在本文中，我们发现显着性推理模块的有限容量确实是一个根本的性能瓶颈，提高其容量是获得更好的显着性预测的关键。相应地，我们提出了一个深度但重量轻的显着性推理模块，采用多扩张的深度卷积架构。这种深度推理模块虽然具有简单的架构，但可以直接从多尺度卷积特征快速执行关于显著对象的推理，并且以较少的计算成本给出优异的显著目标检测性能。据我们所知，我们是第一个揭示的重要性，推理模块的显着目标检测，并提出了一种新的架构设计具有吸引力的效率和准确性。广泛的实验评估表明，我们的简单的框架表现良好的国家的最先进的方法与复杂的骨干设计相比。
2019-03-25 cs.CV
A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
人类倾向于通过从一组图像或几帧视频中学习来挖掘对象，因为我们生活在一个动态的世界中。在计算机视觉领域，为了发现视频中的共现目标，许多研究集中在共分割（CoS）、共显著性检测（CoSD）和视频显著性目标检测（VSOD）上。然而，以前的方法在这些类似的任务上分别设计不同的网络，它们很难相互应用，这降低了深度学习框架的可移植性的上限。此外，它们未能充分利用一组图像中的内部和内部特征之间的线索。在本文中，我们介绍了一个统一的框架来解决这些问题，术语为UFO（统一框架的协同对象分割）。具体来说，我们首先引入一个Transformer块，它将图像特征视为补丁令牌，然后通过自我注意力机制捕获它们的长程依赖关系。这可以帮助网络挖掘相关对象之间的斑块结构相似性。此外，我们提出了一个内部MLP学习模块来产生自我掩码，以增强网络，以避免部分激活。在四个CoS基准测试（PASCAL、iCoseg、Internet和MSRC）、三个CoSD基准测试（Cosal2015、CoSOD3k和CocA）和四个VSOD基准测试（DAVIS16、FBMS、ViSal和SegV2）上进行的大量实验表明，通过使用相同的网络架构，我们的方法在三个不同的任务上在准确性和速度方面都优于其他最先进的方法，实时速度可以达到140 FPS。
2022-03-11 cs.CV
A Spatial-Temporal Dual-Mode Mixed Flow Network for Panoramic Video Salient Object Detection
College of Electrical and Information Engineering at Lanzhou University of Technology（兰州理工大学电气与信息工程学院）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
提出时空双模态混合流网络（STDMMF-Net），结合空间流与光流，通过ILA、ILW和BMA模块提升全景视频显著目标检测精度与泛化性能。
2023-10-13 cs.AI cs.CV
Integrated Deep and Shallow Networks for Salient Object Detection
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术卓越中心）
基于深度卷积神经网络（CNN）的显著目标检测方法已经实现了最先进的性能，并且以较宽的裕度优于那些无监督方法。在本文中，我们提出了一个统一的框架下，集成深度和无监督的显着性显着性的显着目标检测。具体来说，我们的方法将无监督显着性（鲁棒背景检测，RBD）和归一化彩色图像的结果作为输入，并直接学习输入和相应显着性图之间的端到端映射。彩色图像被馈送到一个全卷积神经网络（FCNN）适应于语义分割，利用高层次的语义线索显着目标检测。然后，将深度FCNN和RBD的结果连接起来，输入到一个浅层网络中，将连接的特征图映射到显着图。最后，为了获得具有清晰对象边界的空间一致的显著图，我们在多尺度上融合超像素级显著图。在8个基准数据集上的大量实验结果表明，该方法优于最先进的方法，具有一定的利润。
2017-06-02 cs.CV
GAPNet: A Lightweight Framework for Image and Video Salient Object Detection via Granularity-Aware Paradigm
Institute of High Performance Computing (IHPC)（高性能计算研究所）；VCIP, College of Computer Science（VCIP、计算机科学学院）
针对现有显著目标检测模型计算成本高的问题，提出基于粒度感知范式的轻量级GAPNet，通过粒度感知连接、GPC、CSA及自注意力模块优化特征利用，在轻量图像和视频SOD任务中达到SOTA性能。
2025-08-11 cs.CV
Salient Object Detection via High-to-Low Hierarchical Context Aggregation
显著目标检测的最新进展主要旨在利用如何有效地将卷积侧输出特征集成到卷积神经网络（CNN）中。基于此，现有的最先进的显著性检测器设计复杂的网络结构，融合骨干特征提取网络的侧输出特征。然而，融合策略是否应该越来越复杂，以实现精确的显著目标检测？在本文中，我们观察到自然图像的上下文可以通过侧输出卷积特征的从高到低的自学习来很好地表达。正如我们所知，图像的上下文通常指的是全局结构，而CNN的顶层通常学习传达全局信息。另一方面，中间侧输出特征难以表达上下文信息。在这里，我们设计了一个具有中间监督的沙漏网络，以从高到低的方式学习上下文特征。所学习的分层上下文被聚合以生成用于输入图像的混合上下文表达。最后，混合上下文特征可以用于精确的显著性估计。我们在六个具有挑战性的显着性数据集上广泛评估了我们的方法，我们的简单方法在各种评估指标下实现了最先进的性能。代码将在纸质验收后发布。
2019-04-01 cs.CV
Deep Contrast Learning for Salient Object Detection
The University of Hong Kong（香港大学）
由于使用深度卷积神经网络（CNN）提取的强大特征，显著目标检测最近取得了实质性进展。然而，现有的基于CNN的方法在补丁级别而不是像素级别上操作。产生的显著性图通常是模糊的，特别是在显著对象的边界附近。此外，图像块被视为独立的样本，即使当它们是重叠的，从而引起显着的冗余计算和存储。在这篇CVPR 2016论文中，我们提出了一个端到端的深度对比网络来克服上述限制。我们的深度网络由两个互补的组件组成，像素级完全卷积流和分段空间池流。第一流直接从输入图像产生具有像素级精度的显著性图。第二流非常有效地提取分段特征，并且更好地沿着对象边界对显著性不连续性进行建模。最后，一个完全连接的CRF模型，可以选择性地纳入，以提高空间一致性和轮廓定位在融合的结果，从这两个流。实验结果表明，我们的深度模型显着提高了最先进的。
2016-03-07 cs.CV
A Novel Long-term Iterative Mining Scheme for Video Salient Object Detection
China University of Petroleum (East China)（中国石油大学（华东））；Qingdao University（青岛大学）；Jiangxi University of Finance and Economics（江西财经大学）
现有的SOTA视频显著性目标检测（VSOD）模型普遍采用短期方法，通过只考虑当前有限的连续帧来动态地确定空间和时间显著性融合之间的平衡。然而，短期方法论有一个关键的局限性，这与我们视觉系统的真正机制--典型的长期方法论相冲突。因此，目前的SOTA模型的结果中不断出现失败的案例，短期方法成为主要的技术瓶颈。为了解决这个问题，本文提出了一种新的VSOD方法，它执行VSOD在一个完整的长期的方式。我们的方法将顺序VSOD（顺序任务）转换为数据采掘问题，即，预先将输入视频序列分解为对象提议，然后以由易到难的方式尽可能多地挖掘显著对象提议。由于所有的对象建议是同时可用的，所提出的方法是一个完整的长期的方法，它可以减轻一些困难根源于传统的短期方法。此外，我们设计了一个在线更新方案，可以抓住最具代表性和值得信赖的模式配置文件的显着对象，输出帧显着性地图与丰富的细节和平滑的空间和时间。该方法在五个广泛使用的基准数据集上的性能优于几乎所有的SOTA模型。
2022-06-20 cs.CV cs.LG
Salient Object Detection in RGB-D Videos
College of Computer Science, Sichuan University（四川大学计算机学院）；National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（四川大学合成视觉基础科学国家重点实验室）
针对RGB-D视频显著目标检测研究不足的问题，本文构建了带真实深度的RDVS数据集，提出含多模态注意力等模块的三流网络DCTNet+，实验证明其性能优于现有31种相关模型。
2024-05-21 cs.CV
A Novel Video Salient Object Detection Method via Semi-supervised Motion Quality Perception
Qingdao University（青岛大学）；Jiangxi University of Finance and Economics（江西财经大学）
以往的视频显著目标检测（VSOD）方法主要集中在设计奇特的网络来实现其性能的改进。然而，随着最近深度学习技术的发展放缓，仅仅通过花哨的网络来预测另一个突破可能变得越来越困难。为此，本文提出了一种通用的学习计划，以获得进一步的3%的性能提高所有国家的最先进的（SOTA）的方法。该方法的主要特点是采用了“运动质量”这一全新的概念，从原始测试集中选取一组视频帧来构造新的训练集。在这个新的训练集中选择的帧都应该包含高质量的运动，其中的显着对象将有很大的概率被成功地检测到的“目标SOTA方法”--我们想要改进的一个。因此，我们可以通过使用这个新的训练集来开始新一轮的网络训练来实现显着的性能改善。在新一轮训练中，目标SOTA方法的VSOD结果将被用作伪训练目标。我们的新学习方案简单而有效，其半监督方法可能在未来激发VSOD社区的潜力。
2020-08-07 cs.CV cs.LG
Co-segmentation Inspired Attention Module for Video-based Computer Vision Tasks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；SRM Institute of Science and Technology（SRM科学技术研究所）
基于视频的计算机视觉任务可以受益于显著区域的估计以及这些区域之间的交互。传统上，这是通过利用预训练模型来识别图像中的对象区域以执行目标检测、对象分割和/或对象姿态估计来完成的。虽然使用预训练模型是一种可行的方法，但它在需要对对象类别进行详尽注释、数据集之间可能存在的领域差距以及预训练模型中通常存在的偏差方面存在一些限制。在这项工作中，我们建议利用一个视频帧序列捕获一组共同的对象和它们之间的相互作用的共同的理由，因此视频帧特征之间的共同分割的概念可以装备模型的能力，自动专注于特定于任务的显着区域，并提高底层任务的性能在一个端到端的方式。在这方面，我们提出了一个通用的模块，称为“共同分割启发注意力模块”（COSAM），可以插入到任何CNN模型，以促进共同分割的概念之间的视频帧特征序列的关注。我们展示了COSAM在三个基于视频的任务中的应用，即：1）基于视频的人re-ID，2）视频描述，和3）视频动作分类，并证明COSAM能够捕获视频帧中的任务特定的显著区域，从而导致显著的性能改进以及用于各种基于视频的视觉任务的可解释的注意力图，也可以应用于其他基于视频的视觉任务。
2022-08-01 cs.CV
ROSA: Robust Salient Object Detection against Adversarial Attacks
The University of Hong Kong（香港大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Sun Yat-sen University（中山大学）
近年来，由于深度卷积神经网络可以为图像采集强大的特征，显著目标检测有了显着的改进。特别地，最先进的显著目标检测方法从基于全卷积网络（FCN）的框架中享有高准确性和效率，该框架从端到端进行训练并预测逐像素标签。然而，这样的框架遭受对抗攻击，其通过向输入图像添加准不可感知的噪声而不改变由人类主体注释的基础事实来混淆神经网络。据我们所知，这篇论文是第一篇成功地对显着目标检测模型进行对抗性攻击的论文，并验证了对抗性样本对各种现有方法都是有效的。此外，本文提出了一种新的端到端的可训练框架，以增强对对抗攻击的任意基于FCN的显着目标检测模型的鲁棒性。该框架采用了一种新的思想，首先引入一些新的通用噪声来破坏对抗性扰动，然后学习预测具有引入噪声的输入图像的显着性图。具体来说，我们提出的方法包括一个分段屏蔽组件，它保留边界并破坏微妙的对抗性噪声模式，以及一个上下文感知恢复组件，它通过全局对比度建模来细化显着性图。实验结果表明，我们提出的框架显着提高了一系列数据集上的最先进的模型的性能。
2019-05-09 cs.CV
DNA: Deeply-supervised Nonlinear Aggregation for Salient Object Detection
Nankai University（南开大学）；Beijing Institute of Technology（北京理工大学）；Hefei University of Technology（合肥工业大学）
显著性目标检测的最新进展主要针对如何有效地将多尺度卷积特征集成到卷积神经网络（CNN）中。许多流行的方法施加深度监督来执行线性聚合的侧输出预测，以进行最终的显着性预测。在本文中，我们从理论和实验上证明了侧输出预测的线性聚合是次优的，并且它只有限地利用了通过深度监督获得的侧输出信息。为了解决这个问题，我们提出了深度监督非线性聚合（DNA），以更好地利用各种边输出的互补信息。与现有方法相比，它i）聚合侧输出特征而不是预测，ii）采用非线性而不是线性变换。实验表明，DNA可以成功地突破目前线性方法的瓶颈。具体来说，所提出的显着性检测器，一个修改后的U-Net架构与DNA，表现良好，对各种数据集和评估指标的最先进的方法，没有花里胡哨。
2021-01-20 cs.CV
Motion-aware Memory Network for Fast Video Salient Object Detection
Zhejiang University of Technology（浙江工业大学）；Zhejiang University（浙江大学）
提出基于时空记忆网络的VSOD方法，引入帧间目标运动预测与运动感知损失，实现高效时空特征提取与融合，在多个数据集上达到最优且推理速度近100 FPS。
2023-12-31 cs.CV
M$^4$-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection
Hangzhou Dianzi University（杭州电子科技大学）；Shandong University（山东大学）；Anqing Normal University（安庆师范学院）；Shanghai University（上海大学）
M$^4$-SAM通过引入模态感知MoE-LORA、分层特征融合和伪引导初始化，提升SAM2在RGB-D视频显著目标检测中的性能，实现零样本检测。
2026-05-12 cs.CV
Instance-Level Salient Object Segmentation
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
由于深度卷积神经网络，图像显著性检测最近取得了快速进展。然而，没有一个现有的方法能够识别检测到的显著区域中的对象实例。在本文中，我们提出了一个显着的实例分割方法，产生一个显着性掩模与不同的对象实例标签的输入图像。我们的方法由三个步骤组成，估计显着性图、检测显着对象轮廓和识别显着对象实例。对于前两步，我们提出了一个多尺度显着性细化网络，它生成高质量的显着区域掩模和显着对象轮廓。一旦与多尺度组合分组和基于MAP的子集优化框架相结合，我们的方法可以产生非常有前途的显著对象实例分割结果。为了促进显著性实例分割的进一步研究和评价，我们还构建了一个新的数据库，包含1000幅图像及其像素显著性实例注释。实验结果表明，我们提出的方法是能够实现国家的最先进的性能在所有公共基准的显着区域检测，以及我们的新数据集的显着实例分割。
2017-04-12 cs.CV
Unleashing the Power of Motion and Depth: A Selective Fusion Strategy for RGB-D Video Salient Object Detection
College of Computer Science, Sichuan University（四川大学计算机学院）
针对现有RGB-D视频显著目标检测模型未区分光流与深度贡献差异的问题，提出含像素级选择性融合策略与多维选择性注意力模块的SMFNet框架，在多个基准测试中取得最优性能。
2025-07-29 cs.CV
Towards the Success Rate of One: Real-time Unconstrained Salient Object Detection
University of Maryland College Park（马里兰大学帕克分校）；eBay Inc.（eBay公司）
在这项工作中，我们提出了一种高效和有效的方法，用于使用深度卷积神经网络进行图像中的无约束显著目标检测。我们的网络没有生成数千个候选边界框并对其进行优化，而是直接学习生成包含精确数量的显著对象的显著性图。在训练过程中，我们将地面实况矩形框转换为高斯分布，以更好地捕捉关于单个显著对象的ROI。在推理过程中，网络预测以具有适当协方差的显著对象为中心的高斯分布，从中很容易推断出边界框。值得注意的是，我们的网络在没有像素级注释的情况下执行显着图预测，在没有对象建议的情况下执行显着目标检测，并且同时执行显着对象subitizing，所有这些都在统一框架内的单次通过中。大量的实验表明，我们的方法在各种数据集上的性能大大优于现有方法，并且在推理过程中在单个GPU上使用VGG16网络实现了超过100 fps。
2017-08-02 cs.CV
Learning RGB-D Salient Object Detection using background enclosure, depth contrast, and top-down features
Australian National University（澳大利亚国立大学）；Data61-CSIRO
最近，深度卷积神经网络（CNN）在RGB显著目标检测方面表现出了强大的性能。尽管深度信息可以帮助改善检测结果，但用于RGB-D显著目标检测的CNN的探索仍然有限。在这里，我们提出了一种用于RGB-D显著目标检测的新型深度CNN架构，该架构利用了高级，中级和低级特征。此外，我们提出了新的深度功能，捕捉的想法，背景外壳和深度对比度，适合于一个学习的方法。与最先进的RGB-D显著目标检测方法相比，我们展示了改进的结果。我们还表明，低级和中级深度功能都有助于改善结果。特别是，我们的方法在RGBD 1000数据集上的F-Score为0.848，比第二名提高了10.7%。
2017-05-10 cs.CV
Rapid Salient Object Detection with Difference Convolutional Neural Networks
College of Computer Science, Nankai University（南开大学计算机科学学院）；Center for Machine Vision and Signal Analysis (CMVS), University of Oulu（奥卢大学机器视觉与信号分析中心）；Intel Labs（英特尔实验室）；College of Electronic Science and Technology, NUDT（国防科技大学电子科学学院）
本文提出基于像素差分卷积的高效显著性目标检测模型SDNet和STDNet，通过差分卷积重参数化与时空差分卷积，在Jetson Orin上以低于1M参数实现46/150 FPS实时检测，速度与精度均优于现有轻量级方法。
2025-07-01 cs.CV
EGNet:Edge Guidance Network for Salient Object Detection
Nankai University（南开大学）
全卷积神经网络（FCN）在显著目标检测任务中显示出其优势。然而，大多数现有的基于FCNs的方法仍然遭受粗糙的对象边界。为了解决这个问题，本文着重研究了显著边缘信息和显著对象信息之间的互补性。因此，我们提出了一个边缘指导网络（EGNet）的显着目标检测与三个步骤，同时在一个单一的网络模型，这两种互补的信息。在第一步中，我们提取的显着目标特征的渐进融合的方式。在第二步中，我们综合局部边缘信息和全局位置信息，以获得显著的边缘特征。最后，为了充分利用这些互补特征，我们将相同的显著边缘特征与不同分辨率的显著对象特征相结合。融合特征利用显著边缘特征中丰富的边缘信息和位置信息，可以更准确地定位显著目标，尤其是其边界。实验结果表明，在不进行任何预处理和后处理的情况下，该方法在六个广泛使用的数据集上的性能优于现有方法。源代码可在http：//mmcheng.net/egnet/上获得。
2019-08-22 cs.CV
Video Summarization Using Fully Convolutional Sequence Networks
University of Manitoba（曼尼托巴大学）
本文研究视频摘要问题。给定输入视频，目标是选择帧的子集来创建最佳地捕获输入视频的重要信息的摘要视频。随着大量的视频在线，视频摘要提供了一个有用的工具，协助视频搜索，检索，浏览等，在本文中，我们制定视频摘要作为一个序列标记问题。与使用递归模型的现有方法不同，我们提出了完全卷积序列模型来解决视频摘要问题。我们首先建立了一个新的连接之间的语义分割和视频摘要，然后适应流行的语义分割网络的视频摘要。在两个基准数据集上的大量实验和分析证明了我们的模型的有效性。
2018-08-30 cs.CV
