Scribble-Supervised RGB-T Salient Object Detection
Anhui University（安徽大学）；Hefei University（合肥学院）
显著性目标检测分割场景中的吸引人的目标。RGB和热模态提供了互补的信息，涂鸦注释减轻了大量的人力劳动。基于上述事实，我们提出了一个涂鸦监督的RGB-T显著目标检测模型。通过扩展、预测、聚集和监督四步解决方案，解决了涂鸦监督方法的标签稀疏挑战。为了扩展涂鸦注释，我们分别收集前景涂鸦在RGB和热图像中穿过的超像素。扩展的多模态标签提供粗略的对象边界。为了进一步优化扩展的标签，我们提出了一个预测模块，以减轻边界的尖锐性。为了发挥两种模态的互补作用，我们将两者结合成聚合伪标签。在涂鸦注释和伪标签的监督下，我们的模型在重新标记的RGBT-S数据集上实现了最先进的性能。此外，该模型被应用于RGB-D和视频涂鸦监督应用程序，实现了一贯的优异性能。
2023-03-17 cs.CV
CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse
City University of Hong Kong（香港城市大学）
本文的目标是提出一个系统的RGB-D显著目标检测的解决方案，该方案在统一的框架下解决了以下三个方面：特定于情态的表示学习、互补线索选择和跨情态补语融合。为了学习有区别的模态特定的功能，我们提出了一个分层的跨模态蒸馏方案，其中学习良好的源模态提供监督信号，以促进新模态的学习过程。为了更好地提取互补线索，我们制定了一个残差函数，以自适应地将互补从成对的模态。此外，一个自顶向下的融合结构被构造为充分的跨模态的相互作用和跨级别的传输。实验结果表明，该方法在zero-shot显著性检测和新模态的预训练中具有较好的效果，在选择和融合跨模态/跨层次补语方面具有一定的优势.
2019-09-20 cs.CV
Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection
Yangzhou University（扬州大学）；Northeastern University（东北大学）
在本文中，我们的目标是开发一种高效紧凑的深度网络，用于RGB-D显著目标检测，其中深度图像提供补充信息，以提高复杂场景中的性能。从多尺度残差块的粗略初始预测开始，我们提出了一个渐进引导的交替细化网络来细化它。我们首先通过从头开始学习来构建一个轻量级的深度流，而不是使用ImageNet预先训练的骨干网络，它可以更有效地提取互补特征，并且冗余更少。然后，不同于现有的基于融合的方法，RGB和深度特征被交替地馈送到建议的引导残差（GR）块中，以减少它们的相互退化。通过在每个侧输出内的堆叠GR块中分配渐进引导，可以很好地补救错误检测和丢失部分。在七个基准数据集上进行的大量实验表明，我们的模型在很大程度上优于现有的最先进的方法，并且在效率（71 FPS）和模型大小（64.9 MB）方面也表现出优越性。
2020-08-17 cs.CV
Middle-level Fusion for Lightweight RGB-D Salient Object Detection
Xidian University（西安电子科技大学）；Aberystwyth University（阿伯里斯特威斯大学）
现有的轻量级RGB-D显著性目标检测（SOD）模型大多基于双流结构或单流结构。前者首先使用两个子网络分别从RGB和深度图像中提取单峰特征，然后将其融合用于SOD。后者直接从输入的RGB-D图像中提取多模态特征，然后重点利用跨级别的补充信息。然而，双流结构的模型不可避免地需要更多的参数，单流结构的模型不能很好地利用跨模态的互补信息，因为它们忽略了模态差异。为了解决这些问题，本文提出采用中间层融合结构来设计轻量级RGB-D SOD模型，首先采用两个子网络分别提取低层和中间层单峰特征，然后将这些提取的中间层单峰特征在后续子网络中进行融合，以提取相应的高层多峰特征。与现有的模型不同，该结构可以有效地利用跨模态的互补信息，同时大大减少网络的参数。为此，设计了一种新的轻量级SOD模型，该模型包含一个信息感知的多模态特征融合（IMFF）模块和一个轻量级的特征级和决策级特征融合（LFDF）模块，前者用于有效地捕获跨模态互补信息，后者用于以较少的参数在不同阶段聚合特征级和决策级显著性信息。我们提出的模型只有3.9M参数，运行速度为33 FPS。在多个基准数据集上的实验结果验证了该方法的有效性和优越性。
2021-06-05 cs.CV
Exploring Rich and Efficient Spatial Temporal Interactions for Real Time Video Salient Object Detection
Qingdao University（青岛大学）；Jiangxi University of Finance and Economics（江西财经大学）；Xidian University（西安电子科技大学）；Stony Brook University（石溪大学）
当前主流方法主要从两个独立的场所来制定其视频显著性，即，空间和时间分支。作为一个补充组成部分，时间分支的主要任务是间歇性地将空间分支集中在那些具有显著运动的区域上。以这种方式，即使整体视频显著性质量严重依赖于其空间分支，但是，时间分支的性能仍然很重要。因此，提高整体视频显著性的关键因素是如何进一步有效地提高这些分支的性能。在本文中，我们提出了一种新的时空网络，以实现这种改进，在一个完整的互动方式。我们整合了一个轻量级的时间模型到空间分支粗定位那些空间显着的区域与值得信赖的显着运动。同时，空间分支本身能够以多尺度的方式递归地细化时间模型。通过这种方式，空间和时间分支都能够彼此交互，实现相互的性能改进。我们的方法易于实现，但有效，实现高质量的视频显着性检测的实时速度为50 FPS。
2020-08-07 cs.CV cs.LG
Cascade Graph Neural Networks for RGB-D Salient Object Detection
Center for Robotics, School of Automation Engineering, UESTC（电子科技大学自动化工程学院机器人研究中心）；Group 42 (G42)（42集团（G42））；University of Pennsylvania（宾夕法尼亚大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
本文研究了基于颜色和深度信息的RGB-D图像显著目标检测（SOD）问题，如何充分利用这两种互补的数据源是实现RGB-D图像显著目标检测的主要技术挑战。目前的工作要么简单地从相应的深度图中提取先验知识来处理RGB图像，要么盲目地融合颜色和几何信息来生成粗略的深度感知表示，这阻碍了RGB-D显著性检测器的性能。一个统一的框架，能够通过一组级联图综合提炼和推理这两个数据源之间的相互利益，学习用于RGB-D显著目标检测的强大表示。Cas-Gnn分别处理这两个数据源，并采用一个新颖的级联图推理（CGR）模块来学习强大的密集特征嵌入，从中可以很容易地推断出显着性图。与以前的方法相比，互补数据源之间的高层关系的显式建模和推理使我们能够更好地克服诸如遮挡和歧义等挑战。大量的实验表明，Cas-Gnn在几个广泛使用的基准测试中取得了比所有现有的RGB-DSOD方法更好的性能。
2020-08-07 cs.CV
A Deeper Look at Salient Object Detection: Bi-stream Network with a Small Training Dataset
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Qingdao University（青岛大学）；Stony Brook University（石溪大学）
与传统的手工制作方法相比，基于深度学习的方法通过在大规模训练集上训练精心制作的花式网络，实现了巨大的性能提升。然而，我们真的需要大规模的训练集来进行显著目标检测（SOD）吗？在本文中，我们提供了一个更深入的了解SOD性能和训练集之间的相互关系。为了减轻传统的大规模训练数据的需求，我们提供了一种可行的方法来构建一个新的小规模的训练集，它只包含4K图像。此外，我们提出了一种新的双流网络，以充分利用我们提出的小训练集，这是由两个不同结构的特征骨干，通过建议的门控制单元实现互补的语义显著性融合。据我们所知，这是第一次尝试使用小规模训练集来超越在大规模训练集上训练的最先进的模型;尽管如此，我们的方法仍然可以在五个基准数据集上实现领先的最先进的性能。
2020-08-07 cs.CV cs.LG
RGB-D Salient Object Detection with Cross-Modality Modulation and Selection
Nanyang Technological University（南洋理工大学）；Beijing Jiaotong University（北京交通大学）；Dalian University of Technology（大连理工大学）；Chinese Academy of Sciences（中国科学院）
我们提出了一种有效的方法，逐步整合和完善的跨模态互补性的RGB-D显着目标检测（SOD）。该网络主要解决了两个具有挑战性的问题：1）如何有效地整合RGB图像及其相应深度图的互补信息，以及2）如何自适应地选择更多显著性相关的特征。首先，我们提出了一个跨模态特征调制（cross-modality feature modulation，cmFM）模块，通过将深度特征作为先验来增强特征表示，该模块对RGB-D数据的互补关系进行建模。其次，我们提出了一个自适应特征选择（AFS）模块来选择显著性相关的功能和抑制劣质的。AFS模块利用多模态空间特征融合，考虑通道特征的自模态和跨模态相互依赖性。第三，我们采用了一个显着性引导的位置边缘注意力（sg-PEA）模块，以鼓励我们的网络更多地关注显着性相关的区域。上述模块作为一个整体，称为cmMS块，有助于以由粗到细的方式细化显着性特征。结合自下而上的推理，改进的显着性特征可以实现准确和边缘保留的SOD。大量的实验表明，我们的网络在六个流行的RGB-D SOD基准测试中优于最先进的显着性检测器。
2020-07-14 cs.CV
Amulet: Aggregating Multi-level Convolutional Features for Salient Object Detection
Dalian University of Technology（大连理工大学）；Tiwaki Co.Ltd（Tiwaki株式会社）
全卷积神经网络（FCN）在许多密集标记问题中表现出了出色的性能。这些成功的一个关键支柱是从卷积层的特征中挖掘相关信息。然而，如何更好地聚合多级卷积特征图以用于显著目标检测还未得到充分探索。在这项工作中，我们提出了Amulet，一个通用的聚合多层次卷积特征框架，用于显着的目标检测。我们的框架首先将多层次的特征映射集成到多个分辨率中，同时将粗糙的语义和精细的细节结合起来。然后，它自适应地学习在每个分辨率下组合这些特征图，并使用组合的特征预测显著性图。最后，将预测结果有效地融合以生成最终的显著性图。此外，为了实现准确的边界推理和语义增强，低级别层中的边缘感知特征图和低分辨率特征的预测结果被递归地嵌入到学习框架中。通过以这种高效灵活的方式聚合多级卷积特征，所提出的显着性模型提供了准确的显着对象标记。综合实验表明，我们的方法表现良好，对国家的最先进的方法在几乎所有比较的评价指标。
2017-08-07 cs.CV
CLASS: Cross-Level Attention and Supervision for Salient Objects Detection
Nanjing University（南京大学）；Youtu Lab, Tencent（腾讯优图实验室）
显著目标检测（SOD）是计算机视觉的一项基本任务。近年来，随着深度神经网络的复兴，超氧化物歧化酶（SOD）取得了很大的进展。然而，仍然存在两个棘手的问题，不能很好地解决现有的方法，不可区分的区域和复杂的结构。为了解决这两个问题，在本文中，我们提出了一种用于精确SOD的新型深度网络，名为CLASS。首先，为了充分利用低层和高层特征的不同优势，我们提出了一种新的非局部跨层注意力（CLA），它可以捕获长范围的特征依赖关系，以增强完整的显着对象的区别。其次，设计了一种新的跨层监督（CLS），通过像素级、区域级和对象级学习复杂结构的互补上下文。然后可以很好地恢复显著对象的精细结构和边界。在实验中，我们提出的CLA和CLS，我们的类网。在五个数据集上的表现始终优于13种最先进的方法。
2020-09-24 cs.CV
Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection
City University of Hong Kong（香港城市大学）
显著性目标检测是在给定场景中预测人类关注区域的任务。融合深度信息在这项任务中已被证明是有效的。该问题的主要挑战是如何聚合RGB模态和深度模态的互补信息。然而，传统的深度模型严重依赖于CNN特征提取器，并且长期上下文依赖性通常被忽略。在这项工作中，我们提出了双Swin-Transformer为基础的相互作用的网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，对视觉输入中的长程依赖关系进行建模。在将两个分支的特征融合成一个之前，应用基于注意力的模块来增强来自每个模态的特征。我们设计了一个基于自我注意的跨通道交互模块和一个门控通道注意模块来利用两个通道之间的互补信息。对于显着性解码，我们创建不同的阶段增强密集连接，并保持解码记忆，同时考虑多层次的编码功能。考虑到深度图不准确的问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以便从RGB模态到最终显著性预测提供更多指导。此外，我们添加边缘监督来规范特征学习过程。在五个标准RGB-D SOD基准数据集上进行的四种评价指标的综合实验证明了所提出的DTMINet方法的优越性。
2022-06-07 cs.CV
Salient Object Detection by Lossless Feature Reflection
Dalian University of Technology（大连理工大学）；University of Adelaide（阿德莱德大学）；Shanghai Jiao Tong University（上海交通大学）
显著性目标检测的目的是识别和定位图像中最显著的像素或区域，由于其广泛的实际应用，引起了越来越多的关注。然而，这种视觉任务是相当具有挑战性的，特别是在复杂的图像场景下。受自然图像的内在反射的启发，本文提出了一种新的用于大规模显著目标检测的特征学习框架。具体来说，我们设计了一个对称的全卷积网络（SFCN），在无损特征反射的指导下学习互补显著性特征。显着对象的位置信息，连同上下文和语义信息，被联合利用来监督所提出的网络，以进行更准确的显着性预测。此外，为了克服边界模糊的问题，我们提出了一个新的结构损失函数学习清晰的对象边界和空间一致的显着性。粗预测结果有效地细化这些结构信息的性能改善。在七个显著性检测数据集上的大量实验表明，我们的方法始终具有优异的性能，并且优于最近的最先进的方法。
2018-04-17 cs.CV
TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network
Anhui University（安徽大学）；Hefei University（合肥学院）
显著目标检测是一种像素级的密集预测任务，能够突出场景中的显著目标。最近U-Net框架被广泛使用，连续卷积和池化操作生成相互补充的多层特征。鉴于高层特征对性能的贡献更大，我们提出了一个三重Transformer嵌入模块，通过学习跨层的长程依赖关系来增强它们。它是第一个使用三个Transformer编码器共享权重，以增强多层次的功能。通过进一步设计尺度调整模块处理输入，设计三流解码器处理输出，并将深度特征与颜色特征进行多模态融合，提出的三重Transformer嵌入网络（TriTransNet）在RGB-D显著目标检测中达到了最新的性能，将性能提升到了一个新的水平。实验结果证明了所提出的模块的有效性和TriTransNet的竞争力。
2021-08-09 cs.CV
RGBT Salient Object Detection: A Large-scale Dataset and Benchmark
Anhui University（安徽大学）
复杂场景和环境中的显著目标检测是一个具有挑战性的研究课题。大部分工作集中在基于RGB的显著目标检测，这限制了其在黑暗环境和复杂背景等不利条件下的实际应用性能。热红外光谱成像提供了互补的信息，利用RGB图像和热红外图像进行复杂场景中的显著目标检测成为近年来的一个新的研究方向，并已被应用于许多计算机视觉任务中。然而，目前RGBT显著目标检测的研究受到缺乏大规模数据集和全面基准的限制。这项工作贡献了一个名为VT5000的RGBT图像数据集，包括5000个空间对齐的RGBT图像对与地面实况注释。VT5000在不同场景和环境中收集了11个挑战，用于探索算法的鲁棒性。有了这个数据集，我们提出了一个强大的基线方法，它提取每个模态内的多层次特征，并将所有模态的这些特征与注意力机制聚合在一起，用于精确的RGBT显著目标检测。在VT5000数据集和其他两个公共数据集上的实验表明，该方法的性能优于现有方法。此外，本文在VT 5000数据集上对RGBT显著目标检测的不同算法进行了综合分析，得出了一些有价值的结论，并为RGBT显著目标检测提供了一些潜在的研究方向。
2022-05-23 cs.CV
Salient Object Detection with Lossless Feature Reflection and Weighted Structural Loss
Dalian University of Technology（大连理工大学）；Shanghai Jiao Tong University（上海交通大学）；University of Adelaide（阿德莱德大学）
显著性目标检测（SOD）是一种旨在识别和定位图像中最显著的像素或区域的方法，由于其广泛的实际应用而受到越来越多的关注。然而，这种视觉任务是相当具有挑战性的，特别是在复杂的图像场景下。受自然图像的内在反射的启发，本文提出了一种新的用于大规模显著目标检测的特征学习框架。具体来说，我们设计了一个对称的全卷积网络（SFCN），在无损特征反射的指导下有效地学习互补显著性特征。显着对象的位置信息，连同上下文和语义信息，被联合利用来监督所提出的网络，以进行更准确的显着性预测。此外，为了克服边界模糊的问题，我们提出了一个新的加权结构损失函数，以确保清晰的对象边界和空间一致的显着性。粗预测结果有效地细化这些结构信息的性能改善。在七个显著性检测数据集上的大量实验表明，我们的方法始终具有优异的性能，并且以较大的幅度优于最近的最先进的方法。
2019-01-21 cs.CV
Deep Contrast Learning for Salient Object Detection
The University of Hong Kong（香港大学）
由于使用深度卷积神经网络（CNN）提取的强大特征，显著目标检测最近取得了实质性进展。然而，现有的基于CNN的方法在补丁级别而不是像素级别上操作。产生的显著性图通常是模糊的，特别是在显著对象的边界附近。此外，图像块被视为独立的样本，即使当它们是重叠的，从而引起显着的冗余计算和存储。在这篇CVPR 2016论文中，我们提出了一个端到端的深度对比网络来克服上述限制。我们的深度网络由两个互补的组件组成，像素级完全卷积流和分段空间池流。第一流直接从输入图像产生具有像素级精度的显著性图。第二流非常有效地提取分段特征，并且更好地沿着对象边界对显著性不连续性进行建模。最后，一个完全连接的CRF模型，可以选择性地纳入，以提高空间一致性和轮廓定位在融合的结果，从这两个流。实验结果表明，我们的深度模型显着提高了最先进的。
2016-03-07 cs.CV
TENet: Triple Excitation Network for Video Salient Object Detection
South China University of Technology（华南理工大学）；Dalian University of Technology（大连理工大学）
本文提出了一种简单有效的方法--三重激励网络（Triple Excitation Network），从空间、时间和在线激励三个方面对视频显著目标检测（VSOD）进行强化训练。这些激励机制是按照课程学习的精神设计的，旨在通过使用地面实况选择性地激励特征激活来减少训练开始时的学习模糊性。然后，我们逐渐减少地面真值激励的课程率的权重，并将其替换为课程互补图，以实现更好更快的收敛。特别是，空间激励加强明确的对象边界的特征激活，而时间激励施加运动，强调时空显着区域。空间和时间的刺激可以对抗VSOD的显著性转移问题和空间和时间特征之间的冲突。此外，我们的半课程学习设计实现了VSOD的第一个在线细化策略，该策略允许在测试期间激发和提高显着性反应，而无需重新训练。所提出的三重激励可以很容易地插件不同的VSOD方法。大量实验表明了所有三种激励方法的有效性，并且所提出的方法优于最先进的图像和视频显着目标检测方法，并且具有更好的性能。目标检测方法。
2020-08-30 cs.CV
Nested Network with Two-Stream Pyramid for Salient Object Detection in Optical Remote Sensing Images
City University of Hong Kong（香港城市大学）；Beijing Jiaotong University（北京交通大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Tianjin University（天津大学）
由于光学遥感图像中目标类型和尺度多样、成像方向多样、背景复杂，很难直接将自然场景图像中显著目标检测的成功推广到光学遥感图像中。在本文中，我们提出了一种基于网络架构形状的端到端深度网络，称为LV-Net，它以纯粹的数据驱动方式从光学RSI中检测显著对象。拟议的LV-Net由两个关键模块组成，即，双流金字塔模块（L形模块）和具有嵌套连接的编码器-解码器模块（V形模块）。具体而言，L形模块通过使用双流金字塔结构分层地提取一组互补信息，这有利于感知显著对象的多样尺度和局部细节。V形模块通过嵌套连接逐渐融合编码器细节特征和解码器语义特征，以抑制杂乱背景，突出显著对象。此外，我们构建了第一个公开可用的光学RSI数据集，用于显著目标检测，包括800张具有不同空间分辨率、不同显著性类型和像素地面实况的图像。在此基准数据集上的实验表明，该方法在定性和定量上都优于最先进的显著目标检测方法。
2019-06-20 cs.CV
RGB-D Salient Object Detection with Ubiquitous Target Awareness
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
传统的RGB-D显著目标检测方法旨在利用深度作为补充信息来找到两种模态中的显著区域。然而，显著的目标检测结果严重依赖于捕获的深度数据的质量，而这些深度数据有时不可用。在这项工作中，我们第一次尝试解决RGB-D显着的目标检测问题与一个新的深度感知框架。该框架在测试阶段仅依赖于RGB数据，利用捕获的深度数据作为表示学习的监督。为了构建我们的框架并获得准确的显著检测结果，我们提出了一个无处不在的目标感知（UTA）网络来解决RGB-D SOD任务中的三个重要挑战：1）深度感知模块，用于挖掘深度信息并通过自适应深度误差权重挖掘模糊区域，2）空间感知跨模态交互和通道感知跨级别交互，利用低级边界线索并放大高级显著通道，以及3）门控多尺度预测器模块，以在不同的上下文尺度中感知对象显著性。除了其高性能，我们提出的UTA网络是深度无关的推理，并以43 FPS实时运行。实验证据表明，我们提出的网络不仅超过了最先进的方法在五个公共的RGB-D SOD基准的大幅度，但也验证了其可扩展性的五个公共RGB SOD基准。
2021-09-08 cs.CV
MambaSOD: Dual Mamba-Driven Cross-Modal Fusion Network for RGB-D Salient Object Detection
the University of Hong Kong（香港大学）；Chongqing University（重庆大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出MambaSOD，首次将Mamba引入RGB-D显著目标检测，通过双Mamba特征提取器和跨模态融合Mamba以线性复杂度建模长距离依赖并有效融合RGB与深度互补信息，在六个数据集上超越十六个SOTA模型。
2024-10-19 cs.CV
Bilateral Attention Network for RGB-D Salient Object Detection
Nankai University（南开大学）；Tianjin University（天津大学）
现有的RGB-D显著性目标检测（SOD）方法在利用深度图像时，大多数关注前景区域。然而，背景也提供了重要的信息，在传统的SOD方法有前途的性能。为了更好地探索前景和背景区域中的显著信息，本文提出了一种用于RGB-D SOD任务的双边注意力网络（BiANet）。具体来说，我们引入了一个双边注意模块（BAM）与互补的注意力机制：前景优先（FF）的注意和背景优先（BF）的注意。FF注意力集中在前景区域与逐渐细化风格，而BF一个恢复潜在有用的显着信息的背景区域。受益于所提出的BAM模块，我们的BiANet可以捕获更有意义的前景和背景线索，并将更多的注意力转移到细化前景和背景区域之间的不确定细节。此外，我们通过利用多尺度技术来扩展BAM，以获得更好的SOD性能。在六个基准数据集上的广泛实验表明，我们的BiANet在客观指标和主观视觉比较方面优于其他最先进的RGB-D SOD方法。我们的BiANet可以在$224\times224$ RGB-D图像上运行高达80 fps的帧速率，并配备NVIDIA GeForce RTX 2080 Ti GPU。全面的消融研究也验证了我们的贡献。
2020-04-30 cs.CV
Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction
Dalian University of Technology（大连理工大学）
深度图具有颜色无关性、光照不变性和位置区分性，可以为复杂环境中显著目标的提取提供重要的补充信息。然而，高质量的深度传感器价格昂贵，无法广泛应用。而一般的深度传感器会产生噪声和稀疏的深度信息，这给基于深度的网络带来了不可逆的干扰。在本文中，我们提出了一种新的多任务和多模态滤波Transformer（MMFT）网络的RGB-D显著目标检测（SOD）。具体来说，我们统一了三个互补的任务：深度估计，显着的目标检测和轮廓估计。多任务机制促进模型从辅助任务中学习任务感知特征。通过这种方式，可以完成和纯化深度信息。此外，我们引入了一个多模态滤波Transformer（MFT）模块，它配备了三个模态特定的过滤器，以生成每个模态的transformer增强功能。在测试阶段，所提出的模型以无深度的方式工作。实验结果表明，该方法在多数据集上不仅显著优于基于深度的RGB-D SOD方法，而且能够同时准确预测出高质量的深度图和显著轮廓。并且，所得到的深度图可以帮助现有的RGB-D SOD方法获得显著的性能增益。源代码将在https://github.com/Xiaoqi-Zhao-DLUT/MMFT上公开。
2022-11-08 cs.CV
Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection
School of Computer Science, Southeast University（东南大学计算机科学与工程学院）
大多数现有的RGB-D显着目标检测（SOD）方法遵循基于CNN的范式，由于CNN的自然局部性，该范式无法对跨空间和模态的长距离依赖性进行建模。本文提出了一种新的多模态Transformer，即分层交叉模态Transformer（HCT）。与以前的多模态Transformers直接连接来自两个模态的所有补丁不同，我们分层地探索跨模态互补性，以尊重未对齐区域中的模态间隙和空间差异。具体来说，我们建议使用通道内自我注意力来探索互补的全局上下文，并测量空间对齐的通道间注意力本地捕获跨通道的相关性。此外，我们提出了一个特征金字塔模块的Transformer（FPT），以提高信息的跨尺度集成，以及一致性互补模块，解开多模态集成路径，提高融合自适应性。在大量公共数据集上进行的综合实验验证了我们设计的有效性以及对最先进模型的一致改进。
2023-02-16 cs.CV
Knowing Depth Quality In Advance: A Depth Quality Assessment Method For RGB-D Salient Object Detection
State Key Laboratory of VRTS, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；College of Computer Science and Technology, Qingdao University（青岛大学计算机科学与技术学院）；Stonybrook University（石溪大学）
先前的RGB-D显着目标检测（SOD）方法已广泛采用深度学习工具来自动在RGB和D（深度）之间进行权衡，其关键原理是充分利用它们的互补性质，旨在比单独使用它们中的任何一个大大提高SOD性能。然而，这种全自动融合可能并不总是有助于SOD任务，因为D质量本身通常随场景而变化。如果不事先考虑D质量，则很容易导致次优融合结果。此外，作为一个客观因素，D质量长期被忽视的以前的工作。因此，它正在成为一个明显的性能瓶颈。因此，我们提出了一个简单而有效的计划来衡量D质量提前，其核心思想是设计一系列的功能，根据高质量的D区域的共同属性。更具体地说，我们进行D质量评估的每个图像区域，以下多尺度的方法，包括低级别的边缘一致性，中级区域的不确定性和高级别的模型方差。所有这些分量将被独立计算，然后与RGB和D特征组合，作为隐式指示器应用，以指导选择性融合。与现有的融合方法相比，该方法能够获得更合理的RGB与D的融合状态。具体而言，所提出的D质量测量方法实现了稳定的性能改善，一般接近2.0%。
2020-08-07 cs.CV cs.LG
Co-salient Object Detection Based on Deep Saliency Networks and Seed Propagation over an Integrated Graph
Seoul National University（首尔国立大学）
本文提出了一种共同显着的目标检测方法，以找到共同的显着区域，在一组图像。我们利用深度显着性网络来传递共显着性先验知识并更好地捕获高级语义信息，并且通过集成图上的种子传播步骤来增强所产生的初始共显着性图。深度显着性网络以监督的方式进行训练，以避免在线弱监督学习，并利用它们不仅提取高级特征，而且生成图像内和图像间显着性图。通过细化步骤，初始共显图可以均匀地突出共显区域并定位准确的对象边界。为了处理大小不一致的输入图像组，我们建议池多区域描述符，包括段内和组内信息。此外，综合多层图的构建，以找到区域，前面的步骤可能无法检测到的种子传播与低级别的描述符。在这项工作中，我们利用有用的补充组件的高，低层次的信息，和几个学习为基础的步骤。我们的实验表明，所提出的方法优于可比的共同显着性检测方法在广泛使用的公共数据库，也可以直接应用到共同分割任务。
2017-06-29 cs.CV
DNA: Deeply-supervised Nonlinear Aggregation for Salient Object Detection
Nankai University（南开大学）；Beijing Institute of Technology（北京理工大学）；Hefei University of Technology（合肥工业大学）
显著性目标检测的最新进展主要针对如何有效地将多尺度卷积特征集成到卷积神经网络（CNN）中。许多流行的方法施加深度监督来执行线性聚合的侧输出预测，以进行最终的显着性预测。在本文中，我们从理论和实验上证明了侧输出预测的线性聚合是次优的，并且它只有限地利用了通过深度监督获得的侧输出信息。为了解决这个问题，我们提出了深度监督非线性聚合（DNA），以更好地利用各种边输出的互补信息。与现有方法相比，它i）聚合侧输出特征而不是预测，ii）采用非线性而不是线性变换。实验表明，DNA可以成功地突破目前线性方法的瓶颈。具体来说，所提出的显着性检测器，一个修改后的U-Net架构与DNA，表现良好，对各种数据集和评估指标的最先进的方法，没有花里胡哨。
2021-01-20 cs.CV
Exploring Reciprocal Attention for Salient Object Detection by Cooperative Learning
Peng Cheng Laboratory（鹏城实验室）；Beihang University（北京航空航天大学）；Peking University（北京大学）
通常，具有相同语义的对象在包含不同背景的图像中并不总是突出的。基于显著性目标检测与前景和背景相关这一观点，提出了一种新的协同注意力机制，该机制联合考虑了背景和前景之间的相互关系，以实现有效的显著性目标检测。具体地说，我们首先聚集在传统的扩张FCN的每一侧的特征，分别提取初始的前景和背景的局部响应。然后以这些响应为输入，相互注意模块自适应地对前景和背景特征的任意两个像素之间的非局部依赖关系进行建模，然后以相互增强的方式与局部特征进行聚合，从而增强每个分支，生成更具区分力的前景和背景显著性图。此外，合作损失被特别设计用于指导前景和背景分支的多任务学习，这鼓励我们的网络获得更多具有清晰边界的互补预测。最后采用一种简单有效的融合策略生成最终的显著图。在五个基准数据集上的综合实验结果表明，我们提出的方法在所有比较的评估指标方面都优于最先进的方法。
2019-09-18 cs.CV
Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection
Beihang University（北京航空航天大学）；Jiangxi University of Finance and Economics（江西财经大学）；Stony Brook University（石溪大学）；Qingdao University（青岛大学）
现有的RGB-D显著性目标检测方法将深度信息作为独立分量来补充其RGB部分，并且广泛遵循双流并行网络架构。为了选择性地融合从RGB和深度两者提取的CNN特征作为最终结果，最先进的（SOTA）双流网络通常由两个独立的子分支组成;即，一个子分支用于RGB显著性，另一个子分支用于深度显著性。然而，其深度显著性持续地劣于RGB显著性，因为RGB分量本质上比深度分量信息更多。双流架构容易使其后续融合过程偏向RGB子分支，导致性能瓶颈。在本文中，我们提出了一种新的数据级重组策略，在深度特征提取之前将RGB与D（深度）融合，其中我们将原始的4维RGB-D循环转换为\textbf{D} GB，R \textbf{D} B和RG \textbf{D}。然后，一个新的轻量级设计的三流网络应用于这些新的制定数据，以实现RGB和D之间的最佳通道互补融合状态，实现新的SOTA性能。
2020-08-07 cs.CV cs.LG stat.ML
Modality Prompts for Arbitrary Modality Salient Object Detection
Xidian University（西安电子科技大学）；University of Sheffield（谢菲尔德大学）
本文提出模态自适应Transformer（MAT），通过模态提示和通道-空间混合动态融合策略，解决任意模态显著目标检测中模态差异多样与模态数量不确定的挑战。
2024-05-06 cs.CV
Agile Amulet: Real-Time Salient Object Detection with Contextual Attention
Dalian University of Technology（大连理工大学）；University of Adelaide（阿德莱德大学）
本文提出了一个敏捷聚合多层次特征框架（敏捷护身符）的显着目标检测。Agile Amulet建立在以前的工作基础上，使用多级卷积特征预测显着性图。与以前的作品相比，敏捷Amulet采用了一些关键创新，以提高训练和测试速度，同时提高预测准确性。更具体地说，我们首先介绍了一个上下文注意模块，可以快速突出最显着的对象或区域与上下文金字塔。因此，它有效地指导了低层卷积特征的学习，并告诉骨干网络在哪里寻找。上下文注意力模块是一个完全卷积的机制，它同时学习互补特征并预测每个像素的显著性得分。此外，我们提出了一种新的方法来聚合多级深度卷积特征。因此，我们能够单独使用预训练卷积网络的集成侧输出功能，这大大减少了模型参数，使模型大小为67 MB，约为Amulet的一半。与其他基于深度学习的显着性方法相比，Agile Amulet的重量更轻，运行速度更快（实时的【形】30 fps），并且在定量和定性评估方面在七个公共基准测试中实现了更高的性能。
2018-02-20 cs.CV
Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection
School of Computer Science and Artificial Intelligence, Changzhou University（常州大学计算机科学与人工智能学院）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
提出液态融合网络（LFNet），通过动态门控机制融合SSM（VMamba）和CNN（ConvNeXt）的异构表示，并设计显著引导上采样（SGU）算子，在五个任务上实现SOTA性能。
2026-06-26 cs.CV
Adapting Segment Anything Model to Multi-modal Salient Object Detection with Semantic Feature Fusion Guidance
Anhui University（安徽大学）
本文提出Sammese框架，通过设计多模态互补融合模块、多模态适配器和语义-几何提示生成策略，将预训练的SAM适配至多模态显著目标检测任务，有效利用多模态信息并在RGB-D和RGB-T基准上取得优异表现。
2024-11-12 cs.CV
Contrast-Oriented Deep Neural Networks for Salient Object Detection
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
深度卷积神经网络已成为最近显著目标检测突破的关键要素。然而，现有的基于CNN的方法是基于分块（区域）训练和推理或完全卷积网络。前一类的方法通常是耗时的，由于严重的存储和计算重叠补丁之间的冗余。为了克服这一缺陷，第二类方法试图在单个网络前向传递中将原始输入图像直接映射到预测的密集显着图。这些方法虽然效率很高，但对于不同尺度的显著对象或语义信息较弱的显著区域的检测比较困难。在本文中，我们开发了混合对比度导向的深度神经网络来克服上述限制。我们的每个深度网络都由两个互补的组件组成，包括用于密集预测的完全卷积流和用于稀疏显着性推理的分段级空间池化流。我们进一步提出了一个注意力模块，学习权重图，用于融合来自这两个流的两个显着性预测。设计了一种定制的替代方案，通过微调预训练的基线模型来训练这些深度网络。最后，可以可选地应用包含显著轮廓特征嵌入的定制的完全连接的CRF模型作为后处理步骤，以改善来自这两个流的融合结果中的空间相干性和轮廓定位。在六个基准数据集上进行的大量实验表明，我们提出的模型在所有流行的评估指标方面都可以显着优于现有技术。
2018-03-30 cs.CV cs.LG cs.NE
TRACER: Extreme Attention Guided Salient Object Tracing Network
Korea University（高丽大学）
现有显著性目标检测（SOD）的研究主要集中在提取具有边缘信息的显著目标和聚合多层次特征以提高SOD性能。为了达到令人满意的性能，该方法采用精细的边缘信息和低的多级差异。然而，性能增益和计算效率不能同时获得，这促使我们研究现有编码器-解码器结构中的低效率以避免这种权衡。我们提出了TRACER，它通过将注意力引导跟踪模块检测显着的物体与明确的边缘。我们在第一个编码器的末端采用了一个掩蔽的边缘注意模块，使用快速傅立叶变换将细化的边缘信息传播到下游的特征提取。在多级聚合阶段，联合注意模块识别出互补信道和重要的空间信息。为了提高解码器的性能和计算效率，我们最大限度地减少解码器块的使用与对象注意模块。该模块从细化通道和空间表示中提取未检测到的对象和边缘信息。随后，我们提出了一个自适应像素强度损失函数来处理相对重要的像素，而不是像传统的损失函数一样对待所有像素。与13种现有方法的比较表明，TRACER在五个基准数据集上实现了最先进的性能。我们在https://github.com/Karel911/TRACER上发布了TRACER。
2022-06-27 cs.CV
DS-Net: Dynamic Spatiotemporal Network for Video Salient Object Detection
Tianjin University（天津大学）；Key Laboratory of Artificial Intelligence, Ministry of Education（教育部人工智能重点实验室）
由于视频中的运动目标往往会引起人眼的注意，因此通常会利用时间运动信息和空间运动信息来检测视频中的显著目标。虽然有效的工具，如光流已被提出来提取时间运动信息，它经常遇到困难时，用于显著性检测由于摄像机的运动或显著对象的部分运动。在本文中，我们调查的互补作用的空间和时间的信息，并提出了一种新的动态时空网络（DS-Net）更有效地融合时空信息。我们构造了一个对称的双旁路网络来明确地提取空间和时间特征。设计了一个动态权值生成器（DWG），用于自动学习相应显著性分支的可靠性。设计了一种自顶向下的交叉注意聚合过程，以实现时空特征的动态互补聚合。最后，在粗显著图的指导下，通过空间注意力对特征进行修改，然后经过解码器部分得到最终的显著图。在VOS、DAVIS、FBMS、SegTrack-v2和ViSal五个基准测试上的实验结果表明，该方法比现有算法具有更好的性能。源代码可在https://github.com/TJUMMG/DS-Net上获得。
2022-03-22 cs.CV
Weakly Supervised Video Salient Object Detection via Point Supervision
Fudan University（复旦大学）；Yiwu Research Institute of Fudan University（复旦大学义乌研究院）
基于逐像素密集标注训练的视频显著目标检测模型已经取得了优异的性能，但是获得逐像素标注的数据集是费力的。一些作品试图使用潦草的注释来缓解这个问题，但点监督作为一种更节省劳动力的注释方法（甚至是用于密集预测的手动注释方法中最节省劳动力的方法）尚未被探索。在本文中，我们提出了一个强基线模型的基础上点监督。为了利用时间信息推断显著图，我们分别从短期和长期角度挖掘帧间互补信息。具体来说，我们提出了一个混合令牌注意模块，它混合光流和图像信息从正交方向，自适应突出的关键光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期线索，我们开发了长期跨帧注意力模块（LCFA），该模块帮助当前帧基于多帧标记推断显著对象。此外，我们标记两个点监督数据集，P-DAVIS和P-DAVSOD，通过重新标记DAVIS和DAVSOD数据集。在六个基准数据集上的实验表明，我们的方法优于以前最先进的弱监督方法，甚至可以与一些完全监督方法相媲美。提供源代码和数据集。
2022-07-15 cs.CV
Boosting Salient Object Detection with Transformer-based Asymmetric Bilateral U-Net
Nankai University（南开大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Institute for Infocomm Research (I2R)（资讯通信研究院）；University of Electronic Science and Technology of China (UESTC)（电子科技大学）
本文提出 ABiU-Net，通过 Transformer 与轻量级 CNN 的非对称双边编解码路径及阶段交互，融合全局上下文与局部细节，提升显著性目标检测性能。
2023-08-21 cs.CV
S2A:Semantic-to-Spatial Alignment for Alignment-Free RGB-T Salient Object Detection
Jiangxi Normal University（江西师范大学）
针对无对齐RGB-T显著目标检测中空间错位导致特征污染的问题，提出S2A框架，通过语义到空间对齐范式，结合全局引导分层融合、跨模态通道注意力和空间可变形交叉注意力，在多个基准上取得优异性能。
2026-09-24 cs.CV
Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360° Omnidirectional Image
显著目标检测（SOD）的目的是确定图像中最具视觉吸引力的目标。随着虚拟现实技术的发展，360°全景图像得到了广泛的应用，但由于360°全景图像失真严重、场景复杂，其SOD任务研究较少。本文提出了一种多投影融合细化网络（MPFR-Net）来检测360°全景图像中的显著目标。与现有方法不同的是，该方法将等矩形投影图像和对应的4幅立方体展开图像同时作为输入嵌入网络，立方体展开图像不仅为等矩形投影图像提供了补充信息，而且保证了立方体映射投影的对象完整性。为了充分利用这两种投影模式，设计了动态加权融合模块，从帧间和帧内特征的角度，以互补和动态的方式自适应地融合不同投影的特征。此外，为了充分探索编码器和解码器特征之间的交互方式，设计了过滤和细化（FR）模块来抑制特征本身与特征之间的冗余信息。在两个全向数据集上的实验结果表明，该方法在定性和定量上都优于现有的方法。
2022-12-23 cs.CV
HyperFusion-Net: Densely Reflective Fusion for Salient Object Detection
Dalian University of Technology（大连理工大学）；The University of Adelaide（阿德莱德大学）
显著目标检测（SOD）是一项重要而又具有挑战性的视觉任务，其目标是找到感兴趣的最重要区域并分割出该区域内的相关目标。这个问题的灵感来自于这样一个事实，即人类似乎感知具有高优先级的主要场景元素。因此，复杂场景中显著目标的准确检测对于人机交互至关重要。在本文中，我们提出了一种新的特征学习框架SOD，在其中我们投SOD作为一个像素的分类问题。该框架利用一个密集的分层特征融合网络，命名为HyperFusion-Net，自动预测最重要的区域，并以端到端的方式分割相关的对象。具体而言，受人类感知系统和图像反射分离的启发，我们首先通过内容保持变换将输入图像分解为反射图像对。然后，利用交织卷积神经网络（ICNN）联合提取反射图像对的互补信息，并采用超密集融合机制进行分层融合。基于融合的多尺度特征，我们的方法最终实现了一个有前途的方法来预测SOD。如我们广泛的实验所示，该方法在七个公共数据集上的性能始终优于其他最先进的方法，并且具有很大的优势。
2018-04-14 cs.CV
JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection
Sichuan University（四川大学）；Nankai University（南开大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Wuhan University（武汉大学）
提出了一种新的联合学习和密集协作融合（JL-DCF）结构，用于RGB-D显著目标检测。现有的模型通常将RGB和深度视为独立的信息，并设计单独的网络用于从每个中提取特征提取。这种方案很容易受到有限的训练数据或过度依赖精心设计的训练过程的限制。相比之下，我们的JL-DCF通过Siamese网络从RGB和深度输入中学习。为此，我们提出了两个有效的组件：联合学习（JL）和密集合作融合（DCF）。JL模块提供了强大的显着性特征学习，而后者被引入用于互补特征发现。对四种常用的显著性检测方法进行了综合实验，结果表明，该框架具有较好的泛化能力，是一种鲁棒的RGB-D显著性检测方法。因此，JL-DCF在六个具有挑战性的数据集上将前1名的D3 Net模型平均提高了约1.9%（S-测量），这表明所提出的框架为现实世界的应用提供了一个潜在的解决方案，并可以为跨模态互补任务提供更多的见解。该代码将在https://github.com/kerenfu/JLDCF/上提供。
2020-04-18 cs.CV
Alignment-Free RGB-T Salient Object Detection: A Large-scale Dataset and Progressive Correlation Network
Anhui University（安徽大学）
针对免对齐RGB-T显著性目标检测数据集规模受限问题，构建了包含2万图像对的大规模数据集UVT20K，并提出渐进式相关网络PCNet，通过显式对齐建模相关性实现准确预测。
2024-12-19 cs.CV
Spectrum-driven Mixed-frequency Network for Hyperspectral Salient Object Detection
Beijing Institute of Technology（北京理工大学）；Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China（教育部光电成像技术与系统重点实验室）；Chongqing Innovation Center（重庆创新中心）
本文提出频谱驱动混合频率网络SMN，通过提取高光谱图像的低频光谱显著性与高频光谱边缘分量，并结合混合频率注意力与显著性-边缘感知解码器，在HSOD任务上超越现有方法。
2023-12-02 cs.CV
TDFNet: Tri-projection Deformable Fusion Network for Panoramic Salient Object Detection
School of Artificial Intelligence, Jiangxi Normal University（江西师范大学人工智能学院）
针对全景显著目标检测中投影带来的几何畸变问题，提出首个三投影可变形融合网络TDFNet，通过跨投影可变形注意力模块与纬度引导融合模块，实现特征优化，提升检测性能。
2026-08-27 cs.CV
Uncertainty Guided Refinement for Fine-Grained Salient Object Detection
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；La Trobe University（拉筹伯大学）
针对现有显著目标检测（SOD）模型难以可靠细粒度预测的问题，提出不确定性引导细化注意力网络（UGRAN），通过三个核心模块增强不确定区域感知，在七个基准数据集上性能优于现有方法。
2025-04-13 cs.CV
F3Net: Fusion, Feedback and Focus for Salient Object Detection
University of Chinese Academy of Sciences（中国科学院大学）
现有的显著性目标检测模型大多通过聚合从卷积神经网络中提取的多层次特征来实现。然而，由于不同卷积层的不同感受野，这些层生成的特征之间存在很大差异。常见的特征融合策略（添加或串联）忽略了这些差异，可能会导致次优的解决方案。在本文中，我们提出了F3Net来解决上述问题，它主要由交叉特征模块（CFM）和级联反馈解码器（CFD）通过最小化一个新的像素位置感知损失（PPA）训练。具体而言，CFM旨在有选择地聚合多层次特征。与加法和拼接不同，CFM在融合前自适应地从输入特征中选择互补成分，可以有效避免引入过多的冗余信息而破坏原始特征。此外，CFD采用多级反馈机制，其中接近监督的特征将被引入到前一层的输出中，以补充它们并消除特征之间的差异。这些细化的特征将在生成最终的显着性图之前经历多次类似的迭代。此外，与二进制交叉熵不同，所提出的PPA损失不平等地对待像素，它可以综合像素的局部结构信息，以引导网络更多地关注局部细节。来自边界或易出错部分的硬像素将得到更多关注，以强调其重要性。F3Net能够准确地分割显著对象区域，并提供清晰的局部细节。在五个基准数据集上的综合实验表明，F3Net在六个评估指标上优于最先进的方法。
2019-11-26 cs.CV
Rethinking Lightweight Salient Object Detection via Network Depth-Width Tradeoff
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
现有的显著性目标检测方法往往采用更深更宽的网络来获得更好的性能，导致计算负担重，推理速度慢。这启发我们重新思考显著性检测，以实现效率和准确性之间的良好平衡。为此，我们设计了一个轻量级的框架，同时保持令人满意的竞争精度。具体来说，我们提出了一种新的三边解码器框架解耦的U形结构成三个互补的分支，这是为了面对淡化的语义上下文，空间结构的损失和缺乏边界细节，分别。随着三个分支的融合，粗分割结果在结构细节和边界质量上逐渐细化。在不增加额外可学习参数的情况下，我们进一步提出了尺度自适应池化模块来获得多尺度的感受野。特别是，在继承该框架的前提下，通过网络深度-宽度的权衡，重新思考了精度、参数和速度之间的关系。有了这些有见地的考虑，我们全面设计更浅更窄的模型，以探索轻量化SOD的最大潜力。我们的模型适用于不同的应用环境：1）用于资源受限设备的微型版CTD-S（1.7M，125 FPS），2）用于速度要求较高的场景的快速版CTD-M（12.6M，158 FPS），3）用于高性能平台的标准版CTD-L（26.5M，84 FPS）。大量的实验验证了我们的方法的优越性，在五个基准测试中实现了更好的效率-准确性平衡。
2023-01-17 cs.CV
RA-SOD: Reliability-Aware RGB-T Salient Object Detection under Modality Degradation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（哈尔滨工业大学机器人技术与系统国家重点实验室）；School of Computer Science, University of Sydney（悉尼大学计算机科学学院）
针对RGB-T显著目标检测中模态退化导致融合不可靠的问题，提出可靠性感知框架RA-SOD，通过可靠性条件化表示、不确定性引导细化及像素级模态竞争机制，在四个基准上取得最优性能。
2026-09-14 cs.CV
Alignment-Free RGBT Salient Object Detection: Semantics-guided Asymmetric Correlation Network and A Unified Benchmark
Anhui University（安徽大学）；School of Computer Science and Technology（计算机科学与技术学院）；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室）；Information Materials and Intelligent Sensing Laboratory of Anhui Province（安徽省信息材料与智能感知实验室）
本文首次研究无需手动对齐的RGBT显著性目标检测，提出语义引导的非对称相关网络SACNet，通过非对称相关模块和关联特征采样模块实现跨模态特征融合，并构建统一基准UVT2000，实验证明其方法有效且性能优越。
2024-06-03 cs.CV
NamedMask: Distilling Segmenters from Complementary Foundation Models
University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
这项工作的目标是分割和命名图像区域，而无需在训练期间访问像素级标签。为了解决这个问题，我们构造分割器，通过提取两个基础模型的互补优势。第一种是CLIP（Radford et al. 2021），它具有为图像内容分配名称的能力，但缺乏对象结构的可访问表示。第二种是DINO（Caron et al. 2021），它捕获对象的空间范围，但不知道对象名称。我们的方法称为NamedMask，首先使用CLIP构建特定于类别的图像档案。这些图像使用从DINO引导的类别不可知的显着对象检测器进行伪标记，然后由特定于类别的分割器使用CLIP存档标签进行细化。由于高质量的精致的面具，我们表明，一个标准的分割架构训练这些档案与适当的数据增强实现了令人印象深刻的语义分割能力的单对象和多对象图像。因此，我们提出的NamedMask在包括VOC 2012，COCO和大规模ImageNet-S数据集在内的五个基准上的一系列先前工作中表现良好。
2022-09-22 cs.AI cs.CV cs.LG
Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文提出分而治之的融合三流网络ConTriNet，通过模态调制、多尺度上下文提取与动态聚合提升RGB-T显著目标检测对缺陷模态的鲁棒性，并构建VT-IMAG基准验证其优势。
2024-12-02 cs.CV cs.MM
Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Shandong University（山东大学）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）
针对现有RGB-D显著目标检测方法在全局长距离依赖建模上的不足，提出融合CNN辅助Transformer的PICR-Net，通过跨模态点感知交互与CNN诱导精炼模块提升检测性能，在5个数据集上取得有竞争力的结果。
2024-12-07 cs.CV
An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection
Dalian University of Technology（大连理工大学）
提出交互增强多任务范式IRFS，通过FSFNet融合子网络和FC$^2$Net检测子网络结合交互循环学习策略，首次实现红外可见光图像融合与显著性目标检测的相互增强，显著提升两者性能。
2023-05-17 cs.CV
HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；School of Mathematics, Southeast University（东南大学数学学院）
本文提出HyPSAM，利用SAM的零样本能力，结合动态融合网络生成视觉提示和即插即用细化网络引导混合提示，在RGB-T显著目标检测中实现最先进性能并具备强通用性。
2025-09-23 cs.CV
