Scribble-Supervised RGB-T Salient Object Detection
Anhui University（安徽大学）；Hefei University（合肥学院）
显著性目标检测分割场景中的吸引人的目标。RGB和热模态提供了互补的信息，涂鸦注释减轻了大量的人力劳动。基于上述事实，我们提出了一个涂鸦监督的RGB-T显著目标检测模型。通过扩展、预测、聚集和监督四步解决方案，解决了涂鸦监督方法的标签稀疏挑战。为了扩展涂鸦注释，我们分别收集前景涂鸦在RGB和热图像中穿过的超像素。扩展的多模态标签提供粗略的对象边界。为了进一步优化扩展的标签，我们提出了一个预测模块，以减轻边界的尖锐性。为了发挥两种模态的互补作用，我们将两者结合成聚合伪标签。在涂鸦注释和伪标签的监督下，我们的模型在重新标记的RGBT-S数据集上实现了最先进的性能。此外，该模型被应用于RGB-D和视频涂鸦监督应用程序，实现了一贯的优异性能。
2023-03-17 cs.CV
SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection
Anhui University（安徽大学）
卷积神经网络（CNN）擅长于提取特定感受野内的纹理特征，而Transformers则可以对全局的长程依赖特征进行建模。Swin Transformer吸收了Transformer的优点和CNN的优点，表现出较强的特征表示能力。在此基础上，我们提出了一种用于RGB-D和RGB-T显着目标检测的跨模态融合模型SwinNet。该方法以Swin Transformer为驱动，提取层次特征;以注意力机制为辅助，弥合两种模态之间的鸿沟;以边缘信息为引导，锐化显著对象的轮廓。具体而言，两码流Swin Transformer编码器首先提取多模态特征，然后提出空间对齐和通道重校准模块，优化层内跨模态特征。为了澄清模糊边界，边缘引导解码器在边缘特征的指导下实现跨模态融合。该模型在RGB-D和RGB-T数据集上的表现优于最先进的模型，表明它提供了对跨模态互补任务的更多见解。
2022-04-12 cs.CV
All in One: RGB, RGB-D, and RGB-T Salient Object Detection
Hefei University of Technology（合肥工业大学）；Shandong University of Science and Technology（山东科技大学）
针对单一模型难以处理多种数据类型的问题，提出统一框架AiOSOD，在共享参数下利用transformer处理RGB、RGB-D和RGB-T数据，以极低参数量实现高速且优异的检测性能。
2023-11-23 cs.CV
Is Depth Really Necessary for Salient Object Detection?
Beihang University（北京航空航天大学）
显著目标检测（SOD）是许多计算机视觉应用的关键和初步任务，这些应用已经在深度CNN方面取得了进展。现有的方法主要依靠RGB信息来区分显著目标，在某些复杂场景下存在一定的困难。为了解决这个问题，最近提出了许多基于RGBD的网络，采用深度图作为独立的输入，并将特征与RGB信息融合。结合RGB和RGBD方法的优点，本文提出了一种新的深度感知显著性目标检测框架，该框架具有以下优点：1）在检测阶段只使用深度信息作为训练数据，而在检测阶段只使用RGB信息。2)它通过多级深度感知正则化全面优化SOD特征。3)深度信息还用作误差加权图以校正分割过程。结合这些富有洞察力的设计，我们首次尝试实现一个统一的深度感知框架，仅使用RGB信息作为推理输入，不仅超过了五个公共RGB SOD基准测试的最新性能，而且还大大超过了基于RGBD的方法，同时采用更少的信息和实现轻量化。代码和模型将公开提供。
2020-06-02 cs.CV
Cross-Modal Weighting Network for RGB-D Salient Object Detection
Shanghai University（上海大学）；University of Manitoba（曼尼托巴大学）；Huawei Technologies Canada（华为技术加拿大公司）；Stony Brook University（石溪大学）
深度图包含用于辅助显著目标检测（SOD）的几何线索。在本文中，我们提出了一种新的跨模态加权（CMW）策略，以鼓励RGB和深度通道之间的全面互动RGB-D SOD。具体来说，三个RGB深度交互模块，命名为CMW-L，CMW-M和CMW-H，分别处理低，中，高层次的跨模态信息融合。这些模块使用深度到RGB加权（DW）和RGB到RGB加权（RW）来允许由不同网络块生成的特征层之间的丰富的跨模态和跨尺度交互。为了有效地训练所提出的跨模态加权网络（CMWNet），我们设计了一个复合损失函数，该函数总结了不同尺度上的中间预测和地面实况之间的误差。通过所有这些新组件的协同工作，CMWNet有效地融合了来自RGB和深度通道的信息，同时探索了跨尺度的对象定位和细节。全面的评估表明，CMWNet在7个流行的基准测试中始终优于15种最先进的RGB-D SOD方法。
2020-07-09 cs.CV
M2RNet: Multi-modal and Multi-scale Refined Network for RGB-D Salient Object Detection
Nankai University（南开大学）；Peking University（北京大学）
显著目标检测是计算机视觉的一个基本课题。以往的基于RGB-D的特征融合方法存在多模态特征融合不兼容和多尺度特征聚合不足的问题。为了解决这两个难题，我们提出了一种新的多模态和多尺度细化网络（M2 RNet）。该网络有三个基本组成部分。嵌套的双重注意模块（NDAM）明确地利用RGB和深度流的组合特征。相邻交互式聚合模块（AIAM）逐步整合高、中、低三层的邻居特征。联合混合优化损失（JHOL）使预测具有突出的轮廓。大量的实验表明，我们的方法优于其他国家的最先进的方法。
2021-09-16 cs.CV
Adaptive Fusion for RGB-D Salient Object Detection
College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
RGB-D显著性目标检测旨在识别一对彩色和深度图像中视觉上最独特的对象。基于大多数显著对象至少在一种模态中脱颖而出的观察，本文提出了一种自适应融合方案，以融合从两种模态生成的显著性预测。具体来说，我们设计了一个双流卷积神经网络（CNN），每个网络都从RGB或深度模态中提取特征并预测显着性图。然后，显著性融合模块学习用于自适应地融合预测的显著性图的开关图。设计了一个由显著性监督、开关映射监督和边缘保持约束组成的损失函数进行全面监督，并以端到端的方式对整个网络进行训练。得益于自适应融合策略和边缘保持约束，我们的方法优于国家的最先进的方法在三个公开可用的数据集。
2019-01-08 cs.CV
Bilateral Attention Network for RGB-D Salient Object Detection
Nankai University（南开大学）；Tianjin University（天津大学）
现有的RGB-D显著性目标检测（SOD）方法在利用深度图像时，大多数关注前景区域。然而，背景也提供了重要的信息，在传统的SOD方法有前途的性能。为了更好地探索前景和背景区域中的显著信息，本文提出了一种用于RGB-D SOD任务的双边注意力网络（BiANet）。具体来说，我们引入了一个双边注意模块（BAM）与互补的注意力机制：前景优先（FF）的注意和背景优先（BF）的注意。FF注意力集中在前景区域与逐渐细化风格，而BF一个恢复潜在有用的显着信息的背景区域。受益于所提出的BAM模块，我们的BiANet可以捕获更有意义的前景和背景线索，并将更多的注意力转移到细化前景和背景区域之间的不确定细节。此外，我们通过利用多尺度技术来扩展BAM，以获得更好的SOD性能。在六个基准数据集上的广泛实验表明，我们的BiANet在客观指标和主观视觉比较方面优于其他最先进的RGB-D SOD方法。我们的BiANet可以在$224\times224$ RGB-D图像上运行高达80 fps的帧速率，并配备NVIDIA GeForce RTX 2080 Ti GPU。全面的消融研究也验证了我们的贡献。
2020-04-30 cs.CV
A Unified Structure for Efficient RGB and RGB-D Salient Object Detection
University of Electronic Science and Technology of China（电子科技大学）
针对RGB和RGB-D显著目标检测需分别设计网络的问题，提出带CRACE模块的统一高效结构，可融合不同模态输入，在多层监督下优化结果，多项指标上优于现有最优方法。
2020-12-01 cs.CV
Cascade Graph Neural Networks for RGB-D Salient Object Detection
Center for Robotics, School of Automation Engineering, UESTC（电子科技大学自动化工程学院机器人研究中心）；Group 42 (G42)（42集团（G42））；University of Pennsylvania（宾夕法尼亚大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
本文研究了基于颜色和深度信息的RGB-D图像显著目标检测（SOD）问题，如何充分利用这两种互补的数据源是实现RGB-D图像显著目标检测的主要技术挑战。目前的工作要么简单地从相应的深度图中提取先验知识来处理RGB图像，要么盲目地融合颜色和几何信息来生成粗略的深度感知表示，这阻碍了RGB-D显著性检测器的性能。一个统一的框架，能够通过一组级联图综合提炼和推理这两个数据源之间的相互利益，学习用于RGB-D显著目标检测的强大表示。Cas-Gnn分别处理这两个数据源，并采用一个新颖的级联图推理（CGR）模块来学习强大的密集特征嵌入，从中可以很容易地推断出显着性图。与以前的方法相比，互补数据源之间的高层关系的显式建模和推理使我们能够更好地克服诸如遮挡和歧义等挑战。大量的实验表明，Cas-Gnn在几个广泛使用的基准测试中取得了比所有现有的RGB-DSOD方法更好的性能。
2020-08-07 cs.CV
BTS-Net: Bi-directional Transfer-and-Selection Network For RGB-D Salient Object Detection
Sichuan University（四川大学）
深度信息已被证明在RGB-D显著目标检测（SOD）中是有益的。然而，所获得的深度图通常遭受低质量和不准确性。大多数现有的RGB-D SOD模型在其编码器级中没有跨模态交互或仅具有从深度到RGB的单向交互，这可能导致在面对低质量深度时编码器特征不准确。为了解决这一限制，我们建议在编码器阶段进行渐进的双向交互，产生一种新的双向传输和选择网络，名为BTS-Net，它采用了一组双向传输和选择（BTS）模块，以在编码过程中纯化功能。基于所得到的鲁棒编码器功能，我们还设计了一个有效的轻量级组解码器，以实现准确的最终显着性预测。在六个广泛使用的数据集上进行的综合实验表明，BTS-Net在四个关键指标方面超过了16种最新的最先进的方法。
2021-04-05 cs.CV
Multi-interactive Dual-decoder for RGB-thermal Salient Object Detection
Anhui University（安徽大学）
RGB-热显著性目标检测（SOD）的目的是分割可见光图像和相应的热红外图像中共同的显著区域，我们称之为RGBTSOD。现有的方法没有充分挖掘和利用图像内容的不同模态和多类型线索的互补性，这对实现准确的结果起着至关重要的作用。在本文中，我们提出了一种多交互双解码器来挖掘和建模多种类型的交互，以获得准确的RGBT SOD。具体来说，我们首先将两种模态编码成多级多模态特征表示。然后，我们设计了一种新的双解码器，进行多层次的功能，两个模态和全局上下文的相互作用。有了这些相互作用，我们的方法在具有挑战性的情况下，即使在存在无效模态的情况下也能很好地工作。最后，我们在公开的RGBT和RGBD SOD数据集上进行了大量的实验，结果表明，该方法取得了优异的性能，对最先进的算法。源代码已在https://github.com/lz118/Multi-interactive-Dual-decoder上发布。
2021-06-04 cs.CV
MobileSal: Extremely Efficient RGB-D Salient Object Detection
Nankai University（南开大学）；University of Adelaide（阿德莱德大学）
神经网络的高计算成本阻碍了RGB-D显著目标检测（SOD）的最新成功，使其无法用于实际应用。因此，本文介绍了一种新的网络，MobileSal，它专注于使用移动网络进行深度特征提取的高效RGB-D SOD。然而，移动网络在特征表示方面不如笨重的网络强大。为此，我们观察到，彩色图像的深度信息可以加强与SOD相关的特征表示，如果利用得当。因此，我们提出了一种隐式深度恢复（IDR）技术，以加强移动网络的RGB-D SOD的特征表示能力。IDR仅在训练阶段采用，在测试期间省略，因此它是计算自由的。此外，我们提出了紧凑的金字塔细化（CPR）高效的多层次特征聚合，以获得清晰的边界显着的对象。通过整合IDR和CPR，MobileSal在六个具有挑战性的RGB-D SOD数据集上与最先进的方法相比表现良好，速度更快（对于320 $\times$ 320的输入大小为450 fps），参数更少（6.5M）。代码发布于https://mmcheng.net/mobilesal。
2022-01-12 cs.CV
S2A:Semantic-to-Spatial Alignment for Alignment-Free RGB-T Salient Object Detection
Jiangxi Normal University（江西师范大学）
针对无对齐RGB-T显著目标检测中空间错位导致特征污染的问题，提出S2A框架，通过语义到空间对齐范式，结合全局引导分层融合、跨模态通道注意力和空间可变形交叉注意力，在多个基准上取得优异性能。
2026-09-24 cs.CV
Position-Aware Relation Learning for RGB-Thermal Salient Object Detection
提出基于swin transformer的位置感知关系学习网络PRLNet，通过带符号距离图辅助模块和方向场特征细化方法增强类内紧凑性与类间分离，生成清晰边界的显著目标掩膜，在三个基准数据集上优于现有方法。
2022-09-21 cs.CV
SAMSOD: Rethinking SAM Optimization for RGB-T Salient Object Detection
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, School of Computer Science and Technology, Anhui University（教育部智能计算与信号处理重点实验室，计算机科学与技术学院，安徽大学）
针对RGB-T显著目标检测中SAM微调存在的模态收敛不平衡、高低激活梯度差异问题，提出SAMSOD模型，通过单模态监督、梯度去冲突及解耦适配器提升性能，且在多类任务数据集上验证了有效性。
2025-10-04 cs.CV
Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Institute of Technology（北京理工大学）
RGB-热显著目标检测（RGB-T SOD）的目的是定位对齐的可见光和热红外图像对中的共同显著目标，并准确分割属于这些目标的所有像素。由于热图像对光照条件不敏感，因此在夜间和复杂背景等具有挑战性的场景中有很大的应用前景。因此，RGB-T SOD的关键问题是使来自两种模态的特征相互补充和灵活调整，因为由于极端光照条件和热交叉等具有挑战性的场景，RGB-T图像对的任何模态都不可避免地失败。在本文中，我们提出了一种新的镜像互补Transformer网络（MCNet）的RGB-T SOD。具体来说，我们引入了一个基于transformer的特征提取模块，有效地提取RGB和热图像的层次特征。然后，通过基于注意力的特征交互和基于多尺度扩张卷积（SDC）的特征融合模块，实现了底层特征的互补交互和深层特征的语义融合。最后，基于镜像互补结构，即使一个模态无效，也能准确地提取出两个模态的显著区域。为了证明所提出的模型在现实世界中具有挑战性的场景下的鲁棒性，我们基于用于自动驾驶领域的大型公共语义分割RGB-T数据集构建了一个新的RGB-T SOD数据集VT 723。在基准数据集和VT 723数据集上的实验表明，该方法的性能优于最先进的方法，包括基于CNN和基于Transformer的方法。该代码和数据集稍后将在https://github.com/jxr326/SwinMCNet上发布。
2022-07-07 cs.CV
TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network
Anhui University（安徽大学）；Hefei University（合肥学院）
显著目标检测是一种像素级的密集预测任务，能够突出场景中的显著目标。最近U-Net框架被广泛使用，连续卷积和池化操作生成相互补充的多层特征。鉴于高层特征对性能的贡献更大，我们提出了一个三重Transformer嵌入模块，通过学习跨层的长程依赖关系来增强它们。它是第一个使用三个Transformer编码器共享权重，以增强多层次的功能。通过进一步设计尺度调整模块处理输入，设计三流解码器处理输出，并将深度特征与颜色特征进行多模态融合，提出的三重Transformer嵌入网络（TriTransNet）在RGB-D显著目标检测中达到了最新的性能，将性能提升到了一个新的水平。实验结果证明了所提出的模块的有效性和TriTransNet的竞争力。
2021-08-09 cs.CV
An Integration of Bottom-up and Top-Down Salient Cues on RGB-D Data: Saliency from Objectness vs. Non-Objectness
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Jiangxi University of Finance and Economics（江西财经大学）；The University of Electro-Communications（电气通信大学）
自自底向上的【形】和自上而下的视觉线索是两种有助于视觉显著性模型的信息。这些显著线索可以来自特征的空间分布（基于空间的显著性）或上下文/任务相关特征（基于对象的显著性）。显着性模型通常分别采用自自底向上的【形】或自上而下的范式来整合显着性线索。在这项工作中，我们结合了自自底向上的【形】和自上而下的线索，从空间和基于对象的RGB-D数据的显着特征。此外，我们还研究了各种预训练的卷积神经网络基于对象相关特征激活的彩色图像自顶向下显著性提取的能力。我们证明，通过自自底向上的【形】和自顶向下的方法，从颜色和深度的显着特征相结合，显着改善显着的目标检测与基于空间和基于对象的显着线索。RGB-D显着性整合框架产生了可喜的结果相比，几个国家的最先进的模型。
2018-07-04 cs.CV
CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
针对RGB-D显著目标检测（SOD）任务中如何有效地捕获和利用跨通道信息的问题，提出了一种基于跨通道交互和细化的卷积神经网络（CNN）模型CIR-Net。对于跨模态交互，1）提出了渐进式注意力引导的整合单元以在编码器级中充分整合RGB-D特征表示，以及2）提出了收敛聚合结构，其经由解码器级中的重要性门控融合单元将RGB和深度解码特征流到对应的RGB-D解码流中。对于跨模态细化，我们在编码器和解码器之间插入细化中间件结构，其中RGB，深度和RGB-D编码器特征通过连续使用自模态注意力细化单元和跨模态加权细化单元来进一步细化。最后，在解码器阶段，利用逐步细化的特征预测显著图。在六个流行的RGB-D SOD基准上进行的大量实验表明，我们的网络在定性和定量方面都优于最先进的显着性检测器。
2022-10-06 cs.CV
Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection
Yangzhou University（扬州大学）；Northeastern University（东北大学）
在本文中，我们的目标是开发一种高效紧凑的深度网络，用于RGB-D显著目标检测，其中深度图像提供补充信息，以提高复杂场景中的性能。从多尺度残差块的粗略初始预测开始，我们提出了一个渐进引导的交替细化网络来细化它。我们首先通过从头开始学习来构建一个轻量级的深度流，而不是使用ImageNet预先训练的骨干网络，它可以更有效地提取互补特征，并且冗余更少。然后，不同于现有的基于融合的方法，RGB和深度特征被交替地馈送到建议的引导残差（GR）块中，以减少它们的相互退化。通过在每个侧输出内的堆叠GR块中分配渐进引导，可以很好地补救错误检测和丢失部分。在七个基准数据集上进行的大量实验表明，我们的模型在很大程度上优于现有的最先进的方法，并且在效率（71 FPS）和模型大小（64.9 MB）方面也表现出优越性。
2020-08-17 cs.CV
Modality-Guided Subnetwork for Salient Object Detection
Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Shanghai Jiao Tong University（上海交通大学）；Université Côte d’Azur（蔚蓝海岸大学）
最近基于RGBD的显著性检测模型引起了研究的关注。深度线索，如边界线索，表面法线，形状属性等，有助于识别具有复杂场景的显著对象。然而，大多数RGBD网络需要输入端的多模态，并通过双流设计分别馈送它们，这不可避免地导致深度传感器和计算的额外成本。为了解决这些不便，本文提出了一种新的融合设计命名为模态引导子网络（MGSnet）。它具有以下优越的设计：1）我们的模型适用于RGB和RGBD数据，如果不可用，则动态估计深度。考虑到深度预测网络的内部工作原理，我们建议从RGB输入中估计伪几何图-基本上模仿多模态输入。2)我们的MGSnet for RGB SOD可实现实时推理，但与其他RGB模型相比，其性能达到了最先进的水平。3)MGS的灵活和轻量级设计有助于集成到RGBD双流模型中。引入的融合设计实现了跨模态交互，以实现进一步的进展，但成本最低。
2021-10-25 cs.CV
Alignment-Free RGBT Salient Object Detection: Semantics-guided Asymmetric Correlation Network and A Unified Benchmark
Anhui University（安徽大学）；School of Computer Science and Technology（计算机科学与技术学院）；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室）；Information Materials and Intelligent Sensing Laboratory of Anhui Province（安徽省信息材料与智能感知实验室）
本文首次研究无需手动对齐的RGBT显著性目标检测，提出语义引导的非对称相关网络SACNet，通过非对称相关模块和关联特征采样模块实现跨模态特征融合，并构建统一基准UVT2000，实验证明其方法有效且性能优越。
2024-06-03 cs.CV
JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection
Sichuan University（四川大学）；Nankai University（南开大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Wuhan University（武汉大学）
提出了一种新的联合学习和密集协作融合（JL-DCF）结构，用于RGB-D显著目标检测。现有的模型通常将RGB和深度视为独立的信息，并设计单独的网络用于从每个中提取特征提取。这种方案很容易受到有限的训练数据或过度依赖精心设计的训练过程的限制。相比之下，我们的JL-DCF通过Siamese网络从RGB和深度输入中学习。为此，我们提出了两个有效的组件：联合学习（JL）和密集合作融合（DCF）。JL模块提供了强大的显着性特征学习，而后者被引入用于互补特征发现。对四种常用的显著性检测方法进行了综合实验，结果表明，该框架具有较好的泛化能力，是一种鲁棒的RGB-D显著性检测方法。因此，JL-DCF在六个具有挑战性的数据集上将前1名的D3 Net模型平均提高了约1.9%（S-测量），这表明所提出的框架为现实世界的应用提供了一个潜在的解决方案，并可以为跨模态互补任务提供更多的见解。该代码将在https://github.com/kerenfu/JLDCF/上提供。
2020-04-18 cs.CV
RDVSv2: A Large-scale Benchmark for RGB-D Video Salient Object Detection
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（四川大学合成视觉基础科学国家重点实验室）；College of Computer Science, Sichuan University（四川大学计算机学院）
介绍用于RGB-D视频显著目标检测的大规模基准测试RDVSv2，其规模大、场景多样。基于SAM2建立强大基线，采用参数高效微调策略联合编码多模态线索，该基线在RDVSv2及现有基准测试中达最优，为相关研究提供资源。
2026-07-29 cs.CV
CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse
City University of Hong Kong（香港城市大学）
本文的目标是提出一个系统的RGB-D显著目标检测的解决方案，该方案在统一的框架下解决了以下三个方面：特定于情态的表示学习、互补线索选择和跨情态补语融合。为了学习有区别的模态特定的功能，我们提出了一个分层的跨模态蒸馏方案，其中学习良好的源模态提供监督信号，以促进新模态的学习过程。为了更好地提取互补线索，我们制定了一个残差函数，以自适应地将互补从成对的模态。此外，一个自顶向下的融合结构被构造为充分的跨模态的相互作用和跨级别的传输。实验结果表明，该方法在zero-shot显著性检测和新模态的预训练中具有较好的效果，在选择和融合跨模态/跨层次补语方面具有一定的优势.
2019-09-20 cs.CV
RGB-D Salient Object Detection via 3D Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）；Sichuan University（四川大学）
RGB-D显著目标检测（SOD）近年来引起了越来越多的研究兴趣，并出现了许多基于编码器-解码器架构的深度学习方法。然而，大多数现有的RGB-D SOD模型在单个编码器或解码器阶段进行特征融合，这很难保证足够的跨模态融合能力。在本文中，我们首次尝试通过三维卷积神经网络来解决RGB-D SOD。该模型名为RD 3D，旨在编码器阶段的预融合和解码器阶段的深度融合，以有效地促进RGB和深度流的充分融合。具体而言，RD 3D首先通过膨胀的3D编码器跨RGB和深度模态进行预融合，然后通过设计配备有丰富的反向投影路径（RBPP）的3D解码器来提供深度特征融合，以利用3D卷积的广泛聚合能力。通过这种涉及编码器和解码器的渐进式融合策略，可以利用两种模态之间的有效和彻底的交互，并提高检测精度。在六个广泛使用的基准数据集上进行的大量实验表明，RD 3D在四个关键评估指标方面优于14种最先进的RGB-D SOD方法。我们的代码将在https://github.com/PPOLYpubki/RD3D上公开。
2021-01-25 cs.CV
RSONet: Region-guided Selective Optimization Network for RGB-T Salient Object Detection
School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学）；Key Laboratory of Machine Intelligence and System Control, Ministry of Education（机器智能与系统控制重点实验室，教育部）；School of Automation, Hangzhou Dianzi University（自动化学院，杭州电子科技大学）；School of information engineering, Huzhou University（信息工程学院，湖州大学）；School of Data Science, Lingnan University（数据科学学院，岭南大学）
本文提出RSONet用于解决RGB和热图像间显著区域不一致问题，通过区域引导和选择性优化模块融合多模态特征，提升显著目标检测性能。
2026-03-13 cs.CV
Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）
RGB-D显著目标检测（SOD）的主要目的是如何更好地整合和利用跨模态融合信息。在本文中，我们将从一个新的角度来探讨这些问题。我们通过密集连接的结构整合不同模态的特征，并使用它们的混合特征来生成具有不同大小的感受野的动态过滤器。最后，本文实现了一种更加灵活高效的多尺度跨模态特征处理方法--动态扩张金字塔模型。为了使预测具有更清晰的边缘和一致的显著区域，我们设计了一个混合增强损失函数，以进一步优化结果。该损失函数在单模态RGB SOD任务中也是有效的。在六个指标方面，所提出的方法优于现有的十二个方法在八个具有挑战性的基准数据集。大量的实验验证了所提出的模型和损失函数的有效性。我们的代码、模型和结果可在\url{https://github.com/lartpang/HDFNet}上获得。
2020-07-16 cs.CV
RGB-D Salient Object Detection: A Survey
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Nankai University（南开大学）
显著性目标检测（SOD）是模拟人类视觉感知系统定位场景中最吸引人的目标，已广泛应用于各种计算机视觉任务中。现在，随着深度传感器的出现，可以很容易地捕获具有丰富空间信息的深度图，这些信息有助于提高SOD的性能。虽然在过去的几年里已经提出了各种基于RGB-D的SOD模型，具有良好的性能，但对这些模型和挑战的深入了解仍然缺乏。本文从不同角度对基于RGB-D的SOD模型进行了全面的综述，并详细回顾了相关的基准数据集。此外，考虑到光场也可以提供深度图，我们还回顾了SOD模型和该领域的流行基准数据集。此外，为了研究现有模型的SOD能力，我们进行了综合评价，以及基于属性的评价几个代表性的RGB-D的SOD模型。最后，我们讨论了几个挑战和开放的方向，为未来的研究RGB-D为基础的SOD。所有收集的模型、基准数据集、源代码链接、为基于属性的评估构建的数据集以及评估代码将在https://github.com/taozh2017/RGBDSODsurvey上公开提供
2022-07-14 cs.CV
Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Meituan（美团）；City University of Hong Kong（香港城市大学）
深度图的普及和推广为显著目标检测（SOD）带来了新的生机和活力，大量的RGB-D SOD算法被提出，主要集中在如何更好地融合RGB图像和深度图的跨模态特征。对于特征编码器中的跨模态交互，现有方法要么不加区别地对待RGB和深度模态，要么习惯性地将深度线索作为RGB分支的辅助信息。与之不同的是，我们重新考虑了两种模态的状态，并提出了一种新的跨模态差异交互网络（CDINet）的RGB-D SOD，根据不同层的特征表示差异模型的依赖性的两种模态。为此，设计了两个组件来实现有效的跨模态交互：1）RGB诱导的细节增强（RDE）模块利用RGB模态在低级编码器阶段增强深度特征的细节。2)深度诱导语义增强（DSE）模块将深度特征的对象定位和内部一致性传递到高级编码器阶段的RGB分支。此外，我们还设计了一种密集解码重建（DDR）结构，它通过结合多层次的编码器特征来构建一个语义块，以提升特征解码中的跳过连接。在五个基准数据集上进行的大量实验表明，我们的网络在定量和定性方面都优于$15$最先进的方法。我们的代码可在https://rmcong.github.io/proj_CDINet.html上公开获取。
2021-08-04 cs.CV
Mutual Information Regularization for Weakly-supervised RGB-D Salient Object Detection
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）；the Australian National University（澳大利亚国立大学）
提出基于涂鸦监督的弱监督 RGB-D 显著目标检测模型，利用互信息正则化实现多模态解耦表示，并结合非对称特征提取器与多模态变分自编码器细化预测，达到接近全监督 SOTA 的性能。
2023-06-06 cs.CV
Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection
City University of Hong Kong（香港城市大学）
显著性目标检测是在给定场景中预测人类关注区域的任务。融合深度信息在这项任务中已被证明是有效的。该问题的主要挑战是如何聚合RGB模态和深度模态的互补信息。然而，传统的深度模型严重依赖于CNN特征提取器，并且长期上下文依赖性通常被忽略。在这项工作中，我们提出了双Swin-Transformer为基础的相互作用的网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，对视觉输入中的长程依赖关系进行建模。在将两个分支的特征融合成一个之前，应用基于注意力的模块来增强来自每个模态的特征。我们设计了一个基于自我注意的跨通道交互模块和一个门控通道注意模块来利用两个通道之间的互补信息。对于显着性解码，我们创建不同的阶段增强密集连接，并保持解码记忆，同时考虑多层次的编码功能。考虑到深度图不准确的问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以便从RGB模态到最终显著性预测提供更多指导。此外，我们添加边缘监督来规范特征学习过程。在五个标准RGB-D SOD基准数据集上进行的四种评价指标的综合实验证明了所提出的DTMINet方法的优越性。
2022-06-07 cs.CV
Alignment-Free RGB-T Salient Object Detection: A Large-scale Dataset and Progressive Correlation Network
Anhui University（安徽大学）
针对免对齐RGB-T显著性目标检测数据集规模受限问题，构建了包含2万图像对的大规模数据集UVT20K，并提出渐进式相关网络PCNet，通过显式对齐建模相关性实现准确预测。
2024-12-19 cs.CV
Breaking Alignment Barriers: TPS-Driven Semantic Correlation Learning for Alignment-Free RGB-T Salient Object Detection
本文提出TPS-SCL网络，通过双流MobileViT和高效Mamba机制，结合语义相关性约束和薄板样条对齐模块，有效解决未对齐RGB-T图像对中的显著目标检测问题。
2025-12-26 cs.CV
RGB-D Salient Object Detection with Cross-Modality Modulation and Selection
Nanyang Technological University（南洋理工大学）；Beijing Jiaotong University（北京交通大学）；Dalian University of Technology（大连理工大学）；Chinese Academy of Sciences（中国科学院）
我们提出了一种有效的方法，逐步整合和完善的跨模态互补性的RGB-D显着目标检测（SOD）。该网络主要解决了两个具有挑战性的问题：1）如何有效地整合RGB图像及其相应深度图的互补信息，以及2）如何自适应地选择更多显著性相关的特征。首先，我们提出了一个跨模态特征调制（cross-modality feature modulation，cmFM）模块，通过将深度特征作为先验来增强特征表示，该模块对RGB-D数据的互补关系进行建模。其次，我们提出了一个自适应特征选择（AFS）模块来选择显著性相关的功能和抑制劣质的。AFS模块利用多模态空间特征融合，考虑通道特征的自模态和跨模态相互依赖性。第三，我们采用了一个显着性引导的位置边缘注意力（sg-PEA）模块，以鼓励我们的网络更多地关注显着性相关的区域。上述模块作为一个整体，称为cmMS块，有助于以由粗到细的方式细化显着性特征。结合自下而上的推理，改进的显着性特征可以实现准确和边缘保留的SOD。大量的实验表明，我们的网络在六个流行的RGB-D SOD基准测试中优于最先进的显着性检测器。
2020-07-14 cs.CV
Siamese Network for RGB-D Salient Object Detection and Beyond
Sichuan University（四川大学）；National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（四川大学视觉合成图形图像技术国家级重点实验室）；Nankai University（南开大学）；Wuhan University（武汉大学）；Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）；University of Electronic Science and Technology of China（电子科技大学）
现有的RGB-D显著性目标检测（SOD）模型通常将RGB和深度作为独立的信息处理，并设计单独的网络用于从每个中提取特征提取。这种方案很容易受到有限的训练数据或过度依赖精心设计的训练过程的限制。受RGB和深度模态实际上在区分突出对象方面存在某些共性的观察的启发，设计了一种新型的联合学习和密集合作融合（JL-DCF）架构，通过共享的网络骨干（称为Siamese架构）从RGB和深度输入中学习。在本文中，我们提出了两个有效的组件：联合学习（JL），和密集合作融合（DCF）。JL模块通过Siamese网络利用跨模态共性来提供鲁棒的显着性特征学习，而DCF模块则用于补充特征发现。综合实验表明，使用五个流行的指标，所设计的框架产生了一个强大的RGB-D显着性检测器具有良好的泛化能力。因此，JL-DCF在七个具有挑战性的数据集上将最先进的模型平均提高了约2.0%（最大F测量值）。此外，我们还表明，JL-DCF很容易适用于其他相关的多模态检测任务，包括RGB-T（热红外）SOD和视频SOD，实现了与最先进的方法相当甚至更好的性能。我们还将JL-DCF链接到RGB-D语义分割领域，显示其在RGB-D SOD任务上优于几个语义分割模型的能力。这些事实进一步证实了所提出的框架可以为各种应用提供潜在的解决方案，并为跨模式互补任务提供更多的见解。
2021-04-16 cs.CV
RGBD Salient Object Detection via Deep Fusion
City University of Hong Kong（香港城市大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
已经做出了许多努力来设计用于RGBD显著性检测的不同的低水平显著性线索，诸如颜色或深度对比度特征、背景和颜色紧凑性先验。然而，这些显着性线索如何相互作用，以及如何有效地将这些低级别的显着性线索，以产生一个主显着图仍然是一个具有挑战性的问题。在本文中，我们设计了一个新的卷积神经网络（CNN）融合不同的低层次显着性线索到层次特征，自动检测RGBD图像中的显着对象。与现有的直接将原始图像像素馈送到CNN的方法相比，所提出的方法通过采用各种有意义且设计良好的显著性特征向量作为输入，利用传统显著性检测中的知识。由于减少了学习模糊性，这可以引导CNN的训练更有效地检测显著对象。然后，我们将拉普拉斯传播框架与学习的CNN集成，通过利用输入图像的内在结构来提取空间一致的显著性图。在三个数据集上进行的大量定量和定性实验评估表明，该方法始终优于最先进的方法。
2016-07-12 cs.CV
A Saliency Enhanced Feature Fusion based multiscale RGB-D Salient Object Detection Network
Civil Aviation University of China（中国民航大学）；North China Electric Power University（华北电力大学）
本文提出显著性增强特征融合模块SEFF，利用相邻尺度显著性图增强融合特征，构建多尺度RGB-D显著性检测网络，在五个基准数据集上优于十个SOTA方法。
2024-01-22 cs.CV
Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection
School of Computer Science, Southeast University（东南大学计算机科学与工程学院）
大多数现有的RGB-D显着目标检测（SOD）方法遵循基于CNN的范式，由于CNN的自然局部性，该范式无法对跨空间和模态的长距离依赖性进行建模。本文提出了一种新的多模态Transformer，即分层交叉模态Transformer（HCT）。与以前的多模态Transformers直接连接来自两个模态的所有补丁不同，我们分层地探索跨模态互补性，以尊重未对齐区域中的模态间隙和空间差异。具体来说，我们建议使用通道内自我注意力来探索互补的全局上下文，并测量空间对齐的通道间注意力本地捕获跨通道的相关性。此外，我们提出了一个特征金字塔模块的Transformer（FPT），以提高信息的跨尺度集成，以及一致性互补模块，解开多模态集成路径，提高融合自适应性。在大量公共数据集上进行的综合实验验证了我们设计的有效性以及对最先进模型的一致改进。
2023-02-16 cs.CV
SSNet: Saliency Prior and State Space Model-based Network for Salient Object Detection in RGB-D Images
IIT Kharagpur（印度理工学院克勒格布尔分校）；Rekhi Centre of Excellence for the Science of Happiness, IIT Kharagpur（印度理工学院克勒格布尔分校雷克希幸福科学卓越中心）
针对RGB-D图像显著性目标检测中跨模态全局依赖捕捉不足、缺乏显著性先验及低质量深度图处理不佳的问题，提出SSNet，引入基于状态空间模型的解码器、跨模态选择性扫描机制、显著性增强模块及自适应对比增强技术，在七个基准数据集上优于现有方法。
2025-03-04 cs.CV
ACFNet: Adaptively-Cooperative Fusion Network for RGB-D Salient Object Detection
Nankai University（南开大学）
RGB和深度数据的合理使用对促进计算机视觉任务和机器人与环境交互的发展具有重要意义。但两类数据的早期融合和后期融合各有优缺点。此外，由于对象信息的多样性，在特定场景中使用单一类型的数据容易导致语义误导。基于上述考虑，我们提出了一个自适应合作融合网络（ACFNet）与ResinRes结构的显著目标检测。该结构的设计灵活地利用了早期和后期特征融合的优势。其次，自适应合作语义引导（ACG）计划的设计，以抑制不准确的功能在指导阶段。此外，我们提出了一个基于类型的注意力模块（TAM），以优化网络和增强不同对象的多尺度感知。对于不同的对象，由不同类型的卷积生成的特征通过门控机制进行增强或抑制，以进行分割优化。ACG和TAM分别根据特征流的数据属性和卷积属性优化特征流的传输。在RGB-D SOD数据集上进行的充分实验表明，该网络对18种最先进的算法表现良好。
2021-09-10 cs.CV
MambaSOD: Dual Mamba-Driven Cross-Modal Fusion Network for RGB-D Salient Object Detection
the University of Hong Kong（香港大学）；Chongqing University（重庆大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出MambaSOD，首次将Mamba引入RGB-D显著目标检测，通过双Mamba特征提取器和跨模态融合Mamba以线性复杂度建模长距离依赖并有效融合RGB与深度互补信息，在六个数据集上超越十六个SOTA模型。
2024-10-19 cs.CV
Accurate RGB-D Salient Object Detection via Collaborative Learning
Dalian University of Technology（大连理工大学）；Pengcheng Lab（鹏城实验室）
得益于深度图像中嵌入的空间线索，RGB-D显著性检测的最新进展在一些挑战性场景中显示出令人印象深刻的能力。然而，仍然有两个限制。一方面是，池化和上采样操作可能会导致模糊对象边界。另一方面，使用额外的深度网络来提取深度特征可能导致高计算和存储成本。在测试过程中对深度输入的依赖也限制了当前RGB-D模型的实际应用。在本文中，我们提出了一种新的协作学习框架，边缘，深度和显着性的杠杆在一个更有效的方式，巧妙地解决了这些问题。显式提取的边缘信息与显著性一起，以更加强调显著区域和对象边界。深度和显著性学习以互利的方式创新地集成到高级特征学习过程中。该策略使网络无需使用额外的深度网络和深度输入来进行推理。为此，它使我们的模型更轻巧，更快，更通用。在7个基准数据集上的实验结果表明了该算法的优越性能。
2020-07-23 cs.CV
RGB-D Salient Object Detection Based on Discriminative Cross-modal Transfer Learning
在这项工作中，我们建议利用卷积神经网络，以提高深度引起的显着目标检测的性能，通过捕捉深度模态的高级代表性特征。我们将深度诱导的显著性检测公式化为基于CNN的跨模态传输问题，以弥合CNN的“数据饥饿”性质与深度模态中无法获得足够的标记训练数据之间的差距。在所提出的方法中，我们通过训练RGB显着性检测网络来有效地利用来自源模态的辅助数据，以获得目标模态的特定于任务的预理解层。同时，我们通过预训练一个模态分类网络来利用深度特定信息，该网络在优化过程中鼓励模态特定的表征。因此，它可以使RGB和深度模态的特征表示尽可能具有区别性。这两个模块独立地进行预训练，然后拼接以初始化和优化最终的深度诱导显著性检测模型。实验证明了所提出的新的预训练策略的有效性，以及所提出的方法比其他国家的最先进的方法显着和一致的改进。
2017-05-31 cs.CV
TANet: Transformer-based Asymmetric Network for RGB-D Salient Object Detection
Northeastern University（东北大学）；DUT Artificial Intelligence Institute（大连理工大学人工智能研究院）
现有的RGB-D SOD方法主要依赖于基于CNN的对称双流网络来分别提取RGB和深度通道特征。然而，对称的常规网络结构存在两个问题：第一，CNN在学习全局上下文方面的能力有限;第二，对称的双流结构忽略了模态之间的固有差异。在本文中，我们提出了一个基于变压器的非对称网络（TANet）来解决上述问题。我们利用Transformer（PVTv 2）强大的特征提取能力从RGB数据中提取全局语义信息，并设计了一个轻量级的CNN骨干（LWDepthNet）从深度数据中提取空间结构信息，而无需预先训练。非对称混合编码器（AHE）有效地减少了模型中的参数数量，同时提高了速度而不牺牲性能。然后，我们设计了一个跨模态特征融合模块（CMFFM），它增强和融合RGB和深度特征。最后，我们加入边缘预测作为辅助任务，并提出了一个边缘增强模块（EEM），以产生更清晰的轮廓。大量的实验表明，我们的方法在6个公共数据集上的性能优于14种最先进的RGB-D方法。我们的代码将在https://github.com/lc012463/TANet上发布。
2022-07-04 cs.CV
RA-SOD: Reliability-Aware RGB-T Salient Object Detection under Modality Degradation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（哈尔滨工业大学机器人技术与系统国家重点实验室）；School of Computer Science, University of Sydney（悉尼大学计算机科学学院）
针对RGB-T显著目标检测中模态退化导致融合不可靠的问题，提出可靠性感知框架RA-SOD，通过可靠性条件化表示、不确定性引导细化及像素级模态竞争机制，在四个基准上取得最优性能。
2026-09-14 cs.CV
GroupTransNet: Group Transformer Network for RGB-D Salient Object Detection
Nankai University（南开大学）
RGB-D图像上的显著目标检测是计算机视觉中的一个活跃课题。虽然现有的方法已经取得了可观的性能，但仍然存在一些挑战。卷积神经网络的局部性要求模型具有足够深的全局感受野，这往往会导致局部细节的丢失。为了解决这个问题，我们提出了一种新的组Transformer网络（GroupTransNet）的RGB-D显着目标检测。该方法善于学习跨层特征的长程依赖关系，促进特征表达的更加完善。首先，对中间三个层次和后三个层次中稍高类别的特征进行软分组，以吸收高级特征的优点。通过注意力机制对输入特征进行反复的净化和增强，净化出颜色模态和深度模态的交叉模态特征。中间过程的特征首先由不同层的特征融合，然后由多个组中的几个Transformers进行处理，不仅使每个尺度的特征大小统一且相互关联，而且达到了组内共享特征权重的效果。不同类别的输出特征由于层次的差异，完成两级交错的聚类，并与低层特征合并。大量的实验表明，GroupTransNet优于比较模型，并实现了新的国家的最先进的性能。
2022-03-21 cs.CV
Does Thermal Really Always Matter for RGB-T Salient Object Detection?
Beijing Jiaotong University（北京交通大学）；City University of Hong Kong（香港城市大学）；Southern University of Science and Technology（南方科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
近年来，RGB-T显著目标检测（SOD）受到了持续的关注，这使得通过引入热图像来识别弱光等环境中的显著物体成为可能。然而，现有的RGB-T SOD模型大多集中在如何进行跨模态特征融合，忽略了热图像是否真的总是在SOD任务的问题。从该任务的定义和性质出发，重新思考了热模态的内涵，并提出了一种解决RGB-T SOD任务的网络TNet。本文引入了一个全局光照估计模块来预测图像的全局照度得分，从而调节两种模态所起的作用。此外，考虑到热通道的作用，我们在编码阶段和解码阶段建立了不同的跨通道交互机制。一方面，在编码阶段引入语义约束提供器，丰富了热图像的语义，使热模态更适合SOD任务。另一方面，我们在解码阶段引入了两阶段定位和互补模块，将热特征中的对象定位线索和内部完整性线索转移到RGB模态。在三个数据集上进行的大量实验表明，与20种最先进的方法相比，所提出的TNet具有竞争力的性能。
2022-10-09 cs.CV
HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；School of Mathematics, Southeast University（东南大学数学学院）
本文提出HyPSAM，利用SAM的零样本能力，结合动态融合网络生成视觉提示和即插即用细化网络引导混合提示，在RGB-T显著目标检测中实现最先进性能并具备强通用性。
2025-09-23 cs.CV
Modal-Adaptive Gated Recoding Network for RGB-D Salient Object Detection
Nankai University（南开大学）；Tianjin University of Finance and Economics（天津财经大学）
基于RGB-D信息的多模态显著性目标检测模型在现实世界中具有较好的鲁棒性。然而，它仍然是不平凡的，以更好地自适应平衡有效的多模态信息的特征融合阶段。在这封信中，我们提出了一种新的门控编码网络（GRNet）来评估这两种模式的信息有效性，并平衡它们的影响。我们的框架分为三个阶段：感知阶段，重新编码混合阶段和特征集成阶段。首先，采用感知编码器提取多层次的单模态特征，为多模态语义对比分析奠定基础。然后，提出了一种模态自适应门单元（MGU）来抑制无效信息，并将有效的模态特征传递到重新编码混合器和混合分支解码器。重编码混合器负责对均衡后的多模态信息进行重编码和混合。最后，混合分支解码器在一个可选的边缘引导流（OEGS）的指导下完成多层次的特征融合。八个流行的基准测试的实验和分析验证了我们的框架表现良好，对9个国家的最先进的方法。
2021-11-09 cs.CV
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab（腾讯Jarvis实验室）；University of Science and Technology of China（中国科学技术大学）
自动显著目标检测（SOD）在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络（CNN）通过将深度信息重新表达为监督而不是输入，在RGB和RGB-D SOD场景下都取得了令人满意的结果，其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说，我们开发了深度监督融合Transformer（DFTR），以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征：1）DFTR是第一个基于transformer的深度监督SOD模型; 2）提出了多尺度特征聚合（MFA）模块，充分利用Swin Transformer编码的多尺度特征; 3）为了实现不同特征流之间的双向信息流，一种新的多阶段特征融合（MFF）模块进一步集成到我们的DFTR中，重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明，我们的DFTR始终优于现有的最先进的方法，RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection
Beijing Jiaotong University（北京交通大学）；Shandong University（山东大学）；Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）
针对现有RGB-D显著目标检测方法在全局长距离依赖建模上的不足，提出融合CNN辅助Transformer的PICR-Net，通过跨模态点感知交互与CNN诱导精炼模块提升检测性能，在5个数据集上取得有竞争力的结果。
2024-12-07 cs.CV
DPANet: Depth Potentiality-Aware Gated Attention Network for RGB-D Salient Object Detection
University of Chinese Academy of Sciences（中国科学院大学）；Beijing Jiaotong University（北京交通大学）；City University of Hong Kong（香港城市大学）
在RGB-D显著目标检测中存在两个主要问题：（1）如何有效地整合来自交叉模态RGB-D数据的互补性;（2）如何防止来自不可靠深度图的污染效应。实际上，这两个问题是相互联系、相互交织的，但以往的方法往往只关注第一个问题，而忽略了对深度图质量的考虑，这可能会使模型陷入次优状态。在本文中，我们在一个整体模型中协同解决这两个问题，并提出了一种名为DPANet的新型网络，以明确地模拟深度图的潜力，并有效地整合跨模态互补性。通过引入深度潜势感知，该网络能够以学习的方式感知深度信息的潜势，指导两种模态数据的融合过程，防止污染的发生。融合过程中的门控多模态注意力模块利用具有门控制器的注意力机制从跨模态的角度捕获长程依赖性。在8个数据集上与15种最先进的方法进行了比较，实验结果从定量和定性上证明了该方法的有效性。
2020-09-29 cs.CV
