Knowing Depth Quality In Advance: A Depth Quality Assessment Method For RGB-D Salient Object Detection
State Key Laboratory of VRTS, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室);College of Computer Science and Technology, Qingdao University(青岛大学计算机科学与技术学院);Stonybrook University(石溪大学)
先前的RGB-D显着目标检测(SOD)方法已广泛采用深度学习工具来自动在RGB和D(深度)之间进行权衡,其关键原理是充分利用它们的互补性质,旨在比单独使用它们中的任何一个大大提高SOD性能。然而,这种全自动融合可能并不总是有助于SOD任务,因为D质量本身通常随场景而变化。如果不事先考虑D质量,则很容易导致次优融合结果。此外,作为一个客观因素,D质量长期被忽视的以前的工作。因此,它正在成为一个明显的性能瓶颈。因此,我们提出了一个简单而有效的计划来衡量D质量提前,其核心思想是设计一系列的功能,根据高质量的D区域的共同属性。更具体地说,我们进行D质量评估的每个图像区域,以下多尺度的方法,包括低级别的边缘一致性,中级区域的不确定性和高级别的模型方差。所有这些分量将被独立计算,然后与RGB和D特征组合,作为隐式指示器应用,以指导选择性融合。与现有的融合方法相比,该方法能够获得更合理的RGB与D的融合状态。具体而言,所提出的D质量测量方法实现了稳定的性能改善,一般接近2.0%。
2020-08-07 cs.CV cs.LG
Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学)
最近,深度卷积神经网络在显著目标检测方面取得了重大成功。然而,现有的最先进的方法需要高端GPU来实现实时性能,这使得它们难以适应低成本或便携式设备。虽然已经提出了通用网络架构来加速移动设备上的推理,但它们是针对图像分类或语义分割的任务而定制的,并且难以捕获通道内和通道间的相关性,这些相关性对于显著目标检测中的对比度建模至关重要。受上述观察的启发,我们设计了一种新的深度学习算法,用于快速显著目标检测。该算法首次实现了竞争的准确性和高推理效率,同时与一个单一的CPU线程。具体来说,我们提出了一种新的dependency非本地的鼠标(DNL),隐式模型的对比度,通过收获通道内和通道间的相关性在一个自我注意的方式。此外,我们引入了一个dependent-non-local网络架构,它结合了dependent-non-local模块和倒置残差块。实验结果表明,我们提出的网络在广泛的显着目标检测数据集上获得了非常有竞争力的准确性,同时在所有现有的基于深度学习的算法中实现了最先进的效率。
2020-01-22 cs.CV
Exploring Driving-aware Salient Object Detection via Knowledge Transfer
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室);Meituan(美团)
近年来,随着深度神经网络的快速发展,一般显著目标检测(SOD)取得了很大进展。然而,由于缺乏特定任务的数据集,任务感知SOD几乎没有研究。在本文中,我们构建了一个驱动的面向任务的数据集,其中的像素级掩模的显着对象已被注释。与一般SOD数据集相比,我们发现跨领域的知识差异和特定任务的场景差距是驾驶时聚焦显著对象的两个主要挑战。受这些发现的启发,我们通过知识转移卷积神经网络提出了驾驶任务感知SOD的基线模型。在这个网络中,我们构建了一个基于注意力的知识转移模块,以弥补知识的差异。此外,一个有效的边界感知的特征解码模块被引入到执行精细的特征解码的对象在复杂的特定任务的场景。整个网络以渐进的方式集成了知识传递和特征解码模块。实验结果表明,该数据集是非常具有挑战性的,所提出的方法优于12个国家的最先进的方法在数据集上,这有利于开发的任务感知SOD。
2021-05-18 cs.CV
SPSN: Superpixel Prototype Sampling Network for RGB-D Salient Object Detection
Yonsei University(延世大学)
RGB-D显著目标检测(SOD)是视觉系统中重要的预处理操作,近年来受到广泛关注。然而,尽管基于深度学习的方法取得了进展,但由于RGB图像与深度图之间的大域间隙以及低质量深度图,RGB-D SOD仍然具有挑战性。为了解决这个问题,我们提出了一种新的超像素原型采样网络(SPSN)架构。该模型将输入的RGB图像和深度图分割成组件超像素,以生成组件原型。我们设计了一个原型采样网络,使得网络只对与显著对象相对应的原型进行采样。此外,我们提出了一个可靠性选择模块来识别每个RGB和深度特征图的质量,并根据其可靠性自适应地对其进行加权。该方法使模型对RGB图像和深度图之间的不一致具有鲁棒性,并消除了非显著对象的影响。我们的方法在五个流行的数据集上进行了评估,达到了最先进的性能。通过对比实验证明了该方法的有效性。
2022-07-16 cs.CV
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab(腾讯Jarvis实验室);University of Science and Technology of China(中国科学技术大学)
自动显著目标检测(SOD)在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络(CNN)通过将深度信息重新表达为监督而不是输入,在RGB和RGB-D SOD场景下都取得了令人满意的结果,其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说,我们开发了深度监督融合Transformer(DFTR),以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征:1)DFTR是第一个基于transformer的深度监督SOD模型; 2)提出了多尺度特征聚合(MFA)模块,充分利用Swin Transformer编码的多尺度特征; 3)为了实现不同特征流之间的双向信息流,一种新的多阶段特征融合(MFF)模块进一步集成到我们的DFTR中,重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明,我们的DFTR始终优于现有的最先进的方法,RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
Dynamic Message Propagation Network for RGB-D Salient Object Detection
本文提出了一种用于RGB-D显著目标检测的新型深度神经网络框架,通过在特征层上控制RGB图像和深度图之间的消息传递,并探索RGB和深度特征上的远程语义上下文和几何信息来推断显著对象。为了实现这一点,我们制定了一个动态的消息传播(ESTA)模块的图神经网络和变形卷积动态学习的上下文信息,并自动预测过滤器的权重和亲和矩阵的消息传播控制。我们进一步将该模块嵌入到基于Siamese的网络中,分别处理RGB图像和深度图,并设计了一个多层次特征融合(MFF)模块,以探索细化的RGB和深度特征之间的跨层次信息。在6个标准数据集上与17种最先进的RGB-D显著性目标检测方法进行了比较,实验结果表明,该方法在定量和视觉上都优于其他方法。
2022-06-20 cs.CV
Selectivity or Invariance: Boundary-aware Salient Object Detection
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学)
典型地,显著目标检测(SOD)模型在处理对象内部和边界时面临相反的要求。内部特征对强烈的外观变化应具有不变性,以突出整体的显著对象,而边界特征对轻微的外观变化应具有选择性,以区分显著对象和背景。为了解决这种选择性不变性的困境,我们提出了一种新的边界感知网络与连续膨胀的基于图像的SOD。在该网络中,通过引入边界定位流来增强边界处的特征选择性,同时通过复杂的内部感知流来保证内部的特征不变性。此外,过渡补偿流被用来修正内部和边界之间的过渡区域的可能故障。特别地,提出了一种集成的连续膨胀模块,以增强内部和过渡区域的特征不变性。在六个数据集上的实验表明,该方法优于16种最先进的方法。
2019-09-11 cs.CV
Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection
Beihang University(北京航空航天大学);Jiangxi University of Finance and Economics(江西财经大学);Stony Brook University(石溪大学);Qingdao University(青岛大学)
现有的RGB-D显著性目标检测方法将深度信息作为独立分量来补充其RGB部分,并且广泛遵循双流并行网络架构。为了选择性地融合从RGB和深度两者提取的CNN特征作为最终结果,最先进的(SOTA)双流网络通常由两个独立的子分支组成;即,一个子分支用于RGB显著性,另一个子分支用于深度显著性。然而,其深度显著性持续地劣于RGB显著性,因为RGB分量本质上比深度分量信息更多。双流架构容易使其后续融合过程偏向RGB子分支,导致性能瓶颈。在本文中,我们提出了一种新的数据级重组策略,在深度特征提取之前将RGB与D(深度)融合,其中我们将原始的4维RGB-D循环转换为\textbf{D} GB,R \textbf{D} B和RG \textbf{D}。然后,一个新的轻量级设计的三流网络应用于这些新的制定数据,以实现RGB和D之间的最佳通道互补融合状态,实现新的SOTA性能。
2020-08-07 cs.CV cs.LG stat.ML
Accurate RGB-D Salient Object Detection via Collaborative Learning
Dalian University of Technology(大连理工大学);Pengcheng Lab(鹏城实验室)
得益于深度图像中嵌入的空间线索,RGB-D显著性检测的最新进展在一些挑战性场景中显示出令人印象深刻的能力。然而,仍然有两个限制。一方面是,池化和上采样操作可能会导致模糊对象边界。另一方面,使用额外的深度网络来提取深度特征可能导致高计算和存储成本。在测试过程中对深度输入的依赖也限制了当前RGB-D模型的实际应用。在本文中,我们提出了一种新的协作学习框架,边缘,深度和显着性的杠杆在一个更有效的方式,巧妙地解决了这些问题。显式提取的边缘信息与显著性一起,以更加强调显著区域和对象边界。深度和显著性学习以互利的方式创新地集成到高级特征学习过程中。该策略使网络无需使用额外的深度网络和深度输入来进行推理。为此,它使我们的模型更轻巧,更快,更通用。在7个基准数据集上的实验结果表明了该算法的优越性能。
2020-07-23 cs.CV
DPANet: Depth Potentiality-Aware Gated Attention Network for RGB-D Salient Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Beijing Jiaotong University(北京交通大学);City University of Hong Kong(香港城市大学)
在RGB-D显著目标检测中存在两个主要问题:(1)如何有效地整合来自交叉模态RGB-D数据的互补性;(2)如何防止来自不可靠深度图的污染效应。实际上,这两个问题是相互联系、相互交织的,但以往的方法往往只关注第一个问题,而忽略了对深度图质量的考虑,这可能会使模型陷入次优状态。在本文中,我们在一个整体模型中协同解决这两个问题,并提出了一种名为DPANet的新型网络,以明确地模拟深度图的潜力,并有效地整合跨模态互补性。通过引入深度潜势感知,该网络能够以学习的方式感知深度信息的潜势,指导两种模态数据的融合过程,防止污染的发生。融合过程中的门控多模态注意力模块利用具有门控制器的注意力机制从跨模态的角度捕获长程依赖性。在8个数据集上与15种最先进的方法进行了比较,实验结果从定量和定性上证明了该方法的有效性。
2020-09-29 cs.CV
RGB-D Salient Object Detection Based on Discriminative Cross-modal Transfer Learning
在这项工作中,我们建议利用卷积神经网络,以提高深度引起的显着目标检测的性能,通过捕捉深度模态的高级代表性特征。我们将深度诱导的显著性检测公式化为基于CNN的跨模态传输问题,以弥合CNN的“数据饥饿”性质与深度模态中无法获得足够的标记训练数据之间的差距。在所提出的方法中,我们通过训练RGB显着性检测网络来有效地利用来自源模态的辅助数据,以获得目标模态的特定于任务的预理解层。同时,我们通过预训练一个模态分类网络来利用深度特定信息,该网络在优化过程中鼓励模态特定的表征。因此,它可以使RGB和深度模态的特征表示尽可能具有区别性。这两个模块独立地进行预训练,然后拼接以初始化和优化最终的深度诱导显著性检测模型。实验证明了所提出的新的预训练策略的有效性,以及所提出的方法比其他国家的最先进的方法显着和一致的改进。
2017-05-31 cs.CV
Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection
Sichuan University(四川大学);Inception Institute of AI(Inception人工智能研究院)
RGB-D显著性目标检测(SOD)由于具有额外的深度信息而使传统的RGB SOD受益,近年来吸引了越来越多的研究兴趣。然而,现有的RGB-D SOD模型在效率和准确性方面往往表现不佳,这阻碍了它们在移动设备和现实问题上的潜在应用。一个潜在的挑战是,当模型被简化为只有很少的参数时,模型的准确性通常会降低。为了解决这个难题,也受到深度质量是影响准确性的关键因素的启发,我们提出了一种新的深度质量启发的特征操作(DQFM)过程,它本身是高效的,可以作为过滤深度特征的门控机制,以大大提高准确性。DQFM采用低级别RGB和深度特征的对齐,以及对深度流的整体关注来显式控制和增强跨模态融合。我们嵌入DQFM以获得一个高效的轻量级模型,称为DFM-Net,其中我们还设计了一个定制的深度骨干和一个两级解码器,以进一步提高效率。大量的实验结果表明,我们的DFM-Net达到了最先进的精度相比,现有的非有效的模型,同时运行在140毫秒的CPU(2.2 $\times$比以前最快的有效模型),只有$\sim$ 8.5 Mb的模型大小(14.9%的以前最轻)。我们的代码将在https://github.com/zwbx/DFM-Net上提供。
2021-07-06 cs.CV
Geometry-Aware 3D Salient Object Detection Network
Northwestern Polytechnical University(西北工业大学);Nanjing University of Science and Technology(南京理工大学)
针对点云显著目标检测中边界模糊问题,提出几何感知网络,通过超点划分与几何增强模块,在PCSOD数据集上取得最先进性能。
2025-02-23 cs.CV
PDNet: Prior-model Guided Depth-enhanced Network for Salient Object Detection
Peking University Shenzhen Graduate School(北京大学深圳研究生院)
全卷积神经网络(FCN)在包括显著目标检测在内的许多计算机视觉任务中表现出出色的性能。然而,在基于深度学习的显著性检测中仍然存在两个需要解决的问题。一个是缺乏大量的注释数据来训练网络。另一个是缺乏鲁棒性提取图像中包含复杂场景的显著对象。在本文中,我们提出了一个新的架构$ - $ PDNet,一个强大的先验模型引导的深度增强网络的RGB-D显着目标检测。与现有的将图像像素的RGB-D值直接馈送到网络的工作相比,所提出的架构由用于处理RGB值的主网络和充分利用深度线索并将基于深度的特征纳入主网络的子网络组成。为了克服用于训练的标记RGB-D数据集的有限大小,我们采用了一个大型的传统RGB数据集来预训练主网络,这被证明对最终的准确性有很大贡献。对五个基准数据集的广泛评估表明,我们提出的方法对最先进的方法表现良好。
2018-10-13 cs.AI cs.CV cs.MM
BTS-Net: Bi-directional Transfer-and-Selection Network For RGB-D Salient Object Detection
Sichuan University(四川大学)
深度信息已被证明在RGB-D显著目标检测(SOD)中是有益的。然而,所获得的深度图通常遭受低质量和不准确性。大多数现有的RGB-D SOD模型在其编码器级中没有跨模态交互或仅具有从深度到RGB的单向交互,这可能导致在面对低质量深度时编码器特征不准确。为了解决这一限制,我们建议在编码器阶段进行渐进的双向交互,产生一种新的双向传输和选择网络,名为BTS-Net,它采用了一组双向传输和选择(BTS)模块,以在编码过程中纯化功能。基于所得到的鲁棒编码器功能,我们还设计了一个有效的轻量级组解码器,以实现准确的最终显着性预测。在六个广泛使用的数据集上进行的综合实验表明,BTS-Net在四个关键指标方面超过了16种最新的最先进的方法。
2021-04-05 cs.CV
Scribble-based Boundary-aware Network for Weakly Supervised Salient Object Detection in Remote Sensing Images
University of Electronic Science and Technology of China(电子科技大学);Inception Institute of Artificial Intelligence (IIAI)(人工智能初始研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
现有的基于CNN的显著目标检测(SOD)严重依赖于大规模像素级标注,这是劳动密集型的,耗时的,并且昂贵。相比之下,稀疏注释变得对突出的目标检测社区有吸引力。然而,很少有人致力于学习显着的目标检测稀疏注释,特别是在遥感领域。此外,稀疏注释通常包含很少的信息,这使得训练性能良好的模型具有挑战性,导致其性能大大落后于全监督模型。虽然一些SOD方法采用一些先验线索来提高检测性能,但它们通常缺乏对对象边界的有针对性的区分,从而提供边界定位较差的显著图。为此,在本文中,我们提出了一种新的弱监督显着目标检测框架来预测显着性的遥感图像稀疏潦草的注释。为了实现它,我们首先构建基于涂鸦的遥感显著性数据集,通过重新标记现有的大规模SOD数据集与涂鸦,即S-EOR数据集。在此基础上,我们提出了一种新的基于涂鸦的边界感知网络(SBA-Net)的遥感显著目标检测。具体来说,我们设计了一个边界感知模块(BAM)来探索对象边界语义,该语义由边界标签生成(BLG)模块生成的高置信度对象边界(伪)标签显式监督,迫使模型学习突出对象结构的特征,从而提高对象的边界定位。然后,边界语义与高层特征相结合,指导涂鸦标签监督下的显著目标检测。
2022-02-07 cs.CV
Boundary-Aware Salient Object Detection via Recurrent Two-Stream Guided Refinement Network
Hunan University(湖南大学)
最近基于深度学习的显著性目标检测方法同时利用显著性和边界特征,取得了显着的性能。然而,大多数算法忽略了显著性特征和边界特征之间的互补性,在前景和背景对比度较低的场景中预测效果较差。为了解决这个问题,我们提出了一种新的递归双流引导精化网络(RTGRNet),它由迭代双流引导精化模块(TGRM)组成。TGRM包括一个引导块和两个特征流:显著性和边界,引导块利用前一个TGRM后的细化特征,进一步提高当前TGRM中两个特征流的性能。同时,低层次的综合特征也被用来作为参考,以获得更好的细节。最后,我们通过反复堆叠更多的TGRM来逐步完善这些功能。在六个公共数据集上的大量实验表明,我们提出的RTGRNet在显著目标检测方面达到了最先进的性能。
2019-12-11 cs.CV
CAGNet: Content-Aware Guidance for Salient Object Detection
Iran University of Science and Technology(伊朗科技大学);Imagia Inc.(Imagia公司)
显著性检测方法得益于全卷积神经网络(FCN),取得了很好的效果。然而,在复杂的场景中学习用于检测显著对象的有效特征仍然是具有挑战性的,其中i)非显著区域可能具有“类似显著”的外观; ii)显著对象可能具有不同外观的区域。为了处理这些复杂的场景,我们提出了一种特征引导网络,该网络利用低级和高级特征的性质来i)使前景和背景区域更加明显,并抑制具有“显著”外观的非显著区域; ii)将前景标签分配给不同外观的显著区域。此外,我们利用一个多尺度特征提取模块(MFEM)的每个抽象层次,以获得多尺度的上下文信息。最后,我们设计了一个损失函数,它的性能优于目前广泛使用的交叉熵损失。通过采用四种不同的预训练模型作为骨干,我们证明了我们的方法是非常普遍的骨干模型的选择。在五个具有挑战性的数据集上的实验表明,我们的方法在不同的评估指标方面达到了最先进的性能。此外,我们的方法包含比现有方法更少的参数,不需要任何后处理,并且在处理480 x 480图像时以28 FPS的实时速度快速运行。
2020-04-04 cs.CV
Cross-Modal Weighting Network for RGB-D Salient Object Detection
Shanghai University(上海大学);University of Manitoba(曼尼托巴大学);Huawei Technologies Canada(华为技术加拿大公司);Stony Brook University(石溪大学)
深度图包含用于辅助显著目标检测(SOD)的几何线索。在本文中,我们提出了一种新的跨模态加权(CMW)策略,以鼓励RGB和深度通道之间的全面互动RGB-D SOD。具体来说,三个RGB深度交互模块,命名为CMW-L,CMW-M和CMW-H,分别处理低,中,高层次的跨模态信息融合。这些模块使用深度到RGB加权(DW)和RGB到RGB加权(RW)来允许由不同网络块生成的特征层之间的丰富的跨模态和跨尺度交互。为了有效地训练所提出的跨模态加权网络(CMWNet),我们设计了一个复合损失函数,该函数总结了不同尺度上的中间预测和地面实况之间的误差。通过所有这些新组件的协同工作,CMWNet有效地融合了来自RGB和深度通道的信息,同时探索了跨尺度的对象定位和细节。全面的评估表明,CMWNet在7个流行的基准测试中始终优于15种最先进的RGB-D SOD方法。
2020-07-09 cs.CV
Uncertainty-aware Joint Salient Object and Camouflaged Object Detection
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);CSIRO(澳大利亚联邦科学与工业研究组织);EPFL(瑞士洛桑联邦理工学院)
视觉显著目标检测(SOD)的目的是发现引起人们注意的显著目标,而隐藏目标检测(COD)的目的是发现隐藏在周围环境中的隐藏目标。在本文中,我们提出了一个范例,利用矛盾的信息,以提高检测能力的显着目标检测和隐藏的目标检测。我们首先利用COD数据集中的易阳性样本作为SOD任务中的硬阳性样本,以提高SOD模型的鲁棒性。然后,我们引入了一个相似性度量模块来明确建模这两个任务的矛盾属性。此外,考虑到两个任务的数据集的标签的不确定性,我们提出了一个对抗学习网络,以实现高阶相似性度量和网络置信度估计。基准数据集上的实验结果表明,我们的解决方案导致国家的最先进的(SOTA)的性能为这两个任务。
2021-04-06 cs.CV
Progressive Multi-scale Fusion Network for RGB-D Salient Object Detection
Imperial College London(伦敦帝国学院);University of Liverpool(利物浦大学)
显著目标检测(SOD)的目的是在给定图像中定位最显著的目标。近年来,SOD在许多视觉任务中的应用取得了很大进展。深度图可以提供额外的空间先验和边界线索以提高性能。将深度信息与从标准视觉相机获得的图像数据相结合已被广泛应用于最近的SOD工作中,然而,在次优融合策略中引入深度信息可能会对SOD的性能产生负面影响。在本文中,我们讨论了所谓的渐进多尺度融合方法的优点,并提出了一个掩模引导的特征聚合模块(MGFA)。该框架可以有效地结合不同模态的两个特征,并进一步减轻错误的深度特征的影响,这是不可避免的深度质量的变化所造成的。我们进一步引入了一个掩码引导的细化模块(MGRM),以补充高层次的语义特征,并减少不相关的功能,从多尺度融合,导致整体细化的检测。在5个具有挑战性的基准上的实验表明,该方法在不同的评价指标下优于11种最先进的方法。
2021-06-07 cs.CV
Synthesize Boundaries: A Boundary-aware Self-consistent Framework for Weakly Supervised Salient Object Detection
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
本文提出一种边界感知自洽框架,通过合成凹陷区域图像和双分支结构(GIB与BAB)及自洽损失,在无需额外辅助数据的情况下提升弱监督显著目标检测的边界精度,并在多个基准上超越现有方法。
2022-12-04 cs.CV
Position-Aware Relation Learning for RGB-Thermal Salient Object Detection
提出基于swin transformer的位置感知关系学习网络PRLNet,通过带符号距离图辅助模块和方向场特征细化方法增强类内紧凑性与类间分离,生成清晰边界的显著目标掩膜,在三个基准数据集上优于现有方法。
2022-09-21 cs.CV
HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness
Université Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);Shanghai Jiao Tong University(上海交通大学)
本文提出HiDAnet,通过分层深度感知、粒度注意力、交叉双注意力模块及多尺度损失,实现RGB-D显著目标检测中多模态多层级特征的由粗到精融合,并在多个基准上以较大优势超越现有方法。
2023-01-18 cs.CV
When Depth Hurts: Reliability-Aware Geometry Distillation for Depth-Free RGB-D Salient Object Detection
University of International Business and Economics(对外经济贸易大学);State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);China University of Petroleum(中国石油大学);Southwest Jiaotong University(西南交通大学);Beijing University Of Technology(北京工业大学)
该研究针对RGB-D SOD中传感器深度不可靠的问题,提出不依赖数据集深度的可靠性感知几何蒸馏框架,利用Depth Anything V2作为教师模型蒸馏几何信息,在多数据集对比中取得最优结果,且几何信息可跨域迁移。
2026-09-04 cs.CV
SAM-DAQ: Segment Anything Model with Depth-guided Adaptive Queries for RGB-D Video Salient Object Detection
针对现有SAM直接用于RGB-D视频显著性目标检测存在的三大挑战,本文提出SAM-DAQ方法,通过深度引导并行适配器与查询驱动时序记忆模块适配SAM2,在三个数据集上的所有指标均超越现有最优方法。
2025-11-13 cs.CV
A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection
Dalian University of Technology(大连理工大学);Peng Cheng Laboratory(鹏城实验室);The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
现有的RGB-D显著目标检测(SOD)方法集中于RGB流和深度流之间的跨模态融合。他们没有深入探索深度图本身的效果。本文设计了一个单流网络,直接使用深度图来指导RGB和深度的早期融合和中期融合,节省了深度流的特征编码器,实现了一个轻量级的、实时的【形】【形状】模型。我们从两个角度巧妙地利用了深度信息:(1)克服了模态之间差异较大导致的不兼容问题,构建了一个单一的流编码器来实现早期融合,可以充分利用ImageNet预训练的骨干模型来提取丰富的和有区别的特征。(2)我们设计了一种新的深度增强双注意模块(DEDA),有效地提供前/背景分支的空间滤波功能,使解码器能够最佳地执行中间融合。此外,我们还提出了一个多人参与的特征提取模块(PAFE)来精确定位不同尺度的目标。大量的实验表明,该模型表现良好,对大多数国家的最先进的方法在不同的评价指标。此外,该模型比当前最轻的模型轻55.5%,并且在处理$384 \times 384$图像时以32 FPS的实时的【形】速度运行。
2020-07-15 cs.CV
SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection
Anhui University(安徽大学)
卷积神经网络(CNN)擅长于提取特定感受野内的纹理特征,而Transformers则可以对全局的长程依赖特征进行建模。Swin Transformer吸收了Transformer的优点和CNN的优点,表现出较强的特征表示能力。在此基础上,我们提出了一种用于RGB-D和RGB-T显着目标检测的跨模态融合模型SwinNet。该方法以Swin Transformer为驱动,提取层次特征;以注意力机制为辅助,弥合两种模态之间的鸿沟;以边缘信息为引导,锐化显著对象的轮廓。具体而言,两码流Swin Transformer编码器首先提取多模态特征,然后提出空间对齐和通道重校准模块,优化层内跨模态特征。为了澄清模糊边界,边缘引导解码器在边缘特征的指导下实现跨模态融合。该模型在RGB-D和RGB-T数据集上的表现优于最先进的模型,表明它提供了对跨模态互补任务的更多见解。
2022-04-12 cs.CV
Salient Object Detection in the Deep Learning Era: An In-Depth Survey
ETH Zurich(苏黎世联邦理工学院);the Chinese University of Hong Kong(香港中文大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院);Beijing Institute of Technology(北京理工大学);Temple University(天普大学);the University of Kentucky(肯塔基大学)
显著目标检测(SOD)作为计算机视觉中的一个基本问题,近年来受到了越来越多的研究关注。SOD的最新进展主要由基于深度学习的解决方案(称为深度SOD)领导。为了深入了解深层SOD,在本文中,我们提供了一个全面的调查,涵盖各个方面,从算法分类到未解决的问题。特别是,我们首先从不同的角度回顾了深度SOD算法,包括网络架构,监督级别,学习范式和对象/实例级检测。在此基础上,我们总结和分析了现有的SOD数据集和评估指标。然后,我们基准测试了一大群代表性的SOD模型,并提供了详细的分析比较结果。此外,我们研究了SOD算法在不同属性设置下的性能,这是以前没有深入探讨过的,通过构建一个新的SOD数据集,具有丰富的属性注释,涵盖各种显着的对象类型,具有挑战性的因素,和场景类别。我们进一步分析,在该领域的第一次,SOD模型的鲁棒性随机输入扰动和对抗攻击。我们还研究了现有SOD数据集的泛化和困难。最后,我们讨论了SOD的几个开放问题,并概述了未来的研究方向。
2021-01-08 cs.CV
Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection
Beijing Jiaotong University(北京交通大学);Meituan(美团);City University of Hong Kong(香港城市大学)
深度图的普及和推广为显著目标检测(SOD)带来了新的生机和活力,大量的RGB-D SOD算法被提出,主要集中在如何更好地融合RGB图像和深度图的跨模态特征。对于特征编码器中的跨模态交互,现有方法要么不加区别地对待RGB和深度模态,要么习惯性地将深度线索作为RGB分支的辅助信息。与之不同的是,我们重新考虑了两种模态的状态,并提出了一种新的跨模态差异交互网络(CDINet)的RGB-D SOD,根据不同层的特征表示差异模型的依赖性的两种模态。为此,设计了两个组件来实现有效的跨模态交互:1)RGB诱导的细节增强(RDE)模块利用RGB模态在低级编码器阶段增强深度特征的细节。2)深度诱导语义增强(DSE)模块将深度特征的对象定位和内部一致性传递到高级编码器阶段的RGB分支。此外,我们还设计了一种密集解码重建(DDR)结构,它通过结合多层次的编码器特征来构建一个语义块,以提升特征解码中的跳过连接。在五个基准数据集上进行的大量实验表明,我们的网络在定量和定性方面都优于$15$最先进的方法。我们的代码可在https://rmcong.github.io/proj_CDINet.html上公开获取。
2021-08-04 cs.CV
Depth Quality-Inspired Feature Manipulation for Efficient RGB-D and Video Salient Object Detection
Sichuan University(四川大学);Wuhan University(武汉大学)
最近,基于CNN的RGB-D显著目标检测(SOD)在检测精度上获得了显著的提高。然而,现有的模型往往无法同时在效率和准确性方面表现良好。这阻碍了它们在移动设备上的潜在应用以及许多现实问题。为了弥补RGB-D SOD轻量级模型和大型模型之间的精度差距,本文提出了一个有效的模块,可以大大提高精度,但增加很少的计算。受深度质量是影响精度的关键因素的启发,我们提出了一种有效的深度质量启发的特征操作(DQFM)过程,它可以根据深度质量动态过滤深度特征。建议的DQFM诉诸低级别的RGB和深度功能的对齐,以及深度流的整体关注,以显式地控制和增强跨模态融合。我们嵌入DQFM,以获得一个高效的轻量级RGB-D SOD模型,称为DFM-Net,其中我们还设计了一个定制的深度骨干和两级解码器作为基本部分。在9个RGB-D数据集上的大量实验结果表明,我们的DFM-Net优于最近的高效模型,在CPU上运行约20 FPS,模型大小仅为8.5Mb,同时比最新的最佳模型A2 dele和MobileSal快2.9/2.4倍,小6.7/3.1倍。即使与非有效模型相比,它也保持了最先进的准确性。有趣的是,进一步的统计和分析验证了DQFM在没有任何质量标签的情况下区分各种质量的深度图的能力。最后但并非最不重要的是,我们进一步应用DFM-Net来处理视频SOD(VSOD),实现了与最近的高效模型相当的性能,同时比该领域先前…
2022-12-13 cs.CV
Joint Salient Object Detection and Camouflaged Object Detection via Uncertainty-aware Learning
Northwestern Polytechnical University(西北工业大学);the Australian National University(澳大利亚国立大学);EPFL(洛桑联邦理工学院);Shanghai AI Laboratory(上海人工智能实验室)
本文针对显著目标检测与伪装目标检测的矛盾属性,提出不确定性感知学习流程,通过数据集相关性利用、联合任务对比学习和任务/数据不确定性估计实现难度感知学习,在基准数据集上取得最先进性能。
2023-07-10 cs.CV
Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection
Yangzhou University(扬州大学);Northeastern University(东北大学)
在本文中,我们的目标是开发一种高效紧凑的深度网络,用于RGB-D显著目标检测,其中深度图像提供补充信息,以提高复杂场景中的性能。从多尺度残差块的粗略初始预测开始,我们提出了一个渐进引导的交替细化网络来细化它。我们首先通过从头开始学习来构建一个轻量级的深度流,而不是使用ImageNet预先训练的骨干网络,它可以更有效地提取互补特征,并且冗余更少。然后,不同于现有的基于融合的方法,RGB和深度特征被交替地馈送到建议的引导残差(GR)块中,以减少它们的相互退化。通过在每个侧输出内的堆叠GR块中分配渐进引导,可以很好地补救错误检测和丢失部分。在七个基准数据集上进行的大量实验表明,我们的模型在很大程度上优于现有的最先进的方法,并且在效率(71 FPS)和模型大小(64.9 MB)方面也表现出优越性。
2020-08-17 cs.CV
Modality-Guided Subnetwork for Salient Object Detection
Université Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);Shanghai Jiao Tong University(上海交通大学);Université Côte d’Azur(蔚蓝海岸大学)
最近基于RGBD的显著性检测模型引起了研究的关注。深度线索,如边界线索,表面法线,形状属性等,有助于识别具有复杂场景的显著对象。然而,大多数RGBD网络需要输入端的多模态,并通过双流设计分别馈送它们,这不可避免地导致深度传感器和计算的额外成本。为了解决这些不便,本文提出了一种新的融合设计命名为模态引导子网络(MGSnet)。它具有以下优越的设计:1)我们的模型适用于RGB和RGBD数据,如果不可用,则动态估计深度。考虑到深度预测网络的内部工作原理,我们建议从RGB输入中估计伪几何图-基本上模仿多模态输入。2)我们的MGSnet for RGB SOD可实现实时推理,但与其他RGB模型相比,其性能达到了最先进的水平。3)MGS的灵活和轻量级设计有助于集成到RGBD双流模型中。引入的融合设计实现了跨模态交互,以实现进一步的进展,但成本最低。
2021-10-25 cs.CV
Uncertainty-Aware Deep Calibrated Salient Object Detection
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);ACRV(澳大利亚机器人视觉中心);Data61;University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
现有的基于深度神经网络的显著性目标检测(SOD)方法主要集中在追求高网络准确性。然而,这些方法忽略了网络准确性和预测置信度之间的差距,称为置信度未校准问题。因此,最先进的SOD网络往往过于自信。换句话说,网络的预测置信度并不反映显著目标检测的正确性的真实概率,这显著地阻碍了它们在现实世界中的适用性。本文介绍了一种具有不确定性感知的深度SOD网络,并从不同角度提出了两种防止深度SOD网络过度自信的策略.第一种策略,即边界分布平滑(BDS),通过平滑原始二进制地面实况相对于像素的不确定性来生成连续标签。第二种策略,即不确定性感知温度缩放(UATS),在训练和测试过程中利用宽松的Sigmoid函数,采用空间变化的温度缩放来产生软化的输出。这两种策略都可以以最小的努力纳入现有的深度SOD网络。此外,我们提出了一个新的显着性评价指标,即密集校准测量C,以衡量如何在给定的数据集上校准模型。在7个基准数据集上的实验结果表明,该方法不仅可以更好地校正SOD模型,而且可以提高网络精度。
2020-12-10 cs.CV
Rethinking Lightweight Salient Object Detection via Network Depth-Width Tradeoff
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
现有的显著性目标检测方法往往采用更深更宽的网络来获得更好的性能,导致计算负担重,推理速度慢。这启发我们重新思考显著性检测,以实现效率和准确性之间的良好平衡。为此,我们设计了一个轻量级的框架,同时保持令人满意的竞争精度。具体来说,我们提出了一种新的三边解码器框架解耦的U形结构成三个互补的分支,这是为了面对淡化的语义上下文,空间结构的损失和缺乏边界细节,分别。随着三个分支的融合,粗分割结果在结构细节和边界质量上逐渐细化。在不增加额外可学习参数的情况下,我们进一步提出了尺度自适应池化模块来获得多尺度的感受野。特别是,在继承该框架的前提下,通过网络深度-宽度的权衡,重新思考了精度、参数和速度之间的关系。有了这些有见地的考虑,我们全面设计更浅更窄的模型,以探索轻量化SOD的最大潜力。我们的模型适用于不同的应用环境:1)用于资源受限设备的微型版CTD-S(1.7M,125 FPS),2)用于速度要求较高的场景的快速版CTD-M(12.6M,158 FPS),3)用于高性能平台的标准版CTD-L(26.5M,84 FPS)。大量的实验验证了我们的方法的优越性,在五个基准测试中实现了更好的效率-准确性平衡。
2023-01-17 cs.CV
Adaptive Fusion for RGB-D Salient Object Detection
College of Information Science & Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
RGB-D显著性目标检测旨在识别一对彩色和深度图像中视觉上最独特的对象。基于大多数显著对象至少在一种模态中脱颖而出的观察,本文提出了一种自适应融合方案,以融合从两种模态生成的显著性预测。具体来说,我们设计了一个双流卷积神经网络(CNN),每个网络都从RGB或深度模态中提取特征并预测显着性图。然后,显著性融合模块学习用于自适应地融合预测的显著性图的开关图。设计了一个由显著性监督、开关映射监督和边缘保持约束组成的损失函数进行全面监督,并以端到端的方式对整个网络进行训练。得益于自适应融合策略和边缘保持约束,我们的方法优于国家的最先进的方法在三个公开可用的数据集。
2019-01-08 cs.CV
Global Context-Aware Progressive Aggregation Network for Salient Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Key Lab. of Intelligent Information Processing, ICT, CAS(中国科学院计算技术研究所智能信息处理重点实验室);Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Key Lab. of Big Data Mining and Knowledge Management, CAS(中国科学院大数据挖掘与知识管理重点实验室);Peng Cheng Laboratory(鹏城实验室);ICT, CAS(中国科学院计算技术研究所)
深度卷积神经网络在显著目标检测方面取得了有竞争力的性能,其中如何学习有效和全面的特征起着关键作用。以往的研究大多采用多层次的特征集成,而忽略了不同特征之间的差异。此外,高层次特征在自上而下传递的过程中也存在一个稀释过程。为了解决这些问题,我们提出了一种名为GCPANet的新型网络,通过一些渐进的上下文感知特征交织聚合(FIA)模块有效地集成低级外观特征,高级语义特征和全局上下文特征,并以监督的方式生成显着性图。此外,头部注意力(HA)模块被用来减少信息冗余,并通过利用空间和通道的注意力,增强顶层功能,和自细化(SR)模块被用来进一步细化和提高输入功能。此外,我们设计了全局上下文流(GCF)模块来生成不同阶段的全局上下文信息,旨在了解不同显着区域之间的关系,减轻高级特征的稀释效应。在六个基准数据集上的实验结果表明,该方法在定量和定性上都优于最先进的方法。
2020-03-02 cs.CV
Unsupervised Domain Adaptive Salient Object Detection Through Uncertainty-Aware Pseudo-Label Learning
Sun Yat-sen University(中山大学);ByteDance Inc.(字节跳动公司);Shenzhen Research Institute of Big Data(深圳大数据研究院)
深度学习的最新进展显著提高了显著目标检测(SOD)的性能,但代价是标记更大规模的每像素注释。为了减轻劳动密集型标记的负担,已经提出了深度无监督SOD方法来利用手工显着性方法生成的噪声标签。然而,从粗糙的噪声标签中学习精确的显著性细节仍然是困难的。在本文中,我们建议从合成但干净的标签中学习显着性,这自然具有更高的像素标记质量,而无需手动注释。具体来说,我们首先通过一个简单的复制粘贴策略构建一个新的合成SOD数据集。考虑到合成场景和真实场景之间存在较大的外观差异,直接使用合成数据进行训练将导致真实场景的性能下降。为了解决这个问题,我们提出了一种新的无监督域自适应SOD方法,通过不确定性感知的自训练来适应这两个域之间的关系。实验结果表明,我们提出的方法在几个基准数据集上的性能优于现有的最先进的深度无监督SOD方法,甚至可以与完全监督的方法相媲美。
2022-02-26 cs.CV
Cascade Graph Neural Networks for RGB-D Salient Object Detection
Center for Robotics, School of Automation Engineering, UESTC(电子科技大学自动化工程学院机器人研究中心);Group 42 (G42)(42集团(G42));University of Pennsylvania(宾夕法尼亚大学);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
本文研究了基于颜色和深度信息的RGB-D图像显著目标检测(SOD)问题,如何充分利用这两种互补的数据源是实现RGB-D图像显著目标检测的主要技术挑战。目前的工作要么简单地从相应的深度图中提取先验知识来处理RGB图像,要么盲目地融合颜色和几何信息来生成粗略的深度感知表示,这阻碍了RGB-D显著性检测器的性能。一个统一的框架,能够通过一组级联图综合提炼和推理这两个数据源之间的相互利益,学习用于RGB-D显著目标检测的强大表示。Cas-Gnn分别处理这两个数据源,并采用一个新颖的级联图推理(CGR)模块来学习强大的密集特征嵌入,从中可以很容易地推断出显着性图。与以前的方法相比,互补数据源之间的高层关系的显式建模和推理使我们能够更好地克服诸如遮挡和歧义等挑战。大量的实验表明,Cas-Gnn在几个广泛使用的基准测试中取得了比所有现有的RGB-DSOD方法更好的性能。
2020-08-07 cs.CV
View-aware Salient Object Detection for 360° Omnidirectional Image
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
360°场景下基于图像的显著目标检测(ISOD)对于理解和应用全景信息具有重要意义。然而,由于缺乏大型,复杂,高分辨率和标记良好的数据集,360° ISOD的研究尚未得到广泛探索。为此,我们构建了一个大规模的360° ISOD数据集,在等矩形投影(ERP)上进行对象级像素级注释,其中包含不低于2K分辨率的丰富全景场景,是迄今为止最大的360° ISOD数据集。通过观察数据,我们发现当前的方法在全景场景中面临三个重大挑战:不同的失真程度,不连续的边缘效应和可变的对象尺度。受人类观察过程的启发,我们提出了一种基于样本自适应视图Transformer(SAVT)模块的视图感知显著目标检测方法,该模块具有两个子模块来缓解这些问题。其中视图Transformer(VT)子模块包含三个基于不同变换的变换分支,用于学习不同视图下的各种特征,提高模型对变形、边缘效应和物体尺度的特征容忍度。样本自适应融合子模块根据不同样本特征调整不同变换分支的权值,使变换后的增强特征更合理地融合。20个最先进的ISOD方法的基准测试结果表明,构建的数据集是非常具有挑战性的。此外,详尽的实验验证了所提出的方法是实用的,优于国家的最先进的方法。
2022-09-27 cs.CV
Unleashing the Power of Motion and Depth: A Selective Fusion Strategy for RGB-D Video Salient Object Detection
College of Computer Science, Sichuan University(四川大学计算机学院)
针对现有RGB-D视频显著目标检测模型未区分光流与深度贡献差异的问题,提出含像素级选择性融合策略与多维选择性注意力模块的SMFNet框架,在多个基准测试中取得最优性能。
2025-07-29 cs.CV
A Classifier-guided Approach for Top-down Salient Object Detection
Nanyang Technological University(南洋理工大学)
我们提出了一个框架,自上而下的显着目标检测,采用了紧密耦合的图像分类模块。该分类器是在用于显着性建模的对象字典上计算的新型类别感知稀疏代码上训练的。错误分类表明相应的显著性模型是不准确的。因此,分类器选择需要更新显著性模型的图像。与传统稀疏编码相比,类别感知稀疏编码产生更好的图像分类准确度,同时降低了计算复杂性。提出了一种基于显著性加权的最大池化方法来改进图像分类,并进一步细化显著性图。在Graz-02和PASCAL VOC-07数据集上的实验结果证明了显著目标检测的有效性。虽然分类器的作用是支持显着的目标检测,我们评估其性能在图像分类,也说明了实用的阈值显着图图像分割。
2016-04-22 cs.CV
RGB-D Salient Object Detection: A Survey
Inception Institute of Artificial Intelligence(起源人工智能研究院);Nankai University(南开大学)
显著性目标检测(SOD)是模拟人类视觉感知系统定位场景中最吸引人的目标,已广泛应用于各种计算机视觉任务中。现在,随着深度传感器的出现,可以很容易地捕获具有丰富空间信息的深度图,这些信息有助于提高SOD的性能。虽然在过去的几年里已经提出了各种基于RGB-D的SOD模型,具有良好的性能,但对这些模型和挑战的深入了解仍然缺乏。本文从不同角度对基于RGB-D的SOD模型进行了全面的综述,并详细回顾了相关的基准数据集。此外,考虑到光场也可以提供深度图,我们还回顾了SOD模型和该领域的流行基准数据集。此外,为了研究现有模型的SOD能力,我们进行了综合评价,以及基于属性的评价几个代表性的RGB-D的SOD模型。最后,我们讨论了几个挑战和开放的方向,为未来的研究RGB-D为基础的SOD。所有收集的模型、基准数据集、源代码链接、为基于属性的评估构建的数据集以及评估代码将在https://github.com/taozh2017/RGBDSODsurvey上公开提供
2022-07-14 cs.CV
Multi-level Cross-modal Interaction Network for RGB-D Salient Object Detection
University of Electronic Science and Technology of China(电子科技大学);Nanjing University of Science and Technology(南京理工大学);CETC Special Mission Aircraft System Engineering Co.,Ltd(中国电子科技集团特种任务飞机系统工程有限公司)
具有丰富空间信息的深度线索已被证明有利于提高显著目标检测(SOD),而深度质量直接影响随后的SOD性能。但由于其采集设备的限制,不可避免地会获得一些低质量的深度线索,从而抑制了SOD的性能。此外,现有的方法往往将RGB图像和深度信息直接融合或简单融合,无法有效利用两个源之间复杂的相关性。此外,很少有方法设计一个合适的模块来充分融合多层次特征,导致跨层次特征交互不足。为了解决这些问题,我们提出了一种新的多层次跨模态交互网络(MCINet)的RGB-D为基础的SOD。我们的MCI-Net包括两个关键组件:1)跨模态特征学习网络,用于学习RGB图像和深度线索的高级特征,有效地利用两个源之间的相关性; 2)多级交互集成网络,集成多级跨模态特征以提高SOD性能。在六个基准数据集上的大量实验证明了我们的MCI-Net优于14种最先进的方法,并验证了我们的MCI-Net中不同组件的有效性。更重要的是,我们的MCI-Net显着提高了SOD性能,并具有更高的FPS。
2021-03-08 cs.CV
Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection
City University of Hong Kong(香港城市大学)
显著性目标检测是在给定场景中预测人类关注区域的任务。融合深度信息在这项任务中已被证明是有效的。该问题的主要挑战是如何聚合RGB模态和深度模态的互补信息。然而,传统的深度模型严重依赖于CNN特征提取器,并且长期上下文依赖性通常被忽略。在这项工作中,我们提出了双Swin-Transformer为基础的相互作用的网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器,对视觉输入中的长程依赖关系进行建模。在将两个分支的特征融合成一个之前,应用基于注意力的模块来增强来自每个模态的特征。我们设计了一个基于自我注意的跨通道交互模块和一个门控通道注意模块来利用两个通道之间的互补信息。对于显着性解码,我们创建不同的阶段增强密集连接,并保持解码记忆,同时考虑多层次的编码功能。考虑到深度图不准确的问题,我们将早期阶段的RGB特征收集到跳过卷积模块中,以便从RGB模态到最终显著性预测提供更多指导。此外,我们添加边缘监督来规范特征学习过程。在五个标准RGB-D SOD基准数据集上进行的四种评价指标的综合实验证明了所提出的DTMINet方法的优越性。
2022-06-07 cs.CV
Interactive Context-Aware Network for RGB-T Salient Object Detection
Nankai University(南开大学);Tianjin University of Finance and Economics(天津财经大学);Tsinghua University(清华大学)
显著性目标检测(SOD)主要关注于区分场景中最显著的目标。然而,大多数相关工作都是基于RGB图像,这丢失了大量有用的信息。因此,随着热技术的成熟,RGB-T(RGB-Thermal)多模态任务越来越受到关注。热红外图像携带了重要的信息,可以用来提高SOD预测的准确性。要实现这一目标,多模态信息的融合和噪声抑制是关键。在本文中,我们提出了一种新的网络称为交互式上下文感知网络(ICANet)。它包含三个模块,可以有效地执行跨模态和跨尺度融合。我们设计了一个混合特征融合(HFF)模块,利用两种类型的特征提取来整合两种模态的特征。多尺度注意力增强(MSAR)和上融合(UF)模块负责跨尺度融合,融合不同层次的特征并生成预测图。我们还提出了一种新的上下文感知多监督网络(CAMSNet)来计算预测和地面实况(GT)之间的内容损失。实验证明,我们的网络表现良好,对国家的最先进的RGB-T SOD方法。
2022-11-11 cs.AI cs.CV
SSNet: Saliency Prior and State Space Model-based Network for Salient Object Detection in RGB-D Images
IIT Kharagpur(印度理工学院克勒格布尔分校);Rekhi Centre of Excellence for the Science of Happiness, IIT Kharagpur(印度理工学院克勒格布尔分校雷克希幸福科学卓越中心)
针对RGB-D图像显著性目标检测中跨模态全局依赖捕捉不足、缺乏显著性先验及低质量深度图处理不佳的问题,提出SSNet,引入基于状态空间模型的解码器、跨模态选择性扫描机制、显著性增强模块及自适应对比增强技术,在七个基准数据集上优于现有方法。
2025-03-04 cs.CV
RGB-D Salient Object Detection via 3D Convolutional Neural Networks
University of Science and Technology of China(中国科学技术大学);Sichuan University(四川大学)
RGB-D显著目标检测(SOD)近年来引起了越来越多的研究兴趣,并出现了许多基于编码器-解码器架构的深度学习方法。然而,大多数现有的RGB-D SOD模型在单个编码器或解码器阶段进行特征融合,这很难保证足够的跨模态融合能力。在本文中,我们首次尝试通过三维卷积神经网络来解决RGB-D SOD。该模型名为RD 3D,旨在编码器阶段的预融合和解码器阶段的深度融合,以有效地促进RGB和深度流的充分融合。具体而言,RD 3D首先通过膨胀的3D编码器跨RGB和深度模态进行预融合,然后通过设计配备有丰富的反向投影路径(RBPP)的3D解码器来提供深度特征融合,以利用3D卷积的广泛聚合能力。通过这种涉及编码器和解码器的渐进式融合策略,可以利用两种模态之间的有效和彻底的交互,并提高检测精度。在六个广泛使用的基准数据集上进行的大量实验表明,RD 3D在四个关键评估指标方面优于14种最先进的RGB-D SOD方法。我们的代码将在https://github.com/PPOLYpubki/RD3D上公开。
2021-01-25 cs.CV
CMA-Net: A Cascaded Mutual Attention Network for Light Field Salient Object Detection
在过去的几年中,已经提出了许多深度学习方法来解决从RGB图像中分割显著对象的任务。然而,这些依赖于单一模态的方法无法在广泛使用的光场显著目标检测(SOD)数据集上实现最先进的性能,SOD数据集收集大规模自然图像并提供多模态,例如多视图、微透镜图像和深度图。近年来提出的光场SOD方法虽然提高了检测精度,但仍存在预测粗糙物体结构和推理速度慢的问题。为此,我们提出了CMA-Net,它由两个新的级联相互注意模块组成,旨在融合来自全聚焦和深度模态的高级特征。我们提出的CMA-Net在两个广泛应用的光场基准数据集上优于30种SOD方法。此外,提出的CMA-Net能够以53 fps的速度进行推理。大量的定量和定性实验说明了我们的CMA网络的有效性和效率。
2021-12-07 cs.CV
Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection
Beijing Jiaotong University(北京交通大学);Shandong University(山东大学);Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学)
针对现有RGB-D显著目标检测方法在全局长距离依赖建模上的不足,提出融合CNN辅助Transformer的PICR-Net,通过跨模态点感知交互与CNN诱导精炼模块提升检测性能,在5个数据集上取得有竞争力的结果。
2024-12-07 cs.CV
RA-SOD: Reliability-Aware RGB-T Salient Object Detection under Modality Degradation
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(哈尔滨工业大学机器人技术与系统国家重点实验室);School of Computer Science, University of Sydney(悉尼大学计算机科学学院)
针对RGB-T显著目标检测中模态退化导致融合不可靠的问题,提出可靠性感知框架RA-SOD,通过可靠性条件化表示、不确定性引导细化及像素级模态竞争机制,在四个基准上取得最优性能。
2026-09-14 cs.CV
Quality-aware Selective Fusion Network for V-D-T Salient Object Detection
School of Automation, Hangzhou Dianzi University(杭州电子科技大学自动化学院);School of Software, Shandong University(山东大学软件学院);Lishui Institute of Hangzhou Dianzi University(杭州电子科技大学丽水研究院);School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
针对现有三模态SOD方法无法感知深度、热图像质量导致低质量场景下性能下降的问题,提出含质量感知区域选择等模块的QSF-Net,通过选择性融合三模态特征提升检测性能。
2024-05-13 cs.CV
RDNet: Region Proportion-Aware Dynamic Adaptive Salient Object Detection Network in Optical Remote Sensing Images
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Key Laboratory of Machine Intelligence and System Control, Ministry of Education(教育部智能信息与系统控制重点实验室);School of Automation, Hangzhou Dianzi University(自动化学院,杭州电子科技大学);School of Mathematics and Computer Science, Lishui University(数学与计算机科学学院,丽水大学);School of Data Science, Lingnan University(数据科学学院,岭南大学)
RDNet通过引入SwinTransformer和三个关键模块,提升光学遥感图像中显著目标检测的鲁棒性和定位精度。
2026-03-12 cs.AI cs.CV