Saliency Fusion in Eigenvector Space with Multi-Channel Pulse Coupled Neural Network
显著性图能够提供有用的信息，因此显著性计算已经成为一个热门的研究领域。对于显着图，多通道视角下的显着区域周围的局部关系应该被考虑在内，以感兴趣区域上的均匀性为目标作为内部方法。并且，必须尽可能避免不相关的显著区域。大多数的作品实现这些标准与外部处理模块，然而，这些都可以在显着地图融合过程中完成。因此，本文提出了一种新的显著性/显著性图融合模型，它包含两个概念：a）基于主成分分析（PCA）的输入图像变换，b）基于多通道脉冲耦合神经网络（m-PCNN）的显著性/显著性图融合。实验结果，这是评估精度，召回率，F-措施，和曲线下面积（AUC），支持所提出的方法的可靠性，通过提高显着性计算。
2017-03-01 cs.CV
Scale-Invariant Structure Saliency Selection for Fast Image Fusion
Central South University（中南大学）
本文基于尺度空间理论，提出了一种快速有效的像素级尺度不变图像空间融合方法。具体来说，我们提出了一个基于图像的高斯差分（DoG）金字塔的尺度不变结构显著性选择方案来构建权重或活动图。由于采用了尺度不变的结构显著性选择，该方法既能保持图像中小尺寸目标的细节，又能保持图像中大尺寸目标的完整信息。此外，由于该方法不涉及复杂的运算，易于实现，因此非常有效，可用于快速高分辨率图像融合。实验结果表明，该方法产生竞争力，甚至更好的结果相比，国家的最先进的图像融合方法无论是在视觉质量和客观评价指标。此外，所提出的方法是非常快速的，可用于实时融合的高分辨率图像。代码可在https://github.com/yiqingmy/Fusion上获得。
2018-10-30 cs.CV
FuseVis: Interpreting neural networks for image fusion using per-pixel saliency visualization
Visualisation, Faculty of Computer Science, Technische Universit\" a t Dresden, N\" o thnitzer Stra e 46, 01187 Dresden, Germany
图像融合有助于合并两个或多个图像，以构建信息量更大的单个融合图像。最近，基于无监督学习的卷积神经网络（CNN）已经被用于不同类型的图像融合任务，诸如医学图像融合、用于自动驾驶的红外-可见光图像融合以及用于卫星图像的多聚焦和多曝光图像融合。然而，分析这些CNN用于图像融合任务的可靠性是具有挑战性的，因为没有可用的地面实况。这导致了使用各种各样的模型架构和优化功能，从而产生完全不同的融合结果。此外，由于这种神经网络的高度不透明性，很难解释其融合结果背后的内部机制。为了克服这些挑战，我们提出了一种新的实时可视化工具，名为FuseVis，最终用户可以计算每像素的显着性图，检查输入图像像素对融合图像的每个像素的影响。我们在医学图像对上训练了几种基于图像融合的CNN，然后使用我们的FuseVis工具，通过解释每种融合方法的显着性图，对特定的临床应用进行了案例研究。我们具体可视化的相对影响，每个输入图像的融合图像的预测，并表明，一些评估的图像融合方法更适合于特定的临床应用。据我们所知，目前，还没有一种方法用于图像融合的神经网络的视觉分析。因此，这项工作为提高深度融合网络的可解释性开辟了一个新的研究方向。FuseVis工具还可以适用于其他基于深度神经网络的图像处理应用程序，以使其可解释。
2020-12-06 cs.CV cs.LG eess.IV
PAS-MEF: Multi-exposure image fusion based on principal component analysis, adaptive well-exposedness and saliency map
Izmir University of Economics（伊兹密尔经济大学）
高动态范围（HDR）成像能够使自然场景以类似于人类观察者感知的方式永生化。利用常规的低动态范围（LDR）捕获/显示器设备，由于自然场景的巨大动态范围，可能无法在图像中保留重要细节。为了最大限度地减少信息损失，并为LDR屏幕生成高质量的类HDR图像，本研究提出了一种高效的多曝光融合（MEF）方法，该方法具有简单而有效的权重提取方法，该方法依赖于主成分分析，自适应曝光度和显着性图。这些权重图稍后通过引导滤波器进行细化，并且通过采用金字塔分解进行融合。与现有技术的实验比较表明，该方法产生非常强大的统计和视觉效果。
2021-05-25 cs.CV
Robust RGB-D Fusion for Saliency Detection
Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；ETH Zurich（苏黎世联邦理工学院）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
有效地利用多模态输入进行精确的RGB-D显著性检测是一个备受关注的话题。大多数现有的工作利用跨模态的相互作用，融合两个流的RGB-D的中间特征的增强。在此过程中，尚未充分考虑可用深度的低质量的实际方面。在这项工作中，我们的目标是RGB-D显着性检测，它对低质量深度具有鲁棒性，这些深度主要以两种形式出现：由于噪声引起的不准确性和与RGB的不对准。为此，我们提出了一种鲁棒的RGB-D融合方法，该方法受益于（1）逐层和（2）三叉戟空间，注意力机制。一方面，逐层注意（LWA）学习RGB和深度特征的早期和晚期融合之间的权衡，这取决于深度精度。另一方面，三叉戟空间注意力（TSA）聚合的功能，从更广泛的空间背景，以解决深度错位的问题。所提出的LWA和TSA机制使我们能够有效地利用多模态输入进行显著性检测，同时对低质量深度具有鲁棒性。我们在五个基准数据集上的实验表明，所提出的融合方法的性能始终优于最先进的融合方案。
2022-08-30 cs.CV
Adaptive Fusion for RGB-D Salient Object Detection
College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
RGB-D显著性目标检测旨在识别一对彩色和深度图像中视觉上最独特的对象。基于大多数显著对象至少在一种模态中脱颖而出的观察，本文提出了一种自适应融合方案，以融合从两种模态生成的显著性预测。具体来说，我们设计了一个双流卷积神经网络（CNN），每个网络都从RGB或深度模态中提取特征并预测显着性图。然后，显著性融合模块学习用于自适应地融合预测的显著性图的开关图。设计了一个由显著性监督、开关映射监督和边缘保持约束组成的损失函数进行全面监督，并以端到端的方式对整个网络进行训练。得益于自适应融合策略和边缘保持约束，我们的方法优于国家的最先进的方法在三个公开可用的数据集。
2019-01-08 cs.CV
Saliency Detection via Global Context Enhanced Feature Fusion and Edge Weighted Loss
Yonsei University（延世大学）
基于UNet的方法在显著目标检测（SOD）中表现出优异的性能，但在两个方面存在问题。1)不加区别地集成包含多个对象的空间信息的编码器特征和包含显著对象的全局信息的解码器特征可能向解码器传达非显著对象的不必要的细节，从而阻碍显著性检测。2)为了处理模糊的对象边界并生成准确的显著图，该模型需要额外的分支，例如边缘重建，这导致计算成本增加。为了解决这些问题，我们提出了上下文融合解码器网络（CFDN）和近边缘加权损失（NEWLoss）函数。CFDN通过整合全局上下文信息来创建精确的显著性图，从而抑制不必要的空间信息的影响。NEWLoss通过在对象边界上生成权重图来加速模糊边界的学习，而无需额外的模块。我们的方法在四个基准上进行了评估，并达到了最先进的性能。通过对比实验证明了该方法的有效性。
2021-10-13 cs.CV
Comprehensive Saliency Fusion for Object Co-segmentation
Indraprastha Institute of Information Technology Delhi（印度德里英迪拉普拉萨塔信息技术学院）
近年来，由于其对预期前景（一组图像中的共享对象）的清晰性，对象联合分割引起了人们的极大关注。显著性融合是一种很有前途的方法。然而，现有的工作要么融合显着图的同一图像或显着图的不同图像提取预期的前景。此外，在大多数情况下，它们依赖于手工制作的显着性提取和对应过程。本文重新审视了这个问题，并提出了融合同一图像和不同图像的显着性图。它还利用了深度学习的进步来进行显着性提取和对应过程。因此，我们称之为全面的显着性融合。我们的实验表明，与之前在重要基准数据集（如iCoseg，MSRC和Internet Images）上的工作相比，我们的方法实现了大大改进的对象联合分割结果。
2022-01-30 cs.CV cs.MM eess.IV
Saliency Detection for Stereoscopic Images Based on Depth Confidence Analysis and Multiple Cues Fusion
Tianjin University（天津大学）；Chinese Academy of Sciences（中国科学院）
立体知觉是人类视觉系统的重要组成部分，它使大脑能够感知深度。然而，在现有的显著性检测模型中，深度信息没有得到很好的探索。在这封信中，提出了一种新的立体图像显著性检测方法。首先，我们提出了一个衡量深度图可靠性的指标，并利用它来减少深度图不佳对显著性检测的影响。然后，将输入图像表示为图，并将深度信息引入到图构造中。在此基础上，提出了一种新的基于颜色和深度信息的紧致度定义，并用于计算紧致度显著图。为了补偿紧凑性显著性检测在显著区域与背景外观相似时的检测误差，基于深度细化的前景种子选择机制和多线索对比度计算前景显著性图。最后，根据两个显著图的重要性，通过加权和的方法将它们合成一个最终的显著图。两个公开的立体数据集上的实验表明，该方法的性能优于其他10个国家的最先进的方法。
2017-10-14 cs.CV
Relevance-guided Audio Visual Fusion for Video Saliency Prediction
School of Computer Science, Nanjing University of Information Science and Technology（南京信息工程大学计算机科学学院）；Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Information Science and Technology（南京信息工程大学江苏省大气环境与装备技术协同创新中心）；College of Computer and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
提出相关性引导的视听显著性预测网络AVRSP，通过RAVF模块动态调整音频特征保留，并利用MS和MRG模块优化多尺度视觉特征融合，在六个数据集上取得有竞争力的性能。
2024-11-18 cs.CV
RGBD Salient Object Detection via Deep Fusion
City University of Hong Kong（香港城市大学）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
已经做出了许多努力来设计用于RGBD显著性检测的不同的低水平显著性线索，诸如颜色或深度对比度特征、背景和颜色紧凑性先验。然而，这些显着性线索如何相互作用，以及如何有效地将这些低级别的显着性线索，以产生一个主显着图仍然是一个具有挑战性的问题。在本文中，我们设计了一个新的卷积神经网络（CNN）融合不同的低层次显着性线索到层次特征，自动检测RGBD图像中的显着对象。与现有的直接将原始图像像素馈送到CNN的方法相比，所提出的方法通过采用各种有意义且设计良好的显著性特征向量作为输入，利用传统显著性检测中的知识。由于减少了学习模糊性，这可以引导CNN的训练更有效地检测显著对象。然后，我们将拉普拉斯传播框架与学习的CNN集成，通过利用输入图像的内在结构来提取空间一致的显著性图。在三个数据集上进行的大量定量和定性实验评估表明，该方法始终优于最先进的方法。
2016-07-12 cs.CV
An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection
Dalian University of Technology（大连理工大学）
提出交互增强多任务范式IRFS，通过FSFNet融合子网络和FC$^2$Net检测子网络结合交互循环学习策略，首次实现红外可见光图像融合与显著性目标检测的相互增强，显著提升两者性能。
2023-05-17 cs.CV
Transformer-based Network for RGB-D Saliency Detection
Dalian University of Technology（大连理工大学）；UC Berkeley（加州大学伯克利分校）；York University（约克大学）
RGB-D显著性检测集成了来自RGB图像和深度图的信息，以改善在具有挑战性的条件下对显著区域的预测。RGB-D显著性检测的关键是在两种模式的多个尺度上充分挖掘和融合信息。以前的方法倾向于通过本地操作单独应用多尺度和多模态融合，这无法捕获远程依赖关系。在这里，我们提出了一个基于变压器的网络来解决这个问题。我们提出的架构由两个模块组成：一个基于变换的模态内特征增强模块（TWFEM）和一个基于变换的特征融合模块（TFFM）。TFFM通过同时整合所有位置上的多个尺度和两种模态的特征来进行充分的特征融合。在TFFM之前，TWFEM通过选择和整合来自同一模态内的其他尺度的互补信息来增强每个尺度上的特征。我们表明，Transformer是一个统一的操作，提出了很大的功效，在特征融合和特征增强，并简化了模型的设计。在六个基准数据集上的广泛实验结果表明，我们提出的网络对最先进的RGB-D显着性检测方法表现良好。
2021-12-01 cs.CV
Global Context Aggregation Network for Lightweight Saliency Detection of Surface Defects
Zhengzhou University（郑州大学）；Engineering Research Center of Intelligent Swarm Systems, Ministry of Education（教育部智能集群系统工程研究中心）；National Supercomputing Center in Zhengzhou（国家超级计算郑州中心）；Tianjin University（天津大学）；The University of Sydney（悉尼大学）
本文提出GCANet，通过深度自注意力与通道参考注意力模块实现表面缺陷的轻量级显著性检测，在精度与速度间取得更优平衡。
2023-09-22 cs.CV
Recursive Contour Saliency Blending Network for Accurate Salient Object Detection
AI Technology Lab, OPEN8 Singapore（AI技术实验室，OPEN8新加坡）
轮廓信息在显著目标检测中起着至关重要的作用。然而，过多的假阳性仍然存在于现有的基于轮廓的模型的预测，由于不足的轮廓显着融合。在这项工作中，我们设计了一个网络，在显著目标检测更好的边缘质量。我们提出了一个轮廓-显著性混合模块来交换轮廓和显著性之间的信息。我们采用递归CNN来增加轮廓显著性融合，同时保持总的可训练参数相同。此外，我们设计了一个阶段式特征提取模块，以帮助模型从先前的中间显着性预测中提取最有用的特征。此外，我们提出了两个新的损失函数，即双约束损失和置信损失，我们的模型产生更好的边界预测。五个常见的基准数据集的评估结果表明，我们的模型达到了竞争力的最先进的性能。
2021-08-22 cs.CV
Decomposing and Coupling Saliency Map for Lesion Segmentation in Ultrasound Images
Southern Medical University（南方医科大学）
本文提出DC-Net，通过分解-耦合子网解耦并融合前景背景显著性图，结合三种融合策略与谐波损失函数，有效解决超声图像病灶分割难题，性能显著优于现有方法。
2023-08-02 cs.CV cs.LG eess.IV
SalFAU-Net: Saliency Fusion Attention U-Net for Salient Object Detection
School of Electronic and Information Engineering, China West Normal University（西华师范大学电子与信息工程学院）；Paul C. Lauterbur Research Center, Shenzhen Institute of Advanced Technology, Chinese Academy of Science（中国科学院深圳先进技术研究院保罗·C·劳特伯研究中心）；School of Computer Science, China West Normal University（西华师范大学计算机学院）
针对复杂场景下显著性目标检测精度不足的问题，本文提出 SalFAU-Net，通过在 attention U-Net 解码器中引入显著性融合模块生成多层概率图，并在六个 SOD 数据集上验证其竞争力。
2024-05-05 cs.CV
Deep RGB-D Saliency Detection with Depth-Sensitive Attention and Automatic Multi-Modal Fusion
Zhejiang University（浙江大学）
RGB-D显著目标检测（SOD）通常被公式化为两种模态上的分类或回归问题，即，RGB和深度。因此，有效的RGBD特征建模和多模态特征融合在RGB-D SOD中起着至关重要的作用。在本文中，我们提出了一个深度敏感的RGB特征建模方案，使用深度明智的几何先验的显着对象。原则上，特征建模方案在深度敏感注意模块中进行，这导致RGB特征增强以及通过捕获深度几何先验来减少背景干扰。此外，为了进行有效的多模态特征融合，我们进一步提出了一种自动架构搜索方法的RGB-D SOD，它做得很好，找到一个可行的架构，从我们专门设计的多模态多尺度搜索空间。在七个标准基准上的大量实验证明了所提出的方法对最先进技术的有效性。
2021-03-22 cs.CV
Saliency Detection via Combining Region-Level and Pixel-Level Predictions with CNNs
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显着性检测方法相结合的区域级显着性估计和像素级显着性预测与CNN（表示为CRPSD）。对于像素级显著性预测，通过修改VGGNet架构以执行多尺度特征学习来构建全卷积神经网络（称为像素级CNN），基于该全卷积神经网络进行图像到图像的预测以完成像素级显著性检测。对于区域级显著性估计，首先设计基于自适应超像素的区域生成技术以将图像划分为区域，基于该区域，通过使用CNN模型（称为区域级CNN）来估计区域级显著性。通过使用另一个CNN（称为融合CNN）来融合像素级和区域级显著性以形成最终显著性图。并联合学习像素级CNN和融合CNN。在四个公共基准数据集上的大量定量和定性实验表明，该方法大大优于最先进的显着性检测方法。
2016-08-18 cs.CV
Semantically Stable Image Composition Analysis via Saliency and Gradient Vector Flow Fusion
Computer Vision Lab, TU Wien Vienna（维也纳技术大学计算机视觉实验室）；UAS St. Pölten（斯图尔特·波尔滕大学）
本文提出VFCNet，通过融合显著性与边缘信息生成梯度向量流场，实现对图像空间布局的稳健评估，优于现有方法33.1%和36.1%。
2026-04-14 cs.CV
DefFiller: Mask-Conditioned Diffusion for Salient Steel Surface Defect Generation
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
提出掩码条件扩散模型DefFiller，无需像素级标注即可生成配对掩码的钢材缺陷样本，并开发评估框架验证其能显著提升缺陷检测性能。
2024-12-20 cs.CV
Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection
Beihang University（北京航空航天大学）；Jiangxi University of Finance and Economics（江西财经大学）；Stony Brook University（石溪大学）；Qingdao University（青岛大学）
现有的RGB-D显著性目标检测方法将深度信息作为独立分量来补充其RGB部分，并且广泛遵循双流并行网络架构。为了选择性地融合从RGB和深度两者提取的CNN特征作为最终结果，最先进的（SOTA）双流网络通常由两个独立的子分支组成;即，一个子分支用于RGB显著性，另一个子分支用于深度显著性。然而，其深度显著性持续地劣于RGB显著性，因为RGB分量本质上比深度分量信息更多。双流架构容易使其后续融合过程偏向RGB子分支，导致性能瓶颈。在本文中，我们提出了一种新的数据级重组策略，在深度特征提取之前将RGB与D（深度）融合，其中我们将原始的4维RGB-D循环转换为\textbf{D} GB，R \textbf{D} B和RG \textbf{D}。然后，一个新的轻量级设计的三流网络应用于这些新的制定数据，以实现RGB和D之间的最佳通道互补融合状态，实现新的SOTA性能。
2020-08-07 cs.CV cs.LG stat.ML
Gradient-based multi-focus image fusion with focus-aware saliency enhancement
本文针对多焦点图像融合中边界模糊和细节丢失问题，提出基于梯度域模型与Tenengrad显著性检测的边界增强方法，并结合梯度与互补信息的聚焦度量进行边界细化，在四个数据集上优于12种现有方法。
2025-09-26 cs.CV
S4Fusion: Saliency-aware Selective State Space Model for Infrared Visible Image Fusion
Sino-UK Joint Laboratory on Artificial Intelligence of Ministry of Science and Technology（科技部中英联合人工智能实验室）；International Joint Laboratory on Artificial Intelligence of Ministry of Education（教育部国际人工智能联合实验室）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）；College of Computer Science and Technology（计算机科学与技术学院）
针对红外与可见光图像融合中显著目标感知不足的问题，提出S4Fusion模型，通过跨模态空间感知模块和不确定性最小化，自适应保留显著目标，提升融合质量与下游任务性能。
2025-06-23 cs.CV
A Saliency based Feature Fusion Model for EEG Emotion Estimation
University of Mons（蒙斯大学）；IMT Nord Europe（法国北部国立高等矿业电信学院）
在情绪评估的不同模式中，代表脑电活动的脑电图（EEG）在过去十年中取得了令人鼓舞的成果。从EEG中估计情绪可以帮助某些疾病的诊断或康复。在本文中，我们提出了一个双重模型，考虑两种不同的表示的EEG特征图：1）一个连续的表示的EEG频带功率，2）基于图像的表示的特征向量。我们还提出了一种创新的方法来结合基于图像的模型的显着性分析的基础上的信息，以促进两个模型部分的联合学习。该模型已在四个公开的数据集上进行了评估：SEED-IV，SEED，DEAP和MPED。所获得的结果优于三个拟议数据集的最新方法的结果，具有较低的标准差，反映了较高的稳定性。为了重现性，本文中提出的代码和模型可在https://github.com/VDelv/Emotion-EEG上获得。
2022-04-04 cs.AI cs.CV
Leveraging Multi-Modal Saliency and Fusion for Gaze Target Detection
Elm Company（埃尔姆公司）
本文提出一种融合单目深度估计、深度注入显著性图、面部和深度模态的视线目标检测新方法，在三个公开数据集上表现优于现有最先进方法。
2025-04-27 cs.CV
GASP: Gated Attention For Saliency Prediction
University of Hamburg（汉堡大学）
显著性预测是指对外显注意进行建模的计算任务。社交暗示极大地影响了我们的注意力，从而改变了我们的眼球运动和行为。为了强调这些功能的有效性，我们提出了一个神经模型，用于整合社会线索并加权其影响。我们的模型包括两个阶段。在第一阶段，我们通过跟踪注视、估计注视方向和识别情感来检测两个社交线索。然后通过图像处理操作将这些特征变换成时空图。转换后的表示传播到第二阶段（GASP），在那里我们探索各种技术的后期融合，整合社会线索，并引入两个子网络，将注意力引导到相关的刺激。我们的实验表明，融合方法实现了更好的结果，静态集成方法，而非融合方法的影响，每一个模态是未知的，导致更好的结果时，再加上循环模型的动态显着性预测。我们发现，凝视方向和情感表征有助于预测地面实况对应改善至少5%的动态显着性模型相比，没有社会线索。此外，情感表征改善GASP，支持在预测显着性时考虑情感偏向注意的必要性。
2022-06-09 cs.AI cs.CV
Learning from Pixel-Level Noisy Label : A New Perspective for Light Field Saliency Detection
Xidian University（西安电子科技大学）；Hunan University（湖南大学）；The University of Western Australia（西澳大学）
考虑到可用的丰富线索，利用光场图像的显著性检测变得有吸引力，然而，这是以生成昂贵的大规模像素级注释数据为代价的。在本文中，我们提出了学习光场显着性从像素级的噪声标签获得无监督手工制作的基于显着性的方法。鉴于这一目标，一个自然的问题是：我们是否可以有效地将光场线索之间的关系，同时在一个统一的框架中识别干净的标签？我们通过将学习公式化为内部光场特征融合流和场景间相关流的联合优化来生成预测来解决这个问题。特别地，我们首先引入了像素遗忘引导融合模块，以相互增强光场特征，并利用迭代过程中的像素一致性来识别噪声像素。接下来，我们引入了跨场景噪声惩罚损失，以更好地反映训练数据的潜在结构，并使学习对噪声不变性。在多个基准数据集上进行的大量实验证明了我们框架的优越性，表明它可以学习与最先进的全监督光场显着性方法相当的显着性预测。我们的代码可在https://github.com/OLobbCode/NoiseLF上获得。
2022-04-28 cs.CV
BladeYOLO: Wind Turbine Blade Defect Detection with Limited Annotations and Weak-Saliency Awareness
School of Mechanical Engineering, Zhejiang Sci-Tech University（浙江理工大学机械工程学院）；Zhejiang Energy Digital Technology Co., Ltd（浙能数字科技有限公司）；School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；Lingnan University（岭南大学）
针对风机叶片缺陷检测的有限标注与弱显著性挑战，该研究提出BladeYOLO框架，通过集成改进的ViT骨干、Mamba引导增强模块等，在多个数据集上实现了更优的缺陷检测性能。
2026-07-31 cs.CV
Spatio-Temporal Saliency Networks for Dynamic Saliency Prediction
Hacettepe University（哈切特佩大学）
近年来，静止图像的计算显著性模型得到了显著的普及。另一方面，来自视频的显著性预测受到社区的相对较少的关注。受此启发，在这项工作中，我们研究了使用深度学习进行动态显着性预测，并提出了所谓的时空显着性网络。我们的模型的关键是双流网络的架构，我们研究不同的融合机制，以整合空间和时间的信息。我们在DIEM和UCF-Sports数据集上评估了我们的模型，并提出了与现有最先进模型相比具有高度竞争力的结果。我们还进行了一些实验，从MIT 300数据集的静态图像，利用这些图像预测的光流地图。我们的研究结果表明，以这种方式考虑固有的运动信息可以有助于静态显著性估计。
2017-11-15 cs.CV
DAF-NET: a saliency based weakly supervised method of dual attention fusion for fine-grained image classification
The Chinese University of Hong Kong1,Geng Mei AI lab[2, 4], The University of Hong Kong3.（香港中文大学1，羹美人工智能实验室[2, 4]，香港大学3.）
细粒度图像分类是一个具有挑战性的问题，因为难以找到区分的功能。要处理这种情况，基本上有两条路可走。一种是使用基于注意力的方法来关注信息区域，而另一种是旨在发现特征之间的高阶。基于注意力的方法主要有基于激活的和基于检测的两个方向，这两个方向都被学者们证明是有效的。然而，很少有工作集中在融合两种类型的注意与高阶特征。本文提出了一种新的注意力挖掘方法，该方法融合了两种注意力类型，并将其作为深度双线性变换模块中的部分注意力过滤器（PAF），挖掘对象各部分之间的关系。简单地说，我们的网络由一个学生网络和一个教师网络构成，学生网络试图输出两个注意力地图，教师网络使用这两个地图作为经验信息来改进结果。实验结果表明，在CUB数据集上，仅学生网的准确率可达87.6%，而与教师网合作的准确率可达89.1%。
2020-01-04 cs.CV
Saliency-Motion Guided Trunk-Collateral Network for Unsupervised Video Object Segmentation
IEEE
针对无监督视频目标分割中运动与外观关系失衡及光流质量不稳的问题，提出SMTC-Net，通过主干-侧支结构与ISRM实现SOTA性能。
2025-05-15 cs.CV cs.LG
Learning a time-dependent master saliency map from eye-tracking data in videos
University College London（伦敦大学学院）；CNRS（法国国家科学研究中心）；University of Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）
为了预测复杂自然场景中最显著的区域，显著性模型通常计算几个特征图（对比度，方向，运动......）。并将它们线性组合成主显著性图。由于特征图具有不同的空间分布和幅度动态范围，因此确定它们对整体显着性的贡献仍然是一个悬而未决的问题。大多数最先进的模型不考虑时间，并在刺激持续时间内给予特征图恒定的权重。然而，视觉探索是一个高度动态的过程，由许多时间相关的因素塑造。例如，一些系统的观察模式，如中心偏差，已知在整个探索的时间过程中会发生显着变化。在本文中，我们使用最大似然和收缩的方法来动态和联合学习的特征图和系统的观看模式的权重直接从眼动追踪数据记录在视频上。我们发现，这些权重系统地变化作为时间的函数，并在很大程度上取决于正在处理的视频的语义视觉类别。我们的融合方法允许考虑这些变化，并优于其他国家的最先进的融合方案，随着时间的推移使用恒定的权重。我们用于本研究的代码、视频和眼动追踪数据可在线获得：http://antoinecoutrot.magix.net/public/research.html
2017-02-02 cs.CV
Multi-View Reflective Surface Inspection via Semantic-Saliency Cross-Verification
University of Engineering and Technology, Vietnam National University（越南国家大学工程技术大学）
该研究针对反射表面检测的视角局限问题，提出多视角检测框架，通过语义-显著性交叉验证提升缺陷检测的AP₅₀与跨视角证据召回率。
2026-09-01 cs.CV
UAV-Based Human Body Detector Selection and Fusion for Geolocated Saliency Map Generation
Linköping University（林雪平大学）
本研究针对无人机搜救等场景，提出一种系统上下文视觉检测器选择与融合方法，通过离线评估自动选择在线检测算法，并利用新颖传感器模型融合检测结果生成地理定位显著性地图，经模拟和真实飞行实验验证有效。
2024-08-29 cs.CV cs.RO
Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning
研究针对多模态思维链推理在小模型中存在的问题，提出视觉显著性引导蒸馏方法，利用多模态大语言模型注意力图生成扰动图像，经奇异值分解提取引导向量指导层间蒸馏，实验证明该方法能改进推理生成和答案推理。
2026-07-27 cs.AI cs.CV
Multi-Scale Saliency Detection using Dictionary Learning
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）
在过去的几年里，显著性检测已经引起了各个领域研究者的广泛关注。显着性是使物体、人在一看到就引起人们注意的感知品质。图像中的显著目标检测已经集中地用于许多计算摄影和计算机视觉应用中，例如视频压缩、对象识别和分类、对象分割、自适应内容递送、运动检测、内容感知图像、伪装图像和变化盲图像等。我们提出了一种方法来检测显着性的对象使用多模态字典学习，最近已被用于分类和图像融合。我们正在学习的多模态词典是任务驱动的，它比它的对应物（不是特定于任务的）提供了更好的性能。
2017-07-05 cs.CV
SaliencyI2PLoc: saliency-guided image-point cloud localization using contrastive learning
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室）；Wuhan University（武汉大学）；School of Electrical and Electronic Engineering（电气与电子工程学院）；Nanyang Technological University（南洋理工大学）；School of Geography and Environment（地理与环境学院）；Jiangxi Normal University（江西师范大学）
提出SaliencyI2PLoc架构，通过对比学习融合显著性图进行特征聚合并保持多流形空间特征关系一致性，实现图像到点云的高效跨模态全局定位。
2024-12-20 cs.CV cs.LG cs.RO
Light Field Saliency Detection with Dual Local Graph Learning andReciprocative Guidance
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Northwestern Polytechnical University（西北工业大学）
近年来，光场数据在显著目标检测中的应用越来越广泛。其难点在于如何有效地融合焦层内的特征，以及如何将它们与全焦图像的特征相配合。以前的方法通常通过卷积或ConvLSTM融合焦点堆栈特征，这两种方法都是低效和不适定的。在本文中，我们模型的信息融合焦点堆栈通过图形网络。它们从相邻节点引入了强大的上下文传播，也避免了不适定的实现。一方面，我们构造局部图连接，从而避免了传统图网络的高昂计算成本。另一方面，我们建立了一种新的对偶图模型来指导全聚焦模式下的焦面叠加融合过程，而不是将两种数据分开处理。针对第二个难点，以往的方法通常只对焦点叠加和全焦点特征进行一次融合，缺乏对其补充的深入研究。我们引入了一个交互式的指导方案，使这两种信息之间的相互指导在多个步骤。因此，这两种特征都可以迭代地增强，最终有利于显著性预测。大量的实验结果表明，所提出的模型都是有益的，我们取得了显着优于国家的最先进的方法的结果。
2021-10-02 cs.CV
SESS: Saliency Enhancing with Scaling and Sliding
Queensland University of Technology（昆士兰科技大学）
高质量的显着图在几个机器学习应用领域中是必不可少的，包括可解释的AI和弱监督的目标检测和分割。已经开发了许多技术来使用神经网络生成更好的显著性。然而，它们通常限于特定的显着性可视化方法或显着性问题。我们提出了一种新的显着性增强方法称为SESS（显着性增强与缩放和滑动）。它是对现有显着图生成方法的方法和模型不可知扩展。与SESS，现有的显着性方法变得强大的规模变化，多次出现的目标对象，干扰的存在，并产生较少的噪音和更具歧视性的显着性地图。SESS通过融合从不同区域的不同尺度的多个补丁中提取的显着性图来提高显着性，并使用一种新的融合方案将这些单独的地图结合起来，该融合方案采用了通道加权和空间加权平均。为了提高效率，我们引入了一个预过滤步骤，可以排除无信息的显着性图，以提高效率，同时仍然增强整体结果。我们评估SESS的对象识别和检测基准，它实现了显着的改善。该代码公开发布，使研究人员能够验证性能和进一步开发。代码可在：https://github.com/neouyghur/SESS
2022-07-05 cs.CV
Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Northwestern Polytechnical University（西北工业大学）；Inception Institute of Artificial Intelligence（因塞普申人工智能研究院）
如何有效地融合跨模态信息是RGB-D显著目标检测的关键问题。早期融合和结果融合方案分别在输入和输出阶段融合RGB和深度信息，因此引起分布间隙或信息丢失的问题。许多模型采用特征融合策略，但受到低阶点对点融合方法的限制。本文提出了一种新的相互注意模型，将注意力和不同模态的语境融合在一起。我们使用一种模态的非局部注意力来传播另一种模态的长距离上下文依赖性，从而利用互补的注意力线索来执行高阶和三线性跨模态交互。我们还提出了从相互注意中诱导对比推理，得到一个统一的模型。考虑到低质量的深度数据可能会损害模型的性能，我们进一步提出了选择性注意力来重新加权添加的深度线索。我们将所提出的模块嵌入到用于RGB-D SOD的双流CNN中。实验结果证明了我们提出的模型的有效性。此外，我们还构建了一个新的具有挑战性的高质量大规模RGB-D SOD数据集，从而可以促进深度模型的训练和评估。
2020-10-12 cs.CV
Network Knowledge Prior Guided Learning for Data-Efficient Surface Defect Detection
School of Instrumentation Science and Engineering, Harbin Institute of Technology, Harbin, China（哈尔滨工业大学仪器科学与工程学院）；Harbin Institute of Technology Suzhou Research Institute, Suzhou, China（哈尔滨工业大学苏州研究院）
本文提出了一种基于网络知识先验的知识引导损失函数，通过在训练过程中整合模型可解释性，提升数据高效表面缺陷检测的性能和可信赖度。
2026-05-18 cs.CV
SiaTrans: Siamese Transformer Network for RGB-D Salient Object Detection with Depth Image Classification
Shandong University of Science and Technology（山东科技大学）
RGB-D SOD使用深度信息来处理具有挑战性的场景并获得高质量的显着性图。现有的最先进的RGB-D显著性检测方法压倒性地依赖于直接融合深度信息的策略。虽然这些方法通过各种跨模态融合策略提高了显著性预测的准确性，但一些质量较差的深度图像提供的错误信息会影响显著性预测结果。为了解决这个问题，本文提出了一种新的RGB-D显著目标检测模型（SiaTrans），它允许在训练SOD的同时训练深度图像质量分类。鉴于RGB和深度图像之间关于显著对象的共同信息，SiaTrans使用具有共享权重参数的Siamese Transformer网络作为编码器，并提取在批次维度上级联的RGB和深度特征，从而在不影响性能的情况下节省空间资源。SiaTrans在骨干网络（T2 T-ViT）中使用Class令牌来对深度图像的质量进行分类，而不会阻止令牌序列继续执行显著性检测任务。基于变换器的跨模态融合模块（CMF）可以有效地融合RGB和深度信息。在测试过程中，CMF可以根据深度图像的质量分类信号选择融合跨模态信息或增强RGB信息。我们设计的CMF和解码器的最大好处是保持了RGB和RGB-D信息解码的一致性：SiaTrans在测试时根据分类信号在相同的模型参数下解码RGB-D或RGB信息。在9个RGB-D SOD基准数据集上的综合实验表明，与现有方法相比，SiaTrans具有最好的整体性能和最少的计算量。
2022-07-09 cs.CV cs.LG
SG-CLDFF: A Novel Framework for Automated White Blood Cell Classification and Segmentation
MZG Consulting（MZG咨询公司）；Johannes Kepler University（约翰内斯·开普勒大学）；Baku State University（巴库国立大学）
针对白细胞显微图像分割与分类难题，本文提出SG-CLDFF框架，融合显著性先验、多尺度跨层特征和多任务学习，在BCCD、LISC、ALL-IDB上实现更优性能与可解释性。
2025-10-20 cs.CV
Multi-Modal Hybrid Learning and Sequential Training for RGB-T Saliency Detection
针对RGB-T显著性检测中跨模态特征融合的不足，提出多模态混合损失（MMHL）和混合融合模块，并采用两阶段顺序训练策略，在不增加计算开销的情况下显著提升了检测性能。
2023-09-13 cs.CV
RS-TinyNet: Stage-wise Feature Fusion Network for Detecting Tiny Objects in Remote Sensing Images
针对遥感图像微小目标检测难题，提出多阶段特征融合模型RS-TinyNet，通过多维协同注意力等模块增强特征，在AI-TOD等数据集上精度优于现有SOTA检测器。
2025-09-05 cs.CV cs.LG
Contrast-weighted Dictionary Learning Based Saliency Detection for Remote Sensing Images
University of Electronic Science and Technology of China（电子科技大学）；Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）；CETC Special Mission Aircraft System Engineering Co.Ltd（中国电子科技集团特种任务飞机系统工程技术有限公司）
目标检测是遥感图像分析中的一项重要任务。为了减少冗余信息的计算复杂性，提高图像处理的效率，视觉显著性模型在该领域得到了广泛的应用。提出了一种基于对比度加权字典学习（CDL）的遥感图像显著性检测模型。具体而言，建议的CDL学习显着和非显着原子从积极和消极的样本，以构建一个判别字典，其中提出了一个对比度加权的术语，以鼓励对比度加权的模式是存在于学习的显着字典，而不鼓励他们从存在于非显着字典。然后，我们通过结合稀疏表示（SR）和重建误差的系数来测量显着性。此外，通过使用所提出的联合显著性度量，各种显著性图的基础上的判别字典生成。最后，提出了一种基于全局梯度优化的多显著图融合方法。在四个数据集上的实验结果表明，该模型优于其他国家的最先进的方法。
2020-05-10 cs.CV
Visual Saliency Transformer
Inception Institute of Artificial Intelligence（启智人工智能研究院）；Northwestern Polytechnical University（西北工业大学）
现有的最先进的显着性检测方法严重依赖于基于CNN的架构。或者，我们从无卷积序列到序列的角度重新考虑这项任务，并通过对卷积无法实现的长程依赖关系建模来预测显着性。具体来说，我们开发了一种新的统一模型的基础上，一个纯粹的Transformer，即视觉显着性Transformer（VST），RGB和RGB-D显着的目标检测（SOD）。它将图像块作为输入，并利用Transformer在图像块之间传播全局上下文。与视觉Transformer（ViT）中使用的传统架构不同，我们利用多级令牌融合，并在Transformer框架下提出了一种新的令牌上采样方法，以获得高分辨率的检测结果。我们还开发了一个基于令牌的多任务解码器，通过引入任务相关的令牌和一个新的补丁任务注意力机制，同时执行显着性和边界检测。实验结果表明，我们的模型优于现有的方法在RGB和RGB-D SOD基准数据集。最重要的是，我们的整个框架不仅为SOD领域提供了一个新的视角，也为基于transformer的稠密预测模型提供了一个新的范例。代码可在https://github.com/nnizhang/VST上获得。
2021-08-23 cs.CV
JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection
Sichuan University（四川大学）；Nankai University（南开大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Wuhan University（武汉大学）
提出了一种新的联合学习和密集协作融合（JL-DCF）结构，用于RGB-D显著目标检测。现有的模型通常将RGB和深度视为独立的信息，并设计单独的网络用于从每个中提取特征提取。这种方案很容易受到有限的训练数据或过度依赖精心设计的训练过程的限制。相比之下，我们的JL-DCF通过Siamese网络从RGB和深度输入中学习。为此，我们提出了两个有效的组件：联合学习（JL）和密集合作融合（DCF）。JL模块提供了强大的显着性特征学习，而后者被引入用于互补特征发现。对四种常用的显著性检测方法进行了综合实验，结果表明，该框架具有较好的泛化能力，是一种鲁棒的RGB-D显著性检测方法。因此，JL-DCF在六个具有挑战性的数据集上将前1名的D3 Net模型平均提高了约1.9%（S-测量），这表明所提出的框架为现实世界的应用提供了一个潜在的解决方案，并可以为跨模态互补任务提供更多的见解。该代码将在https://github.com/kerenfu/JLDCF/上提供。
2020-04-18 cs.CV
Unsupervised Foveal Vision Neural Networks with Top-Down Attention
University of Florida（佛罗里达大学）
深度学习架构是识别和分类图像的非常强大的工具。然而，它们需要监督学习，并且通常在图像像素大小的向量上工作，并且在数百万个对象图像上训练时产生最佳结果。为了帮助缓解这些问题，我们提出了自下而上的显着性和自上而下的注意力的融合，只采用无监督学习技术，这有助于对象识别模块专注于相关数据，并学习重要的功能，可以在以后进行微调，以用于特定的任务。此外，通过仅利用数据的相关部分，可以大大提高训练速度。我们测试的性能，拟议的伽玛显着性技术的多伦多和CAT2000数据库，以及在街景门牌号码（SVHN）数据库中的视觉中心凹。在中心凹视觉中的结果表明，Gamma显着性与最佳和计算速度更快。SVHN中的结果表明，我们的无监督认知架构与完全监督方法相当，并且如果需要，Gamma显着性也可以提高CNN的性能。我们还开发了一种自上而下的注意力机制，该机制基于应用于CNN顶层的Gamma显着性，以提高多对象图像或具有强背景杂波的图像中的场景理解。当我们比较结果与人类观察者在自然场景中的动物被遮挡的图像数据集，我们表明，自上而下的注意力是能够从背景中消除对象的歧义，并提高系统的性能超出了人类观察者的水平。
2020-10-18 cs.CV cs.LG
A Unified RGB-T Saliency Detection Benchmark: Dataset, Baselines, Analysis and A Novel Approach
Anhui University（安徽大学）
尽管取得了重大进展，但在复杂场景和环境中，图像显著性检测仍然是一项具有挑战性的任务。整合多个不同但互补的线索，如RGB和热（RGB-T），可能是提高显着性检测性能的有效方法。然而，由于缺乏一个全面的基准，目前这方面的研究受到限制。这项工作贡献了这样一个RGB-T图像数据集，其中包括821个空间对齐的RGB-T图像对及其用于显著性检测目的的地面实况注释。这些图像对是在不同场景和环境条件下记录的，具有高度的多样性，我们在这些图像对上标注了11个挑战，用于对不同的显著性检测算法进行挑战敏感性分析。我们还实现了3种不同模态输入的基线方法，以提供一个全面的比较平台。在此基础上，我们提出了一种新的方法，多任务流形排序与跨模态一致性，用于RGB-T显着性检测。特别地，我们为每个模态引入一个权重来描述可靠性，并将它们集成到基于图的流形排序算法中，以实现不同源数据的自适应融合。此外，我们将跨模态一致性约束，以整合不同的模态协作。对于优化，我们设计了一个有效的算法来迭代求解几个子问题的封闭形式的解决方案。在新创建的基准上对其他基线方法进行了广泛的实验，证明了所提出的方法的有效性，我们还为RGB-T显着性检测提供了基本的见解和潜在的未来研究方向。
2017-01-11 cs.CV
MINet: Multi-scale Interactive Network for Real-time Salient Object Detection of Strip Steel Surface Defects
Shanghai University（上海大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对现有显著性缺陷检测方法参数多、速度慢的问题，提出轻量级MINet，采用多尺度交互模块，在SD-Saliency-900数据集上以0.28M参数实现GPU 721FPS、CPU 6.3FPS的实时检测，精度与最先进方法相当。
2024-05-25 cs.CV
WLC: Weber-Inspired Local Contrast Metric for Low-Altitude Image Fusion
Northwestern Polytechnical University（西北工业大学）
本文提出TBC度量，通过关注目标与背景的相对对比度，解决传统度量在低光环境中的失效问题，提升无人机图像融合的鲁棒性和实时性。
2026-11-04 cs.CV
IRPol-Fuse: Energy-structure coordination for infrared polarization fusion under low visibility
Foshan University（佛山大学）
该研究针对低能见度下红外偏振图像融合的缺陷，提出IRPol-Fuse框架，构建LI-PI数据集，实验验证其在目标与细节保留及下游任务中的优异性能。
2026-08-11 cs.CV
