Light Field Saliency Detection with Deep Convolutional Networks
Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology（哈尔滨工业大学）；Utrecht University（乌得勒支大学）
光场成像由于记录入射光的方向而呈现出RGB成像的有吸引力的替代方案。光场图像中的显著区域的检测受益于角度图案的附加建模。对于RGB成像，使用CNN的方法在一系列任务上取得了优异的结果，包括显着性检测。然而，将基于CNN的方法用于光场图像上的显著性检测并非微不足道，因为这些方法不是专门设计用于处理光场输入的。此外，当前的光场数据集不足以训练CNN。为了克服这些问题，我们提出了一个新的Lytro Illum数据集，其中包含640个光场及其相应的地面实况显着图。与当前的光场显着性数据集[1]，[2]相比，我们的新数据集更大，质量更高，包含更多的变化和更多类型的光场输入。这使得我们的数据集适合训练更深层次的网络和基准测试。此外，我们提出了一种新的端到端的基于CNN的框架，用于光场显着性检测。具体来说，我们提出了三个新的MAC（模型角度变化）块处理光场微透镜图像。我们系统地研究了不同架构变体的影响，并将光场显着性与常规2D显着性进行了比较。我们的广泛比较表明，我们的新型网络在所提出的数据集上的性能显着优于最先进的方法，并且在其他现有数据集上具有所需的泛化能力。
2019-10-29 cs.CV eess.IV
TSGB: Target-Selective Gradient Backprop for Probing CNN Visual Saliency
Xiamen University（厦门大学）；Australian National University（澳大利亚国立大学）；Peng Cheng Laboratory（鹏城实验室）；Zhejiang University（浙江大学）
对深度神经网络的解释在过去几年中引起了深度学习社区的广泛关注。在这项工作中，我们研究的视觉显着性，又名。直观的解释，来解释卷积神经网络。与基于迭代的显著性方法相比，基于单次向后通过的显著性方法具有更快的速度，并且它们被广泛用于下游视觉任务。因此，我们专注于基于单次反向传递的方法。然而，现有的方法在这一类的斗争，uccably完全产生细粒度的显着性地图集中在特定的目标类。也就是说，使用单个向后传递产生同时满足目标选择性和细粒度的忠实显著性图是该领域中的一个具有挑战性的问题。为了缓解这个问题，我们重新审视了网络内部的梯度流，发现纠缠的语义和原始权重可能会干扰目标相关显着性的传播。受这些观察结果的启发，我们提出了一种新的视觉显着性方法，称为目标选择性梯度反向传播（TSGB），它利用整流操作来有效地强调目标类，并进一步有效地将显着性传播到图像空间，从而生成目标选择性和细粒度显着性图。所提出的TSGB由两个组件组成，即TSGB-Conv和TSGB-FC，它们分别校正卷积层和全连接层的梯度。在ImageNet和Pascal VOC数据集上进行的大量定性和定量实验表明，该方法比其他竞争方法获得了更准确和可靠的结果。代码可在https://github.com/123fxdx/CNNvisualizationTSGB上获得。
2022-03-06 cs.CV cs.LG
Model-guided Multi-path Knowledge Aggregation for Aerial Saliency Prediction
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
作为一种新兴的视觉平台，无人机可以从多个异常视点进行观察，这给经典的视觉任务视频显著性预测带来了许多新的挑战。为了研究这些挑战，本文提出了一个用于航空显着性预测的大规模视频数据集，该数据集由1，000个航空视频的地面真实显着对象区域组成，由24个主题注释。据我们所知，这是第一个专注于无人机视觉显着性预测的大规模视频数据集。基于此数据集，我们提出了一个模型引导的多路径网络（MM-Net），作为航空视频显著性预测的基线模型。受眼动实验中标注过程的启发，MM-Net采用多条信息路径，每条信息路径都在经典显著性模型的指导下初始化。在此基础上，选择并聚合编码在最具代表性的路径中的视觉显著性知识，以提高MM-Net在空中场景中预测空间显著性的能力。最后，通过时空优化算法，这些空间预测自适应地与时间显著性预测相结合。实验结果表明，MM-Net在预测航拍视频显著性方面优于十种最先进的模型。
2020-06-08 cs.CV
ATSal: An Attention Based Architecture for Saliency Prediction in 360 Videos
Insight Centre for Data Analytics, Dublin City University（都柏林城市大学Insight数据分析中心）；Institut National des Télécommunications et des TIC（国家电信与信息通信技术学院）
360度视频/图像的球域表示提出了与全向视频（ODV）的存储、处理、传输和渲染相关的许多挑战。可以使用人类视觉注意力的模型，使得一次仅渲染单个视口，这在开发允许用户利用盔装显示器（HMD）探索ODV的系统时是重要的。因此，研究人员已经提出了用于360视频/图像的各种显著性模型。本文提出了ATSal，一种新的基于注意力的（头-眼）显著性模型的360 \degree视频。注意力机制明确地编码全局静态视觉注意力，允许专家模型专注于在整个连续帧中学习局部补丁上的显著性。我们在两个数据集上将所提出的方法与其他最先进的显着性模型进行比较：Salient 360！VR-EyeTracking。在80多个ODV视频（75 K+帧）上的实验结果表明，该方法的性能优于现有的最先进的方法。
2020-11-20 cs.CV cs.LG
Saliency Detection via Combining Region-Level and Pixel-Level Predictions with CNNs
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显着性检测方法相结合的区域级显着性估计和像素级显着性预测与CNN（表示为CRPSD）。对于像素级显著性预测，通过修改VGGNet架构以执行多尺度特征学习来构建全卷积神经网络（称为像素级CNN），基于该全卷积神经网络进行图像到图像的预测以完成像素级显著性检测。对于区域级显著性估计，首先设计基于自适应超像素的区域生成技术以将图像划分为区域，基于该区域，通过使用CNN模型（称为区域级CNN）来估计区域级显著性。通过使用另一个CNN（称为融合CNN）来融合像素级和区域级显著性以形成最终显著性图。并联合学习像素级CNN和融合CNN。在四个公共基准数据集上的大量定量和定性实验表明，该方法大大优于最先进的显着性检测方法。
2016-08-18 cs.CV
Noise-Aware Video Saliency Prediction
NVIDIA Research（英伟达研究院）
我们解决的问题，预测显着图的动态场景的视频。我们注意到，从固定数量的观察者的注视数据重建的地图的准确性随帧而变化，因为它取决于场景的内容。在观察员人数有限的情况下，这一问题尤其紧迫。在这种情况下，直接最小化预测和测量显着性图之间的差异，就像传统的深度学习方法一样，会导致对噪声数据的过拟合。我们提出了一个噪声感知训练（NAT）的范例，量化和占帧特定的凝视数据不准确所产生的不确定性。我们表明，NAT是特别有利的，当有限的训练数据是可用的，在不同的模型，损失函数和数据集的实验。我们还介绍了一个基于视频游戏的显着性数据集，具有丰富的时间语义，和多个凝视吸引每帧。数据集和源代码可在https://github.com/NVlabs/NAT-saliency上获得。
2021-11-22 cs.CV cs.LG
Personalized Saliency and its Prediction
University of Delaware（特拉华大学）
到目前为止，几乎所有现有的视觉显着性模型都专注于预测所有观察者的通用显着性图。然而心理学研究表明，在特定的环境下，不同观察者的视觉注意力会有很大的差异，尤其是在由多个显著物体组成的场景中。为了研究这种异质性的视觉注意模式，我们首先构建了一个个性化的显着性数据集，并探讨视觉注意，个人偏好和图像内容之间的相关性。具体来说，我们建议将个性化显着性图（简称PSM）分解为通用显着性图（简称USM）可预测的现有显着性检测模型和一个新的差异图，跨用户的个性化显着性的特点。然后，我们提出了两种解决方案，预测这样的差异地图，即，多任务卷积神经网络（CNN）框架和具有个人特定信息编码滤波器的扩展CNN（CNN-PIEF）。大量的实验结果表明，我们的模型PSM预测的有效性，以及他们的泛化能力看不见的观察员。
2018-06-16 cs.CV
A Dilated Inception Network for Visual Saliency Prediction
Nanyang Technological University（南洋理工大学）；Ningbo University（宁波大学）
最近，随着深度卷积神经网络（DCNN）的出现，视觉显著性预测研究的进展令人印象深刻。接近下一个改进的一个可能的方向是在DCNN架构中使用计算友好的模块来充分表征多尺度显著性影响因素。在这项工作中，我们提出了一个端到端的扩张初始网络（DINet）的视觉显着性预测。它有效地捕获多尺度上下文特征，具有非常有限的额外参数。我们提出的扩张起始模块（DIM）使用具有不同扩张率的并行扩张卷积，而不是使用具有不同内核大小的并行标准卷积作为现有的起始模块，这可以显着降低计算负荷，同时丰富特征图中感受野的多样性。此外，我们的显着性模型的性能进一步提高，通过使用一组基于线性归一化的概率分布距离度量作为损失函数。因此，我们可以将显著性预测公式化为全局显著性推断的概率分布预测任务，而不是典型的逐像素回归问题。在几个具有挑战性的显着性基准数据集上的实验结果表明，我们的DINet与建议的损失函数可以实现最先进的性能与更短的推理时间。
2019-05-09 cs.CV
Cube Padding for Weakly-Supervised Saliency Prediction in 360° Videos
National Tsing Hua University（国立清华大学）；Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
360°视频中的自动显著性预测对于视点引导应用（例如，Facebook 360指南）。我们提出了一个时空网络，它是（1）弱监督训练的，（2）为360°观看范围量身定制的。请注意，大多数现有方法的可扩展性较低，因为它们依赖于带注释的显着图进行训练。最重要的是，它们将360°球面转换为2D图像（例如，单个等矩形图像或多个分离的正常视场（NFoV）图像），这引入了失真和图像边界。相比之下，我们提出了一个简单而有效的立方体填充（CP）技术如下。首先，我们使用透视投影在立方体的六个面上绘制360°视图。因此，它引入的失真非常小。然后，我们连接所有六个面，同时利用立方体上的面之间的连接性进行图像填充（即，Cube Padding）在卷积、池化、卷积LSTM层中的应用。以这种方式，CP不引入图像边界，同时适用于几乎所有卷积神经网络（CNN）结构。为了评估我们的方法，我们提出了Wild-360，一个新的360°视频显着性数据集，包含具有显着性热图注释的挑战性视频。在实验中，我们的方法优于基线方法在速度和质量。
2018-06-04 cs.CV
Exploring deep learning for Event-Based Saliency Prediction with a Transformer-based model
i3S/CNRS, Université Côte d’Azur（i3S/CNRS，法国国家科学研究中心，埃克塞特大学）
提出SEST模型，利用自监督预训练的事件Swin Transformer和轻量CNN解码器，从事件数据预测动态显著性图，并创建两个新基准数据集，显著优于现有方法。
2026-05-22 cs.CV
TinyHD: Efficient Video Saliency Prediction with Heterogeneous Decoders using Hierarchical Maps Distillation
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Dublin City University（都柏林城市大学）；University of Catania（卡塔尼亚大学）
视频显着性预测最近引起了研究界的关注，因为它是一些实际应用的上游任务。然而，当前的解决方案在计算上要求特别高，特别是由于时空3D卷积的广泛使用。我们观察到，虽然不同的模型架构在基准测试中实现了类似的性能，但预测的显着性图之间的视觉变化仍然很明显。受这种直觉的启发，我们提出了一个轻量级的模型，采用多个简单的异构解码器，并采用了几种实用的方法，以提高准确性，同时保持计算成本低，如分层多地图知识蒸馏，多输出显着性预测，未标记的辅助数据集和教师辅助监督的通道减少。我们的方法在DFH 1 K，UCF-Sports和Hollywood 2基准上实现了与最先进的方法相当或更好的显着性预测准确性，同时显着提高了模型的效率。代码在https://github.com/feiyanhu/tinyHD上
2023-01-11 cs.CV
Composition of Saliency Metrics for Channel Pruning with a Myopic Oracle
Trinity College Dublin（都柏林圣三一学院）
卷积神经网络（CNN）推理所需的计算量和内存可以通过从训练的网络中修剪权重来减少。修剪由修剪显著性引导，修剪显著性在理论上近似与特定权重的去除相关联的损失函数的变化。已经提出了许多修剪信号，但每个启发式算法的性能取决于特定的训练网络。这让数据科学家面临一个艰难的选择。当在整个修剪过程中使用任何一个显着性度量时，我们会面临度量假设无效的风险，从而导致度量做出糟糕的决策。理想情况下，我们可以结合不同显着性度量的最佳方面。然而，尽管广泛的文献综述，我们无法找到任何先前的工作组成不同的显着性指标。主要的困难在于结合不同显着性度量的数值输出，这是不直接可比的。我们提出了一种方法来组成几个原始的修剪显着性，利用的情况下，每个显着性措施做得很好。我们的实验表明，显着性的组成，避免了许多穷人的修剪选择确定的个人显着性。在大多数情况下，我们的方法找到更好的选择，甚至比最好的个人修剪显着性。
2021-06-24 cs.CV cs.LG stat.ML
A Gated Fusion Network for Dynamic Saliency Prediction
Hacettepe University（哈塞特佩大学）
预测视频中的显著性是一个具有挑战性的问题，由于空间和时间信息之间的相互作用的复杂建模，特别是当考虑视频的不断变化，动态的性质。最近，研究人员提出了利用深度学习的大规模数据集和模型，作为了解视频显着性重要性的一种方式。然而，这些方法学习以静态方式组合空间和时间特征，并且不太适应视频内容的变化。在本文中，我们介绍了用于动态显着性的门控融合网络（GFSalNet），这是第一个能够通过门控融合机制以动态方式进行预测的深度显着性模型。此外，我们的模型还在多尺度架构中利用了空间和通道方面的注意力，从而进一步实现了高度准确的预测。我们评估了所提出的方法在一些数据集上，我们的实验分析表明，它优于或具有很强的竞争力的最先进的。重要的是，我们表明，它具有良好的泛化能力，而且，更有效地利用时间信息，通过其自适应融合方案。
2021-02-15 cs.CV
SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation
Naresuan University（那黎宣大学）；University of South Australia（南澳大学）；Chulalongkorn University（朱拉隆功大学）；RMIT University（皇家墨尔本理工大学）
提出用于显著性预测的神经架构搜索框架SalNAS，结合动态卷积构建权重共享超网络，并引入自知识蒸馏方法提升模型泛化能力，在七个基准数据集上以轻量级参数量实现最优性能。
2024-07-29 cs.AI cs.CV cs.LG
Saliency in Augmented Reality
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
随着多媒体技术的飞速发展，增强现实（AR）技术已经成为一种极具前景的下一代移动平台。AR的主要理论是人类视觉混乱，它允许用户通过将现实世界场景和增强内容（虚拟世界场景）叠加在一起来同时感知它们。为了实现良好的体验质量（QoE），重要的是理解两个场景之间的交互，并和谐地显示AR内容。然而，关于这种叠加如何影响人类视觉注意力的研究还很缺乏。因此，本文主要分析了背景场景与增强现实内容之间的交互作用，研究了增强现实中的显著性预测问题。具体来说，我们首先构建了一个显着性AR数据集（SARD），其中包含450 BG图像，450 AR图像，以及1350叠加BG和AR图像的叠加图像，在三个混合水平对。采用大规模的眼动追踪实验，对60名被试进行了眼动数据采集。为了更好地预测AR中的显著性，我们提出了一种矢量量化的显著性预测方法，并将其推广到AR显著性预测。为了比较，提出了三种基准方法，并与我们提出的方法一起在我们的SARD上进行评估。实验结果表明，我们提出的方法的优越性，无论是在共同的显着性预测问题和AR显着性预测问题的基准方法。我们的数据集和代码可以在https://github.com/DuanHuiyu/ARSaliency上找到。
2022-07-12 cs.CV
Graph Convolutional Neural Networks based on Quantum Vertex Saliency
Central University of Finance and Economics（中央财经大学）；Southern University of Science and Technology（南方科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of York（约克大学）
本文提出量子空间图卷积神经网络（QSGCNN），通过量子空间图卷积提取多尺度顶点特征并结合传统卷积层实现端到端图分类，解决了现有模型中信息丢失和不精确表示的问题。
2019-01-03 cs.LG stat.ML
Spatio-Temporal Self-Attention Network for Video Saliency Prediction
Shanghai Institute for Advanced Communication and Data Science, Shanghai University（上海大学上海先进通信与数据科学研究院）；School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Department of Computer Science, University of Manitoba（曼尼托巴大学计算机科学系）；Shanghai Key Laboratory of Psychotic Disorders, Shanghai Mental Health Center, Shanghai Jiaotong University School of Medicine（上海交通大学医学院附属精神卫生中心上海市精神病重点实验室）
3D卷积神经网络在计算机视觉中的视频任务中取得了很好的效果，包括本文探索的视频显著性预测。然而，3D卷积仅根据其核大小在固定的局部时空上对视觉表示进行编码，而人类的注意力总是被不同时间的相关视觉特征所吸引。为了克服这一限制，我们提出了一种新的时空自注意力3D网络（STSANet）用于视频显著性预测，其中多个时空自注意力（STSA）模块在3D卷积骨干的不同级别上使用，以直接捕获不同时间步长的时空特征之间的长期关系。此外，我们提出了一个注意力多尺度融合（AMSF）模块集成多层次的功能与感知的上下文在语义和时空子空间。大量的实验证明了我们的方法的关键组件的贡献，和DHF 1 K，好莱坞-2，UCF，和DIEM基准数据集上的结果清楚地证明了所提出的模型相比，所有国家的最先进的模型的优越性。
2022-01-17 cs.CV
Video Saliency Prediction Using Enhanced Spatiotemporal Alignment Network
Nanjing University of Information Science and Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）
由于不同帧之间的各种运动，这是非常具有挑战性的学习一个有效的时空表示准确的视频显著性预测（VSP）。为了解决这个问题，我们开发了一个有效的时空特征对齐网络量身定制的VSP，主要包括两个关键的子网络：多尺度可变形卷积对齐网络（MDAN）和双向卷积长短期记忆（Bi-ConvLSTM）网络。MDAN学习以由粗到精的方式将相邻帧的特征与参考帧对齐，可以很好地处理各种运动。具体而言，MDAN拥有金字塔特征层次结构，该结构首先利用可变形卷积（Dconv）来跨帧对齐较低分辨率的特征，然后聚合对齐的特征来对齐较高分辨率的特征，从上到下逐渐增强特征。MDAN的输出然后被馈送到Bi-ConvLSTM中进行进一步增强，Bi-ConvLSTM沿着前向和后向定时方向捕获有用的长时间信息，以有效地指导复杂场景变换下的注意力方向转移预测。最后，增强的特征被解码以生成预测显著图。所提出的模型是端到端训练的，没有任何复杂的后处理。在四个VSP基准数据集上的广泛评估表明，所提出的方法与最先进的方法相比具有良好的性能。源代码和所有结果将被发布。
2020-01-02 cs.CV
Validating Interpretability in siRNA Efficacy Prediction: A Perturbation-Based, Dataset-Aware Protocol
University of Central Florida（中央佛罗里达大学）
本文提出了一种验证siRNA效用预测中重要性图忠实性的协议，发现模型在不同数据集上表现不稳定，并引入了基于生物学的正则化器来提升重要性忠实性。
2026-03-06 cs.LG q-bio.GN
Revisiting Saliency Metrics: Farthest-Neighbor Area Under Curve
Ryerson University（瑞尔森大学）；Vector Institute（向量研究所）
显著性检测在各种视觉应用中起着重要的作用，因此得到了广泛的研究，但由于每个度量都有自己的偏差，因此很难对显著性系统进行评估。在本文中，我们首先回顾了在现代卷积神经网络（CNN）上应用广泛使用的显着性度量的问题。我们的研究表明，显着性数据集是基于不同的参数选择而构建的，CNN被设计成适合特定于特定于特定其次，我们表明，洗牌曲线下面积（S-AUC）度量仍然受到空间偏差。我们提出了一个新的显着性度量的基础上的AUC属性，其目的是采样一个更有方向性的负集进行评估，表示为最远邻AUC（FN-AUC）。我们还提出了一种策略来衡量的质量的抽样负集。我们的实验表明，FN-AUC可以测量空间偏差，中央和周边，更有效地比S-AUC没有惩罚的固定位置。第三，我们提出了一个全局平滑函数，以克服在计算AUC度量的几个值度（输出量化）的问题。与随机噪声相比，我们的平滑函数可以创建唯一的值，而不会失去相对显着性关系。
2020-02-24 cs.CV
An Element Sensitive Saliency Model with Position Prior Learning for Web Pages
Shanghai Jiao Tong University（上海交通大学）
理解人类视觉注意对于多媒体应用是重要的。许多研究试图从眼动跟踪数据中学习并建立计算显着性预测模型。然而，有限的努力一直致力于显着性预测的网页，其特点是更多样化的内容元素和空间布局。在本文中，我们提出了一种新的端到端的深度生成显着性模型的网页。为了捕捉由页面布局引入的位置偏差，提出了一种位置先验学习子网络，该子网络使用变分自动编码器将位置偏差建模为多元高斯分布。为了对网页的不同元素进行建模，引入了多判别区域检测（MDRD）分支和文本区域检测（TRD）分支，其目标分别是提取可能对应于人类注意力的判别性定位和“突出”文本区域。我们验证了所提出的模型与FiWI，一个公共的网页数据集，并表明，所提出的模型优于国家的最先进的网页显着性预测模型。
2018-11-03 cs.CV
Pyramid Feature Attention Network for Saliency detection
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
显著性检测是计算机视觉的基本挑战之一。如何提取有效的特征是显著性检测的关键。目前的方法主要采用无差别地集成多尺度卷积特征。然而，并不是所有的特征都对显著性检测有用，有些甚至会造成干扰。为了解决这个问题，我们提出了金字塔特征注意力网络，专注于有效的高层上下文特征和低层空间结构特征。首先，我们设计了上下文感知的金字塔特征提取（CPFE）模块，用于多尺度的高层特征映射，以捕获丰富的上下文特征。其次，在CPFE特征映射后采用通道注意力（CA），在低层特征映射后采用空间注意力（SA），然后将CA和SA的输出融合在一起。最后，我们提出了一个边缘保持损失，以指导网络学习更详细的信息，在边界定位。在五个基准数据集上的广泛评估表明，所提出的方法优于国家的最先进的方法在不同的评估指标。
2019-04-04 cs.CV
Video Smoke Detection Based on Deep Saliency Network
University of Science and Technology of China（中国科学技术大学）；XI’AN University of Posts & Telecommunications（西安邮电大学）
视频感烟探测是一种很有前途的火灾探测方法，特别是在开放或大空间和室外环境中。传统的视频烟雾检测方法通常包括候选区域提取和分类，但缺乏对烟雾的有力表征。提出了一种基于深度显著性网络的视频烟雾检测方法。视觉显著性检测旨在突出图像中最重要的目标区域。结合像素级和对象级显著性卷积神经网络提取信息丰富的烟雾显著性图。提出了一种端到端的显著性烟雾检测和烟雾存在性预测框架，并将其应用于视频烟雾检测。将深度特征图与显著图相结合来预测图像中烟雾的存在。初始和增强数据集的建立，以衡量不同的设计策略的框架的性能。在帧级和像素级的定性和定量分析表明，最终框架的优异性能。
2019-01-14 cs.CV
NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results
本文介绍了NTIRE 2026挑战，旨在开发自动视频显著性图预测方法，使用了包含2000个视频的新型公开数据集，并通过5000多名评估者收集了注视点数据。
2026-04-16 cs.CV cs.HC cs.MM
SED:Lightweight Saliency prediction for Event-based data via Distillation
i3S/CNRS, Université Côte d’Azur（法国蔚蓝海岸大学i3S/CNRS实验室）；ETH Zürich（苏黎世联邦理工学院）
提出轻量级网络SED，通过知识蒸馏和深度时空块（DSTconv）实现事件数据显著性预测，模型大小减少562倍，参数减少554倍，性能匹配或超越教师模型。
2026-06-15 cs.CV
Saliency Benchmarking Made Easy: Separating Models, Maps and Metrics
Werner Reichardt Centre for Integrative Neuroscience, University of Tübingen（图宾根大学维尔纳·赖卡特综合神经科学中心）
每年都会发布数十种关于注视预测的新模型，并在MIT 300和LSUN等开放基准上进行比较。然而，该领域的进展可能很难判断，因为模型是使用各种不一致的指标进行比较的。在这里，我们表明，没有一个显着图可以在所有指标下表现良好。相反，我们提出了一个原则性的方法来解决基准问题，通过分离显着性模型，地图和指标的概念。受贝叶斯决策理论的启发，我们将显着性模型定义为固定密度预测的概率模型，将显着性图定义为从模型密度导出的特定于度量的预测，该模型密度最大化给定模型密度的该度量的预期性能。我们针对最常用的显着性指标（AUC、sAUC、NSS、CC、SIM、KL-Div）推导出这些最佳显着性图，并表明它们可以高精度地解析或近似计算。我们表明，这导致一致的排名在所有指标，并避免使用一个显着性图的所有指标的处罚。我们的方法允许研究人员让他们的模型在许多不同的指标上与这些指标中最先进的指标竞争：“好”的模型将在所有指标中表现良好。
2018-07-25 cs.CV stat.AP
Spherical Vision Transformers for Audio-Visual Saliency Prediction in 360-Degree Videos
Department of Computer Science and Engineering, Koç University（计算机科学与工程系，科克大学）；Department of Psychology, Boğaziçi University（心理学系，博多伊大学）；National Institute of Advanced Industrial Science and Technology (AIST), Intelligent Platforms Research Institute（国家先进工业科学与技术研究院（AIST），智能平台研究机构）；Department of Psychology, Boğaziçi University University（心理学系，博多伊大学）；Department of Computer Engineering, Hacettepe University（计算机工程系，哈切塞特佩大学）；KUIS AI Center（KUIS人工智能中心）
针对360度视频显著性预测中球面畸变与空间音频融合问题，本文构建YT360-EyeTracking数据集，并提出球面几何感知的视觉Transformer模型SalViT360及其音视扩展SalViT360-AV，显著优于现有方法。
2025-08-27 cs.CV
Trustworthy Convolutional Neural Networks: A Gradient Penalized-based Approach
Inria（法国国家信息与自动化研究所）；CortAIx, Thales（泰雷兹CortAIx）
卷积神经网络（CNN）通常用于图像分类。显着性方法是可用于事后解释CNN的方法的示例，识别梯度流之后预测的最相关像素。尽管CNN可以正确地对图像进行分类，但在许多情况下，底层的显着性图可能是错误的。这可能导致对模型或其解释的有效性的怀疑。我们提出了一种新的方法，通过惩罚参数选择来训练值得信赖的CNN，这些参数选择会导致在训练过程中生成不准确的显着性图。我们为预测标签正确时产生的不准确显着性图添加了一个惩罚项，为预测标签不正确时产生的准确显着性图添加了一个惩罚项，并为过于自信的显着性图添加了一个正则化项。实验表明，提高分类性能，用户参与度和信任度。
2020-09-29 cs.CV cs.LG cs.NE
Video Saliency Detection by 3D Convolutional Neural Networks
Jiangxi University of Finance and Economics（江西财经大学）
与静止图像显著性目标检测方法不同，视频显著性检测的一个关键挑战是如何提取和组合空间和时间特征。提出了一种基于三维卷积神经网络的视频序列显著目标检测方法。首先，我们设计了一个3D卷积网络（Conv3DNet），输入为三个视频帧，以学习视频序列的时空特征。然后，我们设计了一个3D去卷积网络（Deconv3DNet）来结合时空特征来预测视频序列的最终显著性图。实验结果表明，与现有的显著性检测方法相比，本文提出的显著性检测模型具有更好的显著性预测效果。
2018-07-12 cs.CV
Saliency Detection With Fully Convolutional Neural Network
University of Tehran（德黑兰大学）
显著性检测是图像处理中的一项重要任务，因为它可以解决许多问题，并且通常是其他处理的第一步。卷积神经网络已被证明是非常有效的几个图像处理任务，如分类，分割，语义着色和对象操作。此外，使用预训练网络的权重是提高网络精度的常见做法。本文提出了一种利用部分VGG-16的全卷积神经网络用于图像显著性检测。
2019-06-24 cs.CV
A Deep Spatial Contextual Long-term Recurrent Convolutional Network for Saliency Detection
传统的显著性模型通常采用手工绘制的图像特征和人为设计的机制来计算局部或全局对比度。在本文中，我们提出了一种新的计算显着性模型，即，深度空间上下文长期递归卷积网络（DSCLRCN），用于预测人们在自然场景中的位置。DSCLRCN首先并行地自动学习每个图像位置上的显著性相关局部特征。然后，与大多数其他基于深度网络的显着性模型在局部上下文中推断显着性相比，DSCLRCN可以模仿人类视觉系统中的皮层侧抑制机制，以通过利用深度空间长短期记忆（DSLSTM）模型来结合全局上下文来评估每个图像位置的显着性。此外，我们还将场景上下文调制集成到DSLSTM中进行显着性推理，从而产生了一种新的深度空间上下文LSTM（DSCLSTM）模型。整个网络可以进行端到端的训练，并在测试时有效地工作。在两个基准数据集上的实验结果表明，DSCLRCN可以实现最先进的显著性检测性能。此外，所提出的DSCLSTM模型可以显着提高显着性检测性能，通过将全局空间互连和场景上下文调制，这可能会发现新的启发，在计算显着性模型的研究。
2016-10-06 cs.CV
Learning Uncertain Convolutional Features for Accurate Saliency Detection
Dalian University of Technology（大连理工大学）
深度卷积神经网络（CNN）在许多计算机视觉任务中提供了卓越的性能。在本文中，我们提出了一种新的深度全卷积网络模型，用于精确的显著目标检测。这项工作的关键贡献是学习深度不确定卷积特征（UCF），这有助于显著性检测的鲁棒性和准确性。我们通过在特定卷积层之后引入重新定义的dropout（R-dropout）来构建内部特征单元的不确定集合来实现这一点。此外，我们提出了一种有效的混合上采样方法，以减少我们的解码器网络中的反卷积算子的棋盘伪影。所提出的方法也可以应用于其他深度卷积网络。与现有的显著性检测方法相比，所提出的UCF模型能够将不确定性纳入更准确的对象边界推断。大量的实验表明，我们提出的显着性模型表现良好，对国家的最先进的方法。不确定特征学习机制以及上采样方法可以显着提高其他像素视觉任务的性能。
2017-08-07 cs.CV
Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications
Ryerson University（瑞尔森大学）
深度学习模型现在被用于许多不同的行业，而在某些领域，安全性并不是医疗领域的关键问题，而是一个巨大的问题。我们不仅希望模型能够很好地泛化，而且还想知道模型对其决策的置信度，以及哪些特征最重要。我们的团队旨在开发一个完整的管道，不仅显示模型决策的不确定性，而且还显示显着图，以显示输入图像的哪些像素集对预测贡献最大。
2019-07-05 cs.CV cs.LG eess.IV
Online Tracking by Learning Discriminative Saliency Map with Convolutional Neural Network
POSTECH（浦项科技大学）；INRIA（法国国家信息与自动化研究所）
提出了一种利用卷积神经网络（CNN）学习判别显著图的在线视觉跟踪算法。给定一个在离线的大规模图像库上预先训练的CNN，我们的算法将网络隐藏层的输出作为特征描述符，因为它们在各种一般的视觉识别问题中表现出出色的表示性能。这些特征用于使用在线支持向量机（SVM）学习区分性目标外观模型。此外，在SVM的指导下，通过反向传播CNN特征构建目标特定的显著图，并基于显著图生成的外观模型获得每帧的最终跟踪结果。由于显著图有效地可视化了目标的空间结构，提高了目标定位精度，使我们能够实现像素级的目标分割。我们验证了我们的跟踪算法的有效性，通过广泛的实验上具有挑战性的基准，我们的方法说明了出色的性能相比，国家的最先进的跟踪算法。
2015-02-24 cs.CV
Deep Green Function Convolution for Improving Saliency in Convolutional Neural Networks
目前的显着性方法需要使用小卷积核来学习大规模的区域特征，这对于简单的前馈网络是不可能的。一些方法通过分割成超像素来解决这个问题，而另一些方法则通过网络缩小图像并将其重新缩放回原始大小。本文的目的是表明显着性卷积神经网络（CNN）可以通过使用格林函数卷积（GFC）外推边缘特征到显着区域。GFC充当梯度积分器，允许通过直接在CNN内部填充薄边缘来产生显著性特征。因此，我们提出了梯度积分和总和（GIS）层，结合了边缘功能的显着性特征。使用HED和DSS架构，我们证明了在网络输出附近添加GIS层可以降低对参数初始化的敏感性，减少过拟合并提高训练的可重复性。通过简单地将GIS层添加到最先进的DSS模型中，DUT-OMRON数据集上的F测量值绝对增加了1.6%，仅增加了10 ms的计算时间。GIS层还允许网络在高噪声图像或低亮度图像的情况下表现得更好。事实上，我们观察到，当向数据集添加噪声时，F测量值提高了5.2%，当亮度降低时，F测量值提高了2.8%。由于GIS层是模型不可知的，因此它可以实现为不同的完全卷积网络。目前的工作的一个主要贡献是格林函数卷积内的神经网络，它允许网络在特征域和梯度域中同时操作的第一个实现，从而通过边缘填充改善区域表示。
2019-11-15 cs.CV cs.LG
Predicting Video Saliency with Object-to-Motion CNN and Two-layer Convolutional LSTM
Beihang University（北京航空航天大学）
在过去的几年里，深度神经网络（DNN）在预测图像的显著性方面取得了巨大的成功。然而，很少有作品应用DNN来预测通用视频的显着性。在本文中，我们提出了一种新的基于DNN的视频显著性预测方法。具体来说，我们建立了一个大规模的眼动跟踪视频数据库（LEDOV），它提供了足够的数据来训练DNN模型预测视频显着性。通过对LEDOV数据库的统计分析，我们发现人类的注意力通常被物体所吸引，特别是运动的物体或物体的运动部分。因此，我们提出了一个对象到运动的卷积神经网络（OM-CNN）学习时空特征预测帧内显著性通过探索的信息对象和对象的运动。我们进一步发现，从我们的数据库中，存在一个时间相关的人类的注意力与平滑的显着过渡跨视频帧。因此，我们在基于DNN的方法中开发了一个双层卷积长短期记忆（2C-LSTM）网络，使用OM-CNN的提取特征作为输入。因此，可以生成视频的帧间显著性图，其考虑了跨视频帧的注意力转移。最后，实验结果表明，我们的方法在视频显著性预测方面的先进性。
2019-01-14 cs.CV
Recurrent Attentional Networks for Saliency Detection
Nanyang Technological University（南洋理工大学）
可以采用卷积-去卷积网络来执行端到端显著性检测。但是，它们不能很好地处理多尺度的对象。为了克服这样的限制，在这项工作中，我们提出了一个经常性的注意力卷积-去卷积网络（RACDNN）。使用空间Transformer和递归网络单元，RACDNN能够迭代地关注选定的图像子区域，以逐步执行显著性细化。除了解决规模问题外，RACDNN还可以从过去的迭代中学习上下文感知特征，以增强未来迭代中的显着性细化。在几个具有挑战性的显著性检测数据集上的实验验证了RACDNN的有效性，并表明RACDNN优于最先进的显著性检测方法。
2016-04-12 cs.CV cs.LG stat.ML
Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
本文讨论了使用深度卷积网络（ConvNets）学习的图像分类模型的可视化。我们考虑两种可视化技术，基于计算相对于输入图像的类分数的梯度。第一个生成图像，其最大化类得分[Erhan等人，2009]，从而可视化类的概念，由ConvNet捕获。第二种技术计算特定于给定图像和类的类显著性图。我们表明，这样的地图可以用于弱监督对象分割使用分类ConvNets。最后，我们建立了基于梯度的ConvNet可视化方法与去卷积网络之间的联系[Zeiler et al.，2013年]。
2014-04-19 cs.CV
Adaptive Graph Convolutional Network with Attention Graph Clustering for Co-saliency Detection
Nanjing University of Information Science and Technology（南京信息工程大学）；JD Digits（京东数科）
共显著性检测的目的是从一组相关的图像中发现共同的和显著的前景。为此，我们提出了一种新的自适应图卷积网络与注意图聚类（GCAGC）。三个主要的贡献已经作出，并通过实验证明有很大的实际价值。首先，我们提出了一个图卷积网络的设计，以提取信息线索来表征帧内和帧间的对应关系。其次，我们开发了一个注意力图聚类算法，以区分共同的对象从所有突出的前景对象在一个无监督的方式。第三，我们提出了一个统一的框架与编码器-解码器结构，以联合训练和优化的图卷积网络，注意力图聚类，和共显着性检测解码器在端到端的方式。我们在三个共显性检测基准数据集（iCoseg，Cosal 2015和COCO-SEG）上评估了我们提出的GCAGC方法。我们的GCAGC方法获得了显着的改进，在大多数国家的最先进的。
2020-03-13 cs.CV
DeepFeat: A Bottom Up and Top Down Saliency Model Based on Deep Features of Convolutional Neural Nets
基于深度特征的显着性模型（DeepFeat）的开发利用人类固定的预测的理解。传统的显著性模型往往依赖于少量的图像线索来预测人类的视觉注意。虽然这样的模型预测固定在各种图像的复杂性，他们的方法是有限的合并功能。在这项研究中，我们的目标是提供一个直观的解释卷积神经网络的深层功能，结合低和高层次的视觉因素。我们利用四个评估指标来评估所提出的框架和地面实况固定之间的对应关系。结果的主要发现表明，结合了自底向上的的【形状】和自顶向下显著性图的DeepFeat算法优于单独的自底向上的和自顶向下方法。此外，与9种最先进的显着性模型相比，我们提出的DeepFeat模型在所有四个评估指标上都达到了令人满意的性能。
2017-09-08 cs.CV
A Deep Multi-Level Network for Saliency Prediction
Università degli Studi di Modena e Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本文提出了一种新的显着性预测的深度架构。用于显著性预测的现有技术模型采用全卷积网络，该全卷积网络执行从最后一个卷积层提取的特征的非线性组合以预测显著性图。我们提出了一种架构，它结合了在卷积神经网络（CNN）的不同层次上提取的特征。我们的模型由三个主要模块组成：特征提取CNN，特征编码网络，对低级和高级特征图进行加权，以及先验学习网络。我们将我们的解决方案与两个公共基准数据集上的最新显着性模型进行了比较。结果表明，我们的模型在SALICON数据集的所有评估指标下都表现出色，SALICON数据集是目前最大的显着性预测公共数据集，并在MIT300基准测试中取得了有竞争力的结果。
2017-07-18 cs.CV
Video Salient Object Detection via Fully Convolutional Networks
Beijing Institute of Technology（北京理工大学）；University of East Anglia（东安格利亚大学）
本文提出了一种深度学习模型来有效地检测视频中的显著区域。它解决了两个重要问题：（1）在缺乏足够大的像素级注释视频数据的情况下进行深度视频显着性模型训练，以及（2）快速视频显着性训练和检测。所提出的深度视频显著性网络由两个模块组成，分别用于捕获空间和时间显著性信息。动态显着性模型，明确地纳入显着性估计从静态显着性模型，直接产生时空显着性推断，而无需耗时的光流计算。我们进一步提出了一种新的数据增强技术，该技术从现有的注释图像数据集模拟视频训练数据，这使我们的网络能够学习不同的显着性信息，并防止与有限数量的训练视频过拟合。利用我们的合成视频数据（150K视频序列）和真实视频，我们的深度视频显着性模型成功地学习了空间和时间显着性线索，从而产生准确的时空显着性估计。我们在DAVIS数据集（MAE为0.06）和FBMS数据集（MAE为0.07）上推进了最先进的技术，并且以更快的速度（所有步骤均为2fps）完成。
2017-12-09 cs.CV
ViS-HuD: Using Visual Saliency to Improve Human Detection with Convolutional Neural Networks
L. D. College of Engineering（L. D. 工程学院）；Dosepack LLC（Dosepack 有限责任公司）；Meditab Software Inc.（Meditab 软件公司）；School of Engineering and Applied Science (SEAS), Ahmedabad University（艾哈迈达巴德大学工程与应用科学学院）
本文提出了一种使用深度学习来改进静止图像中的人体检测的技术。我们的新方法，ViS-HuD，从图像中计算视觉显着性图。然后将输入图像乘以映射，并将乘积馈送到卷积神经网络（CNN），该卷积神经网络检测图像中的人。使用ML-Net生成视觉显着图，使用DetectNet进行人体检测。ML-Net在SALICON上进行预训练，而DetectNet在ImageNet数据库上进行预训练，分别用于视觉显著性检测和图像分类。ViS-HuD的CNN在两个具有挑战性的数据库上进行了训练- Penn Fudan和TUD-Brussels Benchmark。实验结果表明，该方法在Penn Fudan数据集上达到了最先进的性能，人体检测准确率为91.4%，在TUDBussels基准测试中的平均误检率为53%。
2018-04-18 cs.CV
A Fast and Compact Saliency Score Regression Network Based on Fully Convolutional Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Research Center of Precision Sensing and Control, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所精密感知与控制研究中心）；LSEC（科学与工程计算国家重点实验室）；Institute of Applied Mathematics, AMSS, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）
视觉显著性检测的目的是识别图像中视觉上最有特色的部分，并作为各种计算机视觉和图像处理任务的预处理步骤。为此，显著性检测过程必须尽可能快速和紧凑，并且以实时的方式最佳地处理输入图像。这是显著性检测任务的基本应用要求。然而，现有的检测方法往往采用一些复杂的步骤来追求检测精度的微小提高，往往需要几百毫秒的时间，不易于实际应用。在本文中，我们通过提出一种快速紧凑的显着性得分回归网络来解决这个问题，该网络采用全卷积网络（一种特殊的深度卷积神经网络）来估计图像中对象的显着性。它是一个非常简化的端到端深度神经网络，没有任何预处理和后处理。当给定图像时，网络可以直接预测密集的全分辨率显着图（图像到图像预测）。它像一个紧凑的管道，有效地简化了检测过程。在六个公开数据集上对该方法进行了测试，实验结果表明，该方法在检测速度（35 FPS，实时的处理）上有显著提高，同时可以达到与现有方法相当或更高的精度。
2017-02-24 cs.CV
Beyond saliency: understanding convolutional neural networks from saliency prediction on layer-wise relevance propagation
Stony Brook University（石溪大学）；Midea Emerging Technology Center（美的新兴技术中心）
尽管深度卷积神经网络（CNN）在许多计算机视觉任务中取得了巨大成就，但了解它们的实际工作方式仍然是一个重大挑战。在本文中，我们提出了一种新的两步理解方法，即显著相关（SR）图，旨在揭示深度CNN如何识别图像并从其中的区域（称为注意区域）中学习特征。我们所提出的方法开始了逐层相关传播（LRP）的步骤，估计一个像素级的相关性映射的输入图像。接下来，我们从LRP生成的地图中构建了一个上下文感知的显着性地图，SR地图，该地图预测靠近注意力焦点的区域，而不是LRP揭示的孤立像素。在人类视觉系统中，区域信息比像素信息更重要。因此，我们提出的方法密切模拟人类识别。使用ILSVRC 2012验证数据集结合两个成熟的深度CNN模型AlexNet和VGG-16的实验结果清楚地表明，我们提出的方法不仅可以简洁地识别关键像素，还可以识别有助于底层神经网络理解给定图像的注意区域。因此，我们提出的SR映射构成了一个方便的视觉界面，它揭示了网络的视觉注意力，并揭示了模型在训练后学会识别的对象类型。源代码可在https://github.com/Hey1Li/Salient-Relevance-Propagation上获得。
2019-03-30 cs.CV
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology（湖北工业大学）；Central China Normal University（华中师范大学）
深度神经网络（DNN）的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来，基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而，当这种方法使用反向传播来获得梯度时，它会在显着图中产生噪声，甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射（Abs-CAM）的方法，该方法对反向传播得到的梯度进行优化，将其全部转化为正梯度，以增强输出神经元激活的视觉特征，提高显着图的定位能力。Abs-CAM的框架分为两个阶段：生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力，第二阶段将初始显著图与原始图像线性结合，增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估，包括删除，插入和指向游戏。实验结果表明，Abs-CAM能明显消除显著图中的噪声，能更好地定位与决策相关的特征，在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
A Saliency-based Convolutional Neural Network for Table and Chart Detection in Digitized Documents
University of Catania（卡塔尼亚大学）；Tab2Ex（Tab2Ex公司）
深度卷积神经网络（DCNN）最近已成功应用于各种视觉和多媒体任务，从而推动了多个应用领域中新型解决方案的开发。文档分析是DCNN的一个特别有前途的领域：事实上，可用的数字文档数量已经达到了前所未有的水平，如果没有自动化的帮助，人类不再能够发现和检索这些文档中包含的所有信息。在这种情况下，DCNN提供了一个可行的解决方案，自动化的信息抽取过程中的数字文档。在从文档中提取信息抽取的领域内，特别需要检测表格和图表，因为它们包含文档中包含的最有价值的信息的视觉摘要。为了从表格和图表中完全自动地进行视觉信息抽取过程，有必要开发定位它们并精确识别它们的边界的技术。在本文中，我们的目标是通过结合深度卷积神经网络，图形模型和显着性概念的方法来解决表格/图表检测任务。特别是，我们提出了一个基于显着性的完全卷积神经网络执行多尺度推理的视觉线索，其次是一个完全连接的条件随机场（CRF）本地化的表格和图表在数字/数字化的文件。对ICDAR 2013扩展版本（带注释的图表和表格）进行的性能分析表明，我们的方法产生了有希望的结果，优于现有的模型。
2018-04-17 cs.CV
RecSal : Deep Recursive Supervision for Visual Saliency Prediction
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
最先进的显著性预测方法在模型架构或损失函数上发展;同时训练以生成一个目标显著性图。然而，可以利用公开可用的显著性预测数据集来为每个刺激创建更多的信息，而不仅仅是最终的聚合显著性图。当以生物启发的方式利用这些信息时，可以在不使用具有大量参数的模型的情况下提供更好的预测性能。有鉴于此，我们建议提取和使用（a）特定区域的显著性和（b）固定的时间顺序的统计数据，为我们的网络提供额外的上下文。我们表明，额外的监督使用空间或时间顺序固定的结果，在显着性预测实现更好的性能。此外，我们还设计了新的架构，利用这些额外的信息，并表明它实现了卓越的性能超过一个基本模型，这是没有额外的监督。我们表明，我们最好的方法优于以前的国家的最先进的方法，少50-80%的参数。我们还表明，与以前的方法不同，我们的模型在所有评估指标上都表现良好。
2020-08-31 cs.CV cs.LG
Context-Aware Saliency Detection for Image Retargeting Using Convolutional Neural Networks
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
图像重定向是使图像能够在不同大小的屏幕上显示的任务。这项工作应该这样做，以便高级视觉信息和低级特征（如纹理）对人类视觉系统保持尽可能完整，而输出图像可能具有不同的尺寸。因此，简单的方法，如缩放和裁剪不足以达到这一目的。近年来，研究人员试图改进现有的重定向方法并引入新的方法。然而，特定的方法不能用于重定向所有类型的图像。换句话说，不同的图像需要不同的重定向方法。图像重定向与图像显著性检测有着密切的关系，而显著性检测是一个较新的图像处理课题。早期的显着性检测方法是基于局部和全局的，但低级别的图像信息。这些方法称为自底向上方法。另一方面，较新的方法是自顶向下和混合的方法，考虑了图像的高层和语义信息。在本文中，我们介绍了显着性检测和重定向的方法。在显著性检测方面，研究了图像上下文和语义分割的使用，提出了一种自底向上和自顶向下混合的显著性检测方法。在显著性检测之后，现有重定向方法的修改版本被用于重定向图像。实验结果表明，与其他测试方法相比，本文提出的图像重定向流水线具有优异的性能。此外，Pascal数据集上的主观评价可以用作重定向质量评估数据集，以供进一步研究。
2019-10-17 cs.CV eess.IV
Visual Attention driven by Convolutional Features
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
对人类在场景中的位置的理解是视觉感知和计算机视觉中非常感兴趣的问题。当眼动追踪设备不是可行的选择时，可以使用人类注意力模型来预测注视。在本文中，我们给出了两个贡献。首先，我们展示了一个视觉注意力模型，该模型简单地基于为对象分类任务训练的深度卷积神经网络。定义了一种用于可视化显着性图的方法，该方法在显着性预测任务中进行评估。其次，我们将这些地图的信息与自下而上的眼动差分模型相结合，以模拟视觉注意扫描路径。显著性预测和与人类扫描路径的相似性分数的结果证明了该模型的有效性。
2018-07-12 cs.CV
Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
由于使用卷积神经网络来预测凝视注视，数据驱动的显着性最近获得了很多关注。在本文中，我们超越了显着性预测的标准方法，其中凝视图是用前馈网络计算的，并提出了一种新的模型，它可以通过结合神经注意机制来预测准确的显着性图。我们解决方案的核心是卷积LSTM，它专注于输入图像中最显著的区域，以迭代地优化预测的显著性图。此外，为了解决人眼注视的典型中心偏差，我们的模型可以学习一组用高斯函数生成的先验映射。我们通过广泛的评估表明，所提出的架构在公共显着性预测数据集上的表现优于当前最先进的技术。我们进一步研究了每个关键组件的贡献，以证明它们在不同场景下的鲁棒性。
2018-07-09 cs.CV
Domino Saliency Metrics: Improving Existing Channel Saliency Metrics with Structural Information
Trinity College Dublin（都柏林圣三一学院）
信道修剪用于减少卷积神经网络（CNN）中的权重数量。通道修剪移除权重张量的切片，以便卷积层保持密集。从单个层中移除这些权重切片会导致网络层之间的特征映射数量不匹配。一个简单的解决方案是通过从后续层中移除权重切片来强制层之间的特征映射的数量匹配。这种额外的约束在具有分支的DNN中变得更加明显，其中多个通道需要一起修剪以保持网络密度。流行的修剪显着性度量不考虑在具有分支的DNN中出现的结构依赖性。我们建议多米诺指标（建立在现有的渠道显着性指标），以反映这些结构性约束。我们在多个具有分支的网络上测试Domino显着性指标与基线通道显着性指标。Domino显着性度量在大多数测试网络中提高了修剪率，在CIFAR-10上的AlexNet中提高了25%。
2022-06-19 cs.CV cs.LG
Graph Saliency Maps through Spectral Convolutional Networks: Application to Sex Classification with Brain Connectivity
Imperial College London（帝国理工学院）
图卷积网络（GCN）允许在非欧几里德域中应用传统的卷积运算，其中数据通常被建模为不规则图。医学成像，特别是神经科学研究通常依赖于这种图形表示，大脑连接网络是一个典型的例子，同时最终寻找大脑中表型或疾病相关差异的位点。然后，这些感兴趣区域（ROI）被认为与功能和/或行为密切相关。在此基础上，我们探索了用于ROI识别任务的GCN，并提出了一种基于类激活映射的视觉归因方法。通过进行性别分类任务的概念证明，我们表明，这种方法可以用来识别显着的节点（大脑区域）没有事先节点标签。基于对来自英国生物银行的5000多名参与者的神经成像数据进行的实验，我们证明了所提出的方法在突出个体间可重复区域方面的鲁棒性。我们进一步评估的神经生物学相关性的基础上，从大规模的英国生物银行研究的证据确定的区域。
2018-06-05 cs.CV
Simple vs complex temporal recurrences for video saliency prediction
Insight Center for Data Analytics（Insight数据分析中心）；Dublin City University（都柏林城市大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
本文研究了修改现有的神经网络结构的静态显着性预测使用两种类型的递归，整合信息的时间域。第一个修改是在架构中添加ConvLSTM，而第二个是内部卷积状态的概念上简单的指数移动平均。我们使用在SALICON数据集上预训练的权重，并在DHF1K上微调我们的模型。我们的研究结果表明，这两种修改实现了最先进的结果，并产生类似的显着性图。源代码可在https://git.io/fjPiB上获得。
2019-07-16 cs.CV cs.LG
