Saliency for free: Saliency prediction as a side-effect of object recognition
Computer Vision Center（计算机视觉中心）；Universidad del Bío Bío（比奥比奥大学）
显着性是我们的视觉系统将我们的注意力（即凝视）集中在相关对象上的感知能力。用于显著性估计的神经网络需要用于训练的真实显著性图，这通常通过眼动跟踪实验来实现。在本文中，我们证明了显着性图可以作为训练具有显着性分支的对象识别深度神经网络的副作用而生成。在真实和合成显著性数据集上进行的大量实验表明，我们的方法能够生成准确的显著性图，与需要真实数据的方法相比，在合成和真实数据集上都取得了有竞争力的结果。
2021-07-20 cs.CV
Learning Saliency Prediction From Sparse Fixation Pixel Map
Sichuan University（四川大学）
显著性预测数据集的地面实况由两种类型的地图数据组成：固定像素地图，其记录了样本图像上的人眼运动，以及通过对相应的固定像素地图执行高斯模糊而生成的固定斑点地图。目前的显着性方法通过直接逐像素地将输入图像回归到显着性图来执行预测，其中固定斑点作为地面实况，但是没有探索从固定像素图学习显着性。在这项工作中，我们提出了一个第一个同类的方法学习显着性预测稀疏固定像素地图，和一个新的损失函数训练从这样的稀疏固定。我们利用聚类从原始固定像素图中提取稀疏固定像素，并在输出上添加最大池化变换，以避免在计算损失时由附近但不重叠的显著像素引起的稀疏输出和标签之间的错误惩罚。该方法为实现显著性预测提供了一个新的视角。我们在多个基准数据集上评估了我们的方法，并与最先进的显着性方法相比，在多个指标方面取得了有竞争力的性能。
2018-09-03 cs.CV
Webpage Saliency Prediction with Two-stage Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）
网页显著性预测是图像变换和计算机视觉领域的一个具有挑战性的问题。本文提出了一种结合网页轮廓信息的兴趣区域预测模型。对于每一个网页图像，我们的模型可以生成显着图，指示感兴趣的区域的人。提出了一种两级生成对抗网络，并引入了图像轮廓信息以提高网络的传输性能。在FIWI数据集上的实验结果表明，该模型在显著性预测方面具有更好的性能。
2018-05-29 cs.CV
Data Augmentation via Latent Diffusion for Saliency Prediction
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）
针对显著性预测标注数据不足问题，提出融合光度与语义属性、引入显著性引导交叉注意力的潜在扩散数据增强方法，有效提升多类模型在公开基准上的性能，预测结果与人类注意力模式高度吻合。
2024-09-11 cs.CV
UniST: Towards Unifying Saliency Transformer for Video Saliency Prediction and Detection
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）
本文提出统一显著性Transformer（UniST）框架，首次利用Transformer结构同时处理视频显著性预测与显著目标检测任务，通过显著性感知Transformer和特定任务解码器，在七个基准上取得优于最先进方法的性能。
2023-09-15 cs.CV
Saliency Detection via Combining Region-Level and Pixel-Level Predictions with CNNs
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显着性检测方法相结合的区域级显着性估计和像素级显着性预测与CNN（表示为CRPSD）。对于像素级显著性预测，通过修改VGGNet架构以执行多尺度特征学习来构建全卷积神经网络（称为像素级CNN），基于该全卷积神经网络进行图像到图像的预测以完成像素级显著性检测。对于区域级显著性估计，首先设计基于自适应超像素的区域生成技术以将图像划分为区域，基于该区域，通过使用CNN模型（称为区域级CNN）来估计区域级显著性。通过使用另一个CNN（称为融合CNN）来融合像素级和区域级显著性以形成最终显著性图。并联合学习像素级CNN和融合CNN。在四个公共基准数据集上的大量定量和定性实验表明，该方法大大优于最先进的显着性检测方法。
2016-08-18 cs.CV
Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；DATA61,CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
当前深度显著性检测方法的成功在很大程度上取决于以每像素标记形式的大规模监督的可用性。这种监督虽然是劳动密集型的，而且并不总是可行的，但往往会阻碍学习模型的泛化能力。相比之下，传统的基于手工特征的无监督显着性检测方法，即使已经被深度监督方法超越，但通常是独立于网络的，可以在野外应用。这就提出了一个很自然的问题：“有没有可能在不使用标记数据的情况下学习显着图，同时提高泛化能力？".为此，我们提出了一个新的角度来无监督显着性检测，通过学习多个嘈杂的标签产生的“弱”和“嘈杂”的无监督手工显着性方法。我们用于无监督显著性检测的端到端深度学习框架由潜在显著性预测模块和噪声建模模块组成，它们协同工作并联合优化。显式噪声建模使我们能够以概率的方式处理噪声显着图。在各种基准数据集上进行的大量实验结果表明，我们的模型不仅以较大的幅度优于所有无监督显着性方法，而且与最近最先进的有监督深度显着性方法的性能相当。
2018-03-29 cs.CV
DeepFeat: A Bottom Up and Top Down Saliency Model Based on Deep Features of Convolutional Neural Nets
基于深度特征的显着性模型（DeepFeat）的开发利用人类固定的预测的理解。传统的显著性模型往往依赖于少量的图像线索来预测人类的视觉注意。虽然这样的模型预测固定在各种图像的复杂性，他们的方法是有限的合并功能。在这项研究中，我们的目标是提供一个直观的解释卷积神经网络的深层功能，结合低和高层次的视觉因素。我们利用四个评估指标来评估所提出的框架和地面实况固定之间的对应关系。结果的主要发现表明，结合了自底向上的的【形状】和自顶向下显著性图的DeepFeat算法优于单独的自底向上的和自顶向下方法。此外，与9种最先进的显着性模型相比，我们提出的DeepFeat模型在所有四个评估指标上都达到了令人满意的性能。
2017-09-08 cs.CV
SalyPath360: Saliency and Scanpath Prediction Framework for Omnidirectional Images
University of Oran 1（奥兰第一大学）
本文提出了一种新的框架来预测全方位图像的视觉注意。我们的架构的关键设置是同时预测的显着性图和相应的扫描路径为一个给定的刺激。该框架实现了一个完整的编码器-解码器卷积神经网络，由一个注意力模块增强，以生成代表性的显着图。此外，一个辅助网络被用来生成可能的视口中心固定点，通过SoftArgMax功能。后者允许从特征图中导出固定点。为了利用扫描路径预测，然后应用自适应联合概率分布模型以通过利用基于编码器/解码器的显著性图和基于扫描路径的显著性热图来构建最终无偏显著性图。建议的框架进行了评估显着性和扫描路径预测方面，并将结果进行了比较，以国家的最先进的方法上的显着360！数据集。结果表明，我们的框架的相关性和这种架构的进一步全向视觉注意力预测任务的好处。
2022-01-01 cs.CV
TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction
School of Computer and Communication Sciences, EPFL（计算机与通信科学学院，洛桑联邦理工学院）
针对图像观察中注视转移的时间特性未被利用的问题，提出 TempSAL 模型，借助人类时间注意模式分时段预测显著性图并进行局部调制，在 SALICON 上超越多时长等最先进方法。
2024-09-10 cs.CV
Saliency Prediction in the Deep Learning Era: Successes, Limitations, and Future Challenges
MarkableAI Inc.（MarkableAI公司）
近年来，由于深度学习和大规模注释数据的进步，视觉显着性模型的性能有了很大的飞跃。然而，尽管付出了巨大的努力和取得了巨大的突破，模型仍然无法达到人类水平的准确性。在这项工作中，我探索了该领域的景观，重点是新的深度显着性模型，基准和数据集。大量的图像和视频显着性模型进行审查和比较两个图像基准和两个大规模的视频数据集。此外，我确定的因素，有助于模型和人类之间的差距，并讨论需要解决的问题，以建立下一代更强大的显着性模型。一些具体的问题，解决包括：在哪些方面，目前的模型失败，如何补救，可以从认知研究的注意，如何明确显着性判断与固定，如何进行公平的模型比较，以及显着性模型的新兴应用。
2019-05-24 cs.CV
TDSal: Task-Based Top-Down Saliency Prediction Model
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；TED University（泰德大学）
研究任务驱动的视觉显著度预测问题，提出基于自然语言任务描述调节视觉注意力的模型，生成依赖任务的显著度图，经分析证明纳入任务语义可更忠实地建模目标导向视觉注意力。
2026-07-14 cs.CV
Saliency Prediction with External Knowledge
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在过去的几十年里，随着能够编码高级语义的深度神经网络的成功，显着性预测取得了巨大的进步。然而，虽然人类有先天的能力利用他们的知识来决定看哪里（例如，人们更关注熟悉的面孔，如名人），但显着性预测模型只使用大型眼动跟踪数据集进行训练。这项工作提出了明确纳入显着性模型的外部知识，人类这样做，以弥补这一差距。我们开发的网络通过结合语义关系的先验知识来学习突出区域，无论是一般的还是特定领域的，这取决于感兴趣的任务。该方法的核心是一个新的图形语义显着性网络（GraSSNet），它构建了一个编码从外部知识中学习的语义关系的图形。然后，开发空间图形注意力网络，以基于学习的图形更新显著性特征。实验表明，该模型能够从外部知识中学习显著性预测，在四个显著性基准上的性能优于现有的显著性预测模型。
2020-07-27 cs.CV
DAVE: A Deep Audio-Visual Embedding for Dynamic Saliency Prediction
Aalto University（阿尔托大学）；Nokia Technologies（诺基亚科技）；Tampere University（坦佩雷大学）
本文研究了视听深度显著性预测。它介绍了一个概念上简单而有效的深度视听嵌入动态显着性预测称为“DAVE”，与我们的努力建立一个视听眼跟踪语料库命名为"AVE”。尽管在感知过程中听觉和视觉线索之间存在很强的联系来引导注视，但视频显著性模型只考虑视觉线索，而忽略了在动态场景中无处不在的听觉信息。在这里，我们研究了音频线索与视觉线索结合使用深度神经网络预测显着性图的适用性。为此，拟议的模型特意设计得很简单。两个基线模型开发的同一架构，其中包括一个编码器-解码器。编码器将输入投影到特征空间中，随后是推断显著性的解码器。我们对多模型动态显著性预测的不同模式和各个方面进行了广泛的分析。我们的研究结果表明，（1）音频是显著性预测的一个强有力的线索，（2）显著的可见声源是我们的视听模型优越性的自然原因，（3）输入空间更丰富的特征表示导致更强大的预测，即使在没有更复杂的显著性解码器的情况下，（4）视听模型比最佳视觉模型（我们的基线）提高了53.54%。我们的努力表明，音频是一个重要的线索，可以提高动态视频显着性预测，并帮助模型接近人类的表现。代码可在https://github.com/hrtavakoli/DAVE上获得
2020-01-07 cs.CV
Personalized Saliency and its Prediction
University of Delaware（特拉华大学）
到目前为止，几乎所有现有的视觉显着性模型都专注于预测所有观察者的通用显着性图。然而心理学研究表明，在特定的环境下，不同观察者的视觉注意力会有很大的差异，尤其是在由多个显著物体组成的场景中。为了研究这种异质性的视觉注意模式，我们首先构建了一个个性化的显着性数据集，并探讨视觉注意，个人偏好和图像内容之间的相关性。具体来说，我们建议将个性化显着性图（简称PSM）分解为通用显着性图（简称USM）可预测的现有显着性检测模型和一个新的差异图，跨用户的个性化显着性的特点。然后，我们提出了两种解决方案，预测这样的差异地图，即，多任务卷积神经网络（CNN）框架和具有个人特定信息编码滤波器的扩展CNN（CNN-PIEF）。大量的实验结果表明，我们的模型PSM预测的有效性，以及他们的泛化能力看不见的观察员。
2018-06-16 cs.CV
A Dilated Inception Network for Visual Saliency Prediction
Nanyang Technological University（南洋理工大学）；Ningbo University（宁波大学）
最近，随着深度卷积神经网络（DCNN）的出现，视觉显著性预测研究的进展令人印象深刻。接近下一个改进的一个可能的方向是在DCNN架构中使用计算友好的模块来充分表征多尺度显著性影响因素。在这项工作中，我们提出了一个端到端的扩张初始网络（DINet）的视觉显着性预测。它有效地捕获多尺度上下文特征，具有非常有限的额外参数。我们提出的扩张起始模块（DIM）使用具有不同扩张率的并行扩张卷积，而不是使用具有不同内核大小的并行标准卷积作为现有的起始模块，这可以显着降低计算负荷，同时丰富特征图中感受野的多样性。此外，我们的显着性模型的性能进一步提高，通过使用一组基于线性归一化的概率分布距离度量作为损失函数。因此，我们可以将显著性预测公式化为全局显著性推断的概率分布预测任务，而不是典型的逐像素回归问题。在几个具有挑战性的显着性基准数据集上的实验结果表明，我们的DINet与建议的损失函数可以实现最先进的性能与更短的推理时间。
2019-05-09 cs.CV
DSAL-GAN: Denoising based Saliency Prediction with Generative Adversarial Networks
IIIT Sri City（斯里城印度信息技术学院）；CSIR-CEERI Pilani（科学与工业研究理事会-中央电子工程研究所皮拉尼）；CCS Computers Pvt Ltd（CCS计算机私人有限公司）；IIT Delhi（印度理工学院德里分校）；IIT Jodhpur（印度理工学院焦特布尔分校）
从噪声图像中合成高质量的显著性图是计算机视觉中的一个具有挑战性的问题，并且具有许多实际应用。由现有的显着性检测技术生成的样本不能平滑地处理噪声扰动，并且不能描绘出给定场景中存在的显着对象。在本文中，我们提出了一种新的端到端耦合去噪基于显着性预测与生成对抗网络（DSAL-GAN）框架，以解决显着的目标检测在噪声图像中的问题。DSAL-GAN由两个生成对抗网络（GAN）组成，它们经过端到端的训练，以整体的方式执行去噪和显著性预测。第一个GAN由一个生成器组成，它对有噪声的输入图像进行去噪，在第二个对应部分中，我们检查输出是去噪图像还是真实原始图像。第二个GAN使用基于对抗性损失的显著性预测方法的数据驱动度量从输入去噪图像的原始像素预测显著性图。循环一致性损失也被纳入，以进一步提高显着区域预测。我们证明了全面的评估，建议的框架优于几个基线显着性模型在各种性能基准。
2019-04-02 cs.CV
Modeling Object Dissimilarity for Deep Saliency Prediction
EPFL（洛桑联邦理工学院）；Korea University（高丽大学）
在过去的二十年里，显着性预测已经取得了很大的进步，目前的技术对低级信息（如颜色，强度和大小对比）和高级信息（如整个对象的注意力和注视方向）进行建模。尽管如此，这些方法未能考虑对象之间的差异，这影响了人类的视觉注意力。在本文中，我们介绍了一种检测引导的显着性预测网络，该网络显式地对多个对象之间的差异进行建模，例如它们的外观和大小差异。我们的方法允许我们将对象的差异与任何深度显着性预测网络提取的特征融合在一起。正如我们的实验所证明的那样，这始终提高了基线网络的准确性，使我们能够在三个显着性基准（即SALICON，MIT300和CAT2000）上超越最先进的模型。我们的项目页面位于https://github.com/IVRL/DisSal。
2022-11-24 cs.CV
Self-explanatory Deep Salient Object Detection
National University of Defense Technology（国防科技大学）；National University of Singapore（新加坡国立大学）
显著目标检测在深度学习技术的推动下取得了显著进展。然而，大多数基于深度学习的显著目标检测方法本质上是黑箱的，缺乏可解释性。本文提出了第一个自我解释的显着性检测网络，显式地利用低层次和高层次的特征显着目标检测。我们证明，这样的支持线索，不仅显着提高性能的显着目标检测，但也给出了更好的合理的检测结果。更具体地说，我们开发了一个多阶段的显着性编码器来提取多尺度的功能，其中包含低和高层次的显着性上下文。密集的短距离和长距离连接被引入以迭代地重用这些特性。该显著性编码器可以直接存取低层和高层特征，不仅可以模拟对象上下文，而且可以保持边界。此外，提出了一个自解释的生成器来解释所提出的显着性编码器或其他深度显着性模型如何做出决策。生成器通过防止这些特征对显着性分类器做出贡献来模拟感兴趣特征的缺失，并且在没有这些特征的情况下估计相应的显着性预测。定义了一个比较函数显著性解释，用来衡量深度显著性模型和相应生成器之间的预测变化。通过可视化差异，我们可以解释基于不同深度神经网络的显著性检测模型的能力，并证明我们提出的模型确实使用了更合理的结构来进行显著目标检测。在五个流行的基准数据集上的大量实验和可视化的显着性解释表明，该方法提供了新的最先进的。
2017-08-18 cs.CV
Synergistic saliency and depth prediction for RGB-D saliency detection
Dalian University of Technology（大连理工大学）；UC Berkeley（加州大学伯克利分校）；York University（约克大学）；The University of Hong Kong（香港大学）
当来自RGB通道的图形/地面线索较弱时，RGB-D相机提供的深度信息在分割显著对象时可能很有用。这促使了几个RGB-D显着性数据集和算法的开发，这些数据集和算法使用RGB-D数据的所有四个通道进行训练和推理。不幸的是，现有的RGB-D显着性数据集很小，这可能会导致过度拟合和有限的泛化不同的场景。在这里，我们提出了一个用于RGB-D显著性检测的半监督系统，该系统可以在没有显著性基础事实的较小RGB-D显著性数据集上进行训练，同时还可以有效地联合使用具有显著性基础事实的大型RGB显著性数据集。为了在RGB-D显着性数据集上推广我们的方法，采用了一种新的预测引导交叉细化模块，该模块通过两个相应任务之间的相互细化来联合估计显着性和深度，以及对抗性学习方法。重要的是，我们的系统不需要RGB-D数据集的显着性地面实况，这节省了手工标记的大量人力，并且不需要深度数据进行推理，使该方法能够用于只有RGB数据可用的更广泛的应用。对七个RGB-D数据集的评估表明，即使没有RGB-D数据集的显着性基础事实，并且在推理时仅使用RGB-D数据集的RGB数据，我们的半监督系统也优于最先进的全监督RGB-D显着性检测方法，这些方法在训练时使用RGB-D数据集的显着性基础事实，在两个最大的测试数据集上进行推理时使用深度数据。我们的方法在其他流行的RGB-D显着性基准上也取得了相当的结果。
2020-10-26 cs.CV
Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显著性检测方法，通过开发一个深度监督的递归卷积神经网络（DSRCNN），它执行一个完整的图像到图像的显著性预测。对于显著性检测，显著对象的局部、全局和上下文信息对于获得高质量的显著性图是重要的。为了实现这一目标，DSRCNN基于VGGNet-16设计。首先，将递归连接合并到每个卷积层中，这可以使模型更强大地学习上下文信息。其次，增加侧输出层进行深度监督操作，通过影响中间层，使模型学习到更具鉴别力和鲁棒性的特征。最后，对所有的侧输出进行融合，综合局部和全局信息，得到最终的显著性检测结果。因此，DSRCNN结合了递归卷积神经网络和深度监督网络的优点。在5个基准数据集上对DSRCNN模型进行了测试，实验结果表明，该方法在所有测试数据集上的显著性检测性能均明显优于现有的显著性检测方法。
2016-08-18 cs.CV
Exploring deep learning for Event-Based Saliency Prediction with a Transformer-based model
i3S/CNRS, Université Côte d’Azur（i3S/CNRS，法国国家科学研究中心，埃克塞特大学）
提出SEST模型，利用自监督预训练的事件Swin Transformer和轻量CNN解码器，从事件数据预测动态显著性图，并创建两个新基准数据集，显著优于现有方法。
2026-05-22 cs.CV
DISC: Deep Image Saliency Computing via Progressive Representation Learning
Sun Yat-sen University（中山大学）
显著目标检测作为若干模式识别和图像处理任务中的重要组成部分或步骤越来越受到关注。虽然各种强大的显着性模型已被密集提出，他们通常涉及沉重的功能（或模型）工程的基础上先验（或假设）的对象和背景的属性。受最近开发的特征学习的有效性的启发，我们提供了一种新的深度图像显着性计算（DISC）框架，用于细粒度图像显着性计算。特别是，我们从粗和细级别的观察中对图像显著性进行建模，并利用深度卷积神经网络（CNN）以渐进的方式学习显著性表示。具体来说，我们的显着性模型建立在两个堆叠的CNN上。第一个CNN通过将整个图像作为输入来生成粗略级别的显著性图，粗略地识别全局上下文中的显著性区域。此外，我们在第一个CNN中集成了基于超像素的局部上下文信息，以细化粗糙级显著性图。在粗糙显著图的指导下，第二个CNN专注于局部上下文，以产生细粒度和准确的显著图，同时保留对象细节。对于测试图像，两个CNN协同进行一次显著性计算。我们的DISC框架是能够统一突出的对象的兴趣，从复杂的背景，同时保持良好的对象细节。在几个标准基准上进行的大量实验表明，DISC优于其他最先进的方法，并且在没有额外训练的情况下，它也可以很好地推广到数据集。DISC的可执行版本可在线获得：http://vision.sysu.edu.cn/projects/DISC。
2015-12-10 cs.CV
Smooth Deep Saliency
University of Bremen（不来梅大学）
本文提出减少卷积下采样引起的梯度棋盘格噪声的方法，使隐藏层显著性图更平滑可解释，并在 ImageNet1K 分类及病理肿瘤检测任务上验证其忠实度优于输入层和 GradCAM。
2024-08-08 cs.CV
What Catches the Eye? Visualizing and Understanding Deep Saliency Models
Center for Research in Computer Vision（计算机视觉研究中心）；University of Exeter（埃克塞特大学）；University of Central Florida（中佛罗里达大学）
近年来，深度卷积神经网络已经证明了固视预测的高性能。然而，他们如何实现这一点的探索较少，他们仍然是黑箱模型。在这里，我们试图揭示深层显着性模型的内部结构，并研究它们提取哪些特征用于固定预测。具体来说，我们使用一个简单而强大的架构，仅由一个CNN和一个单一的分辨率输入，结合一个新的损失函数的像素级固定预测在自由观看自然场景。我们表明，我们简单的方法是等同于或优于国家的最先进的复杂的显着性模型。此外，我们提出了一种与显着性模型评估指标相关的方法，用于可视化深层模型以进行固定预测。我们的方法揭示了固定预测的深层模型的内部表示，并提供证据表明，显着性，如人类所经历的，可能涉及高层次的语义知识，除了低层次的感知线索。我们的研究结果可以用来衡量当前显着性模型和人类观察者间模型之间的差距，并建立新的模型来缩小这一差距。
2018-03-22 cs.CV
What Do Deep Saliency Models Learn about Visual Attention?
University of Minnesota（明尼苏达大学）
本文提出一种可解释分析框架，分解深度显著性模型的隐式特征为语义基，量化其对预测的贡献，并应用于自闭症、情绪刺激等场景，揭示模型学到的注意力机制。
2023-10-14 cs.CV
Deep Saliency with Encoded Low level Distance Map and High Level Features
KAIST（韩国科学技术院）；SenseTime Group Limited（商汤集团有限公司）
显著性检测的最新进展已经利用深度学习来获得高级特征以检测场景中的显著区域。这些进步已经证明了优越的结果比以前的作品，利用手工制作的低级别的显着性检测功能。在本文中，我们证明了手工制作的功能可以提供补充信息，以提高性能的显着性检测，只利用高层次的功能。我们的方法在统一的深度学习框架下利用高级和低级特征进行显著性检测。使用VGG-net提取高级特征，并且将低级特征与图像的其他部分进行比较以形成低级距离图。然后使用具有多个1X 1卷积和ReLU层的卷积神经网络（CNN）对低级距离图进行编码。我们将编码的低级别距离图和高级别特征连接起来，并将它们连接到一个完全连接的神经网络分类器来评估查询区域的显著性。我们的实验表明，我们的方法可以进一步提高最先进的基于深度学习的显著性检测方法的性能。
2016-04-19 cs.CV
Saccade Sequence Prediction: Beyond Static Saliency Maps
York University（约克大学）
视觉注意是一个具有相当历史的领域，其中眼动控制和预测形成了一个重要的子领域。在过去的几十年中，固定模型在很大程度上被一些非常有影响力的自下而上的显着性模型所主导，例如Itti-Koch-Niebur模型。由于深度学习，这些模型的准确性最近大幅提高。然而，在静态图像上，这些模型的重点在很大程度上是基于通过显著图对注视的无序预测。很少有实现的模型可以产生时间上有序的人类一样的序列的扫视超过一个初始的固定点。为了解决这些缺点，我们提出了STAR-FC，这是一种新型的多眼扫视发生器，它基于基于深度学习的显着性和基于低级特征的显着性的中央/外围集成。我们已经使用CAT 2000数据库评估了我们的模型，成功地预测了人类的固定模式，与使用一个人类序列预测另一个序列所能达到的精度和质量相当。这是一个显着的改进，由国家的最先进的显着性算法预测的固定序列。
2017-11-29 cs.CV
TinyHD: Efficient Video Saliency Prediction with Heterogeneous Decoders using Hierarchical Maps Distillation
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Dublin City University（都柏林城市大学）；University of Catania（卡塔尼亚大学）
视频显着性预测最近引起了研究界的关注，因为它是一些实际应用的上游任务。然而，当前的解决方案在计算上要求特别高，特别是由于时空3D卷积的广泛使用。我们观察到，虽然不同的模型架构在基准测试中实现了类似的性能，但预测的显着性图之间的视觉变化仍然很明显。受这种直觉的启发，我们提出了一个轻量级的模型，采用多个简单的异构解码器，并采用了几种实用的方法，以提高准确性，同时保持计算成本低，如分层多地图知识蒸馏，多输出显着性预测，未标记的辅助数据集和教师辅助监督的通道减少。我们的方法在DFH 1 K，UCF-Sports和Hollywood 2基准上实现了与最先进的方法相当或更好的显着性预测准确性，同时显着提高了模型的效率。代码在https://github.com/feiyanhu/tinyHD上
2023-01-11 cs.CV
Visual Saliency Based on Multiscale Deep Features
The University of Hong Kong（香港大学）
视觉显著性是认知科学和计算科学（包括计算机视觉）中的一个基本问题。在这篇CVPR 2015论文中，我们发现可以使用流行的深度学习架构卷积神经网络（CNN）提取的多尺度特征来训练高质量的视觉显着性模型，CNN在视觉识别任务中取得了许多成功。为了学习这种显着性模型，我们引入了一种神经网络架构，该架构在CNN之上具有完全连接的层，负责在三个不同尺度上提取特征。然后，我们提出了一种改进方法，以提高我们的显着性结果的空间一致性。最后，聚合为不同级别的图像分割计算的多个显著性图可以进一步提高性能，产生比从单个分割生成的显著性图更好的显著性图。为了促进视觉显著性模型的进一步研究和评价，我们还构建了一个新的大型数据库，包含4447个具有挑战性的图像及其像素级显著性标注。实验结果表明，我们提出的方法能够在所有公共基准上实现最先进的性能，在MSRA-B数据集和我们的新数据集（HKU-IS）上分别将F-Measure提高了5.0%和13.2%，并且在这两个数据集上分别将平均绝对误差降低了5.7%和35.1%。
2015-04-10 cs.CV
Visual Saliency Detection Based on Multiscale Deep CNN Features
Sun Yat-sen University（中山大学）；the University of Hong Kong（香港大学）
视觉显著性是认知科学和计算科学（包括计算机视觉）中的一个基本问题。在本文中，我们发现可以从使用深度卷积神经网络（CNN）提取的多尺度特征中学习高质量的视觉显着性模型，这些神经网络在视觉识别任务中取得了许多成功。为了学习这种显着性模型，我们引入了一种神经网络架构，该架构在CNN之上具有完全连接的层，负责三种不同尺度的特征提取。我们的神经网络的倒数第二层已被证实是一个有区别的高级特征向量的显着性检测，我们称之为深对比度特征。为了生成更强大的功能，我们将手工制作的低级功能与深度对比度功能集成在一起。为了促进视觉显著性模型的进一步研究和评估，我们还构建了一个新的大型数据库，包含4447个具有挑战性的图像及其像素级显著性注释。实验结果表明，我们提出的方法是能够实现国家的最先进的性能在所有的公共基准，提高F-措施分别为6.12%和10.0%的DUT-OMRON数据集和我们的新数据集（HKU-IS），并降低9%和35.3%的平均绝对误差分别在这两个数据集。
2016-09-07 cs.CV
Co-salient Object Detection Based on Deep Saliency Networks and Seed Propagation over an Integrated Graph
Seoul National University（首尔国立大学）
本文提出了一种共同显着的目标检测方法，以找到共同的显着区域，在一组图像。我们利用深度显着性网络来传递共显着性先验知识并更好地捕获高级语义信息，并且通过集成图上的种子传播步骤来增强所产生的初始共显着性图。深度显着性网络以监督的方式进行训练，以避免在线弱监督学习，并利用它们不仅提取高级特征，而且生成图像内和图像间显着性图。通过细化步骤，初始共显图可以均匀地突出共显区域并定位准确的对象边界。为了处理大小不一致的输入图像组，我们建议池多区域描述符，包括段内和组内信息。此外，综合多层图的构建，以找到区域，前面的步骤可能无法检测到的种子传播与低级别的描述符。在这项工作中，我们利用有用的补充组件的高，低层次的信息，和几个学习为基础的步骤。我们的实验表明，所提出的方法优于可比的共同显着性检测方法在广泛使用的公共数据库，也可以直接应用到共同分割任务。
2017-06-29 cs.CV
SalGAN: Visual Saliency Prediction with Generative Adversarial Networks
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Facebook AML；Insight Center for Data Analytics（Insight数据分析中心）；Dublin City University（都柏林城市大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
我们介绍了SalGAN，这是一种深度卷积神经网络，用于通过对抗性示例进行训练的视觉显著性预测。该网络的第一阶段由一个生成器模型组成，其权重通过反向传播来学习，该反向传播是从显着图的下采样版本上的二进制交叉熵（BCE）损失计算的。由此产生的预测是由一个神经网络进行处理的，该神经网络经过训练以解决由生成阶段生成的显着性图和地面实况图之间的二进制分类任务。我们的实验展示了对抗性训练如何在与广泛使用的损失函数（如BCE）相结合时，在不同的指标上达到最先进的性能。我们的结果可以通过https://imatge-upc.github.io/saliency-salgan-2017/上的源代码和训练模型复制。
2018-07-01 cs.CV
Tidying Deep Saliency Prediction Architectures
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术研究所）
学习用于视觉注意力的计算模型（显著性估计）是使机器/机器人更接近人类视觉认知能力的努力。自引入深度神经网络架构以来，数据驱动的努力一直占据主导地位。在深度学习研究中，架构设计中的选择通常是经验性的，并且经常导致比必要的更复杂的模型。这种复杂性反过来又阻碍了应用需求。在本文中，我们确定了显着性模型的四个关键组成部分，即，输入特征、多级集成、读出结构和损失函数。我们回顾了现有的最先进的模型，这四个组件，并提出了新的和更简单的替代品。因此，我们提出了两种新的端到端架构，称为SimpleNet和MDNSal，这是整洁，最小，更可解释的，并实现最先进的性能在公共显着性基准。SimpleNet是一种优化的编码器-解码器架构，在SALICON数据集（最大的显着性基准）上带来了显着的性能提升。MDNSal是一个参数模型，直接预测GMM分布的参数，旨在为预测图带来更多的可解释性。所提出的显着性模型可以以25 fps的速度推断，使其适合于实时应用。代码和预训练模型可在https://github.com/samyak0210/saliency上获得。
2020-03-10 cs.CV
Visual Saliency Prediction Using a Mixture of Deep Neural Networks
Arizona State University（亚利桑那州立大学）
视觉显着性模型最近开始结合深度学习，以实现比以前的无监督方法更大的预测能力。然而，大多数现有的模型预测显着性使用的本地机制仅限于网络的感受野。我们提出了一个模型，除了局部信息收集的卷积神经网络的全局场景语义信息。我们的模型是作为一个混合专家模型制定的。每个专家网络都经过训练，以预测一组密切相关的图像的显着性。最终的显着图被计算为专家网络输出的加权混合，权重由单独的门控网络确定。该门控网络由全局场景信息指导以预测权重。专家网络和选通网络以端到端的方式同时训练。我们表明，我们的混合配方导致性能的改善，否则相同的非混合模型，不纳入全球场景信息。
2017-02-01 cs.CV
Learning Category-level Shape Saliency via Deep Implicit Surface Networks
South China University of Technology（华南理工大学）；Samsung USA（三星美国）；I2R ASTAR（新加坡科技研究局资讯通信研究院）
本文的动机是从一个基本的好奇心是什么定义一类对象的形状。例如，我们可能知道飞机有翅膀，椅子有腿。鉴于同一类别的不同实例之间的形状变化很大，我们正式感兴趣的是为连续物体表面上的单个点定义一个量;该量指定单个表面点如何有助于形成作为类别的形状。我们把这样的数量作为类别级别的形状显着性或形状显着性的简称。从技术上讲，我们建议从深层隐式表面网络中学习同一类别的形状实例的显着性图;隐式表面场中采样点的显着性得分通过约束输入潜在代码的能力来预测。我们还通过额外的对比训练损失来增强显着性预测。我们期望这样的学习表面地图的形状显着性具有平滑，对称和语义代表性的属性。我们通过比较我们的方法与其他方法的显着性计算来验证这些属性。值得注意的是，我们表明，通过利用学习的形状显着性，我们能够重建对象表面的类别显着或实例特定的部分;学习的显着性的语义代表性也反映在其有效性，以指导更好的点云分类的表面点的选择。
2020-12-14 cs.CV
DiffSal: Joint Audio and Video Learning for Diffusion Saliency Prediction
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Nanchang University（南昌大学）
本文提出 DiffSal 扩散架构，将音视频显著性预测建模为条件生成任务，并通过 Saliency-UNet 多模态注意力调制逐步去噪细化，在六个基准上实现显著性能提升。
2024-03-02 cs.CV
A Compact Deep Architecture for Real-time Saliency Prediction
School of Electrical and Computer Engineering（电气与计算机工程学院）；Shiraz University（设拉子大学）；HCL America（美国HCL公司）
提出一种由改进U-Net、新颖全连接层和中心差分卷积层组成的紧凑深度模型，在保持高准确率的同时实现实时显著性预测，适用于边缘设备与视频处理。
2020-08-30 cs.CV
Understanding and Visualizing Deep Visual Saliency Models
University of Exeter（埃克塞特大学）；Aalto University（阿尔托大学）；MarkableAI（MarkableAI公司）
最近，数据驱动的深度显着性模型已经取得了很高的性能，并且超过了经典的显着性模型，如MIT300和SALICON等数据集的结果所证明的那样。然而，这些模型的性能与人类之间的基线之间仍然存在很大的差距。一些悬而未决的问题包括这些模型学到了什么，它们是如何失败的，失败在哪里，以及如何改进它们。本文试图通过分析位于深度显着性模型中间层的单个神经元学习到的表征来回答这些问题。为此，我们遵循现有的深度显着性模型的步骤，即借用对象识别的预训练模型来编码视觉特征，并学习解码器来推断显着性。我们考虑两种情况，当编码器被用作固定的特征提取器时，当它被微调时，并比较网络的内部表示。为了研究学习到的表示如何依赖于任务，我们使用相同的图像集微调相同的网络，但用于两个不同的任务：显着性预测与场景分类。我们的分析表明：（1）部分视觉区域（例如，头部，文本，符号，车辆）已经编码在预先训练用于对象识别的网络的各个层中，2）使用现代数据集，我们发现微调预训练模型用于显着性预测使它们有利于某些类别（例如，超过其他人）（例如，文本），3）尽管显著性的深度模型在自然图像上优于经典模型，对于合成刺激，情况正好相反（例如弹出搜索阵列），人类和数据驱动的显着性模型之间的显着差异的证据，以及4）我们确认，在微调之后，内部表示的变化主要是由于任务而不是数据中的域移位。
2019-04-03 cs.CV
Video Smoke Detection Based on Deep Saliency Network
University of Science and Technology of China（中国科学技术大学）；XI’AN University of Posts & Telecommunications（西安邮电大学）
视频感烟探测是一种很有前途的火灾探测方法，特别是在开放或大空间和室外环境中。传统的视频烟雾检测方法通常包括候选区域提取和分类，但缺乏对烟雾的有力表征。提出了一种基于深度显著性网络的视频烟雾检测方法。视觉显著性检测旨在突出图像中最重要的目标区域。结合像素级和对象级显著性卷积神经网络提取信息丰富的烟雾显著性图。提出了一种端到端的显著性烟雾检测和烟雾存在性预测框架，并将其应用于视频烟雾检测。将深度特征图与显著图相结合来预测图像中烟雾的存在。初始和增强数据集的建立，以衡量不同的设计策略的框架的性能。在帧级和像素级的定性和定量分析表明，最终框架的优异性能。
2019-01-14 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University（吉林大学）
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法，可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的，使得它们不能为图像分割提供有效的信息。在本文中，我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图，并通过种子区域生长方法将位置线索作为种子进行生长，以扩展像素级标签的范围。在种子的生长过程中，我们使用显著性值来加权像素之间的相似性，以控制生长。因此，显著性信息可以帮助生成有区别的对象区域，并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
ViSAGE @ NTIRE 2026 Challenge on Video Saliency Prediction
Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出ViSAGE框架，通过多专家集合方法融合互补的归纳偏置，提升视频显著性预测性能，在私人测试集上取得优异成绩。
2026-04-09 cs.CV
WEPSAM: Weakly Pre-Learnt Saliency Model
IIT Kharagpur（印度理工学院克勒格布尔分校）；Jadavpur University（贾达普大学）
视觉显著性检测试图模仿人类的视觉心理，集中在稀疏的，重要的领域，在自然图像。显着性预测研究传统上是基于低级别的功能，如对比度，边缘等显着性预测研究的最新推力是学习高层次的语义使用地面实况眼睛固定数据集。在本文中，我们提出了WEPSAM：弱预学习显着性模型，作为使用轻量级CNN架构在ImageNet上使用特定领域预学习进行显着性预测的开创性努力。本文提出了一种两步分层学习，其中第一步是开发一个框架，用于在大规模数据集上进行弱预训练，例如ImageNet，它没有人眼固定图。第二步在有限的一组地面实况固定上细化预训练模型。对iSUN和SALICON数据集的损失分析表明，与随机初始化的网络相比，预训练的网络收敛得更快。WEPSAM在具有挑战性的MIT300数据集上的表现也优于一些最新的显着性预测模型。
2016-05-03 cs.CV
A Gated Fusion Network for Dynamic Saliency Prediction
Hacettepe University（哈塞特佩大学）
预测视频中的显著性是一个具有挑战性的问题，由于空间和时间信息之间的相互作用的复杂建模，特别是当考虑视频的不断变化，动态的性质。最近，研究人员提出了利用深度学习的大规模数据集和模型，作为了解视频显着性重要性的一种方式。然而，这些方法学习以静态方式组合空间和时间特征，并且不太适应视频内容的变化。在本文中，我们介绍了用于动态显着性的门控融合网络（GFSalNet），这是第一个能够通过门控融合机制以动态方式进行预测的深度显着性模型。此外，我们的模型还在多尺度架构中利用了空间和通道方面的注意力，从而进一步实现了高度准确的预测。我们评估了所提出的方法在一些数据集上，我们的实验分析表明，它优于或具有很强的竞争力的最先进的。重要的是，我们表明，它具有良好的泛化能力，而且，更有效地利用时间信息，通过其自适应融合方案。
2021-02-15 cs.CV
Promoting Saliency From Depth: Deep Unsupervised RGB-D Saliency Detection
University of Alberta（阿尔伯塔大学）；Wuhan University（武汉大学）；Dalian University of Technology（大连理工大学）
近年来，部分由于深度传感器的普及和深度学习技术的快速发展，人们对RGB-D显著目标检测（RGB-D SOD）的兴趣日益增长。遗憾的是，现有的RGB-D SOD方法通常需要大量的训练图像在像素级进行彻底注释。在各种实际场景中，费力耗时的手动标注已经成为一个真正的瓶颈。另一方面，目前的无监督RGB-D SOD方法仍然严重依赖于手工制作的特征表示。这启发我们在本文中提出了一种深度无监督的RGB-D显著性检测方法，该方法在训练期间不需要手动像素级注释。这是通过我们培训管道中的两个关键要素实现的。首先，设计了一个深度解纠缠显着性更新（DSU）框架，通过迭代后续细化自动产生伪标签，为显着性网络的训练提供了更可靠的监督信号。其次，引入了一种专注的训练策略来解决噪声伪标签的问题，通过适当的重新加权来突出更可靠的伪标签。大量的实验证明了我们的方法在解决具有挑战性的无监督RGB-D SOD场景中的卓越效率和有效性。此外，我们的方法也可以适应在完全监督的情况下工作。实证研究表明，我们的方法的纳入引起显着的性能改善，在现有的监督RGB-D SOD模型。
2022-05-15 cs.CV
Recursive Contour Saliency Blending Network for Accurate Salient Object Detection
AI Technology Lab, OPEN8 Singapore（AI技术实验室，OPEN8新加坡）
轮廓信息在显著目标检测中起着至关重要的作用。然而，过多的假阳性仍然存在于现有的基于轮廓的模型的预测，由于不足的轮廓显着融合。在这项工作中，我们设计了一个网络，在显著目标检测更好的边缘质量。我们提出了一个轮廓-显著性混合模块来交换轮廓和显著性之间的信息。我们采用递归CNN来增加轮廓显著性融合，同时保持总的可训练参数相同。此外，我们设计了一个阶段式特征提取模块，以帮助模型从先前的中间显着性预测中提取最有用的特征。此外，我们提出了两个新的损失函数，即双约束损失和置信损失，我们的模型产生更好的边界预测。五个常见的基准数据集的评估结果表明，我们的模型达到了竞争力的最先进的性能。
2021-08-22 cs.CV
Deep Saliency Models : The Quest For The Loss Function
Univ Rennes（雷恩大学）；IRISA（法国国家信息与自动化研究所雷恩分部（雷恩信息与系统研究所））；CNRS（法国国家科学研究中心）；Aalto University（阿尔托大学）；Shangai University（上海大学）
深度学习的最新进展推动了视觉显着性模型的性能比以往任何时候都更进一步。文献中的许多模型提出了新的方法来设计神经网络，排列凝视模式数据，或提取尽可能多的高级和低级图像特征，以创建最佳的显着性表示。然而，典型深度学习模型的一个关键部分往往被忽视：损失函数的选择。在这项工作中，我们探讨了一些最流行的损失函数，用于深度显着性模型。我们证明，在一个固定的网络架构，修改的损失函数可以显着改善（或贬值）的结果，因此强调的重要性，选择的损失函数设计模型时。我们还介绍了新的损失函数，从来没有被用于显着性预测，以我们的知识。最后，我们证明了几个精心选择的损失函数的线性组合导致在不同的数据集以及不同的网络架构上的性能显着改善，从而证明了组合度量的鲁棒性。
2019-07-04 cs.CV
Group-wise Deep Co-saliency Detection
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
在本文中，我们提出了一种端到端的分组深度共显性检测方法，以解决基于具有组输入和组输出的全卷积网络（FCN）的共显性对象发现问题。所提出的方法捕获组的互动信息组图像通过学习的语义感知的图像表示的基础上的卷积神经网络，自适应学习的组明智的功能，共显着性检测。此外，所提出的方法发现的协作和交互关系组明智的特征表示和单图像的个人特征表示，并在一个协作学习框架中建模。最后，我们建立了一个统一的端到端深度学习方案，以联合优化分组特征表示学习和协作学习的过程，从而获得更可靠和鲁棒的共显着性检测结果。实验结果表明，我们的方法相比，国家的最先进的方法的有效性。
2017-07-25 cs.CV
A Deep Learning Based Fast Image Saliency Detection Algorithm
York University（约克大学）
在本文中，我们提出了一种使用卷积神经网络进行对象显著性检测的快速深度学习方法。在我们的方法中，我们使用一个梯度下降的方法来迭代修改输入图像的基础上逐像素的梯度，以减少一个预定义的成本函数，这是定义来衡量类特定的对象和钳位类无关的输出，以保持图像背景。逐像素梯度可以使用反向传播算法有效地计算。我们进一步应用SLIC超像素和基于LAB颜色的低级别显著性特征来平滑和细化梯度。我们的方法在计算上非常高效，比其他基于深度学习的显着性方法快得多。两个基准任务（即Pascal VOC 2012和MSRA 10 k）的实验结果表明，我们提出的方法可以生成高质量的显着性图，至少可以与许多缓慢而复杂的深度学习方法相媲美。与纯低级方法相比，我们的方法擅长处理许多困难的图像，其中包含复杂的背景，高度可变的显著对象，多个对象，和/或非常小的显著对象。
2016-02-01 cs.CV
Saliency in Augmented Reality
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
随着多媒体技术的飞速发展，增强现实（AR）技术已经成为一种极具前景的下一代移动平台。AR的主要理论是人类视觉混乱，它允许用户通过将现实世界场景和增强内容（虚拟世界场景）叠加在一起来同时感知它们。为了实现良好的体验质量（QoE），重要的是理解两个场景之间的交互，并和谐地显示AR内容。然而，关于这种叠加如何影响人类视觉注意力的研究还很缺乏。因此，本文主要分析了背景场景与增强现实内容之间的交互作用，研究了增强现实中的显著性预测问题。具体来说，我们首先构建了一个显着性AR数据集（SARD），其中包含450 BG图像，450 AR图像，以及1350叠加BG和AR图像的叠加图像，在三个混合水平对。采用大规模的眼动追踪实验，对60名被试进行了眼动数据采集。为了更好地预测AR中的显著性，我们提出了一种矢量量化的显著性预测方法，并将其推广到AR显著性预测。为了比较，提出了三种基准方法，并与我们提出的方法一起在我们的SARD上进行评估。实验结果表明，我们提出的方法的优越性，无论是在共同的显着性预测问题和AR显着性预测问题的基准方法。我们的数据集和代码可以在https://github.com/DuanHuiyu/ARSaliency上找到。
2022-07-12 cs.CV
Personalization of Saliency Estimation
Centre for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）
大多数现有的显着性模型使用低级别的功能或任务描述时，产生的注意力预测。然而，很少研究观察者特征和凝视模式之间的联系。我们提出了一种新的显着性预测技术，考虑到观众的身份和个人特质时，建模人类的注意。而不是只计算图像显着性的平均观察者，我们认为观察者的观察行为与不同的个人特质和背景的人际变化。我们提出了一个丰富的衍生物的GAN网络，这是能够产生个性化的显着性预测时，美联储与图像刺激和特定信息的观察者。我们的模型包含一个生成器，它根据图像和观察者标签生成灰度显着性热图。生成器与一个对抗性的学习器配对，学习区分生成的显着性和地面真实显着性。该方法还将观察者标签作为输入，这有助于我们方法的个性化能力。我们通过与基准模型以及其他非个性化预测的比较来评估我们的个性化显着性模型的性能，并说明所有测试观察者组的预测准确性的改进。
2017-11-21 cs.CV
Deep Learning for Object Saliency Detection and Image Segmentation
York University（约克大学）；Stanford University（斯坦福大学）
在本文中，我们提出了几种新的深度学习方法，用于基于强大的卷积神经网络的对象显著性检测。在我们的方法中，我们使用一个梯度下降的方法来迭代修改输入图像的基础上逐像素的梯度，以减少成本函数测量类特定的对象的图像。逐像素梯度可以使用反向传播算法有效地计算。修改后的图像和原始图像之间的差异可以用作图像的显著性图。此外，我们还提出了几种新的训练方法来学习用于对象显著性检测的显著性特定卷积网络，以便利用可用的像素分割信息。我们的方法计算效率极高（在一个GPU中每秒处理20-40张图像）。在这项工作中，我们使用计算的显着性图的图像分割。两个基准任务，即Microsoft COCO和Pascal VOC 2012的实验结果表明，我们提出的方法可以生成高质量的显着性图，明显优于许多现有的方法。特别是，我们的方法擅长处理许多困难的图像，其中包含复杂的背景，高度可变的显着对象，多个对象，和/或非常小的显着对象。
2015-05-05 cs.CV
Adversarial Attacks against Deep Saliency Models
Shanghai Jiao Tong University（上海交通大学）；MARKABLE；Université de Nantes（南特大学）；West Virginia University（西弗吉尼亚大学）；Baidu Research（百度研究院）
目前，大量基于深度神经网络的显著性模型已经在许多复杂的高级视觉任务（例如场景描述，目标检测）中取得了重大突破。然而，这些模型的鲁棒性尚未得到研究。本文首次提出了一种针对深度显著性模型的稀疏特征空间对抗攻击方法。与传统的图像空间攻击相比，该攻击只需要部分模型信息，并且能够生成更稀疏和更隐蔽的对抗性扰动。这些对抗性扰动非常微妙，人类观察者无法注意到它们的存在，但模型输出将发生革命性变化。这种现象在实际应用中对深度显着性模型提出了安全威胁。我们还探讨了特征空间攻击的一些有趣的性质，例如1）具有较大感受野的隐藏层产生较稀疏的扰动，2）更深的隐藏层实现更高的攻击成功率，3）不同的损失函数和不同的攻击层将导致不同的扰动。实验表明，该方法能够成功地攻击不同的模型架构，在不同的图像场景。
2019-04-02 cs.CV
Video Salient Object Detection via Fully Convolutional Networks
Beijing Institute of Technology（北京理工大学）；University of East Anglia（东安格利亚大学）
本文提出了一种深度学习模型来有效地检测视频中的显著区域。它解决了两个重要问题：（1）在缺乏足够大的像素级注释视频数据的情况下进行深度视频显着性模型训练，以及（2）快速视频显着性训练和检测。所提出的深度视频显著性网络由两个模块组成，分别用于捕获空间和时间显著性信息。动态显着性模型，明确地纳入显着性估计从静态显着性模型，直接产生时空显着性推断，而无需耗时的光流计算。我们进一步提出了一种新的数据增强技术，该技术从现有的注释图像数据集模拟视频训练数据，这使我们的网络能够学习不同的显着性信息，并防止与有限数量的训练视频过拟合。利用我们的合成视频数据（150K视频序列）和真实视频，我们的深度视频显着性模型成功地学习了空间和时间显着性线索，从而产生准确的时空显着性估计。我们在DAVIS数据集（MAE为0.06）和FBMS数据集（MAE为0.07）上推进了最先进的技术，并且以更快的速度（所有步骤均为2fps）完成。
2017-12-09 cs.CV
