Salient Structure Detection by Context-Guided Visual Search
University of Electronic Science and Technology of China（电子科技大学）
我们定义了显着结构（SS）检测的任务，以统一的显着性相关的任务，如固定预测，显着目标检测，和其他感兴趣的结构检测。在这项研究中，我们提出了一个统一的框架SS检测建模的双通道为基础的指导搜索策略的生物视觉。首先，基于上下文的空间先验（CBSP）提取的基础上的边缘在给定的场景中沿着一个快速的视觉路径，称为非选择性路径的布局。这是对潜在SS存在的位置的粗略且非选择性的估计。其次，沿着选择性路径并行地执行局部特征提取的另一流程。最后，贝叶斯推理被用来整合CBSP引导的局部线索，并预测输入场景中SS的确切位置。该模型对物体的大小和特征具有不变性。在四个数据集（两个固定预测数据集和两个显著对象数据集）上的实验结果表明，我们的系统在SS检测方面具有竞争力的性能（即，固定预测和显著目标检测的任务）。
2015-05-17 cs.CV
What is a salient object? A dataset and a baseline model for salient object detection
University of Wisconsin, Milwaukee（威斯康星大学密尔沃基分校）
与注视预测模型不同的显著目标检测或显著区域检测模型传统上一直在处理场景中最显著的对象或区域的定位和分割。虽然当场景中存在多个对象时，最显著对象的概念是合理的，但用于显著性检测方法评估的当前数据集通常具有仅具有一个单个对象的场景。我们在本文中介绍三个主要的贡献：首先，我们深入研究的问题，显着的目标检测，通过研究人们在场景中看，他们选择的最显着的对象，当他们被明确要求之间的关系。基于注视和显著性判断之间的一致性，我们认为最显著的物体是吸引最高分数注视的物体。其次，我们提供了两个新的偏差较小的基准数据集，其中包含挑战现有显着性模型的多个对象的场景。事实上，我们在我们的数据集上观察到8个最先进的模型的性能严重下降（40%至70%）。第三，我们提出了一个非常简单但功能强大的基于超像素的模型，用作模型评估和比较的基线。虽然与MSRA-5 K数据集上的最佳模型相当，但我们的模型在我们的数据上胜过其他模型，突出了现有模型的一个严重缺点，即定位最显著对象及其分割的过程复杂。我们还提供了一些标记的场景数据集，可用于评估显着的目标检测模型的审查和统计分析。我们相信，我们的工作可以极大地帮助弥补模型对现有有偏数据集的过度拟合，并为这个快速发展的领域的未来研究开辟新的途径。
2014-12-08 cs.CV
View-aware Salient Object Detection for 360° Omnidirectional Image
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
360°场景下基于图像的显著目标检测（ISOD）对于理解和应用全景信息具有重要意义。然而，由于缺乏大型，复杂，高分辨率和标记良好的数据集，360° ISOD的研究尚未得到广泛探索。为此，我们构建了一个大规模的360° ISOD数据集，在等矩形投影（ERP）上进行对象级像素级注释，其中包含不低于2K分辨率的丰富全景场景，是迄今为止最大的360° ISOD数据集。通过观察数据，我们发现当前的方法在全景场景中面临三个重大挑战：不同的失真程度，不连续的边缘效应和可变的对象尺度。受人类观察过程的启发，我们提出了一种基于样本自适应视图Transformer（SAVT）模块的视图感知显著目标检测方法，该模块具有两个子模块来缓解这些问题。其中视图Transformer（VT）子模块包含三个基于不同变换的变换分支，用于学习不同视图下的各种特征，提高模型对变形、边缘效应和物体尺度的特征容忍度。样本自适应融合子模块根据不同样本特征调整不同变换分支的权值，使变换后的增强特征更合理地融合。20个最先进的ISOD方法的基准测试结果表明，构建的数据集是非常具有挑战性的。此外，详尽的实验验证了所提出的方法是实用的，优于国家的最先进的方法。
2022-09-27 cs.CV
On the Distribution of Salient Objects in Web Images and its Influence on Salient Object Detection
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
已经变得明显的是，高斯中心偏置可以用作视觉显著性检测的重要先验，这已经被证明用于预测人眼注视和显著目标检测。Tseng等人已经表明，摄影师倾向于将感兴趣的物体放在中心，这可能是眼睛注视中心偏差的一个原因。我们调查的影响，摄影师的中心偏置显着的目标检测，扩展我们以前的工作。我们发现，在Achanta和刘的数据集的照片中的显著对象的质心位置，实际上与高斯模型强烈相关。这是一个重要的见解，因为它为将这种中心偏差集成到显着的目标检测算法中提供了经验动机和理由，并有助于理解为什么高斯模型如此有效。为了评估中心偏置对显著目标检测的影响，我们将显式高斯中心偏置模型集成到两个最先进的显著目标检测算法中。这样，首先，我们量化高斯中心偏置对基于像素和分段的显著目标检测的影响。其次，我们改进了F1得分，Fb得分，召回精度曲线下的面积，受试者工作特征曲线下的面积，以及Achanta和Liu的知名数据集上的命中率。第三，通过去偏程等人。的区域对比度模型，我们示范性地证明，隐式中心偏差是部分负责国家的最先进的算法的出色性能。最后但并非最不重要的是，由于去偏程等人。的算法，我们引入了无偏显著目标检测方法，该方法对于图像数据不太可能具有摄影者的中心偏置的应用（例如，监视摄像机或自主机器人的图像数据）。
2015-01-10 cs.CV
From Sight to Insight: Unleashing Eye-Tracking in Weakly Supervised Video Salient Object Detection
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；ByteDance China（字节跳动中国）；ByteDance USA（字节跳动美国）；Lingnan University（岭南大学）
本文研究弱监督视频显著性目标检测问题，通过引入眼动注视点信息，提出PSE模块提供位置与语义指导，设计SLQ竞争器进行特征选择，并构建IIMC对比学习范式增强时空建模，在五个基准上取得优异性能。
2025-06-30 cs.CV
Weakly Supervised Video Salient Object Detection
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；CSIRO Australia（澳大利亚联邦科学与工业研究组织）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
基于逐像素标记的训练数据集的全监督视频显著性目标检测算法，在获取耗时且代价高昂的情况下，性能得到了显著提高。为了减轻数据标注的负担，我们提出了第一个弱监督的视频显著目标检测模型的基础上重新标记的“固定引导涂鸦注释”。具体来说，提出了一个“外观-运动融合模块”和基于双向ConvLSTM的框架，以实现有效的多模态学习和基于我们新的弱注释的长期时间上下文建模。此外，我们设计了一种新颖的前景-背景相似性损失来进一步探索跨帧的标签相似性。还引入了弱注释提升策略，以通过新的伪标签生成技术来提高我们的模型性能。在六个基准视频显著性检测数据集上的实验结果表明了该方法的有效性。
2021-04-06 cs.CV
SHD360: A Benchmark Dataset for Salient Human Detection in 360° Videos
Institut National des Sciences Appliquées de Rennes（雷恩国立应用科学学院）；Northeast Petroleum University（东北石油大学）
动态360°沉浸式视频中的显著人物检测（SHD）对于诸如机器人、增强现实中的人与人交互和人与物体交互等各种应用具有重要意义。然而，由于缺乏具有大规模全向视频和丰富注释的数据集，360°视频SHD在计算机视觉社区中很少讨论。为此，我们提出了SHD 360，第一个360°视频SHD数据集，其中包含各种现实生活中的日常场景。由于到目前为止还没有针对360°图像/视频SHD提出的方法，我们在我们的SHD 360上系统地基准测试了11种具有代表性的最先进的显著目标检测（SOD）方法，并从大量的实验结果中探索了关键问题。我们希望我们提出的数据集和基准可以作为一个很好的起点，推动以人为本的研究向360°全景数据发展。该数据集可在https://github.com/PanoAsh/SHD360上获得。
2021-12-22 cs.CV
Salient object detection on hyperspectral images using features learned from unsupervised segmentation task
AIST（日本产业技术综合研究所）
已经提出了来自彩色图像的各种显著性检测算法，以模仿人类观察者对相同场景的眼睛注视或专注的目标检测响应。然而，高光谱成像系统的发展使我们能够从物体的反射光源中获得观测场景的冗余光谱信息。一些研究表明，使用低级别的功能，高光谱图像的显着目标检测可以实现。在这项工作中，我们提出了一个显着的目标检测模型的高光谱图像应用流形排名（MR）的自监督卷积神经网络（CNN）的功能（高级功能）从无监督的图像分割任务。CNN的自我监督继续进行，直到聚类损失或显着性图收敛到每次迭代之间的定义误差。最后，显著性估计完成的显着性图在最后一次迭代时，自监督过程终止与收敛。实验结果表明，所提出的显着性检测算法的高光谱图像是优于国家的最先进的高光谱显着性模型，包括原来的MR为基础的显着性模型。
2019-02-28 cs.CV
The Secrets of Salient Object Segmentation
California Institute of Technology（加州理工学院）；Allen Institute for Brain Science（艾伦脑科学研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提供了一个广泛的评估固定预测和显著对象分割算法，以及主要数据集的统计。我们的分析确定了严重的设计缺陷，现有的显着对象基准，所谓的数据集设计偏差，过度强调显着性的刻板概念。数据集设计偏差不仅会造成注视点与显著对象分割之间令人不安的脱节，而且会误导算法设计。基于我们的分析，我们提出了一个新的高质量数据集，提供固定和突出对象分割地面实况。通过同时呈现注视点和显著对象，我们能够弥合注视点和显著对象之间的差距，并提出了一种新的显著对象分割方法。最后，我们报告了三个现有的分割显着对象的数据集上的重大基准进展
2014-06-12 cs.CV
Salient Object Detection: A Benchmark
Computer Science Department, University of Wisconsin, Milwaukee（威斯康星大学密尔沃基分校计算机科学系）；CCCE & CS, Nankai University（南开大学CCCE与计算机学院）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；State Key Laboratory of Virtual Reality Technology and Systems, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院虚拟现实技术与系统国家重点实验室）；International Research Institute for Multidisciplinary Science (IRIMS) at Beihang University（北京航空航天大学国际多学科科学研究所(IRIMS)（注：原机构名中“at Beihang University”为从属关系，中文翻译时保留核心机构名））
我们广泛地比较，定性和定量，40个国家的最先进的模型（28个显着目标检测，10个固定预测，1个对象，和1个基线）超过6个具有挑战性的数据集的基准显着目标检测和分割方法的目的。从迄今为止获得的结果来看，我们的评估显示，在过去几年中，在准确性和运行时间方面都取得了持续的快速进展。该基准中的顶级竞争者明显优于两年前进行的上一个基准中确定为最佳的模型。我们发现，专为显着的目标检测的模型通常比模型在密切相关的领域，这反过来又提供了一个精确的定义，并建议适当的处理这个问题，区分它与其他问题。特别是，我们分析了中心偏差和场景复杂性对模型性能的影响，以及最先进模型的硬案例，为构建更具挑战性的大规模数据集和更好的显着性模型提供了有用的提示。最后，我们提出了可能的解决方案，以解决几个开放的问题，如评估分数和数据集的偏见，这也表明了未来的研究方向，在快速增长的领域显着目标检测。
2018-02-27 cs.CV
Salient Object Detection: A Survey
MarkableAI；Nankai University（南开大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Beihang University（北京航空航天大学）
在计算机视觉中，从自然场景中检测和分割显著目标，通常被称为显著目标检测，已经引起了极大的兴趣。虽然提出了许多模式，并出现了一些应用，但仍然缺乏对成就和问题的深入了解。我们的目标是提供一个全面的审查显着的目标检测和其他密切相关的领域，如通用的场景分割，对象的建议生成，和固定预测的显着性，这一领域的最新进展。涵盖228出版物，我们调查i）根，关键概念和任务，ii）核心技术和主要建模趋势，iii）数据集和评估指标的显着目标检测。我们还讨论了开放的问题，如模型性能的评估指标和数据集偏差，并提出了未来的研究方向。
2019-07-01 cs.AI cs.CV q-bio.NC
Evaluating Salient Object Detection in Natural Images with Multiple Objects having Multi-level Saliency
Zalando Research（Zalando研究院）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；National University of Singapore（新加坡国立大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
显著目标检测使用具有显著对象类和背景的标签的二进制地面实况来评估。在本文中，我们证实了基于三个主观实验的一种新的图像数据集，自然图像中的对象本质上被认为具有不同程度的重要性。我们的数据集名为SalMoN（多对象自然图像中的显着性），有588张包含多个对象的图像。主观实验通过注视时间、点击鼠标和画矩形记录自发注意和知觉。由于多目标图像中的目标显著性本质上是多层次的，因此我们提出显著性目标检测必须评估除了显著性目标类别检测能力之外检测所有多层次显著性目标的能力。为此，我们使用主观实验的结果生成多层次的地图作为与所有数据集图像相对应的地面实况，标签是多层次的显著对象和背景。然后，我们提出使用平均绝对误差，肯德尔的秩相关性和精确度-召回曲线下的平均面积来评估现有的显着目标检测方法对我们的多层次显着性地面真相数据集。将图像上的显著性检测表示为图的局部-全局分层处理的方法在我们的数据集中表现良好。
2020-03-19 cs.CV eess.IV
Automated Design of Salient Object Detection Algorithms with Brain Programming
CICESE Research Center（CICESE研究中心）；Universidad Anahuac Querétaro（阿纳瓦克克雷塔罗大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de San Luis Potosí（圣路易斯波托西自治大学）；Universidad Autónoma de Tlaxcala（特拉斯卡拉自治大学）
尽管最近在计算机视觉方面有所改进，但人工视觉系统的设计仍然令人生畏，因为视觉计算算法的解释仍然难以捉摸。由于很难理解大脑的内部工作机制，显著目标检测是一个尚未解决的问题。这一研究领域的进展遵循传统的使用神经科学知识进行手工设计的路径。近年来，基于遗传编程的两种不同的方法出现，以提高他们的技术。一个遵循的想法相结合以前的手工制作的方法，通过遗传编程和模糊逻辑。另一种方法是通过人工进化改进基本手工模型的内部计算结构。这项研究工作提出了扩大人工背流使用最近的建议，以解决突出的目标检测问题。这种方法利用了这一研究领域的两个主要方面的优势：固定预测和显著对象的检测。我们决定应用视觉显著性和图像分割算法的融合作为模板。所提出的方法发现几个关键结构的模板，通过人工进化。我们目前的结果与国家的最先进的相比，由专家设计的基准与优秀的结果。
2022-04-07 cs.CV cs.LG cs.NE
GazeDPM: Early Integration of Gaze Information in Deformable Part Models
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
越来越多的作品探索协作的人类-计算机系统，其中人类注视被用于增强计算机视觉系统。对于目标检测，这些努力到目前为止仅限于具有固有局限性的后期整合方法，诸如在不增加召回的情况下增加精度。我们提出了一个早期的集成方法在一个可变形的部分模型，它构成了一个联合制定的目光和视觉数据。我们表明，我们的Gazestrium方法提高了4%，最近的方法，凝视支持目标检测3%的公共POET数据集上的最先进的基准线。我们的方法还提供了学习模型的内省，可以揭示显着的图像结构，并允许我们调查凝视吸引和排斥区域之间的相互作用，特定于视图的模型的重要性，以及观众的个人偏见的凝视模式。最后，我们研究了我们的方法的重要的实际方面，如使用显着性图，而不是真正的固定的影响，固定的数量的影响，以及鲁棒性凝视估计错误。
2015-05-21 cs.CV cs.HC
Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
由于使用卷积神经网络来预测凝视注视，数据驱动的显着性最近获得了很多关注。在本文中，我们超越了显着性预测的标准方法，其中凝视图是用前馈网络计算的，并提出了一种新的模型，它可以通过结合神经注意机制来预测准确的显着性图。我们解决方案的核心是卷积LSTM，它专注于输入图像中最显著的区域，以迭代地优化预测的显著性图。此外，为了解决人眼注视的典型中心偏差，我们的模型可以学习一组用高斯函数生成的先验映射。我们通过广泛的评估表明，所提出的架构在公共显着性预测数据集上的表现优于当前最先进的技术。我们进一步研究了每个关键组件的贡献，以证明它们在不同场景下的鲁棒性。
2018-07-09 cs.CV
Deep Learning for Saliency Prediction in Natural Video
Université de Bordeaux（波尔多大学）；Sfax university（斯法克斯大学）；National Engineering School of Sfax（斯法克斯国立工程学院）；Ben Gurion University of the Nagev（内盖夫本古里安大学）
本文的目的是使用新的深度学习技术检测自然视频中的显著区域。首先预测视频帧中的显著块。然后，预测的视觉固定图建立在它们之上。在Caffe工具包实现的CaffeNet的基础上，设计了系统的深层架构。我们表明，改变数据选择的网络参数优化的方式，我们可以节省计算成本高达12倍。我们利用人类视觉系统对残余运动的敏感性，将用于在具有RGB值的静态图像中进行显著性预测的深度学习方法扩展到视频的特异性。此外，我们完成的对比度特征提出的经典视觉注意力预测模型的原色像素值。实验是在两个公开的数据集上进行的。第一个是IRCCYN视频数据库，包含31个视频，总量为7300帧，37个受试者的眼睛注视。第二个是HOLLYWOOD2提供了2517个电影片段，其中有19名受试者的眼睛注视。在IRCYYN数据集上，获得的准确率为89.51%。在HOLLYWOOD2数据集上，预测斑块显着性的结果显示，仅使用RGB时，提高了2%。得到的准确度为76.6%。将预测的显着性图与视觉固定图进行比较的AUC度量显示，来自该数据集的视频片段样本增加了16%。
2016-04-27 cs.CV
A Neuromorphic Proto-Object Based Dynamic Visual Saliency Model with an FPGA Implementation
Riverside Research（里弗赛德研究所）；Indian Institute of Science（印度科学学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
关注视觉场景的显著区域的能力对于执行高级视觉任务（例如，目标检测、跟踪和分类）的生物系统和工程系统而言是固有的和必要的预处理步骤。通过仅将计算资源投入到视觉刺激的显著区域来提高关于处理带宽和速度的计算效率。在本文中，我们首先提出了一个神经形态的，自下而上的，动态的视觉显着性模型的基础上的概念的原型对象。这是通过将视觉刺激的时间特性结合到模型中来实现的，类似于人类视觉系统的早期阶段提取时间信息的方式。该神经形态模型在预测人眼对具有关联的眼动追踪数据的常用视频数据集的注视方面优于最先进的动态视觉显著性模型。其次，对于这个模型有实际的应用，它必须能够在低功耗，小尺寸和轻量级的约束下实时执行计算。为了解决这个问题，我们介绍了一个现场可编程门阵列实施的模型上的蛋白石凯利7350 Kintex-7板。这种新颖的硬件实现允许在100 MHz时钟上运行高达23.35帧/秒的处理-比软件实现的26倍加速更好。
2020-04-12 cs.CV cs.NE eess.IV
Pathformer3D: A 3D Scanpath Transformer for 360° Images
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院）；College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；Shenzhen Research Institute, Nanjing University of Aeronautics and Astronautics（南京航空航天大学深圳研究院）
针对现有360°图像扫描路径预测方法在2D投影平面计算易产生误差的问题，提出3D球坐标系下的Pathformer3D模型，通过3D Transformer编解码与3D高斯分布采样实现预测，性能优于现有最优方法。
2024-07-15 cs.CV
SG-FCN: A Motion and Memory-Based Deep Learning Model for Video Saliency Detection
Tianjin University（天津大学）；Shenzhen University（深圳大学）
由于将卷积神经网络应用于眼睛注视的检测，数据驱动的显著性检测引起了强烈的兴趣。虽然已经提出了许多基于图像的显著对象和注视检测模型，视频注视检测仍然需要更多的探索。与图像分析不同，运动和时间信息是影响人们观看视频序列时注意力的重要因素。虽然现有的模型的基础上的局部对比度和低层次的功能已经得到了广泛的研究，他们未能同时考虑帧间运动和相邻视频帧的时间信息，导致处理复杂的场景时，性能不尽如人意。为此，我们提出了一种新的和有效的视频眼睛注视检测模型，以提高显着性检测性能。通过模拟人类观看视频时的记忆机制和视觉注意力机制，提出了一种步长增益的全卷积网络，在存储当前帧显著性信息的同时，将时间轴上的记忆信息与空间轴上的运动信息相结合。该模型通过分层训练得到，保证了检测的准确性。与11种最先进的方法进行了广泛的实验比较，结果表明，我们提出的模型在许多公开可用的数据集上优于所有11种方法。
2018-09-21 cs.CV
Supersaliency: A Novel Pipeline for Predicting Smooth Pursuit-Based Attention Improves Generalizability of Video Saliency
Technical University of Munich（慕尼黑工业大学）
预测注意力是人类和计算机视觉交叉领域的一个热门话题。然而，尽管大多数可用的视频显着性数据集和模型声称针对人类观察者的注视，但它们未能将其与平滑追踪（SP）区分开，平滑追踪是动态场景感知所特有的主要眼球运动类型。在这项工作中，我们强调SP及其预测（我们称之为超显着性，由于更大的选择性相比，固定）的重要性，并旨在使其区别于固定明确的计算模型。为此，我们（i）使用算法和手动注释的SP和固定两个完善的视频显着性数据集，（ii）训练切片卷积神经网络的显着性预测的固定或SP显着的位置，和（iii）评估我们和26个公开的动态显着性模型对传统的显着性和超显着性地面真理的三个数据集。总的来说，我们的模型在新的超显着性和传统的显着性问题设置，其中文献模型进行了优化优于最先进的。重要的是，在两个独立的数据集上，我们的超显着性模型显示出更强的泛化能力，甚至在注视预测方面也优于所有其他模型。
2019-04-12 cs.CV cs.HC
A study of parameters affecting visual saliency assessment
University of Mons (UMONS)（蒙斯大学）；Faculty of Engineering (FPMs)（工程学院）
自21世纪初以来，计算视觉显着性一直是一个非常活跃的研究领域。每年，越来越多的新模型在主要的计算机视觉会议上发表。如今，最大的挑战之一是找到一种方法来公平地评估所有这些模型。在本文中，提出了一个新的框架来评估模型的视觉显着性。本评价分为三个实验，导致一个新的评价框架的命题。每个实验都基于一个基本问题：1）显着性评估有两个基本事实：眼睛注视和手动分割的显着区域之间的差异是什么？2)显著区域的特性：例如，大、中、小显著区域对显著性模型的难度不同吗？和3）用于评估显着性模型的指标：将它们与PCA混合会有什么优势？这里使用统计分析来回答这三个问题。
2013-07-22 cs.CV
Panonut360: A Head and Eye Tracking Dataset for Panoramic Video
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
本文提出了一个包含50名用户观看15个全景视频的头部和眼部追踪数据集Panonut360，揭示了注视点相对于视场的向下偏移规律，并提供了显著性分布生成脚本与图集。
2024-03-26 cs.CV cs.HC cs.MM
SalyPath360: Saliency and Scanpath Prediction Framework for Omnidirectional Images
University of Oran 1（奥兰第一大学）
本文提出了一种新的框架来预测全方位图像的视觉注意。我们的架构的关键设置是同时预测的显着性图和相应的扫描路径为一个给定的刺激。该框架实现了一个完整的编码器-解码器卷积神经网络，由一个注意力模块增强，以生成代表性的显着图。此外，一个辅助网络被用来生成可能的视口中心固定点，通过SoftArgMax功能。后者允许从特征图中导出固定点。为了利用扫描路径预测，然后应用自适应联合概率分布模型以通过利用基于编码器/解码器的显著性图和基于扫描路径的显著性热图来构建最终无偏显著性图。建议的框架进行了评估显着性和扫描路径预测方面，并将结果进行了比较，以国家的最先进的方法上的显着360！数据集。结果表明，我们的框架的相关性和这种架构的进一步全向视觉注意力预测任务的好处。
2022-01-01 cs.CV
Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises
University of Michigan（密歇根大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）
本研究提出一种受人脑启发的双流视觉模型，通过视网膜采样与循环处理逐步构建图像表示，在无需显式模仿人类注意力的情况下实现了类人注视行为，并显著增强了对抗攻击的鲁棒性。
2024-09-26 cs.CV
Visual Saliency Based on Scale-Space Analysis in the Frequency Domain
Institute of Automation, National University of Defense Technology（国防科技大学自动化研究所）；Centre for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）
我们从三个角度解决视觉显着性的问题。首先，我们认为显着性检测作为一个频域分析问题。其次，我们通过采用{ \it非显著性}的概念来实现这一点。第三，我们同时考虑不同大小的显著区域的检测。本文提出了一种新的自下而上的范式来检测视觉显著性，其特点是尺度空间分析的幅度谱的自然图像。我们表明，卷积的{ \it图像幅度谱}与低通高斯内核的适当规模是等价的，这样的图像显着性检测器。显著图是通过使用原始相位和幅度谱重建2-D信号来获得的，在通过最小化显著图熵选择的尺度上进行滤波。超复数傅立叶变换在频域中执行分析。使用现有的数据库，我们实验证明，该模型可以预测人类的固定数据。我们还介绍了一个新的图像数据库，并使用它来表明，显着性检测器可以突出小的和大的显着区域，以及抑制在杂乱的图像重复干扰。此外，我们表明，它能够预测人们关注的显著区域。
2016-05-06 cs.CV
Visual Attention is Beyond One Single Saliency Map
NUDT（中国人民解放军国防科技大学）
近年来，许多自下而上的注意力模型在不同的假设下被提出。然而，即使来自相同的输入图像，所产生的显著性图也可能彼此不同。我们还观察到，人类的固定地图随时间变化很大。当人们自由地观看一幅图像时，往往首先将注意力分配在大尺度的显著区域，然后搜索越来越多的细节区域。在本文中，我们认为，对于一个输入图像的视觉注意不能被描述为只有一个单一的显着性图，这一机制应该被建模为一个动态的过程。在频域范式下，我们提出了一个全局抑制模型来模拟这个过程，通过抑制输入图像中的{ \it非显著性}，我们还表明，动态过程是由一个参数在频域中的影响。实验结果表明，该模型能够准确预测人的动态注视分布。
2018-10-23 cs.CV q-bio.NC
Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
图像描述最近得到了很多关注，这要归功于深度字幕架构所取得的令人印象深刻的成就，深度字幕架构结合了卷积神经网络来提取图像表示，并结合了递归神经网络来生成相应的字幕。与此同时，一个重要的研究工作一直致力于显着性预测模型的发展，它可以预测人眼的固定。即使显著性信息可以通过提供什么是显著的和什么不是显著的指示来用于调节图像描述架构，研究仍然在努力将这两种技术结合起来。在这项工作中，我们提出了一个图像描述的方法，其中生成递归神经网络可以集中在输入图像的不同部分在生成的标题，通过利用由显着性预测模型上的图像的部分是显着的，哪些是上下文的条件。我们表明，通过对大规模数据集进行广泛的定量和定性实验，我们的模型在有和没有显着性的字幕基线以及结合显着性和字幕的不同最先进方法方面都取得了优异的性能。
2018-05-21 cs.CV
Contextual Encoder-Decoder Network for Visual Saliency Prediction
Maastricht University（马斯特里赫特大学）；Netherlands Institute for Neuroscience（荷兰神经科学研究所）；Royal Netherlands Academy of Arts and Sciences（荷兰皇家艺术与科学学院）
本文提出一种带多膨胀率卷积模块并融合全局场景上下文的轻量级编码器-解码器显著性预测网络，在多个基准和数据集上取得稳定有竞争力的结果。
2024-04-05 cs.CV
Learning from Observer Gaze:Zero-Shot Attention Prediction Oriented by Human-Object Interaction Recognition
Sun Yat-sen University（中山大学）
该研究针对交互导向注意力研究不足的问题，构建了IG注视数据集，提出零样本注意力预测任务ZeroIA与IA模型，验证了其性能优势并证明该注意力可提升HOI模型的效果与可解释性。
2024-05-16 cs.CV
Visual Saliency Model using SIFT and Comparison of Learning Approaches
Hacettepe University（哈切特佩大学）
人类在图像上检测和定位显著物体的能力非常快速和成功。通过使用眼动追踪设备来执行该过程是昂贵的并且不能容易地应用，并且这种人类行为的计算机建模仍然是一个有待解决的问题。在我们的研究中，最大的公共眼动跟踪数据库之一，其中有15个观察者的1003张图像上的固定点。除了已经在以前的研究中使用的低，中，高级别的功能，SIFT特征提取的图像被用来提高模型的分类精度。本文的第二个贡献是比较和统计分析不同的机器学习方法，可以用来训练我们的模型。因此，确定了预测人类观看图像的位置的最佳特征集和学习模型。
2014-02-28 cs.CV
Semantic and Contrast-Aware Saliency
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提出了一个集成模型的语义意识和对比度意识的显着性相结合的自下而上和自上而下的线索，有效的显着性估计和眼睛注视预测。该模型使用两种途径处理视觉信息。第一种途径旨在捕获图像中有吸引力的语义信息，特别是对于有意义的对象和对象部分（如人脸）的存在。第二种途径是基于多尺度在线特征学习和信息最大化，学习输入的自适应稀疏表示，并发现图像上下文内的高对比度显著模式。这两个途径的特点是长期和短期的注意线索，并集成动态使用最大值归一化。我们研究了语义路径的两种不同实现，包括端到端深度神经网络解决方案和动态特征集成解决方案，分别产生SCA和SCAFI模型。在人工图像和5个流行的基准数据集上的实验结果表明，与经典方法和最近的深度模型相比，该模型具有更好的性能和更好的可扩展性。
2018-11-09 cs.CV
A Learning-Based Visual Saliency Prediction Model for Stereoscopic 3D Video (LBVS-3D)
University of British Columbia（不列颠哥伦比亚大学）；TELUS Communications Inc.（研科通讯公司）
在过去的十年中，已经提出了许多用于2D图像和视频的计算显著性预测模型。考虑到人类视觉系统已经在自然的3D环境中进化，想要为3D内容设计视觉注意力模型是很自然的。现有的单眼显著性模型在应用于3D图像/视频内容时不能准确地预测注意区域，因为它们不包含深度信息。本文探讨了立体视频显着性预测，利用低层次的属性，如亮度，颜色，纹理，方向，运动和深度，以及高层次的线索，如脸，人，车辆，动物，文本和地平线。我们的模型从一个粗略的分割开始，量化了几个直观的观察结果，如视觉不适程度，深度不确定性，运动加速度，惊喜元素，显着区域的大小和紧凑性的影响，并强调场景中只有少数显着的对象。采用一种新的基于中央凹的图像区域之间的空间距离模型来考虑局部和全局特征计算。为了有效地融合我们的方法产生的显着性地图到一个单一的显着性地图，是高度相关的眼睛固定数据，一个随机森林为基础的算法。所提出的显着性模型的性能进行评估对眼动跟踪实验，其中涉及24个主题和61个捕获的立体视频的内部数据库的结果。我们的立体视频数据库以及眼动跟踪数据与本文一起公开。实验结果表明，提出的显著性预测方法相比，国家的最先进的方法取得了竞争力的性能。
2018-03-13 cs.CV
PathGAN: Visual Scanpath Prediction with Generative Adversarial Networks
Dublin City University（都柏林城市大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
我们介绍了PathGAN，这是一个深度神经网络，用于在对抗性示例上训练的视觉扫描路径预测。视觉扫描路径被定义为由人类观察者用其凝视定义的图像上的固定点的序列。PathGAN由两部分组成，生成器和编译器。这两个部分使用现成的网络从图像中提取特征，并训练递归层以相应地生成或区分扫描路径。在扫描路径预测中，数据的随机性使得使用监督学习策略很难生成现实的预测，但我们采用对抗训练作为合适的替代方案。我们的实验证明了PathGAN如何提高iSUN和Salient 360上的视觉扫描路径预测的艺术水平！数据集。源代码和模型可在https://imatge-upc.github.io/pathgan/上获得
2018-09-03 cs.AI cs.CV
