Gaze Distribution Analysis and Saliency Prediction Across Age Groups
The University of Tokyo（东京大学）；Université Paris Descartes（巴黎笛卡尔大学）
人类视觉系统的知识有助于开发更好的视觉注意计算模型。已经开发出最先进的模型来模仿年轻人的视觉注意力系统，然而，这些模型在很大程度上忽略了随着年龄的变化而发生的变化。在本文中，我们研究了视觉场景处理如何随着年龄的变化，我们提出了一个年龄适应的框架，有助于开发一个计算模型，可以预测不同年龄组的显着性。我们的分析揭示了观察者的探索性如何随年龄而变化，一个年龄组的显着性图与来自相同或不同年龄组的观察者的注视点有多一致，以及年龄如何影响中心偏差。我们分析了属于四个年龄组的82名观察者在探索视觉场景时的眼动行为。根据显着图的熵量化探索性，并使用曲线下面积（AUC）指标量化一致性分析和中心偏倚。这些结果被用来开发年龄适应显着性模型。我们的研究结果表明，建议的年龄适应显着性模型优于现有的显着性模型在预测跨年龄组的感兴趣区域。
2017-05-31 cs.CV
Leveraging Multi-Modal Saliency and Fusion for Gaze Target Detection
Elm Company（埃尔姆公司）
本文提出一种融合单目深度估计、深度注入显著性图、面部和深度模态的视线目标检测新方法，在三个公开数据集上表现优于现有最先进方法。
2025-04-27 cs.CV
Reconciling saliency and object center-bias hypotheses in explaining free-viewing fixations
University of Wisconsin - Milwaukee（威斯康星大学密尔沃基分校）；University of Southern California（南加州大学）
在过去的二十年里，预测人们在自然场景中的位置吸引了计算机视觉和计算神经科学的极大兴趣。人们提出了两种看似截然不同的线索类别来影响人们的目光：\textit{low-level image saliency}和\textit{high-level semantic information}。我们的第一个贡献是仔细研究这些线索，以证实Henderson~\cite{henderson1993eye}和Nuthmann\& Henderson~\cite{nuthmann2010object}提出的假设，即观察者倾向于看物体的中心。我们分析了固定数据的场景自由观看超过17个观察员60个完全注释的图像与各种类型的对象。图像包含不同类型的场景，例如自然场景，线条画和3D渲染场景。我们的第二个贡献是提出了一个简单的低水平显着性和对象中心偏差的组合模型，该模型在我们的数据以及Xu等人的OSIE数据集上显著优于每个单独的组件。\cite{xu2014predicting}。结果调和显着性与对象中心偏见的假设，并强调这两种类型的线索是重要的指导固定。我们的工作为理解人类在观察场景和物体时使用的策略开辟了新的方向，并展示了低级别显着性和高级别基于对象的信息的组合模型的构建。
2015-03-30 cs.CV
TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction
School of Computer and Communication Sciences, EPFL（计算机与通信科学学院，洛桑联邦理工学院）
针对图像观察中注视转移的时间特性未被利用的问题，提出 TempSAL 模型，借助人类时间注意模式分时段预测显著性图并进行局部调制，在 SALICON 上超越多时长等最先进方法。
2024-09-10 cs.CV
Learning User Embeddings from Human Gaze for Personalised Saliency Prediction
University of Stuttgart（斯图加特大学）；KU Leuven（鲁汶大学）
提出基于孪生卷积神经编码器从少量眼动数据提取用户嵌入的方法，用于个性化显著性预测，在公开数据集上表现优异且泛化性强。
2024-03-26 cs.AI cs.CV cs.HC
Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
由于使用卷积神经网络来预测凝视注视，数据驱动的显着性最近获得了很多关注。在本文中，我们超越了显着性预测的标准方法，其中凝视图是用前馈网络计算的，并提出了一种新的模型，它可以通过结合神经注意机制来预测准确的显着性图。我们解决方案的核心是卷积LSTM，它专注于输入图像中最显著的区域，以迭代地优化预测的显著性图。此外，为了解决人眼注视的典型中心偏差，我们的模型可以学习一组用高斯函数生成的先验映射。我们通过广泛的评估表明，所提出的架构在公共显着性预测数据集上的表现优于当前最先进的技术。我们进一步研究了每个关键组件的贡献，以证明它们在不同场景下的鲁棒性。
2018-07-09 cs.CV
Rectify ViT Shortcut Learning by Visual Saliency
Northwestern Polytechnical University（西北工业大学）；University of Georgia（佐治亚大学）；University of Electronic Science and Technology of China（电子科技大学）；Athens Academy（雅典学院）；ShanghaiTech University（上海科技大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
重复学习是常见的，但对深度学习模型有害，导致退化的特征表示，从而危及模型的泛化性和可解释性。然而，在广泛使用的视觉Transformer框架中的快捷学习在很大程度上是未知的。同时，引入专业知识是纠正由背景相关因素主导的捷径的主要途径。例如，在医学成像领域，来自放射科医师的眼睛注视数据是有效的人类视觉先验知识，其具有引导深度学习模型聚焦于有意义的前景感兴趣区域的巨大潜力。然而，获得眼睛注视数据是耗时的，劳动密集型的，有时甚至是不实际的。在这项工作中，我们提出了一种新的和有效的显着性指导的视觉Transformer（SGT）模型，以纠正快捷学习的ViT与眼睛凝视数据的情况下。具体而言，采用计算视觉显著性模型来预测输入图像样本的显著性图。然后，显着性图被用来隐藏最具信息量的图像块。在所提出的SGT中，图像块之间的自我注意力只集中在提取的信息。考虑到这种提取操作可能会导致全局信息丢失，我们进一步在最后一个编码器层中引入了一个残差连接，该残差连接捕获了所有图像块的自注意力。在四个独立的公共数据集上的实验结果表明，我们的SGT框架可以有效地学习和利用人类的先验知识，而无需眼睛注视数据，并取得了比基线更好的性能。同时，该方法成功地纠正了有害的捷径学习，显著提高了ViT模型的可解释性，证明了在纠正捷径学习中传递人类先验知识的前景
2022-06-17 cs.CV
TDSal: Task-Based Top-Down Saliency Prediction Model
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；TED University（泰德大学）
研究任务驱动的视觉显著度预测问题，提出基于自然语言任务描述调节视觉注意力的模型，生成依赖任务的显著度图，经分析证明纳入任务语义可更忠实地建模目标导向视觉注意力。
2026-07-14 cs.CV
How do people explore virtual environments?
了解人们如何探索沉浸式虚拟环境对于许多应用至关重要，例如设计虚拟现实（VR）内容，开发新的压缩算法，或学习显着性或视觉注意力的计算模型。虽然最近的一系列工作都集中在桌面观看条件下的显着性建模上，但VR与这些条件非常不同，因为观看行为受立体视觉以及头部方向、凝视和其他运动学约束的复杂交互的影响。为了进一步了解VR中的观看行为和显着性，我们捕获并分析了169名用户的凝视和头部方向数据，这些用户探索了立体的静态全方位立体镜，总共有1980个头部和凝视轨迹，用于三种不同的观看条件。我们对数据进行了全面的分析，得出了一些重要的见解，例如存在特定的固定偏差，然后我们使用这些偏差来调整现有的显着性预测因子以适应沉浸式VR条件。此外，我们还探索了我们的数据和分析的其他应用，包括VR视频剪辑的自动对齐，全景缩略图，全景视频摘要和基于显着性的压缩。
2017-09-19 cs.CV
Fixation prediction with a combined model of bottom-up saliency and vanishing point
University of Wisconsin - Milwaukee（威斯康星大学密尔沃基分校）；Dalian University of Technology（大连理工大学）
通过预测人类在自然场景中的位置，我们可以了解他们如何感知复杂的自然场景，并为进一步的高级视觉处理确定信息的优先级。已经提出了几种模型，但现有的最佳显着性模型和人类的表现之间存在差距。虽然许多研究人员已经开发了纯粹的计算模型的注视预测，较少的尝试已经发现的认知因素，引导注视。在这里，我们研究了一种特定类型的场景结构信息的效果，被称为消失点，并表明人类的目光被吸引到消失点区域。我们记录了10个观察者的眼动超过532个图像，其中319个有消失点。然后，我们构建了一个传统显着性和消失点通道的组合模型，并在我们的数据集上使用三个分数表明我们的模型优于最先进的显着性模型。
2015-12-06 cs.CV
Infinite Gaze Generation for Videos with Autoregressive Diffusion
New York University（纽约大学）；Stanford University（斯坦福大学）
本文提出一种自回归扩散模型，用于生成任意长度视频的无限 horizon 原始 gaze，通过在 saliency-aware 视觉潜在空间中条件化，提升长程时空准确性和轨迹真实性。
2026-03-26 cs.CV
Beyond Scanpaths: Graph-Based Gaze Simulation in Dynamic Scenes
GlimpseML；Toyota Motor Europe（丰田汽车欧洲公司）
本文提出基于图的 gaze 模拟方法，通过构建 gaze-中心图和对象密度网络，实现对动态场景中 gaze 动态的精确建模，提供更自然的 gaze 轨迹和 saliency 映射。
2026-03-30 cs.CV
TurkerGaze: Crowdsourcing Saliency with Webcam based Eye Tracking
Princeton University（普林斯顿大学）；Harvard Medical School（哈佛医学院）；Brigham & Women’s Hospital（布莱根妇女医院）
传统的眼动追踪需要专门的硬件，这意味着从许多观察者那里收集视线数据是昂贵、繁琐和缓慢的。因此，现有的显着性预测数据集比其他视觉识别任务的典型数据集小一个数量级。这些数据集的小尺寸限制了训练数据密集型算法的潜力，并导致基准评估中的过拟合。为了解决这一不足，本文介绍了一种基于网络摄像头的视线跟踪系统，该系统支持部署在Amazon Mechanical Turk（AMTurk）上的大规模众包眼动追踪。通过仔细的算法和游戏协议设计的组合，我们的系统获得眼动追踪数据的显着性预测在传统的实验室环境中收集的数据相比，相对较低的成本和较少的努力的一部分，研究人员。使用这个工具，我们为大量的自然图像构建了一个显着性数据集。我们将开源我们的工具，并提供一个网络服务器，研究人员可以上传他们的图像，从AMTurk获得眼动追踪结果。
2015-05-20 cs.CV
GazeFusion: Saliency-Guided Image Generation
New York University（纽约大学）；Stanford University（斯坦福大学）
本文提出GazeFusion显著性引导框架，通过控制模块条件化扩散模型，使生成图像的观看者注意力符合用户指定分布，并经眼动研究和大规模显著性分析验证有效。
2025-02-15 cs.AI cs.CV cs.GR
Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet
Werner Reichardt Centre for Integrative Neuroscience（维尔纳·赖卡特综合神经科学中心）；University Tübingen（图宾根大学）
最近的研究结果表明，国家的最先进的显着性模型在预测固定远不是最佳的。这种性能上的不足被归因于无法对诸如对象之类的高级图像特征的影响进行建模。最近将深度神经网络应用于物体识别等任务的开创性进展表明，它们能够捕获这种结构。然而，训练这些网络所需的大量训练数据使得它们难以直接应用于显著性预测。我们提出了一种新的方法，重用现有的神经网络，已预先训练的目标识别模型的固定预测的任务。使用Krizhevsky et al.（2012）的著名网络，我们提出了一个新的显着性模型，该模型在MIT显着性基准上的表现明显优于所有最先进的模型。我们表明，这个网络的结构允许新的见解，在心理物理学的固定选择和潜在的神经实现。为了训练我们的网络，我们建立在最近的工作建模的显着点过程。
2015-04-09 cs.CV q-bio.NC stat.AP
Vanishing Point Attracts Eye Movements in Scene Free-viewing
University of Wisconsin - Milwaukee（威斯康星大学密尔沃基分校）；Dalian University of Technology（大连理工大学）
眼球运动对于理解复杂场景至关重要。通过预测人类在自然场景中的位置，我们可以了解他们如何感知场景并优先处理信息以进行进一步的高级处理。在这里，我们研究了一种特定类型的场景结构信息，称为消失点的效果，并表明人类的目光被吸引到消失点区域。然后，我们建立了一个传统的显着性和消失点通道的组合模型，优于最先进的显着性模型。
2015-05-14 cs.CV
Noise-Aware Video Saliency Prediction
NVIDIA Research（英伟达研究院）
我们解决的问题，预测显着图的动态场景的视频。我们注意到，从固定数量的观察者的注视数据重建的地图的准确性随帧而变化，因为它取决于场景的内容。在观察员人数有限的情况下，这一问题尤其紧迫。在这种情况下，直接最小化预测和测量显着性图之间的差异，就像传统的深度学习方法一样，会导致对噪声数据的过拟合。我们提出了一个噪声感知训练（NAT）的范例，量化和占帧特定的凝视数据不准确所产生的不确定性。我们表明，NAT是特别有利的，当有限的训练数据是可用的，在不同的模型，损失函数和数据集的实验。我们还介绍了一个基于视频游戏的显着性数据集，具有丰富的时间语义，和多个凝视吸引每帧。数据集和源代码可在https://github.com/NVlabs/NAT-saliency上获得。
2021-11-22 cs.CV cs.LG
Attention-SLAM: A Visual Monocular SLAM Learning from Human Gaze
Shanghai Jiao Tong University（上海交通大学）
提出了一种新的同时定位与地图构建（SLAM）方法--Attention-SLAM，该方法将视觉显著性模型（SalNavNet）与传统的单目视觉SLAM相结合，模拟人类的导航模式。大多数SLAM方法在优化过程中将从图像中提取的所有特征视为同等重要。然而，场景中的显著特征点在人类导航过程中具有更显著的影响。因此，我们首先提出了一个视觉显着性模型，称为SalVavNet，其中我们引入了一个相关模块，并提出了一个自适应指数移动平均（EMA）模块。这些模块减轻了中心偏差，使SalNavNet生成的显着图能够更多地关注同一个显着对象。此外，显着图模拟人类行为的SLAM结果的细化。从显著区域中提取的特征点在优化过程中具有更大的重要性。我们将语义显着性信息添加到Euroc数据集，以生成开源显着性SLAM数据集。综合测试结果证明，Attention-SLAM在大多数测试用例中的效率，准确性和鲁棒性方面优于直接稀疏测距法（DSO），ORB-SLAM和显着DSO等基准。
2020-09-15 cs.CV cs.RO
Vanishing point attracts gaze in free-viewing and visual search tasks
为了研究消失点（VP）是否在注视引导中起重要作用，我们进行了两个实验。在第一个实验中，我们记录了10名观察者（4名女性;平均年龄22岁; SD=0.84）自由观看532张图像的注视，其中319人有VP（洗牌演示;每张图像4秒）。我们发现，以VP为中心的局部区域（80 x80像素）的平均注视次数显著高于随机位置的平均注视次数（t检验; n=319; p=1.8e-35）。为了解决显着性的混淆因素，我们学习了自下而上显着性和VP的组合模型。我们的模型的AUC得分（0.85; SD=0.01）显著高于原始显着性模型（例如，0.8使用Bruce & Tsotsos（2009）的AIM模型，t检验; p= 3.14e-16）和仅VP模型（0.64，t检验; p= 4.02e-22）。在第二个实验中，我们要求14名受试者（4名女性，平均年龄23.07岁，SD=1.26）搜索一个目标字符（T或L），随机放置在覆盖在图像顶部的3x 3想象网格上。受试者通过按下两个键中的一个来报告他们的答案。刺激由270张彩色图像组成（180张有单个VP，90张没有）。目标在每个细胞内以相等的概率发生（15倍L，15倍T）。我们发现，与没有VP的细胞相比，当靶点发生在含有VP的细胞内时，受试者明显更快（并且更准确）（14名受试者的中位数为1.34秒vs. 1.96; Wilcoxon秩和检验; p = 0.0014…
2016-09-06 cs.CV
Comparing radiologists' gaze and saliency maps generated by interpretability methods for chest x-rays
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；School of Computing, University of Utah（犹他大学计算学院）；Department of Psychology, University of Utah（犹他大学心理学系）；Department of Radiology and Imaging Sciences, University of Utah（犹他大学放射学与影像科学系）
本文利用五名放射科医生的眼动数据，通过打乱指标比较 Grad-CAM 与注意力门控模型的显著性图，发现 Grad-CAM 可达到接近观察者间基线的注视模拟效果。
2023-04-20 cs.CV eess.IV
Saliency for free: Saliency prediction as a side-effect of object recognition
Computer Vision Center（计算机视觉中心）；Universidad del Bío Bío（比奥比奥大学）
显着性是我们的视觉系统将我们的注意力（即凝视）集中在相关对象上的感知能力。用于显著性估计的神经网络需要用于训练的真实显著性图，这通常通过眼动跟踪实验来实现。在本文中，我们证明了显着性图可以作为训练具有显着性分支的对象识别深度神经网络的副作用而生成。在真实和合成显著性数据集上进行的大量实验表明，我们的方法能够生成准确的显著性图，与需要真实数据的方法相比，在合成和真实数据集上都取得了有竞争力的结果。
2021-07-20 cs.CV
Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments
Heriot-Watt University（赫瑞-瓦特大学）
本研究通过眼动追踪实验和GPT-4o等视觉语言模型，比较了人类与模型在安全相关场景中的注意力分布，发现模型无需训练数据即可近似人类注视模式。
2026-06-16 cs.CV
Actions in the Eye: Dynamic Gaze Datasets and Learnt Saliency Models for Visual Recognition
University of Toronto（多伦多大学）；Lund University（隆德大学）
基于词袋模型的系统从稀疏兴趣点算子的最大值处收集的图像特征已经成功地用于计算机视觉对象和动作识别任务。虽然稀疏的，基于兴趣点的识别方法与在“扫视和注视”制度下操作的生物系统中的视觉处理并不矛盾，但人类和计算机视觉社区的方法和重点仍然截然不同。在此，我们做出三点贡献，旨在弥合这一差距。首先，我们补充现有的最先进的大规模动态计算机视觉注释的数据集，如好莱坞-2和UCF体育与人眼运动的视觉动作识别任务的生态约束下收集。据我们所知，这些是第一个大型眼动追踪数据集被收集并公开用于视频，vision.imar.ro/eyetracking（497，107帧，每个由16名受试者观看），在它们的（a）大规模和计算机视觉相关性，（b）动态，视频刺激，（c）任务控制方面是独一无二的，而不是自由观看。其次，我们引入了新的顺序一致性和对齐措施，强调显着的稳定性模式的视觉搜索科目。第三，我们利用收集的大量数据进行研究并基于人眼运动构建自动、端到端的可训练计算机视觉系统。我们的研究不仅揭示了计算机视觉时空兴趣点图像采样策略和人类注视之间的差异，以及它们对视觉识别性能的影响，而且还表明，人类注视可以准确预测，并且当用于端到端自动系统时，利用一些先进的计算机视觉实践，可以导致最先进的结果。
2013-12-29 cs.CV
Influence of Image Classification Accuracy on Saliency Map Estimation
Sophia University（上智大学）
计算机视觉中的显著图估计旨在估计人们在图像中注视的位置。由于人们倾向于查看图像中的对象，因此在ImageNet上预训练的用于图像分类的模型的参数对于显著图估计是有用的。然而，还没有关于图像分类精度与显著图估计性能之间关系的研究。在本文中，它表明，有一个很强的相关性之间的图像分类精度和显著图估计精度。我们还研究了基于多尺度图像和上采样层的有效架构，以提高显着图分辨率。我们的模型在PASCAL-S、OSIE和MIT 1003数据集上达到了最先进的精度。在MIT显着性基准测试中，我们的模型在某些指标上取得了最好的性能，在其他指标上取得了竞争性的结果。
2018-07-27 cs.CV
Following Gaze Across Views
Massachusetts Institute of Technology（麻省理工学院）
跟随视频中的人的目光是了解人及其行为的重要信号。在本文中，我们提出了一种方法，通过预测一个特定的人在整个场景中看的地方，在整个视图中的目光。我们收集VideoGaze，这是一个新的数据集，我们将其用作训练和评估模型的基准。给定其中有一个人的一个视图和场景的第二个视图，我们的模型估计第二个视图中凝视位置的密度。我们的方法的一个关键方面是解决以下子问题的端到端模型：显着性，凝视姿势和视图之间的几何关系。虽然我们的模型仅通过凝视进行监督，但我们表明，该模型可以在没有监督的情况下自动学习解决这些子问题。实验表明，我们的方法比标准基线更好地跟踪注视，并为日常情况产生合理的结果。
2016-12-09 cs.CV
Faster gaze prediction with dense networks and Fisher pruning
Twitter（推特）
最近，通过利用为对象识别预先训练的深度表示，从图像中预测人类注视点有了很大的改进。然而，正如我们在本文中所展示的那样，这些网络对于注视预测任务来说是高度过度参数化的。首先，我们提出了一个简单而有原则的贪婪修剪方法，我们称之为Fisher修剪。通过结合知识蒸馏和Fisher剪枝，我们获得了更高效的显着性预测架构，在CAT2000数据集上实现了10倍的加速，而AUC性能与最先进的网络相同。加速单图像凝视预测对于许多现实世界的应用非常重要，但它也是开发视频显着性模型的关键一步，其中要处理的数据量要大得多。
2018-07-09 cs.CV stat.ML
Scanpath Prediction on Information Visualisations
Institute for Visualisation and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）
我们提出了显着性和扫描路径的统一模型（UMSS）-一个学习预测信息可视化上的视觉显着性和扫描路径（即眼睛注视序列）的模型。虽然扫描路径提供了丰富的信息，不同的可视化元素的重要性，在视觉探索过程中，以前的工作一直局限于预测聚合的注意力统计，如视觉显着性。我们对流行的MASSVIS数据集上不同信息可视化元素（例如标题，标签，数据）的凝视行为进行了深入分析。我们发现，虽然，总体而言，凝视模式是惊人的一致的可视化和观众，也有不同的元素在凝视动态的结构差异。根据我们的分析，UMSS首先预测多持续时间元素级显着性图，然后从它们中概率采样扫描路径。在MASSVIS上的大量实验表明，我们的方法在几个广泛使用的扫描路径和显着性评估指标方面始终优于最先进的方法。我们的方法实现了11.5%的扫描路径预测的序列分数的相对改善，和显着性预测的皮尔逊相关系数高达23.6%的相对改善。这些结果是吉祥的，并指向更丰富的用户模型和视觉注意力的模拟，而不需要任何眼动追踪设备。
2023-02-06 cs.CV cs.HC
Consensus Clustering of Free-Viewing Gaze Data: New Insights into Human-Information Interaction
Graphics-Visualization-Computing Lab, International Institute of Information Technology Bangalore（图形-可视化-计算实验室，国际信息技术研究所班加罗尔）；PSG College of Technology（PSG理工学院）
提出基于集成学习的一致性聚类系统EnsembleGaze，通过特征工程和多种聚类策略分析自由观看眼动数据，揭示用户行为与刺激类型的模式，发现图像分组具有一致性而用户分组依赖图像上下文。
2026-07-01 cs.CV cs.HC cs.LG
Seeing with Humans: Gaze-Assisted Neural Image Captioning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
凝视反映了人类如何处理视觉场景，因此越来越多地用于计算机视觉系统。以前的工作证明了凝视对于以对象为中心的任务的潜力，例如对象定位和识别，但是仍然不清楚凝视是否也可以有益于以场景为中心的任务，例如图像描述。我们通过研究人类凝视与深度神经网络的注意力机制之间的相互作用，提出了一种关于凝视辅助图像描述的新观点。使用公共的大规模凝视数据集，我们首先评估最先进的对象和场景识别模型，自下而上的视觉显着性和人类凝视之间的关系。然后，我们提出了一种新的分裂注意力模型的图像描述。我们的模型将人类的凝视信息集成到基于注意力的长短期记忆架构中，并允许算法选择性地将注意力分配到固定和非固定的图像区域。通过对COCO/SALICON数据集的评估，我们表明，我们的方法提高了图像描述的性能，凝视可以补充机器注意力的语义场景理解任务。
2016-08-18 cs.CV
Predicting Visual Attention in Graphic Design Documents
Stony Brook University（石溪大学）
本文提出两阶段深度学习模型，结合布局条件组件显著性与逆强化学习，首次同时预测平面设计文档的空间显著性和动态注视顺序，并构建最大网页眼动数据集验证其优越性能与泛化能力。
2024-07-02 cs.CV
DiffGaze: A Diffusion Model for Continuous Gaze Sequence Generation on 360° Images
Institute for Visualisation and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）；KU Leuven（鲁汶大学）
提出DiffGaze，一种基于条件分数去噪扩散模型的新方法，利用360°图像特征和两个transformer建模时空依赖性，生成连续人类注视序列，在多项基准任务上超越现有方法且生成的序列与真实人类序列难以区分。
2024-03-26 cs.CV cs.HC
Human Attention Estimation for Natural Images: An Automatic Gaze Refinement Approach
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
今天的照片集及其应用程序试图以各种形式反映用户交互。此外，照片集旨在通过捕获用户意图的应用程序以最小的努力捕获用户的意图。图像中的人类兴趣区域携带关于用户行为的强大信息，并且可以在许多照片应用中使用。在计算机视觉领域，对人类视觉注意力的研究已经以注视跟踪和计算显著性模型的形式进行，并且已经显示出相当大的进展。本文提出了一种隐式注视估计和计算显着性模型之间的集成，以有效地估计人类的注意力区域的图像上的飞行。此外，我们的方法通过隐式校准和增量模型更新来估计人类的注意力，而无需用户的任何积极参与。我们还提出了广泛的分析和个人照片收藏的可能应用。
2016-01-12 cs.CV cs.HC cs.MM
Discovering Salient Anatomical Landmarks by Predicting Human Gaze
University of Oxford（牛津大学）
解剖标志是许多医学成像任务的关键先决条件。通常，给定任务的地标集合由专家预定义。然后手动地或经由在手动注释上训练的机器学习方法来注释给定图像的界标位置。在本文中，相比之下，我们提出了一种方法来自动发现和定位医学图像中的解剖标志。具体来说，我们考虑吸引人类视觉注意力的地标，我们称之为视觉显著地标。我们举例说明胎儿神经超声图像的方法。首先，全长临床胎儿超声扫描记录与现场超声波检查凝视跟踪。接下来，训练卷积神经网络（CNN）以预测超声医师在扫描视频帧上的注视点分布（显著图）。然后，使用CNN来预测未看到的胎儿神经超声图像的显著性图，并且将界标提取为这些显著性图的局部最大值。最后，通过对地标CNN特征进行聚类来在图像之间匹配地标。我们发现，发现的地标可以用于仿射图像配准，平均地标之间的4.1%和10.9%的胎儿头部长轴长度的对齐误差。
2020-01-22 cs.CV cs.LG eess.IV
GazeProphet: Software-Only Gaze Prediction for VR Foveated Rendering
GazeProphet提出纯软件注视预测方法，结合球形视觉Transformer与LSTM多模态融合，无需眼动硬件，在VR数据集上达到3.83度中位误差，较基线提升24%。
2025-10-09 cs.CV
Divergent Gaze Patterns in Artistic Viewing: Spatial and Temporal Signatures of Attention Across Autistic Individuals, Artists, and Neurotypical Observers
Université de Tours（图尔大学）；Université d’Orléans（奥尔良大学）；Université Sorbonne Paris Nord（索邦巴黎北大学）
研究比较自闭症成年人、艺术家和神经典型观察者观看画作的注视模式，通过有向度量框架从空间和时间轴分析，发现自闭症患者注视在时空上有独特特征，与其他两组不同，该研究为审美注意力模型提供依据并开源代码和结果。
2026-07-17 cs.CV cs.HC
Personalization of Saliency Estimation
Centre for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）
大多数现有的显着性模型使用低级别的功能或任务描述时，产生的注意力预测。然而，很少研究观察者特征和凝视模式之间的联系。我们提出了一种新的显着性预测技术，考虑到观众的身份和个人特质时，建模人类的注意。而不是只计算图像显着性的平均观察者，我们认为观察者的观察行为与不同的个人特质和背景的人际变化。我们提出了一个丰富的衍生物的GAN网络，这是能够产生个性化的显着性预测时，美联储与图像刺激和特定信息的观察者。我们的模型包含一个生成器，它根据图像和观察者标签生成灰度显着性热图。生成器与一个对抗性的学习器配对，学习区分生成的显着性和地面真实显着性。该方法还将观察者标签作为输入，这有助于我们方法的个性化能力。我们通过与基准模型以及其他非个性化预测的比较来评估我们的个性化显着性模型的性能，并说明所有测试观察者组的预测准确性的改进。
2017-11-21 cs.CV
Temporal Saliency Adaptation in Egocentric Videos
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Dublin City University（都柏林城市大学）
这项工作将用于图像显着性预测的深度神经模型适应于以自我为中心的视频的时域。我们计算每个视频帧的显着性图，首先使用从静态图像训练的现成模型，其次通过添加使用视频显着性预测数据集训练的卷积或conv-LSTM层。我们在EgoMon上研究了每种配置，EgoMon是一个新的数据集，由三个受试者在自由观看和任务驱动的设置中记录的七个以自我为中心的视频组成。我们的研究结果表明，时间适应是有益的，当观众不移动，从一个狭窄的视野观察场景。在这一观察的鼓舞下，我们计算并发布了EPIC Kitterfly数据集的显着性图，其中观众正在烹饪。源代码和模型可在https://imatge-upc.github.io/saliency-2018-videosalgan/上获得
2018-09-04 cs.CV
Real-world Mapping of Gaze Fixations Using Instance Segmentation for Road Construction Safety Applications
North Carolina State University（北卡罗来纳州立大学）；M.C. Dean（M.C. Dean（公司名））；Department of Civil, Construction, and Environmental Engineering（土木、建筑与环境工程系）
研究表明，很大一部分危险仍未得到认识，这使建筑工人面临意外的安全风险。最近的研究还发现，使用眼动跟踪设备捕获的工人的观看模式与他们的危险识别性能之间存在很强的相关性。因此，分析工人的观看模式以更好地了解他们的危险识别性能非常重要。本文提出了一种方法，可以自动映射使用可穿戴式眼动仪收集到的注视固定到预定义的感兴趣的区域。所提出的方法检测这些区域或对象（即，危险）的兴趣通过基于计算机视觉的分割技术和迁移学习。映射的注视数据，然后被用来分析工人的观看行为，并计算他们的注意力分布。所提出的方法是实施在一个在建道路作为一个案例研究，以评估所提出的方法的性能。
2019-02-01 cs.CV cs.LG stat.ML
GazeFlow: From Human Gaze Behavior to Generative Egocentric Gaze Prediction
University of Rochester（罗切斯特大学）
GazeFlow利用条件流匹配将注视建模为受自上而下和自下而上信息约束的联合分布，生成符合人类时间动态的注视轨迹，在标准数据集上达到最先进性能。
2026-10-01 cs.CV cs.LG
AutoFocus-IL: VLM-based Saliency Maps for Data-Efficient Visual Imitation Learning without Extra Human Annotations
Department of Electrical and Computer Engineering, University of California, Riverside, USA（电气与计算机工程系，加州大学河滨分校）；Thomas Lord Department of Computer Science, University of Southern California, USA（汤姆斯·劳德计算机科学系，南加州大学）
AutoFocus-IL通过视觉语言模型自动生成显著性图，提升视觉模仿学习的数据效率和泛化能力，无需额外人类标注。
2025-11-25 cs.CV cs.RO
What Catches the Eye? Visualizing and Understanding Deep Saliency Models
Center for Research in Computer Vision（计算机视觉研究中心）；University of Exeter（埃克塞特大学）；University of Central Florida（中佛罗里达大学）
近年来，深度卷积神经网络已经证明了固视预测的高性能。然而，他们如何实现这一点的探索较少，他们仍然是黑箱模型。在这里，我们试图揭示深层显着性模型的内部结构，并研究它们提取哪些特征用于固定预测。具体来说，我们使用一个简单而强大的架构，仅由一个CNN和一个单一的分辨率输入，结合一个新的损失函数的像素级固定预测在自由观看自然场景。我们表明，我们简单的方法是等同于或优于国家的最先进的复杂的显着性模型。此外，我们提出了一种与显着性模型评估指标相关的方法，用于可视化深层模型以进行固定预测。我们的方法揭示了固定预测的深层模型的内部表示，并提供证据表明，显着性，如人类所经历的，可能涉及高层次的语义知识，除了低层次的感知线索。我们的研究结果可以用来衡量当前显着性模型和人类观察者间模型之间的差距，并建立新的模型来缩小这一差距。
2018-03-22 cs.CV
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Anhui University（安徽大学）；United Arab Emirates University（阿联酋大学）
研究注视目标估计问题，提出TextGaze统一跨模态架构，利用大型视觉语言模型平衡多分支与简化设计范式，通过冻结编码器提取视觉特征、设计融合模块等进行联合预测，在多数据集上评估有竞争力，为传统设计提供简化替代。
2026-11-13 cs.CV
GazeDPM: Early Integration of Gaze Information in Deformable Part Models
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
越来越多的作品探索协作的人类-计算机系统，其中人类注视被用于增强计算机视觉系统。对于目标检测，这些努力到目前为止仅限于具有固有局限性的后期整合方法，诸如在不增加召回的情况下增加精度。我们提出了一个早期的集成方法在一个可变形的部分模型，它构成了一个联合制定的目光和视觉数据。我们表明，我们的Gazestrium方法提高了4%，最近的方法，凝视支持目标检测3%的公共POET数据集上的最先进的基准线。我们的方法还提供了学习模型的内省，可以揭示显着的图像结构，并允许我们调查凝视吸引和排斥区域之间的相互作用，特定于视图的模型的重要性，以及观众的个人偏见的凝视模式。最后，我们研究了我们的方法的重要的实际方面，如使用显着性图，而不是真正的固定的影响，固定的数量的影响，以及鲁棒性凝视估计错误。
2015-05-21 cs.CV cs.HC
Seeing Eye to AI: Comparing Human Gaze and Model Attention in Video Memorability
IIIT Hyderabad（印度信息技术与信息技术研究院海得拉巴分校）；Cognitive Science Lab（认知科学实验室）；CVIT（计算机视觉与图像处理中心）
本研究采用CNN+Transformer架构分析视频记忆性中的时空注意力，通过与人类眼动数据对比，发现模型注意力在空间模式、时间偏好及物体/背景分配上与人类注视高度相似。
2024-11-05 cs.CV
MAAD: A Model and Dataset for "Attended Awareness" in Driving
Northwestern University（西北大学）；Toyota Research Institute（丰田研究院）；Woven Planet
我们提出了一个计算模型来估计一个人的出席意识，他们的环境。我们将关注意识定义为一个潜在的动态场景的那些部分，一个人在最近的历史中关注过这些部分，并且他们仍然可能在身体上意识到这些部分。我们的模型以视频和嘈杂的凝视估计的形式作为输入场景信息，并输出视觉显着性，精细的凝视估计和人的出席意识的估计。为了测试我们的模型，我们捕获了一个新的数据集与高精度的凝视跟踪器，包括24.5小时的凝视序列，从23个主题参加驾驶场景的视频。该数据集还包含基于扫描路径观察的第三方对受试者注意意识的注释。我们的研究结果表明，我们的模型能够在受控环境中合理估计注意意识，并且在未来可能扩展到真实的以自我为中心的驾驶数据，以帮助在安全系统中实现更有效的提前警告，从而提高驾驶员的表现。我们还使用我们的数据集和现有的显着性数据集，证明了我们的模型在显着性，凝视校准和去噪任务上的有效性。我们在https://github.com/ToyotaResearchInstitute/att-aware/上提供我们的模型和数据集。
2021-10-16 cs.CV cs.HC cs.LG
Saliency Prediction for Mobile User Interfaces
Adobe Research（Adobe 研究院）；IIT Kanpur（印度理工学院坎普尔分校）；IIT Madras（印度理工学院马德拉斯分校）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
我们介绍了移动用户界面的显着性预测模型。除了能够执行各种任务的自然图像之外，移动界面还可以包括诸如按钮、文本等的元素。自然图像中的显著性是一个很好的研究领域。然而，考虑到构成移动界面的差异以及这些设备的使用环境，我们假设移动界面图像的显着性预测需要一种新的方法。移动界面设计涉及对元素的操作，即界面的构建块。我们首先从移动设备上收集了自由观看任务的眼睛注视数据。使用这些数据，我们开发了一种新的基于自动编码器的多尺度深度学习模型，该模型在移动界面元素级别提供显着性预测。与为自然图像开发的显着性预测方法相比，我们表明我们的方法在一系列既定指标上表现得更好。
2017-11-28 cs.AI cs.CV
Learning to Zoom: a Saliency-Based Sampling Layer for Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究院）
我们为卷积神经网络引入了一个基于显着性的失真层，它有助于改善给定任务的输入数据的空间采样。我们的可区分层可以作为预处理块添加到现有的任务网络中，并以端到端的方式进行训练。该层的作用是有效地估计如何从原始数据中进行采样，以提高任务性能。例如，对于一个图像分类任务，其中原始数据的大小可能高达几百万像素，但任务网络的所需输入图像要小得多，我们的层学习如何最好地从底层高分辨率数据中采样，其方式比均匀下采样更好地保留任务相关信息。这会产生扭曲的、类似漫画的中间图像，其中图像中提高任务性能的特殊元素被放大和夸大。与空间Transformer网络等替代方法不同，我们提出的层受到图像显著性的启发，从均匀下采样数据中有效计算，并在不确定性下优雅地降级为均匀采样策略。我们应用我们的层来改进现有的网络，用于人类视线估计和细粒度对象分类的任务。我们的方法代码可在：http://github.com/recasens/Saliency-Sampler
2018-09-10 cs.CV
How close are we to understanding image-based saliency?
在驱动注视位置的许多复杂因素的集合中，与自由观看条件下的注视相关联的图像的特性已经被广泛地研究。有一个普遍的印象，该领域是接近理解这种特殊的关联。在这里，我们框架的显着性模型的概率点过程，允许计算对数似然和显着性评估到域的信息。我们将最先进模型的信息增益与黄金标准进行了比较，发现只有三分之一的可解释空间信息被捕获。我们还提供了一个原则性的方法来显示模型在哪里以及如何无法捕获固定中的信息。因此，与先前的断言相反，纯粹的空间显着性仍然是一个重大挑战。
2014-09-26 cs.CV q-bio.NC stat.AP
Revisiting Video Saliency: A Large-scale Benchmark and a New Model
Beijing Institute of Technology（北京理工大学）；Nankai University（南开大学）；University of Central Florida（中佛罗里达大学）
在这项工作中，我们以两种方式为视频显着性研究做出贡献。首先，我们介绍了一个新的基准预测人眼运动的动态场景自由观看，这是长期以来在该领域的迫切要求。我们的数据集名为DHF 1 K（Dynamic Human Fixation），由1 K高质量，精心挑选的视频序列组成，涵盖了大量场景，运动，对象类型和背景复杂性。现有的视频显著性数据集缺乏常见动态场景的多样性和通用性，无法覆盖无约束环境中的挑战性情况。相比之下，DHF 1 K在可扩展性、多样性和难度方面都有了重大飞跃，有望提升视频显着性建模。其次，我们提出了一种新的视频显着性模型，该模型通过注意力机制增强了CNN-LSTM网络架构，以实现快速的端到端显着性学习。注意力机制显式编码静态显着性信息，从而允许LSTM专注于学习跨连续帧的更灵活的时间显着性表示。这种设计充分利用了现有的大规模静态注视数据集，避免了过拟合，并显着提高了训练效率和测试性能。我们彻底检查了我们的模型的性能，相对于最先进的显着性模型，在三个大规模的数据集（即，DHF 1 K，好莱坞2，UCF体育）。超过1.2K的测试视频，包含400 K帧的实验结果表明，我们的模型优于其他竞争对手。
2018-05-26 cs.CV
Cube Padding for Weakly-Supervised Saliency Prediction in 360° Videos
National Tsing Hua University（国立清华大学）；Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
360°视频中的自动显著性预测对于视点引导应用（例如，Facebook 360指南）。我们提出了一个时空网络，它是（1）弱监督训练的，（2）为360°观看范围量身定制的。请注意，大多数现有方法的可扩展性较低，因为它们依赖于带注释的显着图进行训练。最重要的是，它们将360°球面转换为2D图像（例如，单个等矩形图像或多个分离的正常视场（NFoV）图像），这引入了失真和图像边界。相比之下，我们提出了一个简单而有效的立方体填充（CP）技术如下。首先，我们使用透视投影在立方体的六个面上绘制360°视图。因此，它引入的失真非常小。然后，我们连接所有六个面，同时利用立方体上的面之间的连接性进行图像填充（即，Cube Padding）在卷积、池化、卷积LSTM层中的应用。以这种方式，CP不引入图像边界，同时适用于几乎所有卷积神经网络（CNN）结构。为了评估我们的方法，我们提出了Wild-360，一个新的360°视频显着性数据集，包含具有显着性热图注释的挑战性视频。在实验中，我们的方法优于基线方法在速度和质量。
2018-06-04 cs.CV
Human Gaze Guided Attention for Surgical Activity Recognition
手术活动的建模和自动识别是实现手术自动化的基本步骤，在向外科医生提供及时反馈方面发挥着重要作用。准确识别视频中的手术活动提出了一个具有挑战性的问题，需要一个有效的手段来学习空间和时间动态。人类注视和视觉显著性携带关于视觉注意的重要信息，并且可以用于提取更好地反映这些空间和时间动态的更多相关特征。在这项研究中，我们建议使用人类的目光与时空注意力机制的活动识别手术视频。我们的模型由基于I3D的架构组成，使用3D卷积学习时空特征，并使用人类凝视作为监督来学习注意力地图。我们评估我们的模型上的缝合任务的JIGSAWS，这是一个公开的手术视频理解数据集。据我们所知，我们是第一个使用人类凝视进行手术活动识别的人。我们的研究结果和消融研究支持使用人类凝视来引导注意力的贡献，其准确率为85.4%，优于最先进的模型。
2022-11-13 cs.CV eess.IV
GazeVaLM: A Multi-Observer Eye-Tracking Benchmark for Evaluating Clinical Realism in AI-Generated X-Rays
Northwestern University（西北大学）；Loyola University Chicago（洛约拉大学芝加哥分校）；DuPage Medical Group（杜佩奇医疗集团）；Emory University（埃默里大学）
GazeVaLM通过眼动数据和临床标签，评估AI生成X光片的临床真实性，对比人类专家与LLM的诊断准确性。
2026-04-13 cs.CV
ST-DiffEye: Diffusion-based Continuous Gaze Generation via Joint Scanpath-Trajectory Modeling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出ST-DiffEye，一种联合轨迹-扫描路径扩散框架，通过将两者拼接为额外输入通道进行联合建模，并引入基于连续排序概率得分（CRPS）的评估方法，在视觉搜索和自由观看任务上达到最先进性能。
2026-06-16 cs.CV
Eye Gaze Tells You Where to Compute: Gaze-Driven Efficient VLMs
Leiden Institute of Advanced Computer Science (LIACS)（莱顿先进计算机科学研究所）
本文提出无需训练的GazeVLM框架，利用人眼注视提取感兴趣区域并结合低分辨率全局视图模拟中央凹-外周感知，在保持答案质量的同时将视觉令牌最多减少93.1%、FLOPs减少50%，为消费设备上高效VLM推理提供了即插即用的方案。
2025-09-20 cs.CV
