Looking at the right stuff: Guided semantic-gaze for autonomous driving
UC San Diego（加州大学圣迭戈分校）
近年来，预测驾驶员的注意力焦点一直是自动驾驶社区中非常活跃的研究领域。不幸的是，现有的最先进的技术通过仅依赖于人类凝视信息来实现这一点，从而忽略了场景语义。我们提出了一种新的语义增强凝视（SAGE）检测方法，捕获驾驶特定的上下文信息，除了原始的凝视。这种组合的注意力机制用作聚焦于图像帧中的相关区域以便使驾驶既安全又高效的有力工具。利用这一点，我们设计了一个完整的显着性预测框架- SAGE-Net，它通过考虑到重要的方面，如到对象的距离（深度），自我车辆速度和行人过街意图，修改了SAGE的初始预测。通过四种流行的显着性算法进行的详尽实验表明，在$\mathbf{49/56\text{ }(87.5\%)}$的情况下-考虑到整个数据集和关键的驾驶场景，SAGE优于现有的技术，在训练过程中没有任何额外的计算开销。增加的数据集以及相关代码可作为补充材料的一部分。
2020-03-31 cs.CV cs.RO
OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following
Stony Brook University（石英布大学）；The University of Adelaide（阿德莱德大学）
提出OmniGF框架，通过双分支解码策略（语言分支生成离散推理状态，连续空间分支利用密集隐藏状态）结合头部嵌入，实现多人场景下精确的空间视线估计、语义视线预测和复杂社会视线推理，在多个基准上达到新最优。
2026-05-26 cs.CV
RITnet: Real-time Semantic Segmentation of the Eye for Gaze Tracking
Rochester Institute of Technology（罗切斯特理工学院）
精确的眼睛分割可以改善眼睛注视估计并支持基于视觉注意的交互式计算;然而，现有的眼睛分割方法遭受诸如依赖于人的准确性、缺乏鲁棒性以及不能实时的【形】运行的问题。在这里，我们提出了RITnet模型，这是一个结合了U-Net和DenseNet的深度神经网络。RITnet小于1 MB，在2019年OpenEDS语义分割挑战中达到95.3\%的准确率。使用GeForce GTX 1080 Ti，RITnet以$>$ 300 Hz进行跟踪，从而实现实时的【形】凝视跟踪应用。预训练模型和源代码可在https://bitbucket.org/eye-ush/ritnet/上获得。
2019-10-01 cs.CV eess.IV
Model-aware 3D Eye Gaze from Weak and Few-shot Supervisions
ETH Zurich（苏黎世联邦理工学院）；Sofia University（索非亚大学）；INSAIT
提出一种结合眼部语义分割弱监督与少量3D视线向量直接监督的方法，并设计基于transformer的网络架构，在仅用0.05% 3D标注时将视线角度误差降低约5度。
2023-11-20 cs.CV
GazeTrack: High-Precision Eye Tracking Based on Regularization and Spatial Computing
Dalian University of Technology（大连理工大学）
GazeTrack通过正则化和空间计算方法，实现高精度眼动追踪，构建了首个包含多族裔、多年龄和多视力条件的基准数据集，并提出新的形状误差正则化和坐标变换方法，提升眼动向量预测的准确性。
2025-11-27 cs.AI cs.CV cs.HC
Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）
传统的基于特征和基于模型的凝视估计方法已经证明在具有受控照明和专用相机的设置中表现良好。然而，在不受约束的现实世界的设置，这样的方法是超越最近的外观为基础的方法，由于建模因素，如照明变化和其他视觉伪影的困难。我们提出了一种新的基于学习的方法，使传统的方法是最新的外观为基础的方法具有竞争力的眼睛区域的地标定位。尽管专门针对合成数据进行了训练，但我们的方法在真实图像上的虹膜定位和眼睛形状配准方面超过了现有技术。然后，我们使用检测到的地标作为迭代模型拟合和基于轻量级学习的凝视估计方法的输入。我们的方法优于现有的模型拟合和外观为基础的方法在人的独立和个性化的凝视估计的背景下。
2018-05-12 cs.CV
Camera-based implicit mind reading by capturing higher-order semantic dynamics of human gaze within environmental context
China University of Petroleum (East China)（中国石油大学（华东））；the Qingdao Institute of Software（青岛软件研究所）；the College of Computer Science and Technology（计算机科学与技术学院）；Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能油气工业软件重点实验室）；College of Information Science and Technology（信息科学与技术学院）
本文提出一种基于标准摄像头的用户无感知情绪识别方法，通过融合注视固定模式与环境语义及时间动态，捕捉人与环境的动态交互，实现实时连续的情绪推断，具有高泛化性和低部署成本。
2025-07-17 cs.CV
EyeNet: A Multi-Task Network for Off-Axis Eye Gaze Estimation and User Understanding
Magic Leap, Inc.（Magic Leap公司）
通过眼睛图像对用户的眼睛注视估计和同步语义理解是虚拟和混合现实中的关键组成部分;实现节能渲染，多焦点显示和与3D内容的有效交互。在头戴式VR/MR设备中，眼睛离轴成像以避免阻挡用户的凝视，该视点使得绘制眼睛相关的推断非常具有挑战性。在这项工作中，我们提出了EyeNet，第一个单一的深度神经网络，解决了多个异构任务相关的眼睛注视估计和语义用户理解的离轴相机设置。这些任务包括眼睛分割、眨眼检测、情绪表情分类、红外LED闪烁检测、瞳孔和角膜中心估计。为了训练EyeNet端到端，我们采用手动标记监督和基于模型的监督。我们在MagicEyes上对所有任务进行基准测试，MagicEyes是一个大型的新数据集，包含587名受试者，具有不同的形态，性别，肤色，化妆和成像条件。
2019-08-24 cs.CV cs.LG eess.IV
Gaze-Guided Graph Neural Network for Action Anticipation Conditioned on Intention
Technical University of Munich（慕尼黑工业大学）；ETH（苏黎世联邦理工学院）；University of Virginia（弗吉尼亚大学）
针对基于部分视频预测智能体动作的任务，提出视线引导的图神经网络算法，结合视线数据构建视觉-语义图识别意图并预测动作，在自建家庭活动数据集上18类意图识别准确率较SOTA提升7%。
2024-04-10 cs.CV cs.HC cs.LG
L2CS-Net: Fine-Grained Gaze Estimation in Unconstrained Environments
Otto-von-Guericke-University（奥托·冯·格里克大学）
人类注视是在诸如人机交互和虚拟现实等各种应用中使用的关键线索。最近，卷积神经网络（CNN）方法在预测注视方向方面取得了显著进展。然而，由于眼睛外观的独特性、闪电条件以及头部姿势和注视方向的多样性，估计野外注视仍然是一个具有挑战性的问题。在本文中，我们提出了一个强大的基于CNN的模型，用于预测无约束环境中的凝视。我们建议分别回归每个注视角度，以提高每个角度的预测精度，这将提高整体注视性能。此外，我们使用两个相同的损失，每个角度一个，以改善网络学习并提高其泛化能力。我们评估我们的模型与两个流行的数据集收集无约束的设置。我们提出的模型在MPIIGaze和Gaze360数据集上分别达到了3.92°和10.41°的最新精度。我们在https://github.com/Ahmednull/L2CS-Net上开源代码。
2022-03-07 cs.CV cs.LG cs.RO
Cross-Paradigm Evaluation of Gaze-Based Semantic Object Identification for Intelligent Vehicles
Smart Mobility & Infrastructure Laboratory（智能移动与基础设施实验室）；College of Engineering, University of Georgia（工程学院）
本文通过三种方法评估基于注视的语义物体识别，发现大型VLM在识别小型安全关键物体上表现优异，但传统检测器在实时性上更高效。
2026-02-01 cs.AI cs.CV
See Through the Noise: Improving Domain Generalization in Gaze Estimation
Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通大数据挖掘与具身智能重点实验室）
本文提出 SeeTN 框架，通过缓解标签噪声提升 gaze 估计的领域泛化能力，通过构建语义嵌入空间和引入新的亲和力正则化，增强语义结构对齐和领域不变 gaze 关系，提升鲁棒性。
2026-04-17 cs.AI cs.CV
Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers
AGH University（AGH大学）；Jagiellonian University（雅盖隆大学）
本文提出双流Transformer架构，用于从同步双摄像头记录中自动检测互视与联合注意，通过冻结的注视感知骨干网络和自定义令牌融合机制，有效提升了多摄像头实验室环境下的检测性能。
2026-04-29 cs.CV
Factor-Informed Uncertainty Distillation for Gaze Estimation
University of Essex（埃塞克斯大学）
研究注视估计在无约束环境中的问题，提出因子感知不确定性蒸馏框架FIUD，通过梯度提升教师预测误差、神经学生提炼信号，提升了不确定性、误差等级相关性和选择性预测，在无约束环境中效果最佳。
2026-07-23 cs.CV cs.HC
Eye Gaze Estimation Model Analysis
Stony Brook University（石溪大学）
我们探索使用机器学习的眼睛注视估计技术。视线估计是各种行为分析和人机接口的共同问题。这项工作的目的是讨论各种模型类型的眼睛注视估计，并提出了从预测注视方向，在无约束的设置使用眼睛地标的结果。在无约束的现实世界中，基于特征和基于模型的方法优于最近的基于外观的方法，由于像照明变化和其他视觉伪影的因素。我们讨论了一种基于学习的方法，专门训练合成数据的眼睛区域地标定位。我们讨论了如何使用检测到的地标作为输入迭代模型拟合和轻量级学习为基础的凝视估计方法，以及如何使用该模型的个人独立和个性化的凝视估计。
2022-07-28 cs.CL cs.CV
GazeGAN - Unpaired Adversarial Image Generation for Gaze Estimation
Technion（以色列理工学院）；Google Inc.（谷歌公司）
最近的研究已经证明了通过对来自手机前置摄像头的图像进行推断来估计移动设备上的注视的能力，并且不需要专门的硬件。虽然这提供了广泛的潜在应用，例如在人机交互、医学诊断和可访问性（例如，作为运动障碍患者的输入的免提凝视），当前的方法是有限的，因为它们依赖于从真实用户收集数据，这是一个繁琐且昂贵的过程，难以跨设备扩展。已经有一些尝试使用可以模拟各种头部姿势和相机设置的3D模型来合成眼睛区域数据，然而这些缺乏真实感。在本文中，我们改进了最近提出的方法，并提出了一个生成对抗框架来生成具有高多样性的高分辨率彩色图像的大型数据集（例如，在主体中，头部姿势，相机设置）和真实性，同时保持凝视标签的准确性。所提出的方法对眼睛的扩展区域进行操作，甚至完成图像的缺失部分。使用这个丰富的合成数据集，而不使用来自真实用户的任何额外的训练数据，我们展示了对移动设备上估计2D凝视位置的最新技术的改进。我们进一步展示了模型性能的跨设备泛化，以及对不同头部姿势、模糊和距离的鲁棒性。
2017-11-27 cs.AI cs.CV cs.HC
A Modular Multimodal Architecture for Gaze Target Prediction: Application to Privacy-Sensitive Settings
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出一种利用深度和姿态等多模态线索并通过注意力机制组合的模块化架构，用于注视目标预测，在隐私敏感场景下于GazeFollow和VideoAttentionTarget数据集上取得最先进性能。
2023-07-11 cs.CV
GazeOnce360: Fisheye-Based 360° Multi-Person Gaze Estimation with Global-Local Feature Fusion
State Key Laboratory of VR Technology and Systems, School of CSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机科学与工程学院）
本文提出GazeOnce360，一种端到端模型，用于从单个桌面安装的向上鱼眼摄像头估计多人凝视方向。通过引入MPSGaze360大规模合成数据集，融合全局低分辨率上下文与高分辨率局部眼区，解决鱼眼图像的严重失真和视角变化问题。
2026-03-17 cs.CV
Seeing with Humans: Gaze-Assisted Neural Image Captioning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
凝视反映了人类如何处理视觉场景，因此越来越多地用于计算机视觉系统。以前的工作证明了凝视对于以对象为中心的任务的潜力，例如对象定位和识别，但是仍然不清楚凝视是否也可以有益于以场景为中心的任务，例如图像描述。我们通过研究人类凝视与深度神经网络的注意力机制之间的相互作用，提出了一种关于凝视辅助图像描述的新观点。使用公共的大规模凝视数据集，我们首先评估最先进的对象和场景识别模型，自下而上的视觉显着性和人类凝视之间的关系。然后，我们提出了一种新的分裂注意力模型的图像描述。我们的模型将人类的凝视信息集成到基于注意力的长短期记忆架构中，并允许算法选择性地将注意力分配到固定和非固定的图像区域。通过对COCO/SALICON数据集的评估，我们表明，我们的方法提高了图像描述的性能，凝视可以补充机器注意力的语义场景理解任务。
2016-08-18 cs.CV
QualitEye: Public and Privacy-preserving Gaze Data Quality Verification
Institute of Information Security, Institute of Visualisation and Interactive Systems, University of Stuttgart（信息安全部、可视化与交互系统研究所、斯图加特大学）；Institute of Information Security, University of Stuttgart（信息安全部、斯图加特大学）；Institute of Visualisation and Interactive Systems, University of Stuttgart（可视化与交互系统研究所、斯图加特大学）
QualitEye提出一种新的方法用于验证基于图像的注视数据质量，在公开和隐私保护场景下均能有效提升数据质量，通过语义表示和隐私保护协议实现高效验证。
2026-03-19 cs.CR cs.CV cs.HC
MIDAS: Deep learning human action intention prediction from natural eye movement patterns
Imperial College London（帝国理工学院）；Data Science Institute（数据科学研究所）
长期以来，眼动一直被研究为进入人类大脑的注意力机制的窗口，并作为新颖风格的人机界面。然而，并不是我们所注视的一切都是我们想要与之交互的东西;这被称为注视界面的迈达斯触摸问题。为了克服Midas Touch问题，目前的界面倾向于不依赖于自然凝视线索，而是使用停留时间或凝视手势。在这里，我们提出了一个完全数据驱动的方法来解码人类的意图对象操作任务的基础上，完全自然的凝视线索。我们运行数据汇集实验，其中16名参与者被赋予操作和检查任务，在他们面前的桌子上的各种对象上执行。受试者的眼球运动是使用可穿戴的眼动仪记录的，该眼动仪允许参与者自由地移动他们的头部并注视场景。我们使用我们的语义中心凹，一个卷积神经网络模型来获得场景中的对象及其与每帧注视轨迹的关系。然后，我们评估数据，并研究几种方法来模拟意图预测的分类任务。我们的评估表明，意图预测是不是一个天真的结果的数据，而是依赖于非线性的时间处理的凝视线索。我们将任务建模为时间序列分类问题，并设计了一个双向长短期记忆（LSTM）网络架构来解码意图。我们的研究结果表明，我们可以解码人类的运动意图纯粹从自然的凝视线索和对象的相对位置，与$91.9\%$的准确性。我们的工作证明了自然凝视作为人机交互的零UI界面的可行性，即，用户将仅需要自然地行动，并且不需要与界面本身交互或偏离他们的自然眼睛运动模式。
2022-01-22 cs.CV cs.HC cs.LG
Gaze-Regularized VLMs for Ego-Centric Behavior Understanding
HKU Musketeers Foundation Institute of Data Science, The University of Hong Kong（香港大学穆凯特基金会数据科学研究所，香港大学）
本文提出一种基于目光调节的视觉语言模型框架，通过整合目光信息提升以自身为中心的行为理解能力，实验结果显示在语义得分上提升了近13%。
2026-03-24 cs.CV
From Gaze to Insight: Bridging Human Visual Attention and Vision Language Model Explanation for Weakly-Supervised Medical Image Segmentation
Department of Engineering Science, University of Oxford（工程科学系，牛津大学）；Department of Automation, Tsinghua University（自动化系，清华大学）；School of Information Science and Technology, Northwest University（信息科学与技术学院，西北大学）
针对医学图像分割标注成本高的问题，提出整合凝视数据与VLM监督的师生框架，通过三种策略提升弱监督分割性能，兼顾精度与临床可解释性。
2025-10-05 cs.CV
Unsupervised Gaze-aware Contrastive Learning with Subject-specific Condition
Delft University of Technology（代尔夫特理工大学）
提出基于对比学习的无监督框架ConGaze，通过注视特定数据增强和特定主体条件投影模块学习跨主体通用注视感知表示，在多个公开数据集上显著优于现有无监督及监督学习方法。
2023-09-08 cs.CV
A Robotics-Inspired Scanpath Model Reveals the Importance of Uncertainty and Semantic Object Cues for Gaze Guidance in Dynamic Scenes
Department One（第一部门）；Department Two（第二部门）；Science of Intelligence, Research Cluster of Excellence（卓越集群“智能科学”）
针对动态场景中对象分割与注视行为独立处理的问题，本文提出受机器人学启发的贝叶斯滤波递归分割模型，通过不确定性估计引导注视，揭示不确定性与语义线索的作用，其行为与人类扫描路径高度相似且支持扩展。
2025-02-11 cs.AI cs.CV q-bio.NC
GazeHTA: End-to-end Gaze Target Detection with Head-Target Association
Delft University of Technology（代尔夫特理工大学）；Honda Research Institute Japan（本田日本研究所）
本文提出端到端多人注视目标检测框架GazeHTA，通过扩散模型提取场景特征、重注入头部特征并学习头部-目标连接图，在两个标准数据集上超越现有最优方法。
2025-02-05 cs.CV
When Eyes Betray AI: Social Gaze Consistency as a Semantic Cue for AI-Generated Image Detection
School of Computer Engineering（计算机工程学院）；Hoseo University（Hoseo大学）；School of Electronic Engineering（电子工程学院）；Soongsil University（Soongsil大学）；School of Computer Science（计算机科学学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出社交注视一致性作为高层语义线索，通过构建诊断数据集、块组合描述监督和跨架构验证，证明该线索能有效检测AI生成图像，并解释其跨生成器迁移的机制。
2026-05-27 cs.AI cs.CV
Realtime Dynamic Gaze Target Tracking and Depth-Level Estimation
Ford Motor Company（福特汽车公司）
本文针对动态透明显示器上的实时注视监测问题，提出基于树的动态注视目标跟踪算法和多流自注意力深度层级估计架构，并在真实眼动数据集及SoC上验证了系统的实时性、精度与可扩展性。
2024-06-09 cs.AI cs.CV cs.HC
OpenEDS2020: Open Eyes Dataset
Facebook Reality Labs（Facebook现实实验室）；Facebook；Texas State University（德克萨斯州立大学）；Universitat de Barcelona（巴塞罗那大学）
我们提出了第二版的OpenEDS数据集，OpenEDS 2020，一个新的数据集的眼睛图像序列捕获的帧速率为100 Hz的受控照明下，使用虚拟现实的盔装显示器安装有两个同步的眼睛面对相机。该数据集是匿名的，以去除参与者的任何个人身份信息，由80名不同外观的参与者组成，执行几个凝视引发的任务，并分为两个子集：1）凝视预测数据集，具有多达66，560个序列，包含550，400个眼睛图像和相应的凝视向量，创建该数据集以促进时空凝视估计和预测方法的研究;以及2）眼睛分割数据集，由以5 Hz采样的200个序列组成，具有多达29，500个图像，其中5%包含语义分割标签，其被设计为鼓励使用时间信息来将标签传播到相邻帧。已在OpenEDS 2020上评估了基线实验，每个任务一个，当对未来的1至5帧执行注视预测时，平均角度误差为5.37度，并且对于语义分割，平均交集分数为84.1%。作为其前身OpenEDS数据集，我们预计这个新数据集将继续为眼动追踪、机器学习和计算机视觉社区的研究人员创造机会，以推动虚拟现实应用的发展。该数据集可在http://research.fb.com/programs/openeds-2020-challenge/上下载。
2020-05-08 cs.CV cs.LG
GazeFormer-MoE: Context-Aware Gaze Estimation via CLIP and MoE Transformer
AIPM, School of Artificial Intelligence, Guilin University of Electronic Technology, China（AIPM，人工智能学院，桂林电子科技大学，中国）；Laboratory for Imagery, Vision and Artificial Intelligence, École de Technologie Supérieure, Canada（影像、视觉与人工智能实验室，École de Technologie Supérieure，加拿大）
GazeFormer-MoE通过CLIP和MoE变换器实现上下文感知的注视估计，取得新的最先进角误差，提升64%的相对性能。
2026-01-18 cs.AI cs.CV
Expected exponential loss for gaze-based video and volume ground truth annotation
University of Bern（伯尔尼大学）；Weather Analytics
最近在医学成像中使用的许多机器学习方法高度依赖于大量图像和真值数据。在对象分割的背景下，像素级注释的收集成本非常高，特别是在视频和3D体积中。为了减少这种注释负担，我们提出了一种新的框架，允许注释者简单地观察对象分割和记录他们用200美元的眼睛注视跟踪器看过的地方。然后，我们的方法估计整个序列中对象存在的像素概率，从中我们使用新的预期指数损失函数在半监督设置中训练分类器。我们表明，与现有策略相比，我们的框架在广泛的医学图像设置上提供了卓越的性能，并且我们的方法也可以与当前的众包范例相结合。
2017-07-16 cs.CV
UniGaze: Towards Universal Gaze Estimation via Large-scale Pre-Training
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Delft University of Technology（代尔夫特理工大学）
本文提出 UniGaze，首次用大规模野外面部数据进行自监督预训练以提升视线估计的跨域泛化，并通过多种跨数据集协议验证其效果。
2025-03-13 cs.CV
DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation
University of Zagreb Faculty of Electrical Engineering and Computing（Zagreb大学电子工程与计算学院）
DHECA-SuperGaze通过双头眼交叉注意力和超分辨率技术提升无约束注视估计的精度和泛化能力。
2025-05-13 cs.CV
Temporal Slowness in Central Vision Drives Semantic Object Learning
Department of Computer Science, Goethe University Frankfurt（法兰克福歌德大学计算机科学系）；The Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Frankfurt Institute for Advanced Studies（法兰克福高级研究 institute）；Xidian-FIAS international Joint Research Center（西电-法兰克福国际联合研究中心）
研究通过模拟人类视觉经验，探讨中央视觉和时间迟滞学习在语义物体表示形成中的作用，发现利用时间迟滞能提升物体语义的编码能力。
2026-03-23 cs.CV
Learning-by-Novel-View-Synthesis for Full-Face Appearance-Based 3D Gaze Estimation
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）
尽管最近在基于外观的注视估计技术方面取得了进展，但对覆盖目标头部姿势和注视分布的训练数据的需求仍然是实际部署的关键挑战。本文提出了一种基于单目三维人脸重建的视线估计训练数据合成方法。与以前的作品使用多视图重建，照片逼真的CG模型，或生成神经网络，我们的方法可以操纵和扩展现有的训练数据的头部姿势范围，而没有任何额外的要求。我们引入了一个投影匹配过程，将重建的3D人脸网格与相机坐标系对齐，并合成具有准确凝视标签的人脸图像。我们还提出了一个面具引导的视线估计模型和数据增强策略，以进一步提高估计精度，利用合成训练数据。使用多个公共数据集的实验表明，我们的方法显着提高了具有挑战性的跨数据集设置与非重叠的凝视分布的估计性能。
2022-04-27 cs.CV
Gaze Estimation with Eye Region Segmentation and Self-Supervised Multistream Learning
我们提出了一种新的多流网络，学习强大的眼睛表示凝视估计。我们首先使用模拟器创建一个包含眼部区域掩模的合成数据集，该掩模详细描述了可见的眼球和虹膜。然后，我们使用U-Net类型的模型进行眼部区域分割，我们稍后使用该模型为真实世界的眼部图像生成眼部区域掩模。接下来，我们用自监督对比学习在实域中预训练眼睛图像编码器以学习广义眼睛表示。最后，这个预先训练的眼睛编码器，以及两个额外的编码器，用于可见眼球区域和虹膜，在我们的多流框架中并行使用，从现实世界的图像中提取显著特征的凝视估计。我们在两种不同的评估设置中展示了我们的方法在EYEDIAP数据集上的性能，并获得了最先进的结果，优于该数据集上所有现有的基准测试。我们还进行了额外的实验，以验证我们的自监督网络对于用于训练的不同数量的标记数据的鲁棒性。
2021-12-15 cs.CV cs.LG
HAGI++: Head-Assisted Gaze Imputation and Generation
University of Stuttgart（斯图加特大学）；The Hong Kong University of Science（香港科学大学）
针对眼动追踪数据缺失问题，提出基于多模态扩散模型的HAGI++方法，利用头部朝向与跨模态依赖关系进行视线插补与生成，在多个数据集上优于现有基线，并显著提升了真实世界眼动记录的完整性与准确性。
2026-09-29 cs.CV cs.HC
PicoEyes: Unified Gaze Estimation Framework for Mixed Reality with a Large-Scale Multi-View Dataset
Pico, Bytedance（字节跳动）
PicoEyes通过统一框架实现从单目或双目输入直接预测所有注视关键属性，结合大规模多视角数据集提升混合现实中的注视估计性能。
2026-05-13 cs.CV
Visual Decoding of Targets During Visual Search From Human Eye Fixations
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
人类的凝视揭示了用户的意图是什么？这些意图在多大程度上可以被推断甚至可视化？凝视被提出作为一种隐式信息源来预测视觉搜索的目标，最近，预测搜索目标的对象类别和属性。在这项工作中，我们更进一步，研究了将使用深度卷积神经网络编码人类凝视信息的最新进展与生成图像模型的能力相结合的可行性，以视觉解码，即创建搜索目标的视觉表示。这样的视觉解码是具有挑战性的，原因有两个：1）搜索目标仅作为主观视觉模式驻留在用户的头脑中，并且通常甚至不能被人口头描述，以及2）到目前为止，还不清楚注视注视是否包含用于该任务的足够信息。我们表明，第一次，搜索目标的视觉表示确实只能从人类的凝视固定解码。我们建议首先将注视编码成语义表示，然后将此表示解码成图像。我们在最近的一个凝视数据集上评估了我们的方法，该数据集包含14名参与者，他们在图像拼贴中搜索服装，并使用两项人类研究验证了模型的预测。我们的研究结果表明，62%（机会水平= 10%）的时间用户能够正确选择解码图像的类别。在我们的第二个研究中，我们展示了本地注视编码对解码用户视觉搜索目标的重要性。
2017-06-21 cs.CV cs.HC
Gaze-Vector Estimation in the Dark with Temporally Encoded Event-driven Neural Networks
CSIR-Central Electronics Engineering Research Institute (CSIR-CEERI)（CSIR中央电子工程研究所）；Academy of Scientific and Innovative Research (AcSIR)（科学与创新研究院）
针对极端低光照环境下的视线向量预测难题，提出融合DVS事件与灰度引导帧的时间编码方案及专用神经网络，构建低光照专用数据集，实现100像素精度100%的准确率，推动低光照视线预测技术发展。
2024-03-05 cs.CV cs.HC eess.IV
AGIL: Learning Attention from Human for Visuomotor Tasks
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Inc.（谷歌公司）；Peking University（北京大学）
当智能代理从人类演示中学习视觉行为时，他们可能会从知道人类在哪里分配视觉注意力中受益，这可以从他们的凝视中推断出来。人类的视线分配传达了大量关于智能决策的信息，因此，利用这些信息有可能提高代理的性能。基于这种动机，我们提出了AGIL（Attention Guided模仿学习）框架。我们在一个精心控制的实验环境中玩雅达利游戏时收集高质量的人类动作和凝视数据。使用这些数据，我们首先训练一个深度神经网络，它可以高精度地预测人类的凝视位置和视觉注意力（凝视网络），然后训练另一个网络来预测人类的行动（策略网络）。将学习到的注意力模型从凝视网络扩展到策略网络中显著提高了动作预测准确性和任务性能。
2018-06-01 cs.AI cs.CV cs.LG
GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction
Meta Reality Labs（Meta现实实验室）；EPFL（苏黎世联邦理工学院）
本文提出GazePrior，一种数据驱动的3D注视先验模型，用于在无需额外数据收集的情况下实现高质量的AR/VR注视跟踪，通过合成数据提高模型的准确性和鲁棒性。
2026-05-21 cs.CV
Fusing Complementary Multi-view Features for Screen-Based Eye Tracking
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
提出AA数据集，包含8个屏幕摄像头和2个侧视角摄像头的同步面部观测及精确视线目标，支持多视角多模态学习，解决单视角数据集的视角变化和遮挡问题。
2026-09-29 cs.CV cs.HC
iTrace: Click-Based Gaze Visualization on the Apple Vision Pro
Technical University of Munich（慕尼黑技术大学）
iTrace通过点击式眼动提取技术，在苹果Vision Pro上实现动态热图生成，用于分析个体和集体注意力模式，提升眼动数据的可视化与应用潜力。
2025-11-14 cs.CV cs.HC
Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities
University of Catania（卡塔尼亚大学）；The University of Tokyo（东京大学）
本文提出一种利用眼动信号在第一人称视频中实现无监督错误检测的方法，通过眼动补全任务显式建模眼动与视觉标记的相关性，利用预测与观察的眼动轨迹不一致性识别错误，在多个数据集上取得显著相对增益并排名第一。
2025-07-16 cs.CV
In the Eye of MLLM: Benchmarking Egocentric Video Intent Understanding with Gaze-Guided Prompting
State Key Laboratory of VR Technology and Systems, School of CSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机科学与工程学院）；College of AI, Tsinghua University（清华大学人工智能学院）
针对现有基准忽视凝视在自我中心视频意图理解中的作用，提出EgoGazeVQA基准及凝视引导提示方法，整合空间、时间与意图线索，显著提升MLLMs对用户意图的解读性能。
2025-10-14 cs.CV
TEyeD: Over 20 million real-world eye images with Pupil, Eyelid, and Iris 2D and 3D Segmentations, 2D and 3D Landmarks, 3D Eyeball, Gaze Vector, and Eye Movement Types
Wolfgang Fuhl University Tübingen（图宾根大学）
TEyeD是一个包含超过2000万张真实世界眼图像的大型数据集，提供瞳孔、虹膜和眼睑的2D和3D分割，以及注视向量和眼动类型，用于推动计算机视觉和VR/AR应用中的眼追踪研究。
2026-01-06 cs.CV eess.IV
EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset
Rutgers University（罗杰斯大学）
EgoCampus提出了一种新的户外行人眼动预测模型和数据集，用于研究现实世界中的视觉注意力。
2026-03-04 cs.CV
3D Gaze Tracking for Studying Collaborative Interactions in Mixed-Reality Environments
Vanderbilt University（范德堡大学）
本文提出一个基于计算机视觉和深度学习的3D视线追踪框架，用于混合现实环境中的多人协作分析，无需专用硬件即可实现实时精确追踪，并在群体实验中验证了其准确性和可靠性。
2024-06-16 cs.AI cs.CV
A probabilistic tour of visual attention and gaze shift computational models
University of Milan（米兰大学）
在本文中，一些问题被认为是与建模的眼睛指导下的视觉注意在自然环境中。从一个粗略的讨论各种可用的模型拼写在概率方面，它似乎是目前的方法在计算视觉是迄今为止远远没有实现的目标，一个积极的观察者依赖于眼睛的指导，以完成现实世界的任务。我们认为，这个具有挑战性的目标不仅需要体现，在一个原则性的方式，在行动/感知回路的眼睛指导的问题，但要面对不可分割的联系捆绑视觉注意，情绪和执行控制，在最近的神经生物学研究结果权衡了。
2016-07-05 cs.CV
OmniGaze: Reward-inspired Generalizable Gaze Estimation In The Wild
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）；Nanjing Forestry University（南京林业大学）
OmniGaze提出半监督框架，利用大规模未标注数据和奖励模型评估伪标签可靠性，实现野外3D视线估计的域泛化，在多个数据集上达到最先进性能并具备零样本泛化能力。
2025-10-16 cs.CV
Enhancing accuracy of uncertainty estimation in appearance-based gaze tracking with probabilistic evaluation and calibration
本文提出了一种基于概率评估和校准的方法，用于提升基于外观的注视跟踪中不确定性估计的准确性，通过引入严格评价指标和修正策略来减少模型偏差并提高性能。
2026-03-11 cs.CV
Guiding human gaze with convolutional neural networks
University of Tübingen（蒂宾根大学）
人类观察者的眼睛注视模式是人类关注的图像的方面的基本指示符。因此，操纵注视模式以引导人类注意力是数字图像处理中令人兴奋的挑战。在这里，我们提出了一个新的模型来操纵图像，以改变人类的固定在一个可控的方式分布。我们使用最先进的固视预测模型来训练一个卷积神经网络来转换图像，使它们满足给定的固视分布。对于网络训练，我们精心设计了一个损失函数，以达到感知效果，同时保持变换后图像的自然度。最后，我们通过测量一组操作图像的人类注视来评估我们的模型的成功。在我们的测试图像上，我们可以将固定在选定对象上的概率平均降低43/22%，但表明模型的有效性取决于操作图像的语义内容。
2017-12-18 cs.CV
Noise-Aware Video Saliency Prediction
NVIDIA Research（英伟达研究院）
我们解决的问题，预测显着图的动态场景的视频。我们注意到，从固定数量的观察者的注视数据重建的地图的准确性随帧而变化，因为它取决于场景的内容。在观察员人数有限的情况下，这一问题尤其紧迫。在这种情况下，直接最小化预测和测量显着性图之间的差异，就像传统的深度学习方法一样，会导致对噪声数据的过拟合。我们提出了一个噪声感知训练（NAT）的范例，量化和占帧特定的凝视数据不准确所产生的不确定性。我们表明，NAT是特别有利的，当有限的训练数据是可用的，在不同的模型，损失函数和数据集的实验。我们还介绍了一个基于视频游戏的显着性数据集，具有丰富的时间语义，和多个凝视吸引每帧。数据集和源代码可在https://github.com/NVlabs/NAT-saliency上获得。
2021-11-22 cs.CV cs.LG
