Extended Gaze Following: Detecting Objects in Videos Beyond the Camera Field of View
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Trento（特伦托大学）；University of Granada（格拉纳达大学）
在本文中，我们解决的问题，检测感兴趣的对象在视频和估计他们的位置，仅仅从人们的视线方向存在于视频中。对象可以模糊地位于相机视场的内部或外部。我们把这个问题称为扩展注视跟随。本文的主要贡献如下。首先，我们提出了一种新的空间表示的视线方向采用顶视视角。其次，我们开发了几种卷积编码器/解码器网络来预测对象位置，并将它们与基于学习的经典方法进行比较。第三，为了训练所提出的模型，我们产生了大量的合成场景采用概率公式。最后，我们的方法是经验验证使用公开的数据集。
2019-02-28 cs.CV
Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers
AGH University（AGH大学）；Jagiellonian University（雅盖隆大学）
本文提出双流Transformer架构，用于从同步双摄像头记录中自动检测互视与联合注意，通过冻结的注视感知骨干网络和自定义令牌融合机制，有效提升了多摄像头实验室环境下的检测性能。
2026-04-29 cs.CV
EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset
Rutgers University（罗杰斯大学）
EgoCampus提出了一种新的户外行人眼动预测模型和数据集，用于研究现实世界中的视觉注意力。
2026-03-04 cs.CV
GazeShift: Unsupervised Gaze Estimation and Dataset for VR
Samsung Semiconductor Israel R&D Center (SIRC)（三星半导体以色列研发中心）；Samsung Electronics（三星电子）；Bar-Ilan University（巴伊兰大学）
本文提出GazeShift，首个大规模偏轴眼部估计数据集，结合无监督框架实现实时眼部跟踪，有效分离眼部外观，在少参数和低计算量下取得高精度结果。
2026-03-24 cs.CV
Multi-view Gaze Target Estimation
Stony Brook University（石溪大学）；The University of Adelaide（阿德莱德大学）
本文提出一种多视角视线目标估计方法，通过HIA、UGS和ESA模块整合多摄像机信息，克服单视角遮挡等问题，显著提升准确性，并发布多视角数据集。
2025-08-07 cs.CV
Three-Dimensional Face Orientation and Gaze Detection from a Single Image
注视检测和头部定向是许多高级人机交互应用的重要部分。已经提出了许多用于凝视检测的系统。通常，它们需要某种形式的用户合作和校准。此外，它们可能需要多个相机和/或受限的头部位置。我们提出了一种新的方法，从一个单一的图像，没有限制的头部位置的人脸方向和注视方向的推断。我们的算法是基于面部和眼睛模型，推导出人体测量数据。这种方法允许我们使用单个相机，不需要用户的合作。使用单个图像避免了与多相机系统相关联的复杂性。评估测试表明，我们的系统是准确的，快速的，可以在各种应用程序中使用，包括那些用户不知道系统。
2004-08-04 cs.CV cs.HC
Camera-based implicit mind reading by capturing higher-order semantic dynamics of human gaze within environmental context
China University of Petroleum (East China)（中国石油大学（华东））；the Qingdao Institute of Software（青岛软件研究所）；the College of Computer Science and Technology（计算机科学与技术学院）；Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能油气工业软件重点实验室）；College of Information Science and Technology（信息科学与技术学院）
本文提出一种基于标准摄像头的用户无感知情绪识别方法，通过融合注视固定模式与环境语义及时间动态，捕捉人与环境的动态交互，实现实时连续的情绪推断，具有高泛化性和低部署成本。
2025-07-17 cs.CV
Binocular Gaze Estimation with Single Camera and Single Light Source
Invensun Technology Co.Ltd.（7Invensun技术有限公司）；University of Science and Technology Beijing（北京科技大学）
研究在单相机单光源下的双目注视估计问题，通过引入虚拟光源，利用瞳孔与闪光距离关系及多项式回归估计注视，验证了新归一化因子，性能可接受但比双光源系统有下降。
2026-07-08 cs.AI cs.CV
Eye-GUIDE (Eye-Gaze User Interface Design) Messaging for Physically-Impaired People
Technological Institute of the Philippines（菲律宾理工学院）
Eye-GUIDE是一种辅助沟通工具，专为瘫痪或身体受损的人设计，他们无法移动身体的一部分，特别是那些沟通仅限于眼球运动的人。原型由一台相机和一台电脑组成。摄像头捕获图像，然后将其发送到计算机，计算机将是解释数据的人。因此，Eye-GUIDE专注于基于相机的视线跟踪。设计者设计的原型可以执行简单的任务，并提供图形用户界面，以便瘫痪或身体受损的人可以轻松使用。
2013-02-07 cs.CV cs.HC
Semi-Synthetic Dataset Augmentation for Application-Specific Gaze Estimation
针对现有视线估计数据集注视目标多靠近相机原点、难以泛化到辅助机器人等应用的问题，提出通过生成带纹理三维面部网格并从特定虚拟相机渲染图像来增强数据集，使角度误差平均降低47%。
2023-10-27 cs.AI cs.CV cs.HC
MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Osaka University（大阪大学）
基于学习的方法被认为对于无约束的注视估计（即，来自单目RGB相机的注视估计，而不需要关于用户、环境或相机的假设）工作良好。然而，目前的凝视数据集是在实验室条件下收集的，并且没有在多个数据集上评价方法。我们的工作为解决这些限制做出了三个贡献。首先，我们介绍了MPIIGaze，其中包含213，659张完整的面部图像和相应的地面实况凝视位置，这些图像是在几个月的日常笔记本电脑使用过程中从15名用户收集的。经验采样方法确保了连续的凝视和头部姿势以及眼睛外观和照明的真实变化。为了便于跨数据集评估，37，667张图像用眼角，嘴角和瞳孔中心手动注释。其次，我们提出了一个广泛的评估国家的最先进的凝视估计方法对目前的三个数据集，包括MPIIGaze。我们研究的关键挑战，包括目标凝视范围，照明条件，和面部外观的变化。我们发现，图像分辨率和使用两只眼睛影响凝视估计性能，而头部姿势和瞳孔中心的信息较少。最后，我们提出了GazeNet，这是第一个基于深度外观的凝视估计方法。对于最具挑战性的跨数据集评估，GazeNet将最先进的技术水平提高了22%（从13.9度的平均误差提高到10.8度）。
2017-11-24 cs.CV
GazeOnce360: Fisheye-Based 360° Multi-Person Gaze Estimation with Global-Local Feature Fusion
State Key Laboratory of VR Technology and Systems, School of CSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机科学与工程学院）
本文提出GazeOnce360，一种端到端模型，用于从单个桌面安装的向上鱼眼摄像头估计多人凝视方向。通过引入MPSGaze360大规模合成数据集，融合全局低分辨率上下文与高分辨率局部眼区，解决鱼眼图像的严重失真和视角变化问题。
2026-03-17 cs.CV
EFE: End-to-end Frame-to-Gaze Estimation
ETH Zürich（苏黎世联邦理工学院）；Lunit Inc.（Lunit公司）；Delft University of Technology（代尔夫特理工大学）
提出端到端帧到注视估计网络，无需裁剪直接回归3D注视原点和方向，在三个公开数据集上达到与最先进方法相当的性能，并泛化至极端视角变化。
2023-05-09 cs.CV
Accurate Gaze Estimation using an Active-gaze Morphable Model
而不是从图像直接回归视线方向，我们表明，添加3D形状模型可以：i）提高视线估计精度，ii）在较低分辨率输入下表现良好，iii）提供对眼睛区域及其组成视线系统的更丰富的理解。具体来说，我们使用一个“眼睛和鼻子”的3D变形模型（3DMM）来捕捉眼睛区域的3D面部几何形状和外观，我们配备了一个几何聚散度模型的凝视给一个“主动凝视3DMM”。我们证明了我们的方法在Eyediap数据集上取得了最先进的结果，并提出了一项消融研究。我们的方法可以只使用地面真实凝视目标点和相机参数进行学习，而无需访问地面真实凝视原点，从而与其他方法相比，扩大了我们方法的适用性。
2023-01-30 cs.CV
GazeGAN - Unpaired Adversarial Image Generation for Gaze Estimation
Technion（以色列理工学院）；Google Inc.（谷歌公司）
最近的研究已经证明了通过对来自手机前置摄像头的图像进行推断来估计移动设备上的注视的能力，并且不需要专门的硬件。虽然这提供了广泛的潜在应用，例如在人机交互、医学诊断和可访问性（例如，作为运动障碍患者的输入的免提凝视），当前的方法是有限的，因为它们依赖于从真实用户收集数据，这是一个繁琐且昂贵的过程，难以跨设备扩展。已经有一些尝试使用可以模拟各种头部姿势和相机设置的3D模型来合成眼睛区域数据，然而这些缺乏真实感。在本文中，我们改进了最近提出的方法，并提出了一个生成对抗框架来生成具有高多样性的高分辨率彩色图像的大型数据集（例如，在主体中，头部姿势，相机设置）和真实性，同时保持凝视标签的准确性。所提出的方法对眼睛的扩展区域进行操作，甚至完成图像的缺失部分。使用这个丰富的合成数据集，而不使用来自真实用户的任何额外的训练数据，我们展示了对移动设备上估计2D凝视位置的最新技术的改进。我们进一步展示了模型性能的跨设备泛化，以及对不同头部姿势、模糊和距离的鲁棒性。
2017-11-27 cs.AI cs.CV cs.HC
GazeTarget360: Towards Gaze Target Estimation in 360-Degree for Robot Perception
Dept. of Applied AI and Robotics, Aston University（应用人工智能与机器人系，阿斯顿大学）；Dept. of Materials and Production, Aalborg University（材料与生产系，奥尔堡大学）
本文提出GazeTarget360系统，通过集成眼神接触检测器、预训练视觉编码器和多尺度融合解码器，首次实现真实场景中高效可部署的360度注视目标估计。
2025-06-30 cs.CV cs.HC
UVAGaze: Unsupervised 1-to-2 Views Adaptation for Gaze Estimation
Beihang University（北京航空航天大学）
针对单视图视线估计在头部大角度下不准确的问题，提出UVAGaze框架，通过无监督双视图相互监督适应，利用视线方向一致性，使单视图估计器适应灵活放置的双摄像头，跨数据集精度提升47%。
2023-12-25 cs.CV
GazeCorrection:Self-Guided Eye Manipulation in the wild using Self-Supervised Generative Adversarial Networks
Shandong University（山东大学）；University of Trento（特伦托大学）；Texas State University（德克萨斯州立大学）
凝视校正的目的是通过操纵眼睛区域将人的凝视重新引导到相机中，并且它可以被认为是特定的图像再合成问题。凝视校正在现实生活中有着广泛的应用，例如凝视相机拍照。在本文中，我们提出了一种新的方法，该方法是基于修复模型来学习从人脸图像中填充丢失的眼睛区域与新的内容表示校正眼睛注视。此外，该模型不需要标注特定的头部姿态和眼睛角度信息的训练数据集，因此，训练数据易于收集。为了保留原始输入中眼睛区域的身份信息，我们提出了一种自引导的预训练模型来学习角度不变性特征。实验表明，我们的模型取得了非常引人注目的凝视校正结果在野生数据集，这是从网站上收集，并将详细介绍。代码可在https://github.com/zhangqianhui/GazeCorrection上获得。
2019-06-03 cs.AI cs.CV
GazeGPT: Augmenting Human Capabilities using Gaze-contingent Contextual AI for Smart Eyewear
Zinn Labs, Inc.（Zinn Labs 公司）；Stanford University（斯坦福大学）
本研究提出面向智能眼镜的GazeGPT交互范式，通过眼动追踪让多模态大语言模型理解用户注意力指向，经用户评估验证其在指向效率、准确率及交互自然度上更具优势，可增强人类能力并适配多种应用场景。
2024-01-31 cs.CV cs.HC
Quantifying the Impact of Motion on 2D Gaze Estimation in Real-World Mobile Interactions
University of St Andrews（圣安德鲁大学）；University of Tokyo（东京大学）；King’s College London（伦敦国王学院）；University of Glasgow（格拉斯哥大学）
本文研究了真实世界移动交互中运动对2D视线估计的影响，通过两项用户研究揭示了头部距离、头部姿态和设备朝向是影响准确性的关键因素，动态条件下误差最高增加48.91%，强调了开发鲁棒自适应视线追踪系统的必要性。
2026-10-15 cs.CV cs.HC
Rotation-Constrained Cross-View Feature Fusion for Multi-View Appearance-based Gaze Estimation
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）
提出一种利用相机间相对旋转矩阵约束的可旋转特征提取与跨视角融合方法，用于多视角外观式视线估计，显著提升对未见头部姿态的泛化性能。
2023-11-15 cs.CV
GazeSCRNN: Event-based Near-eye Gaze Tracking using a Spiking Neural Network
Radboud University（拉德堡德大学）
本研究提出面向事件式近眼视线追踪的脉冲卷积循环网络GazeSCRNN，结合DVS相机特性与ALIF神经元等技术，在EV-Eye数据集上取得优异精度，首次验证了SNN在该领域的可行性。
2025-03-20 cs.CV cs.NE
Diffusion-Refined VQA Annotations for Semi-Supervised Gaze Following
Stony Brook University（石溪大学）；The University of Adelaide（阿德莱德大学）
提出首个半监督视线跟随方法，利用VQA模型的Grad-CAM热图和扩散模型精化伪标注，在GazeFollow和VideoAttentionTarget数据集上超越基线，并减少50%标注需求。
2024-07-18 cs.CV
Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction
Pupil Labs UG（Pupil Labs公司）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
商用头戴式眼动仪为工业和研究领域的客户提供了有用的功能，但价格昂贵，并且依赖于封闭源硬件和软件。这将移动眼动追踪的应用领域和使用限制于专家用户，并抑制了用户驱动的开发、定制和扩展。在本文中，我们介绍了瞳孔-一个可访问的，负担得起的，可扩展的开源平台，用于移动眼动追踪和基于凝视的交互。Pupil包括1）具有高分辨率摄像头的轻型头戴式耳机，2）用于移动眼动追踪的开源软件框架，以及3）用于回放和可视化视频和凝视数据的图形用户界面（GUI）。Pupil具有高分辨率场景和眼睛摄像头，用于单眼和双眼凝视估计。该软件和GUI是独立于平台的，并包括用于实时瞳孔检测和跟踪、校准和精确凝视估计的最先进算法。性能评估的结果表明，Pupil可以提供0.6度视角的平均注视估计精度（0.08度精度），处理流水线的延迟仅为0.045秒。
2014-04-30 cs.CV cs.HC
Light-weight Head Pose Invariant Gaze Tracking
University of Maryland（马里兰大学）；NVIDIA（英伟达）
使用现成的相机进行无约束的远程注视跟踪是一个具有挑战性的问题。最近，已经提出了使用卷积神经网络（CNN）进行基于外观的注视估计的有前途的算法。提高其鲁棒性的各种混杂因素，包括可变的头部姿势，主体身份，照明和图像质量仍然是开放的问题。在这项工作中，我们研究了可变头部姿势对机器学习回归器的影响，这些回归器被训练来估计注视方向。我们提出了一种新的分支CNN架构，提高了可变的头部姿势的鲁棒性的凝视分类，而不增加计算成本。我们还提出了各种程序，以有效地训练我们的凝视网络，包括迁移学习从更密切相关的任务的对象视点估计，并从一个大型的高保真度合成凝视数据集，这使我们的速度快十倍的凝视网络，以实现竞争力的准确性，其目前的国家的最先进的直接竞争对手。
2018-04-23 cs.CV
Gaze-Net: Appearance-Based Gaze Estimation using Capsule Networks
Old Dominion University（老道明大学）
最近的研究表明，基于外观的凝视估计的能力，神经网络解码凝视信息从面部图像包含姿态信息。在本文中，我们提出了Gaze-Net：一个胶囊网络，能够解码，表示和估计眼睛区域图像的凝视信息。我们使用两个公开的数据集，MPIIGaze（200，000多张野生图像）和Columbia Gaze（5000多张用户图像，在5个摄像机角度/位置观察到21个注视方向）来评估我们提出的系统。我们的模型在MPI-IGaze数据集的数据集内实现了2.84 $^\circ$的组合角度误差估计的平均绝对误差（MAE）。此外，对于Columbia凝视数据集的跨数据集凝视估计误差，模型实现了10.04 $^\circ$的MAE。通过迁移学习，误差减小到5.9 $^\circ$。结果表明，这种方法是有前途的，对使用商品网络摄像头开发低成本的多用户视线跟踪系统的影响。
2020-04-16 cs.CV cs.HC
Towards Hardware-Agnostic Gaze-Trackers
Microsoft Research（微软研究院）
凝视跟踪是一种与计算机交互的新颖方式，它允许新的场景，例如使运动神经元残疾的人能够控制他们的计算机或医生在不触摸屏幕或键盘的情况下与患者信息交互。此外，在交互式游戏、用户体验研究、人类注意力分析和行为研究中存在注视跟踪的新兴应用。凝视的准确估计可以涉及考虑头部姿势、头部位置、眼睛旋转、距对象的距离以及操作条件，诸如照明、遮挡、背景噪声和用户的各种生物学方面。市售的注视跟踪器利用通常由红外光源和相机组成的专用传感器组件。在视线跟踪作为无障碍技术的普遍普及中存在几个挑战，特别是其可负担性，可靠性和易用性。在本文中，我们试图通过开发一个硬件不可知的凝视跟踪器来解决这些挑战。我们提出了一种深度神经网络架构，作为一种基于外观的方法，用于约束凝视跟踪，该方法利用在所有现代计算设备中无处不在的普通RGB相机上捕获的面部图像。我们的系统在GazeCapture数据集上实现了1.8073cm的误差，无需任何校准或设备特定的微调。这项研究表明，有一天，由于深度神经网络的预测能力，任何计算机，平板电脑或手机都可以通过眼睛进行控制。
2020-10-11 cs.AI cs.CV cs.HC
Marker-free eye-gaze estimation using a single image and depth from defocus
Université de Sherbrooke（舍布鲁克大学）
本文提出一种基于单目摄像头和散焦深度的无标记眼动估计方法，利用虹膜定位与头部姿态特征，通过变分贝叶斯多项逻辑回归映射到注视位置，实验验证其有效性。
2026-09-10 cs.CV
EyeNet: A Multi-Task Network for Off-Axis Eye Gaze Estimation and User Understanding
Magic Leap, Inc.（Magic Leap公司）
通过眼睛图像对用户的眼睛注视估计和同步语义理解是虚拟和混合现实中的关键组成部分;实现节能渲染，多焦点显示和与3D内容的有效交互。在头戴式VR/MR设备中，眼睛离轴成像以避免阻挡用户的凝视，该视点使得绘制眼睛相关的推断非常具有挑战性。在这项工作中，我们提出了EyeNet，第一个单一的深度神经网络，解决了多个异构任务相关的眼睛注视估计和语义用户理解的离轴相机设置。这些任务包括眼睛分割、眨眼检测、情绪表情分类、红外LED闪烁检测、瞳孔和角膜中心估计。为了训练EyeNet端到端，我们采用手动标记监督和基于模型的监督。我们在MagicEyes上对所有任务进行基准测试，MagicEyes是一个大型的新数据集，包含587名受试者，具有不同的形态，性别，肤色，化妆和成像条件。
2019-08-24 cs.CV cs.LG eess.IV
3D Gaze Estimation from 2D Pupil Positions on Monocular Head-Mounted Eye Trackers
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
3D凝视信息对于以场景为中心的注意力分析是重要的，但是在真实世界环境中3D凝视的准确估计和分析仍然具有挑战性。我们提出了一种新的单目头戴式眼动仪的3D视线估计方法。与以前的工作相比，我们的方法不旨在推断3D眼球姿态，而是直接将2D瞳孔位置映射到场景相机坐标空间中的3D注视方向。我们首先详细讨论了3D凝视估计任务，并总结了不同的方法，包括我们自己的方法。然后，我们使用模拟和真实数据评估不同的3D凝视估计方法的性能。通过实验验证，我们证明了我们的方法在减少视差误差的有效性，我们确定的3D校准程序的设计的研究挑战。
2016-01-19 cs.CV cs.HC
Event Based, Near Eye Gaze Tracking Beyond 10,000Hz
University of California Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
现代视线跟踪系统中的摄像机受到基本带宽和功率的限制，实际上将数据采集速度限制在300 Hz。这阻碍了移动眼动跟踪器的使用，例如，低延迟预测渲染，或研究快速和微妙的眼睛运动，如使用头戴式设备在野外微跳视。在这里，我们提出了一种基于混合帧事件的近眼凝视跟踪系统，其更新速率超过10，000 Hz，在相同条件下评估时，其精度与高端桌面安装的商业跟踪器相匹配。我们的系统建立在新兴的事件相机，同时获得定期采样帧和自适应采样的事件。我们开发了一种在线的2D瞳孔拟合方法，每一个或几个事件更新一个参数模型。此外，我们提出了一个多项式回归估计的注视点的参数瞳孔模型在实时的。使用第一个基于事件的凝视数据集，可在https://github.com/aangelopoulos/event_based_gaze_tracking，我们证明，我们的系统实现了0.45度的精度-1.75度的视野从45度到98度。有了这项技术，我们希望能够为虚拟和增强现实实现新一代超低延迟的视情况而定的渲染和显示技术。
2022-08-08 cs.CV cs.HC
Efficiency in Real-time Webcam Gaze Tracking
Vicarious Perception Technologies [VicarVision]（Vicarious Perception Technologies（VicarVision））；Delft University of Technology [TU Delft]（代尔夫特理工大学（TU Delft））
效率和易用性对于基于相机的眼睛/注视跟踪的实际应用至关重要。凝视跟踪涉及基于来自面向计算机的摄像头的面部图像来估计人在屏幕上看的位置。在本文中，我们研究了两种互补形式的凝视跟踪效率：1。系统的计算效率由预测注视向量的CNN的推理速度决定; 2.可用性效率，由计算机屏幕的注视向量的强制校准的乏味性决定。为此，我们评估了CNN的计算速度/精度权衡以及屏幕校准的校准工作/精度权衡。对于CNN，我们评估全脸、双眼和单眼输入。对于屏幕校准，我们测量所需的校准点的数量，并评估三种类型的校准：1.纯几何学，2.纯机器学习，以及3.混合几何回归结果表明，单眼输入和几何回归校准实现了最佳的权衡。
2020-09-02 cs.AI cs.CV cs.HC
LPM: Learnable Pooling Module for Efficient Full-Face Gaze Estimation
Sophia University（上智大学）
视线跟踪是一项重要的技术。诸如卷积神经网络（CNN）的技术已经允许发明仅依赖于诸如个人计算机上的相机的商品硬件的注视跟踪方法。已经表明，用于凝视估计的全脸区域可以提供比单独来自眼睛图像更好的性能。然而，使用全脸图像的问题是由于较大的图像尺寸而导致的繁重的计算。本研究通过使用一种新的可学习池化模块去除冗余信息来压缩输入的全脸图像来解决这个问题。该模块可以通过反向传播进行端到端的训练，以学习池化过滤器中网格的大小。可学习的池化模块保持有价值区域的高分辨率，反之亦然。当图像缩小到较小尺寸时，该方法在一定程度上保持了视线估计精度。
2019-03-21 cs.CV
GazeDiT: Gaze-Accurate Diffusion Image Generation for Eye Tracking via Spatial Conditioning
Meta；Georgia Institute of Technology（佐治亚理工学院）
GazeDiT通过内部空间条件将4D注视标签锚定在瞳孔/虹膜几何上，生成注视精确的图像，显著降低标签误差并提升下游眼动追踪性能。
2026-09-17 cs.CV
Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）
传统的基于特征和基于模型的凝视估计方法已经证明在具有受控照明和专用相机的设置中表现良好。然而，在不受约束的现实世界的设置，这样的方法是超越最近的外观为基础的方法，由于建模因素，如照明变化和其他视觉伪影的困难。我们提出了一种新的基于学习的方法，使传统的方法是最新的外观为基础的方法具有竞争力的眼睛区域的地标定位。尽管专门针对合成数据进行了训练，但我们的方法在真实图像上的虹膜定位和眼睛形状配准方面超过了现有技术。然后，我们使用检测到的地标作为迭代模型拟合和基于轻量级学习的凝视估计方法的输入。我们的方法优于现有的模型拟合和外观为基础的方法在人的独立和个性化的凝视估计的背景下。
2018-05-12 cs.CV
Development of a Fast and Robust Gaze Tracking System for Game Applications
在本研究中，一个新颖的眼动追踪系统，使用视觉摄像机来提取人类的视线，它可以用于现代游戏机，给玩家带来新的和创新的互动体验。该系统的核心部分是一个鲁棒的虹膜中心和眼角检测算法，在此基础上连续自适应地提取视线。对9人进行了评估测试，以评估系统的准确性，结果为水平方向为2.50度（视角），垂直方向为3.07度。
2021-05-06 cs.CV cs.HC
Fusing Complementary Multi-view Features for Screen-Based Eye Tracking
Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
提出AA数据集，包含8个屏幕摄像头和2个侧视角摄像头的同步面部观测及精确视线目标，支持多视角多模态学习，解决单视角数据集的视角变化和遮挡问题。
2026-09-29 cs.CV cs.HC
GAZED- Gaze-guided Cinematic Editing of Wide-Angle Monocular Video Recordings
IIIT Hyderabad（印度理工学院海得拉巴分校）；CVIT（计算机视觉与智能技术中心）
我们提出了凝视-眼睛凝视引导编辑的视频捕获的一个孤独的，静态的，广角和高分辨率的相机。眼睛凝视已被有效地采用在计算应用程序中作为一个线索，以捕捉有趣的场景内容，我们采用凝视作为代理选择镜头包括在编辑的视频。给定原始视频，场景内容和用户眼睛注视轨迹被组合以生成包括电影学上有效的演员镜头和镜头过渡的编辑视频，以生成原始叙事的美学和生动的表示。我们模型的电影视频编辑作为一个能量最小化问题的镜头选择，其约束条件捕获电影编辑公约。注视的场景位置主要确定构成编辑视频的镜头。凝视对多种竞争方法的有效性证明通过心理物理研究，涉及12个用户和12个性能视频。
2020-10-22 cs.CV cs.HC cs.MM
In the Eye of the Beholder: Gaze and Actions in First Person Video
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Georgia Institute of Technology（佐治亚理工学院）
我们解决的任务，共同确定一个人在做什么，他们正在寻找基于分析的头戴式摄像头捕获的视频。为了方便我们的研究，我们首先介绍EGTEA Gaze+数据集。我们的数据集包含视频、视线跟踪数据、手部蒙版和动作注释，从而为第一人称视觉（FPV）提供了最全面的基准。超越数据集，我们提出了一种新的深度模型，用于FPV中的联合凝视估计和动作识别。我们的方法将参与者的目光描述为概率变量，并使用深度网络中的随机单元对其分布进行建模。我们进一步从这些随机单元中采样，生成注意力地图，以指导动作识别的视觉特征的聚合。我们的方法在我们的EGTEA Gaze+数据集上进行了评估，并达到了超过最先进水平的性能水平。更重要的是，我们证明了我们的模型可以应用于更大规模的FPV数据集--EPIC-Kitchener，即使不使用凝视，提供新的最先进的FPV动作识别结果。
2020-10-31 cs.CV
GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction
Meta Reality Labs（Meta现实实验室）；EPFL（苏黎世联邦理工学院）
本文提出GazePrior，一种数据驱动的3D注视先验模型，用于在无需额外数据收集的情况下实现高质量的AR/VR注视跟踪，通过合成数据提高模型的准确性和鲁棒性。
2026-05-21 cs.CV
The Gaze and Mouse Signal as additional Source for User Fingerprints in Browser Applications
University Tübingen（图宾根大学）
在这项工作中，我们检查不同的数据源的浏览器指纹。我们展示了浏览器统计数据的缺点和局限性，以及如何使用其他数据源来避免这种情况。由于人类视觉行为是一个丰富的信息来源，也包含个人特定的信息，它是浏览器指纹的一个有价值的来源。然而，在浏览器中的人类凝视获取也有缺点，例如通过网络摄像头的不准确性以及用户必须首先允许访问相机的限制。然而，还已知鼠标移动和人类注视相关，因此，可以使用鼠标移动来代替注视信号。在我们的评估中，我们显示了所有可能的组合的三个信息源的用户识别的影响，并详细描述了我们的简单的方法。链接：https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/? p=%2FThe%20Gaze%20and%20Mouse%20Signal%20as%20additional%20Source%20.&模式=列表
2023-03-10 cs.CV
Benefits of temporal information for appearance-based gaze estimation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Facebook Reality Labs（Facebook现实实验室）；Texas State University（德克萨斯州立大学）
现有的基于外观的注视估计方法通常基于深度学习技术，主要依赖于静态特征。然而，眼睛注视的时间轨迹包含用于估计给定注视点的有用信息。例如，当应用于具有现成相机的远程或低分辨率图像场景时，利用顺序眼睛注视信息的方法显示出有希望的结果。对于更高分辨率/帧速率成像系统，来自时间注视轨迹的贡献的大小还不清楚，在更高分辨率/帧率成像系统中，捕获关于眼睛的更详细的信息。在本文中，我们研究了使用高分辨率、高帧速率头戴式虚拟现实系统捕获的眼睛图像的时间序列是否可以被利用来增强用于注视估计的端到端基于外观的深度学习模型的准确性。性能进行比较，对一个静态的模型版本。结果表明，时间信息，特别是垂直分量的凝视，具有显著的好处。
2020-05-24 cs.CV cs.LG
Webcam-based Eye Gaze Tracking under Natural Head Movement
Faculty of Science（理学院）
这篇手稿调查并提出了一个视觉凝视跟踪器，解决这个问题，只使用一个普通的网络摄像头，没有任何意义上的先验知识（场景设置，相机的内在和/或外在参数）。我们提出的跟踪器是基于观察，我们的愿望，授予自然的头部运动的自由，用户需要3D建模的场景设置。虽然，使用一个低分辨率的网络摄像头限制我们的尺寸（没有深度可以恢复），我们提出了一些方法来应对这个缺点，并在用户面前的场景建模。我们解决这个三维的问题，认识到它可以被视为一系列的二维特殊情况。然后，我们提出了一个程序，将用户的头部的每个动作作为一个特殊的二维情况下，从而减少了问题的复杂性回到两个维度。此外，所提出的跟踪器是免校准的，并且抛弃了所有先前提到的跟踪器的这个繁琐的部分。实验结果表明，该跟踪器在一定的限制条件下取得了较好的跟踪效果，当用户头部尽可能保持静止（不使用下巴托）时，跟踪器在x和y方向的平均误差分别为（56.95，70.82）像素。此外，我们可以报告，所提出的跟踪器提交的平均误差（87.18，103.86）像素的x和y方向，分别在自然的头部运动。
2018-03-29 cs.CV cs.HC
PrivateGaze: Preserving User Privacy in Black-box Mobile Gaze Tracking Services
Delft University of Technology（代尔夫特理工大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对黑盒移动视线服务需上传全脸图像的隐私风险，本文提出 PrivateGaze，通过训练隐私保护器生成可用于视线估计且隐藏身份、性别等信息的混淆人脸图像，并在四个数据集上验证其隐私保护与性能保持效果。
2024-08-01 cs.CV
Eye Gaze Controlled Robotic Arm for Persons with SSMI
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Indian Institute of Information Technology, Kalyani（卡利亚尼印度信息技术学院）
背景：严重言语和运动障碍（SSMI）的人经常使用一种称为眼睛指向的技术与外界交流。他们的父母，看护人或老师在他们面前拿着一块印刷板，通过手动分析他们的眼睛注视，他们的意图被解释。这种技术往往容易出错，耗时，并依赖于一个单一的照顾者。目的：我们的目标是通过使用市售平板电脑、计算机或笔记本电脑，以电子方式自动化眼动追踪过程，而不需要任何专用硬件进行眼动追踪。眼睛注视跟踪器用于开发基于视频透视的AR（增强现实）显示器，该显示器控制具有眼睛注视的机器人设备并且被部署用于织物打印任务。方法学：我们进行了一个以用户为中心的设计过程，并分别评估了基于网络摄像头的凝视跟踪器和基于视频透视的人机交互，涉及用户与SSMI。我们还报告了一个用户研究操纵机器人手臂与基于网络摄像头的眼睛注视跟踪器。结果如下：使用我们定制的眼睛注视控制界面，身体健全的用户可以在不到2秒的中位数内选择屏幕的九个区域之一，而SSMI用户可以在4秒的中位数内完成。使用眼睛注视控制的人机AR显示器，具有SSMI的用户可以在小于15秒的平均持续时间内进行代表性的拾取和放下任务，并且使用COTS眼睛跟踪器在60秒内到达随机指定的目标，并且使用基于网络摄像头的眼睛注视跟踪器在平均2分钟内到达随机指定的目标。
2020-05-25 cs.CV cs.HC eess.IV
Open-VICO: An Open-Source Gazebo Toolkit for Vision-based Skeleton Tracking in Human-Robot Collaboration
Istituto Italiano di Tecnologia（意大利技术研究院）；Politecnico di Milano（米兰理工大学）
仿真工具对于机器人研究至关重要，特别是对于那些安全至关重要的领域，例如人机协作（HRC）。然而，它是具有挑战性的，以模拟人类的行为，现有的机器人模拟器没有集成功能的人类模型。这项工作介绍了Open-VICO，这是一个开源工具包，用于在Gazebo中集成虚拟人体模型，重点关注基于视觉的人体跟踪。特别是，Open-VICO允许在同一个仿真环境中结合逼真的人体运动学模型，多摄像机视觉设置和人体跟踪技术以及众多的机器人和传感器模型，这要归功于Gazebo。将预先记录的人体骨骼运动与运动捕捉系统相结合的可能性拓宽了人机交互（HRI）设置中人类行为分析的前景。为了描述功能并强调工具包的潜力，从该领域的相关文献挑战中选择了四个具体示例，使用我们的模拟工具开发：i）模拟中的3D多RGB-D相机校准，ii）基于OpenPose创建合成人体骨骼跟踪数据集，iii）模拟中人体骨骼跟踪的多相机场景，以及iv）人机交互示例。这项工作的关键是创建一个简单的管道，我们希望这将激励研究新的基于视觉的算法和方法，用于轻量级的人类跟踪和灵活的人机应用。
2022-10-04 cs.CV cs.HC cs.RO
Are you really looking at me? A Feature-Extraction Framework for Estimating Interpersonal Eye Gaze from Conventional Video
University of Rochester（罗切斯特大学）
尽管摄像机在我们的日常生活中的普遍性发生了革命，但非语言情感交流的最有意义的形式之一，人际眼睛注视，即相对于谈话伙伴的眼睛注视，并不能从普通视频中获得。我们介绍了人际校准眼睛凝视编码器（ICE），它自动提取人际凝视视频记录，而无需专门的硬件和参与者位置的先验知识。利用个体花费大部分对话时间彼此注视的直觉，ICE动态聚类算法能够提取人际注视。我们使用红外凝视跟踪器（F1=0.846，N=8）的客观度量在视频聊天中验证ICE，以及在面对面交流中使用专家评估的眼神接触（r= 0.37，N=170）。然后，我们使用ICE来分析行为在两个不同的，但重要的情感沟通领域：基于询问的欺骗检测，并在速配沟通技巧评估。我们发现，诚实的证人打破人际凝视接触，更经常比欺骗证人回答问题时向下看（p=0.004，d=0.79）。在预测速配视频中的专家沟通技巧评分时，我们证明了人际凝视本身比面部表情更具预测力。
2020-01-17 cs.CV cs.HC
MGTR: End-to-End Mutual Gaze Detection with Transformer
Nankai University（南开大学）
人们在日常交往中相互注视或相互凝视是普遍存在的，检测相互凝视对于理解人类社会场景具有重要意义。目前的相互注视检测方法主要集中在两阶段方法上，其推理速度受到两阶段流水线的限制，第二阶段的性能受第一阶段的影响。在本文中，我们提出了一种新的一个阶段的相互注视检测框架称为相互注视Transformer或MGTR执行相互注视检测在一个端到端的方式。通过设计相互注视实例三元组，MGTR可以检测每个人的头部限界框，同时推断相互注视关系的基础上的全局图像信息，简化了整个过程。在两个相互凝视数据集上的实验结果表明，该方法能够在不损失性能的情况下加速相互凝视检测过程。消融研究表明，MGTR的不同组成部分可以捕获图像中不同层次的语义信息。代码可在https://github.com/Gmbition/MGTR上获得
2022-10-06 cs.CV
Appearance-based gaze estimation enhanced with synthetic images using deep neural networks
Faculty of Mathematics, Physics and Informatics（数学、物理与信息学院）；Comenius University Bratislava（布拉迪斯拉发考门斯基大学）
本文提出基于 RetinaFace、6DRepNet 与神经网络的外观注视估计系统，并用 MetaHuman 合成数据增强训练，实现低于 2 度的误差且在机器人上验证可行。
2024-02-28 cs.AI cs.CV
Driver Attention Tracking and Analysis
VinAI Research（VinAI研究院）；Vietnam Posts & Telecommunications Inst. of Tech.（越南邮电技术研究院）；The University of Adelaide（阿德莱德大学）
针对驾驶场景下驾驶员注视点估计的难题，提出一种带摄像头校准模块的卷积网络，同时构建大规模真实驾驶注视数据集，实验证明该方法优于多种基线，预测误差较小。
2024-04-11 cs.CV
3D Prior is All You Need: Cross-Task Few-shot 2D Gaze Estimation
University of Birmingham（伯明翰大学）；Beihang University（北京航空航天大学）；Dankook University（檀国大学）；KETI（韩国电子通信研究院）
本文提出一种跨任务少样本2D视线估计方法，利用可微投影模块和动态伪标签策略，将3D先验适配到2D预测，在多个数据集上表现优越。
2025-03-24 cs.CV
3D Gaze Tracking for Studying Collaborative Interactions in Mixed-Reality Environments
Vanderbilt University（范德堡大学）
本文提出一个基于计算机视觉和深度学习的3D视线追踪框架，用于混合现实环境中的多人协作分析，无需专用硬件即可实现实时精确追踪，并在群体实验中验证了其准确性和可靠性。
2024-06-16 cs.AI cs.CV
EgoM2P: Egocentric Multimodal Multitask Pretraining
ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）；Microsoft（微软公司）
EgoM2P提出基于高效时间分词器和掩码建模的以自我为中心多模态多任务预训练框架，统一支持注视预测、相机跟踪、深度估计及视频合成，性能媲美专用模型且速度快一个数量级。
2026-11-05 cs.CV
Effect Of Personalized Calibration On Gaze Estimation Using Deep-Learning
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）
随着计算能力的提高和新的最先进的深度学习算法的发展，基于外观的视线估计变得越来越流行。它被认为可以很好地与策划的实验室数据集一起工作，但是当部署在现实世界中时，它面临着几个挑战。一个这样的挑战是估计一个人的凝视，而针对凝视估计训练的深度学习模型对此一无所知。为了分析这种情况下的性能，我们尝试模拟校准机制。在这项工作中，我们使用MPIIGaze数据集。我们训练了一个多模态卷积神经网络，并分析了它在有校准和没有校准的情况下的性能，这项评估提供了关于校准如何提高深度学习模型在估计野外凝视时的性能的清晰见解。
2021-09-27 cs.CV
