G3Ego: Gaze-Guided Graphs for Egocentric Action Understanding
University of Zagreb（萨格勒布大学）；University of Twente（特文特大学）
本研究提出G3Ego框架，将注视直接融入图构建以识别动作相关实体，在EGTEA Gaze+和MECCANO数据集上实现有竞争力的动作理解性能，且在类别不平衡评估下提升Macro-F1，无需昂贵视频预训练。
2026-08-21 cs.CV
Recognition of Activities from Eye Gaze and Egocentric Video
本文提出了一个框架，从自我中心的视频和眼动追踪数据头戴式眼动仪获得的人类活动的识别。三个渠道的信息，如眼动，自我运动，和视觉特征相结合的分类活动。使用预先训练的卷积神经网络提取图像特征。眼睛和自我运动进行量化，和窗口直方图被用作特征。与单个特征相比，特征的组合获得了更好的活动分类精度。
2018-05-18 cs.CV
Digging Deeper into Egocentric Gaze Prediction
Aalto University（阿尔托大学）；Tampere University of Technology（坦佩雷理工大学）
本文深入探讨了影响自我中心凝视的因素。我们建议在日常任务中检查有助于视线引导的因素，而不是盲目地为此目的训练深度模型。自下而上的显着性和光流进行评估与强空间先验基线。任务特定的线索，如消失点，操作点，和手的区域进行分析，自上而下的信息的代表。我们还通过研究一个简单的以自我为中心的凝视预测递归神经模型来研究这些因素的贡献。首先，针对所有输入视频帧提取深度特征。然后，采用门控递归单元来整合随时间的信息并预测下一个注视。我们还提出了一个综合模型，结合了几个自上而下和自下而上的线索的经常性模型。在多个数据集上进行的大量实验表明：（1）空间偏差在以自我为中心的视频中很强，（2）自下而上的显着性模型在预测凝视方面表现不佳，并且表现不佳空间偏差，（3）与传统特征相比，深度特征表现更好，（4）与手部区域相反，操作点是凝视预测的强有力线索，（5）将所提出的递归模型与自下而上的线索、消失点以及特别是操纵点相结合，导致了在以自我为中心的视频上的最佳注视预测准确性，（6）知识转移对于任务或序列相似的情况最有效，以及（7）任务和活动识别可以受益于注视预测。我们的研究结果表明：（1）应该更加强调手-物交互;（2）以自我为中心的视觉社区应该考虑更大的数据集，包括不同的刺激和更多的主题。
2019-04-12 cs.CV
Unsupervised Segmentation of Action Segments in Egocentric Videos using Gaze
Universiti Teknologi Malaysia（马来西亚理工大学）；Universiti Malaysia Sarawak（马来西亚砂拉越大学）
在以自我为中心的视频中，对动作片段进行无监督分割是诸如活动识别和基于内容的视频检索等任务中的理想特征。将搜索空间减少为动作段的有限集合有助于更快且噪声更少的匹配。然而，在连续的人类活动过程中，机器对自然时间切割的理解存在很大的差距。这项工作报告了一种新的凝视为基础的方法，用于分割使用自我中心的摄像机捕获的视频中的动作片段。凝视用于定位帧内的感兴趣区域。通过跟踪两个简单的基于运动的参数内连续的区域的兴趣，我们发现了一个有限的时间削减。我们提出了几个结果，使用组合（两个参数）的数据集，即，BRISGAZE-ACTIONS.该数据集包含以自我为中心的视频，描述了几种日常生活活动。通过实施两个熵度量，进一步提高了时间切割的质量。
2021-06-23 cs.CV
EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset
Rutgers University（罗杰斯大学）
EgoCampus提出了一种新的户外行人眼动预测模型和数据集，用于研究现实世界中的视觉注意力。
2026-03-04 cs.CV
Personalized Federated Learning for Egocentric Video Gaze Estimation with Comprehensive Parameter Frezzing
Hokkaido University（北海道大学）；Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究院）；Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）
针对第一视角视频视线估计，提出FedCPF方法，在个性化联邦学习框架中冻结变化率最高的关键参数，在EGTEA Gaze+和Ego4D数据集上显著提升召回率、精确率和F1分数。
2025-02-25 cs.CV
ARGaze: Autoregressive Transformers for Online Egocentric Gaze Estimation
Department of Computer Science, University of Texas at Dallas, Richardson, TX, USA.（德克萨斯大学达拉斯分校计算机科学系）；College of Computing, Georgia Institute of Technology, Atlanta, GA, USA（佐治亚理工学院计算机学院）；Department of Computer Science, University of Wisconsin-Madison, Madison, WI, USA（威斯康星大学麦迪逊分校计算机科学系）；Allen School of Computer Science, University of Washington, USA（华盛顿大学阿伦计算机科学学院）
ARGaze通过自回归变换器模型，利用时间连续性提升在线第一人称注视估计的鲁棒性与准确性。
2026-02-04 cs.CV
Gaze Beyond the Frame: Forecasting Egocentric 3D Visual Span
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research at Meta（Meta现实实验室）
本文提出EgoSpanLift方法，通过将自聚焦视觉跨度预测从2D转换到3D，实现对三维环境未来视觉聚焦的高效预测，并构建了大规模基准测试集。
2025-11-23 cs.CV
Listen to Look into the Future: Audio-Visual Egocentric Gaze Anticipation
Georgia Institute of Technology（佐治亚理工学院）；GenAI, Meta（Meta GenAI）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个结合视频和音频模态的自我中心注视预测模型，采用对比时空可分离（CSTS）融合方法分别捕获空间和时间维度的视听相关性，并在 Ego4D 和 Aria 数据集上显著超越现有方法。
2024-03-22 cs.CV
GazeDirector: Fully Articulated Eye Gaze Redirection in Video
University of Cambridge（剑桥大学）；Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了GazeDirector，一种新的眼睛注视重定向方法，使用模型拟合。我们的方法首先通过使用合成分析将多部分眼睛区域模型拟合到视频帧来跟踪眼睛，从而同时恢复眼睛区域形状、纹理、姿势和凝视。然后，通过1）使用模型导出的流场从原始图像扭曲眼睑，以及2）以照片级逼真的方式将合成的3D眼球渲染和合成到输出图像上来重定向凝视。GazeDirector允许我们在没有特定于个人的训练数据的情况下改变人们的视线方向，并且具有完整的清晰度，即我们可以在3D中精确地指定新的注视方向。量化，我们评估模型拟合和凝视合成，与哥伦比亚凝视数据集上的凝视估计和重定向实验。定性，我们比较凝视导演对最近的工作凝视重定向，显示更好的结果，特别是大的重定向角度。最后，我们通过引入新的3D凝视目标和操纵视觉行为来展示YouTube视频上的凝视重定向。
2017-04-27 cs.CV
Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities
University of Catania（卡塔尼亚大学）；The University of Tokyo（东京大学）
本文提出一种利用眼动信号在第一人称视频中实现无监督错误检测的方法，通过眼动补全任务显式建模眼动与视觉标记的相关性，利用预测与观察的眼动轨迹不一致性识别错误，在多个数据集上取得显著相对增益并排名第一。
2025-07-16 cs.CV
NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation
Hikvision Research Institute（海康威视研究院）
注视估计是许多视觉任务的基本基础。然而，获取具有3D注释的注视数据集的高成本阻碍了注视估计模型的优化和应用。在这项工作中，我们提出了一种新的头-眼重定向参数模型的基础上神经辐射场，它允许密集的视线数据生成视图一致性和准确的视线方向。此外，我们的头眼重定向参数化模型可以将人脸和眼睛解耦，分别进行神经渲染，从而达到分别控制人脸、身份、光照和眼睛注视方向等属性的目的。因此，不同的3D感知的凝视数据集可以通过操纵属于不同的人脸属性在一个无监督的方式的潜在代码获得。在多个基准测试上的实验证明了该方法在视线估计任务的领域泛化和领域自适应方面的有效性。
2022-12-30 cs.CV
How Much Future Helps? A Controlled Study of Future-Privileged Supervision for Causal Egocentric Gaze Estimation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Washington（华盛顿大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
提出一种受控框架，通过训练时访问未来帧但推理时丢弃的未来感知分支，研究未来上下文对因果视线估计的影响，发现最优未来视野约1.7-3.3秒。
2026-07-03 cs.CV
Unsupervised Learning of Eye Gaze Representation from the Web
Indian Institute of Technology Ropar（罗帕尔印度理工学院）
自动眼睛注视估计已经引起研究人员的兴趣一段时间了。在本文中，我们提出了一种基于无监督学习的眼睛凝视区域估计方法。为了以自我监督的方式训练所提出的网络“Ize-Net”，我们从网络上收集了一个包含1，54，251张图像的大型“野外”数据集。对于数据库中的图像，我们将视线分为三个区域的基础上，基于瞳孔中心定位的自动技术，然后使用基于特征的技术来确定注视区域。通过对Ize-Net的眼睛注视估计任务的结果进行微调，在Tablet Gaze和CAVE数据集上评估性能。所学习的特征表示还用于训练用于眼睛注视估计的传统机器学习算法。结果表明，该方法学习了丰富的数据表示，可以有效地微调任何眼睛注视估计数据集。
2019-04-04 cs.CV
GazeFlow: From Human Gaze Behavior to Generative Egocentric Gaze Prediction
University of Rochester（罗切斯特大学）
GazeFlow利用条件流匹配将注视建模为受自上而下和自下而上信息约束的联合分布，生成符合人类时间动态的注视轨迹，在标准数据集上达到最先进性能。
2026-10-01 cs.CV cs.LG
Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos
Next Vision s.r.l. -- Spinoff of the University of Catania（Next Vision s.r.l. -- 卡塔尼亚大学衍生公司）
本文提出利用VLLMs中的目光和标记集来预测人-物体交互，通过改进视觉定位能力和用户意图理解，结合逆指数采样策略，实验表明方法在HD-EPIC数据集上优于现有方法。
2026-04-04 cs.CV
Real-time Eye Gaze Direction Classification Using Convolutional Neural Network
眼睛注视方向估计在各种人机交互任务中是有用的。注视方向的知识可以给出关于用户注意点的有价值的信息。据报道，被称为眼睛访问线索的某些眼球运动模式与人类大脑中的认知过程有关。我们提出了一个实时的【形】框架的眼睛注视方向的分类和眼睛访问线索的估计。在第一阶段，该算法使用Viola-Jones算法的修改版本来检测面部。利用几何关系和面部特征点得到一个粗略的眼睛区域。所获得的眼睛区域在后续阶段中用于对眼睛注视方向进行分类。一个卷积神经网络在这项工作中的眼睛注视方向的分类。该算法在Eye Chimera数据库上进行了测试，发现其性能优于最先进的方法。该算法在测试阶段的计算复杂性很小。该算法在桌面环境下实现了24 fps的平均帧速率。
2016-05-17 cs.CV
EyeCue: Driver Cognitive Distraction Detection via Gaze-Empowered Egocentric Video Understanding
Virginia Tech（弗吉尼亚理工大学）；Inha University（inha大学）；Army Cyber Institute at West Point（西点军营陆军网络学院）
本文提出EyeCue框架，通过眼动与视觉上下文的交互建模，实现驾驶员认知分心检测，利用CogDrive数据集验证其在多种驾驶场景下的高准确率和泛化能力。
2026-05-08 cs.CV
Model-aware 3D Eye Gaze from Weak and Few-shot Supervisions
ETH Zurich（苏黎世联邦理工学院）；Sofia University（索非亚大学）；INSAIT
提出一种结合眼部语义分割弱监督与少量3D视线向量直接监督的方法，并设计基于transformer的网络架构，在仅用0.05% 3D标注时将视线角度误差降低约5度。
2023-11-20 cs.CV
Rendering of Eyes for Eye-Shape Registration and Gaze Estimation
University of Cambridge（剑桥大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
眼睛的图像是几个计算机视觉问题的关键，例如形状配准和凝视估计。针对这些问题的最新大规模监督方法需要耗时的数据汇集和手动注释，这可能是不可靠的。我们建议在一小部分时间内合成完美标记的照片级逼真的训练数据。我们使用计算机图形学技术，建立一个收集的动态眼睛区域模型，从头部扫描几何。这些被随机放置以合成针对各种头部姿势、注视方向和照明条件的特写眼睛图像。我们使用我们的模型的可控性来验证眼睛区域训练数据中的真实光照和形状变化的重要性。最后，我们展示了我们的合成训练数据（SynthesEyes）的好处，表现出最先进的方法，眼睛形状注册以及跨数据集外观为基础的凝视估计在野外。
2015-05-21 cs.CV
Eyes on Target: Gaze-Aware Object Detection in Egocentric Video
本文提出Eyes on Target框架，通过将注视信息注入Vision Transformer的注意力机制，提升中心视觉视频中目标检测的准确性，实验表明其在自研数据集和公开基准上均优于无注视基线。
2026-03-16 cs.AI cs.CV
EyeBAG: Accurate Control of Eye Blink and Gaze Based on Data Augmentation Leveraging Style Mixing
KAIST（韩国科学技术院）；Innerverz（Innerverz公司）
针对生成模型在眼部控制上表现不佳的问题，提出包含眨眼与注视重定向模块的EyeBAG框架，并利用风格混合的数据增强方法生成高质量眼部控制图像，有效提升下游任务性能。
2023-06-30 cs.CV
A Survey on Eye-Gaze Tracking Techniques
Sri Jayachamarajendra College of Engineering（斯里贾亚查马拉詹德拉工程学院）；University of North Texas（北德克萨斯大学）
眼动研究是人机交互研究的重要内容。视线跟踪是计算机视觉领域最具挑战性的问题之一.本文的目的是提出一个审查的最新研究，在这种持续增长的远程眼睛注视跟踪。这一概述包括基本定义和术语，在该领域的最新进展，最后在该领域的未来发展的需要。
2013-12-22 cs.CV
TalkingEyes: Pluralistic Speech-Driven 3D Eye Gaze Animation
School of Informatics, Xiamen University（厦门大学信息学院）；China Mobile (Hangzhou) Information Technology Co., Ltd.（中国移动（杭州）信息技术有限公司）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出TalkingEyes，通过语音驱动生成多样化且自然的3D眼动动画，结合头部和面部运动，解决语音与眼动弱相关性问题。
2026-01-04 cs.CV
Image based Eye Gaze Tracking and its Applications
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
眼动在感知世界中起着至关重要的作用。眼睛注视可以给出用户关注点的直接指示，这在改善人机交互中是有用的。以非侵入方式进行注视估计可以使人机交互更加自然。眼动追踪可用于多种应用，例如疲劳检测、生物特征认证、疾病诊断、活动识别、警觉水平估计、视情况注视显示、人机交互等。尽管眼动跟踪技术已经存在了几十年，但在消费者应用中还没有发现太多用途。主要原因是眼动追踪硬件成本高，缺乏消费级应用。在这项工作中，我们试图解决这两个问题。在这项工作的第一部分，基于图像的算法开发的视线跟踪，其中包括一个新的两阶段虹膜中心定位算法。我们已经开发了一种新的算法，它的作品在具有挑战性的条件下，如运动模糊，闪烁，和不同的照明水平。还开发了使用卷积神经网络的人独立的注视方向分类框架，其消除了对用户特定校准的要求。在这项工作的第二部分，我们已经开发了两个应用程序，可以受益于眼动追踪数据。提出了一种基于眼动参数的生物特征识别方法。活动识别的框架，使用从头戴式眼动仪的凝视数据也被开发出来。从凝视数据，自我运动，和视觉特征的信息被集成到分类的活动。
2019-07-09 cs.CV
Efficient CNN Implementation for Eye-Gaze Estimation on Low-Power/Low-Quality Consumer Imaging Systems
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；Xperi Corporation（Xperi公司）
准确且有效的眼睛注视估计对于新兴的消费电子系统（诸如驾驶员监控系统和新颖的用户界面）是重要的。这些系统需要在困难、不受约束的环境中以低功耗和最低成本可靠地运行。在本文中，一个新的硬件友好，卷积神经网络模型与最小的计算要求，并评估有效的外观为基础的视线估计。该模型进行了测试，并与现有的基于外观的CNN方法进行了比较，实现了更好的眼睛注视精度，大大减少了计算需求。还提供了一个简短的更新文献综述。
2018-06-28 cs.CV
Gaze-VLM:Bridging Gaze and VLMs through Attention Regularization for Egocentric Understanding
HKU Musketeers Foundation Institute of Data Science, The University of Hong Kong（香港大学穆斯克特基金会数据科学研究所，香港大学）；Department of Electrical and Electronic Engineering, The University of Hong Kong（电气电子工程系，香港大学）
本文提出 gaze-regularized 框架，通过注意力正则化提升 VLMs 在细粒度未来事件预测和当前活动理解任务中的性能，实验表明在预测精度和鲁棒性上有显著提升。
2026-03-24 cs.AI cs.CV
Learning Unsupervised Gaze Representation via Eye Mask Driven Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
本文提出一种无监督注视预训练框架，通过交替眼部掩码训练、注入瓶颈和对比损失，从全脸图像中学习低维注视表示，在多个基准上优于现有无监督方法。
2024-06-29 cs.CV
GazeDiT: Gaze-Accurate Diffusion Image Generation for Eye Tracking via Spatial Conditioning
Meta；Georgia Institute of Technology（佐治亚理工学院）
GazeDiT通过内部空间条件将4D注视标签锚定在瞳孔/虹膜几何上，生成注视精确的图像，显著降低标签误差并提升下游眼动追踪性能。
2026-09-17 cs.CV
Accurate Gaze Estimation using an Active-gaze Morphable Model
而不是从图像直接回归视线方向，我们表明，添加3D形状模型可以：i）提高视线估计精度，ii）在较低分辨率输入下表现良好，iii）提供对眼睛区域及其组成视线系统的更丰富的理解。具体来说，我们使用一个“眼睛和鼻子”的3D变形模型（3DMM）来捕捉眼睛区域的3D面部几何形状和外观，我们配备了一个几何聚散度模型的凝视给一个“主动凝视3DMM”。我们证明了我们的方法在Eyediap数据集上取得了最先进的结果，并提出了一项消融研究。我们的方法可以只使用地面真实凝视目标点和相机参数进行学习，而无需访问地面真实凝视原点，从而与其他方法相比，扩大了我们方法的适用性。
2023-01-30 cs.CV
Bayesian Eye Tracking
Rensselaer Polytechnic Institute（伦斯勒理工学院）
基于模型的眼动追踪由于其能够推广到不同的主体，而不需要任何训练数据和眼睛注视注释，已经成为眼睛注视跟踪的主要方法。然而，基于模型的眼动追踪易受眼睛特征检测误差的影响，特别是对于野外的眼动追踪。为了解决这个问题，我们提出了一个贝叶斯框架，基于模型的眼动追踪。所提出的系统包括一个级联贝叶斯卷积神经网络（c-BCNN），以捕捉眼睛外观和它的地标之间的概率关系，和一个几何眼睛模型，估计眼睛凝视眼睛地标。给定测试眼睛图像，贝叶斯框架可以通过贝叶斯推理生成眼睛注视分布，而无需显式地标检测和模型训练，基于此，它不仅估计最可能的眼睛注视，而且还估计其不确定性。此外，使用贝叶斯推理而不是基于点的推理，我们的模型不仅可以更好地推广到不同的子帧，头部姿势和环境，而且对图像噪声和地标检测错误具有鲁棒性。最后，利用估计的注视不确定性，我们可以构建一个级联架构，使我们能够逐步提高注视估计的准确性。与最先进的基于模型和基于学习的方法相比，所提出的贝叶斯框架在几个基准数据集的泛化能力以及在具有挑战性的现实条件下的准确性和鲁棒性方面都有显着提高。
2021-06-25 cs.CV
Supporting Mitosis Detection AI Training with Inter-Observer Eye-Gaze Consistencies
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UCLA David Geffen School of Medicine（加州大学洛杉矶分校大卫·格芬医学院）；Kansas University Medical Center（堪萨斯大学医学中心）
本研究提出利用观察者间一致的眼动注视点生成低成本训练标签，用于有丝分裂检测AI训练，实验表明其性能接近真实标注并显著优于启发式基线。
2024-04-02 cs.CV
A Novel Binocular Eye-Tracking SystemWith Stereo Stimuli for 3D Gaze Estimation
Tianjin University（天津大学）
眼动追踪技术已广泛应用于心理学研究和人机交互（HCI）等应用中。然而，目前大多数眼动追踪器集中在2D点的凝视（PoG）估计，并不能提供准确的凝视depth. Considering未来的应用，如人机交互与3D显示器，我们提出了一种新的双目眼动追踪设备与立体刺激，以提供高度准确的3D PoG估计。在我们的设备中，3D立体成像系统可以为用户提供友好和身临其境的3D视觉体验，而无需佩戴任何配件。该眼动捕捉系统可以无干扰地直接记录用户在3D刺激下的眼动。基于采集到的立体刺激下的眼动数据，建立了基于回归的三维眼动追踪模型。我们的模型估计用户的2D凝视与眼区地标定义的功能，并进一步估计3D PoG与多源特征集构建的全面的眼动特征和视差功能，从立体刺激。设计了两个不同景深的测试立体场景，验证了模型的有效性。实验结果表明，在工作空间体积50~cm $\times$ 30~cm $\times$ 75~cm/2.4~m $\times$ 4.0~m $\times$ 7.9~m范围内，二维凝视估计的平均误差为0.66 \degree，三维PoG估计的平均误差为1.85~cm/0.15~m。
2021-10-28 cs.CV
Robust Iris Centre Localisation for Assistive Eye-Gaze Tracking
University of Malta（马耳他大学）
针对无约束条件下虹膜中心定位问题，提出基于U-Net变体的分割与回归方法，改进贝叶斯分类方案，实现与最先进水平相当或更优的性能，且保持实时性。
2024-11-07 cs.CV
GazeGNN: A Gaze-Guided Graph Neural Network for Chest X-ray Classification
Northwestern University（西北大学）；University of Pennsylvania（宾夕法尼亚大学）；National Cancer Institute（国家癌症研究所）；Emory University（埃默里大学）
提出GazeGNN，一种利用原始眼动数据无需转换的图神经网络，实现胸部X射线实时端到端疾病分类，性能优于现有方法。
2023-08-29 cs.CV
Pose2Gaze: Eye-body Coordination during Daily Activities for Gaze Prediction from Full-body Poses
University of Stuttgart（斯图加特大学）；Center for Bionic Intelligence Tuebingen Stuttgart (BITS)（蒂宾根-斯图加特仿生智能中心（BITS））
本文提出Pose2Gaze模型，利用卷积神经网络和时空图卷积网络从头部方向与全身姿态预测注视，并在四个真实/VR/AR数据集上显著超越仅基于头动的现有方法。
2024-06-10 cs.CV
Efficient Eye Typing with 9-direction Gaze Estimation
China University of Mining and Technology（中国矿业大学）；Australian National University（澳大利亚国立大学）
基于视觉的文本输入系统旨在帮助残疾人通过眼球运动实现文本交流。大多数先前的方法已经采用现有的眼睛跟踪器来预测注视方向并基于此设计输入方法。然而，这些方法可能导致眼动追踪质量变得容易受到各种因素和用于校准的冗长时间量的影响。本文提出了一种新的高效的基于凝视的文本输入方法，它具有低成本和鲁棒性的优点。用户可以通过看着屏幕上的屏上键盘并眨眼来输入单词。我们引入了一种将人类注视分为九个方向的方法，而不是直接估计注视角度来跟踪眼睛。该方法可以有效地提高通过注视和眨眼进行选择的准确性。我们建立了一个卷积神经网络（CNN）模型的9个方向的视线估计。在9向凝视的基础上，我们使用了在直板手机中广泛使用的九键T9输入法。酒吧手机在几十年前就在全球非常流行，并培养了强大的用户习惯和语言模型。为了训练一个强大的凝视估计器，我们创建了一个大规模的数据集，其中包含来自25个人的眼睛图像。根据实验结果，我们的CNN模型能够准确地估计不同设备在不同光照条件下不同人的注视。考虑到残疾人的需要，我们取消了复杂的校准过程。输入法可以在屏幕模式和便携式离屏模式下运行。此外，我们的实验中使用的数据集可供社区使用，以允许进一步的实验。
2017-07-03 cs.CV
One Eye is All You Need: Lightweight Ensembles for Gaze Estimation with Single Encoders
Harvard Medical School（哈佛医学院）
近年来，凝视估计的准确性迅速增长。然而，这些模型通常无法利用不同的计算机视觉（CV）算法和技术（例如小型ResNet和Inception网络以及集成模型），这些算法和技术已被证明可以改善其他CV问题的结果。此外，大多数当前的凝视估计模型需要使用双眼或整个面部，而现实世界的数据可能并不总是具有高分辨率的双眼。因此，我们提出了一个凝视估计模型，该模型实现了ResNet和Inception模型架构，并仅使用一个眼睛图像进行预测。此外，我们提出了一个集成校准网络，使用从几个单独的架构的预测特定于主题的预测。通过使用轻量级架构，我们以非常低的模型参数计数在GazeCapture数据集上实现了高性能。当使用两只眼睛作为输入时，我们在没有校准的测试集上实现了1.591 cm的预测误差，而在集成校准模型下实现了1.439 cm的预测误差。在只有一只眼睛作为输入的情况下，我们在没有校准的测试集上仍然实现了2.312 cm的平均预测误差，而在使用集合校准模型的情况下仍然实现了1.951 cm的平均预测误差。我们还注意到测试集中右眼图像的误差显著降低，这在未来基于凝视估计的工具的设计中可能很重要。
2022-11-22 cs.CV
Efficient Egocentric Visual Perception Combining Eye-tracking, a Software Retina and Deep Learning
University of Glasgow（格拉斯哥大学）
我们目前正在进行的工作，利用生物学方法来实现高效的自我中心的感知相结合的空间变化的成像架构的哺乳动物视网膜与深度学习方法。通过预处理通过眼动追踪眼镜收集的图像来控制软件视网膜模型的固定位置，我们证明了我们可以将DCNN的输入减少3倍，减少所需的训练次数，并在9个对象类的26，000多幅图像的数据库上训练和验证系统时获得超过98%的分类率。
2018-09-05 cs.CV
Motion-Based Tokenization for Cross-Dataset Egocentric Gaze Modeling
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
该研究针对跨数据集自我中心凝视建模，提出基于运动的分词方法，通过多维度评估对比不同表示方式，发现其在部分迁移场景下的优势，明确事件构建对跨数据集迁移的影响。
2026-08-25 cs.CV
Adaptive Feature Fusion Network for Gaze Tracking in Mobile Tablets
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
最近，已经提出了许多多流注视估计方法。他们从眼睛和面部外观估计凝视，并达到合理的准确性。然而，大多数方法只是简单地连接从眼睛和面部外观提取的特征。特征融合过程被忽略了。在本文中，我们提出了一种新的自适应特征融合网络（AFF-Net），它在移动平板电脑上执行视线跟踪任务。我们堆叠两只眼睛的特征图，并利用挤压和激励层自适应融合两只眼睛的功能，根据他们的外观相似性。同时，我们还提出了自适应组归一化方法，在面部特征的指导下重新校准眼睛特征。在GazeCapture和MPIIFaceGaze数据集上进行的大量实验表明，所提出的方法具有一贯的优越性能。
2021-03-20 cs.CV
Deep Pictorial Gaze Estimation
AIT Lab, Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系AIT实验室）；ETH Zurich（苏黎世联邦理工学院）
仅从自然眼睛图像估计人类注视是一项具有挑战性的任务。注视方向可以由瞳孔和眼球中心定义，后者在2D图像中是不可观察的。因此，实现高度准确的注视估计是一个不适定的问题。在本文中，我们介绍了一种新的深度神经网络架构，专门为单眼输入的凝视估计任务而设计。而不是直接回归两个角度的俯仰和偏航的眼球，我们回归到一个中间的图形表示，这反过来又简化了3D凝视方向估计的任务。我们的定量和定性结果表明，我们的方法实现了更高的准确性比国家的最先进的，是强大的变化的目光，头部姿势和图像质量。
2018-07-26 cs.CV
Driver Gaze Region Estimation Without Using Eye Movement
Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
自动估计驾驶员视觉注意力的分配可能是未来高级驾驶员辅助系统的关键组成部分。理论上，基于视觉的眼睛跟踪可以提供对注视位置的良好估计。在实践中，由于太阳镜、反光、照明条件、遮挡、运动模糊和其他因素，来自视频的眼动追踪具有挑战性。另一方面，头部姿态的估计对于这些影响中的许多是鲁棒的，但是不能在定位注视时提供精细粒度的分辨率。然而，为了保持驾驶员安全的目的，将注视划分为区域就足够了。在这项工作中，我们提出了一个系统，提取面部特征，并将其空间配置实时分为六个区域。我们所提出的方法实现了91.4%的平均准确度，平均决策率为11 Hz的数据集上的50名司机从道路上的研究。
2016-03-01 cs.CV
A Statistical Approach to Continuous Self-Calibrating Eye Gaze Tracking for Head-Mounted Virtual Reality Systems
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
我们提出了一种新颖的，自动的眼睛注视跟踪方案的灵感来自平滑的追求眼睛运动，而玩手机游戏或观看虚拟现实内容。我们的算法连续地校准用于盔装显示器的眼动追踪系统。这消除了对明确校准步骤的需要，并自动补偿耳机相对于头部的微小移动。该算法找到角膜运动和屏幕空间运动之间的对应关系，并使用这些来生成高斯过程回归模型。这些模型的组合提供了从角膜位置到屏幕空间位置的连续映射。精确度几乎与使用明确的校准步骤实现的一样好。
2016-12-20 cs.CV
A Differential Approach for Gaze Estimation
Idiap Research Institute（Idiap研究所）；Eyeware Tech SA（Eyeware科技公司）
非侵入性注视估计方法通常直接从单个面部或眼睛图像回归注视方向。然而，由于个体之间眼睛形状和内部眼睛结构的重要变化，通用模型获得有限的准确性，并且它们的输出通常表现出高方差以及受试者依赖的偏差。因此，通常通过校准来提高准确性，从而允许将受试者的注视预测映射到他/她的实际注视。在本文中，我们介绍了一种新的图像差分方法的视线估计。我们建议直接训练差分卷积神经网络来预测同一对象的两个眼睛输入图像之间的注视差异。然后，给定一组受试者特定的校准图像，我们可以使用推断的差异来预测新眼睛样本的注视方向。假设通过允许两个眼睛图像之间的比较，可以大大减少通常困扰单个图像预测方法的烦恼因素（对准、眼睑闭合、照明扰动），从而允许更好的预测。在3个公共数据集上的实验验证了我们的方法，即使只使用一个校准样本，或者在后面的方法之后进行受试者特定的凝视适应时，该方法也不断优于最先进的方法。
2020-02-06 cs.CV
Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）
传统的基于特征和基于模型的凝视估计方法已经证明在具有受控照明和专用相机的设置中表现良好。然而，在不受约束的现实世界的设置，这样的方法是超越最近的外观为基础的方法，由于建模因素，如照明变化和其他视觉伪影的困难。我们提出了一种新的基于学习的方法，使传统的方法是最新的外观为基础的方法具有竞争力的眼睛区域的地标定位。尽管专门针对合成数据进行了训练，但我们的方法在真实图像上的虹膜定位和眼睛形状配准方面超过了现有技术。然后，我们使用检测到的地标作为迭代模型拟合和基于轻量级学习的凝视估计方法的输入。我们的方法优于现有的模型拟合和外观为基础的方法在人的独立和个性化的凝视估计的背景下。
2018-05-12 cs.CV
GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction
Meta Reality Labs（Meta现实实验室）；EPFL（苏黎世联邦理工学院）
本文提出GazePrior，一种数据驱动的3D注视先验模型，用于在无需额外数据收集的情况下实现高质量的AR/VR注视跟踪，通过合成数据提高模型的准确性和鲁棒性。
2026-05-21 cs.CV
Marker-free eye-gaze estimation using a single image and depth from defocus
Université de Sherbrooke（舍布鲁克大学）
本文提出一种基于单目摄像头和散焦深度的无标记眼动估计方法，利用虹膜定位与头部姿态特征，通过变分贝叶斯多项逻辑回归映射到注视位置，实验验证其有效性。
2026-09-10 cs.CV
EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input
Copenhagen Business School（哥本哈根商学院）
EgoGazeLite 是轻量双进程注视预测器，可在消费级硬件上实时运行，无需眼动追踪硬件即可实现 token 高效的自我中心视频理解，性能与真实注视裁剪无显著差异。
2026-08-18 cs.AI cs.CV
EgoM2P: Egocentric Multimodal Multitask Pretraining
ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）；Microsoft（微软公司）
EgoM2P提出基于高效时间分词器和掩码建模的以自我为中心多模态多任务预训练框架，统一支持注视预测、相机跟踪、深度估计及视频合成，性能媲美专用模型且速度快一个数量级。
2025-07-19 cs.CV
End-to-end Video Gaze Estimation via Capturing Head-face-eye Spatial-temporal Interaction Context
National Key Laboratory of Science and Technology on Multi-Spectral Information Processing, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多谱信息处理技术国家级重点实验室）
本文提出MCGaze方法，通过端到端捕获头部-面部-眼睛时空交互上下文，联合定位线索并融合全局与局部特征，实现高效视频注视估计，在Gaze360数据集上验证优越性。
2023-12-29 cs.CV
Fingertip in the Eye: A cascaded CNN pipeline for the real-time fingertip detection in egocentric videos
South China University of Technology（华南理工大学）
我们引入了一个新的管道手定位和指尖检测。对于从以自我为中心的视觉移动相机捕获的RGB图像，由于背景复杂性和手部形状多样性等因素，手部和指尖检测仍然是一个具有挑战性的问题。为了准确和鲁棒地解决这些问题，我们构建了一个名为Ego Fingertip的大规模数据集，并提出了一个双层级联的卷积神经网络管道，即基于注意力的手检测器以及多点指尖检测器。与以往的手和指尖检测方法相比，所提出的方法显著地解决了挑战，并实现了令人满意的准确预测和实时的【形】性能。
2015-11-07 cs.CV
LNSMM: Eye Gaze Estimation With Local Network Share Multiview Multitask
HuaZhong University of Science and Technology（华中科技大学）
视线估计在计算机视觉中具有重要的意义，本文系统地研究了视线估计的主流方法，提出了一种新的同时估计视线点和视线方向的方法：首先，构造了一个局部共享网络，用于视线点的特征提取和视线方向估计，减少了网络的计算参数，收敛速度快;其次，提出了一种多视图多任务学习（MTL）框架，对于注视方向，提出了左右眼共面约束，对于注视点，三视图数据输入间接引入了眼睛位置信息，设计了跨视图池模块，提出了联合损失，同时处理注视点和注视方向的估计。我们收集了一个包含三个视点的凝视点的数据集，实验表明，在凝视点和凝视方向两个指标上，我们的方法是目前主流方法的最先进的。
2021-01-18 cs.AI cs.CV
PicoEyes: Unified Gaze Estimation Framework for Mixed Reality with a Large-Scale Multi-View Dataset
Pico, Bytedance（字节跳动）
PicoEyes通过统一框架实现从单目或双目输入直接预测所有注视关键属性，结合大规模多视角数据集提升混合现实中的注视估计性能。
2026-05-13 cs.CV
