Gaze-Guided Task Decomposition for Imitation Learning in Robotic Manipulation
The University of Tokyo（东京大学）；Graduate School of Information Science and Technology（信息科学与技术研究生院）；Laboratory for Intelligent Systems and Informatics（智能系统与信息学实验室）
提出基于凝视转换的机器人操作任务分解方法，利用遥操作中的人类凝视替代智能体凝视，实现一致且稳健的子任务分割，支持技能重用与组合。
2025-02-27 cs.RO
Eye, Robot: Learning Expressive Gaze Dynamics via a VLM-Guided Transformer-VAE
Columbia University（哥伦比亚大学）
该研究针对人形机器人注视建模问题，提出VLM引导的Transformer-VAE模型RGT，在基准测试中实现了更低的七关节MSE，验证了运动学保真度与实时推理能力。
2026-10-15 cs.AI cs.RO
Where Do Humans Look When Demonstrating to Robots? Human Gaze Behavior in Pick-and-Place Tasks Across Demonstration Devices
Toyota Motor Corporation（丰田汽车公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
研究探讨了人类在不同机器人演示设备中 gaze 行为的变化，发现设备特性会影响 gaze 从任务目标线索转向控制监控线索，影响基于 gaze 的模仿学习性能。
2026-06-29 cs.RO
Gaze-based dual resolution deep imitation learning for high-precision dexterous robot manipulation
Laboratory for Intelligent Systems and Informatics, Graduate School of Information Science and Technology, The University of Tokyo（智能系统与信息学实验室，信息科学与技术研究生院，东京大学）
针对高精度操作任务，提出受人类注视双分辨率视觉系统启发的深度模仿学习方法，通过高分辨率中央凹图像精确控制与低分辨率周边图像接近目标，实现穿针引线并提升计算效率。
2025-05-21 cs.AI cs.RO
Pistol: Pupil Invisible Supportive Tool to extract Pupil, Iris, Eye Opening, Eye Movements, Pupil and Iris Gaze Vector, and 2D as well as 3D Gaze
University Tübingen（图宾根大学）
本文介绍了一个特征提取和视线估计软件，命名为\textit{Pistol}，可用于瞳孔隐形项目和其他眼动仪在未来。在离线模式下，我们的软件从眼睛中提取多个特征，包括瞳孔和虹膜椭圆、眼睛孔径、瞳孔矢量、虹膜矢量、来自瞳孔和虹膜速度的眼睛运动类型、标记检测、标记距离、瞳孔中心的2D凝视估计、虹膜中心、瞳孔矢量和使用Levenberg Marvet拟合和神经网络的虹膜矢量。在2D中针对每只眼睛和每个特征单独地计算注视信号，并且在3D中针对两只眼睛也针对每个特征单独地计算注视信号。我们希望这个软件可以帮助其他研究人员从他们的录音中提取最先进的特征。链接：https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/? p=%2FPISTOL&mode=list
2023-03-10 cs.CV cs.LG
EyeTAG: Eye Trajectory-Aware Gaze Estimation
Soongsil University（崇实大学）
EyeTAG提出因果多帧视线估计框架，利用显式一阶视线先验（差分轨迹标记）捕捉受试者不变运动，通过交叉注意力融合面部与眼睛流，在Gaze360上平均角度误差降低约1.0°，在EVE上与最强基线相当，消融实验证明差分公式消除系统性扫视偏差。
2026-10-02 cs.CV cs.LG
Selective Eye-gaze Augmentation To Enhance Imitation Learning In Atari Games
University at Buffalo（布法罗大学）
本文提出了选择性地使用眼睛凝视信息在雅达利游戏中学习人类的行动。大量证据表明，我们的眼球运动传达了大量关于我们注意力方向和精神状态的信息，并编码了完成任务所需的信息。基于这一证据，我们假设，选择性地使用眼睛注视，作为注意方向的线索，将提高从示范示教学习。为此，我们提出了一个选择性的眼睛注视增强（SEA）网络，学习何时使用眼睛注视信息。所提出的网络架构由三个子网络组成：凝视预测，门控和动作预测网络。使用先前的4个游戏帧，由用于增强输入帧的注视预测网络预测注视图。门控网络将确定预测的凝视图是否应该用于学习，并被馈送到最终网络以预测当前帧处的动作。为了验证这种方法，我们使用公开的Atari人眼跟踪和演示（Atari-HEAD）数据集，该数据集由20个Atari游戏组成，其中2800万人演示和3.28亿眼注视（超过游戏帧）从四个主题中收集。我们通过与最先进的注意力引导模仿学习（AGIL）、行为克隆（BC）的比较，证明了选择性眼凝视增强的有效性。结果表明，选择性增强方法（SEA网络）的性能显着优于AGIL和BC。此外，为了证明通过门控网络选择性使用凝视的意义，我们将我们的方法与随机选择凝视进行比较。即使在这种情况下，SEA网络的表现也明显更好，验证了在演示学习中选择性使用凝视的优势。
2020-12-05 cs.CV cs.LG
Gaze Preserving CycleGANs for Eyeglass Removal & Persistent Gaze Estimation
UC San Diego（加州大学圣地亚哥分校）
驾驶员的注视对于确定他们的注意力、状态、态势感知以及是否准备好接管部分自动驾驶车辆的控制至关重要。当限制使用非侵入式成像传感器时，估计注视方向是在理想条件下衡量驾驶员状态的最明显方法。不幸的是，车辆环境引入了各种通常无法解释的挑战-苛刻的照明，夜间条件和反光眼镜。在这种情况下，仅仅依靠头部姿势是不可靠和错误的。在这项研究中，我们提供解决方案，以解决这些问题在现实世界中遇到的。为了解决照明问题，我们证明了使用具有适当均衡和归一化的红外摄像机就足够了。为了处理眼镜及其相应的伪影，我们采用图像到图像的转换，使用生成对抗网络在凝视估计之前对图像进行预处理。我们提出的凝视保持CycleGAN（GPCycleGAN）经过训练，可以保留驾驶员的凝视，同时从面部图像中去除潜在的眼镜。GPCycleGAN基于众所周知的CycleGAN方法-添加了凝视分类器和凝视一致性损失以进行额外的监督。我们的方法在具有挑战性的真实世界数据集上表现出更好的性能，可解释性，鲁棒性和卓越的定性结果。
2021-06-15 cs.CV cs.LG
GazeDirector: Fully Articulated Eye Gaze Redirection in Video
University of Cambridge（剑桥大学）；Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了GazeDirector，一种新的眼睛注视重定向方法，使用模型拟合。我们的方法首先通过使用合成分析将多部分眼睛区域模型拟合到视频帧来跟踪眼睛，从而同时恢复眼睛区域形状、纹理、姿势和凝视。然后，通过1）使用模型导出的流场从原始图像扭曲眼睑，以及2）以照片级逼真的方式将合成的3D眼球渲染和合成到输出图像上来重定向凝视。GazeDirector允许我们在没有特定于个人的训练数据的情况下改变人们的视线方向，并且具有完整的清晰度，即我们可以在3D中精确地指定新的注视方向。量化，我们评估模型拟合和凝视合成，与哥伦比亚凝视数据集上的凝视估计和重定向实验。定性，我们比较凝视导演对最近的工作凝视重定向，显示更好的结果，特别是大的重定向角度。最后，我们通过引入新的3D凝视目标和操纵视觉行为来展示YouTube视频上的凝视重定向。
2017-04-27 cs.CV
Gaze Estimation with Eye Region Segmentation and Self-Supervised Multistream Learning
我们提出了一种新的多流网络，学习强大的眼睛表示凝视估计。我们首先使用模拟器创建一个包含眼部区域掩模的合成数据集，该掩模详细描述了可见的眼球和虹膜。然后，我们使用U-Net类型的模型进行眼部区域分割，我们稍后使用该模型为真实世界的眼部图像生成眼部区域掩模。接下来，我们用自监督对比学习在实域中预训练眼睛图像编码器以学习广义眼睛表示。最后，这个预先训练的眼睛编码器，以及两个额外的编码器，用于可见眼球区域和虹膜，在我们的多流框架中并行使用，从现实世界的图像中提取显著特征的凝视估计。我们在两种不同的评估设置中展示了我们的方法在EYEDIAP数据集上的性能，并获得了最先进的结果，优于该数据集上所有现有的基准测试。我们还进行了额外的实验，以验证我们的自监督网络对于用于训练的不同数量的标记数据的鲁棒性。
2021-12-15 cs.CV cs.LG
EyeNet: A Multi-Task Network for Off-Axis Eye Gaze Estimation and User Understanding
Magic Leap, Inc.（Magic Leap公司）
通过眼睛图像对用户的眼睛注视估计和同步语义理解是虚拟和混合现实中的关键组成部分;实现节能渲染，多焦点显示和与3D内容的有效交互。在头戴式VR/MR设备中，眼睛离轴成像以避免阻挡用户的凝视，该视点使得绘制眼睛相关的推断非常具有挑战性。在这项工作中，我们提出了EyeNet，第一个单一的深度神经网络，解决了多个异构任务相关的眼睛注视估计和语义用户理解的离轴相机设置。这些任务包括眼睛分割、眨眼检测、情绪表情分类、红外LED闪烁检测、瞳孔和角膜中心估计。为了训练EyeNet端到端，我们采用手动标记监督和基于模型的监督。我们在MagicEyes上对所有任务进行基准测试，MagicEyes是一个大型的新数据集，包含587名受试者，具有不同的形态，性别，肤色，化妆和成像条件。
2019-08-24 cs.CV cs.LG eess.IV
NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation
Hikvision Research Institute（海康威视研究院）
注视估计是许多视觉任务的基本基础。然而，获取具有3D注释的注视数据集的高成本阻碍了注视估计模型的优化和应用。在这项工作中，我们提出了一种新的头-眼重定向参数模型的基础上神经辐射场，它允许密集的视线数据生成视图一致性和准确的视线方向。此外，我们的头眼重定向参数化模型可以将人脸和眼睛解耦，分别进行神经渲染，从而达到分别控制人脸、身份、光照和眼睛注视方向等属性的目的。因此，不同的3D感知的凝视数据集可以通过操纵属于不同的人脸属性在一个无监督的方式的潜在代码获得。在多个基准测试上的实验证明了该方法在视线估计任务的领域泛化和领域自适应方面的有效性。
2022-12-30 cs.CV
LNSMM: Eye Gaze Estimation With Local Network Share Multiview Multitask
HuaZhong University of Science and Technology（华中科技大学）
视线估计在计算机视觉中具有重要的意义，本文系统地研究了视线估计的主流方法，提出了一种新的同时估计视线点和视线方向的方法：首先，构造了一个局部共享网络，用于视线点的特征提取和视线方向估计，减少了网络的计算参数，收敛速度快;其次，提出了一种多视图多任务学习（MTL）框架，对于注视方向，提出了左右眼共面约束，对于注视点，三视图数据输入间接引入了眼睛位置信息，设计了跨视图池模块，提出了联合损失，同时处理注视点和注视方向的估计。我们收集了一个包含三个视点的凝视点的数据集，实验表明，在凝视点和凝视方向两个指标上，我们的方法是目前主流方法的最先进的。
2021-01-18 cs.AI cs.CV
Unsupervised Learning of Eye Gaze Representation from the Web
Indian Institute of Technology Ropar（罗帕尔印度理工学院）
自动眼睛注视估计已经引起研究人员的兴趣一段时间了。在本文中，我们提出了一种基于无监督学习的眼睛凝视区域估计方法。为了以自我监督的方式训练所提出的网络“Ize-Net”，我们从网络上收集了一个包含1，54，251张图像的大型“野外”数据集。对于数据库中的图像，我们将视线分为三个区域的基础上，基于瞳孔中心定位的自动技术，然后使用基于特征的技术来确定注视区域。通过对Ize-Net的眼睛注视估计任务的结果进行微调，在Tablet Gaze和CAVE数据集上评估性能。所学习的特征表示还用于训练用于眼睛注视估计的传统机器学习算法。结果表明，该方法学习了丰富的数据表示，可以有效地微调任何眼睛注视估计数据集。
2019-04-04 cs.CV
Owl and Lizard: Patterns of Head Pose and Eye Pose in Driver Gaze Classification
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；SAFER
准确、稳健、廉价的车内视线跟踪可以通过促进更有效地研究如何改进（1）车辆界面和（2）未来高级驾驶员辅助系统的设计来帮助保持驾驶员的安全。在本文中，我们估计头部姿态和眼睛姿态从单目视频使用的方法在以前的工作中广泛发展，并提出两个新的有趣的问题。首先，使用头部和眼睛姿势与仅使用头部姿势相比，我们能更好地对驾驶员凝视进行分类吗？第二，是否存在个体特定的凝视策略，其与通过添加眼睛姿态信息而改善的凝视分类有密切相关？我们回答这些问题，通过评估40名司机的道路上的研究数据。论文的主要观点是通过“猫头鹰”和“蜥蜴”的类比来传达的，这描述了眼睛和头部在转移视线时移动的程度。当头部移动很多时（“猫头鹰”），通过在头部姿势之上估计眼睛姿势来获得不多的分类改进。另一方面，当头部保持静止并且只有眼睛移动时（“蜥蜴”），通过添加眼睛姿势，分类准确性显著增加。我们描述了准确性如何在人，凝视策略和凝视区域之间变化。
2016-11-20 cs.CV cs.HC cs.LG
Real-time Eye Gaze Direction Classification Using Convolutional Neural Network
眼睛注视方向估计在各种人机交互任务中是有用的。注视方向的知识可以给出关于用户注意点的有价值的信息。据报道，被称为眼睛访问线索的某些眼球运动模式与人类大脑中的认知过程有关。我们提出了一个实时的【形】框架的眼睛注视方向的分类和眼睛访问线索的估计。在第一阶段，该算法使用Viola-Jones算法的修改版本来检测面部。利用几何关系和面部特征点得到一个粗略的眼睛区域。所获得的眼睛区域在后续阶段中用于对眼睛注视方向进行分类。一个卷积神经网络在这项工作中的眼睛注视方向的分类。该算法在Eye Chimera数据库上进行了测试，发现其性能优于最先进的方法。该算法在测试阶段的计算复杂性很小。该算法在桌面环境下实现了24 fps的平均帧速率。
2016-05-17 cs.CV
Eye Gaze Estimation Model Analysis
Stony Brook University（石溪大学）
我们探索使用机器学习的眼睛注视估计技术。视线估计是各种行为分析和人机接口的共同问题。这项工作的目的是讨论各种模型类型的眼睛注视估计，并提出了从预测注视方向，在无约束的设置使用眼睛地标的结果。在无约束的现实世界中，基于特征和基于模型的方法优于最近的基于外观的方法，由于像照明变化和其他视觉伪影的因素。我们讨论了一种基于学习的方法，专门训练合成数据的眼睛区域地标定位。我们讨论了如何使用检测到的地标作为输入迭代模型拟合和轻量级学习为基础的凝视估计方法，以及如何使用该模型的个人独立和个性化的凝视估计。
2022-07-28 cs.CL cs.CV
MLGaze: Machine Learning-Based Analysis of Gaze Error Patterns in Consumer Eye Tracking Systems
École Normale Supérieure de Lyon（里昂高等师范学院）
分析眼动仪的注视精度特性是一项关键任务，因为其注视数据经常受到各种消费者眼动仪应用中的非理想操作条件的影响。在这项研究中，商业眼动跟踪设备产生的注视错误模式在机器学习算法（如分类器和回归模型）的帮助下进行了研究。凝视数据是在多种条件下从一组参与者中收集的，这些条件通常会影响在桌面和手持平台上操作的眼动仪。这些条件（这里称为误差源）包括用户距离、头部姿势和眼睛跟踪器姿势变化，并且所收集的注视数据被用于训练分类器和回归模型。可以看出，虽然通过目视检查或数据统计几乎不可能区分不同误差源对注视数据特征的影响，但机器学习模型成功地识别了不同误差源的影响并预测了由于这些条件而导致的注视误差水平的变化。本研究的目的是调查机器学习方法对注视错误模式的检测和预测的有效性，这将使我们能够深入了解眼动仪在不受约束的操作条件下的数据质量和可靠性。本研究中采用的所有机器学习方法的编码资源都包含在一个名为MLGaze的开放存储库中，以允许研究人员使用来自他们自己的眼动仪的数据复制本文中提出的原理。
2020-05-07 cs.CV cs.HC cs.LG
Model-aware 3D Eye Gaze from Weak and Few-shot Supervisions
ETH Zurich（苏黎世联邦理工学院）；Sofia University（索非亚大学）；INSAIT
提出一种结合眼部语义分割弱监督与少量3D视线向量直接监督的方法，并设计基于transformer的网络架构，在仅用0.05% 3D标注时将视线角度误差降低约5度。
2023-11-20 cs.CV
Rendering of Eyes for Eye-Shape Registration and Gaze Estimation
University of Cambridge（剑桥大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
眼睛的图像是几个计算机视觉问题的关键，例如形状配准和凝视估计。针对这些问题的最新大规模监督方法需要耗时的数据汇集和手动注释，这可能是不可靠的。我们建议在一小部分时间内合成完美标记的照片级逼真的训练数据。我们使用计算机图形学技术，建立一个收集的动态眼睛区域模型，从头部扫描几何。这些被随机放置以合成针对各种头部姿势、注视方向和照明条件的特写眼睛图像。我们使用我们的模型的可控性来验证眼睛区域训练数据中的真实光照和形状变化的重要性。最后，我们展示了我们的合成训练数据（SynthesEyes）的好处，表现出最先进的方法，眼睛形状注册以及跨数据集外观为基础的凝视估计在野外。
2015-05-21 cs.CV
Benefits of temporal information for appearance-based gaze estimation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Facebook Reality Labs（Facebook现实实验室）；Texas State University（德克萨斯州立大学）
现有的基于外观的注视估计方法通常基于深度学习技术，主要依赖于静态特征。然而，眼睛注视的时间轨迹包含用于估计给定注视点的有用信息。例如，当应用于具有现成相机的远程或低分辨率图像场景时，利用顺序眼睛注视信息的方法显示出有希望的结果。对于更高分辨率/帧速率成像系统，来自时间注视轨迹的贡献的大小还不清楚，在更高分辨率/帧率成像系统中，捕获关于眼睛的更详细的信息。在本文中，我们研究了使用高分辨率、高帧速率头戴式虚拟现实系统捕获的眼睛图像的时间序列是否可以被利用来增强用于注视估计的端到端基于外观的深度学习模型的准确性。性能进行比较，对一个静态的模型版本。结果表明，时间信息，特别是垂直分量的凝视，具有显著的好处。
2020-05-24 cs.CV cs.LG
EyeBAG: Accurate Control of Eye Blink and Gaze Based on Data Augmentation Leveraging Style Mixing
KAIST（韩国科学技术院）；Innerverz（Innerverz公司）
针对生成模型在眼部控制上表现不佳的问题，提出包含眨眼与注视重定向模块的EyeBAG框架，并利用风格混合的数据增强方法生成高质量眼部控制图像，有效提升下游任务性能。
2023-06-30 cs.CV
A Survey on Eye-Gaze Tracking Techniques
Sri Jayachamarajendra College of Engineering（斯里贾亚查马拉詹德拉工程学院）；University of North Texas（北德克萨斯大学）
眼动研究是人机交互研究的重要内容。视线跟踪是计算机视觉领域最具挑战性的问题之一.本文的目的是提出一个审查的最新研究，在这种持续增长的远程眼睛注视跟踪。这一概述包括基本定义和术语，在该领域的最新进展，最后在该领域的未来发展的需要。
2013-12-22 cs.CV
TalkingEyes: Pluralistic Speech-Driven 3D Eye Gaze Animation
School of Informatics, Xiamen University（厦门大学信息学院）；China Mobile (Hangzhou) Information Technology Co., Ltd.（中国移动（杭州）信息技术有限公司）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
本文提出TalkingEyes，通过语音驱动生成多样化且自然的3D眼动动画，结合头部和面部运动，解决语音与眼动弱相关性问题。
2026-01-04 cs.CV
Image based Eye Gaze Tracking and its Applications
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
眼动在感知世界中起着至关重要的作用。眼睛注视可以给出用户关注点的直接指示，这在改善人机交互中是有用的。以非侵入方式进行注视估计可以使人机交互更加自然。眼动追踪可用于多种应用，例如疲劳检测、生物特征认证、疾病诊断、活动识别、警觉水平估计、视情况注视显示、人机交互等。尽管眼动跟踪技术已经存在了几十年，但在消费者应用中还没有发现太多用途。主要原因是眼动追踪硬件成本高，缺乏消费级应用。在这项工作中，我们试图解决这两个问题。在这项工作的第一部分，基于图像的算法开发的视线跟踪，其中包括一个新的两阶段虹膜中心定位算法。我们已经开发了一种新的算法，它的作品在具有挑战性的条件下，如运动模糊，闪烁，和不同的照明水平。还开发了使用卷积神经网络的人独立的注视方向分类框架，其消除了对用户特定校准的要求。在这项工作的第二部分，我们已经开发了两个应用程序，可以受益于眼动追踪数据。提出了一种基于眼动参数的生物特征识别方法。活动识别的框架，使用从头戴式眼动仪的凝视数据也被开发出来。从凝视数据，自我运动，和视觉特征的信息被集成到分类的活动。
2019-07-09 cs.CV
GazeTrack: High-Precision Eye Tracking Based on Regularization and Spatial Computing
Dalian University of Technology（大连理工大学）
GazeTrack通过正则化和空间计算方法，实现高精度眼动追踪，构建了首个包含多族裔、多年龄和多视力条件的基准数据集，并提出新的形状误差正则化和坐标变换方法，提升眼动向量预测的准确性。
2025-11-27 cs.AI cs.CV cs.HC
Efficient CNN Implementation for Eye-Gaze Estimation on Low-Power/Low-Quality Consumer Imaging Systems
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；Xperi Corporation（Xperi公司）
准确且有效的眼睛注视估计对于新兴的消费电子系统（诸如驾驶员监控系统和新颖的用户界面）是重要的。这些系统需要在困难、不受约束的环境中以低功耗和最低成本可靠地运行。在本文中，一个新的硬件友好，卷积神经网络模型与最小的计算要求，并评估有效的外观为基础的视线估计。该模型进行了测试，并与现有的基于外观的CNN方法进行了比较，实现了更好的眼睛注视精度，大大减少了计算需求。还提供了一个简短的更新文献综述。
2018-06-28 cs.CV
Learning Unsupervised Gaze Representation via Eye Mask Driven Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
本文提出一种无监督注视预训练框架，通过交替眼部掩码训练、注入瓶颈和对比损失，从全脸图像中学习低维注视表示，在多个基准上优于现有无监督方法。
2024-06-29 cs.CV
Multistream Gaze Estimation with Anatomical Eye Region Isolation by Synthetic to Real Transfer Learning
Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
本文提出 MSGazeNet，利用 U-Net 合成到真实迁移生成眼部解剖掩码，并与原图多流融合进行注视估计，在三个数据集上取得先进且更抗噪的结果。
2024-02-12 cs.CV cs.LG
GazeDiT: Gaze-Accurate Diffusion Image Generation for Eye Tracking via Spatial Conditioning
Meta；Georgia Institute of Technology（佐治亚理工学院）
GazeDiT通过内部空间条件将4D注视标签锚定在瞳孔/虹膜几何上，生成注视精确的图像，显著降低标签误差并提升下游眼动追踪性能。
2026-09-17 cs.CV
Accurate Gaze Estimation using an Active-gaze Morphable Model
而不是从图像直接回归视线方向，我们表明，添加3D形状模型可以：i）提高视线估计精度，ii）在较低分辨率输入下表现良好，iii）提供对眼睛区域及其组成视线系统的更丰富的理解。具体来说，我们使用一个“眼睛和鼻子”的3D变形模型（3DMM）来捕捉眼睛区域的3D面部几何形状和外观，我们配备了一个几何聚散度模型的凝视给一个“主动凝视3DMM”。我们证明了我们的方法在Eyediap数据集上取得了最先进的结果，并提出了一项消融研究。我们的方法可以只使用地面真实凝视目标点和相机参数进行学习，而无需访问地面真实凝视原点，从而与其他方法相比，扩大了我们方法的适用性。
2023-01-30 cs.CV
Bayesian Eye Tracking
Rensselaer Polytechnic Institute（伦斯勒理工学院）
基于模型的眼动追踪由于其能够推广到不同的主体，而不需要任何训练数据和眼睛注视注释，已经成为眼睛注视跟踪的主要方法。然而，基于模型的眼动追踪易受眼睛特征检测误差的影响，特别是对于野外的眼动追踪。为了解决这个问题，我们提出了一个贝叶斯框架，基于模型的眼动追踪。所提出的系统包括一个级联贝叶斯卷积神经网络（c-BCNN），以捕捉眼睛外观和它的地标之间的概率关系，和一个几何眼睛模型，估计眼睛凝视眼睛地标。给定测试眼睛图像，贝叶斯框架可以通过贝叶斯推理生成眼睛注视分布，而无需显式地标检测和模型训练，基于此，它不仅估计最可能的眼睛注视，而且还估计其不确定性。此外，使用贝叶斯推理而不是基于点的推理，我们的模型不仅可以更好地推广到不同的子帧，头部姿势和环境，而且对图像噪声和地标检测错误具有鲁棒性。最后，利用估计的注视不确定性，我们可以构建一个级联架构，使我们能够逐步提高注视估计的准确性。与最先进的基于模型和基于学习的方法相比，所提出的贝叶斯框架在几个基准数据集的泛化能力以及在具有挑战性的现实条件下的准确性和鲁棒性方面都有显着提高。
2021-06-25 cs.CV
Supporting Mitosis Detection AI Training with Inter-Observer Eye-Gaze Consistencies
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UCLA David Geffen School of Medicine（加州大学洛杉矶分校大卫·格芬医学院）；Kansas University Medical Center（堪萨斯大学医学中心）
本研究提出利用观察者间一致的眼动注视点生成低成本训练标签，用于有丝分裂检测AI训练，实验表明其性能接近真实标注并显著优于启发式基线。
2024-04-02 cs.CV
Eye-GUIDE (Eye-Gaze User Interface Design) Messaging for Physically-Impaired People
Technological Institute of the Philippines（菲律宾理工学院）
Eye-GUIDE是一种辅助沟通工具，专为瘫痪或身体受损的人设计，他们无法移动身体的一部分，特别是那些沟通仅限于眼球运动的人。原型由一台相机和一台电脑组成。摄像头捕获图像，然后将其发送到计算机，计算机将是解释数据的人。因此，Eye-GUIDE专注于基于相机的视线跟踪。设计者设计的原型可以执行简单的任务，并提供图形用户界面，以便瘫痪或身体受损的人可以轻松使用。
2013-02-07 cs.CV cs.HC
Recognition of Activities from Eye Gaze and Egocentric Video
本文提出了一个框架，从自我中心的视频和眼动追踪数据头戴式眼动仪获得的人类活动的识别。三个渠道的信息，如眼动，自我运动，和视觉特征相结合的分类活动。使用预先训练的卷积神经网络提取图像特征。眼睛和自我运动进行量化，和窗口直方图被用作特征。与单个特征相比，特征的组合获得了更好的活动分类精度。
2018-05-18 cs.CV
3D Gaze Estimation from 2D Pupil Positions on Monocular Head-Mounted Eye Trackers
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
3D凝视信息对于以场景为中心的注意力分析是重要的，但是在真实世界环境中3D凝视的准确估计和分析仍然具有挑战性。我们提出了一种新的单目头戴式眼动仪的3D视线估计方法。与以前的工作相比，我们的方法不旨在推断3D眼球姿态，而是直接将2D瞳孔位置映射到场景相机坐标空间中的3D注视方向。我们首先详细讨论了3D凝视估计任务，并总结了不同的方法，包括我们自己的方法。然后，我们使用模拟和真实数据评估不同的3D凝视估计方法的性能。通过实验验证，我们证明了我们的方法在减少视差误差的有效性，我们确定的3D校准程序的设计的研究挑战。
2016-01-19 cs.CV cs.HC
GazeCorrection:Self-Guided Eye Manipulation in the wild using Self-Supervised Generative Adversarial Networks
Shandong University（山东大学）；University of Trento（特伦托大学）；Texas State University（德克萨斯州立大学）
凝视校正的目的是通过操纵眼睛区域将人的凝视重新引导到相机中，并且它可以被认为是特定的图像再合成问题。凝视校正在现实生活中有着广泛的应用，例如凝视相机拍照。在本文中，我们提出了一种新的方法，该方法是基于修复模型来学习从人脸图像中填充丢失的眼睛区域与新的内容表示校正眼睛注视。此外，该模型不需要标注特定的头部姿态和眼睛角度信息的训练数据集，因此，训练数据易于收集。为了保留原始输入中眼睛区域的身份信息，我们提出了一种自引导的预训练模型来学习角度不变性特征。实验表明，我们的模型取得了非常引人注目的凝视校正结果在野生数据集，这是从网站上收集，并将详细介绍。代码可在https://github.com/zhangqianhui/GazeCorrection上获得。
2019-06-03 cs.AI cs.CV
A Novel Binocular Eye-Tracking SystemWith Stereo Stimuli for 3D Gaze Estimation
Tianjin University（天津大学）
眼动追踪技术已广泛应用于心理学研究和人机交互（HCI）等应用中。然而，目前大多数眼动追踪器集中在2D点的凝视（PoG）估计，并不能提供准确的凝视depth. Considering未来的应用，如人机交互与3D显示器，我们提出了一种新的双目眼动追踪设备与立体刺激，以提供高度准确的3D PoG估计。在我们的设备中，3D立体成像系统可以为用户提供友好和身临其境的3D视觉体验，而无需佩戴任何配件。该眼动捕捉系统可以无干扰地直接记录用户在3D刺激下的眼动。基于采集到的立体刺激下的眼动数据，建立了基于回归的三维眼动追踪模型。我们的模型估计用户的2D凝视与眼区地标定义的功能，并进一步估计3D PoG与多源特征集构建的全面的眼动特征和视差功能，从立体刺激。设计了两个不同景深的测试立体场景，验证了模型的有效性。实验结果表明，在工作空间体积50~cm $\times$ 30~cm $\times$ 75~cm/2.4~m $\times$ 4.0~m $\times$ 7.9~m范围内，二维凝视估计的平均误差为0.66 \degree，三维PoG估计的平均误差为1.85~cm/0.15~m。
2021-10-28 cs.CV
Predicting Eye Gaze Location on Websites
University of Stuttgart（斯图加特大学）；University of Southampton（南安普顿大学）
万维网以网站和网页为主要界面，便于重要信息的传播。因此，优化它们以实现更好的用户交互至关重要，这主要是通过分析用户的行为，特别是用户的眼睛注视位置来完成的。然而，收集这些数据仍然被认为是劳动和时间密集型的。在这项工作中，我们能够开发自动眼睛注视估计给定的网站截图作为输入。这是通过管理一个统一的数据集来完成的，该数据集包括网站截图、眼球凝视热图以及以图像和文本掩码形式呈现的网站布局信息。我们的预处理数据集使我们能够提出一个有效的基于深度学习的模型，该模型利用图像和文本的空间位置，通过注意力机制将其结合起来，以进行有效的眼睛注视预测。在我们的实验中，我们展示了使用统一数据集进行仔细微调的好处，以提高眼睛注视预测的准确性。我们进一步观察我们的模型专注于目标区域（图像和文本）以实现高精度的能力。最后，与其他替代方案的比较显示了我们的模型建立眼睛注视预测任务的基准的最先进的结果。
2023-01-06 cs.CV cs.HC
Slippage-robust Gaze Tracking for Near-eye Display
University of Science and Technology of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，头戴式近眼显示器已经成为虚拟现实和增强现实的关键硬件基础。因此，头戴式视线跟踪技术作为人机交互的重要组成部分已经受到关注。然而，头戴式设备（HMD）不可避免的滑动往往会导致较高的视线跟踪误差，并阻碍了HMD的实际使用。针对这一问题，提出了一种基于非球面眼球模型的滑动鲁棒视线跟踪近眼显示方法，精确计算眼球光轴和旋转中心。我们在具有滑动的数据集上测试了几种方法，实验结果表明，该方法显着优于以前的方法（几乎是次优方法的两倍）。
2022-11-01 cs.CV cs.HC
Robust Iris Centre Localisation for Assistive Eye-Gaze Tracking
University of Malta（马耳他大学）
针对无约束条件下虹膜中心定位问题，提出基于U-Net变体的分割与回归方法，改进贝叶斯分类方案，实现与最先进水平相当或更优的性能，且保持实时性。
2024-11-07 cs.CV
GazeGNN: A Gaze-Guided Graph Neural Network for Chest X-ray Classification
Northwestern University（西北大学）；University of Pennsylvania（宾夕法尼亚大学）；National Cancer Institute（国家癌症研究所）；Emory University（埃默里大学）
提出GazeGNN，一种利用原始眼动数据无需转换的图神经网络，实现胸部X射线实时端到端疾病分类，性能优于现有方法。
2023-08-29 cs.CV
Pose2Gaze: Eye-body Coordination during Daily Activities for Gaze Prediction from Full-body Poses
University of Stuttgart（斯图加特大学）；Center for Bionic Intelligence Tuebingen Stuttgart (BITS)（蒂宾根-斯图加特仿生智能中心（BITS））
本文提出Pose2Gaze模型，利用卷积神经网络和时空图卷积网络从头部方向与全身姿态预测注视，并在四个真实/VR/AR数据集上显著超越仅基于头动的现有方法。
2024-06-10 cs.CV
Efficient Eye Typing with 9-direction Gaze Estimation
China University of Mining and Technology（中国矿业大学）；Australian National University（澳大利亚国立大学）
基于视觉的文本输入系统旨在帮助残疾人通过眼球运动实现文本交流。大多数先前的方法已经采用现有的眼睛跟踪器来预测注视方向并基于此设计输入方法。然而，这些方法可能导致眼动追踪质量变得容易受到各种因素和用于校准的冗长时间量的影响。本文提出了一种新的高效的基于凝视的文本输入方法，它具有低成本和鲁棒性的优点。用户可以通过看着屏幕上的屏上键盘并眨眼来输入单词。我们引入了一种将人类注视分为九个方向的方法，而不是直接估计注视角度来跟踪眼睛。该方法可以有效地提高通过注视和眨眼进行选择的准确性。我们建立了一个卷积神经网络（CNN）模型的9个方向的视线估计。在9向凝视的基础上，我们使用了在直板手机中广泛使用的九键T9输入法。酒吧手机在几十年前就在全球非常流行，并培养了强大的用户习惯和语言模型。为了训练一个强大的凝视估计器，我们创建了一个大规模的数据集，其中包含来自25个人的眼睛图像。根据实验结果，我们的CNN模型能够准确地估计不同设备在不同光照条件下不同人的注视。考虑到残疾人的需要，我们取消了复杂的校准过程。输入法可以在屏幕模式和便携式离屏模式下运行。此外，我们的实验中使用的数据集可供社区使用，以允许进一步的实验。
2017-07-03 cs.CV
Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities
University of Catania（卡塔尼亚大学）；The University of Tokyo（东京大学）
本文提出一种利用眼动信号在第一人称视频中实现无监督错误检测的方法，通过眼动补全任务显式建模眼动与视觉标记的相关性，利用预测与观察的眼动轨迹不一致性识别错误，在多个数据集上取得显著相对增益并排名第一。
2025-07-16 cs.CV
MagicEyes: A Large Scale Eye Gaze Estimation Dataset for Mixed Reality
Magic Leap Inc, USA（Magic Leap公司，美国（注：此处“USA”为国家信息，按要求不加入，仅保留机构名“Magic Leap Inc”））
随着虚拟和混合现实（XR）设备的出现，眼动追踪在计算机视觉界受到了极大的关注。眼睛注视估计是XR中的一个关键组成部分-实现节能渲染，多焦点显示以及与内容的有效交互。在头戴式XR设备中，眼睛离轴成像，以避免阻挡视野。这导致推断眼睛相关量的挑战增加，同时提供了开发准确和稳健的基于学习的方法的机会。为此，我们提出了MagicEyes，这是第一个使用真正的MR设备收集的大规模眼睛数据集，具有全面的地面真实标记。MagicEyes包括具有人类标记的地面实况的$80,000$图像的$587$受试者和具有凝视目标标签的超$800,000$图像。我们评估了MagicEyes上的几种最先进的方法，并提出了一种新的多任务EyeNet模型，该模型旨在检测角膜，闪光和瞳孔以及在单次向前传递中的眼睛分割。
2020-03-18 cs.CV cs.HC cs.LG
One Eye is All You Need: Lightweight Ensembles for Gaze Estimation with Single Encoders
Harvard Medical School（哈佛医学院）
近年来，凝视估计的准确性迅速增长。然而，这些模型通常无法利用不同的计算机视觉（CV）算法和技术（例如小型ResNet和Inception网络以及集成模型），这些算法和技术已被证明可以改善其他CV问题的结果。此外，大多数当前的凝视估计模型需要使用双眼或整个面部，而现实世界的数据可能并不总是具有高分辨率的双眼。因此，我们提出了一个凝视估计模型，该模型实现了ResNet和Inception模型架构，并仅使用一个眼睛图像进行预测。此外，我们提出了一个集成校准网络，使用从几个单独的架构的预测特定于主题的预测。通过使用轻量级架构，我们以非常低的模型参数计数在GazeCapture数据集上实现了高性能。当使用两只眼睛作为输入时，我们在没有校准的测试集上实现了1.591 cm的预测误差，而在集成校准模型下实现了1.439 cm的预测误差。在只有一只眼睛作为输入的情况下，我们在没有校准的测试集上仍然实现了2.312 cm的平均预测误差，而在使用集合校准模型的情况下仍然实现了1.951 cm的平均预测误差。我们还注意到测试集中右眼图像的误差显著降低，这在未来基于凝视估计的工具的设计中可能很重要。
2022-11-22 cs.CV
Are you really looking at me? A Feature-Extraction Framework for Estimating Interpersonal Eye Gaze from Conventional Video
University of Rochester（罗切斯特大学）
尽管摄像机在我们的日常生活中的普遍性发生了革命，但非语言情感交流的最有意义的形式之一，人际眼睛注视，即相对于谈话伙伴的眼睛注视，并不能从普通视频中获得。我们介绍了人际校准眼睛凝视编码器（ICE），它自动提取人际凝视视频记录，而无需专门的硬件和参与者位置的先验知识。利用个体花费大部分对话时间彼此注视的直觉，ICE动态聚类算法能够提取人际注视。我们使用红外凝视跟踪器（F1=0.846，N=8）的客观度量在视频聊天中验证ICE，以及在面对面交流中使用专家评估的眼神接触（r= 0.37，N=170）。然后，我们使用ICE来分析行为在两个不同的，但重要的情感沟通领域：基于询问的欺骗检测，并在速配沟通技巧评估。我们发现，诚实的证人打破人际凝视接触，更经常比欺骗证人回答问题时向下看（p=0.004，d=0.79）。在预测速配视频中的专家沟通技巧评分时，我们证明了人际凝视本身比面部表情更具预测力。
2020-01-17 cs.CV cs.HC
EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset
Rutgers University（罗杰斯大学）
EgoCampus提出了一种新的户外行人眼动预测模型和数据集，用于研究现实世界中的视觉注意力。
2026-03-04 cs.CV
Adaptive Feature Fusion Network for Gaze Tracking in Mobile Tablets
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
最近，已经提出了许多多流注视估计方法。他们从眼睛和面部外观估计凝视，并达到合理的准确性。然而，大多数方法只是简单地连接从眼睛和面部外观提取的特征。特征融合过程被忽略了。在本文中，我们提出了一种新的自适应特征融合网络（AFF-Net），它在移动平板电脑上执行视线跟踪任务。我们堆叠两只眼睛的特征图，并利用挤压和激励层自适应融合两只眼睛的功能，根据他们的外观相似性。同时，我们还提出了自适应组归一化方法，在面部特征的指导下重新校准眼睛特征。在GazeCapture和MPIIFaceGaze数据集上进行的大量实验表明，所提出的方法具有一贯的优越性能。
2021-03-20 cs.CV
Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction
Pupil Labs UG（Pupil Labs公司）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
商用头戴式眼动仪为工业和研究领域的客户提供了有用的功能，但价格昂贵，并且依赖于封闭源硬件和软件。这将移动眼动追踪的应用领域和使用限制于专家用户，并抑制了用户驱动的开发、定制和扩展。在本文中，我们介绍了瞳孔-一个可访问的，负担得起的，可扩展的开源平台，用于移动眼动追踪和基于凝视的交互。Pupil包括1）具有高分辨率摄像头的轻型头戴式耳机，2）用于移动眼动追踪的开源软件框架，以及3）用于回放和可视化视频和凝视数据的图形用户界面（GUI）。Pupil具有高分辨率场景和眼睛摄像头，用于单眼和双眼凝视估计。该软件和GUI是独立于平台的，并包括用于实时瞳孔检测和跟踪、校准和精确凝视估计的最先进算法。性能评估的结果表明，Pupil可以提供0.6度视角的平均注视估计精度（0.08度精度），处理流水线的延迟仅为0.045秒。
2014-04-30 cs.CV cs.HC
MRGazer: Decoding Eye Gaze Points from Functional Magnetic Resonance Imaging in Individual Space
本文提出MRGazer框架，通过眼球提取模块和残差网络在个体空间中直接从fMRI预测眼动注视点，省去标准空间配准步骤，实现端到端回归，并在多种眼动任务中取得更优性能且速度提升约15倍。
2023-11-27 cs.CV q-bio.NC
Deep Pictorial Gaze Estimation
AIT Lab, Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系AIT实验室）；ETH Zurich（苏黎世联邦理工学院）
仅从自然眼睛图像估计人类注视是一项具有挑战性的任务。注视方向可以由瞳孔和眼球中心定义，后者在2D图像中是不可观察的。因此，实现高度准确的注视估计是一个不适定的问题。在本文中，我们介绍了一种新的深度神经网络架构，专门为单眼输入的凝视估计任务而设计。而不是直接回归两个角度的俯仰和偏航的眼球，我们回归到一个中间的图形表示，这反过来又简化了3D凝视方向估计的任务。我们的定量和定性结果表明，我们的方法实现了更高的准确性比国家的最先进的，是强大的变化的目光，头部姿势和图像质量。
2018-07-26 cs.CV
Driver Gaze Region Estimation Without Using Eye Movement
Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
自动估计驾驶员视觉注意力的分配可能是未来高级驾驶员辅助系统的关键组成部分。理论上，基于视觉的眼睛跟踪可以提供对注视位置的良好估计。在实践中，由于太阳镜、反光、照明条件、遮挡、运动模糊和其他因素，来自视频的眼动追踪具有挑战性。另一方面，头部姿态的估计对于这些影响中的许多是鲁棒的，但是不能在定位注视时提供精细粒度的分辨率。然而，为了保持驾驶员安全的目的，将注视划分为区域就足够了。在这项工作中，我们提出了一个系统，提取面部特征，并将其空间配置实时分为六个区域。我们所提出的方法实现了91.4%的平均准确度，平均决策率为11 Hz的数据集上的50名司机从道路上的研究。
2016-03-01 cs.CV
