Gaze-Contingent Retinal Speckle Suppression for Perceptually-Matched Foveated Holographic Displays
计算机全息显示器显示出巨大的潜力，并正在成为增强和虚拟现实以及汽车抬头显示器的下一代显示器。损害这种显示器的广泛采用的关键问题之一是全息术固有的散斑噪声的存在，其通过引入可感知的伪影而损害其质量。虽然斑点噪声抑制一直是一个活跃的研究领域，以前的作品没有考虑到人类视觉系统（HVS），它接收最终显示的图像的感知特性。然而，已经充分研究了HVS的灵敏度在整个视野中是不均匀的，这导致了用于最大化各种计算机生成的图像中的感知质量的视情况而定的渲染方案。受此启发，我们提出的第一种方法，减少了“感知斑点噪声”的HVS的中央凹和周边视觉特性，随着视网膜点扩散函数，到相位全息图计算。具体来说，我们将视网膜受体的解剖学和统计学分布引入到我们的计算全息图优化中，这将更优先地减少感知到的中央凹斑点噪声，同时适应于视网膜上的任何个体的光学像差。我们的方法在我们的仿真全息显示器上展示了优越的感知质量。我们的评估与客观测量和主观研究表明，显着减少人类感知噪声。
2021-08-10 cs.HC cs.MM eess.IV
Gaze-contingent decoding of human navigation intention on an autonomous wheelchair platform
Imperial College London（伦敦帝国理工学院）
我们开创了“你看哪里就是你去哪里”的方法来控制移动平台，方法是解码用户如何看待环境，以了解他们想要在哪里导航移动设备。然而，许多自然的眼球运动是不相关的动作意图解码，只有一些是，这对解码提出了挑战，所谓的迈达斯触摸问题。在这里，我们提出了一个新的解决方案，包括1。深度计算机视觉，以了解用户在其视野中正在观看的对象，其中2.分析用户正在看对象的限界框上的何处，到3.使用简单的机器学习分类器来确定对象上的明显视觉注意力是否预测对该对象的导航意图。我们的解码系统最终确定用户是否想要开车到例如，重要的是，我们发现，当用户看着一个物体并想象他们正朝着它移动时，这种运动想象（类似于神经接口）产生的眼球运动仍然是可解码的。一旦检测到驾驶意图和位置，我们的系统就会指示我们的自动轮椅平台A.Eye-Drive导航到所需的物体，同时避开静态和移动障碍物。因此，为了导航的目的，我们已经实现了一个认知水平的人机界面，因为它只需要用户与所需的目标进行认知交互，而不是不断地将轮椅转向目标（低层次的人机界面）。
2021-03-04 cs.HC cs.LG
Color-Perception-Guided Display Power Reduction for Virtual Reality
电池续航时间是当今不受限制的VR和AR设备面临的日益紧迫的挑战。然而，盔装显示器的功率效率自然与更好的分辨率、刷新率和动态范围所驱动的不断增长的计算需求不一致，所有这些都减少了不受限制的AR/VR设备的持续使用时间。例如，Oculus Quest 2在充满电的电池下只能维持2到3小时的操作时间。现有的显示器功率降低技术主要针对智能电话显示器。然而，直接应用智能手机显示功率降低技术会降低AR/VR中的视觉感知，并产生明显的伪影。例如，智能手机上的“省电模式”会均匀地降低整个显示器的像素亮度，因此，如果直接应用于VR内容，则会向用户呈现整体变暗的视觉感知。我们的关键见解是，VR显示器功耗的降低必须认识到高视场VR显示器的视情况而定的性质。为此，我们提出了一个凝视的系统，在不降低亮度的情况下，最大限度地减少显示器的功耗，同时保持高的视觉保真度，当用户主动查看沉浸式视频序列。这是通过心理物理学研究构建凝视相关颜色辨别模型，以及通过实际设备测量构建显示功率模型（相对于像素颜色）来实现的。重要的是，由于在构建两个模型时做出了仔细的设计决策，我们的算法被转换为具有封闭形式解决方案的约束优化问题，可以实现为实时图像空间着色器。我们评估我们的系统使用一系列的心理物理学研究和大规模的自然图像分析。实验结果表明，我们的系统降低了显示功率高达24%，几乎没有感知保真度下降。
2022-09-19 cs.HC
Gaze Prediction as Time-Series Forecasting for Virtual Reality Applications: Quantifying Performance Variability and Extreme-Case Errors
Texas State University（德克萨斯州立大学）
针对虚拟现实中的注视预测问题，评估了循环、基于Transformer和分类引导架构在不同眼动事件上的泛化能力，发现中位数误差低不保证极端情况误差低，提出应转向以P95为中心、个体化的评估指标。
2026-05-29 cs.HC
See What I Mean? Mobile Eye-Perspective Rendering for Optical See-through Head-mounted Displays
针对光学透视HMD中摄像头与用户眼部视角的配准偏差问题，提出并评估了三种眼部透视渲染技术，其中基于眼动追踪的Gaze-Proxy EPR作为轻量级方案表现优异。
2025-09-15 cs.HC
Event Based, Near Eye Gaze Tracking Beyond 10,000Hz
University of California Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
现代视线跟踪系统中的摄像机受到基本带宽和功率的限制，实际上将数据采集速度限制在300 Hz。这阻碍了移动眼动跟踪器的使用，例如，低延迟预测渲染，或研究快速和微妙的眼睛运动，如使用头戴式设备在野外微跳视。在这里，我们提出了一种基于混合帧事件的近眼凝视跟踪系统，其更新速率超过10，000 Hz，在相同条件下评估时，其精度与高端桌面安装的商业跟踪器相匹配。我们的系统建立在新兴的事件相机，同时获得定期采样帧和自适应采样的事件。我们开发了一种在线的2D瞳孔拟合方法，每一个或几个事件更新一个参数模型。此外，我们提出了一个多项式回归估计的注视点的参数瞳孔模型在实时的。使用第一个基于事件的凝视数据集，可在https://github.com/aangelopoulos/event_based_gaze_tracking，我们证明，我们的系统实现了0.45度的精度-1.75度的视野从45度到98度。有了这项技术，我们希望能够为虚拟和增强现实实现新一代超低延迟的视情况而定的渲染和显示技术。
2022-08-08 cs.CV cs.HC
A privacy-preserving approach to streaming eye-tracking data
眼动追踪技术正越来越多地集成到混合现实设备中。虽然关键应用程序正在启用，但存在违反用户隐私期望的重大可能性。我们表明，有一个明显的风险，即使在自然的观看条件下，在虚拟现实的唯一用户识别。例如，这种身份识别将允许应用程序将用户的个人ID与他们的工作ID连接起来，而无需他们的同意。为了减轻这种风险，我们提出了一个框架，通过应用程序编程接口的设计，并通过软件实现的隐私机制，结合守门。我们的研究结果表明，这些机制可以降低识别率从高达85%低至30%。引入这些机制的影响是小于1.5 $^\circ$误差的凝视预测的凝视位置。因此，可以使注视数据流私密，同时仍然允许注视预测，例如，在中央凹渲染期间。我们的方法是第一个在混合现实用例中支持眼动追踪数据流的隐私设计。
2021-03-19 cs.HC
Semi-Synthetic Dataset Augmentation for Application-Specific Gaze Estimation
针对现有视线估计数据集注视目标多靠近相机原点、难以泛化到辅助机器人等应用的问题，提出通过生成带纹理三维面部网格并从特定虚拟相机渲染图像来增强数据集，使角度误差平均降低47%。
2023-10-27 cs.AI cs.CV cs.HC
The Eye-Head Mover Spectrum: Modelling Individual and Population Head Movement Tendencies in Virtual Reality
Lancaster University（兰卡斯特大学）；University of Toronto（多伦多大学）；Aarhus University（奥胡斯大学）
本文提出头部运动倾向作为虚拟现实中的重要概念，通过建模个体和群体头部运动策略，揭示了其在适应性系统中的应用价值。
2026-02-05 cs.HC
Simulating Vision Impairment in Virtual Reality -- A Comparison of Visual Task Performance with Real and Simulated Tunnel Vision
本研究通过VR眼动追踪模拟隧道视觉，对比真实视网膜色素变性患者与模拟者在视觉任务中的表现，发现任务表现等价但注视行为存在差异，验证了VR模拟用于群体层面研究的可行性及其局限。
2023-12-05 cs.HC
The Shortest Route Is Not Always the Fastest: Probability-Modeled Stereoscopic Eye Movement Completion Time in VR
针对VR中3D视线转移速度预测缺乏共识的问题，本研究基于12000余次试验数据构建概率计算模型，验证了其准确性与泛化性，为VR/AR相关设计提供行为感知指标支持。
2023-10-03 cs.GR cs.HC
Measuring eye-tracking accuracy and its impact on usability in apple vision pro
本研究针对Apple Vision Pro眼动追踪参数公开不足的问题，通过MR与VR场景测试评估其眼动精度，结合SUS量表探究精度与可用性的关联，发现精度达1°左右但与可用性无显著统计相关，明确其并非VR/AR用户体验的唯一决定因素。
2024-08-14 cs.HC
Practical Saccade Prediction for Head-Mounted Displays: Towards a Comprehensive Model
眼动追踪技术是虚拟和增强现实头戴式耳机等新型显示器不可或缺的组成部分。凝视信息的应用范围从利用眼睛模式的新交互技术到凝视相关的数字内容创建。然而，在许多这些应用中，系统延迟仍然是一个重要的问题，因为它破坏了当前和测量的注视位置之间的同步。因此，它可能导致不想要的视觉伪影和用户体验的降级。在这项工作中，我们专注于中央凹渲染应用程序中的图像的质量降低对周边的计算节省。在中心凹渲染中，延迟的存在导致对渲染帧的延迟更新，从而使质量下降对用户可见。为了解决这个问题，并打击系统的延迟，最近的工作提出了使用扫视着陆位置预测，从延迟的眼睛跟踪样本外推的凝视信息。虽然已经证明了这种策略的好处，但解决方案的范围从简单有效的解决方案（对扫视眼球运动做出几个假设）到更复杂和昂贵的解决方案（使用机器学习技术）不等。然而，目前还不清楚预测在多大程度上可以从考虑其他因素中受益。本文提出了一系列的实验调查的重要性，不同的因素，在常见的虚拟和增强现实应用程序的扫视预测。特别是，我们调查的扫视方向在3D空间和平滑追求眼球运动（SPEM）的影响，以及它们的影响如何比较用户之间的变化。我们还提出了一个简单而有效的校正方法，适应现有的扫视预测方法来处理这些因素，而不执行广泛的数据汇集。
2022-05-04 cs.GR cs.HC
Optical Gaze Tracking with Spatially-Sparse Single-Pixel Detectors
注视跟踪是用于虚拟现实和增强现实应用的下一代显示器的重要组成部分。已知在下一代显示器中使用的传统的基于相机的凝视跟踪器在以下度量中的一个或多个方面缺乏：功耗、成本、计算复杂度、估计准确度、延迟和形状因数。我们建议使用分立的光电二极管和发光二极管（LED）作为替代传统的基于相机的视线跟踪方法，同时考虑到所有这些指标。我们首先开发一个基于渲染的模拟框架，用于理解光源和虚拟模型眼球之间的关系。从这个框架的结果用于LED和光电二极管的位置。我们的第一个原型使用神经网络，在400 Hz下获得2.67°的平均误差率，同时只需16 mW。通过将实现简化为仅使用LED，作为光收发器，以及更小的机器学习模型，即轻量级监督高斯过程回归算法，我们表明我们的第二个原型能够在250 Hz使用800 mW时的平均错误率为1.57°。
2021-02-02 cs.HC cs.SY eess.SY
Evaluation of Eye Tracking Signal Quality for Virtual Reality Applications: A Case Study in the Meta Quest Pro
该研究基于78名参与者的眼动数据，全面分析Meta Quest Pro头显的眼动追踪信号质量，考察理想指标及环境、设备位移的影响，为VR眼动相关应用的性能优化提供参考。
2024-03-11 cs.HC
MagicEyes: A Large Scale Eye Gaze Estimation Dataset for Mixed Reality
Magic Leap Inc, USA（Magic Leap公司，美国（注：此处“USA”为国家信息，按要求不加入，仅保留机构名“Magic Leap Inc”））
随着虚拟和混合现实（XR）设备的出现，眼动追踪在计算机视觉界受到了极大的关注。眼睛注视估计是XR中的一个关键组成部分-实现节能渲染，多焦点显示以及与内容的有效交互。在头戴式XR设备中，眼睛离轴成像，以避免阻挡视野。这导致推断眼睛相关量的挑战增加，同时提供了开发准确和稳健的基于学习的方法的机会。为此，我们提出了MagicEyes，这是第一个使用真正的MR设备收集的大规模眼睛数据集，具有全面的地面真实标记。MagicEyes包括具有人类标记的地面实况的$80,000$图像的$587$受试者和具有凝视目标标签的超$800,000$图像。我们评估了MagicEyes上的几种最先进的方法，并提出了一种新的多任务EyeNet模型，该模型旨在检测角膜，闪光和瞳孔以及在单次向前传递中的眼睛分割。
2020-03-18 cs.CV cs.HC cs.LG
Virtual Reflections on a Dynamic 2D Eye Model Improve Spatial Reference Identification
Honda Research Institute Japan Co., Ltd.（本田研究所日本公司）；Honda Research Institute Europe GmbH（本田欧洲研究所）
动态二维眼模型通过引入反射样特征提升空间参考识别的准确性和用户体验
2026-01-29 cs.HC cs.RO
Evaluating Foveated Frame Rate Reduction in Virtual Reality for Head-Mounted Displays
本文通过15名参与者的VR用户研究，验证了仅降低周边注视区域帧率可在用户明显感知伪影前大幅减少渲染像素数量，为头显性能优化提供依据。
2025-05-06 cs.GR cs.HC
Neural Distortion Fields for Spatial Calibration of Wide Field-of-View Near-Eye Displays
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
提出了一种适用于具有复杂图像畸变的宽视场近眼显示器的空间校正方法。NED中的图像失真会破坏虚拟对象的真实性并导致疾病。为了在NED中实现无失真图像，有必要在视点和显示图像之间建立逐像素的对应关系。设计紧凑和宽FoV NED需要复杂的光学设计。在这样的设计中，所显示的图像受到视注视而定的非线性几何失真的影响，其中显式几何模型可能难以表示或计算密集以优化。为了解决这些问题，我们提出了神经失真场（NDF），一个完全连接的深度神经网络，隐式地表示在空间中复杂扭曲的显示表面。NDF将空间位置和注视方向作为输入，并输出显示像素坐标及其在输入注视方向上感知的强度。我们从一个新的视点，通过查询点的光线从视点和计算一个加权和投影输出显示坐标到图像中的失真地图。实验表明，NDF校准增强现实NED与90 $^{\circ}$ FoV约3.23像素（5.8弧分）的中值误差，仅使用8个训练视点。此外，我们证实NDF比非线性多项式拟合更准确地校准，特别是在FoV中心周围。
2022-10-22 cs.CV cs.HC eess.IV
Fully Immersive Virtual Reality for Skull-base Surgery: Surgical Training and Beyond
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medicine（约翰斯·霍普金斯医疗集团）
本文提出用于颅底手术的全沉浸式虚拟现实系统FIVRS，结合高保真硬件与逼真手术模拟，记录多模态数据以支持训练和自动技能评估。
2023-05-31 cs.HC cs.RO
