Eye Gaze Controlled Interfaces for Head Mounted and Multi-Functional Displays in Military Aviation Environment
眼睛注视控制的界面允许我们直接操作一个图形用户界面,只需看着它。这项技术在军事航空中有很大的潜力,特别是在飞行员的手被占用的情况下操作不同的显示器与飞行器。本文报道了在典型飞行任务中对飞机内视线控制界面精度的分析研究。我们报告说,飞行员可以在平均不到2秒的时间内完成有代表性的指向和选择任务。此外,我们评估了在各种G条件下的视线跟踪玻璃的准确性,并分析了其故障模式。我们观察到眼动仪的准确度在+3G的视角下小于5度,尽管在负1G和正5G时准确度较低。我们观察到眼动仪在较高的外部照明下可能无法跟踪。我们还推断,眼动仪用于军事航空需要有更大的垂直视野比目前可用的系统。我们使用此分析来开发用于多功能显示器和盔装显示器系统的眼睛注视跟踪器。我们得到了显着减少指向和选择时间,使用我们提出的HMDS系统相比,传统的TDS。
2020-05-27 cs.HC eess.IV
Dynamic lens and monovision 3D displays to improve viewer comfort
与非立体显示器相比,立体3D(S3D)显示器通过向两只眼睛发送略微不同的图像来提供额外的深度感。但是传统的S3D显示器不能再现所有自然的深度线索。特别地,聚焦提示是不正确的,导致调节和聚散之间的失配:眼睛必须适应显示屏以创建清晰的视网膜图像,即使当双眼视差驱动眼睛会聚到其他距离时。这种不匹配导致视觉不适并降低视觉性能。我们提出并评估了两种新的技术,旨在减少聚散调节冲突,从而减少不适,提高视觉性能。这些技术比以前的冲突减少技术更容易实现。
2015-12-30 cs.HC physics.optics
Artificial Blur Effect for Optical See-through Near-Eye Displays
本文提出一种用于光学透视近眼显示器的人工模糊方法,利用DMD分区并配合高速ETL实现清晰与模糊区域调制,同时通过算法抑制边界伪影,并用原型验证可行性。
2025-03-17 cs.HC physics.optics
Towards Energy Efficient Mobile Eye Tracking for AR Glasses through Optical Sensor Technology
Eberhard Karls Universität Tübingen(图宾根大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Tübingen(图宾根大学)
在推出智能手机和智能手表之后,AR眼镜被认为是可穿戴设备领域的下一个突破口。虽然从智能手机到智能手表的过渡主要基于现有的显示技术,但AR眼镜的显示技术提出了一个技术挑战。许多显示技术,例如视网膜投影仪,都是基于用户瞳孔位置对显示器的连续自适应控制。此外,头戴式系统需要调整和扩展已建立的交互概念,以向用户提供沉浸式体验。眼动追踪是帮助AR眼镜通过优化的显示技术和基于凝视的交互概念实现突破的关键技术。现有的眼动跟踪技术,如VOG,不符合AR眼镜的要求,特别是在功耗、鲁棒性和可集成性方面。为了进一步克服这些局限性,推动AR眼镜的移动眼动跟踪,本文研究了基于激光的新型眼动跟踪传感器技术。本论文为AR眼镜的节能移动眼动跟踪做出了重大的科学进步。
2022-12-06 cs.CV cs.HC eess.IV
See What I Mean? Mobile Eye-Perspective Rendering for Optical See-through Head-mounted Displays
针对光学透视HMD中摄像头与用户眼部视角的配准偏差问题,提出并评估了三种眼部透视渲染技术,其中基于眼动追踪的Gaze-Proxy EPR作为轻量级方案表现优异。
2025-09-15 cs.HC
Real-time 3D Light-field Viewing with Eye-tracking on Conventional Displays
本文提出一种仅用普通2D显示器、RGB摄像头和红青眼镜即可实现实时三维光场观看的低成本系统,通过眼动追踪动态合成立体视图,在CPU上以30 FPS稳定运行,为交互式三维应用提供了可及平台。
2025-08-22 cs.GR cs.HC cs.MM
Would Gaze-Contingent Rendering Improve Depth Perception in Virtual and Augmented Reality?
在虚拟现实中,近距离被高估,远距离被低估,但对这些扭曲的解释仍然难以捉摸。一个潜在的问题是,当眼睛旋转以观看虚拟场景时,虚拟相机保持静止。在虚拟现实中,当眼睛转动时,使用眼动跟踪来改变虚拟相机的视角是否可以改善深度感知?本文确定了14个不同的视角失真,理论上可能发生从保持虚拟相机固定,而眼睛旋转的上下文中的近眼显示。然而,眼睛运动对显示图像的影响取决于显示器的光学距离,而不是物理距离。由于大多数盔装显示器的光学距离超过1米,因此这些失真中的大多数将仅具有可忽略的影响。例外的是“视在眼内”,这将使附近的虚拟对象看起来与增强现实中相同距离的物理对象发生位移。
2019-05-24 cs.HC
An Eye Gaze Heatmap Analysis of Uncertainty Head-Up Display Designs for Conditional Automated Driving
本文通过驾驶模拟器眼动热图分析,研究有条件自动驾驶中HUD不确定性设计,发现预警式中断比单纯周边显示更能有效改善备用驾驶员的监控行为并具有安全优势。
2024-02-27 cs.HC
Perceptual Thresholds for Radial Optic Flow Distortion in Near-Eye Stereoscopic Displays
首次量化了用户对变焦近眼显示器中径向光流伪影的感知敏感性,发现眨眼期间视觉敏感性降低10倍,低于70ms的快速畸变可被掩盖,为未来硬件与图形校正算法提供了工程需求依据。
2024-02-02 cs.GR cs.HC
Neural Distortion Fields for Spatial Calibration of Wide Field-of-View Near-Eye Displays
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
提出了一种适用于具有复杂图像畸变的宽视场近眼显示器的空间校正方法。NED中的图像失真会破坏虚拟对象的真实性并导致疾病。为了在NED中实现无失真图像,有必要在视点和显示图像之间建立逐像素的对应关系。设计紧凑和宽FoV NED需要复杂的光学设计。在这样的设计中,所显示的图像受到视注视而定的非线性几何失真的影响,其中显式几何模型可能难以表示或计算密集以优化。为了解决这些问题,我们提出了神经失真场(NDF),一个完全连接的深度神经网络,隐式地表示在空间中复杂扭曲的显示表面。NDF将空间位置和注视方向作为输入,并输出显示像素坐标及其在输入注视方向上感知的强度。我们从一个新的视点,通过查询点的光线从视点和计算一个加权和投影输出显示坐标到图像中的失真地图。实验表明,NDF校准增强现实NED与90 $^{\circ}$ FoV约3.23像素(5.8弧分)的中值误差,仅使用8个训练视点。此外,我们证实NDF比非线性多项式拟合更准确地校准,特别是在FoV中心周围。
2022-10-22 cs.CV cs.HC eess.IV
Practical Saccade Prediction for Head-Mounted Displays: Towards a Comprehensive Model
眼动追踪技术是虚拟和增强现实头戴式耳机等新型显示器不可或缺的组成部分。凝视信息的应用范围从利用眼睛模式的新交互技术到凝视相关的数字内容创建。然而,在许多这些应用中,系统延迟仍然是一个重要的问题,因为它破坏了当前和测量的注视位置之间的同步。因此,它可能导致不想要的视觉伪影和用户体验的降级。在这项工作中,我们专注于中央凹渲染应用程序中的图像的质量降低对周边的计算节省。在中心凹渲染中,延迟的存在导致对渲染帧的延迟更新,从而使质量下降对用户可见。为了解决这个问题,并打击系统的延迟,最近的工作提出了使用扫视着陆位置预测,从延迟的眼睛跟踪样本外推的凝视信息。虽然已经证明了这种策略的好处,但解决方案的范围从简单有效的解决方案(对扫视眼球运动做出几个假设)到更复杂和昂贵的解决方案(使用机器学习技术)不等。然而,目前还不清楚预测在多大程度上可以从考虑其他因素中受益。本文提出了一系列的实验调查的重要性,不同的因素,在常见的虚拟和增强现实应用程序的扫视预测。特别是,我们调查的扫视方向在3D空间和平滑追求眼球运动(SPEM)的影响,以及它们的影响如何比较用户之间的变化。我们还提出了一个简单而有效的校正方法,适应现有的扫视预测方法来处理这些因素,而不执行广泛的数据汇集。
2022-05-04 cs.GR cs.HC
Waveguide Holography: Towards True 3D Holographic Glasses
我们提出了一种新的近眼显示的概念,它包括一个波导组合器,空间光调制器,和激光光源。该系统通过透明光瞳复制波导组合器实现了真实的三维全息图像显示,并提供了一个大的眼箱。通过模拟波导组合器内部的相干光相互作用,我们证明了可以通过使用空间光调制器调制输入光的波前来控制波导的输出波前。这种新的可能性允许将被认为是最终3D显示技术的全息显示与最先进的光瞳复制波导相结合,从而实现真正的3D全息增强现实眼镜。
2022-11-04 cs.HC physics.optics
Seeing virtual while acting real: Visual display and strategy effects on the time and precision of eye-hand coordination
在完全新手的拾取和放置任务中,研究了计算机生成的2D和3D视图对徒手或工具介导的眼手协调的时间和精度的影响。所有被试的空间透视能力得分都高于平均水平,并且都是用优势手完成任务。两组新手,每组四名男性和四名女性,必须将一个小物体以精确的顺序放置在真实世界行动领域(RAF)的五个目标的中心,尽可能迅速和精确,使用工具或不使用(控制)。每个单独的会话由四个视觉显示条件组成。条件的顺序在个人和会议之间得到平衡。受试者观察他们的手在做什么:1)直接在他们面前(自然自上而下视图)2)自上而下的2D鱼眼相机视图3)自上而下的无失真2D视图或4)3D立体自上而下视图(头戴式OCULUS DK 2)。它确保了所有图像条件下的物体运动都与真实世界的时间和空间运动相匹配。一组观察2D图像时,显示器放在侧面(次优);另一组观察显示器放在正前方(接近最优)。所有的图像观看条件有显着的不利影响的时间(秒)和精度(像素)的任务执行时,与自然直接观看。
2022-01-01 cs.HC
Differential Privacy for Eye Tracking with Temporal Correlations
University of Tübingen(蒂宾根大学);University of Siegen(锡根大学)
新一代盔装显示器,如VR和AR眼镜,正在进入市场,已经集成了眼动追踪,并有望在众多应用中实现新颖的人机交互方式。然而,由于眼动特性包含生物特征信息,因此必须妥善处理隐私问题。诸如差分隐私机制的隐私保护技术最近已被应用于从这种显示器获得的眼睛运动数据。然而,标准的差分隐私机制由于眼睛运动观测之间的时间相关性而易受攻击。在这项工作中,我们提出了一种新的变换编码为基础的差分隐私机制,以进一步适应眼动特征数据的统计,并比较各种低复杂度的方法。我们扩展了一种差分隐私机制--傅立叶微扰算法,并纠正了其证明中的一个尺度错误。此外,我们说明了显着减少样本的相关性,除了查询的敏感性,这提供了最好的效用隐私权衡眼动追踪文献。我们的研究结果提供了显着高的隐私,而没有任何实质性的损失,在分类准确性,同时隐藏个人标识符。
2021-12-20 cs.CR cs.HC cs.LG
Working with Mixed Reality in Public: Effects of Virtual Display Layouts on Productivity, Feeling of Safety, and Social Acceptability
本研究针对公共场景使用混合现实(MR)头显工作的需求,对比四种虚拟显示器布局对工作效率、安全感与社会可接受性的影响,通过图书馆田野实验发现布局显著影响工作效率,为MR布局设计提供参考。
2024-10-07 cs.HC
See-Through Face Display for DHH People: Enhancing Gaze Awareness in Remote Sign Language Conversations with Camera-Behind Displays
本文提出基于See-Through Face Display的远程手语对话系统,利用显示器后置摄像头实现自然眼神交流,减少视觉失真并简化安装,为DHH人群提供多方手语交流等应用潜力。
2025-04-04 cs.HC
Eyes on the Mission: Mixed Methods Assessment of Eye-Tracker-Enabled Interactive Decision Support in a Simulated Unmanned Aerial Vehicle System
Wm Michael Barnes Department of Industrial and Systems Engineering, Texas A&M University(德克萨斯农工大学威廉·迈克尔·巴恩斯工业与系统工程系)
本研究通过混合方法评估了基于眼动追踪的自适应注意力引导决策支持工具在模拟无人驾驶航空系统中的有效性,发现其能显著提升指挥官绩效并获得积极反馈。
2026-01-25 cs.CC cs.ET cs.HC
Resolution limit of the eye: how many pixels can we see?
Meta;University of Cambridge(剑桥大学)
本研究针对显示分辨率提升的人眼极限问题,搭建可连续调分辨率的滑动显示实验装置,测得中央凹及不同偏心距下的消色差与彩色分辨率极限,发现其高于此前认知,为显示及相关技术发展提供参考。
2024-10-08 cs.GR cs.HC cs.MM
PrivacEye: Privacy-Preserving Head-Mounted Eye Tracking Using Egocentric Scene Image and Eye Movement Features
诸如增强现实显示器之类的眼镜设备越来越多地集成了眼动追踪,但是将用户的注视映射到视觉场景所需的第一人称相机可能对用户和旁观者的隐私构成重大威胁。我们提出了PrivacEye,一种检测隐私敏感的日常情况的方法,并使用机械快门自动启用和禁用眼动仪的第一人称相机。为了在隐私敏感的情况下关闭快门,该方法使用第一人称视频的深度表示,并结合对用户眼球运动进行编码的丰富特征。为了在没有视觉输入的情况下打开快门,PrivacEye仅检测用户眼球运动的变化,以衡量当前情况的“隐私级别”的变化。我们评估我们的方法在第一人称视频数据集记录在日常生活中的情况下的17名参与者,由自己的隐私敏感性注释,并表明我们的方法是有效的,在这个具有挑战性的设置保护隐私。
2019-05-24 cs.HC
Eye Gaze Controlled Robotic Arm for Persons with SSMI
Indian Institute of Science(印度科学学院);Indian Institute of Technology, Madras(马德拉斯印度理工学院);Indian Institute of Information Technology, Kalyani(卡利亚尼印度信息技术学院)
背景:严重言语和运动障碍(SSMI)的人经常使用一种称为眼睛指向的技术与外界交流。他们的父母,看护人或老师在他们面前拿着一块印刷板,通过手动分析他们的眼睛注视,他们的意图被解释。这种技术往往容易出错,耗时,并依赖于一个单一的照顾者。目的:我们的目标是通过使用市售平板电脑、计算机或笔记本电脑,以电子方式自动化眼动追踪过程,而不需要任何专用硬件进行眼动追踪。眼睛注视跟踪器用于开发基于视频透视的AR(增强现实)显示器,该显示器控制具有眼睛注视的机器人设备并且被部署用于织物打印任务。方法学:我们进行了一个以用户为中心的设计过程,并分别评估了基于网络摄像头的凝视跟踪器和基于视频透视的人机交互,涉及用户与SSMI。我们还报告了一个用户研究操纵机器人手臂与基于网络摄像头的眼睛注视跟踪器。结果如下:使用我们定制的眼睛注视控制界面,身体健全的用户可以在不到2秒的中位数内选择屏幕的九个区域之一,而SSMI用户可以在4秒的中位数内完成。使用眼睛注视控制的人机AR显示器,具有SSMI的用户可以在小于15秒的平均持续时间内进行代表性的拾取和放下任务,并且使用COTS眼睛跟踪器在60秒内到达随机指定的目标,并且使用基于网络摄像头的眼睛注视跟踪器在平均2分钟内到达随机指定的目标。
2020-05-25 cs.CV cs.HC eess.IV
See What I Mean? Expressiveness and Clarity in Robot Display Design
Tufts University(塔夫茨大学)
本研究探讨了动画与静态图标在机器人协作任务中的影响,发现动画增强信任,静态图标提升任务完成率。
2025-12-11 cs.HC cs.RO
Perceptual Sensitivity to Stereo Geometry Errors in Head-Mounted Displays
Reality Labs Research, Meta(Meta Reality Labs Research);McGill University(麦吉尔大学)
本文研究了头戴显示器立体几何误差对距离感知的影响,通过实验验证了几何框架的有效性,并展示了实时视觉反馈如何动态校准动作映射。
2026-03-16 cs.GR cs.HC
See-Through Face Display: Enabling Gaze Communication for Any Face$\unicode{x2013}$Human or AI
本文提出透视面部显示系统,通过透明显示器与摄像头快速交替工作实现紧凑、低计算开销的眼神接触,提升人与人及人与AI虚拟化身的视线交流自然度。
2024-10-22 cs.HC
A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays
Coburg University(科堡大学);Keio University(庆应义塾大学);Marxent Labs LLC;Mississippi State University(密西西比州立大学)
光学透视盔装显示器(OST HMD)是用于增强现实的主要输出介质,由于面向消费者的模型(诸如Microsoft Hololens)的不断发布,增强现实在公众中的普及和使用已经显著增长。与虚拟现实头戴式设备不同,OST HMD固有地支持将计算机生成的图形直接添加到用户的眼睛与他们的物理世界视图之间的光路中。与大多数增强和虚拟现实系统一样,OST HMD的物理位置通常由外部或嵌入式6自由度跟踪系统确定。然而,为了适当地渲染被感知为与物理环境空间对准的虚拟对象,还需要精确地测量用户的眼睛在跟踪系统的坐标系内的位置。20多年来,研究人员提出了各种校准方法来确定所需的眼睛位置。然而,迄今为止,还没有对这些程序及其要求进行全面审查。因此,本文调查的OST HMD的校准方法的领域。具体而言,它提供了深入了解校准技术的基础知识,并概述了手动和自动方法,以及评估方法和指标。最后,它还确定了未来研究的机会。%,并因此确定其在3D空间中的位置。
2017-09-13 cs.CV cs.HC
UEyes: An Eye-Tracking Dataset across User Interface Types
本研究构建了涵盖四种界面类型的大规模眼动追踪数据集UEyes,分析界面差异对用户注视行为的影响,并探讨相关因素与未来方向。
2024-02-07 cs.HC
Privacy-Aware Eye Tracking Using Differential Privacy
随着眼动追踪越来越多地集成到虚拟和增强现实(VR/AR)盔装显示器中,保护用户隐私是眼动追踪社区中一个越来越重要但尚未充分探索的话题。我们报告了一项关于眼动追踪隐私方面的大规模在线调查(N=124),该调查提供了第一个全面的账户,包括与谁合作,为哪些服务,以及用户愿意在多大程度上分享他们的凝视数据。利用这些见解,我们设计了一个隐私感知的VR界面,使用差分隐私,我们评估了一个新的20个参与者的数据集的两个隐私敏感的任务:我们表明,我们的方法可以防止用户重新识别和保护性别信息,同时保持高性能的凝视为基础的文档类型分类。我们的研究结果突出了隐私的挑战,特别是凝视数据,并表明,差分隐私是一个潜在的手段来解决这些问题。因此,本文奠定了重要的基础,为未来的研究隐私意识的注视界面。
2019-04-29 cs.HC
MagicEyes: A Large Scale Eye Gaze Estimation Dataset for Mixed Reality
Magic Leap Inc, USA(Magic Leap公司,美国(注:此处“USA”为国家信息,按要求不加入,仅保留机构名“Magic Leap Inc”))
随着虚拟和混合现实(XR)设备的出现,眼动追踪在计算机视觉界受到了极大的关注。眼睛注视估计是XR中的一个关键组成部分-实现节能渲染,多焦点显示以及与内容的有效交互。在头戴式XR设备中,眼睛离轴成像,以避免阻挡视野。这导致推断眼睛相关量的挑战增加,同时提供了开发准确和稳健的基于学习的方法的机会。为此,我们提出了MagicEyes,这是第一个使用真正的MR设备收集的大规模眼睛数据集,具有全面的地面真实标记。MagicEyes包括具有人类标记的地面实况的$80,000$图像的$587$受试者和具有凝视目标标签的超$800,000$图像。我们评估了MagicEyes上的几种最先进的方法,并提出了一种新的多任务EyeNet模型,该模型旨在检测角膜,闪光和瞳孔以及在单次向前传递中的眼睛分割。
2020-03-18 cs.CV cs.HC cs.LG
A multi-plane augmented reality head-up display system based on volume holographic optical elements with large area
针对传统平视显示器(HUD)系统面积小、显示平面单一的缺点,提出并设计了一种基于全息光学元件(HOE)的多平面、大面积、高衍射效率、单画面生成单元(PGU)的增强现实(AR)HUD系统。由于体积HOE具有优异的角度选择性和波长选择性,因此可以设计不同波长的HOE以在不同平面中显示图像。实验和仿真结果验证了该方法的可行性。实验结果表明,红、绿、蓝三色全息光学元件的衍射效率分别为75.2%、73.1%和67.5%。HOE的尺寸为20cm*15cm。此外,红、绿、蓝三种HOE分别在150cm、500cm和1000cm的不同深度处显示图像。系统的视场(FOV)为12° × 10°,眼箱(EB)为9.5cm × 11.2cm。此外,该系统的透光率已达到60%。相信该技术可以应用于车辆和航空的增强现实导航显示。
2021-04-12 cs.HC physics.optics
A-DisETrac Advanced Analytic Dashboard for Distributed Eye Tracking
本研究提出分布式眼动追踪高级分析仪表板A-DisETrac,可并行监测多用户、实时计算多类眼动指标,经试点验证用户体验良好,还揭示了高级眼动指标与协作行为的关联。
2024-04-11 cs.HC
Assessing Levels of Attention using Low Cost Eye Tracking
嵌入下一代智能手机或VR显示器的移动眼动仪的出现,不仅可以追踪我们看到的物体,还可以追踪特定情况下的注意力水平。为了探索我们是否可以量化用户与笔记本电脑交互的参与度,我们在一项为期2周的深入研究中应用了移动眼动追踪,观察了近10.000个观察结果,以评估瞳孔大小的变化,这些变化与警觉性,方向感和冲突解决的注意力方面有关。视觉呈现冲突的线索和目标,我们假设,它是可行的,以衡量分配的努力时,应对混乱的刺激。虽然这样的实验通常在实验室中进行,但我们能够区分持续的警觉性和复杂的决策,即使是在“野外”使用低成本的眼动追踪。从个人行为适应的量化自我角度来看,瞳孔大小与任务相关反应时间和出错率之间的相关性可以长期提供用于修改智能手机内容和交互的基础,以适应用户感知的注意力水平。
2016-02-16 cs.HC q-bio.NC
Analysing ocular parameters for web browsing and graph visualization
本文提出了一套技术,调查眼睛注视和固定模式,而用户与电子用户界面进行交互。特别是,两个案例研究-一个分析眼睛注视,同时与欺骗性的材料在网页上和另一个分析图形在标准的计算机显示器和虚拟现实显示器。我们分析了空间和时间分布的眼睛凝视注视和序列的眼睛注视运动。我们利用这些信息提出了新的设计指导方针,以避免在Web和用户友好的数据表示在2D图形中的欺骗性材料。在2D图形研究中,我们发现,区域图具有最低数量的集群用户的注视和最低的平均响应时间。二维图形研究的结果在虚拟和混合现实环境中实现。与此同时,它被观察到的持续时间,而与网页中的欺骗性材料是独立的固定的数量。此外,基于网络的数据可视化工具,用于分析眼动追踪数据从单个和多个用户的开发。
2021-01-04 cs.HC
Managing level of detail through head-tracked peripheral degradation: a model and resulting design principles
本文提出一个基于心理物理学的模型,解释头部追踪大视场显示器中周边退化的有效性,并通过实验证明高细节中心区域面积而非形状显著影响搜索性能,为周边退化显示器设计提供原则。
2025-06-26 cs.GR cs.HC
Realtime Dynamic Gaze Target Tracking and Depth-Level Estimation
Ford Motor Company(福特汽车公司)
本文针对动态透明显示器上的实时注视监测问题,提出基于树的动态注视目标跟踪算法和多流自注意力深度层级估计架构,并在真实眼动数据集及SoC上验证了系统的实时性、精度与可扩展性。
2024-06-09 cs.AI cs.CV cs.HC
Assessing Augmented Reality Selection Techniques for Passengers in Moving Vehicles: A Real-World User Study
针对行驶车辆中乘客选择车外数字对象的需求,本文在真实道路条件下比较四种AR选择技术,发现眼部注视最受偏好且性能相当,手指指向则较慢且精度较低。
2023-07-12 cs.HC
Retina electronic paper with video-rate-tunable 45000 pixels per inch
本文提出视网膜电子纸,利用WO3纳米盘实现约560纳米、超45000 PPI的电可调超像素,在瞳孔尺寸匹配时实现视网膜上一一映射,并支持25 Hz视频显示、高反射率与高对比度,为终极虚拟现实显示奠定基础。
2025-02-05 cs.HC physics.optics
Chartist: Task-driven Eye Movement Control for Chart Reading
Chartist提出两级层次控制架构,结合大语言模型与强化学习,模拟用户执行图表分析任务时的任务驱动眼动扫描路径,为理解人类图表阅读行为提供新方法。
2025-02-05 cs.HC
Dichoptic Opacity: Managing Occlusion in Stereoscopic Displays via Dichoptic Presentation
提出双目不透明度方法,通过对比呈现给每只眼睛的遮挡物透明度来管理立体显示中的遮挡,用户研究表明该方法能更好同时理解遮挡物与被遮挡物且受用户偏好。
2025-06-28 cs.HC
Semi-Transparent Image Sensors for Eye-Tracking Applications
本文开发并分析首个半透明图像传感器,用于眼动追踪,其8x8阵列像素透明度达85-95%,高灵敏度,可隐藏于显眼处,推动成像技术变革。
2024-03-13 cs.HC physics.optics
Event Based, Near Eye Gaze Tracking Beyond 10,000Hz
University of California Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
现代视线跟踪系统中的摄像机受到基本带宽和功率的限制,实际上将数据采集速度限制在300 Hz。这阻碍了移动眼动跟踪器的使用,例如,低延迟预测渲染,或研究快速和微妙的眼睛运动,如使用头戴式设备在野外微跳视。在这里,我们提出了一种基于混合帧事件的近眼凝视跟踪系统,其更新速率超过10,000 Hz,在相同条件下评估时,其精度与高端桌面安装的商业跟踪器相匹配。我们的系统建立在新兴的事件相机,同时获得定期采样帧和自适应采样的事件。我们开发了一种在线的2D瞳孔拟合方法,每一个或几个事件更新一个参数模型。此外,我们提出了一个多项式回归估计的注视点的参数瞳孔模型在实时的。使用第一个基于事件的凝视数据集,可在https://github.com/aangelopoulos/event_based_gaze_tracking,我们证明,我们的系统实现了0.45度的精度-1.75度的视野从45度到98度。有了这项技术,我们希望能够为虚拟和增强现实实现新一代超低延迟的视情况而定的渲染和显示技术。
2022-08-08 cs.CV cs.HC
HiFiGaze: Improving Eye Tracking Accuracy Using Screen Content Knowledge
Human-Computer Interaction Institute(人机交互研究所);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种新的高精度眼动追踪方法,通过利用设备屏幕内容信息实现鲁棒的反射分割,从而提升追踪精度,实验表明其比基线模型减少约8%的平均追踪误差。
2026-03-20 cs.CV cs.HC
OwlEyes-Online: A Fully Automated Platform for Detecting and Localizing UI Display Issues
图形用户界面(GUI)在软件应用程序和最终用户之间提供了视觉桥梁。然而,由于软件或硬件的兼容性,在不同设备上进行GUI渲染时,经常会出现文本重叠、屏幕模糊、图像丢失等UI显示问题。由于这些UI显示问题可以通过人眼直接发现,本文实现了一个在线的UI显示问题检测工具OwlEyes-Online,为用户提供了一个简单易用的平台,实现了UI显示问题的自动检测和定位。OwlEyes-Online可以自动运行应用程序并获取其屏幕截图和XML文件,然后通过分析屏幕截图来检测问题的存在。此外,OwlEyes-Online还可以在给定的截图中找到问题的详细区域,以进一步提醒开发者。最后,OwlEyes-Online将自动生成测试报告,并将其发送给用户。对OwlEyes-Online进行了评估,并证明其能够准确检测UI显示问题。工具链接:http://www.owleyes.online:7476 Github链接:https://github.com/franklinbill/owleyes演示视频链接:https://youtu.be/002nHZBxtCY
2021-07-06 cs.HC cs.SE
An Efficient Point of Gaze Estimator for Low-Resolution Imaging Systems Using Extracted Ocular Features Based Neural Architecture
Indian Institute of Technology(印度理工学院);Indian Institute of Information Technology(印度信息技术学院)
用户的眼睛作为人机交互研究的一个重要模型,为人机交互的研究提供了手段.对眼睛的不时的科学探索已经看到了HCI应用中的益处的激增,从凝视估计到在给定时间段内观看屏幕的用户的注意力的测量。眼动追踪系统作为一种辅助的交互式工具,可以被身体残疾的个人所采用,最适合那些只有眼睛作为有限的交流工具的人。本文的三个目标是- 1。介绍一种基于神经网络的架构,通过学习眼睛的各个方面作为视觉特征集,通过基于低分辨率的系统(如网络摄像头),实时的预测用户在屏幕上11.31°视觉范围内显示的9个位置处的注视。2.提出了一套实时的粗监督特征集,并通过对21个个体(17男4女)的用户案例研究进行了验证,得到了35 k的实例集,准确率为82.36%,f1_score为82.2%。3.详细研究了这种系统的适用性和潜在挑战。实验结果验证了所提出的视线跟踪模型的可行性和有效性。
2021-06-09 cs.CV cs.HC cs.LG
MERP: Metaverse Extended Realtiy Portal
提出肩戴式投影的MERP系统,通过HUD和动作映射提升物理感知与安全交互,减少事故,成为优于现有VR/AR眼镜的元宇宙替代方案。
2024-02-08 cs.HC
Technical Note: Towards Virtual Monitors for Image Guided Interventions - Real-time Streaming to Optical See-Through Head-Mounted Displays
目的:图像引导对于许多干预的成功至关重要。图像显示在指定的监视器上,由于无菌性和空间限制,这些监视器无法进行最佳定位。这种间接可视化导致潜在的闭塞,妨碍手眼协调,导致手术持续时间和外科医生负荷增加。研究方法:我们提出了一个虚拟监视器系统,显示医疗图像的混合现实可视化使用光学透视盔装显示器。该系统可将任何模态的高分辨率医学图像实时的【形】传输到盔装显示器,并与手术部位融合。它允许在头部、世界或身体锚定模式下对图像进行混合现实可视化,因此可以适应特定的程序需求。结果如下:对于典型的图像尺寸,所提出的系统表现出的平均端到端延迟和刷新率分别为214 +- 30 ms和41:4 +- 32:0 Hz。结论:所提出的虚拟监视器系统能够实现医学图像的实时的【形】混合现实可视化。在未来,我们寻求进行第一个临床前研究,以定量评估该系统对标准图像引导程序的影响。
2017-10-02 cs.HC cs.OH
Inferring Human Observer Spectral Sensitivities from Video Game Data
University of Cambridge(剑桥大学)
随着在现代显示器中使用具有越来越窄的带宽的原色,观察者同色异谱击穿正成为重要因素。这可能导致不同观察者之间感知到的颜色差异。如果用户眼睛的光谱灵敏度可以很容易地测量,下一代显示器将能够调整显示内容,以确保颜色被给定的观察者所感知。我们提出了一个数学框架,用于计算光谱灵敏度的一个给定的人类观察者使用的颜色匹配实验,可以在手机显示器上完成。这就放弃了昂贵的亲自实验的需要,并允许系统设计人员轻松地校准显示器,以匹配用户的视觉,在野外。我们展示了如何使用sRGB像素值以及简单的显示模型来为给定显示设备的用户计算合理的颜色匹配函数(CMF)(例如,移动电话)。我们评估了不同的正则化函数对计算出的CMF的形状的影响,结果表明,平方和正则化能够预测光滑和定性现实的CMF。
2020-07-21 cs.HC cs.LG q-bio.QM
PeriphAR: Fast and Accurate Real-World Object Selection with Peripheral Augmented Reality Displays
University of Michigan(密歇根大学)
本文提出PeriphAR技术,利用边缘视觉提升 gaze-based 选择的准确性,通过对比颜色、形状等属性,优化边缘视觉中的颜色对比度,提升现实世界物体检测性能。
2026-03-18 cs.HC
Mind the Visual Discomfort: Assessing Event-Related Potentials as Indicators for Visual Strain in Head-Mounted Displays
本研究探讨通过脑电图(EEG)感知事件相关电位(ERPs)来客观测量头戴式显示器中的视觉不适,发现P1、N2和P3等ERP成分能有效区分不适刺激并指示视觉负荷与疲劳,为基于EEG的自动检测与预防工具提供了依据。
2024-07-26 cs.HC
Positioning Monocular Optical See Through Head Worn Displays in Glasses for Everyday Wear
本文综合单目OST-HWD研究,针对日常眼镜显示位置在干扰、舒适、性能与社会感知间的权衡,提出文本任务及可瞥视内容的视野放置建议。
2025-05-14 cs.HC
SneakPeek: Interest Mining of Images based on User Interaction
如今,眼动追踪是用于检测感兴趣区域的最常用的技术。这种技术需要专门的设备来记录用户的眼睛。在本文中,我们提出了SneakPeek,一种不同的方法来检测感兴趣的区域显示在网页上的图像的缩放和平移的用户通过图像的动作的基础上。我们已经验证了我们提出的解决方案与一组测试对象,在我们的在线原型进行了测试。由于这是该算法的第一次迭代,我们发现了好的和坏的结果,这取决于图像的类型。具体来说,SneakPeek最适合中/大尺寸图像中的中/大对象。其背后的原因是当智能手机屏幕越来越大时检测的限制。SneakPeek可以通过简单地调整控制器界面来适应任何网站。
2017-12-10 cs.HC cs.IR cs.SI