A Real-Time Error Prevention System for Gaze-Based Interaction in Virtual Reality Based on Anomaly Detection
University of Tübingen(蒂宾根大学);Carl Zeiss Vision International GmbH(卡尔蔡司视觉国际有限公司)
该研究提出了一种基于异常检测的实时错误预防系统,用于提升虚拟现实环境下基于 gaze 的交互准确性与用户体验。
2026-01-21 cs.HC
Explainable Interfaces for Rapid Gaze-Based Interactions in Mixed Reality
本研究构建了用于混合现实中基于注视交互的实时可解释AI界面,实验表明该界面将选择准确率(F1分数)提升10.8%,并帮助用户随时间优化注视行为,从而促进更有效的人机协作。
2024-04-21 cs.HC
Gaze Prediction as Time-Series Forecasting for Virtual Reality Applications: Quantifying Performance Variability and Extreme-Case Errors
Texas State University(德克萨斯州立大学)
针对虚拟现实中的注视预测问题,评估了循环、基于Transformer和分类引导架构在不同眼动事件上的泛化能力,发现中位数误差低不保证极端情况误差低,提出应转向以P95为中心、个体化的评估指标。
2026-05-29 cs.HC
Imperceptible Gaze Guidance Through Ocularity in Virtual Reality
本研究提出一种基于眼性的VR隐形视线引导技术,利用双眼输入差异的不显眼线索引导注意力,经15人视觉搜索实验验证有效,可在不破坏沉浸感的前提下实现视线引导与3D深度渲染。
2024-12-12 cs.HC
FocusFlow: 3D Gaze-Depth Interaction in Virtual Reality Leveraging Active Visual Depth Manipulation
本文提出FocusFlow免手注视深度交互方法,通过双目深度检测、Virtual Window界面和自适应视觉线索学习策略,验证其在VR 3D场景中的可用性与学习效果。
2024-05-07 cs.HC
Anticipation Before Action: EEG-Based Implicit Intent Detection for Adaptive Gaze Interaction in Mixed Reality
LMU Munich(慕尼黑大学);Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学);TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本文通过EEG研究SPN在混合现实交互中的隐式意图检测,发现SPN反映预见性不确定性,利用深度学习模型实现75%-97%的意图分类准确率,为构建意图感知的MR接口提供新方法。
2026-01-27 cs.HC
Head, Gaze, or Finger? Comparing Object Selection Techniques in Augmented Reality for People with Low Vision
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Rochester(罗切斯特大学)
研究低视力人群在增强现实中对象选择技术,通过混合方法研究,让20名低视力者和18名视力正常者用头部、注视、手指指向三种技术在两种场景选目标,发现不同技术优劣势及低视力者偏好,为其可访问AR交互技术提供见解。
2026-07-09 cs.HC
How Early Can You Tell? Early Eye Gaze Dynamics and Cybersickness Progression in Virtual Reality
Texas State University(德州州立大学)
本研究通过VR暴露前五分钟的眼动数据,发现早期注视离散度可预测后续不适进展,而非最终晕动症严重程度,为理解晕动症时间动态提供新视角。
2026-09-23 cs.HC
Gaze as a Supplementary Modality for Interacting with Ambient Intelligence Environments
我们提出了我们目前的研究实施的目光作为一个有效的和可用的指向方式的补充语音,在我们的日常环境或大型显示器,特别是沉浸式虚拟现实环境,如现实中心和洞穴中的增强对象进行交互。我们也正在解决与使用凝视作为主要交互输入方式有关的问题。我们已经设计并开发了两个操作用户界面:一个用于为运动障碍用户提供简单的基于凝视的地图应用程序和图形软件的访问;另一个用于迭代测试和改进凝视偶然显示的可用性。
2007-08-26 cs.HC
Point&Spawn: Mid-Air Reference-Free Object Instantiation Using Gaze and Hand Gestures in Extended Reality
KAIST(韩国科学技术院);Aarhus University(奥胡斯大学)
本文针对XR中无空间参考的空中物体实例化问题,提出Point&Spawn分阶段手势控制流程,通过用户研究对比不同方向与深度设定技术,为XR实例化交互设计提供实证指导。
2026-09-04 cs.HC
Instant Reality: Gaze-Contingent Perceptual Optimization for 3D Virtual Reality Streaming
媒体流已经被用于各种应用,例如娱乐、可视化和设计。与视频/音频流不同,其中内容通常是顺序消费的,3D应用程序(如游戏)需要流3D资产,以促进客户端交互,如对象操作和视点移动。与音频和视频流传输相比,3D流传输通常需要更大的数据大小和更低的延迟,以确保足够的渲染质量、分辨率和延迟,从而获得感知舒适度。因此,流式传输3D资产可能比流式传输音频/视频更具挑战性,并且现有解决方案通常遭受长加载时间或有限质量。为了解决这个关键和及时的问题,我们提出了一个感知优化的渐进式3D流媒体方法的空间质量和时间的一致性沉浸式交互。基于人类在频域中的视觉机制,我们的模型选择和调度流数据集,以获得最佳的时空质量。我们还为我们的模型训练了一个神经网络,以加速实时客户端-服务器应用程序的决策过程。我们通过主观研究和客观分析在不同的网络条件(从3G到5G)和客户端设备(HMD和传统显示器)下评估我们的方法,并证明比替代解决方案更好的视觉质量和时间一致性。
2022-01-10 cs.HC
Focus on the Experts: Co-designing an Augmented Reality Eye-Gaze Tracking System with Surgical Trainees to Improve Endoscopic Instruction
为解决外科培训监督成本高、扩展性差的问题,研究团队与18名外科受训者合作共同设计了一套AR眼动追踪系统,以提供实时交互的补充训练方法,改善内窥镜手术学习且不影响患者护理。
2025-06-27 cs.HC
Modeling the Impact of Visual Stimuli on Redirection Noticeability with Gaze Behavior in Virtual Reality
针对虚拟现实中重定向过度破坏具身体验的问题,本研究探究视觉刺激通过注视行为对重定向可感知性的影响,提出基于注视行为的回归模型,测试精度达0.012 MSE,所实现的自适应技术可减轻身体负担并增强身体所有权感。
2025-02-14 cs.HC
See or Hear? Exploring the Effect of Visual and Audio Hints and Gaze-assisted Task Feedback for Visual Search Tasks in Augmented Reality
本研究提出一种结合视觉/音频提示与注视辅助任务反馈的AR搜索方法,通过用户实验验证其效果,发现组合提示在反馈下可提升搜索效率。
2023-11-14 cs.HC
Assessing Augmented Reality Selection Techniques for Passengers in Moving Vehicles: A Real-World User Study
针对行驶车辆中乘客选择车外数字对象的需求,本文在真实道路条件下比较四种AR选择技术,发现眼部注视最受偏好且性能相当,手指指向则较慢且精度较低。
2023-07-12 cs.HC
Gaze-Vergence-Controlled See-Through Vision in Augmented Reality
Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室)
增强现实(AR)透视视觉是一个有趣的研究课题,因为它使用户能够透过墙壁看到被遮挡的物体。现有的研究大多集中在透视视觉的视觉效果上,而交互方法的研究较少。然而,我们认为,使用共同的互动方式,例如,空中点击和语音,可能不是控制透视视觉的最佳方式。这是因为当我们想要看穿某物时,它与我们的凝视深度/聚散度有物理关系,因此应该由眼睛自然控制。基于这一思想,本文提出了一种新的凝视-聚散度控制(GVC)透视视觉技术。由于需要注视深度,我们用两个红外摄像头和相应的算法构建了一个注视跟踪模块,并组装到微软HoloLens 2中,实现注视深度估计。然后,我们提出了两种不同的GVC模式的透视视觉,以适应不同的情况。大量的实验结果表明,我们的凝视深度估计是有效和准确的。通过与传统的交互方式相比,我们的GVC技术也被证明是优越的效率和更受用户的青睐。最后,我们提出了四个例子的应用程序的凝视聚散度控制透视视觉。
2022-07-06 cs.CV cs.HC
A privacy-preserving approach to streaming eye-tracking data
眼动追踪技术正越来越多地集成到混合现实设备中。虽然关键应用程序正在启用,但存在违反用户隐私期望的重大可能性。我们表明,有一个明显的风险,即使在自然的观看条件下,在虚拟现实的唯一用户识别。例如,这种身份识别将允许应用程序将用户的个人ID与他们的工作ID连接起来,而无需他们的同意。为了减轻这种风险,我们提出了一个框架,通过应用程序编程接口的设计,并通过软件实现的隐私机制,结合守门。我们的研究结果表明,这些机制可以降低识别率从高达85%低至30%。引入这些机制的影响是小于1.5 $^\circ$误差的凝视预测的凝视位置。因此,可以使注视数据流私密,同时仍然允许注视预测,例如,在中央凹渲染期间。我们的方法是第一个在混合现实用例中支持眼动追踪数据流的隐私设计。
2021-03-19 cs.HC
Steering Versus Teleporting in Mobile Virtual Reality
Carleton University(卡尔顿大学);Technical University of Denmark(丹麦技术大学);Monash University(蒙纳士大学)
本研究在移动虚拟现实中比较注视与控制器导向的转向和传送,发现注视适合传送、控制器指向利于转向,并为低成本窄视场硬件提出设计建议。
2026-09-28 cs.HC
The Eye-Head Mover Spectrum: Modelling Individual and Population Head Movement Tendencies in Virtual Reality
Lancaster University(兰卡斯特大学);University of Toronto(多伦多大学);Aarhus University(奥胡斯大学)
本文提出头部运动倾向作为虚拟现实中的重要概念,通过建模个体和群体头部运动策略,揭示了其在适应性系统中的应用价值。
2026-02-05 cs.HC
Switched Reading: Toward Seamless Visual-Auditory Switching When Reading Text in Augmented/Mixed Reality
Research Institute of Electrical Communication, Tohoku University(东北大学电气通信研究所)
针对AR/MR阅读中视觉显示不适用于需感知现实环境的场景,提出Switched Reading交互框架,实现两项关键技术,经用户研究验证其可提升阅读表现与体验,还开发了行走阅读应用并获设计启示。
2026-08-10 cs.HC
A Hands-free Spatial Selection and Interaction Technique using Gaze and Blink Input with Blink Prediction for Extended Reality
University of Hamburg(汉堡大学);University of Aarhus(奥胡斯大学);University of Münster(明斯特大学);University of Canterbury(坎特伯雷大学)
提出一种免手Gaze+Blink空间交互技术,利用注视与有意眨眼实现选择及连续操作,并通过深度学习过滤无意识眨眼,经用户研究验证其性能与体验。
2025-01-20 cs.HC cs.LG
VRDoc: Gaze-based Interactions for VR Reading Experience
虚拟现实(VR)提供了无限办公和远程协作的承诺,然而,VR中现有的交互并不能有力地支持大多数知识工作者最基本的任务之一,即阅读。本文介绍了VRDoc,一套基于凝视的交互方法,旨在改善VR阅读体验。我们介绍了三个关键组件:凝视选择和捕捉文档选择,凝视玻璃增强文本易读性,凝视滚动方便文档遍历。我们使用具有眼动跟踪功能的商品VR头显实现了这些工具。在一系列有13名参与者的用户研究中,我们发现VRDoc使VR阅读更有效(p < 0.01)和要求更低(p < 0.01),当有选择时,用户更喜欢使用我们的工具而不是当前的VR阅读方法。
2022-11-06 cs.HC
HSVRS: A Virtual Reality System of the Hide-and-Seek Game to Enhance Gaze Fixation Ability for Autistic Children
本文提出了一种名为HSVRS的虚拟现实系统,通过捉迷藏游戏和个性化虚拟化身技术,提升自闭症儿童的目光注视能力,实验证明其作为辅助干预手段可行且有效。
2023-10-20 cs.HC cs.MM
Mixed Reality Interaction Techniques
本章概述了混合现实的交互技术,包括增强现实和虚拟现实(AR/VR)。各种形式的输入和输出进行了讨论。具体而言,有形和基于表面的交互,手势为基础的,笔为基础的,凝视为基础的,键盘和鼠标为基础的,以及触觉交互的技术进行了讨论。此外,在多感官和多模态交互,以及使用多个物理或虚拟显示器的交互中的多个模态的组合被呈现。最后,考虑与智能虚拟代理的交互。
2021-03-10 cs.HC
Simulating Vision Impairment in Virtual Reality -- A Comparison of Visual Task Performance with Real and Simulated Tunnel Vision
本研究通过VR眼动追踪模拟隧道视觉,对比真实视网膜色素变性患者与模拟者在视觉任务中的表现,发现任务表现等价但注视行为存在差异,验证了VR模拟用于群体层面研究的可行性及其局限。
2023-12-05 cs.HC
Gaze-Contingent Ocular Parallax Rendering for Virtual Reality
沉浸式计算机图形系统努力生成感知上逼真的用户体验。当前一代的虚拟现实(VR)显示器成功地精确地呈现了许多感知上重要的效果,包括透视、视差、运动视差和其他深度线索。在这篇文章中,我们将介绍视觉视差渲染,这是一种精确渲染少量凝视相关视差的技术,能够提高VR中的深度感知和真实感。眼睛视差描述了当眼睛旋转时在视网膜上产生的少量深度相关的图像偏移。这种效应的发生是因为眼睛的旋转中心和投射中心不一样。我们通过设计和进行一系列的用户实验来研究视觉视差渲染的感知影响。具体来说,我们估计这种效果的感知检测和辨别阈值,并证明它在大多数VR应用中清晰可见。此外,我们表明,眼睛视差渲染提供了一个有效的顺序深度线索,它提高了VR中的真实深度的印象。
2020-05-13 cs.GR cs.HC
RealityDrop: A Multimodal Mixed Reality Framework to Manipulate Virtual Content between Cross-system Displays
提出RealityDrop多模态混合现实框架,以MR为控制中心,通过凝视和手势交互及定制解释器,实现跨系统显示设备间虚拟内容的操控、传输与展示。
2023-10-11 cs.HC
Predicting Selection Intention in Real-Time with Bayesian-based ML Model in Unimodal Gaze Interaction
本研究提出一种基于贝叶斯的机器学习模型,仅用注视数据实时预测用户选择意图,在实验中达到0.97准确率,并提升交互舒适度与准确性。
2024-11-11 cs.HC
Gaze-Hand Steering for Travel and Multitasking in Virtual Environments
提出一种结合眼动追踪与手指向的视线-手部导向控制技术,通过视线与手部目标对齐触发移动并支持多任务,实验证明其在VR多任务场景中维持性能并提升舒适度与空间感知。
2025-04-02 cs.HC
Real-Time Gaze Tracking with Event-Driven Eye Segmentation
视线跟踪正日益成为增强和虚拟现实中的一个重要组成部分。现代视线跟踪算法是重量级的;它们在移动处理器上最多以5 Hz运行,尽管近眼相机舒适地以实时速率($>$ 30 Hz)运行。本文提出了一种实时的【形】眼动追踪算法,平均以30 Hz的频率在移动处理器上运行,实现\ang{0.1} - \ang{0.5}凝视精度,同时只需要30 K参数,比最先进的眼动追踪算法小一到两个数量级。该算法的核心是Auto~ROI模式,该模式连续地预测近眼图像的感兴趣区域(ROI),并且仅明智地处理ROI以进行注视估计。为此,我们引入了一种新的,轻量级的ROI预测算法,通过模拟事件摄像机。我们将讨论如何在不需要特殊硬件的情况下,通过软件模拟事件来实现准确的ROI预测。我们论文的代码可以在https://github.com/horizon-research/edgaze上找到。
2022-01-19 cs.HC
FocusAdapt: Context-aware Adaptive Focus Assistance in Diminished Reality
University of Rochester(罗切斯特大学)
该研究针对减真现实(DR)移除无关物体时易丢失有用上下文的问题,提出FocusAdapt系统,整合视觉显著性等信息预测干扰并选择性弱化干扰物体,为程序性任务提供自适应焦点辅助。
2026-09-01 cs.HC
The interplay of user preference and precision in different gaze-based interaction methods
本研究通过52名参与者在虚拟现实游戏的视觉搜索任务中比较四种基于注视的交互技术,发现其在任务负荷、目标查找时间和性能得分上存在显著差异及性别特异性,为优化交互范式、开发定制化系统提供了依据。
2025-01-10 cs.HC
MagicEyes: A Large Scale Eye Gaze Estimation Dataset for Mixed Reality
Magic Leap Inc, USA(Magic Leap公司,美国(注:此处“USA”为国家信息,按要求不加入,仅保留机构名“Magic Leap Inc”))
随着虚拟和混合现实(XR)设备的出现,眼动追踪在计算机视觉界受到了极大的关注。眼睛注视估计是XR中的一个关键组成部分-实现节能渲染,多焦点显示以及与内容的有效交互。在头戴式XR设备中,眼睛离轴成像,以避免阻挡视野。这导致推断眼睛相关量的挑战增加,同时提供了开发准确和稳健的基于学习的方法的机会。为此,我们提出了MagicEyes,这是第一个使用真正的MR设备收集的大规模眼睛数据集,具有全面的地面真实标记。MagicEyes包括具有人类标记的地面实况的$80,000$图像的$587$受试者和具有凝视目标标签的超$800,000$图像。我们评估了MagicEyes上的几种最先进的方法,并提出了一种新的多任务EyeNet模型,该模型旨在检测角膜,闪光和瞳孔以及在单次向前传递中的眼睛分割。
2020-03-18 cs.CV cs.HC cs.LG
Dynamic X-Ray Vision in Mixed Reality
X射线视觉是一种允许用户看穿墙壁和其他障碍物的技术,是增强现实(AR)和混合现实(MR)的流行技术。在本文中,我们展示了一个动态的X射线视觉窗口,实时渲染的基础上,用户的当前位置,并在物理环境中的移动而变化。此外,窗口的位置和透明度也基于用户的眼睛注视动态地呈现。我们为当前最先进的MR头戴式设备(HMD)- HoloLens 2构建了这个X射线视觉窗口,集成了几个不同的功能:场景理解,眼动追踪和剪切原语。
2022-09-15 cs.HC
Reducing Gaze Distraction for Real-time Vibration Monitoring Using Augmented Reality
操作员希望在观察传感器数据的同时保持对被测结构的感知。通常情况下,在实验过程中,人类的目光会转移到一个单独的设备或屏幕上,以获取数据信息,从而错过了结构的物理响应。人机交互提供了有价值的数据和信息,但将人与现实分离。传感器数据不会收集实验安全、质量和其他对操作员具有关键价值的上下文信息。为了解决这个问题,这项研究使用增强现实(AR)应用程序为人类提供有关振动的实时信息。开发了一个应用程序来增强感兴趣区域顶部的传感器数据,这允许用户感知数据可能没有警告的实时变化。本文介绍了一项实验的结果,该实验展示了AR如何为直接传感器反馈提供通道,同时提高对现实的认识。在实验中,研究人员试图用自己的传感器密切跟踪移动传感器,同时观察移动传感器的数据,无论是否有AR。所报告的实验的结果表明,增加从传感器收集的信息在实时的【形】缩小了操作员的重点感兴趣的结构,更有效和知情的实验。
2021-10-06 cs.HC cs.SY eess.SP
PeriphAR: Fast and Accurate Real-World Object Selection with Peripheral Augmented Reality Displays
University of Michigan(密歇根大学)
本文提出PeriphAR技术,利用边缘视觉提升 gaze-based 选择的准确性,通过对比颜色、形状等属性,优化边缘视觉中的颜色对比度,提升现实世界物体检测性能。
2026-03-18 cs.HC
Towards Human-Robot Teaming through Augmented Reality and Gaze-Based Attention Control
Ritchie School of Engineering and Computer Science, University of Denver(丹佛大学工程与计算机科学学院)
本文提出一种结合地面机器人与增强现实技术的人机协同系统,通过AR头戴设备显示虚拟视觉标记来动态吸引和转移人类注意力,克服传统注意力控制方法在精确性与微妙性上的不足。
2024-08-23 cs.HC cs.RO
In the user's eyes we find trust: Using gaze data as a predictor or trust in an artifical intelligence
本研究提出在虚拟现实环境中通过分析注视数据来预测用户对AI的信任,设计了参与者与模拟AI机械臂协作完成分类任务的探索性研究,为非侵入性信任评估提供新方法。
2023-10-25 cs.HC
TimeGazer: Temporal Modeling of Predictive Gaze Stabilization for AR Interaction
针对AR环境中注视序列偏差影响交互的问题,提出将注视稳定化转为时序回归问题的TimeGazer方法,结合合成数据策略提升泛化性,实验验证其可显著提升AR交互精度与效率。
2025-10-02 cs.HC
Color-Perception-Guided Display Power Reduction for Virtual Reality
电池续航时间是当今不受限制的VR和AR设备面临的日益紧迫的挑战。然而,盔装显示器的功率效率自然与更好的分辨率、刷新率和动态范围所驱动的不断增长的计算需求不一致,所有这些都减少了不受限制的AR/VR设备的持续使用时间。例如,Oculus Quest 2在充满电的电池下只能维持2到3小时的操作时间。现有的显示器功率降低技术主要针对智能电话显示器。然而,直接应用智能手机显示功率降低技术会降低AR/VR中的视觉感知,并产生明显的伪影。例如,智能手机上的“省电模式”会均匀地降低整个显示器的像素亮度,因此,如果直接应用于VR内容,则会向用户呈现整体变暗的视觉感知。我们的关键见解是,VR显示器功耗的降低必须认识到高视场VR显示器的视情况而定的性质。为此,我们提出了一个凝视的系统,在不降低亮度的情况下,最大限度地减少显示器的功耗,同时保持高的视觉保真度,当用户主动查看沉浸式视频序列。这是通过心理物理学研究构建凝视相关颜色辨别模型,以及通过实际设备测量构建显示功率模型(相对于像素颜色)来实现的。重要的是,由于在构建两个模型时做出了仔细的设计决策,我们的算法被转换为具有封闭形式解决方案的约束优化问题,可以实现为实时图像空间着色器。我们评估我们的系统使用一系列的心理物理学研究和大规模的自然图像分析。实验结果表明,我们的系统降低了显示功率高达24%,几乎没有感知保真度下降。
2022-09-19 cs.HC
SwEYEpinch: Exploring Intuitive, Efficient Text Entry for Extended Reality via Eye and Hand Tracking
Columbia University(哥伦比亚大学)
本文提出SwEYEpinch方法,通过眼动和手部追踪实现高效文本输入,通过用户研究验证其在增强现实中的优势,达到64.7 WPM的性能。
2026-04-03 cs.HC
Privacy-Preserving Gaze Data Streaming in Immersive Interactive Virtual Reality: Robustness and User Experience
本文针对沉浸式VR中眼动数据隐私问题,提出融合用户体验与任务表现的实时隐私机制评估方法,证明可将重识别准确率降至14%并保持高可用性,同时评估了多种威胁场景下的鲁棒性。
2024-02-21 cs.CR cs.HC
GAZEploit: Remote Keystroke Inference Attack by Gaze Estimation from Avatar Views in VR/MR Devices
University of Florida(佛罗里达大学);Texas Tech University(德克萨斯理工大学);CertiK
该研究提出新型基于眼动追踪的GAZEploit攻击,利用VR/MR设备中虚拟形象的视线估计漏洞远程窃取击键信息,实验准确率超80%,多款热门应用存在风险,呼吁强化相关安全防护。
2024-09-12 cs.CV cs.HC
Identifying Fixation and Saccades in Virtual Reality
Beijing University of Posts and Telecommunications(北京邮电大学)
凝视识别可以显著减少眼动数据量,以便更好地理解认知和视觉处理。视线识别是虚拟现实中基于眼睛的交互应用的必要前提。然而,虚拟现实环境的三维特性也对现有的识别算法提出了新的挑战。基于七个评价指标和总得分(七个归一化指标值的平均值),我们获得了三个现有的识别算法(速度阈值识别,色散阈值识别,速度和色散阈值识别)和我们的改进的速度和色散阈值识别算法的最佳参数。我们比较了这四种算法的性能与最佳参数。结果表明,我们改进的速度和分散阈值识别性能最好。初步探讨了界面复杂性对分类结果的影响。结果表明,算法对接口复杂度不敏感。
2022-05-09 cs.CV cs.HC
SonoHaptics: An Audio-Haptic Cursor for Gaze-Based Object Selection in XR
SonoHaptics提出一种音频-触觉光标,通过跨模态映射将物体视觉特征转化为音频-触觉属性,并结合数据驱动模型与自动反馈生成方法,实现XR中无视觉反馈的准确注视选择。
2024-09-01 cs.HC
Measuring eye-tracking accuracy and its impact on usability in apple vision pro
本研究针对Apple Vision Pro眼动追踪参数公开不足的问题,通过MR与VR场景测试评估其眼动精度,结合SUS量表探究精度与可用性的关联,发现精度达1°左右但与可用性无显著统计相关,明确其并非VR/AR用户体验的唯一决定因素。
2024-08-14 cs.HC
NeuroGaze: A Hybrid EEG and Eye-Tracking Brain-Computer Interface for Hands-Free Interaction in Virtual Reality
本研究提出NeuroGaze,一种结合脑电图与眼动追踪的混合脑机接口,用于VR免手动交互。实验表明其错误率更低但速度较慢,验证了可行性并凸显人体工程学优势与包容性潜力。
2025-09-09 cs.HC
Exploring the Effectiveness of Face-to-face Mixed Reality for Teaching with Chalktalk
使用投影演示媒体(如幻灯片)的教学缺乏对动态内容的支持,动态内容的形式和行为需要在讲座期间进行实时更改。最近的软件替代品,如Chalktalk软件平台,允许在演示文稿中以任意顺序和组合创建交互式模拟。然而,这些更动态的解决方案并没有针对面对面的交互进行优化:目光接触、注视方向以及对另一个人的运动与所呈现的内容的同时感知。为了探索这些面对面的互动在多大程度上可以改善讲座期间的学习和参与,我们提出了一个混合现实(MR)平台,该平台将Chalktalk的行为和模拟放置在一个镜像虚拟世界环境中,该环境专为面对面,一对一的互动而设计。我们将我们的系统与预测的Chalktalk进行比较,以评估其在学习,保留和参与程度方面的相对有效性。
2020-08-19 cs.HC
Extended Reality (XR) Remote Research: a Survey of Drawbacks and Opportunities
延展实境(XR)技术--如虚拟现实和增强现实--现在被广泛应用于人机交互(HCI)、社会科学和心理学实验。然而,这些实验主要是在实验室内与一名共同在场的研究人员一起进行的。远程实验,没有共同在场的研究人员,并没有蓬勃发展,尽管远程方法的非XR调查的成功。本文总结了46名XR研究人员的30项调查结果,以了解远程XR实验的局限性和好处。我们的主题分析确定了非XR远程研究的常见问题,例如参与者招募,以及XR特定问题,包括安全性和硬件可变性。我们确定了XR技术的潜在积极启示,包括利用HMD内置的数据汇集功能(例如手部、凝视跟踪)以及实验环境的便携性和可重复性。我们认为,XR技术可以被概念化为一种交互式技术和一种适合远程实验的数据收集设备。
2021-01-20 cs.HC
Sticky and Magnetic: Evaluating Error Correction and User Adaptation in Gaze and Pinch Interaction
Cornell University(康奈尔大学);Google(谷歌)
本文研究了注视和捏取交互中错误修正与用户适应,通过STICKY和MAGNETIC两种启发式方法减少协调错误,提升虚拟现实中的交互速度和认知自主性。
2026-03-27 cs.ET cs.HC
Artificial social influence via human-embodied AI agent interaction in immersive virtual reality (VR): Effects of similarity-matching during health conversations
该研究在沉浸式VR中构建具身对话智能体,通过性别匹配操纵相似性,考察其对注视、好感度和健康零食选择的影响,发现异性匹配增强注视且男性更明显,并证实具身性对AI社会影响至关重要。
2024-09-12 cs.HC
Model-based Task Analysis and Large-scale Video-based Remote Evaluation Methods for Extended Reality Research
在本文中,我们介绍了两种远程延展实境(XR)研究方法,它们可以克服基于实验室的受控实验的局限性,特别是在COVID-19大流行期间:(1)基于预测模型的任务分析和(2)基于大规模视频的远程评估。我们使用了一个盒子堆叠任务,包括三种交互方式-两种多模态的基于凝视的交互以及一种单模态的基于手的交互,这被定义为我们的基线。对于第一次评估,通过分析任务来执行基于GOMS的任务分析,以了解XR中的人类行为并预测任务执行时间。对于第二次评估,使用一系列第一人称视角视频进行在线调查,其中用户使用三种交互方式执行相应的任务。共有118名参与者被要求根据他们的判断比较互动模式。两个标准的问卷被用来衡量感知的工作量和可用性的方式。
2021-03-13 cs.HC
World Mouse: Exploring Interactions with a Cross-Reality Cursor
Institute of Neurosciences of the University of Barcelona(巴塞罗那大学神经科学研究所);Google(谷歌)
World Mouse通过结合语义分割和网格重建,提出一种跨现实光标系统,实现复杂3D场景中的精准交互与无缝跨现实环境操作。
2026-03-11 cs.HC
Beyond Activation: Gaze Invocation with Visible Status for an Embodied AR Assistant in Co-Located Collaboration
The University of Tokyo(东京大学)
针对唤醒词在协同AR中的误激活与对话对象识别难题,提出基于注视调用、具身可见状态与回合管理的交互设计,经25人实验验证,98.8%的语音尝试在语音前完成注视获取,并揭示释放阶段状态传达问题。
2026-10-08 cs.HC