SURVIVRS: Surround Video-Based Virtual Reality for Surgery Guidance
针对偏远地区医疗资源不足的问题，研发了SURVIVRS环绕式视频VR手术引导系统，支持远程专家实时指导与手术复盘教学，经可用性评估获用户高度认可，为推动医疗公平提供了可行方案。
2023-02-08 cs.HC
An Exploration of Hands-free Text Selection for Virtual Reality Head-Mounted Displays
诸如使用手持控制器或做出手势的基于手的交互已经被广泛采用作为用于与虚拟现实（VR）和增强现实（AR）盔装显示器（HMD）两者交互的主要方法。相比之下，免提交互避免了对用户的手的需要，尽管它可以提供额外的好处，但在探索和评估这些HMD的免提技术方面的研究有限。随着VR HMD变得无处不在，人们将需要进行文本编辑，这需要选择文本片段。与免提交互类似，文本选择也未得到充分研究。本研究的重点是通过免提交互进行文本选择。我们的探索涉及到一个用户研究，24名参与者调查的性能，用户体验，和三个免提选择机制（驻留，闪烁，语音）的工作量，以补充基于头的指向。结果表明，Blink在完成时间上优于Dwell和Voice。用户的主观反馈也表明，Blink是文本选择的首选技术。这项工作是第一个探索在VR HMD中进行文本选择的免提交互。我们的研究结果为这一重要领域的进一步研究提供了坚实的平台。
2022-10-15 cs.HC
Text Entry in Immersive Head-Mounted Display-based Virtual Reality using Standard Keyboards
我们研究了两种流行的主流文本输入设备，桌面键盘和触摸屏键盘，用于虚拟现实（VR）应用程序的性能和用户体验。我们讨论了有限的视觉反馈所带来的局限性，并研究了不同的使用策略的效率。我们分析了24名参与者在VR中输入的24小时数据，发现新手用户能够在桌面键盘上保持大约60%的打字速度，在触摸屏键盘上保持大约40- 45%的打字速度。我们也没有发现显著的学习效果，这表明用户可以将他们的打字技能快速转移到VR中。除了调查基线性能，我们还研究了键盘和手在空间中的位置。我们发现，这不会对桌面键盘打字的性能产生不利影响，并导致触摸屏键盘打字的性能权衡。
2018-02-02 cs.HC
Experimental Analysis of Freehand Multi-Object Selection Techniques in Virtual Reality Head-Mounted Displays
针对VR头显中徒手多对象选择技术研究不足的问题，本文实证比较了三种模式切换手势与两种组选择技术组合而成的六种方案，揭示了各方案的性能与用户体验差异，并提出了三项设计启示。
2024-09-02 cs.HC
Mindscape: Research of high-information density street environments based on electroencephalogram recording and virtual reality head-mounted simulation
本研究利用脑电图与虚拟现实模拟，探究东亚步行街店面招牌密度对行人脑电波的影响，并提出城市更新与步行街设计策略。
2024-09-02 cs.HC
Virtual Reality-Based Preoperative Planning for Optimized Trocar Placement in Thoracic Surgery: A Preliminary Study
针对胸外科VATS套管针放置依赖经验易致方案欠佳的问题，研究推出首款遵循外科原则的VR术前规划工具，经初步验证其高效易用，有临床应用潜力并可为相关系统开发提供参考。
2024-09-06 cs.HC
Analysis of distracted pedestrians' waiting time: Head-Mounted Immersive Virtual Reality application
本文分析了分心行人在三种情况下的过马路等待时间：1）不分心，2）分心与智能手机和3）分心与智能手机在存在虚拟闪烁的LED灯的人行横道上作为一种安全措施。对于数据汇集的手段，我们采用了内部开发的虚拟沉浸式现实环境（VIRE）。共有42名志愿者参加了实验。记录参与者的位置和头部运动，并用于计算步行速度，加速和减速率，替代安全措施，玩智能手机游戏的时间等数据的描述性分析后，这些变量对行人的等待时间的影响进行了分析，采用考克斯比例风险模型。有几个因素被确定为影响等候时间。结果表明，初始步行速度的增加，在交叉过程中头部朝向智能手机的时间百分比，更大的最小错过的间隙和不安全的交叉点导致更短的等待时间。另一方面，在等待时间，穿越时间和迷宫解决时间期间，头部朝向智能手机的时间百分比增加，意味着参与者的等待时间更长。
2019-03-28 cs.HC
NAVIUS: Navigated Augmented Reality Visualization for Ureteroscopic Surgery
针对输尿管镜视野有限、易漏诊结石的问题，研究提出NAVIUS系统，集成电磁追踪导航与增强现实可视化，经用户研究验证可提升肾集合系统探查范围并降低术者工作负荷。
2025-03-21 cs.HC
Fast, Accurate, but Sometimes Too-Compelling Support: The Impact of Imperfectly Automated Cues in an Augmented Reality Head-Mounted Display on Visual Search Performance
虽然在复杂场景中对目标的视觉搜索可能会受益于使用增强现实（AR）盔装显示器（HMD）技术来帮助有效地引导人类注意力，但不完全可靠的自动化支持可能会在偶尔的错误中表现出来。目前的研究探讨了不同的HMD线索，可能支持视觉搜索性能和自动化错误后各自的后果的有效性。56名参与者在一个房间里搜索了一个包含48个物体的3D环境，以便在每次试验之前找到一个目标物体。他们在没有帮助的情况下进行搜索，或者在HMD的三种提示中的一种的帮助下进行搜索：指向目标的箭头，突出显示目标的平面视图小地图，以及描绘目标对象外观的持续可见图标。在一组参与者的17%的试验中，提示是不正确的，而在第二组中，提示是100%正确的。通过分析和建模的搜索速度和准确性，结果表明，箭头和小地图线索描绘的位置信息更有效的比图标线索描绘的视觉外观，无论是整体，当线索是正确的。然而，在暗示出错的罕见情况下，也有一个权衡。最有效的基于AR的提示导致了更大的自动化偏差，其中提示更经常被盲目地跟随，而没有仔细检查原始图像。结果表明了增强现实的好处，以及当AR传达的信息可能由于不完全可靠的系统而不正确时，需要检查潜在的成本。
2023-03-24 cs.HC
Impact of Smartphone Distraction on Pedestrians' Crossing Behaviour: An Application of Head-Mounted Immersive Virtual Reality
一种新型的头戴式虚拟沉浸式/交互式现实环境（VIRE）被用来评估参与者在三种行人过马路条件下的行为，同时1）不分心，2）用智能手机分心，3）用智能手机分心，并在道路上实施虚拟安全措施。42名志愿者参加了我们的研究，他们在每个交叉条件下完成了30次成功（完全交叉）的试验，每组10次试验。在这两种分心的情况下，行人在虚拟智能手机上玩迷宫解决游戏，同时检查交通是否有安全的交叉口。对于建议的安全措施，智能闪烁和变色LED灯模拟人行横道上警告分心的行人谁发起穿越。代理人的安全措施，以及速度信息和分心的属性，如方向和参与者的头的方向进行了收集和评估，采用多项Logit（MNL）模型。该模型的结果表明，女性有更危险的交叉行为，特别是在分心的条件下;然而，智能LED治疗减少了这种负面影响。此外，在试验和等待时间期间头部面对智能手机的次数和持续时间的百分比分别增加了不安全穿越的可能性;尽管如此，所提出的治疗降低了安全穿越率。因此，我们的研究表明，智能LED灯安全处理确实提高了分心行人的安全性，并提高了成功过街率。
2018-06-17 cs.HC
Towards Immersive Mixed Reality Street Play: Understanding Co-located Bodily Play with See-through Head-mounted Displays in Public Spaces
本研究探讨了透视混合现实头戴式显示器在公共空间中支持同地身体游戏的潜力，通过野外部署开源游戏框架MOFA，揭示了沉浸式混合现实街头游戏的社会影响、挑战与设计建议。
2025-11-01 cs.CY cs.HC
Divergent Perceptuomotor Recalibration in Virtual Reality and Video-Passthrough Mixed Reality on the Same Head-Mounted Display
University of Toronto（多伦多大学）
本研究对比同一设备上VR与MR-VPT的手动指向任务，发现二者感知运动重校准模式存在差异，需分别验证对应交互技术。
2026-08-07 cs.HC
Air Mounted Eyepiece: Design Methods for Aerial Optical Functions of Near-Eye and See-Through Display using Transmissive Mirror Device
我们提出了一种新的方法来实现光学透视盔装显示器，它呈现真实的航空图像与宽视角，称为空气安装目镜（AME）。为了实现AMD设计，我们采用了现成的盔装显示器和通常用于航空真实成像系统的透射镜设备（TMD）。在所提出的方法中，我们复制的功能，盔装显示器（HMD）本身，这是在空中使用，通过使用TMD和呈现一个真正的图像目镜在眼前。此外，它可以通过在眼睛前方放置虚拟透镜而无需佩戴HMD来实现宽视角3D显示。除了增强混合现实和增强现实的体验之外，我们提出的方法还可以用作在诸如汽车和桌面工作的其他应用中使用的3D成像方法。本文旨在通过对这种近眼光学系统的优点和局限性的讨论，为人机交互领域和目镜接口的研究做出贡献。
2017-10-11 cs.HC
Communicating Robot Arm Motion Intent Through Mixed Reality Head-mounted Displays
Brown University（布朗大学）
高效的运动意图通信对于人类和机器人协同工作的安全和协作环境是必要的。人类通过手势、凝视和社交线索有效地将他们的运动意图传达给其他人。然而，机器人通常难以通过这些方法将其运动意图有效地传达给人类。许多现有的机器人运动意图通信方法依赖于2D显示，这需要人类不断暂停工作并检查可视化。我们提出了一个混合现实的盔装显示器可视化建议的机器人运动在佩戴者的真实世界的机器人及其环境的看法。为了评估该系统对2D显示可视化和不可视化的有效性，我们要求32名参与者将不同的机器人手臂运动标记为与桌子上的块碰撞或不碰撞。我们发现，与下一个最好的系统相比，准确率提高了16%，完成任务所需的时间减少了62%。这表明，混合现实HMD允许人类比比较基线更快，更准确地告诉机器人将移动到哪里。
2017-08-11 cs.HC cs.RO
Analyzing the Impact of Augmented Reality Head-Mounted Displays on Workers' Safety and Situational Awareness in Hazardous Industrial Settings
本文在模拟危险工业环境中评估了两款AR-HMDs与智能手机对工人安全与态势感知的影响，发现AR-HMDs未提升危险感知且增加了事故风险，强调引入前需开发安全保持能力。
2025-03-06 cs.HC
Evaluating Foveated Frame Rate Reduction in Virtual Reality for Head-Mounted Displays
本文通过15名参与者的VR用户研究，验证了仅降低周边注视区域帧率可在用户明显感知伪影前大幅减少渲染像素数量，为头显性能优化提供依据。
2025-05-06 cs.GR cs.HC
VRSL:Exploring the Comprehensibility of 360-Degree Camera Feeds for Sign Language Communication in Virtual Reality
Rochester Institue of Technology（罗切斯特理工学院）
本研究通过分析不同摄像位置对VR中手语可理解性的影响，发现肩部摄像位置效果最佳，但需优化摄像角度和减少失真以提升手语交流的可及性。
2026-02-26 cs.HC
Exploring Cross-Reality Transitions between Projections and Head-Mounted Displays for Immersive Digital Art
Trinity College Dublin（都柏林三一学院）
该研究针对混合沉浸式艺术装置中的跨现实转换，通过24人被试内实验揭示了用户感知异构可视化环境转换的规律，并发布了开源Unreal Engine插件HUICRSync以支持相关设计。
2026-08-06 cs.GR cs.HC
Fully Immersive Virtual Reality for Skull-base Surgery: Surgical Training and Beyond
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medicine（约翰斯·霍普金斯医疗集团）
本文提出用于颅底手术的全沉浸式虚拟现实系统FIVRS，结合高保真硬件与逼真手术模拟，记录多模态数据以支持训练和自动技能评估。
2023-05-31 cs.HC cs.RO
Real-Time Onboard Object Detection for Augmented Reality: Enhancing Head-Mounted Display with YOLOv8
Poznań University of Technology（波兹南理工大学）；University of Cambridge（剑桥大学）
提出一种在 Microsoft HoloLens 2 上机载运行 YOLOv8 的 AR 实时目标检测架构，通过边缘优化流水线实现无需云端卸载的实时处理，并保持满意的 mAP 与定性表现。
2023-06-06 cs.CV cs.HC
A Comparative Analysis of Virtual Reality Head-Mounted Display Systems
The Johns Hopkins University（约翰斯·霍普金斯大学）
随着虚拟现实（VR）技术的最新进展，在非娱乐环境中，诸如专业教育和培训、制造、服务或低频率/高风险场景中，这种技术的部署将显著增加。由于VR技术的复杂性、高成本和物流困难，临床教育是一个特别受益于VR技术的领域。VR系统部署的有效性取决于针对娱乐市场的设备可能不一定考虑的因素。在这项工作中，我们系统地比较了广泛的VR盔装显示器（HMD）技术和设计，通过定义一组新的指标，1）与大多数通用VR解决方案相关，2）对于基于VR的教育和培训至关重要。我们根据各种标准评估了10个HMD，包括颈部应变，热发展和颜色准确性。其他指标，如文本可读性，舒适度和对比度感知，在一项多用户研究中对三款选定的HMD进行了评估，即Oculus Rift S，HTC Vive Pro和Samsung Odyssey+。结果表明，HTC Vive Pro在舒适性、显示质量和与眼镜的兼容性方面表现最佳。
2019-12-05 cs.CV cs.HC
Sonic Sculpture: Activating Engagement with Head-Mounted Augmented Reality
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Royal Birmingham Conservatoire, Birmingham City University（伯明翰城市大学皇家伯明翰音乐学院）
这项工作研究了头戴式AR如何用于构建交互式声音景观，以与公共雕塑互动。我们描述了一个声音的艺术品，“听听”，已被设计为伴随着现实世界的雕塑与两个原型的互动计划。我们的作品是为HoloLens平台创建的，这样用户就可以在混合现实环境中获得个性化体验。个人头戴式AR系统最近已经可以用于集成到公共艺术项目中，但是对声音雕塑作品的研究尚未考虑到当前便携式和主流AR系统的可供性。在这项工作中，我们利用HoloLens的空间意识来构建与给定雕塑具有精确空间关系的声音空间，并且雕塑本身在增强场景中被建模为“不可见全息图”。我们描述了我们的艺术作品的艺术原理，两个交互方案的设计，以及我们在迭代开发过程中从演示中获得的技术和可用性反馈。
2020-12-03 cs.HC cs.SD eess.AS
A Novel Visualization System of Using Augmented Reality in Knee Replacement Surgery: Enhanced Bidirectional Maximum Correntropy Algorithm
Charles Sturt University（查尔斯特大学）；Study Group Australia（澳大利亚学习集团）；University of Technology, Baghdad（巴格达技术大学）；University of Kurdistan Hewler（库尔德斯坦赫勒大学）
背景和目的：图像配准和对齐是基于增强现实的膝关节置换手术的主要限制。本研究旨在减少配准误差，消除陷入局部最小值的结果，以改善对齐问题，处理遮挡，并最大限度地提高重叠部分。方法学：将无标记图像配准方法应用于基于增强现实的膝关节置换手术中，以指导和可视化手术操作。采用加权最小二乘算法，从右向左填充边界遮挡，从左向右填充非边界遮挡，增强了基于立体摄像机的跟踪。结果：本研究将影像定位精度提高到0.57 mm~0.61 mm。此外，通过使用双向点，如前、后向云点，减少了图像配准的迭代次数。这也缩短了处理时间。视频帧的处理时间提高到7.4~11.74 fps。结论：很明显，所提出的系统专注于克服由患者移动引起的对准困难，并增强膝关节置换手术期间的AR可视化。该系统可靠性高，通过确定两个云点之间的最佳刚性变换，去除野值和非高斯噪声，消除了对准误差。所提出的增强现实系统有助于准确地可视化和导航膝关节的解剖结构，例如股骨、胫骨、软骨、血管等。
2021-03-13 cs.AI cs.CV cs.HC
Real-Time Head Gesture Recognition on Head-Mounted Displays using Cascaded Hidden Markov Models
头部姿态是人与人之间面对面交流的自然手段，但是在虚拟现实的背景下头部姿态的识别以及头部姿态作为与虚拟化身和虚拟环境交互的接口的使用很少被研究。在目前的研究中，我们提出了一种方法，实时的【形】头部姿态识别的盔装显示器使用级联隐马尔可夫模型。我们进行了两个实验来评估我们提出的方法。在实验1中，我们训练了级联隐马尔可夫模型，并使用收集的头部运动数据评估了离线分类性能。在实验2中，我们通过估计延迟来识别具有记录实时的【形】分类数据的头部姿态，来表征该方法的实时的【形】性能。实验结果表明，该方法在识别头部姿态时是有效的。该方法可以集成到虚拟现实系统中作为用于与虚拟世界交互的头部姿态接口。
2018-02-02 cs.HC
Alignment of the Virtual Scene to the Tracking Space of a Mixed Reality Head-Mounted Display
针对OST-HMD虚拟场景与追踪空间的配准需求，提出黑盒3D投影校准及多点快速对齐方法，并在HoloLens和Epson Moverio BT-300上验证可达约4 mm平均重投影精度。
2019-03-27 cs.HC
Evaluation of Text Selection Techniques in Virtual Reality Head-Mounted Displays
文本选择是包括虚拟现实（VR）盔装显示器（HMD）在内的交互系统中的基本活动。它适用于：跨应用程序或平台共享信息，在阅读文章时突出显示和做笔记，以及文本编辑任务。尽管它很有用，但文本选择交互的空间在VR HMD中还没有得到充分的探索。在这项研究中，我们进行了一项用户研究，24名参与者调查的性能和用户偏好的六个文本选择技术（控制器+驻留，控制器+点击，头+驻留，头+点击，手+驻留，手+捏）。结果显示，Head+Click排名第一，因为它具有出色的速度-准确性性能（第二快的任务完成速度和第三低的总错误率），提供最佳的用户体验，并产生非常低的工作负载-其次是Controller+Click，它具有最快的速度和与Head+Click相当的体验，但总出错率要高得多。根据系统或用户的目标，其他方法也可能是有用的。作为第一个系统的评价指向 * 选择技术在VR中的文本选择，这项工作的结果提供了一个坚实的基础，在这个领域的进一步研究日益重要的VR的未来，以帮助它成为一个更普遍和普及的平台。
2022-10-15 cs.HC cs.MM
Impact of Extended Reality on Robot-Assisted Surgery Training
Rowan-Virtua School of Osteopathic Medicine（罗文-弗吉尼亚骨科医学院）；Rowan University（罗文大学）
本研究通过系统综述与荟萃分析发现，扩展现实模拟器可显著提升新手外科医生的手术表现，其效果与传统物理模拟器训练相当，能在低成本低风险环境下传授复杂手术技能。
2025-01-22 cs.HC cs.RO
Technical Note: Towards Virtual Monitors for Image Guided Interventions - Real-time Streaming to Optical See-Through Head-Mounted Displays
目的：图像引导对于许多干预的成功至关重要。图像显示在指定的监视器上，由于无菌性和空间限制，这些监视器无法进行最佳定位。这种间接可视化导致潜在的闭塞，妨碍手眼协调，导致手术持续时间和外科医生负荷增加。研究方法：我们提出了一个虚拟监视器系统，显示医疗图像的混合现实可视化使用光学透视盔装显示器。该系统可将任何模态的高分辨率医学图像实时的【形】传输到盔装显示器，并与手术部位融合。它允许在头部、世界或身体锚定模式下对图像进行混合现实可视化，因此可以适应特定的程序需求。结果如下：对于典型的图像尺寸，所提出的系统表现出的平均端到端延迟和刷新率分别为214 +- 30 ms和41：4 +- 32：0 Hz。结论：所提出的虚拟监视器系统能够实现医学图像的实时的【形】混合现实可视化。在未来，我们寻求进行第一个临床前研究，以定量评估该系统对标准图像引导程序的影响。
2017-10-02 cs.HC cs.OH
Extended Reality for Knowledge Work in Everyday Environments
虚拟和增强现实有可能改变信息工作。通过将便携式盔装显示器与键盘和平板电脑等传统交互设备相结合，改变员工感官的能力可以将日常环境转变为高效的办公室。虽然近年来为消费者推出了一系列更好、更便宜、更轻的头戴式显示器，但要让这一愿景成为现实，仍有许多挑战需要解决。本章总结了延展实境在日常环境中的知识工作领域的最新技术，并提出了解决开放性挑战的步骤。
2021-11-06 cs.HC
Technological Competence is a Precondition for Effective Implementation of Virtual Reality Head Mounted Displays in Human Neuroscience: A Technological Review and Meta-analysis
沉浸式虚拟现实（VR）作为一种有前途的研究和临床工具出现。然而，一些研究表明，VR引起的不良症状和影响（VRISE）可能会破坏健康和安全标准，以及科学结果的可靠性。在当前的文献综述中，研究了不良关节炎的技术原因，为在认知神经科学中实施VR盔装显示器（HMD）系统提供建议和技术知识。技术系统文献指出了研究人员应考虑的与显示、声音、运动跟踪、导航、人体工程学交互、用户体验和计算机硬件相关的特征。随后，对44项涉及VR HMD系统的神经科学或神经心理学研究进行了荟萃分析。VR研究的荟萃分析表明，新一代HMD诱导的VRISE显著减少，脱落率略低。重要的是，具有人体工程学交互作用的新一代HMD的商业版本的不良反应和脱落率为零。等同于或大于当代HMD的商业版本的HMD伴随有人体工程学交互，适合于在认知神经科学中实施。总之，研究人员的技术能力，以及与软件，硬件和VRISE相关的细致方法和报告，对于确保健康和安全标准以及神经科学结果的可靠性至关重要。
2021-01-20 cs.CY cs.HC cs.MM
Beyond Screens: Supporting Co-located Augmented Reality Experiences with Smart Home Devices
本文提出AR游戏Spooky Spirits，利用智能灯泡等日常设备将增强现实从屏幕扩展至物理世界，支持同地玩家共享环境的互动体验。
2023-09-01 cs.HC
A Review on Organ Deformation Modeling Approaches for Reliable Surgical Navigation using Augmented Reality
The Chinese University of Hong Kong（香港中文大学）
本文综述AR手术导航中的术中器官形变建模方法，系统筛选112篇相关论文，分类梳理技术现状与临床应用，并指出未来研究方向。
2024-08-05 cs.AI cs.HC eess.IV
Distributed Augmented Reality with 3D Lung Dynamics -- A Planning Tool Concept
增强现实（AR）系统通过使用先进的显示技术向世界添加视觉信息。小型化和降低成本的进步使得这些系统中的一些系统在广泛的领域中的应用是可行的。我们为未来的手术室提出了网络基础设施的潜在组成部分;基于分布式AR的软硬件系统，可以实时可视化直接叠加在患者身体上的3D肺动力学。几种紧急事件（例如闭合性和张力性气胸）和与肺相关的外科手术（例如肺移植、肺减容手术、肺部感染的外科治疗、肺癌手术）可以从所提出的原型中受益。
2018-11-29 cs.DC cs.HC
The Impact of Device Type, Data Practices, and Use Case Scenarios on Privacy Concerns about Eye-tracked Augmented Reality in the United States and Germany
Technical University of Munich（慕尼黑工业大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究首次深入探索增强现实中眼动追踪等行为数据的隐私担忧，通过在美、德开展四项众包调查，揭示用户属性、数据实践等因素的影响，发现美国用户隐私担忧少于德国用户，并提出隐私感知增强现实的建议。
2025-11-13 cs.HC
Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Hospital（约翰斯·霍普金斯医院）
光学透视盔装显示器（OST HMD）是融合虚拟物体和物理场景以向其用户提供沉浸式混合现实（MR）环境的关键技术之一。HMD的基本限制是，用户本身不能方便地增强，因为在随意的姿势中，只有远侧上肢在HMD的视场内。因此，大多数以用户为中心的MR应用，例如虚拟更衣室或身体运动的学习，不能用HMD实现。在本文中，我们提出了一个新的概念和原型系统，结合OST HMD和物理镜子，使自我增强，并提供一个身临其境的MR环境为中心的用户。据我们所知，我们的系统是同类中的第一个，它使用连接到HMD的RGBD相机来估计镜子生成的虚拟图像中的用户姿势，并将虚拟对象锚定到反射而不是用户。我们定量评估我们的系统的校准精度和红外信号退化的影响，由于镜子，并显示其在应用中的潜力，大镜子已经是设施的一个组成部分。特别是，我们展示了它的使用虚拟试衣间，游戏应用程序，解剖学学习和个人健身。与配备LCD的智能镜子等竞争设备相比，所提出的系统仅由具有RGBD相机的HMD组成，因此不需要准备好的环境，使其非常灵活和通用。在未来的工作中，我们的目标是研究如何将该系统最佳地用于身体康复和个人训练，作为一个有前途的应用。
2020-07-06 cs.CV cs.HC
Design and Test of an adaptive augmented reality interface to manage systems to assist critical missions
我们提出了一种基于增强现实（AR）和盔装显示器（HMD）的用户界面（UI），用于提高关键操作过程中的态势感知能力，并提高操作人员的效率。UI显示上下文信息，并接受耳机发出的命令，以控制无人驾驶飞行器（UAV）来协助救援队。我们建立了一个实验，让人们处于一个紧张的环境中，并要求他们使用耳机和电脑解决一个复杂的任务。比较这两种技术，我们的研究结果表明，增强现实有潜力成为一个重要的工具，以帮助那些参与紧急情况。
2021-03-25 cs.HC
Text Entry Performance and Situation Awareness of a Joint Optical See-Through Head-Mounted Display and Smartphone System
本文研究了在智能手机输入文本并在光学透视头戴式显示器输出的联合系统性能，通过5项共86人参与的实验表明，当前该联合交互系统的挑战大于潜在收益。
2023-09-07 cs.HC
A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays
Coburg University（科堡大学）；Keio University（庆应义塾大学）；Marxent Labs LLC；Mississippi State University（密西西比州立大学）
光学透视盔装显示器（OST HMD）是用于增强现实的主要输出介质，由于面向消费者的模型（诸如Microsoft Hololens）的不断发布，增强现实在公众中的普及和使用已经显著增长。与虚拟现实头戴式设备不同，OST HMD固有地支持将计算机生成的图形直接添加到用户的眼睛与他们的物理世界视图之间的光路中。与大多数增强和虚拟现实系统一样，OST HMD的物理位置通常由外部或嵌入式6自由度跟踪系统确定。然而，为了适当地渲染被感知为与物理环境空间对准的虚拟对象，还需要精确地测量用户的眼睛在跟踪系统的坐标系内的位置。20多年来，研究人员提出了各种校准方法来确定所需的眼睛位置。然而，迄今为止，还没有对这些程序及其要求进行全面审查。因此，本文调查的OST HMD的校准方法的领域。具体而言，它提供了深入了解校准技术的基础知识，并概述了手动和自动方法，以及评估方法和指标。最后，它还确定了未来研究的机会。%，并因此确定其在3D空间中的位置。
2017-09-13 cs.CV cs.HC
Slippage-robust Gaze Tracking for Near-eye Display
University of Science and Technology of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，头戴式近眼显示器已经成为虚拟现实和增强现实的关键硬件基础。因此，头戴式视线跟踪技术作为人机交互的重要组成部分已经受到关注。然而，头戴式设备（HMD）不可避免的滑动往往会导致较高的视线跟踪误差，并阻碍了HMD的实际使用。针对这一问题，提出了一种基于非球面眼球模型的滑动鲁棒视线跟踪近眼显示方法，精确计算眼球光轴和旋转中心。我们在具有滑动的数据集上测试了几种方法，实验结果表明，该方法显着优于以前的方法（几乎是次优方法的两倍）。
2022-11-01 cs.CV cs.HC
Towards Everyday Virtual Reality through Eye Tracking
Eberhard Karls Universität Tübingen（图宾根大学）；Mathematisch-Naturwissenschaftlichen Fakultät der Eberhard Karls Universität Tübingen（图宾根大学数学与自然科学学院）
随着计算机图形学、硬件技术、感知工程和人机交互技术的发展，虚拟现实和虚拟环境正越来越多地融入我们的日常生活。然而，盔装显示器仍然没有像其他移动设备（诸如智能电话和手表）那样频繁地使用。随着该技术的使用增加以及人类对虚拟应用场景的适应，在不久的将来，将实现日常虚拟现实范例是可能的。当考虑日常虚拟现实和盔装显示器的结合时，眼动追踪是一种新兴技术，有助于以实时的和非侵入性的方式评估人类行为。尽管如此，在这些技术在日常生活中广泛应用之前，还需要对多个方面进行研究。首先，应该彻底理解日常场景中的注意力和认知模型。其次，由于眼睛与视觉生物特征相关，因此需要隐私保护方法。最后，研究或应用程序不应利用具有相对同质特征的有限人类参与者，而应制定协议和用例，使这种技术更容易获得。在这项工作中，考虑到上述几点，一个重大的科学推动日常虚拟现实已经完成了三个主要的研究贡献。
2022-03-29 cs.AI cs.HC
Implementing augmented reality technology to measure structural changes across time
近年来，增强现实（AR）技术在结构健康监测（SHM）中得到越来越多的应用。在地震事件之后的条件的情况下，进行检查以定量地评估损坏模式的进展，并且如果位移模式被确定为不安全，则进行有效的响应。此外，对附近结构变化的短期和长期量化可以为建筑检查员提供信息，以提高安全性。本文提出了一种基于增强现实（AR）头戴式设备（HMD）平台的时间机器测量（TMM）应用。TMM应用程序的主要功能是恢复过去环境中保存的网格，并将其覆盖到真实环境中，以便检查人员可以直观地测量结构变形和其他运动。建议的TMM应用程序进行了验证，旨在模拟现实世界的检查实验。
2021-11-03 cs.HC
Would Gaze-Contingent Rendering Improve Depth Perception in Virtual and Augmented Reality?
在虚拟现实中，近距离被高估，远距离被低估，但对这些扭曲的解释仍然难以捉摸。一个潜在的问题是，当眼睛旋转以观看虚拟场景时，虚拟相机保持静止。在虚拟现实中，当眼睛转动时，使用眼动跟踪来改变虚拟相机的视角是否可以改善深度感知？本文确定了14个不同的视角失真，理论上可能发生从保持虚拟相机固定，而眼睛旋转的上下文中的近眼显示。然而，眼睛运动对显示图像的影响取决于显示器的光学距离，而不是物理距离。由于大多数盔装显示器的光学距离超过1米，因此这些失真中的大多数将仅具有可忽略的影响。例外的是“视在眼内”，这将使附近的虚拟对象看起来与增强现实中相同距离的物理对象发生位移。
2019-05-24 cs.HC
PrivacEye: Privacy-Preserving Head-Mounted Eye Tracking Using Egocentric Scene Image and Eye Movement Features
诸如增强现实显示器之类的眼镜设备越来越多地集成了眼动追踪，但是将用户的注视映射到视觉场景所需的第一人称相机可能对用户和旁观者的隐私构成重大威胁。我们提出了PrivacEye，一种检测隐私敏感的日常情况的方法，并使用机械快门自动启用和禁用眼动仪的第一人称相机。为了在隐私敏感的情况下关闭快门，该方法使用第一人称视频的深度表示，并结合对用户眼球运动进行编码的丰富特征。为了在没有视觉输入的情况下打开快门，PrivacEye仅检测用户眼球运动的变化，以衡量当前情况的“隐私级别”的变化。我们评估我们的方法在第一人称视频数据集记录在日常生活中的情况下的17名参与者，由自己的隐私敏感性注释，并表明我们的方法是有效的，在这个具有挑战性的设置保护隐私。
2019-05-24 cs.HC
State of the Art of Augmented Reality (AR) Capabilities for Civil Infrastructure Applications
增强现实（Augmented Reality，AR）是一种将交互式虚拟对象叠加到真实环境上的技术。自本世纪初以来，AR技术呈现出快速增长的趋势，在工程和科学领域发表了大量研究论文。然而，到目前为止，民用基础设施社区很少实施AR技术。土木工程师在理解和使用AR时面临的挑战之一是在民用基础设施应用能力的背景下缺乏AR的分类。与大多数工程领域一样，民用基础设施的从业者在考虑采用和现场实施之前，优先考虑了解新技术的成熟度。本文比较了自2017年以来市场上可用的16种AR头戴式设备（HMD）的功能，并根据民用基础设施实施的性能对其进行了排名。最后，作者推荐了一个实用的AR接口与民用基础设施和运营的发展框架。
2021-10-17 cs.HC
In-Device Feedback in Immersive Head-Mounted Displays for Distance Perception During Teleoperation of Unmanned Ground Vehicles
近年来，虚拟现实（VR）盔装显示器（HMD）已经被用于为无人地面车辆（UGV）的远程控制提供实时的沉浸式第一人称视图。一个关键问题是，从HMD中的2D视图感知车辆周围的障碍物的距离是具有挑战性的，这恶化了UGV的控制。HMD中使用的传统距离指示器占用屏幕空间，这导致显示器上的混乱，并且可以进一步降低对物理环境的情况感知。为了解决这个问题，在本文中，我们提出了离屏的设备反馈使用振动触觉和/或光视觉线索，以提供实时的距离信息的远程控制的UGV。一项研究的结果表明，在需要持续感知UGV与其环境物体或障碍物之间距离的驾驶任务中，无论是反馈类型、减少工作量还是提高可用性，都能显著提高性能。我们的研究结果显示了设备内振动触觉和/或光视觉反馈的可靠案例，以支持高度依赖于物体距离感知的UGV远程操作。
2022-01-09 cs.HC
Learning Spatial Awareness for Laparoscopic Surgery with AI Assisted Visual Feedback
University of Florida（佛罗里达大学）；Farragut High School（法拉古特高中）
针对腹腔镜手术2D视野限制空间感知的问题，提出基于NVIDIA Isaac Sim的AI辅助MR训练框架，通过在后台定位器械并检测交互，在检测到空间误判时提供3D视觉反馈，有效提升受训者的深度感知与操作安全性。
2025-11-04 cs.HC
Light Virtual Reality systems for the training of conditionally automated vehicle drivers
在有条件自动驾驶汽车中，驾驶员可以在前往目的地时从事辅助活动。然而，当系统达到其功能边界时，驾驶员需要在有限的时间内对接管请求做出适当的响应。在这种情况下，虚拟现实系统代表了一个有前途的培训和学习工具，以正确熟悉驾驶员与自动驾驶汽车，并允许他们与所涉及的新设备进行交互。在这项研究中，有效性的盔装显示器（HMD）为基础的培训计划，在自动驾驶汽车获得互动技能相比，用户手册和固定基地的模拟器。结果表明，培训系统的影响接管性能的评价，在一个测试驱动器中的高端驾驶模拟器。此外，自我报告的措施表明，HMD为基础的培训是首选相对于其他系统。
2018-03-13 cs.HC
DOPAMINE: Doppler frequency and Angle of arrival MINimization of tracking Error for extended reality
在本文中，我们研究如何联合通信和传感（JCAS）可以用来提高基于惯性测量单元（IMU）的延展实境（XR）盔装显示器（HMD）的跟踪精度。当光学和红外（IR）跟踪丢失时使用这种跟踪，并且其缺乏准确性可能导致用户体验的中断。特别是，我们分析了使用基于多普勒的速度估计，以帮助基于加速度计的位置估计，和到达角（AoA）估计，以帮助基于陀螺仪的方向估计的影响。虽然在短时间内不如IMU准确，但基于JCAS的方法需要更少的集成步骤，使跟踪随着时间的推移更具可持续性。基于所提出的模型，我们得出结论，至少在位置估计的情况下，引入JCAS可以使持久的光学/IR跟踪损失更可持续。
2022-12-15 cs.HC
Supporting Musical Practice Sessions Through HMD-Based Augmented Reality
学习一种乐器需要大量的练习，理想情况下，应该每天都做。在练习课程中，学生在绝大多数时间都是自己的，但获得支持学生“及时”的专家是有限的。因此，学生在练习期间通常不会收到任何反馈。充分的反馈，特别是对初学者来说，非常重要，原因有三：（1）防止获得错误的动作，（2）避免由于陡峭的学习曲线而产生的挫折感，以及（3）有害地拉伤肌肉或关节而产生的潜在健康问题。在本文中，我们设想使用盔装显示器作为辅助模态，以支持乐器学习。我们提出了一个模块化的概念，几个援助模式，以帮助学生在他们的实践会议。最后，我们讨论了硬件要求和实现，以实现所提出的概念。
2021-01-04 cs.HC
Evaluating Perceptual Deviations in Video See-Through Head-Mounted Displays while Utilizing Physical Touchscreens
本文设计可推广的人在回路测量方法，比较视频透视HMD与正常视力下触摸闪现标记的定位表现，发现视频透视导致更大距离误差且边缘更严重，但响应时间随练习下降。
2024-10-29 cs.HC
Toward Mixed Reality Hybrid Objects with IoT Avatar Agents
本研究提出一种基于混合现实的IoT Avatar头戴式显示框架与互联架构，利用模糊推理表达IoT设备内部状态与行为，构建了物理与MR混合的IoT对象原型，以更人性化的方式呈现智能空间的情境信息。
2023-05-19 cs.HC
See What I Mean? Mobile Eye-Perspective Rendering for Optical See-through Head-mounted Displays
针对光学透视HMD中摄像头与用户眼部视角的配准偏差问题，提出并评估了三种眼部透视渲染技术，其中基于眼动追踪的Gaze-Proxy EPR作为轻量级方案表现优异。
2025-09-15 cs.HC
Comparison of Spatial Visualization Techniques for Radiation in Augmented Reality
本研究针对AR环境中辐射威胁可视化的难题，提出基于AR头显空间感知网格的实时辐射编码方案，通过用户研究对比不同可视化效果，发现各方案无统计优劣但用户偏好差异大，并给出评估建议。
2024-03-08 cs.HC
Usability of the Size, Spacing, and Depth of Virtual Buttons on Head-Mounted Displays
虚拟现实（VR）允许用户通过输入设备（如盔装显示器）查看和操纵虚拟场景和项目。在这项研究中，按钮的大小，间距和深度对虚拟按钮在VR环境中的可用性的影响进行了研究。收集任务完成时间、错误数量和主观偏好，以测试不同级别的按钮大小、间距和深度。实验是在桌面环境中进行的，使用Oculus Rift和Leap motion。共有18名受试者执行按钮选择任务。在实验条件下，纽扣的尺寸和间距的最佳水平分别为25 mm和5 mm至9 mm。15 mm和1 mm间距的钛板尺寸太小，无法在VR环境中使用。随着按钮尺寸和间距的增加，任务完成时间和错误数量呈下降趋势。然而，由于臂的连续延伸，大的尺寸和间距可能导致疲劳。对于深度效果，触摸方法需要更短的任务完成时间。然而，推的方法记录了较少的错误，由于视觉推反馈。在本文中，我们详细讨论了优点和缺点。这些结果可以应用于VR HMD的许多不同应用领域。
2018-09-16 cs.HC
