I-nteract: A cyber-physical system for real-time interaction with physical and virtual objects using mixed reality technologies for additive manufacturing
本文介绍了I-interact，这是一个网络物理系统，可以在混合增强现实环境中与真实和虚拟对象进行实时的【形】交互，以设计用于增材制造的3D模型。该系统是使用混合现实技术开发的，例如用于增强视觉反馈的HoloLens和用于增强触觉力反馈的触觉手套。该系统的有效性已经通过使用一种新的扫描方法生成3D模型来3D打印用于人类手臂的定制矫形模型，通过估计压缩弹簧的弹簧刚度，以及通过使用手模拟与虚拟弹簧的交互来证明。
2020-02-14 cs.HC
Dynamic X-Ray Vision in Mixed Reality
X射线视觉是一种允许用户看穿墙壁和其他障碍物的技术，是增强现实（AR）和混合现实（MR）的流行技术。在本文中，我们展示了一个动态的X射线视觉窗口，实时渲染的基础上，用户的当前位置，并在物理环境中的移动而变化。此外，窗口的位置和透明度也基于用户的眼睛注视动态地呈现。我们为当前最先进的MR头戴式设备（HMD）- HoloLens 2构建了这个X射线视觉窗口，集成了几个不同的功能：场景理解，眼动追踪和剪切原语。
2022-09-15 cs.HC
Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications
KITE Research Institute, Toronto Rehabilitation Institute, University Health Network（大学健康网络多伦多康复研究所KITE研究所）；Institute of Biomedical Engineering, University of Toronto（多伦多大学生物医学工程研究所）；Department of Health Sciences and Technology, ETH Zürich（苏黎世联邦理工学院健康科学与技术系）；Department of Occupational Science & Occupational Therapy and the Rehabilitation Sciences Institute, University of Toronto（多伦多大学职业科学与职业治疗系及康复科学研究所）
研究评估了HoloLens 2和多种姿态估计算法在手部损伤和物体遮挡条件下的精度，发现算法可泛化至手部损伤人群，透明物体略有优势。
2026-06-17 cs.CV cs.HC
Augmenting Learning with Augmented Reality: Exploring the Affordances of AR in Supporting Mastery of Complex Psychomotor Tasks
本研究探索基于Unity和HoloLens 2的AR原型如何支持复杂心理运动任务的学习，并指出结合AI能自适应搭建学习脚手架以加速专业技能发展。
2023-05-17 cs.HC
Conceptual Design and Preliminary Results of a VR-based Radiation Safety Training System for Interventional Radiologists
最近的研究报告了介入放射学（IR）从业者发生脑和颈部肿瘤以及白内障的风险增加。红外辐射的职业辐射防护一直是管理机构和专业协会最关心的问题。为了最大限度地减少红外辐射中的职业辐射暴露，我们构思了一个基于虚拟现实（VR）的辐射安全培训系统，以帮助操作人员了解复杂的辐射场，并通过类似游戏的交互式模拟来避免高辐射区域。该系统的初步开发已经产生的结果表明，培训系统可以计算和报告辐射照射后，每个培训课程的基础上，从计算幻影和蒙特卡罗模拟和位置信息提供的培训生佩戴的MS Hololens耳机实时计算的数据库。此外，MS Hololens将向学员显示实时剂量率和累积剂量，以帮助他们调整练习。本文介绍了整体硬件和软件设计的概念设计，以及结合MS HoloLens耳机和复杂的3D X射线场空间分布数据来创建用于IR安全培训目的的混合现实环境的初步结果。
2020-01-14 cs.HC physics.med-ph
A Space-Agnostic Visual Game Analytics Tool with Adaptive Spatial Reconstruction for Mixed Reality Game Development
Ontario Tech University（安大略科技大学）；Igor Sikorsky Kyiv Polytechnic Institute（伊戈尔·西科尔斯基基辅理工学院）
针对MR游戏视觉分析工具稀缺且缺乏空间泛化能力的问题，提出一种空间无关工具，集成自适应空间重建与实时目标检测，适用于HoloLens 2，以增强玩家环境洞察。
2026-10-07 cs.HC
Video2MR: Automatically Generating Mixed Reality 3D Instructions by Augmenting Extracted Motion from 2D Videos
Video2MR利用AI动作捕捉将2D教学视频转化为3D化身，通过姿势对比、轨迹可视化、时间操控和视角重定位等增强技术，在Hololens 2上提供更沉浸的体育学习体验。
2024-05-28 cs.HC
Understood: Real-Time Communication Support for Adults with ADHD Using Mixed Reality
本文提出基于HoloLens 2的MR系统Understood，通过实时摘要、情境化词语建议和离题提醒，为成人ADHD患者提供日常沟通支持。
2025-07-26 cs.HC
Investigating Modes of Activity and Guidance for Mediating Museum Exhibits in Mixed Reality
我们提出了一个探索性的案例研究，描述了一个“纯混合现实”的应用程序在博物馆设置的设计和实现，在那里，我们调查使用微软的HoloLens的对象为中心的博物馆调解的潜力。我们的原型支持非专家参观者通过提供与博物馆对象的视觉属性相关的解释来观察雕塑。我们的研究原型的设计和开发是基于两个阶段的游客观察研究和形成性研究，我们进行了应用程序的设计之前。我们总结了这些研究的结果，并解释了它们如何影响我们以用户为中心的内容创作和我们原型的交互设计。我们特别感兴趣的是调查不同的主动性结构在多大程度上影响学习和用户体验。因此，我们详细介绍了我们在原型中实现的三种活动模式。我们的案例研究是由人机交互，人文和博物馆实践领域的研究。因此，我们讨论的核心概念，如基于凝视的互动，以对象为中心的学习，存在，活动和指导模式与跨学科的角度。
2021-06-25 cs.HC
Holoview: An Immersive Mixed-Reality Visualization System for Anatomical Education
本文提出Holoview，一个支持沉浸式交互学习的AR系统，通过手势探索体积解剖数据并采用轻量级架构优化HoloLens实时性能，用户研究表明其在解剖学教育中显著提升知识水平和理解信心。
2025-07-14 cs.GR cs.HC
Just stop doing everything for now!: Understanding security attacks in remote collaborative mixed reality
本文研究了远程协作混合现实中的安全攻击，通过在Microsoft HoloLens 2上实施多种攻击发现用户对沉浸式攻击识别率较低，强调了培训用户和加强安全措施的重要性。
2025-01-27 cs.HC
Catheter Monitoring in Intelligent Endovascular Navigation Systems: Interactive Simulations and Mixed Reality for Enhanced Navigational Awareness
提出一种结合实时导管形状重建、交互式模拟和混合现实可视化的框架，通过有限元模型和传感器数据监测导管-血管相互作用，实验验证位移误差低于2.33毫米。
2026-06-11 cs.HC cs.NA math.NA
Mixed reality hologram slicer (mxdR-HS): a marker-less tangible user interface for interactive holographic volume visualization
混合现实盔装显示器（mxdR-HMD）具有在全息图中可视化体积医学成像数据以提供真正意义上的体积深度的潜力。然而，有效的用户界面还有待于深入研究。触觉用户界面（TUI）使得能够通过对象与全息图进行触觉交互。该对象具有物理属性，指示如何使用多个自由度。我们提出了一个TUI使用一个平面对象（PO）的全息医学体可视化和探索。我们称之为mxdR全息切片器（mxdR-HS）。用户可以对全息图进行切片，以检查特定的感兴趣区域（ROI），并混合互补数据和注释。mxdR-HS引入了一种新颖的实时ad-hoc无标记PO跟踪方法，可用于任何角落可见的PO。mxdR-HS的目标是保持最小的计算延迟，同时保持实际的跟踪精度，以实现商业mxdR-HMD中的无缝TUI集成，这具有有限的计算资源。我们在带有内置深度摄像头的商业Microsoft HoloLens上实现了mxdR-HS。我们的实验结果表明，我们的mxdR-HS具有优越的计算延迟，但跟踪精度略低于两个基于标记的跟踪方法，并导致增强的计算延迟和跟踪精度比10个无标记的跟踪方法。我们的mxdR-HS，在医疗环境中，可以建议作为一个视觉指南，以显示复杂的体积医学成像数据。
2022-01-26 cs.HC
Survey of Large Language Models in Extended Reality: Technical Paradigms and Application Frontiers
本综述全面回顾了大型语言模型（LLMs）与扩展现实（XR）的交叉发展，提出了涵盖交互式智能体控制等关键技术的分类法，并探讨了其在教育、医疗和制造等领域的应用前沿与挑战。
2025-10-11 cs.HC
Point Cloud Registration of non-rigid objects in sparse 3D Scans with applications in Mixed Reality
Liverpool John Moores University（利物浦约翰摩尔大学）
点云配准是指将两个三维点云中的对应点对准同一物体的问题。挑战包括处理噪声和真实世界3D扫描的部分匹配。对于非刚性对象，存在考虑在两次3D扫描之间发生在对象上的对象形状的变形的额外挑战。在这个项目中，我们研究了增强/混合现实领域中用例的非刚性点云配准问题。我们将注意力集中在一类特殊的非刚性变形上，这些变形发生在刚性物体中，这些物体的部件在关节周围相对于彼此移动，例如，带手的机器人和带铰链的机器。我们提出了一个有效的和强大的点云注册工作流程，这些对象和使用Microsoft Hololens 2，一个领先的混合现实设备收集的真实世界的数据进行评估。
2023-01-05 cs.CV cs.GR cs.HC
Exploring an Application of Virtual Reality for Early Detection of Dementia
面对全球性的痴呆问题，采用虚拟现实技术进行了探索。该报告为进一步的研究项目“在VR环境中使用测试工具早期检测痴呆症”奠定了技术基础，该项目说明了在Oculus Go上使用Unity 3D软件开发VR应用程序的过程。初步探索包括三维虚拟场景构建、VR交互设计和监控三个步骤。对勘探成果进行了记录，为后续研究提供了基本的技术指导和详细的方法。
2020-01-15 cs.HC
ShapeFindAR: Exploring In-Situ Spatial Search for Physical Artifact Retrieval using Mixed Reality
通过像Thingiverse这样的存储库，个人制造变得更容易获得，因为它们用检索取代了建模。然而，它们要求用户将空间要求转换为关键字，这描绘了物理工件的不完整画面：比例或形态仅通过文本进行非平凡编码。我们探讨了（未来）物理工件的原位空间搜索的愿景，并提出了ShapeFindAR，一个混合现实工具，使用混合文本查询的原位草图搜索3D模型。使用ShapeFindAR，用户搜索几何形状，而不一定是精确的标签，同时将搜索过程与物理环境（例如，通过现场绘制草图、从存在的对象提取搜索项、或跟踪它们）。我们为HoloLens 2开发了ShapeFindAR，连接到3D打印工件的数据库。我们指定了原位空间搜索，描述了它的优点，并使用ShapeFindAR呈现了walkeries，它突出了用户表达愿望的新颖方式，而不需要复杂的建模工具或深刻的领域知识。
2022-03-31 cs.GR cs.HC
HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality
University of Tsukuba（筑波大学）；University of Calgary（卡尔加里大学）
本文提出HoloBots系统，通过同步全息用户运动与桌面移动机器人，实现混合现实中的有形远程协作，显著提升了用户的共存感和共享体验。
2023-07-30 cs.HC cs.RO
MR4MR: Mixed Reality for Melody Reincarnation
MR4MR通过混合现实技术，让用户通过与周围环境的互动生成并转世旋律，探索音乐与空间的互动体验。
2022-09-15 cs.AI cs.HC
Experiences with CAMRE: Single-Device Collaborative Adaptive Mixed Reality Environment
针对混合现实协作中3D重建慢、数据传输延迟高、需多设备部署的问题，提出单设备系统CAMRE，依托HoloLens 2的场景理解能力与领导者-追随者范式，实现低延迟的共享同步MR场景及导航、X射线视觉等扩展功能。
2023-10-08 cs.HC
pARam: Leveraging Parametric Design in Extended Reality to Support the Personalization of Artifacts for Personal Fabrication
pARam结合参数化设计与扩展现实，支持个人制造工件的原位配置，通过手势和光照评估等实用输入简化定制，并在HoloLens 2上验证了其有效性。
2024-03-14 cs.GR cs.HC
Alignment of the Virtual Scene to the Tracking Space of a Mixed Reality Head-Mounted Display
针对OST-HMD虚拟场景与追踪空间的配准需求，提出黑盒3D投影校准及多点快速对齐方法，并在HoloLens和Epson Moverio BT-300上验证可达约4 mm平均重投影精度。
2019-03-27 cs.HC
Interactive Multi-User 3D Visual Analytics in Augmented Reality
本出版物报告了一个研究项目，在该项目中，我们着手探索增强现实（AR）技术对视觉数据分析的优势和劣势。我们开发了一个AR数据分析应用程序的原型，它为用户提供了一个交互式3D界面，基于手势的控制和多用户支持的共享体验，使多个人能够协同可视化，分析和操纵数据与3D空间中的高维特征。我们的软件原型名为DataCube，运行在Microsoft HoloLens上-这是第一款真正的独立AR耳机之一，通过它，用户可以看到计算机生成的图像覆盖在用户物理环境中的真实物体上。使用手势，用户可以选择菜单选项，通过各种过滤和可视化功能控制3D数据可视化，并在其环境中自由安排各种菜单和虚拟显示。共享的多用户体验允许所有参与的用户看到虚拟环境并与虚拟环境交互，一个用户做出的改变将立即对其他用户可见。当用户一起参与时，他们不受限制地同时观察物理世界，因此他们也可以看到非语言线索，例如物理环境中其他用户的手势或面部反应。该研究项目的主要目标是找出AR接口和协作分析是否可以为数据分析任务提供有效的解决方案，我们的原型系统的经验证实了这一点。
2020-02-13 cs.HC cs.MM
XARA: A Multimodal Agentic System for eXtended Reality Experiment Generation
Laboratory of Innovations in Transportation (LiTrans), Toronto Metropolitan University（多伦多都会大学交通创新实验室）
XARA是集成双LLM架构与沉浸式XR环境的多模态智能体系统，可通过语音指令降低交通研究者开发XR实验的技术门槛，支持快速生成各类交通相关场景原型，适用于多类研究场景。
2026-10-16 cs.HC
Virtual and Augmented Reality-Based Assistive Interfaces for Upper-limb Prosthesis Control and Rehabilitation
功能性上肢假肢训练可以提高用户在控制假肢方面的表现，并已被纳入有需要的个人的职业治疗。近年来，虚拟现实（VR）和增强现实（AR）技术已被证明是提高康复假肢训练系统的便利性的有前途的途径。然而，与传统的假肢工具相比，VR或AR辅助工具的综合功效和有效性是否足够，如果不是，是否可以通过结合其他技术范例来进行增强，这是不确定的。这项工作首先提出了一个混合现实系统，我们开发的假肢控制和培训。五个健全的主体参与在类似的AR和VR环境中执行三维对象操作任务。多个评价指标被应用于评估两种范式内的受试者表现。通过对比分析，我们发现基于虚拟现实的环境促进了更有效的运动以及更高的任务完成率和路径效率，而AR范式允许受试者以更短的时间消耗来执行运动任务。另一项研究是进行评估的效率和可行性的AR促进假肢控制系统相比，在现实世界中，如果任何技术添加可以应用到改进基于AR的系统。三名身体健全的受试者参与了实验，以在a）物理环境，b）AR无旁路环境和c）AR有旁路环境中执行对象操作任务。根据评估结果，我们得出结论，虽然我们的基于AR的系统略微落后于物理系统的有效性，但使用旁路假体进行的研究表明，AR系统有可能提高假体控制的有效性。
2022-04-28 cs.HC
Conservative Plane Releasing for Spatial Privacy Protection in Mixed Reality
University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）
增强现实（AR）或混合现实（MR）平台需要空间理解来检测对象或表面，通常包括它们的结构（即空间几何形状）和光度（例如颜色和纹理）属性，以允许应用将虚拟或合成对象看似“锚定”在现实世界对象上;在某些情况下，甚至允许物理对象和虚拟对象之间的交互。这些功能需要AR/MR平台以高分辨率和高频率捕获3D空间信息;然而，这些对用户隐私造成了前所未有的风险。除了被检测到的对象之外，空间信息还以高特异性揭示用户的位置，例如用户在房屋的哪个部分。在这项工作中，我们建议利用空间概括加上保守的释放，以提供空间隐私，同时保持数据效用。我们设计了一个对手，建立在现有的位置和形状识别方法的3D数据作为攻击者，提出的空间隐私的方法可以进行评估。然后，我们模拟用户在空间内的移动，当他们利用从Microsoft HoloLens收集的3D点云移动时，可以显示更多的空间。结果表明，揭示不超过11个广义平面-从连续揭示的空间积累足够大的半径，即$r\leq1.0m$ -可以使对手无法识别用户的空间位置至少一半的时间。此外，如果累积的空间具有较小的半径，即每个连续揭示的空间是$r\leq 0.5m$，则我们可以释放多达29个广义平面，同时享受更好的数据效用和隐私。
2020-04-17 cs.CR cs.CV cs.HC
Augmented Reality and Mixed Reality Measurement Under Different Environments: A Survey on Head-Mounted Devices
增强现实（AR）和混合现实（MR）是近几年来最具爆炸性的两个研究课题。头戴式设备（HMD）是AR和MR技术的重要媒介，在这两个领域的研究进展中发挥着重要作用。用户行为研究是评估HMD技术进步和有效性的一种方法。此外，AR和MR技术依赖于与真实环境的虚拟交互。因此，真实环境中的条件可能是与用户进行AR和MR测量的重要因素。在本文中，我们调查了87篇与环境相关的HMD论文，其中包括来自用户的测量结果，时间跨度超过32年。我们提供了一个彻底的审查AR和MR相关的用户实验与HMD在不同的环境因素。然后，我们使用一种新的分类方法总结了这篇文献随着时间的推移的趋势，该方法包括四个环境因素，行为实验中用户反馈的存在与否，以及细分这些论文的十个主要类别（例如，用户评估的领域和方法）。我们还对行为实验的特征进行了分类，显示了论文之间的相似性和差异性。
2022-10-29 cs.HC
ARCADE: An Augmented Reality Display Environment for Multimodal Interaction with Conversational Agents
本文提出空间增强现实系统ARCADE，利用光学透视显示让虚拟对话智能体如同真人般自然呈现于房间中，并通过两个对话场景验证了其作为传统显示器替代方案的适用性。
2024-08-12 cs.HC
Integrating Virtual Reality and Large Language Models for Team-Based Non-Technical Skills Training and Evaluation in the Operating Room
Beth Israel Deaconess Medical Center Center（贝希斯尔德医疗中心中心）；Department of Surgery, Northwell Health（外科，北well健康）；College of Engineering, Florida Agricultural and Mechanical University and Florida State University（工程学院，佛罗里达农业与机械大学和佛罗里达州立大学）
本文提出VORTeX平台，结合虚拟现实与大型语言模型，用于手术室团队非技术技能的训练与评估，通过分析团队对话生成交互图谱，提升沟通与协作能力。
2026-01-19 cs.AI cs.HC
Understanding Physical Therapy Challenges for Older Adults through Mixed Reality
本研究通过访谈3名临床医生和6名老年患者，探讨了混合现实技术在解决老年人物理治疗护理与依从性挑战中的潜力，并提出了支持老年人需求的设计考量和实际实施的技术要求。
2025-09-18 cs.HC
SoK: Understanding the Pedagogical, Health, Ethical, and Privacy Challenges of Extended Reality in Early Childhood Education
Coventry University（考文垂大学）；George Mason University（乔治梅森大学）
本文通过系统化研究揭示扩展现实技术在幼儿教育中面临的主要挑战，并提出以儿童为中心的XR设计路线图。
2026-02-13 cs.HC
Pushing the Boundaries of Immersion and Storytelling: A Technical Review of Unreal Engine
本文对Unreal Engine进行技术综述，分析其在创建超逼真环境与沉浸式叙事方面的创新及跨行业应用，指出硬件要求高等挑战并提出云渲染等解决方案，强调其在塑造虚拟现实未来中的关键作用。
2025-07-10 cs.HC
Virtual Reality in University Teaching: Experiences from a Computer Science Seminar
由于冠状病毒大流行，许多课程都使用数字解决方案，以便能够继续教学。传统的协作工具（缩放、蓝色大按钮等）特别是用于数字映射同步会话，以用于教学和学习目的。虽然这些传统的协作工具提供了一个坚实的基础，学习者和教师之间的沟通，如存在或现实类型的互动方面被忽视。在这项工作中，我们报告的经验，从计算机科学研讨会，虚拟现实（VR）技术被用作教学和小组工作的替代解决方案。与传统的协作工具相比，VR的好处是通过问卷调查和对参与者的采访来研究的。一方面，研究结果表明，VR在提高学习内容的清晰度和可体验性以及通过社会存在促进合作方面具有很高的潜力。另一方面，VR的使用带来了一些技术和组织上的困难，在教学实施中应该考虑到这些困难。
2022-11-22 cs.HC
Immersive Mixed Reality Simulator for CT Scan Preparation: Enhancing Patient Emotional and Physical Readiness
本文设计并评估一款沉浸式MR模拟器，通过虚拟CT室漫游、放松训练、扫描模拟和交互反馈帮助首次CT患者做好准备，试点研究表明其可显著降低焦虑并提升检查依从性。
2025-10-03 cs.HC
Technical Note: Towards Virtual Monitors for Image Guided Interventions - Real-time Streaming to Optical See-Through Head-Mounted Displays
目的：图像引导对于许多干预的成功至关重要。图像显示在指定的监视器上，由于无菌性和空间限制，这些监视器无法进行最佳定位。这种间接可视化导致潜在的闭塞，妨碍手眼协调，导致手术持续时间和外科医生负荷增加。研究方法：我们提出了一个虚拟监视器系统，显示医疗图像的混合现实可视化使用光学透视盔装显示器。该系统可将任何模态的高分辨率医学图像实时的【形】传输到盔装显示器，并与手术部位融合。它允许在头部、世界或身体锚定模式下对图像进行混合现实可视化，因此可以适应特定的程序需求。结果如下：对于典型的图像尺寸，所提出的系统表现出的平均端到端延迟和刷新率分别为214 +- 30 ms和41：4 +- 32：0 Hz。结论：所提出的虚拟监视器系统能够实现医学图像的实时的【形】混合现实可视化。在未来，我们寻求进行第一个临床前研究，以定量评估该系统对标准图像引导程序的影响。
2017-10-02 cs.HC cs.OH
On the Emergence of Symmetrical Reality
National Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能全国重点实验室，北京通用人工智能研究院）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
针对现有虚拟现实类技术难以整合、传统以人为中心研究方法存在局限的问题，提出适配人机双感知中心的对称现实框架，展示原型系统与应用实例，为人机共存研究提供指导。
2024-01-26 cs.AI cs.HC
Tap into Reality: Understanding the Impact of Interactions on Presence and Reaction Time in Mixed Reality
本文通过50人的被试内实验，研究混合现实中直接与符号化交互对临场感和反应时间的影响，发现二者相关系数为-0.54，揭示交互对反应时间的影响与对临场感的影响相关。
2025-02-07 cs.ET cs.HC
A Collaborative Untethered Virtual Reality Environment for Interactive Social Network Visualization
随着虚拟现实技术作为游戏和视频播放平台的日益普及，需要研究如何最好地将当前技术水平应用于数据可视化的挑战。许多当前的VR系统是非协作的，而数据分析和可视化通常是一个多人的过程。我们在本文中的目标是解决技术和用户体验的挑战时，出现创建虚拟现实环境的协作数据可视化。我们专注于多个跟踪系统的集成和新的交互模式，这种集成可以使，随着视觉设计的考虑，特别适用于协作网络可视化在虚拟现实。我们展示了一个系统的协作互动与大型3D布局的Twitter朋友/跟随网络。该系统通过结合“Holojam”架构（OptiTrack运动捕捉平台内的多个GearVR头显）和Perception Neuron运动套装构建，提供不受束缚的全房间多人可视化体验。
2016-04-27 cs.GR cs.HC
Structural Health Monitoring of a Foot Bridge in Virtual Reality Environment
老化的民用基础设施系统在任何故障机制变得严重之前需要立即得到关注。结构健康监测（SHM）用于跟踪结构系统的输入和/或响应，以提供决策支持。检查和结构健康监测需要进行实地访问，然后在现场对关键要素进行专家评估，这可能既耗时又昂贵。此外，包括访问和检查在内的实地工作可能构成危险，需要在实地工作期间配备个人防护设备和关闭结构。为了解决这些问题，一个虚拟现实（VR）协作应用程序的开发，使结构和SHM数据从现场到办公室，使许多专家从不同的地方可以同时虚拟访问桥梁结构进行最终评估。在这项工作中，我们提出了一个SHM系统在VR环境中，其中包括必要的技术和视觉信息的工程师作出决定的校园中佛罗里达大学的人行天桥。在此VR应用中，对于可视化阶段，使用UAV（无人机）摄影测量和LiDAR（光探测和测距）方法来捕获桥梁。对于技术评估阶段，分析了作为SHM一部分的振动数据的有限元分析（FEA）和操作模态分析（OMA）。为了更好地可视化结构的动态响应，FEA的操作行为反映在LiDAR点云模型上，以实现沉浸式。允许团队同时协作的多用户功能对于决策活动至关重要。总之，拟议的VR环境提供了进一步自动化和实时改进SHM和FEA模型的潜在优势。
2022-03-03 cs.GR cs.HC
Considerations and Challenges of Measuring Operator Performance in Telepresence and Teleoperation Entailing Mixed Reality Technologies
School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）
评估人类在机器人场景中的表现，例如在远程呈现和远程操作中看到的表现，一直是一项具有挑战性的任务。随着最近混合现实技术的激增以及研究人员随后的关注，在阐明人类感知和最大化整体沉浸感方面开辟了新的途径。然而，在HCI和HRI领域内，评估操作员在虚拟环境中的表现的许多不同的评估方法，研究之间的可比性和可移植性是有限的。在这篇简短的论文中，我们简要概述了现有的方法在评估运营商的表现，包括主观和客观的方法，同时也试图捕捉未来的技术挑战和前沿。最终的目标是帮助和精确定位读者对潜在的重要方向，未来希望提供一个统一的沉浸式框架，通过标准化的一套准则和评估方法的遥操作和遥现。
2021-03-25 cs.HC cs.RO
Holonomy: A Virtual Reality Exploration of Hyperbolic Geometry
本文介绍基于双曲几何的VR环境HOLONOMY，支持用户以物理行走探索无限空间，并阐述渲染、对象布置与最短路径算法等实现及导航游戏验证。
2024-09-09 cs.GR cs.HC
MRGEN: A Conceptual Framework for LLM-Powered Mixed Reality Authoring Tools for Education
LIUM, Le Mans Université（里摩斯大学）；IRISA, Université de Rennes（里莫斯大学）
本文提出MRGEN框架，利用大语言模型帮助教师创建适用于移动设备的混合现实学习活动，实验显示AI辅助显著缩短任务时间，90%以上参与者认为AI支持有助于构思和对齐学习目标。
2026-03-12 cs.AI cs.HC
Mixed-Reality Robot Behavior Replay: A System Implementation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
随着机器人变得越来越复杂，它们必须解释自己的行为以获得信任和接受。然而，仅通过口头解释可能难以完全传达有关过去行为的信息，特别是关于由于机器人或人类的动作而不再存在的对象。人类经常试图模仿过去的动作来配合口头解释。受这种人与人之间的互动的启发，我们在这篇工具论文中描述了机器人过去行为重放系统的技术实现。具体来说，我们使用行为树来编码和分离机器人行为，使用无模式MongoDB来结构化地存储和查询底层传感器数据和关节控制消息，以供将来重播。我们的方法推广到不同类型的重放，包括操纵和导航重放，以及视觉（即，增强现实（AR））和听觉重放。此外，我们简要总结了用户研究，以进一步提供其有效性和效率的经验证据。示例代码和说明可在GitHub上获得，网址为https://github.com/umhan35/robot-behavior-replay。
2022-09-30 cs.HC cs.RO
A survey on applications of augmented, mixed and virtual reality for nature and environment
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Hochschule Worms（沃尔姆斯应用技术大学）；University of Kaiserslautern（凯泽斯劳滕大学）
增强现实（AR）、虚拟现实（VR）和混合现实（MR）由于它们能够提供吸引人的和丰富的体验而成为具有巨大潜力的技术。它们在医药、制造业或娱乐等不同领域的使用正在迅速增加。然而，AR、VR和MR在环境应用领域提供的可能性尚未得到广泛探索。在本文中，我们介绍了一项调查的结果，旨在发现和分类现有的AR/VR/MR应用程序，这些应用程序可以使环境受益或提高对环境问题的认识。我们对AR/VR/MR领域的几个在线出版物访问平台和过去的主要会议论文集进行了详尽的搜索。根据新颖性，技术可靠性，影响力和主题相关性筛选出相关论文，并将其分类为不同的类别。参考所选论文，我们讨论了每一类的应用程序是如何促进环境保护，保存和敏化的目的。我们进一步分析了这些方法以及现有和即将推出的AR/VR/MR使能技术范围内可能的未来方向。
2020-08-28 cs.CV cs.CY cs.GT
