Remote Assistance with Mixed Reality for Procedural Tasks
我们提出了一个体积通信系统,是专为远程援助的程序任务。该系统允许远程专家直观地指导本地操作员。双方共享一个在空间上相同的视图,但对于本地操作员来说,它是他们操作的对象,而对于远程专家来说,对象被呈现为混合现实“全息图”。通过直接在感兴趣的对象或其全息图上执行的语音、手势和注释来提供引导。在通信的每一端,空间都是使用混合现实眼镜可视化的。
2022-08-05 cs.HC
Remote VR Studies -- A Framework for Running Virtual Reality Studies Remotely Via Participant-Owned HMDs
我们调查远程运行虚拟现实(VR)研究的机遇和挑战。如今,许多消费者拥有盔装显示器(HMD),允许他们使用自己的设备在家中参与科学研究。研究人员可以从这种方法中受益,因为他们能够接触到更多样化的研究人群,并在难以让人们进入实验室的时候进行研究(参见新冠疫情)。我们首先进行了一项在线调查(N=227),评估了HMD用户的人口统计数据,他们的VR设置以及他们对远程参与的态度。然后,我们确定了运行远程研究的不同方法,并进行了两个案例研究,以深入了解。我们将我们的研究结果合成为远程VR研究的框架,讨论不同方法的优点和缺点,并得出最佳实践。我们的工作对于在实验室外进行VR研究的HCI研究人员很有价值。
2021-02-22 cs.HC
SPARC: Shared Perspective with Avatar Distortion for Remote Collaboration in VR
提出SPARC方法,通过Avatar失真技术实现多用户VR协作中的共享视角与非语言交流,减少遮挡,研究证明其比逼真设置更高效且认知负荷更低。
2025-04-06 cs.HC
ChameleonControl: Teleoperating Real Human Surrogates through Mixed Reality Gestural Guidance for Remote Hands-on Classrooms
我们提出了变色龙控制,一个真正的人类远程操作系统,可扩展的远程教学动手教室。与现有的视频或基于AR/VR的远程实践教育相比,ChameleonControl使用真人作为远程教师的替代品。在现有的基于人的临场感方法的基础上,我们提出了一种新的方法,通过同步的混合现实手势导航和口头交流来远程操作人类代理人。通过在本地用户的MR视图中覆盖远程指导者的虚拟手,远程指导者可以指导和控制本地用户,就好像他们物理上存在一样。这允许本地用户/代理人将他们的手部动作和手势与远程教师同步,有效地远程操作真实的人。我们在物理治疗培训教室以及其他应用领域(如机械装配、手语和烹饪课程)部署和评估我们的系统。研究结果证实,我们的方法可以提高参与度和共同存在感,显示出远程动手教室的未来潜力。
2023-02-21 cs.HC
MR.Brick: Designing A Remote Mixed-reality Educational Game System for Promoting Children's Social & Collaborative Skills
儿童是受COVID-19相关社交距离影响最大的群体之一,缺乏与同龄人的接触会限制他们发展社交和协作技能的机会。然而,远程社交和协作作为一种替代方法,对儿童来说仍然是一个巨大的挑战。本文介绍了MR砖,混合现实(MR)教育游戏系统,帮助儿童适应远程协作。本研究以24名6 ~ 10岁儿童为研究对象,通过测量他们的社交和协作技能,分析他们的多模式游戏行为,比较MR.Brick和传统电子游戏。结果表明,《砖块先生》比传统电子游戏更有利于儿童的远程协作体验。鉴于缺乏为儿童设计的远程协作培训系统,本研究可能会启发相关领域的交互设计和教育研究。
2023-01-27 cs.HC
Wish You Were Here: Mental and Physiological Effects of Remote Music Collaboration in Mixed Reality
在最近的大流行期间,面对面的音乐合作受到严重限制,混合现实技术及其为音乐家提供与音乐伙伴“身临其境”的感觉的潜力可以提供巨大的机会。为了评估这种潜力,我们进行了一项实验室研究,让音乐家们一起实时制作音乐,同时通过盔装显示器看到他们的干扰伙伴的混合现实点云,并将心理效果(如流动,影响和共存)与纯音频基线进行比较。此外,我们还跟踪了音乐家的生理信号,并评估了他们在自我报告的流量期间的特征。对于在混合现实中干扰的用户,我们观察到共存显着增加。无论在何种条件下(混合现实或纯音频),我们都观察到远程干扰后积极影响的增加。此外,我们确定了心率和HF/LF作为有前途的功能分类流状态的音乐家一起创作音乐时经历的。
2023-01-23 cs.HC
Exploring the Design of Virtual Reality Museums to Support Remote Visitation With Older Adults
本研究通过参与式工作坊调查老年人参观VR博物馆的挑战与偏好,揭示导航、描述、多感官互动等问题,并提出提升可达性的设计原则。
2024-10-19 cs.HC
Model-based Task Analysis and Large-scale Video-based Remote Evaluation Methods for Extended Reality Research
在本文中,我们介绍了两种远程延展实境(XR)研究方法,它们可以克服基于实验室的受控实验的局限性,特别是在COVID-19大流行期间:(1)基于预测模型的任务分析和(2)基于大规模视频的远程评估。我们使用了一个盒子堆叠任务,包括三种交互方式-两种多模态的基于凝视的交互以及一种单模态的基于手的交互,这被定义为我们的基线。对于第一次评估,通过分析任务来执行基于GOMS的任务分析,以了解XR中的人类行为并预测任务执行时间。对于第二次评估,使用一系列第一人称视角视频进行在线调查,其中用户使用三种交互方式执行相应的任务。共有118名参与者被要求根据他们的判断比较互动模式。两个标准的问卷被用来衡量感知的工作量和可用性的方式。
2021-03-13 cs.HC
Secure and Private Spatial Sharing for Mixed Reality Remote Collaboration in Enterprise Settings
JPMorganChase(摩根大通);University of Washington(华盛顿大学)
本文提出了一种企业环境中安全且隐私保护的混合现实空间共享框架,并通过访谈和咨询提出可行的解决方案建议。
2026-02-05 cs.HC
Just stop doing everything for now!: Understanding security attacks in remote collaborative mixed reality
本文研究了远程协作混合现实中的安全攻击,通过在Microsoft HoloLens 2上实施多种攻击发现用户对沉浸式攻击识别率较低,强调了培训用户和加强安全措施的重要性。
2025-01-27 cs.HC
Bridging the Generational Gap: Exploring How Virtual Reality Supports Remote Communication Between Grandparents and Grandchildren
当分开居住时,祖父母和孙辈经常使用视听通信方法来保持联系。然而,这些方法很少提供足够的陪伴和亲密,由于缺乏共存和空间互动,这可以通过沉浸式虚拟现实(VR)来实现。为了了解祖父母和孙辈如何利用VR来促进他们的远程通信,并更好地为未来的设计提供信息,我们对12对祖父母和孙辈进行了以用户为中心的参与式设计研究。结果表明,虚拟现实通过减少代沟提供了随意和平等的沟通,并通过提供共享活动作为连接的桥梁来促进对话。参与者更喜欢在化身上表现出令人愉快的外表,以传达幸福感,但创造理想的自我以获得乐趣。根据研究结果,我们贡献了八个设计启示,为未来基于VR的祖孙通信提供信息。
2023-02-28 cs.HC
Video-Conferencing Beyond Screen-Sharing and Thumbnail Webcam Videos: Gesture-Aware Augmented Reality Video for Data-Rich Remote Presentations
本文针对视频会议中数据呈现支持不足的问题,提出结合多模态交互与增强现实视频的手势感知远程演示方式,并展望未来研究与合作方向。
2025-01-09 cs.HC
CPR Emergency Assistance Through Mixed Reality Communication
本研究设计了用于CPR急救远程援助的混合现实通信系统,通过RGBD体视捕获实现专家空间引导,实验显示其相比视频会议可增加专家视觉交流,且急救表现与负荷无显著差异。
2023-12-14 cs.HC
Exploring the Integration of Extended Reality and Artificial Intelligence (AI) for Remote STEM Education and Assessment
Research Division Shadeeb Engineering Lab(Shadeeb工程实验室研究部);College of Engineering and Information Systems DeVry University(德弗里斯大学工程与信息学院)
提出一种动态游戏化架构的扩展现实人工智能虚拟训练环境,通过沉浸式自适应和动觉学习增强STEM教育,并讨论安全隐私及大规模采用障碍。
2026-03-26 cs.HC
AI-Powered Interfaces for Extended Reality to support Remote Maintenance
本研究提出基于可穿戴目标和人脸朝向的两种免提AR交互接口,结合AI驱动的重力图运动调整与预测深度模型,减少传统交互偏差,支持远程维护。
2023-06-29 cs.HC
CaminAR: Supporting Walk-and-talk Experiences for Remote Dyads using Augmented Reality on Smart Glasses
在本文中,我们提出了CaminAR,一个增强现实(AR)系统之间的二人远程社会行走。CaminAR使两个身体上远离对方的人能够在散步时同步看到和听到对方。该系统显示了一个合作伙伴的化身叠加到物理世界使用智能眼镜,而步行和交谈。使用视觉和听觉增强的组合,CaminAR模拟了当二人组分开时的共位行走体验。
2022-07-28 cs.GR cs.HC
HybridCollab: Unifying In-Person and Remote Collaboration for Cardiovascular Surgical Planning in Mobile Augmented Reality
针对先天性心脏病手术规划依赖3D打印模型缺乏灵活性、现有移动AR协作仅限同地的问题,开发首款iOS AR应用HybridCollab,利用GameKit实现同地与远程团队共享AR心脏模型协作,简化沟通并提升规划有效性。
2025-04-14 cs.HC
Mixed Reality Outperforms Virtual Reality for Remote Error Resolution in Pick-and-Place Tasks
Faculty of Engineering(工程学院);Monash University(墨尔本大学);Faculty of Science Engineering and Built Environment(科学工程与建筑环境学院);Deakin University(迪金大学)
本研究通过21名参与者的实验,比较了混合现实、虚拟现实和摄像头流接口在远程拾放错误解决任务中的表现,发现混合现实接口在任务完成时间、可用性和认知负荷方面均优于其他接口,因其提供更好的空间理解和物理参考。
2025-02-10 cs.HC cs.RO
Beyond the Lab: Large-Scale Remote Cybersickness Research in Virtual Reality Using the VERA Platform
University of Central Florida(中佛罗里达大学);Technical University of Denmark(丹麦技术大学);University of Canterbury(坎特伯雷大学);University of Florida(佛罗里达大学);Rutgers University(罗格斯大学);Davidson College(戴维森学院);Stanford University(斯坦福大学)
本研究利用VERA平台开展大规模远程VR晕动症实验,验证了远程研究结果与实验室研究的一致性,并确认了性别、易感性和预期等因素的影响,为远程VR研究提供了方法论基础。
2026-09-23 cs.HC
SURVIVRS: Surround Video-Based Virtual Reality for Surgery Guidance
针对偏远地区医疗资源不足的问题,研发了SURVIVRS环绕式视频VR手术引导系统,支持远程专家实时指导与手术复盘教学,经可用性评估获用户高度认可,为推动医疗公平提供了可行方案。
2023-02-08 cs.HC
HoloBots: Augmenting Holographic Telepresence with Mobile Robots for Tangible Remote Collaboration in Mixed Reality
University of Tsukuba(筑波大学);University of Calgary(卡尔加里大学)
本文提出HoloBots系统,通过同步全息用户运动与桌面移动机器人,实现混合现实中的有形远程协作,显著提升了用户的共存感和共享体验。
2023-07-30 cs.HC cs.RO
Towards a Virtual Reality Visualization of Hand-Object Interactions to Support Remote Physical Therapy
针对远程物理治疗中手-物交互运动难以可视化评估的问题,本文提出多层3D可视化系统VRMoVi,并通过两阶段研究证明其优于传统表示、可提升交互理解。
2023-12-12 cs.GR cs.HC
Spatial Affordance-aware Interactable Subspace Allocation for Mixed Reality Telepresence
针对混合现实远程呈现中多用户共享空间随远程空间增加而变窄的问题,提出空间可供性感知的可交互子空间分配算法,通过分离可感知与可交互区域,在900种空间组合评估中实现了更宽阔的互空间和更优的用户实例化效果。
2024-08-08 cs.ET cs.HC
Remote Monitoring and Teleoperation of Autonomous Vehicles $-$ Is Virtual Reality an Option?
针对自动驾驶汽车远程监控与遥操作的VR界面优劣未明的问题,通过三项用户研究对比VR系统与工业用实体系统,发现复刻版VR界面无优势、VR的感知与工效问题盖过其益处,但新一代头显有追平潜力。
2023-08-25 cs.HC
Remote Virtual Showdown: A Collaborative Virtual Reality Game for People with Visual Impairments
许多研究人员通过使用各种音频反馈技术为视觉障碍者开发了VR系统。然而,对于视觉障碍者和身体健全者可以共同参与的协作VR系统的研究却少得多。因此,我们开发了一款类似于真实摊牌游戏的VR摊牌游戏,其中两名玩家可以在同一个虚拟环境中一起玩。我们将听觉距离感知使用HRTF(头部相关的变换函数)的基础上的空间位置在VR。我们在摊牌游戏中开发了两种模式。其中一种是PVA(Player vs. Agent)模式,视障人士可以单独玩,另一种是PVP(Player vs. Player)模式,视障人士可以在网络环境中与另一位玩家一起玩。我们通过比较视力障碍者和身体健全者的表现来进行用户研究。用户研究结果表明,视力障碍者在与健全人竞争时赢得了67.6%的游戏。本文报告了一个为视觉障碍者设计的协作式虚拟现实系统的实例,以及为视觉障碍者开发虚拟现实系统的设计指南。
2021-03-31 cs.HC
Augmented Reality Productivity In-the-Wild: A Diary Study of Usage Patterns and Experiences of Working With AR Laptops in Real-World Settings
Carnegie Mellon University(卡内基梅隆大学);INESC-ID, Instituto Superior Técnico, University of Lisbon(葡萄牙里斯本高等技术研究所数据、信息和知识科学研究中心);University of Konstanz(康斯坦茨大学)
本文通过日记研究探讨了在真实世界环境中使用AR笔记本电脑的工作模式和体验,揭示了影响AR使用的关键因素及未来设计挑战。
2026-01-29 cs.HC
A Survey on Synchronous Augmented, Virtual and Mixed Reality Remote Collaboration Systems
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
远程协作系统在当今社会中变得越来越重要,特别是在建议物理距离的时候。工业、研究和个人面临着远距离协作和联网的挑战性任务。虽然视频和电话会议已经很普遍,但增强、虚拟和混合现实中的协作系统仍然是一项利基技术。我们提供了一个同步远程协作系统的最新发展的概述,并通过将它们分为三个主要组成部分,形成这样的系统:环境,化身和交互创建一个分类。对现有系统进行了全面的概述,对其主要贡献进行了分类,以便通过提供有关特定主题(如化身,虚拟环境,可视化风格和交互)的简明信息来帮助在不同领域工作的研究人员。这项工作的重点显然是从远处同步协作。共讨论了82个独特的远程协作系统,包括100多个出版物和25个商业系统。
2021-02-11 cs.CV cs.GT cs.HC
Understanding Physical Therapy Challenges for Older Adults through Mixed Reality
本研究通过访谈3名临床医生和6名老年患者,探讨了混合现实技术在解决老年人物理治疗护理与依从性挑战中的潜力,并提出了支持老年人需求的设计考量和实际实施的技术要求。
2025-09-18 cs.HC
Robotic Haptic Proxies for Collaborative Virtual Reality
提出了一种新的虚拟现实中的交互方法,使用移动机器人作为触觉反馈的代理。这种方法允许VR用户与远程协作者共享和操纵有形的物理对象。因为参与者不直接观察机器人代理,所以它们与虚拟对象之间的映射不需要是直接的。在本文中,我们描述了我们的实现,各种场景的互动,和初步的用户研究。
2017-01-31 cs.HC
AnchorNote: Exploring Speech-Driven Spatial Externalization for Co-Located Collaboration in Augmented Reality
Princeton University(普林斯顿大学)
AnchorNote通过语音转录和LLM摘要将语音想法转化为空间锚定便签,减少写作负担但改变协作方式,探索AR中语音驱动的空间外部化对协作认知的影响。
2026-02-09 cs.HC
DualStream: Spatially Sharing Selves and Surroundings using Mobile Devices and Augmented Reality
本文提出DualStream系统,利用移动AR实现同步远程通信,支持用户与环境空间表征的转换及持久共享空间创建,评估显示其能促进空间交互并有望融入日常远程通信。
2023-09-02 cs.HC
Seeing through the Eyes of AI: Situated Explainability in Augmented Reality
Adelaide University(阿德莱德大学);Graz University of Technology(格拉茨工业大学);Aarhus University(奥胡斯大学);University of Stuttgart(斯图加特大学)
本文提出利用增强现实在用户工作空间中实时呈现空间可解释性信息,以解决传统2D解释与物理环境脱节的问题,并展示已知可解释性方法在AR中的应用及用户见解。
2026-10-05 cs.HC
Towards Massive Interaction with Generalist Robotics: A Systematic Review of XR-enabled Remote Human-Robot Interaction Systems
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
该综述基于PRISMA方法系统回顾了100篇论文,总结了AR、VR、MR等扩展现实技术在远程人机交互中的应用、用户体验增强及交互设计,并指出了未来研究方向。
2024-03-26 cs.HC cs.RO
MemoryPods: Enhancing Asynchronous Communication in Extended Reality
本文提出MemoryPods系统,通过空间和时间准确的记录、标注与回放,以及AI摘要功能,增强XR中的异步通信,并在远程维护评估中显著提升理解力,适用于多个领域。
2025-02-21 cs.HC
The Value of Extended Reality Techniques to Improve Remote Collaborative Maintenance Operations: A User Study
本研究针对AEC领域远程维护协作受限的问题,提出结合MR、VR装置与共享数字模型的XR协同方案,经用户研究验证可显著提升巡检效率、减少操作错误。
2024-02-29 cs.GR cs.HC
Exploring the Effect of Viewing Attributes of Mobile AR Interfaces on Remote Collaborative and Competitive Tasks
本文研究了移动AR界面中目标观看角度、同步方式和辅助小屏幕等观看属性对远程协作与竞争任务的影响,提出五种技术并通过用户研究证明,允许在小屏幕上异步观看对象操作的技术能实现最佳表现和用户偏好,为MAR远程任务设计提供了新方案与建议。
2025-11-03 cs.HC
CrossAtlas: Evaluating Projection Techniques for Spatial Referencing in Cross-Reality Collaboration
Georgia Tech(佐治亚理工学院);University of Stuttgart(斯图加特大学);JPMorgan Chase(摩根大通);Virginia Tech(弗吉尼亚理工大学);Northeastern University(东北大学)
CrossAtlas是整合多种投影技术的PC-VR协作平台,经24组双人受控研究发现,球形投影变体在空间参考任务中表现优于平面投影,可提升跨现实协作效果。
2026-07-31 cs.HC
Hardware-Free Robotics Laboratories in Mixed Reality
Technical University of Munich(慕尼黑工业大学)
提出MR-Robotics LAB混合现实平台,以真实尺度重放MATLAB机器人轨迹,评估显示低设置工作量和高接受度,为无硬件机器人教学提供可复用路径。
2026-09-17 cs.HC cs.RO
Exploring Multiview UI Layouts and Placement Strategies for Collaborative Sensemaking in Virtual Reality
研究探讨了虚拟现实中多视图界面布局与放置策略,通过用户研究发现半圆形布局在协作中常见,图像+文本文档降低比较任务负荷,图表降低分类任务负荷,并提出设计指南支持VR协作。
2025-11-22 cs.HC
Stitching the Divide: Investigating Mixed Reality as a Bridge Between Paper-Based and Digital Artifacts in UI/UX Design
Polytechnique Montréal(蒙特利尔理工大学)
通过访谈和概念探针研究,发现混合现实能实现连续混合设计工作流、减少手动重建、支持空间锚定工作区及实时跨媒介协作,并推导出未来MR系统的四个设计维度。
2026-06-18 cs.HC
Mixed Reality Interface for Digital Twin of Plant Factory
Imagination Garden Inc.(Imagination Garden公司)
植物工厂的数字孪生需要更简单、直观的界面架构。我建议为智能农业的数字孪生模型提供一个沉浸式和交互式的混合现实界面,用于远程工作,而不是模拟组件。该环境由UI显示器和流式背景场景构成,流式背景场景是从位于植物工厂中的摄像机设备拍摄的实时的场景,用可变形的神经辐射场处理。用户可以使用HMD或基于混合现实环境的2D显示器来监控远程工厂设施。本文还介绍了详细的概念,并描述了系统架构,以实现建议的混合现实接口。
2022-10-29 cs.HC cs.LG cs.MM
Collaborative Remote Control of Unmanned Ground Vehicles in Virtual Reality
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
虚拟现实(VR)技术通常用于娱乐应用;然而,它也被部署在我们生活中更重要方面的实际应用中,例如安全。为了支持在危险行业工作的人们,VR可以确保操作员操作标准化任务,并协同工作以应对潜在风险。令人惊讶的是,很少有研究关注人们如何在VR环境中协同工作。很少有研究关注操作员在协作任务中的认知负荷。一旦任务需求变得复杂,许多研究人员就专注于优化交互界面的设计,以减少操作员的认知负荷。这种方法可能是有价值的;然而,它实际上可能使操作员承受更大的认知负荷,并可能导致更多的错误和合作失败。在本文中,我们提出了一个新的协作VR系统,支持两个遥控器在VR环境中工作,远程控制无人驾驶的地面车辆。我们使用了一个比较实验来评估协作VR系统,重点是任务所花费的时间和操作的总数。我们的研究结果表明,在操作过程中的过程总数和认知负荷显着低于两人组比单人组。我们的研究揭示了设计VR系统,以支持协作工作的远程操作员的工作流程,而不是简单地优化设计结果。
2022-08-24 cs.HC cs.RO
PhyShare: Sharing Physical Interaction in Virtual Reality
我们提出了PhyShare,一个新的触觉用户界面的基础上驱动机器人。虚拟现实近来得到了广泛的采用,并且在这些场景中有效的触觉反馈可以在桥接虚拟和物理世界中强有力地支持用户的感觉。由于参与者不直接观察这些机器人代理,我们研究了物理机器人和虚拟代理之间的多个映射,这些映射可以利用提供全面VR体验所需的资源。PhyShare机器人可以作为直接可触摸的对象或物理对象的不可见载体,这取决于不同的场景。它们还支持分布式协作,允许远程VR协作者共享相同的物理反馈。
2017-08-10 cs.HC
I-nteract 2.0: A Cyber-Physical System to Design 3D Models using Mixed Reality Technologies and Deep Learning for Additive Manufacturing
University College Dublin(都柏林大学学院);CentraleSupélec(中央理工-高等电力学院);Imperial College London(伦敦帝国理工学院)
I-interact是一个网络物理系统,通过利用混合现实技术,实现与虚拟和真实工件的实时交互,为增材制造设计3D模型。本文介绍了新的进展,在开发的互动平台I-interact生成的三维模型,同时使用建设性的立体几何和人工智能。该系统还使用户能够相对于其物理工作空间调整3D模型的尺寸。通过生成家具的3D模型(例如,椅子和桌子),并将它们装配到混合现实环境中的物理空间中。
2020-10-21 cs.AI cs.HC cs.LG
Augmented Reality-Based Smart Structural Health Monitoring System With Accurate 3D Model Alignment
Western University(韦仕敦大学);The Western Academy for Advanced Research, Western University(韦仕敦大学西方高级研究院)
本文提出基于增强现实的结构健康监测系统,通过BIM可视化和3D全息图操作实现精确的3D模型对齐,提升远程协作检查的效率与准确性。
2025-12-17 cs.HC
Studying Mobile Spatial Collaboration across Video Calls and Augmented Reality
ATLAS Institute, University of Colorado Boulder(科罗拉多大学博尔德分校 ATLAS 研究所);Ericsson Research(爱立信研究院);Ericsson Inc.(爱立信公司);University of Wyoming(怀俄明大学)
研究视频通话和增强现实中的移动空间协作,探讨两种媒介在空间协作中的不同表现及设计启示。
2026-01-24 cs.HC
HoloDevice: Holographic Cross-Device Interactions for Remote Collaboration
本文提出全息跨设备交互概念,通过混合现实头显实时全息渲染远程设备,开发了 HoloDevice 原型系统,实现远程设备间如同处一地的精确交互并虚拟增强交互体验。
2024-05-28 cs.HC
Discussing Risks and Benefits in the Future of Hybrid Rehabilitation and Fitness in Mixed Reality
本文针对体力活动减少等问题,探讨混合现实技术用于康复与健身的风险与潜在收益,提出可借助VR、动作捕捉等技术优化居家肢体动作的反馈与指导。
2024-05-16 cs.HC
ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);R&D Center, MWS(MWS研发中心)
ORCESTRA是一款混合现实系统,通过无代码路径点示教和语言引导控制实现机器人数字孪生编程,支持多种异构机器人,其混合现实验证可作为语言引导机器人物理部署前的安全层。
2026-08-04 cs.CV cs.HC cs.RO
"Feeling that I was Collaborating with Them:" A 20-year Scoping Review of Social Virtual Reality Leveraging Collaboration
University of Notre Dame(圣母大学)
本文通过20年综述揭示社会虚拟现实如何通过增强个体体验、促进团队动态和利用VR独特特性支持远程协作,强调未来研究应探索沉浸式环境对长期协作和包容性参与的影响。
2026-01-21 cs.HC
Enabling Waypoint Generation for Collaborative Robots using LLMs and Mixed Reality
MIT Media Lab(麻省理工学院媒体实验室);University of Southern Denmark(南丹麦大学);Universal Robots A/S(优傲机器人公司)
提出一种利用大语言模型和增强现实实现自然语言控制机器人路径点生成的框架,并通过真实机器人上的拾放任务验证其有效性。
2024-07-17 cs.HC cs.RO
CoBranchMR: Supporting Parallel Design and Conflict Resolution in Mixed Reality
University of Notre Dame(圣母大学)
CoBranchMR是一种混合现实系统,通过分支-合并工作流支持分布式协作者并行设计、冲突解决与协商,引入新的协作交互模型。
2026-09-24 cs.HC
You Can't Hide Behind Your Headset: User Profiling in Augmented and Virtual Reality
虚拟和增强现实(VR、AR)由于技术进步和对远程连接的需求而日益受到关注,最近的疫情加剧了这种需求。远程手术、远程机器人和虚拟办公室只是他们成功的一些例子。当用户与VR/AR交互时,他们会生成大量的行为数据,这些数据通常用于衡量人类行为。然而,人们对这些数据如何用于其他目的知之甚少。在这项工作中,我们证明了用户分析的可行性,在两个不同的虚拟技术的用例:AR日常应用程序($N=34$)和VR机器人遥操作($N=35$)。具体来说,我们利用机器学习来识别用户并推断他们的个人属性(即,年龄、性别)。通过监控用户的头部、控制器和眼球运动,我们调查了几项任务(例如,走路、看东西、打字)。我们的贡献提供了重要的见解,在虚拟环境中的用户分析。
2022-09-22 cs.CR cs.HC
SHARE: Towards Head-Mounted AR with User-Centric SLAM in Shared Human-Robot Workspaces
Duke University(杜克大学)
研究针对共享人机工作空间中现有多智能体SLAM系统忽略异构智能体不同延迟要求的问题,设计实现SHARE系统。该系统以用户为中心,构建体验模型并调整传输优先级,利用视觉特征冗余降低延迟,实际部署效果良好,提升了用户感知。
2026-07-28 cs.HC cs.RO