ERUPT: An Open Toolkit for Interfacing with Robot Motion Planners in Extended Reality
Parasol Lab, Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(Parasol实验室,Siebel计算与数据科学学院,伊利诺伊大学厄巴纳-香槟分校);Insper;Department of Computer Science at Instituto Tecnológico Autónomo de México (ITAM)(墨西哥自主技术学院计算机科学系)
本研究提出开源XR工具包ERUPT,集成MoveIt框架支持交互式机器人运动规划,提供多模态自然交互与路径可视化,可在虚拟空间验证后部署到实体机器人。
2026-09-22 cs.HC cs.RO
TanGi: Tangible Proxies for Embodied Object Exploration and Manipulation in Virtual Reality
由于传统控制器和徒手交互技术的限制,探索和操纵复杂的虚拟对象是具有挑战性的。我们提出的TanGi工具包,使新手能够快速构建物理代理对象使用可组合的形状原语。TanGi还提供了操纵器,允许用户构建包括可移动部件在内的对象,使其适用于VR中丰富的对象探索和操纵。通过一组不同的用例和应用程序,我们展示了TanGi工具包的功能,并评估了它的使用。在一项有16名参与者的研究中,我们证明了新手可以使用可组合形状原语快速构建物理代理对象,并探索不同层次的对象体现如何影响虚拟对象探索。在第二项研究中,12名参与者,我们评估TanGi的操纵器,并调查体现互动的有效性。这项研究的结果表明,TanGi的代理优于传统的控制器,并普遍受到参与者的青睐。
2020-01-09 cs.HC
Label Guidance based Object Locating in Virtual Reality
虚拟现实中的目标定位技术在虚拟装配、虚拟维修、虚拟远程指导等虚拟现实应用中有着广泛的应用。然而,当在虚拟环境(VE)中存在大量对象时,用户不能有效且舒适地定位目标对象。本文提出了一种基于标签引导的虚拟现实中目标物体定位方法。首先,我们引入了基于标签引导的目标定位流水线,提高了目标定位的效率。它将所有对象的标签排列在同一屏幕上,让用户先选择目标标签,然后使用飞行标签将用户引导到目标对象。在此基础上,提出了一种两级层次的分类定向标签布局,使用户能够高效、舒适地选择候选标签。在此基础上,提出了基于视角和视线的标签引导方法,在候选标签的引导下,为候选标签生成特定的飞行轨迹,更新候选标签的飞行速度,保留有效的候选标签,并在目标定位过程中实时的去除无效的候选标签。用户研究结果表明,与传统方法相比,该方法显著提高了目标定位的效率,降低了目标定位的任务量。
2022-12-07 cs.HC
Investigating Modes of Activity and Guidance for Mediating Museum Exhibits in Mixed Reality
我们提出了一个探索性的案例研究,描述了一个“纯混合现实”的应用程序在博物馆设置的设计和实现,在那里,我们调查使用微软的HoloLens的对象为中心的博物馆调解的潜力。我们的原型支持非专家参观者通过提供与博物馆对象的视觉属性相关的解释来观察雕塑。我们的研究原型的设计和开发是基于两个阶段的游客观察研究和形成性研究,我们进行了应用程序的设计之前。我们总结了这些研究的结果,并解释了它们如何影响我们以用户为中心的内容创作和我们原型的交互设计。我们特别感兴趣的是调查不同的主动性结构在多大程度上影响学习和用户体验。因此,我们详细介绍了我们在原型中实现的三种活动模式。我们的案例研究是由人机交互,人文和博物馆实践领域的研究。因此,我们讨论的核心概念,如基于凝视的互动,以对象为中心的学习,存在,活动和指导模式与跨学科的角度。
2021-06-25 cs.HC
ChameleonControl: Teleoperating Real Human Surrogates through Mixed Reality Gestural Guidance for Remote Hands-on Classrooms
我们提出了变色龙控制,一个真正的人类远程操作系统,可扩展的远程教学动手教室。与现有的视频或基于AR/VR的远程实践教育相比,ChameleonControl使用真人作为远程教师的替代品。在现有的基于人的临场感方法的基础上,我们提出了一种新的方法,通过同步的混合现实手势导航和口头交流来远程操作人类代理人。通过在本地用户的MR视图中覆盖远程指导者的虚拟手,远程指导者可以指导和控制本地用户,就好像他们物理上存在一样。这允许本地用户/代理人将他们的手部动作和手势与远程教师同步,有效地远程操作真实的人。我们在物理治疗培训教室以及其他应用领域(如机械装配、手语和烹饪课程)部署和评估我们的系统。研究结果证实,我们的方法可以提高参与度和共同存在感,显示出远程动手教室的未来潜力。
2023-02-21 cs.HC
Towards Situation Awareness and Attention Guidance in a Multiplayer Environment using Augmented Reality and Carcassonne
Malmö University(马尔默大学);Lund University(隆德大学);University West(西部大学)
增强现实(AR)游戏是研究和测试计算系统的丰富环境,该计算系统提供微妙的用户指导和培训。特别地,旨在增强用户的态势感知的计算机系统受益于AR耳机中可用的传感器和计算能力的范围。在这篇正在进行的论文中,我们提出了一个新的环境,研究态势感知和注意力引导(SAAG):一个增强现实版本的棋盘游戏卡尔卡松。我们还介绍了我们在制作SAAG管道方面的初步工作,包括创建游戏状态编码,开发和训练游戏AI,以及设计情境建模和凝视跟踪系统。
2022-08-18 cs.AI cs.HC
Mixed Reality Guidance of a Surgical Scalpel Using Magic Leap: Evaluation on a 3D-Printed Liver Phantom
Department of Computer Science(计算机科学系);Department of Hepatobiliary Surgery(肝胆外科);Biomedical Engineering Institute, MedTech Labs(MedTech Labs 生物医学工程研究所);University of Cincinnati(辛辛那提大学)
本文提出基于 Magic Leap 的混合现实手术刀引导系统,并在3D打印肝脏模型上验证其可显著提升切除精度与速度。
2025-10-04 cs.HC
SURVIVRS: Surround Video-Based Virtual Reality for Surgery Guidance
针对偏远地区医疗资源不足的问题,研发了SURVIVRS环绕式视频VR手术引导系统,支持远程专家实时指导与手术复盘教学,经可用性评估获用户高度认可,为推动医疗公平提供了可行方案。
2023-02-08 cs.HC
Imperceptible Gaze Guidance Through Ocularity in Virtual Reality
本研究提出一种基于眼性的VR隐形视线引导技术,利用双眼输入差异的不显眼线索引导注意力,经15人视觉搜索实验验证有效,可在不破坏沉浸感的前提下实现视线引导与3D深度渲染。
2024-12-12 cs.HC
Adaptive Gen-AI Guidance in Virtual Reality: A Multimodal Exploration of Engagement in Neapolitan Pizza-Making
本研究通过54人对照实验,结合视觉注意力、探索行为和言语交互等多模态指标,发现在VR披萨制作任务中中等自适应Gen-AI引导最能提升用户参与度,并为自适应教育技术设计提供建议。
2025-05-07 cs.HC
Dream-Butterfly: Configuring Embodied Conversational Guidance for Public Outdoor Mixed Reality Exhibitions
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文通过研以致用方法,开发了Dream-Butterfly,一种在户外MR展览中提供多语言解释的AI导览员,探索了人机协作在安全受限环境中的应用与影响。
2026-09-26 cs.HC
Discussing Risks and Benefits in the Future of Hybrid Rehabilitation and Fitness in Mixed Reality
本文针对体力活动减少等问题,探讨混合现实技术用于康复与健身的风险与潜在收益,提出可借助VR、动作捕捉等技术优化居家肢体动作的反馈与指导。
2024-05-16 cs.HC
VibraForge: A Scalable Prototyping Toolkit For Creating Spatialized Vibrotactile Feedback Systems
针对现有工具包可扩展性有限导致触觉设计师难以创建多执行器空间化振动触觉反馈系统的问题,提出支持128个执行器的开源工具包VibraForge,通过链式连接和独立控制实现低延迟高带宽通信,经技术评估和多领域案例验证其有效性与易用性。
2025-02-13 cs.HC
WestDrive X LoopAR: An open-access virtual reality project in Unity for evaluating user interaction methods during TOR
随着高度自动化车辆的进一步发展,驾驶员将在驾驶时从事无关的任务。尽管如此,司机必须在汽车要求时接管控制权。这里的问题出现了,当汽车请求接管时,潜在的分心驾驶员如何快速安全地回到控制回路。为了研究移动设备中有效的人机交互,需要多功能且具有成本效益的设置。我们为Unity 3D游戏引擎开发了一个虚拟现实工具包,其中包含所有必要的代码和资产,以便快速适应各种人机交互实验,包括密切监控受试者。该项目包含了现实交通行为、汽车和行人所需的所有功能,以及一个大型、开源、可编写脚本的模块化VR环境。它占地约25平方公里,由125个动画行人和众多车辆组成,包括摩托车,卡车和汽车。它还包含了所有必要的自然资产,使其既高度动态和现实。所呈现的存储库包含为LoopAR制作的C++库,该库作为完全支持的组件为游戏方向盘提供力反馈。它还包括在所用设备中进行眼动跟踪的所有必要脚本。所有主要功能都集成到Unity编辑器的图形用户界面中,或者作为预制变体提供,以简化嵌入式功能的使用。这个项目的主要目的是作为一个开放开放获取,具有成本效益的工具包,使感兴趣的研究人员进行现实的虚拟现实研究,而无需昂贵的和固定的模拟器。
2020-12-22 cs.HC
Ubiq: A System to Build Flexible Social Virtual Reality Experiences
虽然社交虚拟现实(SVR)系统长期以来一直是学术研究的主题,但它们现在在当前的消费者虚拟现实系统上吸引了越来越多的受众。SVR系统的设计空间非常大,并且对于如何构建这些系统以使其可用和有效,所知相对较少。在本文中,我们提出了Ubiq,一个工具包,专注于促进SVR系统的建设。我们论证了Ubiq的设计策略及其范围。Ubiq基于Unity平台。它提供了许多SVR系统的核心功能,如连接管理,语音,化身等,但是,它的设计仍然很容易扩展。我们展示了建立在Ubiq上的例子,以及它如何成功地用于课堂教学。Ubiq是开源的(Apache许可证),因此可以实现商业系统无法实现的几个用例。
2021-12-16 cs.HC
Post-Lecture Interactive Environments for Conceptual Learning: A Randomized Comparison of Mixed Reality and Tangible Instruction in Undergraduate STEM Education
The University of Texas at Arlington(阿灵顿得克萨斯大学)
研究本科固体力学课后互动环境对概念学习的作用,用随机比较法对比沉浸式混合现实应用、实体工程工具包与纯讲座教学,发现互动环境效果好,各有优势。
2026-07-07 cs.HC
Automated capture and delivery of assistive task guidance with an eyewear computer: The GlaciAR system
在本文中,我们描述和评估的混合现实系统,旨在增强用户的任务指导应用相结合的自动化和无监督的信息收集与微创视频指南。其结果是一个自包含的系统,我们称之为GlaciAR(用于增强现实的启用玻璃的上下文交互),该系统通过从观察用户执行的动作中提取上下文交互来运行。GlaciAR能够i)基于头部运动注意力模型自动确定相关时刻,ii)自动生成视频指导信息,iii)基于目标检测方法触发这些视频指导,iv)通过观察多个用户而无需监督地学习,以及v)完全在当前眼镜计算机(Google Glass)上运行。我们描述了GlaciAR的组成部分,以及对用户如何使用该系统实现三项任务的评估。我们认为这项工作是朝着开发系统的第一步,该系统旨在扩大指导系统中众所周知的困难创作问题,并通过微创视觉指导增强人们的自然能力。
2016-12-29 cs.HC
Evaluating the Effects of Situated and Embedded Visualisation in Augmented Reality Guidance for Isolated Medical Assistance
本文比较增强现实中的嵌入式与情境化投影两种可视化形式,通过23名潜在/新手医疗知识参与者的实验,发现嵌入式可视化在精度上更优,旨在为隔离医疗辅助提供合适指导格式,并计划与国家空间局合作在真实环境验证。
2025-02-13 cs.HC
Mixed Reality Heritage Performance As a Decolonising Tool for Heritage Sites
本研究推出全球首创的融合智能AR眼镜与现场戏剧的混合现实遗产表演(MRHP),用于揭示遗产地的奴隶制相关隐秘历史,同时开发配套工具指南助力遗产机构去殖民化,评估验证其教育吸引力,并将设计经验整理为工具包支持同类项目。
2024-04-10 cs.HC
RÉCITKIT: A Spatial Toolkit for Designing and Evaluating Human-Centered Immersive Data Narratives
针对沉浸式数据叙事缺乏构建指导的问题,本文提出工具包RÉCITKIT以支持HMD环境中的空间数据叙事,通过案例开发与21人评估验证其价值,为相关领域工具包驱动方法提供参考。
2025-08-26 cs.HC
Investigating Encoding and Perspective for Augmented Reality
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
该研究针对现有AR动作引导设计指南适用场景有限的问题,通过实验探究不同视觉编码和视角对动作引导性能与可用性的影响,发现设计效果受动作可见度等因素影响,并提出了实证性的AR动作引导可视化设计指南。
2025-10-01 cs.HC
Smart Navigation for Visual Prostheses in Virtual Reality: An End-to-End Framework for Priority-Based Scene Translation and Path Guidance
Cairo University(开罗大学);New Giza University(新吉萨大学)
针对视觉假体用户户外导航困难,提出一个三阶段端到端智能导航框架,通过目标检测、优先级过滤和刺激参数编码生成幻视表征,经虚拟现实验证提升用户独立性。
2026-10-06 cs.HC
ARTiST: Automated Text Simplification for Task Guidance in Augmented Reality
New York University(纽约大学)
本文提出 ARTiST 系统,利用少样本提示、GPT-3 与错误校准模型为 AR 头戴显示生成简化任务文本,实验证明其可显著降低认知负荷并提升任务表现。
2024-02-29 cs.CL cs.HC
AdapTics: A Toolkit for Creative Design and Integration of Real-Time Adaptive Mid-Air Ultrasound Tactons
AdapTics工具包通过图形界面、软件库和Unity包支持运行时动态调整的自适应空中超声触觉反馈的快速原型设计与应用集成,并在用户研究中验证了其对设计师探索性和表现力的提升。
2024-04-30 cs.HC
An Accessible Toolkit for 360 VR Studies
本文提出了一个用于360 VR研究的开源工具包,采用无障碍优先设计,利用游戏引擎技术让参与者沉浸在360度视频环境中,并允许研究人员通过桌面应用程序直观引导实验,克服了传统可访问性限制。
2023-10-23 cs.HC cs.MM
Open Medical Gesture: An Open-Source Experiment in Naturalistic Physical Interactions for Mixed and Virtual Reality Simulations
本文介绍USC面向军事战斗医护训练开发的开源工具包Open Medical Gesture,通过传感器无关的直接手部交互操作虚拟智能物体,为MR/VR模拟提供直观、低挫败感的自然交互方案。
2023-08-14 cs.HC
ChromaCorrect: Prescription Correction in Virtual Reality Headsets through Perceptual Guidance
University of Leeds(利兹大学);University College London(伦敦大学学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
当今世界人口的很大一部分患有视力障碍并佩戴处方眼镜。然而,当与增强和虚拟现实头戴式设备一起使用时,眼镜导致额外的体积和不适,从而负面地影响观看者的视觉体验。在这项工作中,我们补救处方眼镜在虚拟现实(VR)头戴式设备中的使用,通过将光学复杂性完全转移到软件中,并提出了一种处方感知渲染方法,用于提供更清晰和身临其境的VR图像。为此,我们开发了一个可区分的显示和视觉感知模型封装显示特定的参数,颜色和视觉敏锐度的人类视觉系统和用户特定的屈光不正。使用这个可微分的视觉感知模型,我们优化的渲染图像在显示器中使用随机梯度下降求解器。通过这种方式,我们为视力障碍人士提供了无需处方眼镜的更清晰图像。我们在各种显示器上评估了我们的方法,包括台式机和VR头显,并为视力障碍的用户展示了显着的质量和对比度改进。
2022-12-08 cs.GR cs.HC cs.LG
Facilitating Self-monitored Physical Rehabilitation with Virtual Reality and Haptic feedback
身体康复对于关节置换手术后的恢复至关重要。作为代表,全膝关节置换术(TKA)需要患者进行密集的身体锻炼,以恢复膝关节的活动范围和肌肉力量。然而,目前的关节置换物理康复方法高度依赖于治疗师的监督,现有的计算机辅助系统缺乏对实现自我监测的考虑,使得家庭物理康复困难。在本文中,我们调查的设计建议,使自我监测康复通过临床观察和焦点小组访谈医生和治疗师。有了这些知识,我们进一步探讨了虚拟现实(VR)为基础的视觉呈现和补充触觉运动指导功能,在我们的实现VReHab,一个自我监测和多模式的物理康复系统与VR和振动触觉和气动反馈在TKA康复的背景。我们发现,第三个角度的实时重建运动的虚拟化身覆盖与目标姿态有效地提供运动感知和指导,而触觉反馈有助于提高用户的运动精度和稳定性。最后,我们实施了\systemname,以促进自我监测术后练习,并通过10例患者的临床研究验证了其有效性。
2022-10-02 cs.HC
VRGym: A Virtual Testbed for Physical and Interactive AI
UCLA Center for Vision, Cognition, Learning, and Autonomy(加州大学洛杉矶分校视觉、认知、学习与自主中心)
我们提出了VRGym,一个虚拟现实的实验平台,为现实的人机交互。与现有的工具包和虚拟现实环境不同,VRGym强调为机器人、机器学习和认知科学构建和训练物理和交互代理。VRGym利用各种机制,可以通过基于物理的模拟生成具有高度真实感的各种3D场景。我们证明,VRGym能够(i)收集人类的互动和精细的操作,(ii)容纳各种机器人与ROS桥,(iii)支持实验的人机交互,(iv)提供工具包,用于训练国家的最先进的机器学习算法。我们希望VRGym可以帮助推进通用机器人和机器学习代理,以及在认知科学领域协助人类研究。
2019-04-02 cs.HC cs.RO
Multimodal Feedback for Task Guidance in Augmented Reality
University of Cincinati(辛辛那提大学)
针对光学透视增强现实任务引导中视觉依赖易致注意力过载、感知受限的问题,研究设计集成腕部振动触觉的多模态反馈系统,实验验证其可提升空间精度与可用性。
2025-10-02 cs.GR cs.HC
Remote Assistance with Mixed Reality for Procedural Tasks
我们提出了一个体积通信系统,是专为远程援助的程序任务。该系统允许远程专家直观地指导本地操作员。双方共享一个在空间上相同的视图,但对于本地操作员来说,它是他们操作的对象,而对于远程专家来说,对象被呈现为混合现实“全息图”。通过直接在感兴趣的对象或其全息图上执行的语音、手势和注释来提供引导。在通信的每一端,空间都是使用混合现实眼镜可视化的。
2022-08-05 cs.HC
WeldAR: Augmenting Live Hands-On Training with In-Situ Guidance for Novice Learners
Carnegie Mellon University(卡内基梅隆大学);School of Design, Carnegie Mellon University(卡内基梅隆大学设计学院)
WeldAR通过实时AR指导提升初学者焊接技能,实验证实其在提升移动速度和工作角度方面有效。
2026-03-09 cs.HC
Multimodal Feedback for Handheld Tool Guidance: Combining Wrist-Based Haptics with Augmented Reality
Stanford University(斯坦福大学)
本研究通过结合增强现实与触觉反馈,提升手术中手持工具的精确引导与操作效率。
2026-01-17 cs.CV cs.HC cs.SY
User Guidance for Interactive Camera Calibration
对于构建增强现实(AR)流水线,最关键的一步是摄像机校准,因为整体质量在很大程度上取决于它。而摄像机校准本身受摄像机到图案姿势选择的影响最大-但目前只有很少的研究引导用户到特定的姿势。我们建立在我们的新的相机校准框架,能够实时生成校准姿势,并提出了一个用户研究评估不同的可视化方法,以指导用户的目标姿势。使用所提出的方法,即使是新用户也能够在大约2分钟内执行精确的相机校准。
2019-07-09 cs.HC
XARP Tools: An Extended Reality Platform for Humans and AI Agents
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Saarland University(萨尔兰大学)
本文提出XARP工具,旨在通过Python生态系统扩展扩展现实开发,减少人类与AI空间交互研究中的工程摩擦,并为AI代理提供参与XR应用开发的新途径。
2026-05-21 cs.HC
Reducing the Human Factor in Virtual Reality Research to Increase Reproducibility and Replicability
复制危机是真实存在的,并且跨学科对其存在的认识正在增长。我们认为,在人机交互(HCI),特别是虚拟现实(VR)的研究,是容易受到类似的挑战,由于许多共享的方法,理论和激励结构。因此,在这项工作中,我们从其他领域转移了既定的解决方案,以解决HCI和VR中缺乏可复制性和可再现性的问题。我们专注于减少所谓的人为因素导致的错误,并根据VR研究的特定需求调整现有的解决方案。此外,我们提出了一个工具包,以支持VR研究的设置,执行和评估。其中一些功能旨在减少人为错误,从而提高可复制性和再现性。最后,将识别出的机会应用于VR中的典型科学过程。
2021-10-29 cs.HC stat.ME
Hot Wire 5D+: Evaluating Cognitive and Motor Trade-offs of Visual Feedback for 5D Augmented Reality Trajectories
Institute of Aircraft Production Technology, Hamburg University of Technology (TUHH)(汉堡工业大学飞机制造技术研究所)
本研究通过控制的受试者内研究,评估了三种不同的AR UI概念在轨迹引导中的表现,探讨了视觉反馈对认知与运动权衡的影响,并建立了新手用户进行自由手5D轨迹跟踪的保守性能基准。
2026-05-20 cs.HC
3D Augmented Reality-Assisted CT-Guided Interventions: System Design and Preclinical Trial on an Abdominal Phantom using HoloLens 2
Perelman School of Medicine at the University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
背景:平面外病变对CT引导介入治疗提出了挑战。增强现实(AR)头戴式设备已经发展并且能够容易地提供虚拟3D引导以改进CT引导的靶向。目的:描述使用HoloLens 2的三维(3D)AR辅助导航系统的设计,并通过CT引导模拟评估其性能。材料和方法:进行了一项前瞻性试验,评估有和没有AR引导的腹部体模上的CT引导针靶向。共入组了8名具有不同临床经验的操作员,共进行了86次穿刺。比较有无AR引导的手术效率、辐射剂量和并发症发生率。还对第一次进针进行了矢量分析。结果:达到目标的平均总针次从无AR的7.4次减少到有AR的3.4次(减少54.2%,p=0.011)。平均剂量长度乘积(DLP)从无AR的538 mGy-cm降至AR的318 mGy-cm(降低41.0%,p=0.009)。击中非靶病变的并发症发生率从无AR的11.9%(7/59针通过)降至AR的0%(0/27针通过)。有AR与无AR时,第一针通过更接近于理想目标轨迹(分别为4.6°与8.0°偏移,p=0.018)。医学生、住院医生和主治医生在AR指导下的表现都处于同一水平。结论:3D AR引导可以显著提高手术效率并节省辐射剂量,以瞄准具有挑战性的平面外病变。AR引导将所有操作者的性能提高到相同水平,而不考虑先前的临床经验。
2020-05-19 cs.CV cs.HC physics.med-ph
Design Space of Visual Feedforward And Corrective Feedback in XR-Based Motion Guidance Systems
针对XR运动引导中前馈与反馈协同设计探索不足的问题,基于文献调查提出了两者的设计空间及交互效应,并探讨了常见设计方法、情境因素与未来研究机遇。
2024-02-16 cs.HC
All-in-One Augmented Reality Guided Head and Neck Tumor Resection
Vanderbilt Institute for Surgery and Engineering(范德比尔特手术与工程研究院);Vanderbilt University Medical Center(范德比尔特大学医学院)
本文提出了一种整合增强现实技术的系统,用于在手术中精确定位肿瘤边缘,通过HoloLens 2的深度感应和自动标记less表面配准,显著提高了手术精度。
2026-06-07 cs.CV cs.ET cs.HC
SketchMeHow: Interactive Projection Guided Task Instruction with User Sketches
在这项工作中,我们提出了一个交互式通用教学框架SketchMeHow指导普通用户实时完成日常任务。与传统的基于增强现实的教学系统相比,该框架利用用户草图作为系统输入,从绘图界面获取用户的生产意图。给定用户草图,可以基于每个任务的子任务划分和空间定位来分析指定的任务指令。采用投影仪-摄像机系统,利用空间增强现实技术对终端用户进行投影引导。为了验证所提出的框架,我们进行了多米诺骨牌安排和便当生产的两个案例研究。从我们的用户研究,建议的系统可以帮助新手用户完成任务,有效地与用户满意度。我们相信所提出的SketchMeHow可以拓宽基于草图的现实世界应用在人机交互的研究课题。
2021-09-07 cs.HC
HoloPOCUS: Portable Mixed-Reality 3D Ultrasound Tracking, Reconstruction and Overlay
National University Health System(国立大学卫生系统);College of Design and Engineering, National University of Singapore(新加坡国立大学设计与工程学院)
针对传统二维超声介入引导经验要求高、判读差异大及现有三维超声重建方案的局限,研究提出便携式混合现实超声系统HoloPOCUS,实现三维重建投影与高精度跟踪,显著缩短导航时长。
2023-08-26 cs.CV cs.HC
From Speech-to-Spatial: Grounding Utterances on A Live Shared View with Augmented Reality
Center for Visual Computing, Stony Brook University(石溪大学视觉计算中心)
本文提出Speech-to-Spatial框架,通过语音指令生成空间定位的AR指导,无需额外线索或人工标注,提升任务效率和可用性。
2026-04-10 cs.CL cs.ET cs.HC
Augmented Reality-Based Advanced Driver-Assistance System for Connected Vehicles
随着先进通信技术的发展,互联车辆在交通系统中越来越受欢迎,它可以通过车辆到一切的通信进行相互之间以及道路实体之间的协同操纵。许多研究兴趣已经被吸引到联网车辆系统的其他构建模块,例如通信、规划和控制。然而,较少的研究集中在人机合作和接口,即如何可视化的引导信息给驾驶员作为一个先进的驾驶辅助系统(ADAS)。在这项研究中,我们提出了一个基于增强现实(AR)的ADAS,它可视化的指导信息计算多个连接的车辆合作。采用无信号交叉口场景作为该系统的用例,其中驾驶员可以在AR引导下驾驶联网车辆穿过交叉口,而无需在交叉口处完全停止。在Unity游戏引擎中构建了一个基于旧金山道路网络的仿真环境,并进行了人在回路(HITL)仿真,验证了该系统在行程时间和能耗方面的有效性。
2020-08-31 cs.HC cs.MM cs.SY
Quantifying the Impact of XR Visual Guidance on User Performance Using a Large-Scale Virtual Assembly Experiment
本研究通过199人参与的大规模虚拟装配实验,证明XR视觉引导可将任务完成时间和错误减少超过50%,并探讨了认知负荷等因素,为工业应用提供实践指导。
2023-08-07 cs.HC
Usable Privacy in Virtual Worlds: Design Implications for Data Collection Awareness and Control Interfaces in Virtual Reality
针对VR隐私界面照搬2D机制的问题,该研究通过与开发者共创并由隐私专家评估,提出游戏化、目的绑定同意及细粒度可控设置等设计启示。
2025-03-13 cs.HC
Play and Learn: Gamified Feedback for Ultrasound-Guided Catheter Insertion Training in Virtual Reality
Concordia University(康考迪亚大学);Sononurse VS Inc.(Sononurse VS 公司)
提出一种 gamified VR 模拟器用于超声引导外周静脉导管插入,通过视觉和听觉反馈(进度指示、引导、奖励)降低任务时间、提高可用性并减少工作量,为新手和专家提供有效形成性反馈。
2026-06-16 cs.HC
Marker-free deformable registration and fusion for augmented reality-guided positive margin localization during tumor resection surgery
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
研究针对头颈部肿瘤手术中阳性切缘定位难题,提出无标记增强现实工作流程,结合多种技术实现标本扫描到切除床的映射,经实验验证该方法能有效降低定位误差,支持更精确肿瘤切除。
2026-07-16 cs.CV cs.ET cs.HC
Evaluating Augmented Reality Communication: How Can We Teach Procedural Skill in AR?
本研究分析AR通信系统用于教授超声引导下CVC置入操作的效果,对比其与视频会议教学的差异,考察AR组件的使用模式并提出AR设计建议。
2023-12-14 cs.HC
VisionPulse: A Virtual Reality System Enabling Accessible Discovery and Navigation for Blind and Low Vision Users
Arizona State University(亚利桑那州立大学)
研究针对盲人和低视力用户在VR中自由探索受限的问题,提出VisionPulse系统,让用户通过自然动作和多模态反馈探索虚拟环境,经实验验证该系统受用户青睐,为包容性VR设计提供了参考。
2026-07-27 cs.HC
From Pets to Robots: MojiKit as a Data-Informed Toolkit for Affective HRI Design
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Sichuan University(四川大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);The Hong Kong University of Science and Technology(香港科技大学)
MojiKit通过结合结构化参考卡片、拟人化机器人原型和行为控制工作室,为影响性人机交互设计提供数据驱动的系统化工具,帮助用户设计更多样化的机器人影响性行为。
2026-03-12 cs.HC cs.RO
Use of Augmented Reality in Human Wayfinding: A Systematic Review
本文系统性综述了65项关于AR导航技术的研究,发现AR能降低认知负荷并促进认知地图构建,但在寻路表现和用户体验上结果不一,证实其在增强寻路方面具有巨大潜力。
2023-11-20 cs.HC
Enhancing User Performance and Human Factors through Visual Guidance in AR Assembly Tasks
本研究通过受试者间实验考察AR装配任务中视觉引导对用户绩效和人为因素的影响,发现任务完成时间减少31%但错误率上升,揭示了速度与准确性之间的权衡,并为未来研究提供方向。
2025-03-07 cs.HC
Visual Guidance for User Placement in Avatar-Mediated Telepresence between Dissimilar Spaces
针对异构空间中化身介导MR远程呈现的站位错配问题,提出基于角度交互特征相似度的站位评分与彩色二维扇形及远程虚拟对象叠加引导,并通过多项VR与MR用户研究验证其有效性。
2024-01-22 cs.GR cs.HC