Teaching LLMs to See and Guide: Context-Aware Real-Time Assistance in Augmented Reality
Georgia Institute of Technology(佐治亚理工学院)
针对AR/VR工业场景中有效利用多模态数据的挑战,提出整合手部动作等多模态信息的上下文感知LLM助手,通过增量提示框架研究上下文影响,基于HoloAssist数据集验证多模态整合可显著提升响应准确性与相关性。
2025-11-15 cs.HC
Developing Augmented Reality based Gaming Model to Teach Ethical Education in Primary Schools
教育部门正在采用新技术进行教学和学习。增强现实(Augmented Reality,AR)是一种新的技术,可以用于教育教学中,以提高学生的参与度。学生与基于AR的教育材料互动,以获得更多的可视化和解释。因此,AR在教育领域的应用越来越普及。然而,大多数研究叙述了AR技术在英语,数学,科学,文化,艺术和历史教育领域的使用,但道德教育的缺失是显而易见的。在本文中,我们设计了一个系统,并开发了一个基于AR的手机游戏模型,在学前学生的道德教育领域。学前班的学生需要更多的互动课程,而不是理论概念。因此,我们使用AR技术开发了一个游戏,它提供了互动程序,学生可以有趣地学习并参与上下文。最后,我们开发了一个原型,与我们的研究目标。最后,我们总结了未来的工作。
2020-10-29 cs.CY cs.HC
Predicting Student Actions in a Procedural Training Environment
ETS de Ingenieros Informáticos, UPM(马德里理工大学信息工程学院);E.T.S.I. Forestal y del Medio Natural, UPM(马德里理工大学森林与自然遗产高等工学院);Center for Plant Biotechnology and Genomics, UPM-INIA(马德里理工大学-西班牙国家农业研究中心植物生物技术与基因组学中心)
本文提出了一种基于学生历史记录的集体模型,用于在过程训练环境中预测学生行为,以提升智能教学系统的反馈效果。
2025-12-22 cs.HC
Immersive Augmented Reality Training for Complex Manufacturing Scenarios
在复杂的制造业部门,大量资源集中用于开发新技能和培训工人。在这方面,提高这些进程的效力和减少所需投资是一个悬而未决的问题。在本文中,我们提出了一个实验,显示如何现代人机交互(HCI)的隐喻,如协作混合现实可以用来传输程序知识,并最终取代其他形式的面对面的培训。我们实现了一个实时沉浸式增强现实(IAR)设置与透视相机,允许协作交互,可以模拟传统形式的培训。结果表明,接受IAR训练的人与接受传统面对面训练的人相比,取得了相同的成绩。这些结果,其影响,为未来的培训和使用HCI范式在这方面进行了讨论。
2016-11-16 cs.HC
Project Beyond: An Escape Room Game in Virtual Reality to Teach Building Energy Simulations
本文设计并开发了一款名为Project Beyond的VR密室逃脱游戏,通过谜题与引导系统教授建筑能耗模拟知识,专家评估表明其教程可用性良好且游戏关卡具有吸引力。
2024-07-08 cs.HC
StreamBED: Training Citizen Scientists to Make Qualitative Judgments Using Embodied Virtual Reality Training
环境公民科学经常依赖于基于经验的评估,但志愿者没有受过定性判断的训练。在虚拟现实(VR)中的模拟学习已经被探索作为一种训练行为的方法,但还没有完全被认为是一种训练判断的方法。这项初步研究通过StreamBED的设计,评估和重新设计来探索VR中的体现式学习,StreamBED是一种水质监测培训环境,它教会志愿者通过探索,评估和比较虚拟流域来进行定性评估。
2018-04-23 cs.HC
Teaching Linguistic Justice through Augmented Reality
本文提出AR语言地图,一种通过增强现实让中学生绘制语言体验以理解语言公正的推测性工具,旨在培养同理心、挑战语言种族主义并重视语言多样性。
2024-04-19 cs.ET cs.HC
Holo-Dex: Teaching Dexterity with Immersive Mixed Reality
New York University(纽约大学);Meta AI
教学机器人的一个基本挑战是为人类教师提供有效的界面,以向机器人展示有用的技能。这一挑战在灵巧的操作中加剧,其中教导高维、接触丰富的行为通常需要深奥的遥操作工具。在这项工作中,我们提出了Holo-Dex,这是一个灵巧操作的框架,可以通过商品VR耳机将教师置于沉浸式混合现实中。耳机上的高保真手姿态估计器用于远程操作机器人,并收集各种通用灵巧任务的演示。鉴于这些示范,我们使用强大的特征学习结合非参数模仿训练灵巧的技能。我们对六种常见的灵巧任务进行了实验,包括手旋转,旋转和开瓶,表明Holo-Dex可以在几个小时内收集高质量的演示数据和训练技能。最后,我们发现我们训练的技能可以在训练中看不到的对象上表现出泛化。Holo-Dex的视频可在https://holo-dex.github.io上获得。
2022-10-12 cs.AI cs.CV cs.HC
Impact of Augmented reality system on elementary school ESL learners in country side of china: Motivations, achievements, behaviors and cognitive attainment
本研究针对中国农村小学生英语学习动机不足问题,提出AREWL增强现实英语单词学习系统,通过实验发现该系统能激发学生内在与外在动机并显著关联学习成绩,但认知收获较低,为教育技术领域提供了新的AR英语学习应用。
2023-09-18 cs.HC
Enter: Graduated Realism: A Pedagogical Framework for AI-Powered Avatars in Virtual Reality Teacher Training
University of Maryland(马里兰大学)
本研究针对VR教师培训中AI学生虚拟形象真实感的最优水平问题,提出渐进式真实感教学框架及Crazy Slots单次调用架构,为AI模拟器设计提供循证原则。
2025-06-13 cs.AI cs.HC
Visualizing a Collective Student Model for Procedural Training Environments
International University SEK(SEK国际大学);ETS de Ingenieros Informáticos, UPM(马德里理工大学计算机工程学院);E.T.S.I. Forestal y del Medio Natural, UPM(马德里理工大学林业与自然环境工程学院)
本文提出了一种可视化集体学生模型的工具,用于改进过程训练环境中的教学和辅导策略。
2025-12-22 cs.HC
JARVIS: A Just-in-Time Augmented Reality VLM-Powered Instruction System for Cross-Reality Task Guidance
the University of Hong Kong(香港大学);University of California, Los Angeles(加州大学洛杉矶分校);the University of Utah(犹他大学)
JARVIS通过视觉语言模型生成上下文相关的分步指导,实现实时状态验证和自适应视觉反馈,提升跨现实任务的可用性、工作负荷、成功率和可视化效果。
2026-05-17 cs.HC
Play and Learn: Gamified Feedback for Ultrasound-Guided Catheter Insertion Training in Virtual Reality
Concordia University(康考迪亚大学);Sononurse VS Inc.(Sononurse VS 公司)
提出一种 gamified VR 模拟器用于超声引导外周静脉导管插入,通过视觉和听觉反馈(进度指示、引导、奖励)降低任务时间、提高可用性并减少工作量,为新手和专家提供有效形成性反馈。
2026-06-16 cs.HC
Designing a Virtual Reality Training Apprenticeship for Cold Spray Advanced Manufacturing
本文提出专为冷喷涂先进制造设计的VR训练学徒制(VRTA),通过22人探索性研究评估其UX指标、定性见解及真实机械任务表现,验证了设计有效性并讨论了VR培训挑战。
2024-11-13 cs.HC
Reinforcement Learning-Enhanced Procedural Generation for Dynamic Narrative-Driven AR Experiences
University of California, Santa Cruz(加州大学圣克鲁兹分校)
针对 WFC 难以适配动态叙事 AR 场景的问题,本文提出融合环境规则与 RL 动态图块权重调整的增强型 WFC 框架,实验证明其地图质量与沉浸感更优。
2025-03-13 cs.AI cs.GR cs.HC
ARfy: A Pipeline for Adapting 3D Scenes to Augmented Reality
ARfy是一种无需人工干预或资产注释的流水线,可将任意3D场景自动适配为AR就绪,并在室内数据集上验证了其自适应放置虚拟内容的能力。
2024-11-07 cs.HC
HoloPOCUS: Portable Mixed-Reality 3D Ultrasound Tracking, Reconstruction and Overlay
National University Health System(国立大学卫生系统);College of Design and Engineering, National University of Singapore(新加坡国立大学设计与工程学院)
针对传统二维超声介入引导经验要求高、判读差异大及现有三维超声重建方案的局限,研究提出便携式混合现实超声系统HoloPOCUS,实现三维重建投影与高精度跟踪,显著缩短导航时长。
2023-08-26 cs.CV cs.HC
PlutoAR: An Inexpensive, Interactive And Portable Augmented Reality Based Interpreter For K-10 Curriculum
常规的K-10课程往往没有必要的负担得起的技术,涉及教学规定的课程与有效的分析技能建设的互动方式。在本文中,我们介绍了“PlutoAR”,这是一种基于纸质的增强现实解释器,它可扩展、价格实惠、便携,可以用作孩子们技能培养的平台。PlutoAR通过一个交互式工具包将增强现实(AR)融入其中,为学生提供两全其美的体验,从而克服了传统的非交互式教学方式。学生们剪出纸上的“瓷砖”,将这些瓷砖一个接一个地放在一个叫做“Launchpad”的更大的纸表面上,并使用PlutoAR移动应用程序,该应用程序可以在任何带有摄像头的Android设备上运行,并使用增强现实像解释器一样输出程序的每一步。PlutoAR具有内置的AR体验,如故事,使用条件循环解决迷宫,简单的初等数学和重力直觉。
2018-09-05 cs.CY cs.HC
What Are You Really Asking For? A Comparative 5W1H Analysis of Learner Questioning in CPR Training with IVAs in Screen-based and Augmented Reality Environments
KAIST(韩国科学技术院)
研究通过5W1H框架比较AR和视频IVAs在CPR培训中的提问差异,发现AR-IVA促进更频繁的澄清性提问,而视频IVAs促进流程优化提问,且动机和策略特征影响提问模式。
2026-03-15 cs.HC
Augmented Reality in Higher Education: a Case Study in Medical Education
本文介绍了与爱丁堡大学医学院合作开发的The Anatomy Experience,该AR体验有效提升了医学生对解剖学复杂几何结构的理解,在远程医学教育中获得了师生的高度积极反馈。
2023-08-30 cs.ET cs.HC
A Review of Augmented Reality Apps for an AR-Based STEM Education Framework
在过去的二十年中,增强现实(AR)应用受到了越来越多的关注。增强现实现在广泛应用于K到12级的教育部门。AR预计将在高等教育中普遍采用两到三年,在K到12中普遍采用四到五年。将AR技术应用于教育领域,特别是STEM学科,可以实现智能校园。在采用智能校园战略时,教育从业者必须解决科学,技术,工程和数学(STEM)研究中的许多内在问题。例如,在物理学中,存在昂贵或不足的实验室系统,系统故障以及难以模拟其他实验环境。在技术方面,许多学校没有足够的计算机。在工程领域,只有少数教师精通计算机辅助设计(CAD)。在数学方面,很少有教师将技术融入他们的课程中,因为他们认为通过传统方法教学更好。因此,在本文中,我们讨论了AR现在如何在STEM的不同学习领域中使用,为研究人员和教师打开新的大门,因为他们使用AR应用程序将学校转变为智能校园。与此相一致,基于对不同AR应用程序的积极益处的审查,为学校管理人员和政策制定者提出了一个建议框架。
2022-01-19 cs.HC physics.ed-ph
Ubiq: A System to Build Flexible Social Virtual Reality Experiences
虽然社交虚拟现实(SVR)系统长期以来一直是学术研究的主题,但它们现在在当前的消费者虚拟现实系统上吸引了越来越多的受众。SVR系统的设计空间非常大,并且对于如何构建这些系统以使其可用和有效,所知相对较少。在本文中,我们提出了Ubiq,一个工具包,专注于促进SVR系统的建设。我们论证了Ubiq的设计策略及其范围。Ubiq基于Unity平台。它提供了许多SVR系统的核心功能,如连接管理,语音,化身等,但是,它的设计仍然很容易扩展。我们展示了建立在Ubiq上的例子,以及它如何成功地用于课堂教学。Ubiq是开源的(Apache许可证),因此可以实现商业系统无法实现的几个用例。
2021-12-16 cs.HC
ShadAR: Real-time Prompting On-demand Visual Augmentation in Augmented Reality
TU Darmstadt(达姆施塔特工业大学)
该研究提出AR系统ShadAR,通过LLMs、YOLOv26等技术实现用户按需实时视觉增强,识别出四类应用领域与两种提示模式,探讨其设计机遇与伦理问题。
2026-10-14 cs.HC
Explainable Human-Robot Training and Cooperation with Augmented Reality
针对无技术背景用户难理解机器人知识与任务表征的问题,研究提出用增强现实提升人机交互的可解释性与效率,并展示了示教训练、规划验证、助行意图传达三个用例。
2023-02-02 cs.HC
Collaborative System Design of Mixed Reality Communication for Medical Training
本研究设计了基于实时体积捕获的轻量级MR医学培训系统,经与领域专家协同设计及实验验证,其用于中心静脉置管培训时工作负荷与视频培训无显著差异,还可借助空间特性提供教学新可能。
2023-12-14 cs.HC
Exploring Non-Reversing Magic Mirrors for Screen-Based Augmented Reality Systems
基于屏幕的增强现实(AR)系统可以被构建为进入现实世界的窗口,就像在移动AR应用程序中经常做的那样,或者使用魔镜隐喻,其中用户可以在大型显示器上看到自己的增强图形。这样的魔镜系统已被用于数字服装环境中,以创建虚拟更衣室,教授人体解剖学,并用于协作设计任务。术语魔镜意味着显示器向用户显示对映体,即镜像,使得系统模仿真实世界的物理镜子。然而,问题出现了,是否应该设计一个传统的镜子,或者通过一个不可逆的镜子来显示真实的镜像?这是一个有趣的感知问题,因为人们在镜子中观察到的图像不是真实的视图,因为它会被外部观察者看到,而是反射,即前后颠倒的图像。在本文中,我们讨论了这两个镜像可视化概念之间的知觉差异,并提出了第一个比较研究的背景下,魔镜解剖教学。我们研究了用户在两种情况下识别基于屏幕的AR系统中虚拟解剖结构的正确位置的能力:常规镜子和非反转镜子设置。我们的研究结果表明,后者是更适合的应用程序中,以前获得的特定领域的知识起着重要的作用。这些经验教训在用户界面和非反转镜像环境中的交互领域开辟了新的研究方向,并可能影响其他领域中基于屏幕的通用AR系统的实现。
2016-12-07 cs.HC
Teaching Unknown Objects by Leveraging Human Gaze and Augmented Reality in Human-Robot Interaction
本研究提出结合眼动追踪与增强现实的多模态人机交互系统,让人类通过视线指导机器人学习未知物体,使机器人摆脱对预训练数据集的依赖,检测性能达到当前最优水平且不受预设类别限制。
2023-12-12 cs.AI cs.CV cs.HC
Unlocking Mixed Reality for Medical Education: A See-Through Perspective on Head Anatomy
本文设计并验证一款头部解剖教学MR应用,通过手势/控制器交互、分层信息呈现和虚拟模型对真实头部的自动校准,提升解剖学习的交互性与沉浸感。
2025-08-30 cs.HC
Deep Connection: Making Virtual Reality Artworks with Medical Scan Data
Deep Connection是一个装置和虚拟现实艺术品,使用全身3D和4D磁共振扫描数据集制作。当用户进入深度连接时,他们会看到一个被扫描的身体趴在半空中。使用者可以在身体周围走动并检查它。使用者可以潜入身体内部并观察它的内部运作,它的肺,脊柱,大脑。用户可以握住人物伸出的手:握住手会触发4D数据集,使心脏跳动和肺部呼吸。当使用者放开手时,心脏停止跳动,肺部停止呼吸。深度连接创造了一个场景,在这个场景中,一个具身的人成为一个虚拟身体的伴侣。本文绘制了深度连接的概念和理论框架,如虚拟亲密关系和数字中介陪伴。它还反映了在虚拟现实中更普遍地使用扫描身体的工作,讨论了透明度,网络身体与数据身体,以及数据隐私和数据伦理。本文还解释了技术和程序方面的深度连接项目获取扫描数据创建的虚拟现实艺术品。
2021-10-01 cs.HC cs.MM
Setup-Invariant Augmented Reality for Teaching by Demonstration with Surgical Robots
University of British Columbia(不列颠哥伦比亚大学)
本文提出开源系统dV-STEAR,在无需专家与新手机器人设置关节位置一致的条件下回放任务对齐的专家演示,通过用户研究证明其能显著提升新手手术任务表现,为AR集成到机器人辅助手术奠定基础。
2025-04-09 cs.CV cs.HC cs.RO
Spiders Based on Anxiety: How Reinforcement Learning Can Deliver Desired User Experience in Virtual Reality Personalized Arachnophobia Treatment
University of Alberta(阿尔伯塔大学)
本文提出结合程序化内容生成与强化学习的VRET框架,自动调整虚拟蜘蛛以精准引发患者期望的焦虑反应,解决了手动选择和规则方法适应性差的问题,并验证其优于传统基于规则的方法。
2025-08-21 cs.HC cs.LG
SAMPAI: A VR Framework for Industrial Safety Training Inspired by Cultural Heritage Education
University of Genoa(热那亚大学)
SAMPAI通过借鉴文化遗产教育的沉浸式设计原则,开发了一种用于工业安全培训的虚拟现实框架,旨在提升高风险场景中的空间意识和程序记忆,同时为未来与增强现实整合奠定基础。
2026-01-29 cs.HC
Breaking the Plane: Exploring Real-Time Visualization of 3D Surfaces in Augmented Reality with Handwritten Input
本文介绍一款AR头显应用,通过手写输入解析方程并实时绘制三维函数曲面,结合交互与动态可视化,显著提升学习参与度和问题解决效果。
2025-07-08 cs.HC
Integrating Virtual and Augmented Reality into Public Education: Opportunities and Challenges in Language Learning
TU Berlin(柏林工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Hamm-Lippstadt University of Applied Sciences(哈姆-利普施塔特应用科学大学)
本文研究了VR和AR在公共教育中语言学习的机遇与挑战,提出通过优化界面设计和教师培训来提升技术应用效果。
2026-03-09 cs.HC
How LLMs are Shaping the Future of Virtual Reality
Technical University of Munich(慕尼黑技术大学)
本文探讨了大型语言模型如何通过增强叙事生成、NPC互动和个性化来塑造虚拟现实的未来,并提出了多模态AI和伦理保障等未来研究方向。
2025-08-04 cs.AI cs.HC
Using technology of augmented reality in a mobile-based learning environment of the higher educational institution
增强现实概念的定义是基于对科学出版物的分析。值得注意的是,增强现实的在线实验为学生提供了通过改变参数来观察和描述真实系统的操作的机会,并且还部分地用增强现实的对象替换实验装置。考虑了增强现实的实现方案。强调了在物理教学中使用增强现实对象的可能性。它表明,增强现实工具的使用可以增加研究的真实性;提供情感和认知体验,有助于吸引学生进行系统的培训;在实验过程中提供有关安装的正确信息;在学习过程中创建表示真实对象的新方法。
2018-07-23 cs.CY cs.HC physics.ed-ph
Training program on sign language: social inclusion through Virtual Reality in ISENSE project
Politecnico di Torino(都灵理工大学);University of Cordoba(科尔多瓦大学);Università della Tuscia(Tuscia大学)
本文在ISENSE项目中开发基于VR和AI的西班牙语与意大利语手语识别应用,通过快速构建手语数据库并分类识别从字母到句子的静态与动态手语,促进听力群体学习手语,帮助聋生实现社会包容。
2024-01-15 cs.AI cs.CV cs.GR
Beyond Visuals: Investigating Force Feedback in Extended Reality for Robot Data Collection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究通过用户实验探究扩展现实中力反馈对机器人数据采集的影响,发现其能提升任务表现和用户体验,尤其在高精度操纵任务中,且效果因控制界面和任务复杂度而异。
2025-03-26 cs.HC cs.RO
MITHOS: Interactive Mixed Reality Training to Support Professional Socio-Emotional Interactions at Schools
DFKI GmbH(德国人工智能研究中心);Saarland University(萨尔大学);FoBiD;TriCat GmbH(TriCat公司);University of Augsburg(奥格斯堡大学)
MITHOS是一个混合现实系统,通过虚拟环境与智能体互动训练教师的冲突解决与情感调节技能,验证了场景真实性并提出了以人为中心的XR跨学科研究方法论。
2024-09-02 cs.AI cs.HC
Training Spatial Ability in Virtual Reality
本研究将纸笔空间技能课程改编为VR,通过对照实验证明VR课程能以更少课时显著提升学生空间能力,且效果与传统课程相当。
2025-08-13 cs.ET cs.HC
Technical Note: Towards Virtual Monitors for Image Guided Interventions - Real-time Streaming to Optical See-Through Head-Mounted Displays
目的:图像引导对于许多干预的成功至关重要。图像显示在指定的监视器上,由于无菌性和空间限制,这些监视器无法进行最佳定位。这种间接可视化导致潜在的闭塞,妨碍手眼协调,导致手术持续时间和外科医生负荷增加。研究方法:我们提出了一个虚拟监视器系统,显示医疗图像的混合现实可视化使用光学透视盔装显示器。该系统可将任何模态的高分辨率医学图像实时的【形】传输到盔装显示器,并与手术部位融合。它允许在头部、世界或身体锚定模式下对图像进行混合现实可视化,因此可以适应特定的程序需求。结果如下:对于典型的图像尺寸,所提出的系统表现出的平均端到端延迟和刷新率分别为214 +- 30 ms和41:4 +- 32:0 Hz。结论:所提出的虚拟监视器系统能够实现医学图像的实时的【形】混合现实可视化。在未来,我们寻求进行第一个临床前研究,以定量评估该系统对标准图像引导程序的影响。
2017-10-02 cs.HC cs.OH
Teach Me How to ImproVISe: Co-Designing an Augmented Piano Training System for Improvisation
University of Primorska(普里莫尔斯卡大学);De La Salle University(德拉萨大学);Vrhnika Music School(弗尔赫尼卡音乐学校);University of Ljubljana(卢布尔雅那大学);Faculty of Information Studies(信息研究学院);Stellenbosch University(斯泰伦博斯大学)
本文通过协同设计开发了增强现实钢琴即兴演奏训练系统ImproVISe,结合专家互动完善原型与功能,为学习情境下评估钢琴即兴演奏提供了设计指南与建议。
2024-02-05 cs.HC cs.SD eess.AS
Multicenter Assessment of Augmented Reality Registration Methods for Image-guided Interventions
Oregon Health & Science University School of Medicine(俄勒冈健康与科学大学医学院);Perelman School of Medicine at the University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
目的:评估手动和自动配准时间以及在将全息三维(3D)模型与真实世界环境对齐期间增强现实的准确性。方法:在两个学术中心进行不同阶段临床培训的18名参与者连续3次使用HoloLens 2增强现实耳机将3D CT体模模型配准到CT网格上。比较了不同配准方法(手势、Xbox控制器和自动配准)、临床经验水平和连续尝试之间的配准时间和准确性。注册时间也与之前的HoloLens 1数据进行了比较。结果如下:单手手势、双手手势和Xbox控制器的平均总手动注册时间分别为27.7、24.3和72.8秒;平均自动注册时间为5.3秒(ANOVA p<0.0001)。主治医师、住院医师和研究员、医学生的挂号次数无显著性差异(P>0.05)。在使用手势的连续尝试中检测到注册时间的显著改善(p<0.01)。与之前报道的HoloLens 1体验相比,手势注册时间快了81.7%(p<0.05)。手动配准方法之间的配准精度没有显著差异,单手手势、双手手势和Xbox控制器分别测量为5.9、9.5和8.6 mm(p>0.05)。结论:与HoloLens 1相比,HoloLens 2上更新的手势操作显著减少了手动注册时间,接近自动注册的注册时间,并优于Xbox控制器介导的注册。这些结果将鼓励HoloLens 2在程序医疗中更广泛的临床整合。
2020-12-03 cs.CV cs.HC physics.med-ph
Enhanced Real-Time 6-DOF Extended Reality Catheter Tracking for Evaluating Potential Improvement in Efficiency, Precision, and Depth Perception for Cardiac Interventions
本研究开发基于XR的实时6-DOF导管跟踪平台,经20名医学生测试,其可使心脏介入操作速度提升超5倍、导管移动距离减约5倍,还能提高精度、降低变异性,优化操作体验。
2026-08-11 cs.AI cs.HC cs.RO
3D Augmented Reality-Assisted CT-Guided Interventions: System Design and Preclinical Trial on an Abdominal Phantom using HoloLens 2
Perelman School of Medicine at the University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
背景:平面外病变对CT引导介入治疗提出了挑战。增强现实(AR)头戴式设备已经发展并且能够容易地提供虚拟3D引导以改进CT引导的靶向。目的:描述使用HoloLens 2的三维(3D)AR辅助导航系统的设计,并通过CT引导模拟评估其性能。材料和方法:进行了一项前瞻性试验,评估有和没有AR引导的腹部体模上的CT引导针靶向。共入组了8名具有不同临床经验的操作员,共进行了86次穿刺。比较有无AR引导的手术效率、辐射剂量和并发症发生率。还对第一次进针进行了矢量分析。结果:达到目标的平均总针次从无AR的7.4次减少到有AR的3.4次(减少54.2%,p=0.011)。平均剂量长度乘积(DLP)从无AR的538 mGy-cm降至AR的318 mGy-cm(降低41.0%,p=0.009)。击中非靶病变的并发症发生率从无AR的11.9%(7/59针通过)降至AR的0%(0/27针通过)。有AR与无AR时,第一针通过更接近于理想目标轨迹(分别为4.6°与8.0°偏移,p=0.018)。医学生、住院医生和主治医生在AR指导下的表现都处于同一水平。结论:3D AR引导可以显著提高手术效率并节省辐射剂量,以瞄准具有挑战性的平面外病变。AR引导将所有操作者的性能提高到相同水平,而不考虑先前的临床经验。
2020-05-19 cs.CV cs.HC physics.med-ph