Focus on the Experts: Co-designing an Augmented Reality Eye-Gaze Tracking System with Surgical Trainees to Improve Endoscopic Instruction
为解决外科培训监督成本高、扩展性差的问题，研究团队与18名外科受训者合作共同设计了一套AR眼动追踪系统，以提供实时交互的补充训练方法，改善内窥镜手术学习且不影响患者护理。
2025-06-27 cs.HC
Breamy: An augmented reality mHealth prototype for surgical decision-making in breast cancer
本文提出增强现实mHealth原型Breamy，通过3D可视化肿瘤整形手术辅助乳腺癌患者知情决策；166人在线调查显示其有望缓解焦虑并支持决策。
2023-09-27 cs.HC
A Collaborative Extended Reality Prototype for 3D Surgical Planning and Visualization
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种协作扩展现实原型，用于3D手术规划和可视化，通过用户研究验证了其有效性并为未来医疗XR协作提供启示。
2026-01-27 cs.GR cs.HC cs.MM
Mixed Reality Guidance of a Surgical Scalpel Using Magic Leap: Evaluation on a 3D-Printed Liver Phantom
Department of Computer Science（计算机科学系）；Department of Hepatobiliary Surgery（肝胆外科）；Biomedical Engineering Institute, MedTech Labs（MedTech Labs 生物医学工程研究所）；University of Cincinnati（辛辛那提大学）
本文提出基于 Magic Leap 的混合现实手术刀引导系统，并在3D打印肝脏模型上验证其可显著提升切除精度与速度。
2025-10-04 cs.HC
Extend Your Horizon: A Device-Agnostic Surgical Tool Tracking Framework with Multi-View Optimization for Augmented Reality
Johns Hopkins University（约翰霍普金斯大学）
本文提出一种多视角优化的设备无关手术工具跟踪框架，通过融合多种传感模式提升增强现实中的遮挡鲁棒性与可视化一致性。
2026-03-09 cs.CV cs.HC
Utility of Optical See-Through Head Mounted Displays in Augmented Reality-Assisted Surgery: A systematic review
本文对2013年至2020年期间光学透视盔装显示器（OST-HMD）在增强现实（AR）手术应用中的使用情况进行了系统综述。文章分类如下：OST-HMD器械、手术专业、手术应用背景、可视化内容、实验设计和评价、人机交互的准确性和人为因素。91篇文章符合所有纳入标准。出现了一些明显的趋势。微软的HoloLens在该领域越来越占主导地位，整形外科手术是最受欢迎的应用（28.6%）。到目前为止，最常见的手术环境是手术引导（n=58），分割的术前模型主导可视化（n = 40）。实验主要涉及幻影（n = 43）或系统设置（n = 21），与病人的案例研究排名第三（n = 19），反映了该领域的比较婴儿期。实验涵盖了从注册到感知的问题，具有非常不同的准确性结果。人为因素对OST-HMD实用性具有重要意义。提出的系统解决了一些因素，例如注意力从手术部位转移和2D图像到3D患者解剖结构的心理映射。其他持久的人为因素仍然存在或由OST-HMD解决方案引起，包括易用性，舒适性和空间感知问题。已发表文章的显著上升趋势是明确的，但此类器械尚未在手术室中确立，并且缺乏显示受益的临床研究。在实验室中集中精力解决技术注册和感知因素，再加上设计，结合人为因素的考虑，以解决明确的临床问题，应确保当前的重大研究工作将取得成功。
2022-02-08 cs.HC
IMHOTEP - Virtual Reality Framework for Surgical Applications
目的：外科医生在术前、术中和术后可获得的数据在数量和多样性方面都在稳步增加。当规划患者的治疗时，这种大量的信息可能难以解释。为了帮助处理信息，需要找到新的方法来呈现多模态患者数据，理想情况下将文本，图像，时间和3D数据结合在整体和上下文感知系统中。方法：我们提出了一个开放源代码的框架，允许在虚拟现实（VR）环境中处理患者数据。通过使用VR技术，外科医生可用的工作空间最大化，3D患者数据以立体方式呈现，这增加了深度感知。该框架将数据组织到数据库中，并包含允许用户控制、操作和增强数据的工具。由于框架的模块化设计，它可以很容易地适应和扩展各种临床应用。结果：临床人员（77名参与者）对该框架进行了评价。该小组的大多数人表示，使用该框架更容易理解复杂的手术情况，并且非常适合教育。此外，各种临床场景的应用-包括人体心房中兴奋传播的模拟-证明了该框架的适应性。作为一项可行性研究，该框架被用于计划阶段的手术切除一个大的中央癌从病人的肝脏。结论：临床评价显示VR环境在医疗环境中具有很大的潜力和较高的接受度。各种应用程序证实，该框架很容易扩展，可用于实时模拟以及复杂的解剖结构的操纵。
2018-03-22 cs.HC
Virtual Reality-Based Preoperative Planning for Optimized Trocar Placement in Thoracic Surgery: A Preliminary Study
针对胸外科VATS套管针放置依赖经验易致方案欠佳的问题，研究推出首款遵循外科原则的VR术前规划工具，经初步验证其高效易用，有临床应用潜力并可为相关系统开发提供参考。
2024-09-06 cs.HC
A DirectX-Based DICOM Viewer for Multi-User Surgical Planning in Augmented Reality
术前医学成像是手术计划的重要组成部分。来自医学成像设备（如CT和MRI扫描仪）的数据由DICOM格式的2D图像堆栈组成。相反，3D数据可视化的进步通过将横截面组装成3D体积数据集来提供进一步的信息。随着微软推出HoloLens 2（HL2），这被认为是市场上最好的混合现实（XR）耳机之一，它承诺通过为用户提供沉浸式体验来增强3D可视化。本文介绍了一个原型全息XR DICOM查看器的3D可视化的DICOM图像集的HL2手术计划。我们首先使用本机DirectX11 API和HLSL着色器开发了一个独立的图形C++引擎。在此基础上，该原型进一步应用OpenXR API，以便在XR频谱供应商的各种设备上进行潜在部署。通过对设备的本地访问，我们的原型解开了HL2的3D体渲染和交互的硬件功能的限制。此外，智能手机可以作为输入设备，通过连接到我们的服务器提供另一种用户交互方式。在本文中，我们为HoloLens 2提供了一个全息DICOM查看器，并提供了（i）一个在HL2上实时渲染DICOM图像堆栈的原型，（ii）XR中的三种用户交互类型，以及（iii）对我们的原型进行了初步的定性评估。
2022-10-25 cs.HC cs.MM
Fully Immersive Virtual Reality for Skull-base Surgery: Surgical Training and Beyond
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medicine（约翰斯·霍普金斯医疗集团）
本文提出用于颅底手术的全沉浸式虚拟现实系统FIVRS，结合高保真硬件与逼真手术模拟，记录多模态数据以支持训练和自动技能评估。
2023-05-31 cs.HC cs.RO
Improving Surgical Situational Awareness with Signed Distance Field: A Pilot Study in Virtual Reality
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
本研究开发了基于有符号距离场的开源多模态手术导航框架，在虚拟现实乳突切除模拟实验中验证了其可在不增加时间和负荷的情况下提升手术安全性。
2024-12-13 cs.HC cs.RO
A Review on Organ Deformation Modeling Approaches for Reliable Surgical Navigation using Augmented Reality
The Chinese University of Hong Kong（香港中文大学）
本文综述AR手术导航中的术中器官形变建模方法，系统筛选112篇相关论文，分类梳理技术现状与临床应用，并指出未来研究方向。
2024-08-05 cs.AI cs.HC eess.IV
A Novel Approach of using AR and Smart Surgical Glasses Supported Trauma Care
背景：增强现实（AR）在诸如计算机游戏和医学教育领域的不同领域中越来越受欢迎。然而，在实际手术中的应用仍然很少。骨科手术的应用目前是有限的和不发达的。- 方法：使用当前可用的AR设备和软件进行临床验证。共1例椎体成形术，2例ORIF骨盆骨折，1例ORIF PFN股骨近端骨折，1例CRIF桡骨远端骨折，2例ORIF胫骨骨折，均采用透视结合AR智能手术眼镜系统进行。- 研究结果：共进行了1例椎体成形术、2例ORIF骨盆骨折、1例ORIF联合PFN治疗股骨近端骨折、1例CRIF治疗桡骨远端骨折和2例ORIF治疗胫骨骨折，以评价AR手术的受益。在AR手术中，外科医生戴着智能手术眼镜，可以大大减少眼睛的转动，专注于监视器。本文展示了增强现实技术在创伤手术中的潜在能力。
2020-05-25 cs.HC q-bio.QM
Distributed Augmented Reality with 3D Lung Dynamics -- A Planning Tool Concept
增强现实（AR）系统通过使用先进的显示技术向世界添加视觉信息。小型化和降低成本的进步使得这些系统中的一些系统在广泛的领域中的应用是可行的。我们为未来的手术室提出了网络基础设施的潜在组成部分;基于分布式AR的软硬件系统，可以实时可视化直接叠加在患者身体上的3D肺动力学。几种紧急事件（例如闭合性和张力性气胸）和与肺相关的外科手术（例如肺移植、肺减容手术、肺部感染的外科治疗、肺癌手术）可以从所提出的原型中受益。
2018-11-29 cs.DC cs.HC
SLIMBRAIN: Augmented Reality Real-Time Acquisition and Processing System For Hyperspectral Classification Mapping with Depth Information for In-Vivo Surgical Procedures
Research Center on Software Technologies and Multimedia Systems, Universidad Politécnica de Madrid（马德里理工大学软件技术与多媒体系统研究中心）；Department of Neurosurgery, Hospital Universitario 12 de Octubre, Universidad Complutense de Madrid（马德里康普顿斯大学十月十二日大学医院神经外科）
本文提出SLIMBRAIN增强现实系统，通过14 FPS实时处理高光谱图像并结合LiDAR点云，在脑肿瘤切除手术中同步检测、分类并可视化肿瘤边界。
2024-03-25 cs.CV cs.HC cs.LG
Immersive Anatomical Scenes that Enable Multiple Users to Occupy the Same Virtual Space: A Tool for Surgical Planning and Education
3D建模正在成为一个发展良好的医学领域，但由于缺乏允许轻松利用生成的3D可视化的软件，其适用性可能受到限制。通过利用虚拟现实的最新进展，我们可以快速创建沉浸式解剖场景，并允许多个用户占据同一虚拟空间：即，通过本地或分布式网络。这种设置非常适合术前规划和教育，允许用户识别和研究感兴趣的结构。我在这里展示了这样一个管道上的广泛的解剖模型，并讨论其适用性的医疗领域和其未来的前景。3D建模正在成为一个发达的医学领域，但其适用性可能是有限的，由于缺乏软件，允许轻松利用生成的3D可视化。通过利用虚拟现实的最新进展，我们可以快速创建沉浸式解剖场景，并允许多个用户占据同一虚拟空间：即，通过本地或分布式网络。这种设置非常适合术前规划和教育，允许用户识别和研究感兴趣的结构。我在这里展示了这样一个管道上广泛的解剖模型，并讨论其适用性的医疗领域和未来的前景。
2020-11-05 cs.GR cs.HC
Impact of Extended Reality on Robot-Assisted Surgery Training
Rowan-Virtua School of Osteopathic Medicine（罗文-弗吉尼亚骨科医学院）；Rowan University（罗文大学）
本研究通过系统综述与荟萃分析发现，扩展现实模拟器可显著提升新手外科医生的手术表现，其效果与传统物理模拟器训练相当，能在低成本低风险环境下传授复杂手术技能。
2025-01-22 cs.HC cs.RO
A Survey of Visuo-Haptic Simulation in Surgical Training
Armstrong Atlantic State Univ.（阿姆斯特朗大西洋州立大学）；Ovidius University（奥维迪乌斯大学）
外科医生必须完成复杂的技术和智力任务，这些任务可能会产生意想不到的严重挑战，几乎没有或没有出错的余地。在过去的十年中，计算机模拟在外科手术训练、术前计划和生物医学研究中发挥了越来越重要的作用。具体而言，视觉触觉模拟一直是研究的重点，以开发先进的电子学习系统，促进手术培训。触觉硬件的成本通过大规模生产和触觉在游戏行业的普及而降低。视触觉模拟将触觉与视觉信息相结合，并提供具有高度真实性的训练场景。对于外科培训，这些场景可以用作获得、改进和评估住院医生和专家外科医生的技能和知识的方法。
2019-03-08 cs.HC cs.RO
Setup-Invariant Augmented Reality for Teaching by Demonstration with Surgical Robots
University of British Columbia（不列颠哥伦比亚大学）
本文提出开源系统dV-STEAR，在无需专家与新手机器人设置关节位置一致的条件下回放任务对齐的专家演示，通过用户研究证明其能显著提升新手手术任务表现，为AR集成到机器人辅助手术奠定基础。
2025-04-09 cs.CV cs.HC cs.RO
SURVIVRS: Surround Video-Based Virtual Reality for Surgery Guidance
针对偏远地区医疗资源不足的问题，研发了SURVIVRS环绕式视频VR手术引导系统，支持远程专家实时指导与手术复盘教学，经可用性评估获用户高度认可，为推动医疗公平提供了可行方案。
2023-02-08 cs.HC
iSurgARy: A mobile augmented reality solution for ventriculostomy in resource-limited settings
本文提出移动增强现实系统iSurgARy，利用LiDaR标志点配准引导脑室造口术，并通过两阶段用户研究验证其可用性、准确性及认知负荷，旨在改善资源有限环境下的手术精度。
2024-09-12 cs.HC
NAVIUS: Navigated Augmented Reality Visualization for Ureteroscopic Surgery
针对输尿管镜视野有限、易漏诊结石的问题，研究提出NAVIUS系统，集成电磁追踪导航与增强现实可视化，经用户研究验证可提升肾集合系统探查范围并降低术者工作负荷。
2025-03-21 cs.HC
Assessment of user-interaction strategies for neurosurgical data navigation and annotation in virtual reality
虽然虚拟现实（VR）在放射学任务中表现出了很大的希望，但有效的用户交互策略，可以提高效率和人体工程学仍然是探索不足，在复杂的解剖模型的背景下，VR交互技术的系统评价是罕见的。因此，我们的研究旨在确定最有效的交互技术，两个常见的神经外科规划任务，在VR（点注释和笔记）从最先进的，并提出了一种新的技术，有效的子体积选择必要的神经解剖导航。我们评估了七种用户交互方法，采用多种输入方式（凝视、头部运动、控制器和语音），用于在脑血管手术中注释脑动脉瘤的背景下进行点放置和记录。此外，我们提出并评估了一种新的技术，称为放大选择透视图（Maserama），用于在VR中轻松导航和选择复杂的3D解剖结构。定量和半定量（即，NASA任务负荷指数）的指标，通过用户研究，以揭示性能的准确性，效率和可用性方面的每一个交互方案。我们的评估表明，基于手势的交互优于基于眼动跟踪的点放置方法，而语音记录和虚拟键盘打字优于手写笔记。此外，我们新的Maserama子卷选择技术被证明是高效和易于使用的。我们的研究是第一个为神经外科数据导航和注释提供现有和新的VR交互方案的系统评估。它提供了有价值的见解和工具，以指导未来放射和外科应用的VR系统的设计。
2022-12-16 cs.HC
Multimodal Feedback for Handheld Tool Guidance: Combining Wrist-Based Haptics with Augmented Reality
Stanford University（斯坦福大学）
本研究通过结合增强现实与触觉反馈，提升手术中手持工具的精确引导与操作效率。
2026-01-17 cs.CV cs.HC cs.SY
Multi-Camera AR Guidance System for Surgical Instrument Handling and Assembly: Investigating Workload and Efficiency
NVIDIA Deep Learning Data Synthesizer（NVIDIA深度学习数据合成器）；NVIDIA Scene Imaging Interface（NVIDIA场景成像接口）
提出一种无标记的多摄像头增强现实引导系统，结合6D位姿估计和头戴显示，显著降低手术器械操作的工作量并提高效率。
2026-06-03 cs.CV cs.HC
A Novel Visualization System of Using Augmented Reality in Knee Replacement Surgery: Enhanced Bidirectional Maximum Correntropy Algorithm
Charles Sturt University（查尔斯特大学）；Study Group Australia（澳大利亚学习集团）；University of Technology, Baghdad（巴格达技术大学）；University of Kurdistan Hewler（库尔德斯坦赫勒大学）
背景和目的：图像配准和对齐是基于增强现实的膝关节置换手术的主要限制。本研究旨在减少配准误差，消除陷入局部最小值的结果，以改善对齐问题，处理遮挡，并最大限度地提高重叠部分。方法学：将无标记图像配准方法应用于基于增强现实的膝关节置换手术中，以指导和可视化手术操作。采用加权最小二乘算法，从右向左填充边界遮挡，从左向右填充非边界遮挡，增强了基于立体摄像机的跟踪。结果：本研究将影像定位精度提高到0.57 mm~0.61 mm。此外，通过使用双向点，如前、后向云点，减少了图像配准的迭代次数。这也缩短了处理时间。视频帧的处理时间提高到7.4~11.74 fps。结论：很明显，所提出的系统专注于克服由患者移动引起的对准困难，并增强膝关节置换手术期间的AR可视化。该系统可靠性高，通过确定两个云点之间的最佳刚性变换，去除野值和非高斯噪声，消除了对准误差。所提出的增强现实系统有助于准确地可视化和导航膝关节的解剖结构，例如股骨、胫骨、软骨、血管等。
2021-03-13 cs.AI cs.CV cs.HC
Adding Safety Rules to Surgeon-Authored VR Training
引言：手术VR培训中的安全标准通常是硬编码和非正式总结的。虚拟现实（VR）内容创建界面，TIPS-author，用于手术程序说明工具包（TIPS），允许外科医生教育者（SE）创建具有力反馈的腹腔镜VR培训模块。TIPS-作者描述SE访问启用物理的解剖学片段的云数据库所选择的解剖学形状和物理属性。方法：TIPS作者新增了安全规则，这些规则由SE设置，并在模拟过程中自动监控。错误被记录为视觉快照，以反馈给受训者。本文报告了作为学员反馈机制的快照机制的实施和机会主义评价。TIPS在两次手术会议上进行了现场测试，一次在添加快照功能之前，一次在添加快照功能之后。结果如下：虽然TIPS的其他评分保持不变，总体Likert量表评分为5. 24（满分7分）（7分等于非常有用），但添加快照机制后，“TIPS界面帮助学习者理解探索解剖结构所需的力量”的评分从5. 04提高到5. 35（满分7分）。结论：评级表明TIPS开源2电子创作的外科培训单元的可行性。在培训结束时通过快照机制呈现SE确定的程序失误，可提高接受度
2021-11-03 cs.HC cs.NA math.NA
End-to-End assessment of AR-assisted neurosurgery systems
本文分类评估AR辅助神经外科系统的方法，提出系统化端到端评估技术，并通过术前与术中反馈分析发现物理反馈可显著降低全息图位移误差。
2023-11-03 cs.CV cs.HC
Spatiotemporal-Aware Augmented Reality: Redefining HCI in Image-Guided Therapy
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Hospital（约翰斯·霍普金斯医院）；Technical University of Munich（慕尼黑工业大学）
与患者数据的次优交互以及基于不适定的2D介入图像掌握3D解剖结构的挑战是图像引导治疗中的基本问题。增强现实（AR）在过去十年中已被引入手术室;然而，在图像引导的干预中，它通常仅被视为改善传统工作流程的可视化设备。因此，该技术正在获得重新定义新过程、用户界面和交互所需的最低成熟度。本文的主要贡献是揭示如何通过充分利用盔装显示器在任何时候都与成像系统完全配准来重新定义示例性工作流程。所提出的AR景观是通过经由手术室环境共同定位用户和成像设备并利用所有涉及的平截头体来在不同身体之间移动空间信息来实现的。系统对X射线成像的几何和物理特性的认识允许重新定义不同的人机界面。我们证明，这种AR范例是通用的，可以受益于各种各样的程序。我们的系统在骨折治疗手术中放置克氏针的误差为$4.76\pm2.91$ mm，在全髋关节置换术中外展角和前倾角的误差分别为$1.57\pm1.16^\circ$和$1.46\pm1.00^\circ$。我们希望，我们的整体方法，以改善手术界面不仅增强了外科医生的能力，但也增加了手术团队的经验，在进行有效的干预，减少并发症，并提供新的方法，记录程序的培训目的。
2020-03-04 cs.CV cs.HC eess.IV
