SATR-DL: Improving Surgical Skill Assessment and Task Recognition in Robot-assisted Surgery with Deep Neural Networks
目的:本文主要研究机器人辅助手术中手术运动轮廓的自动分析,用于客观的技能评估和任务识别。现有的技术严重依赖于传统的统计措施或浅建模的基础上手工设计的功能和手势分割。这样的发展需要大量的专业知识,容易出错,并且在线自适应训练系统的效率较低。研究方法:在这项工作中,我们提出了一个有效的分析框架与并行的深度学习架构,SATR-DL,以评估受训者的专业知识和认识手术培训活动。通过端到端的学习技术,直接从原始运动序列中联合获得空间表示和时间动态的抽象信息。结果如下:通过利用共享的高级表示学习,所得到的模型在识别受训者技能和手术任务、缝合、穿针和打结方面是成功的。与此同时,我们探讨了集成在分类中的使用在审判的水平,其中SATR-DL优于国家的最先进的性能,分别达到0.960和1.000的准确率在技能评估和任务识别。结论:这项研究强调了SATR-DL在智能机器人手术中为有效的数据驱动评估提供改进的潜力。
2018-06-15 cs.CV cs.RO
EMG-Based Adaptation of Anisotropic Virtual Fixtures for Robot-Assisted Surgical Resection and Dissection
University of Modena and Reggio Emilia(摩德纳大学);German Aerospace Center (DLR)(德国航空航天中心)
提出一种基于EMG信号自适应调节各向异性虚拟夹具的框架,通过实时推断外科医生意图动态调整约束,实验证明能提高手术精度和运动一致性,降低认知负荷。
2026-06-12 cs.RO
Advanced Intelligent Systems for Surgical Robotics
Graduate School of Biomedical Engineering, Faculty of Engineering, UNSW(新南威尔士大学工程学院生物医学工程研究生院);Prince of Wales Hospital(威尔士亲王医院);Faculty of Medicine, UNSW(新南威尔士大学医学院)
自20世纪90年代中期以来,外科手术机器人已投入临床使用。机器人辅助手术与传统手术相比具有许多优点,包括感染和失血风险较低,恢复时间较短,以及对患者整体更安全的手术。在过去的几十年里,已经出现了许多新兴的手术机器人平台,它们可以在人体内部器官的复杂和受限的通道中工作,并在手术过程中提高外科医生的认知和身体技能。用于感测、致动和智能控制的先进技术使得多个手术装置能够以低成本和更高效率在人体内同时操作。尽管取得了进步,但目前的手术干预系统无法执行自主任务并做出类似于人类的认知决策。本文将概述从传统的开放式手术到机器人辅助手术的历史发展,并讨论目前在现有手术机器人系统中实施的先进智能系统和设备的能力。它还将重新审视可用的自主手术平台,并对基本技术,现有挑战以及智能机器人辅助手术系统未来发展的建议进行评论,以实现完全自主操作。
2020-01-02 cs.RO
Dataset and Analysis of Long-Term Skill Acquisition in Robot-Assisted Minimally Invasive Surgery
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Soroka Medical Center(索罗卡医疗中心)
本研究通过六个月、围绕26小时轮班的三次月度训练,收集18名外科住院医师972次试验数据,分析长期机器人手术技能习得、训练间隔及疲劳影响,发现持续进步与轮班间差异,为优化训练和AI应用奠基。
2025-03-27 cs.RO
SurgFusion-Net: Diversified Adaptive Multimodal Fusion Network for Surgical Skill Assessment
UCL Hawkes Institute and the Department of Medical Physics & Biomedical Engineering, UCL(UCL哈维斯研究所及UCL医学物理与生物医学工程系);UCL Hawkes Institute and the Department of Computer Science, UCL(UCL哈维斯研究所及UCL计算机科学系);UCL Hawkes Institute and the Division of Informatics, Imaging & Data Sciences, The University of Manchester(UCL哈维斯研究所及信息学、成像与数据科学系,曼彻斯特大学);UCL Hospitals NHS Foundation Trust(UCL医院 NHS基金会信托);Griffin Institute, Northwick Park and St Mark’s Hospital(格里芬研究所,北wick公园及圣马可医院)
SurgFusion-Net通过引入DRA策略和两个新的临床数据集,提升了多模态外科技能评估的准确性和可靠性。
2026-02-18 cs.AI cs.RO
Real-Time Context-aware Detection of Unsafe Events in Robot-Assisted Surgery
University of Virginia(弗吉尼亚大学)
用于机器人手术的网络物理系统使微创手术具有更高的精度和更短的住院时间。然而,随着软件的复杂性和连接性的增加以及人类操作员在手术机器人的监督中的主要参与,在确保患者安全方面仍然存在重大挑战。本文介绍了一种安全监测系统,该系统在外科医生了解手术任务的情况下,可以实时的【形】检测安全关键事件。我们的方法集成了一个手术手势分类器,推断的操作上下文的时间序列的运动学数据的机器人与库的错误的手势分类器,给定的手术手势可以检测到不安全的事件。我们使用来自两个手术平台的数据进行的实验表明,所提出的系统可以在1,693毫秒的平均反应时间窗口和0.88的F1分数内检测由意外或恶意故障引起的不安全事件,并且在57毫秒的平均反应时间窗口和0.76的F1分数内检测人为错误。
2020-06-18 cs.RO
Robot-Assisted Surgical Training Over Several Days in a Virtual Surgical Environment with Divergent and Convergent Force Fields
Stanford University(斯坦福大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学);Intuitive Surgical(直观医疗公司);University of Washington(华盛顿大学)
外科手术需要高水平的技术技能,以确保效率和患者安全。由于外科医生的技能对患者的治疗效果有直接影响,因此开发具有成本效益和现实的培训方法对于加速技能获取至关重要。遥控机器人设备允许直观的人体工程学控制,但这些系统的学习曲线仍然很陡峭。最近的运动学习研究表明,错误的视觉或物理夸张有助于受训者学习更快,更准确地执行任务。在这项研究中,我们扩展了以前两项研究的工作,以调查受试者在不同力场训练条件下的表现,包括收敛(辅助),发散(阻力)和无力场(零)。
2021-09-23 cs.HC cs.RO
Gaze-based Learning from Demonstration In Surgical Robotics
University of British Columbia(不列颠哥伦比亚大学)
本文针对 da Vinci 手术机器人相机臂需手动控制、中断手术流程的问题,提出基于外科医生注视数据与机器人运动学数据的概率模型,以实现相机臂运动自动化。
2023-11-01 cs.RO
Design and Experimental Evaluation of a Haptic Robot-Assisted System for Femur Fracture Surgery
Biomedical Engineering Department, Rowan University(罗文大学生物医学工程系)
本文提出Robossis触觉机器人辅助股骨骨折手术系统,通过单边控制与触觉渲染解决运动传递和运动学不匹配,实验显示平均平移误差0.32 mm、旋转误差0.07度,并在尸体实验中验证了其辅助手术的直观有效性。
2023-10-29 cs.RO
Pre-Surgical Planner for Robot-Assisted Vitreoretinal Surgery: Integrating Eye Posture, Robot Position and Insertion Point
NSK Ltd.(恩斯克有限公司);Technische Universität München(慕尼黑工业大学);Klinikum rechts der Isar der Technische Universität München(慕尼黑工业大学右岸医院);University of Alberta(阿尔伯塔大学)
本文提出一种术前规划优化框架,通过整合眼球姿态、机器人位置和插入点,使机器人辅助玻璃体视网膜手术器械能精准到达不同患者的目标区域,并在仿真眼球模型上验证了其精度。
2025-02-25 cs.RO
Hall Effect-Based Tactile Force Detection Sensor for Robot-Assisted Minimally Invasive Surgery
University of Leeds(利兹大学)
针对机器人微创手术中触觉反馈缺失的问题,本文提出一种基于霍尔效应的毫米级紧凑力传感器,可检测法向和剪切力,平均RMSE为2.133 kPa,并在体模和离体猪组织上验证了牵拉与滑动感知能力。
2026-10-08 cs.RO
daVinciNet: Joint Prediction of Motion and Surgical State in Robot-Assisted Surgery
Intuitive Surgical Inc.(直觉外科公司);California Institute of Technology(加州理工学院)
本文提出了一种技术,同时和联合预测的未来轨迹的手术器械和未来的状态(S)的手术子任务在机器人辅助手术(RAS)使用多个输入源。这样的预测是必要的第一步共享控制和监督自主的手术子任务。一分钟长的手术子任务,如超声或超声扫描,通常具有可区分的工具运动学和视觉特征,并且可以被描述为一系列具有过渡示意图的细粒度状态。我们提出了daVinciNet -机器人运动和手术状态预测的端到端双任务模型。daVinciNet使用从多个数据流中提取的特征(包括机器人运动学、内窥镜视觉和系统事件)执行并发末端执行器轨迹和手术状态预测。我们评估了我们提出的模型上的扩展机器人术中超声(RIOUS+)成像数据集上收集的达芬奇Xi手术系统和JHU-ISI手势和技能评估工作集(JIGSAWS)。我们的模型实现了高达93.85%的短期(0.5s)和82.11%的长期(2s)的状态预测精度,以及1.07mm的短期和5.62mm的长期轨迹预测误差。
2020-09-24 cs.CV cs.LG cs.RO
Teleoperation in Robot-assisted MIS with Adaptive RCM via Admittance Control
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出并评估了一种用于机器人辅助微创手术的遥操作框架,通过自适应RCM和导纳控制实现精确操作,并演示了穿线、拾放和轨迹跟踪等任务。
2024-07-17 cs.RO
Deep Learning with Convolutional Neural Network for Objective Skill Evaluation in Robot-assisted Surgery
The University of Texas at Dallas(得克萨斯大学达拉斯分校);UT Southwestern Medical Center(得克萨斯大学西南医学中心)
随着机器人辅助手术的出现,数据驱动方法整合统计和机器学习的作用正在迅速增长,对客观手术技能评估的兴趣也越来越大。然而,大多数现有的工作需要将机器人运动学转换为中间特征或手势片段,这些特征或手势片段提取起来很昂贵,缺乏效率,并且需要大量的特定领域知识。我们提出了一个分析性的深度学习框架,用于外科培训中的技能评估。实施深度卷积神经网络以将运动学的多变量时间序列数据映射到个体技能水平。我们在公共微创手术机器人数据集JHU-ISI手势和技能评估工作集(JIGSAWS)上进行实验。我们提出的学习模型在标准训练任务中分别达到了92.5%,95.4%和91.3%的准确率:缝合,穿针和打结。不需要工程特征或精心调整的手势分割,我们的模型可以通过端到端学习成功地从原始运动轮廓中解码技能信息。同时,该模型能够在1-3秒的窗口内可靠地解释技能,而不需要观察整个训练试验。这项研究强调了深度架构在现代外科培训中进行熟练在线技能评估的潜力。
2019-03-07 cs.CV cs.RO
Affordable Mobile-based Simulator for Robotic Surgery
Digital Surgery Limited(数字手术有限公司);University College London(伦敦大学学院);Kasetsart University(泰国农业大学)
机器人手术和新型手术器械为更安全、更准确和一致的微创手术提供了巨大的潜力。然而,采用这些方法取决于能否获得培训设施和广泛的外科培训。与开放式或腹腔镜相比,机器人器械需要不同的灵巧技能。因此,外科医生需要投入大量时间参加广泛的培训计划。相反,由于用于培训目的的机器人系统的可用性有限,实际操作经验代表了医院的额外运营成本。外科医生和医院面临的所有这些技术和财政障碍都阻碍了机器人手术的采用。在本文中,我们提出了一个移动灵活性训练包,以发展基本的手术技术在一个负担得起的设置。该系统可用于训练基本的外科手术姿势,并开发操纵机器人器械所需的运动技能。我们的工作提出了架构和组件需要创建一个模拟环境的培训子任务,以及便携式移动机械手,可用作主控制器的不同仪器的设计。初步研究结果表明,该系统的可用性和技能的发展。
2018-07-20 cs.RO
Recognition and Prediction of Surgical Gestures and Trajectories Using Transformer Models in Robot-Assisted Surgery
The University of Texas at Austin(德克萨斯大学奥斯汀分校);UT Southwestern Medical Center(德克萨斯大学西南医学中心)
手术活动识别和预测可以帮助在许多机器人辅助手术(RAS)应用中提供重要的上下文,例如,手术进度监测和估计、手术技能评估以及远程操作期间的共享控制策略。Transformer模型最初是为自然语言处理(NLP)开发的,用于对单词序列进行建模,很快该方法在一般序列建模任务中得到普及。在本文中,我们提出了一个新的使用Transformer模型的三个任务:手势识别,手势预测和轨迹预测在RAS。我们修改原来的Transformer架构,能够生成当前的姿态序列,未来的姿态序列,未来的轨迹序列估计,只使用当前的运动学数据的手术机器人末端执行器。我们在JHU-ISI手势和技能评估工作集(JIGSAWS)上评估我们提出的模型,并使用Leave-One-User-Out(LOUO)交叉验证来确保我们结果的普遍性。我们的模型实现了高达89.3%的手势识别准确率,84.6%的手势预测准确率(提前1秒)和2.71mm的轨迹预测误差(提前1秒)。我们的模型是可比的,并能够超越国家的最先进的方法,同时只使用运动学数据通道。这种方法可以实现近实时的手术活动识别和预测。
2022-12-03 cs.AI cs.RO
Federated Deep Reinforcement Learning for Privacy-Preserving Robotic-Assisted Surgery
针对临床环境下机器人辅助手术RL模型开发面临的隐私、数据及流程变异性难题,提出融合多种隐私保护技术的联邦深度强化学习框架,实现跨机构去中心化训练与动态患者策略适配,在大幅降低隐私泄露的同时保持手术精度,为AI手术机器人临床落地奠定基础。
2025-10-28 cs.RO
How to enhance learning of robotic surgery gestures? A tactile cue saliency investigation for 3D hand guidance
LIRMM, University of Montpellier, CNRS(蒙彼利埃大学法国国家科学研究中心LIRMM实验室);Stanford University(斯坦福大学)
目前这一代的外科医生需要在远程操作方面进行广泛的培训,以发展独立于医学知识的特定灵巧技能。培训课程从操作任务进展到模拟手术任务,但时间有限。为了解决这个问题,我们建议将手术机器人训练与触觉反馈(HF)结合起来,以提高技能的获得。本文提出了初步的,但有希望的结果,我们的触觉设备设计,以支持在手术手势的训练。我们正在进行的工作是将HF集成到RAVEN II平台中。
2019-07-19 cs.RO
LapGym -- An Open Source Framework for Reinforcement Learning in Robot-Assisted Laparoscopic Surgery
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Heidelberg University Hospital(海德堡大学医院);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Technical University Dresden(德累斯顿工业大学)
强化学习(RL)的最新进展增加了将认知辅助和自动化引入机器人辅助腹腔镜手术(RALS)的希望。然而,算法和方法的进展取决于标准化的学习环境,代表相关的RALS技能的可用性。我们提出了LapGym,一个为RALS构建RL环境的框架,该框架模拟了手术任务带来的挑战,以及sofa_env,一个包含12个环境的多样化套件。受手术训练的启发,这些环境被组织成4个轨道:空间推理,可变形物体操作和抓取,解剖和线程操作。每个环境都是高度可参数化的,以增加难度,从而导致新算法的高性能上限。我们使用近端策略优化(PPO)建立无模型强化学习算法的基线,研究几个环境参数对任务难度的影响。最后,我们表明,许多环境和参数配置反映了RL研究中众所周知的开放性问题,使研究人员能够在手术环境中继续探索这些基本问题。我们的目标是提供一个具有挑战性的标准环境套件,以进一步开发用于RALS的RL,最终帮助实现认知手术机器人的全部潜力。LapGym可通过GitHub(https://github.com/ScheiklP/lap_gym)公开访问。
2023-02-19 cs.RO
Video-Based Detection and Analysis of Errors in Robotic Surgical Training
Ben-Gurion University of the Negev(本·古里安大学)
本研究通过视频分析检测机器人手术培训中的错误,采用图像处理算法实现约95%的检测准确率,揭示了住培医生在六个月内技能提升的过程。
2026-01-01 cs.RO
Constructing Predictive Surgical Path for AI-based Capsulorhexis Skill Transfer
Applied Robotics and AI Solutions (ARAS)(应用机器人与人工智能解决方案(ARAS));Faculties of Electrical and Computer Engineering(电气与计算机工程学院);K. N. Toosi University of Technology(K. N. 图西理工大学)
本研究构建了结合ARAS-Farabi数据集与深度卷积神经网络的平台,可辅助AI智能体生成改进手术路径,使受训外科医生运动路径提升至少20%并保留其意图。
2026-08-25 cs.AI cs.LG cs.RO
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan(名古屋大学)
本文提出一种基于可供性推理的机器人手术助手框架,结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义,并利用双重集合共形预测保障安全,在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
Value-Informed Skill Chaining for Policy Learning of Long-Horizon Tasks with Surgical Robot
The Chinese University of Hong Kong(香港中文大学)
针对手术机器人长时序任务中子任务策略难以平滑连接的问题,提出强化学习框架ViSkill,通过状态价值函数学习链接策略,指导子任务在最优状态终止,提升了任务成功率与执行效率。
2023-07-31 cs.AI cs.LG cs.RO
SurgiCLAW: An Interpretable Atomic-Skill Agent for Precision Robotic Micromanipulation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
SurgiCLAW是用于精密机器人显微操作的可解释原子技能智能体,通过分层技能框架结合MLLM与确定性控制程序,在脑机接口植入任务中实现了94.6%技能选择准确率与88.0%真实机器人任务成功率。
2026-10-14 cs.AI cs.RO
Accelerating Surgical Robotics Research: A Review of 10 Years With the da Vinci Research Kit
Imperial College London(伦敦帝国理工学院);University of Leeds(利兹大学);Johns Hopkins University(约翰斯·霍普金斯大学);Worcester Polytechnic Institute(伍斯特理工学院);Intuitive Surgical Inc(直觉外科公司)
机器人辅助手术现已在临床实践中得到广泛应用,并已成为多种临床适应症的金标准临床治疗选择。机器人辅助手术领域预计将在未来十年内大幅增长,一系列新的机器人设备将出现,以满足不同专业未满足的临床需求。一个充满活力的手术机器人研究社区对于概念化这种新系统以及开发和培训工程师和科学家将其转化为实践至关重要。达芬奇研究套件(dVRK)是一项学术和行业合作项目,旨在重新利用退役的达芬奇手术系统(Intuitive Surgical Inc,CA,USA)作为手术机器人研究的研究平台,一直是解决障碍的关键举措手术机器人领域新研究小组的进入。在本文中,我们提出了一个广泛的审查出版物,促进了dVRK在过去的十年。我们将研究工作分为不同的类别,并概述了机器人社区维护这一倡议并在此基础上建立的一些主要挑战和需求。
2021-11-17 cs.RO
VR Isle Academy: A VR Digital Twin Approach for Robotic Surgical Skill Development
FORTH - ICS, University of Crete, ORamaVR(FORTH - ICS、克里特大学、ORamaVR);University of Western Macedonia(西马其顿大学)
本文提出 VR Isle Academy,一种便携、设备无关且支持手脚追踪的超逼真 VR 数字孪生系统,用于低成本训练手术机器人操作技能,实验证明其能显著降低操作误差并缩短学习曲线。
2024-07-01 cs.GR cs.RO
Toward Personalized Training and Skill Assessment in Robotic Minimally Invasive Surgery
Wayne State University(韦恩州立大学)
尽管外科手术技术取得了巨大的进步,但评估手术技能的标准仍然基于主观标准。随着机器人辅助手术的出现,引入了客观和自主技能评估的新机会。以往的研究主要是基于隐马尔可夫模型(HMM)等结构化方法,需要大量的预处理。在这项研究中,与他们相比,我们开发了一个新的基于形状的框架,自动技能评估和个性化的手术训练与最小的参数调整。我们的工作已经解决了技能评估的主要方面,开发手势识别模型,直接对机器人辅助手术的时间运动信号,并建立自动个性化RMIS手势训练框架,我们表明,我们的方法,平均准确度为82%的缝合,70%的穿针和85%的打结,表现优于或等于最先进的方法,同时需要最少的预处理,参数调整,并为外科医生提供在线反馈,他们在培训期间的表现。
2016-11-14 cs.RO
ORBIT-Surgical: An Open-Simulation Framework for Learning Surgical Augmented Dexterity
University of Toronto(多伦多大学);University of California, Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
本文提出ORBIT-Surgical,一个基于物理的手术机器人模拟框架,为dVRK和STAR提供14项基准任务,利用GPU并行化训练强化和模仿学习算法,并成功实现策略从模拟到真实机器人的迁移。
2024-04-24 cs.RO
A New Tensioning Method using Deep Reinforcement Learning for Surgical Pattern Cutting
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新研究所);Imperial College London(伦敦帝国理工学院)
外科医生通常需要手术剪刀和组织夹持器来切穿可变形的手术组织。切割精度取决于操作这两种工具的技能。这些技能是基本外科技能培训的一部分,如腹腔镜手术基础。夹持器用于夹持手术单上的点,并将组织拉向特定方向,以在剪刀沿轨迹切割时保持张力。由于手术材料是可变形的,因此需要全面的张紧策略以在切割过程的每个步骤产生适当的张紧方向。针对给定切割轨迹自动执行张紧策略不仅将支持人类外科医生,而且还将支持手术机器人,以提高切割精度和可靠性。提出了一种基于深度强化学习算法的多夹点自动张紧规划器建模方法。仿真实验表明,该方法在性能和鲁棒性方面均优于现有方法。
2019-01-10 cs.AI cs.LG cs.RO
Surgical task expertise detected by a self-organizing neural network map
Centre National de la Recherche Scientifique(法国国家科学研究中心);Strasbourg University(斯特拉斯堡大学);Dedan Kimathi University of Technology(戴丹·金马西理工大学)
使用为内窥镜手术设计的机器人控制装置的专家和新手的双手模拟器任务性能的个体抓握力分析允许定义基准标准,该基准标准从新手或实习外科医生的技能中分辨出真正的专家任务技能。在一个真正的专家和一个完整的新手执行机器人辅助手术模拟器任务的抓地力的变化揭示了统计学上的显着差异,作为任务的专业知识的函数。在这里,我们表明,在本地的握力的技能特定的差异预测的输出度量的自组织神经网络地图(SOM)与生物启发的功能架构,映射的功能连接的躯体感觉神经网络在灵长类动物的大脑。
2021-06-03 cs.AI cs.RO q-bio.NC
OSSAR: Towards Open-Set Surgical Activity Recognition in Robot-assisted Surgery
The Chinese University of Hong Kong (CUHK)(香港中文大学);Beijing Institute of Technology(北京理工大学);Qilu Hospital of Shandong University(山东大学齐鲁医院);Tongji University(同济大学);University College London(伦敦大学学院)
针对机器人手术活动识别在开放集场景下易将未知类误分为已知类的问题,提出OSSAR框架,利用超球面互惠点策略与模型校准增强已知与未知类区分度,并构建基准验证其显著优于现有方法。
2024-02-10 cs.AI cs.CV cs.RO
Organ Shape Sensing using Pneumatically Attachable Flexible Rails in Robotic-Assisted Laparoscopic Surgery
University College London(伦敦大学学院);Welcome/EPSRC Centre for Interventional and Surgical Sciences(惠康/工程与物理科学研究委员会介入与外科科学中心)
在机器人辅助肾部分切除术中,外科医生通常由于存在肿块而切除肾脏的一部分。与手术机器人配对的插入式超声探头被部署在肾脏表面上执行多次滑动,以定位肿块并确定切除边缘。这一子任务具有挑战性,必须由高度熟练的外科医生执行。自动化这个子任务可以减少外科医生的认知负荷并改善患者的预后。这项工作的总体目标是利用气动可附接柔性(PAF)导轨系统(一种用于器官扫描和重新定位的软机器人设备),在肾脏表面上自主移动超声探头。首先,我们将形状传感光纤集成到PAF轨道系统中,以评估机器人辅助腹腔镜手术中目标器官的曲率。然后,我们研究PAF导轨材料的刚度对曲率传感精度的影响,考虑到手术区域中存在软目标。最后,我们使用形状感测来规划达芬奇手术机器人与插入式超声探头配对的轨迹,并自主生成肾脏体模的超声扫描。
2022-11-21 cs.RO
Runtime Detection of Executional Errors in Robot-Assisted Surgery
University of Virginia(弗吉尼亚大学)
尽管手术机器人的设计和客观评估手术技能的自动化技术取得了重大进展,但在确保机器人辅助微创手术(RMIS)的安全性方面仍然存在挑战。本文提出了一种运行时监测系统,通过分析运动学数据检测手术任务中的执行错误。所提出的系统结合了双连体神经网络和手术背景知识,包括手术任务和手势,它们的分布相似性,以及常见的错误模式,学习正常和错误的手术轨迹之间的差异,从小的训练数据集。我们使用JIGSAWS数据集的缝合和穿针任务的干实验室演示,与使用不同水平的上下文知识和训练数据训练的单个CNN和LSTM网络相比,评估了使用Siamese网络的错误检测性能。我们的研究结果表明,手势特定任务非特异性Siamese网络获得了0.94(Siamese-CNN CNN)和0.95(Siamese-LSTM)的微F1分数,并且比单个CNN(0.86)和LSTM(0.87)网络表现更好。这些Siamese网络在缝合和穿针方面的表现也优于手势非特定任务特定的Siamese-CNN和Siamese-LSTM模型。
2022-03-01 cs.CV cs.LG cs.RO
Autonomous tissue retraction with a biomechanically informed logic based framework
University of Verona(维罗纳大学)
机器人辅助手术中的自主性对于减少外科医生的认知负荷并最终改善整体手术结果至关重要。在手术等安全关键场景中,自主性的关键要求在于依赖于专家知识的可解释计划的生成。此外,自主机器人手术系统(ARSS)必须能够对动态和不可预测的解剖环境进行推理,并在意外情况下快速调整手术计划。在本文中,我们提出了一个模块化的框架,机器人辅助手术(FRAS)在可变形的解剖环境。我们的框架集成了任务级可解释推理的逻辑模块,补充来自真实传感器的数据的生物力学模拟,以及用于上下文解释的态势感知模块。通过模拟软组织牵开来评价框架性能,这是一种常见的手术任务,用于移除隐藏感兴趣区域的组织。结果表明,该框架具有成功完成任务所需的适应性,处理动态环境条件和可能的故障,同时保证了真实手术场景中所需的计算效率。该框架是公开提供的。
2021-09-28 cs.RO
Segmentation of Surgical Instruments for Minimally-Invasive Robot-Assisted Procedures Using Generative Deep Neural Networks
German Aerospace Center(德国航空航天中心)
这项工作证明了微创手术器械上的语义分割可以通过使用已经通过领域自适应增强的训练数据来改进。这种方法的好处是双重的。首先,它通过将合成数据转换为逼真的数据来抑制手动标记数千幅图像的需要。为了实现这一点,使用CycleGAN模型,该模型将源数据集转换为近似目标数据集的域分布。其次,利用这些新生成的具有完美标签的数据来训练一个语义分割神经网络U-Net。该方法显示了数据的泛化能力,其旋转-位置-和照明条件的变化。然而,这种方法的一个警告是,该模型无法很好地推广到其他形状与用于训练的手术器械不同的手术器械。这是由训练数据的几何分布中缺乏高方差所驱动的。未来的工作将集中在使模型更具尺度不变性,并能够适应其他类型的手术器械之前看不到的培训。
2020-06-05 cs.CV cs.LG cs.RO
Efficient and Accurate Mapping of Subsurface Anatomy via Online Trajectory Optimization for Robot Assisted Surgery
University of Utah(犹他大学)
本文提出一种基于贝叶斯希尔伯特图三维占据地图和A*图搜索轨迹优化的机器人手术皮下解剖结构自动感知方法,实验表明其能以更短轨迹实现高效精确的解剖映射。
2023-09-18 cs.RO
Real-time Teaching Cues for Automated Surgical Coaching
Johns Hopkins University(约翰斯·霍普金斯大学);Intuitive Surgical Inc.(直觉外科公司)
随着达芬奇手术系统等新技术在手术室的引入,培训外科医生有效地使用它们对于提供更好的患者护理至关重要。专家外科医生的指导在教授相关技术技能方面是有效的,但目前提供有效指导的方法是有限的,并且不可扩展。我们提出了一个虚拟现实模拟为基础的框架,在外科教育的自动虚拟教练。我们在达芬奇技能模拟器中实现了我们的框架。我们提供三种辅导模式,从动手教师(持续指导)到handsoff指南(应要求提供帮助)。我们提出了六个教学线索针对关键的学习元素的一个穿针任务,这是显示给用户的指导模式的基础上。这些提示是图形叠加,引导用户,告知他们低于标准的性能,并显示相关的视频演示。我们在一项随机对照试验中评估了我们的框架,每组16名受试者,在研究后的问卷调查中,参与者报告了对反馈的高度理解,并认为表现有所改善。在三次重复练习任务后,控制臂(独立学习)表现出更好的运动效率,而实验臂(接受实时的【形】指导)在学习元素方面表现更好(根据ACS住院医师技能课程)。我们观察到,基于其中一个指标(与针抓取方向相关),实验组的改善程度在统计学上更高。总之,我们开发了一个自动教练,提供实时的【形】提示手术培训,并证明了其可行性。
2017-04-24 cs.HC cs.RO
A Realistic Surgical Simulator for Non-Rigid and Contact-Rich Manipulation in Surgeries with the da Vinci Research Kit
University of Alberta(阿尔伯塔大学)
本文提出基于PhysX 5和dVRK的真实感手术模拟器CRESSim,支持组织切割、血液抽吸等接触密集任务,并通过VR遥操作验证其有效性。
2024-08-07 cs.RO
Weakly Supervised Recognition of Surgical Gestures
UCL(伦敦大学学院);Università di Verona(维罗纳大学);Politecnico di Milano(米兰理工大学)
从手术机器人记录的运动轨迹包含有关手术手势的信息,并可能编码有关外科医生的技能水平的线索。将这些轨迹自动分割成有意义的动作单元可以帮助开发用于手术技能评估的新指标以及简化手术自动化。最先进的动作识别方法依赖于对大型数据集进行手动标记,这既耗时又容易出错。无监督的方法已经被开发来克服这些限制。然而,它们通常依赖于繁琐的参数调整,并且比监督方法执行得更差,特别是在具有高可变性的数据上,例如手术轨迹。因此,弱监督的潜力可以改善无监督学习,同时避免对大型数据集进行手动注释。在本文中,我们使用了至少一个专家演示和地面实况注释生成一个适当的初始化基于GMM的手势识别算法。我们在真实的手术演示中表明,后者显着优于标准的任务无关的初始化方法。我们还演示了如何通过重新定义动作和优化输入来进一步提高识别精度。
2019-07-25 cs.CV cs.RO eess.IV
Primary Experimental Feedback on a Co-manipulated Robotic System for Assisted Cervical Surgery
Pprime Institute(Pprime研究所);University of Poitiers(普瓦捷大学);CNRS(法国国家科学研究中心);ISAE-ENSMA(法国高等航空航天学院-国立高等机械与航空技术学院);Centre Hospitalier Universitaire (CHU)(大学教学医院(CHU));National Central University(国立中央大学);National Engineering School of Sousse(苏塞国立工程师学院);University of Sousse(苏塞大学)
本研究评估了一种协同机器人系统在辅助颈椎手术钻孔任务中的性能,通过分析其轨迹执行精度,为临床应用提供可靠性和改进方向的反馈。
2026-02-06 cs.RO
Robot Autonomy for Surgery
University of California, San Diego(加州大学圣迭戈分校)
自主手术涉及由机器人根据自己的意愿执行手术任务,部分或没有人类参与。手术自动化有几个重要的优势,包括由于亚毫米机器人控制而提高护理精度,实时利用生物信号进行介入护理,提高手术效率和执行,以及在各种医学成像和传感模式下的计算机辅助指导。虽然这些方法可能会取代手术团队和外科医生个人的一些任务,但它们也提供了新的干预能力,这些干预能力过于困难或超出了人类的技能。在这一章中,我们提供了一个概述机器人的自主性在商业用途和研究,并提出了一些在发展自主手术机器人所面临的挑战。
2017-07-10 cs.RO
SAVOR: Skill Affordance Learning from Visuo-Haptic Perception for Robot-Assisted Bite Acquisition
Cornell University(康奈尔大学);UC San Diego(南加州大学)
针对机器人辅助取食中食物属性多变导致操作困难的问题,提出SAVOR方法,结合离线工具可供性学习与在线视觉-触觉感知的食物属性修正,实时预测技能可供性,较SOTA方法取食成功率提升13%。
2025-09-01 cs.RO
Task segmentation based on transition state clustering for surgical robot assistance
Nagoya University(名古屋大学)
本文提出一种基于视觉与机器人运动学特征分层过渡状态聚类的在线手术任务分割框架,并在拾取放置任务中验证其可激活机器人辅助定位、缩短完成时间并降低认知负荷。
2024-06-14 cs.RO
Arc-to-line frame registration method for ultrasound and photoacoustic image-guided intraoperative robot-assisted laparoscopic prostatectomy
the Johns Hopkins University(约翰斯·霍普金斯大学);the University of British Columbia(不列颠哥伦比亚大学)
针对机器人辅助腹腔镜前列腺切除术中TRUS换能器手动操作干扰手术的问题,提出基于光传播原理和PM检测不确定性的优化共配准算法,实现US/PA图像与内窥镜图像自动配准,达到亚厘米级精度,无需高精度PM定位,可集成商用系统。
2023-06-21 cs.RO
CASOG: Conservative Actor-critic with SmOoth Gradient for Skill Learning in Robot-Assisted Intervention
本文提出离线强化学习算法CASOG,通过保守Q函数估计、平滑卷积梯度和高TD误差优先采样,从人类演示中学习血管机器人操作技能,实验成功率达94.00%,优于现有离线强化学习方法。
2023-04-19 cs.RO
SuFIA-BC: Generating High Quality Demonstration Data for Visuomotor Policy Learning in Surgical Subtasks
University of Toronto(多伦多大学);NVIDIA(NVIDIA公司);Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(伯克利大学)
本文提出SuFIA-BC,利用增强型手术数字孪生生成高质量合成数据,评估视觉行为克隆策略,发现现有方法难以处理复杂手术任务,强调定制感知与控制及大规模数据集的重要性。
2025-04-21 cs.RO
Integrating Artificial Intelligence and Augmented Reality in Robotic Surgery: An Initial dVRK Study Using a Surgical Education Scenario
The Chinese University of Hong Kong(香港中文大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
机器人辅助手术由于其临床优势而变得越来越受欢迎。与此同时,机器人手术中的人工智能和增强现实技术也得到了迅速发展和广泛关注。然而,目前的方法还没有讨论机器人手术中AI和AR的相干集成。在本文中,我们开发了一个新的系统,无缝融合人工智能模块和增强现实可视化自动生成手术指导机器人手术教育。具体来说,我们首先利用强化学习从专家示范学习,然后生成3D引导轨迹,提供手术过程的先验上下文信息。与文本提示等其他信息一起,3D轨迹然后覆盖在dVRK的立体视图中,用户可以在其中感知3D引导并学习程序。该系统通过初步的实验进行评估手术教学任务挂钩转移,这证明了其可行性和潜力,作为下一代的机器人辅助手术教学解决方案。
2022-03-03 cs.AI cs.RO
Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search
The Chinese University of Hong Kong(香港中文大学);CUHK T Stone Robotics Institute(香港中文大学天石机器人研究所)
自动手术手势识别是提高机器人辅助手术智能的基础,例如执行复杂的手术监视和技能评估任务。然而,目前的方法单独对待每一帧,并产生的结果没有有效地考虑未来的信息。在本文中,我们提出了一个框架的基础上强化学习和树搜索的联合手术手势分割和分类。智能体被训练成以类似人类的方式对手术视频进行分割和分类,其直接决策通过树搜索适当地重新考虑。我们提出的树搜索算法联合了两个设计的神经网络的输出,即,政策和价值网络。通过整合来自不同模型的互补信息,我们的框架能够实现比使用任何神经网络的基线方法更好的性能。对于一个整体的评估,我们开发的方法始终优于现有的方法在JIGSAWS数据集的搜索任务的准确性,编辑得分和F1得分。我们的研究强调了利用树搜索来细化手术机器人应用的强化学习框架中的动作。
2020-02-20 cs.AI cs.LG cs.RO
Co-Generation and Segmentation for Generalized Surgical Instrument Segmentation on Unlabelled Data
University of British Columbia(不列颠哥伦比亚大学);Technical University of Munich(慕尼黑工业大学)
精确的器械跟踪和增强现实叠加需要机器人辅助手术的手术器械分割。因此,该主题已成为CAI社区最近一些论文的主题。基于深度学习的方法在手术器械分割方面表现出了最先进的性能,但其结果取决于标记数据。然而,标记的手术数据是有限的可用性,是这些方法的手术翻译的瓶颈。在本文中,我们展示了这些方法在不同数据集上的有限推广性,包括人类机器人辅助手术。然后,我们提出了一种新的联合生成和分割策略,以学习一个分割模型,具有更好的泛化能力,没有标记的数据域。该方法利用不同域中标记数据的可用性。生成器进行从标记域到未标记域的域转换,同时,分割模型在正则化生成模型的同时使用生成的数据进行学习。我们将我们的方法与最先进的方法进行了比较,并在公开的数据集和我们自己录制的机器人辅助切除术视频帧上显示了其普适性。我们的方法显示一贯高的平均骰子分数标记和未标记的域时,数据仅适用于一个域。*M。Kalia和T. Aleef对这份手稿做出了同样的贡献
2021-03-16 cs.CV cs.LG cs.RO
A Survey of Visuo-Haptic Simulation in Surgical Training
Armstrong Atlantic State Univ.(阿姆斯特朗大西洋州立大学);Ovidius University(奥维迪乌斯大学)
外科医生必须完成复杂的技术和智力任务,这些任务可能会产生意想不到的严重挑战,几乎没有或没有出错的余地。在过去的十年中,计算机模拟在外科手术训练、术前计划和生物医学研究中发挥了越来越重要的作用。具体而言,视觉触觉模拟一直是研究的重点,以开发先进的电子学习系统,促进手术培训。触觉硬件的成本通过大规模生产和触觉在游戏行业的普及而降低。视触觉模拟将触觉与视觉信息相结合,并提供具有高度真实性的训练场景。对于外科培训,这些场景可以用作获得、改进和评估住院医生和专家外科医生的技能和知识的方法。
2019-03-08 cs.HC cs.RO
Can DeepSeek Reason Like a Surgeon? An Empirical Evaluation for Vision-Language Understanding in Robotic-Assisted Surgery
The Chinese University of Hong Kong(香港中文大学);University of Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);ICube(ICube实验室);IHU Strasbourg(斯特拉斯堡大学医院研究所)
本研究评估了DeepSeek模型在机器人手术场景中的视觉-语言对话能力,发现其虽优于通用模型,但仍未满足临床要求,需在手术专用数据集上微调。
2025-04-04 cs.CL cs.CV cs.RO
Predicting the Timing of Camera Movements From the Kinematics of Instruments in Robotic-Assisted Surgery Using Artificial Neural Networks
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
机器人辅助手术使外科医生和患者都受益,然而,外科医生经常需要调整内窥镜摄像机以获得良好的视角。同时控制摄像机和手术器械是不可能的,并且因此,这些摄像机调整重复地中断手术。自主相机控制可以帮助克服这一挑战,但大多数现有系统都是被动的,例如,让摄像机跟随手术器械我们提出了一种预测方法,用于预测何时使用人工神经网络发生摄像机运动。我们使用了手术器械的运动学数据,这些数据是在对猪模型进行机器人辅助手术培训期间记录的。我们将数据分割成片段,并将每个片段标记为紧接在相机移动之前的片段,或者不标记的片段。由于大的类不平衡,我们训练了一个网络集合,每个网络都在训练数据的平衡子集上。我们发现,仪器的运动学数据可以用来预测相机运动何时发生,并评估了不同段持续时间和合奏大小的性能。我们还研究了可以提前多少时间预测即将到来的相机移动,并发现预测相机移动发生前0.25秒,0.5秒和1秒,相对于预测即将到来的相机移动,准确率分别达到98%,94%和84%。这表明,摄像机运动事件可以被预测得足够早,以便留出时间来计算和执行自主摄像机运动,并表明RAMIS的自主摄像机控制器有朝一日可能是可行的。
2022-02-06 cs.CV cs.LG cs.RO
General-purpose foundation models for increased autonomy in robot-assisted surgery
Johns Hopkins University(约翰霍普金斯大学);University of Utah(犹他大学)
本文提出通过开发多模态、多任务视觉-语言-动作通用基础模型来提升手术机器人自主性,分析了数据缺乏、软体变形建模难和临床安全风险三大挑战,并给出三项指导举措。
2024-01-01 cs.LG cs.RO q-bio.TO
Collaborative Robotic Ultrasound Tissue Scanning for Surgical Resection Guidance in Neurosurgery
Imperial College London(帝国理工学院);German Aerospace Center(德国航空航天中心);Technical University of Munich(慕尼黑工业大学);Charing Cross Hospital(查令十字医院)
本文的目的是介绍一种用于自主iUS组织扫描的机器人平台,以优化术中诊断并改善机器人辅助手术期间的手术切除。为了引导解剖结构特定的机器人扫描并生成机器人任务空间的表示,开发了用于恢复手术腔的3D形态结构的快速且准确的技术。原型DLR MIRO手术机械臂用于控制超声换能器的作用力和平面内运动。所提出的平台的一个关键应用是扫描脑组织以指导肿瘤切除。
2023-01-19 cs.CV cs.RO