Advanced Intelligent Systems for Surgical Robotics
Graduate School of Biomedical Engineering, Faculty of Engineering, UNSW(新南威尔士大学工程学院生物医学工程研究生院);Prince of Wales Hospital(威尔士亲王医院);Faculty of Medicine, UNSW(新南威尔士大学医学院)
自20世纪90年代中期以来,外科手术机器人已投入临床使用。机器人辅助手术与传统手术相比具有许多优点,包括感染和失血风险较低,恢复时间较短,以及对患者整体更安全的手术。在过去的几十年里,已经出现了许多新兴的手术机器人平台,它们可以在人体内部器官的复杂和受限的通道中工作,并在手术过程中提高外科医生的认知和身体技能。用于感测、致动和智能控制的先进技术使得多个手术装置能够以低成本和更高效率在人体内同时操作。尽管取得了进步,但目前的手术干预系统无法执行自主任务并做出类似于人类的认知决策。本文将概述从传统的开放式手术到机器人辅助手术的历史发展,并讨论目前在现有手术机器人系统中实施的先进智能系统和设备的能力。它还将重新审视可用的自主手术平台,并对基本技术,现有挑战以及智能机器人辅助手术系统未来发展的建议进行评论,以实现完全自主操作。
2020-01-02 cs.RO
Accelerating Surgical Robotics Research: A Review of 10 Years With the da Vinci Research Kit
Imperial College London(伦敦帝国理工学院);University of Leeds(利兹大学);Johns Hopkins University(约翰斯·霍普金斯大学);Worcester Polytechnic Institute(伍斯特理工学院);Intuitive Surgical Inc(直觉外科公司)
机器人辅助手术现已在临床实践中得到广泛应用,并已成为多种临床适应症的金标准临床治疗选择。机器人辅助手术领域预计将在未来十年内大幅增长,一系列新的机器人设备将出现,以满足不同专业未满足的临床需求。一个充满活力的手术机器人研究社区对于概念化这种新系统以及开发和培训工程师和科学家将其转化为实践至关重要。达芬奇研究套件(dVRK)是一项学术和行业合作项目,旨在重新利用退役的达芬奇手术系统(Intuitive Surgical Inc,CA,USA)作为手术机器人研究的研究平台,一直是解决障碍的关键举措手术机器人领域新研究小组的进入。在本文中,我们提出了一个广泛的审查出版物,促进了dVRK在过去的十年。我们将研究工作分为不同的类别,并概述了机器人社区维护这一倡议并在此基础上建立的一些主要挑战和需求。
2021-11-17 cs.RO
Differentiable Rendering-based Pose Estimation for Surgical Robotic Instruments
University of California San Diego(加利福尼亚大学圣迭戈分校)
针对dVRK等外科机器人因关节角误差和部分可见运动学链导致传统标定失效的问题,本文提出基于可微渲染与圆柱体的无标记单次位姿估计方法,在新型位姿假设空间中构建通用匹配流程,实现稳健且可泛化的手术工具跟踪初始化。
2025-03-07 cs.RO
Open-Sourced Reinforcement Learning Environments for Surgical Robotics
University of California San Diego(加利福尼亚大学圣地亚哥分校)
强化学习(Reinforcement Learning,RL)是一种用于人工智能系统解决各种复杂问题的机器学习框架。近年来,在解决具有挑战性的游戏和较小的领域问题方面取得了巨大的成功,包括简单但非特定的机器人操作和抓取任务。RL的快速成功部分归功于RL社区的强大合作努力,致力于开发通用的开源环境模拟器,例如OpenAI的Gym,允许加速开发和不同的最先进策略之间的有效比较。在本文中,我们的目标是通过介绍第一个用于手术机器人的开源强化学习环境,称为dVRL[3]{dVRL可在https://github.com/ucsdarclab/dVRL},在RL和手术机器人社区之间架起桥梁。通过拟议的RL环境,这是功能上等同于健身房,我们表明,它很容易原型和实现最先进的RL算法的手术机器人问题,旨在引入自主机器人的精度和准确性,以协助,协作,或重复性任务在手术过程中。此外,学习的策略可以成功地转移到真正的机器人。最后,将dVRL与学术机构积极使用的40多个达芬奇手术研究套件的国际网络相结合,我们认为dVRL使广泛的手术机器人社区能够充分利用强化学习的最新策略,并使没有手术机器人知识的强化学习科学家能够测试和开发可以解决现实世界的新算法,自主手术中的高影响力挑战。
2020-01-27 cs.RO
SuFIA: Language-Guided Augmented Dexterity for Robotic Surgical Assistants
University of Toronto(多伦多大学);University of Bern(伯尔尼大学);University of California, Berkeley(加利福尼亚大学伯克利分校);NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
提出 SuFIA 框架,利用 LLM 推理与感知模块实现机器人手术助手的语言引导增强灵巧性,并通过仿真与实体平台验证其监督式自主子任务执行能力。
2024-05-08 cs.RO
SmartArm: Suturing Feasibility of a Surgical Robotic System on a Neonatal Chest Model
The University of Tokyo(东京大学);Kitasato University(北里大学);Saitama Children’s Medical Center(埼玉儿童医疗中心)
商业上可获得的外科机器人技术目前解决了成人患者的许多手术场景。由于工作空间相当小,这种相同的技术不能用于使新生儿患者受益。与新生儿患者相关的医学相关手术包括微创手术,以修复先天性食管疾病,这需要在狭窄的新生儿腔内修复脆弱的食管。在这项工作中,我们探讨了使用SmartArm机器人系统的可行性研究,使用新生儿胸部和食道模型。我们表明,一个医学上没有经验的操作员可以执行两个扔结内的新生儿胸部模型使用的机器人系统。
2021-01-04 cs.RO
Learning Domain Adaptation with Model Calibration for Surgical Report Generation in Robotic Surgery
National University of Singapore(新加坡国立大学);NUSRI Suzhou China(新加坡国立大学苏州研究院);The Chinese University of Hong Kong(香港中文大学);Imperial College London(伦敦帝国理工学院);Duke-NUS Medical School(杜克-新加坡国立大学医学院)
在机器人辅助手术中以手术场景理解的自然语言表达的形式生成手术报告可以在文档输入任务、手术训练和术后分析中发挥重要作用。尽管深度学习算法具有最先进的准确性,但在应用于目标域(TD)数据时,部署性能通常会下降。为此,我们开发了一个基于多层变换的模型,采用梯度反转对抗学习来为多域手术图像生成一个标题,该标题可以描述器械和手术感兴趣区域(ROI)之间的语义关系。在梯度反向对抗学习方案中,梯度乘以负常数,并在反向传播中反向更新,区分源域和目标域,并出现域不变特征。我们还研究了使用标签平滑技术的模型校准以及校准好的模型对倒数第二层特征表示和领域自适应(DA)的影响。我们标注了两个机器人手术数据集的MICCAI机器人场景分割和经口机器人手术(TORS)与程序的标题和经验表明,我们所提出的方法提高了性能,在源和目标域手术报告生成的方式无监督,zero-shot,one-shot,和少样本学习。
2021-03-31 cs.RO
A New Classification Approach for Robotic Surgical Tasks Recognition
Shahid Beheshti University(沙希德·贝赫什提大学)
机器人手术任务的自动识别和分类是实现手术自动化和手术训练的重要基础。最近,收集数据方面的技术突破使数据驱动的模型开发成为可能。在本文中,我们提出了一个框架,高层次的机器人手术任务识别使用运动数据。我们提出了一种新的分类技术,用于分类三个重要的手术任务,通过定量分析的议案:打结,穿针和缝合。所提出的技术集成了最先进的数据采掘和时间序列分析方法。该框架的第一步包括开发一个时间序列的距离为基础的相似性度量使用导数动态时间规整(DDTW)。然后采用距离加权k-近邻算法对任务实例进行分类。该框架使用广泛的数据集进行了验证。我们的研究结果表明,所提出的框架在认识基本的机器人手术任务的强度。
2017-07-12 cs.RO
A Self-Adaptive IoT-based Approach for Improving the Decision Making of Active Surgical Robots in Hospitals
University of Washington Tacoma(华盛顿大学塔科马分校)
近年来,手术机器人已经成为辅助外科医生在医院中执行复杂手术程序的工具。与传统的手术方法不同,机器人系统帮助外科医生进行微创手术,同时提高手术的精度和控制(例如,微小切口,伤口缝合,内窥镜检查等)。在这种程度上,必须考虑可能影响在外科手术中使用机器人系统的可行性和决策的几个因素。在本文中,我们提出了一种基于物联网的自适应方法,该方法使用多标准决策分析方法(MCDA)来增强涉及手术机器人的手术决策。在本文中,我们提出了实验验证结果,利用MCDA作为一种有效的战略,提高决策,采用机器人系统在外科手术。
2021-07-30 cs.RO
Raven: Open Surgical Robotic Platforms
Rochester Institute of Technology(罗切斯特理工学院);University of Washington(华盛顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
Raven I和Raven II手术机器人作为开放式研究平台,已经为机器人手术研究界服务了十年。本文简要介绍了Raven I和Raven II机器人,综述了基于Raven机器人的、旨在应用于Raven机器人的、或与Raven机器人直接比较的最新出版物,并以Raven机器人为例讨论了当前研究界的热点问题和机器人手术研究的趋势。本文并没有进行全面的文献综述,而是仅回顾了近三年来正式发表的著作,并利用这些最新出版物分析了机器人手术主题的研究兴趣、热门开放研究问题和机会。
2019-06-27 cs.RO
DESK: A Robotic Activity Dataset for Dexterous Surgical Skills Transfer to Medical Robots
Purdue University(普渡大学);SRI International(SRI国际)
数据集是训练有效机器学习模型的重要组成部分。特别是,手术机器人数据集已经成为半自主手术,技能评估和培训的许多进步的关键。模拟手术环境可以通过使其比真实系统更快、更简单和更便宜来增强数据汇集过程。此外,组合来自多个机器人领域的数据可以为迁移学习算法提供丰富多样的训练数据。在本文中,我们提出了DESK(灵巧手术技能)数据集。它包括一套手术机器人技能收集手术训练任务期间使用三个机器人平台:金牛座II机器人,金牛座II模拟机器人和YuMi机器人。该数据集用于测试跨不同领域(例如从Taurus到YuMi机器人)传输知识的想法,用于具有七个手势的手术手势分类任务。我们探索了三种不同的场景:1)没有转移,2)从模拟金牛座转移到真正的金牛座,3)从模拟金牛座转移到YuMi机器人。我们用三个监督学习模型进行了广泛的实验,并在每个场景中提供了基线。结果表明,在训练过程中使用仿真数据,提高了性能的真实机器人有限的真实数据。特别是,我们使用仅在模拟器数据上训练的模型在真实金牛座数据上获得了55%的准确度。此外,当3%的真实数据被添加到训练过程中时,我们实现了34%的准确率提高。
2019-03-03 cs.RO
CRESSim-Neo: A Batched GPU Simulation Engine for Surgical Robotics and Robot Learning
University of Alberta(阿尔伯塔大学)
本文推出CRESSim-Neo,一款面向外科机器人与机器人学习的批量GPU仿真引擎,支持多类外科相关仿真任务,在RTX 4090上实现高并行环境步性能,为相关研究提供统一可扩展平台。
2026-09-02 cs.RO
MEDiC: Autonomous Surgical Robotic Assistance to Maximizing Exposure for Dissection and Cautery
University of California San Diego(加利福尼亚大学圣地亚哥分校);University of Tennessee(田纳西大学)
本文提出MEDiC框架,通过整合可微物理模型与感知反馈,利用视觉伺服控制和可变形雅可比分析实现自主手术机器人辅助,以最大化组织暴露并施加张力,从而辅助解剖和烧灼。
2024-09-22 cs.RO
A Controlled Comparison of Manual and Teleoperated Intraocular Instrument Motion for an Input Device
TUM University Hospital(慕尼黑工业大学医院);Technical University of Munich(慕尼黑工业大学);University of Alberta(阿尔伯塔大学);NSK Ltd.(恩斯克有限公司)
该研究通过受控实验比较手动与遥操作眼内器械运动,发现输入设备保留任务结果但改变执行特征,如耗时更长、速度更慢、运动更碎片化,并重新分配手动努力。
2026-09-09 cs.HC cs.RO
Video-Based Detection and Analysis of Errors in Robotic Surgical Training
Ben-Gurion University of the Negev(本·古里安大学)
本研究通过视频分析检测机器人手术培训中的错误,采用图像处理算法实现约95%的检测准确率,揭示了住培医生在六个月内技能提升的过程。
2026-01-01 cs.RO
Design of an innovative robotic surgical instrument for circular stapling
University of Medicine and Pharmacy “Iuliu Hațieganu”(“尤利乌·哈蒂埃加努”医药大学);École Centrale Nantes(南特中央理工学校);Nantes Université(南特大学);Technical Sciences Academy of Romania(罗马尼亚技术科学院)
针对传统环形吻合精度不足及术后并发症问题,本文设计了与认知机器人集成的三执行器机器人环形吻合器,通过75度弯曲和运动学同步提升狭窄术区操作性能。
2025-06-11 cs.RO
From Bench to Bedside: The First Live Robotic Surgery on the dVRK to Enable Remote Telesurgery with Motion Scaling
University of California San Diego(加利福尼亚大学圣地亚哥分校);Kyung Hee University(庆熙大学)
手术机器人研究的创新很少转化为现场手术,因为实验室和现场环境之间存在显着差异。活体环境需要考虑在研究的早期阶段经常被忽视的因素,例如手术人员,手术程序以及使用活体组织的挑战。其中一个例子是达芬奇研究套件(dVRK),它被40多个机器人研究小组使用,代表了达芬奇手术系统的开源版本。尽管dVRK已经有近十年的历史,并且是将研究转化为实践的理想候选人,在世界各地的医院中使用了5,000多台达芬奇系统,但没有一台手术用它进行过。在本文中,我们讨论了将手术机器人研究从工作台转化为床边的挑战,考虑因素和解决方案。这是从远程手术场景的角度来解释的,在该场景中,先前在实验室环境中实验的运动缩放解决方案被转换为生猪手术。本研究介绍了首次在活体动物中使用dVRK的结果,并讨论了外科机器人社区如何将他们的研究转化为实践。
2021-09-24 cs.RO
Sensors for expert grip force profiling: towards benchmarking manual control of a robotic device for surgical tool movements
University of Strasbourg(斯特拉斯堡大学)
STRAS(外科医生单通道经腔机器人助手)是一种应用于腔内外科手术的新型机器人系统。最近,STRAS的临床前试验证明了该系统与经典手术相比的主要优势。现在需要制定出允许建立客观专业标准的基准方法,以便在不久的将来有效地对外科医生进行关于这一新系统的训练。STRAS由三个电缆驱动子系统、一个用作导引的内窥镜和两个柔性仪器组成。灵活的仪器有三个自由度,可以由一个用户通过两个专门设计的主界面远程操作。在这项研究中,小的力传感器缝到一个可穿戴的手套,符合人体工程学适合的机器人系统的主手柄,用于监测由专家和受训者谁是一个完整的新手在模拟器任务,一个四步采摘和下降的手术任务执行的所有步骤期间所施加的力。通过传感器进行抓握力曲线的分析,以在手指和控制主从系统的手的解剖学相关部分上的特定传感器位置处引起手柄力曲线的特定差异。
2020-11-12 cs.RO
ESD CYCLOPS: A new robotic surgical system for GI surgery
Imperial College London(帝国理工学院)
胃肠道(GI)癌症导致全球150万人死亡。内镜粘膜下剥离术(ESD)是一种先进的治疗性内镜技术,由于其微创和整块切除肿瘤,因此具有优异的临床结局。在西方世界,可持续发展教育由于其复杂性和挑战性而很少开展。正在开发各种手术系统以使这种治疗变得容易,然而,这些解决方案已经显示出有限的操作工作空间、灵活性或低施力能力。目前的论文显示了ESD CYCLOPS系统,一个双手手术机器人附件,可以安装在任何柔性内窥镜的末端。该系统能够实现高达46N的力,并且在椭圆跟踪任务期间显示出0.217mm的平均误差。临床前离体试验显示了工作空间和器械灵活性,其中ESD由GI外科医生成功执行。该系统目前正在进行临床前体内验证。
2018-04-18 cs.RO
Learning Surgical Robotic Manipulation with 3D Spatial Priors
University of Science and Technology of China(中国科学技术大学);Tuodao Medical(图道医疗);Yale University(耶鲁大学)
本文提出SST,一种端到端的视觉-运动策略,通过内窥镜图像中的3D空间线索提升手术机器人操作的3D空间意识,实现了复杂手术任务的高性能表现。
2026-03-04 cs.RO
DASH: A da Vinci Adapter for Serial-link and Humanoid Robots as an Accessible Platform for Surgical Robotics Research
University of California San Diego(加州大学圣迭戈分校)
针对专用手术机器人成本高、可及性低的问题,提出DASH适配器,将达芬奇器械改装到通用机器人上,无需修改器械,兼容多种负载,通过遥操作实验验证了其有效性和研究可及性优势。
2026-10-26 cs.RO
Kinematic and Ergonomic Design of a Robotic Arm for Precision Laparoscopic Surgery
本文提出一种用于高精度腹腔镜手术的7自由度机械臂系统,结合远程运动中心与工效学设计,实验证明其显著提升了瞄准精度与任务效率,并降低了操作者的肌肉劳损。
2025-11-04 cs.RO
Autonomous Robotic Suction to Clear the Surgical Field for Hemostasis using Image-based Blood Flow Detection
University of California San Diego(加州大学圣地亚哥分校)
自主机器人手术在过去十年中取得了重大进展,其目的是减少外科医生的疲劳,提高手术的一致性,也许有一天会接管手术本身。然而,自动化尚未应用于控制组织和血管出血的关键外科任务-即止血。止血的任务涵盖一系列出血源和一系列血液速度、轨迹和体积。在极端情况下,不受控制的血管会使手术区域充满流动的血液。在这项工作中,我们提出了第一个自动化的止血解决方案,通过开发一种新的概率血流检测算法和轨迹生成技术,引导自主吸引工具汇集血液。在模拟场景和涉及甲状腺切除术期间发生出血的真实创伤场景中测试血流检测算法。完整的解决方案在物理实验室环境中使用达芬奇研究套件(dVRK)和模拟手术腔进行测试,以供血液流过。结果表明,我们的自动化解决方案具有准确的检测,快速的反应时间,并有效地去除流动的血液。因此,所提出的方法是清理手术区域的有力工具,外科医生或未来的机器人自动化开发可以遵循这些工具来闭合血管破裂。
2021-01-18 cs.RO
Adaptive Surgical Robotic Training Using Real-Time Stylistic Behavior Feedback Through Haptic Cues
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);UT Southwestern Medical Center(德州大学西南医学中心)
手术技巧直接影响手术结果;因此,需要有效的培训以确保满意的结果。许多客观的评估指标已经被开发出来,其中一些被广泛用于手术训练模拟器。这些客观指标为受训者提供了关于其表现的描述性反馈,然而,通常缺乏关于如何继续改进表现的反馈。最有效的培训方法是直观、易于理解、针对用户个性化并及时提供的方法。我们提出了一个框架,以使用户自适应训练使用近实时检测的性能,基于直观的风格的手术运动(例如,流动性、光滑度、脆度等),并提出了一种触觉反馈框架来帮助校正运动风格。我们评估的能力,三种类型的力反馈(弹簧,阻尼,弹簧加阻尼反馈),计算基于先前的用户位置,以提高不同的风格行为的用户在运动学约束达到运动任务。结果表明,在这里研究的六种风格中,有四种使用弹簧引导力反馈在统计学上有显著改善(p<0.05),并且使用弹簧反馈也发现了任务时间的显着减少。在任务中的路径直线度和瞄准误差是其他任务性能指标的研究,显着改善使用弹簧阻尼反馈。这项研究提出了一个基于近实时的以人为中心的手术行为模型的机器人手术自适应训练的基础。
2021-02-20 cs.RO
Hybrid Data-Driven and Analytical Model for Kinematic Control of a Surgical Robotic Tool
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
精确的运动学模型对于手术机器人的有效控制是必不可少的。对于肌腱驱动机器人,这是常见的微创手术,固有的非线性是重要的考虑。传统的分析方法允许通过对非线性进行某些假设和简化来建立系统的运动学模型。相反,机器学习技术允许基于所获取的数据恢复更复杂的模型。然而,分析模型更具有泛化能力,但可能会被过度简化;另一方面,数据驱动模型可以满足更复杂的模型,但泛化能力较低,结果受训练数据集的影响很大。在本文中,我们提出了一种新的方法相结合的分析和数据驱动的方法来建模的非线性肌腱驱动的手术机器人的运动学。高斯过程回归(GPR)用于学习的数据驱动的模型和所提出的方法进行了测试的模拟数据和真实的实验数据。
2020-06-09 cs.RO
NVIDIA Cosmos-H-Dreams: Real-Time Generative Physics Simulation for Surgical Robotics
该研究提出Cosmos-H-Dreams系统,结合生成模型与蒸馏技术实现实时外科机器人仿真,支持多控制器驱动,为外科教育等提供开放基础。
2026-08-28 cs.RO
S3D: A Spatial Steerable Surgical Drilling Framework for Robotic Spinal Fixation Procedures
Walker Department of Mechanical Engineering and the Texas Robotics at the University of Texas at Austin(德克萨斯大学奥斯汀分校机械工程系和德克萨斯机器人实验室);Department of Neurosurgery, The University of Texas Dell Medical School(德克萨斯大学德尔医学中心神经外科系);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出S3D空间可转向钻削框架,通过增强同心管可转向钻削机器人并结合七自由度机械臂及四阶段标定配准导航流程,在椎体模型中验证了面向脊柱固定手术的平面内与平面外可转向钻削能力。
2025-07-02 cs.RO
From the DESK (Dexterous Surgical Skill) to the Battlefield -- A Robotics Exploratory Study
Purdue University(普渡大学);Indiana University School of Medicine(印第安纳大学医学院);Johns Hopkins University(约翰斯·霍普金斯大学)
短响应时间对于未来在艰苦环境或偏远地区的军事医疗行动至关重要。这种有效的病人护理可以大大受益于半自主机器人系统的集成。为了实现自主性,机器人需要大量的操作库。虽然这在受控环境中是可能的,但在严峻环境中获得手术数据可能是困难的。因此,在本文中,我们提出了灵巧的手术技能(DESK)数据库机器人之间的知识转移。选择栓钉转移任务是因为它是腹腔镜培训的6个主要任务之一。此外,我们提供了一个ML框架来评估这个数据库上的新迁移学习方法。收集的DESK数据集包括一组使用四个机器人平台的手术机器人技能:Taurus II,模拟Taurus II,YuMi和da Vinci Research Kit。然后,我们探讨了两种不同的学习情景:无迁移和领域迁移。在无转移的情况下,训练和测试数据是从同一个域中获得的;而在域转移的情况下,训练数据是在真实机器人上测试的模拟和真实机器人数据的混合。使用仿真数据增强了真实机器人的性能,其中有限或没有真实数据可用。当真实数据与仿真数据的比值为22%-78%时,YuMi机器人的传递模型的准确率为81%。对于Taurus II和da Vinci机器人,该模型的准确率分别为97.5%和93%,仅使用模拟数据进行训练。结果表明,仿真可以用来增加训练数据,以提高模型在真实场景中的性能。这显示了未来在偏远地区可部署的手术机器人中使用手术室手术数据的潜力。
2020-11-30 cs.RO
Affordable Mobile-based Simulator for Robotic Surgery
Digital Surgery Limited(数字手术有限公司);University College London(伦敦大学学院);Kasetsart University(泰国农业大学)
机器人手术和新型手术器械为更安全、更准确和一致的微创手术提供了巨大的潜力。然而,采用这些方法取决于能否获得培训设施和广泛的外科培训。与开放式或腹腔镜相比,机器人器械需要不同的灵巧技能。因此,外科医生需要投入大量时间参加广泛的培训计划。相反,由于用于培训目的的机器人系统的可用性有限,实际操作经验代表了医院的额外运营成本。外科医生和医院面临的所有这些技术和财政障碍都阻碍了机器人手术的采用。在本文中,我们提出了一个移动灵活性训练包,以发展基本的手术技术在一个负担得起的设置。该系统可用于训练基本的外科手术姿势,并开发操纵机器人器械所需的运动技能。我们的工作提出了架构和组件需要创建一个模拟环境的培训子任务,以及便携式移动机械手,可用作主控制器的不同仪器的设计。初步研究结果表明,该系统的可用性和技能的发展。
2018-07-20 cs.RO
Dynamic Active Constraints for Surgical Robots using Vector Field Inequalities
机器人辅助使外科医生能够进行灵巧和无震颤的手术,但机器人辅助在限制性手术中的代表性仍然不足,例如深部脑神经外科手术和鼻内手术。在这些手术中,外科医生将视野限制在手术工具提示附近的区域,这增加了器械轴与其周围环境之间意外碰撞的风险。在这项工作中,我们的矢量场不等式方法扩展到提供动态主动约束的任何数量的机器人和移动物体共享同一工作空间。该方法进行了评估与实验和模拟中,机器人工具,以避免碰撞自主和实时,在一个受约束的鼻内手术环境。仿真结果表明,该方法使两个机器人系统的综合轨迹误差最优。使用真实机器人系统的实验表明,该方法可以自主地防止机器人之间的碰撞和机器人与环境之间的移动。此外,该框架也成功地验证下的工具与组织的相互作用的遥操作。
2019-06-24 cs.RO
AGRO-SUVIDE: Agentic Robotics for Surgical Viscoelastic Debridement
University of California, Berkeley(加州大学伯克利分校);KTH Royal Institute of Technology(瑞典皇家理工学院);Intuitive Surgical(直觉外科公司)
提出首个智能体机器人框架AGRO-SUVIDE,用于外科粘弹性清创,通过模块化技能构建与监控,在dVRK上实现85%的单碎片移除成功率,并泛化至五碎片场景。
2026-09-30 cs.RO
Collaborative Robotic Ultrasound Tissue Scanning for Surgical Resection Guidance in Neurosurgery
Imperial College London(帝国理工学院);German Aerospace Center(德国航空航天中心);Technical University of Munich(慕尼黑工业大学);Charing Cross Hospital(查令十字医院)
本文的目的是介绍一种用于自主iUS组织扫描的机器人平台,以优化术中诊断并改善机器人辅助手术期间的手术切除。为了引导解剖结构特定的机器人扫描并生成机器人任务空间的表示,开发了用于恢复手术腔的3D形态结构的快速且准确的技术。原型DLR MIRO手术机械臂用于控制超声换能器的作用力和平面内运动。所提出的平台的一个关键应用是扫描脑组织以指导肿瘤切除。
2023-01-19 cs.CV cs.RO
SurgicAI: A Hierarchical Platform for Fine-Grained Surgical Policy Learning and Benchmarking
Johns Hopkins University(约翰斯·霍普金斯大学);Worcester Polytechnic Institute(伍斯特理工学院)
针对机器人辅助手术自动化复杂任务的挑战,本文提出兼容达芬奇手术系统的SurgicAI分层平台,支持模块化子任务与RL任务分解,提供标准化专家演示流程及基准指标,通过多算法评估验证其推动手术机器人策略学习的潜力。
2025-02-11 cs.RO
Automated pick-up of suturing needles for robotic surgical assistance
Politecnico di Milano(米兰理工大学);University College London(伦敦大学学院)
机器人辅助腹腔镜前列腺切除术(RALP)是一种治疗前列腺癌的方法,涉及完全或保留神经切除含有癌症的前列腺组织。切除后,将膀胱颈直接与尿道连续缝合。该手术被称为尿道膀胱吻合术,是RALP过程中要求最灵活的任务之一。在尿道膀胱吻合术中,使用两个缝合器和一对缝合针进行连续缝合。虽然机器人器械提供了增强的灵活性来执行吻合术,但它仍然具有高度挑战性并且难以学习。在本文中,我们提出了一种视觉引导的针头抓取方法,用于自动抓取吻合前已插入患者体内的针头。我们的目标是在避免交接的位置自动抓住活检针,并立即启动活检。完整的抓取过程可以分为:针检测算法;手术工具基于视觉反馈移动更靠近针的接近阶段;以及通过基于观察到的手术实践的路径规划的抓取阶段。我们的实验结果表明,成功的自主掌握,有可能简化和减少RALP的操作时间,协助尿道膀胱吻合术的一个小组成部分的例子。
2018-04-09 cs.RO
An Ergonomic Interaction Workspace Analysis Method for the Optimal Design of a Surgical Master Manipulator
Imperial College London(帝国理工学院)
主控制台是机器人与人类在共享环境中协作的场所。为此,人体工程学是一个需要考虑的重要方面。通过人机工程学设计,外科医生可以更舒适地进行手术任务,更高的效率,并可以提高遥控机器人手术的质量。本文提出了一种人机交互工作空间分析方法,以优化主操作手,并满足人机工程学的考虑,设计一个主操作手的遥控手术。
2021-05-15 cs.RO
SeeBelow: Sub-dermal 3D Reconstruction of Tumors with Surgical Robotic Palpation and Tactile Exploration
Purdue University(普渡大学)
本文提出SeeBelow,一种视觉引导的触觉导航策略,利用三轴力传感触诊探头和贝叶斯优化,在多层组织中通过不到100次触诊实现皮下肿瘤表面轮廓的高保真3D重建。
2024-08-25 cs.RO
How to enhance learning of robotic surgery gestures? A tactile cue saliency investigation for 3D hand guidance
LIRMM, University of Montpellier, CNRS(蒙彼利埃大学法国国家科学研究中心LIRMM实验室);Stanford University(斯坦福大学)
目前这一代的外科医生需要在远程操作方面进行广泛的培训,以发展独立于医学知识的特定灵巧技能。培训课程从操作任务进展到模拟手术任务,但时间有限。为了解决这个问题,我们建议将手术机器人训练与触觉反馈(HF)结合起来,以提高技能的获得。本文提出了初步的,但有希望的结果,我们的触觉设备设计,以支持在手术手势的训练。我们正在进行的工作是将HF集成到RAVEN II平台中。
2019-07-19 cs.RO
SuPer Deep: A Surgical Perception Framework for Robotic Tissue Manipulation using Deep Learning for Feature Extraction
University of California San Diego(加州大学圣迭戈分校);East China Normal University(华东师范大学)
手术中的机器人自动化需要精确跟踪手术工具和映射可变形组织。以前的手术感知框架的工作需要在开发手术工具和组织跟踪的功能方面做出巨大努力。在这项工作中,我们通过利用深度学习方法进行手术感知来克服挑战。我们将能够高效特征提取的深度神经网络集成到组织重建和仪器姿态估计过程中。通过利用迁移学习,基于深度学习的方法需要最少的训练数据和减少的特征工程工作来完全感知手术场景。该框架在三个公开的数据集上进行了测试,这些数据集使用达芬奇手术系统进行全面分析。实验结果表明,我们的框架通过利用深度学习进行特征提取,在手术环境中实现了最先进的跟踪性能。
2021-03-25 cs.CV cs.RO
SonoGym: High Performance Simulation for Challenging Surgical Tasks with Robotic Ultrasound
Balgrist University Hospital(巴尔格里斯大学医院);ETH Zurich(苏黎世联邦理工学院);University of Toronto(多伦多大学);NVIDIA(NVIDIA公司);ETH AI Center(苏黎世联邦理工学院人工智能中心);University of Zurich(苏黎世大学)
本文提出SonoGym仿真平台,通过物理与生成式建模从CT三维模型实时生成超声数据,支持并行训练DRL和模仿学习智能体,用于机器人骨科超声手术中的解剖重建与安全导航。
2025-07-01 cs.RO
Autonomous Tissue Manipulation via Surgical Robot Using Learning Based Model Predictive Control
组织操作是任何外科手术中经常使用的基本子任务,并且在某些情况下,它可能需要外科医生助理的参与。作为非结构化环境的软组织的复杂动力学是通过手术机器人系统对其进行自动化操纵的任何尝试的主要挑战之一。提出并研究了两种基于人工智能学习的采用视觉策略的模型预测控制算法:(1)强化学习和(2)从演示中进行示教学习。这些AI算法在仿真环境中的性能比较表明,从演示示教学习算法可以通过初始化给定演示的预测动态来提高学习策略。此外,示教学习算法在Raven IV手术机器人系统上实现,并使用实验方法成功地证明了所提出的算法的可行性。这项研究是一个深刻的愿景的一部分,其中外科医生的角色将被重新定义为一个纯粹的决策者,而绝大多数的操作将由手术机器人系统自主进行。补充视频可以在以下网站找到:http://bionics.seas.ucla.edu/research/surgeryproject17.html
2019-03-03 cs.RO
Surgical task-space optimisation of the CYCLOPS robotic system
Imperial College London(帝国理工学院)
CYCLOPS是一种用于微创应用的线缆驱动平行机构,能够根据不同的手术需求进行定制;使其能够根据手术和患者的具体情况进行定制。然而,为了充分优化,需要关于临床约束和任务空间的适当数据。而前者可以通过术前规划和成像提供,后者仍然是一个问题,主要是高度灵巧的MIS系统。目前的工作重点是CYCLOPS系统的任务空间优化方法的开发和微创任务空间的模拟环境中的数据汇集方法的开发。相同的数据汇集方法可用于其他微创平台的开发。一个案例研究是用来说明内窥镜粘膜下剥离术(ESD)的开发方法。本文表明,使用这种方法,该系统可以成功地优化这种应用程序。
2017-12-11 cs.RO
Context-aware Monitoring in Robotic Surgery
University of Virginia(弗吉尼亚大学)
机器人辅助微创手术(MIS)已经使手术具有更高的精度和灵活性,但手术机器人仍然是开环的,需要外科医生使用远程操作控制台工作,仅提供有限的视觉反馈。在这种情况下,机械故障、软件故障或人为错误可能导致不良事件,导致患者并发症或死亡。我们认为,即将发生的不良事件可以检测和减轻应用上下文特定的安全约束的机器人的运动。我们提出了一个上下文感知的安全监控系统,该系统使用运动学数据将手术任务分割成子任务,并监控特定于每个子任务的安全约束。为了测试我们的假设上下文特异性的安全约束,我们分析记录演示的干实验室手术任务收集的JIGSAWS数据库,以及从实验中,我们进行了乌鸦II手术机器人。轨迹数据的分析表明,一个给定的外科手术的每个子任务具有一致的安全约束,在多个演示由不同的主题。我们的初步研究结果表明,违反这些安全约束导致不安全的事件,往往有足够的时间之间的约束违反和安全关键事件,以允许采取纠正措施。
2019-01-28 cs.RO
Vitreoretinal Surgical Robotic System with Autonomous Orbital Manipulation using Vector-Field Inequalities
The University of Tokyo(东京大学)
本文提出一种基于向量场不等式的机器人辅助玻璃体视网膜手术自主眼眶操作方法,通过遥操作系统控制眼球旋转,仿真和物理实验均表明该方法能提升系统可操纵性并扩大眼底可视区域。
2023-02-11 cs.RO
Generating robotic elliptical excisions with human-like tool-tissue interactions
University of Edinburgh(爱丁堡大学);Monash University(莫纳什大学)
本文提出一种参数化椭圆形切除技能模型,结合贝叶斯优化从少量示教中学习并优化机器人手术行为,使其切除力表现与不同熟练水平的专家保持一致。
2023-09-21 cs.RO
Advancing Robotic Surgery: Affordable Kinesthetic and Tactile Feedback Solutions for Endotrainers
Columbia University(哥伦比亚大学);PSG College of Technology(PSG理工学院)
针对手术机器人缺乏触觉反馈的问题,本研究将经济型动觉与触觉反馈系统集成至内窥镜训练器,通过光电传感器实现95%准确率的力检测,提升训练真实性与手术安全性。
2024-06-26 cs.RO
Learning-Based Adaptive Control for Surgical Robotic Exposure Task on Deformable Tissues
Huazhong University of Science and Technology(华中科技大学)
本文提出了一种基于学习的自适应控制框架,用于解决手术中因覆盖组织的不规则几何形状、非线性生物力学特性及有限视野导致的自动组织牵开挑战,通过在线优化控制输入和深度变形估计模型实现零样本适应。
2026-05-18 cs.RO
A Continuum Manipulator for Open-Source Surgical Robotics Research and Shared Development
Imperial College London(帝国理工学院)
许多人已经探索了连续体机器人操作器在微创手术中的应用,并成功地证明了其灵活设计所提供的优势-一些解决方案已经实现商业化和临床实践。然而,这种设计通常的高复杂性和封闭性传统上限制了整个研究领域连续体机器人的共享开发,从而影响了进一步的进展和开放挑战的解决方案。为了缩小这一差距,本文介绍了ENDO,一个开源的3段连续体机器人机械手与控制和驱动机制,其重点是简单,经济实惠,和可访问性。该机器人系统由低成本的现成组件和快速原型制作方法制成,其实施信息(以及未来迭代的信息),包括CAD文件和源代码,可在GitHub上的开源医疗机器人计划存储库(https://github.com/OpenSourceMedicalRobots)上向公众提供,控制库也可直接从Arduino获得。在这里,我们提出的机器人设计和控制的细节,通过实验评估其工作空间验证功能,并讨论未来发展的可能途径。
2021-01-04 cs.RO
From Decision to Action in Surgical Autonomy: Multi-Modal Large Language Models for Robot-Assisted Blood Suction
University of Alberta(阿尔伯塔大学)
本研究提出了一种用于机器人辅助手术自主吸血的多模态LLM集成方案,通过高层LLM负责推理与优先级划分,底层深度强化学习负责运动执行,构建分布式智能体架构,显著提升了手术中的上下文理解和决策能力。
2025-01-29 cs.RO
3D Perception based Imitation Learning under Limited Demonstration for Laparoscope Control in Robotic Surgery
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学)
自动腹腔镜运动控制对于外科医生有效地执行手术至关重要。然而,传统的基于工具跟踪的控制方法没有考虑手术场景中隐藏的信息,智能化程度不够,而最新的基于监督模仿学习(IL)的方法需要昂贵的传感器数据,并且由于有限的演示而导致分布不匹配问题。在本文中,我们提出了一种新的模仿学习框架腹腔镜控制(ILLC)与强化学习(RL),它可以有效地学习控制策略,从有限的手术视频剪辑。特别地,我们首先从未标记的视频中提取腹腔镜手术轨迹作为演示,并重建相应的手术场景。为了从有限的运动轨迹演示中充分学习,我们提出了形状保持轨迹增强(SPTA)来增强这些数据,并构建了一个支持并行RGB-D渲染的仿真环境,以加强RL策略,从而有效地与环境进行交互。通过对IL的对抗性训练,我们根据生成的展示和手术演示获得腹腔镜控制策略。在看不见的重建手术场景中进行了大量的实验,我们的方法优于以前的IL方法,这证明了我们的统一的基于学习的框架腹腔镜控制的可行性。
2022-04-07 cs.RO
Fuzzy-RRT for Obstacle Avoidance in a 2-DOF Semi-Autonomous Surgical Robotic Arm
College of Engineering and Applied Science, University of Cincinnati(工程与应用科学学院,辛辛那提大学);Thales Avionics(泰勒斯航空电子)
针对星际任务中手术机器人需医生完全控制的问题,提出模糊RRT算法用于二维半自主手术机械臂避障与协作控制,使路径搜索时间提升743%,路径代价提升43%。
2025-04-24 cs.AI cs.RO
Overcoming Imperfect Kinematics in Surgical Robotics Through Sim-to-Real Visuomotor Learning
Hamlyn Centre for Robotic Surgery, Institute of Global Health Innovation, Imperial College London(伦敦帝国理工学院全球健康创新研究所哈姆林机器人手术中心);Department of Surgery and Cancer, Imperial College London(伦敦帝国理工学院外科与癌症系);Department of Mechanical Engineering, Imperial College London(伦敦帝国理工学院机械工程系)
提出基于教师-学生框架的视觉运动学习策略,融合不可靠内部读数与精确外部视觉数据,实时补偿运动学误差,在达芬奇研究套件上验证可行性。
2026-06-23 cs.RO
ProbeMDE: Uncertainty-Guided Active Proprioception for Monocular Depth Estimation in Surgical Robotics
The Robotics Center and the Kahlert School of Computing at the University of Utah(犹他大学机器人中心和Kahlert计算学院)
本文提出ProbeMDE,结合RGB图像与稀疏本体感知测量,通过不确定性引导主动触觉提升手术场景中单目深度估计的准确性与鲁棒性。
2026-03-24 cs.RO
Motion Scaling Solutions for Improved Performance in High Delay Surgical Teleoperation
University of California San Diego(加利福尼亚大学圣地亚哥分校)
机器人遥操作为外科手术领域的进步带来了巨大的潜力。外科医生远程接触患者的能力带来了令人兴奋的机会。远程机器人手术的早期经验很有趣,但临床可行性仍然遥不可及,主要是由于通信延迟的有害影响。遥操作任务受到不可避免的信号延迟的显著影响,这直接导致操作速度变慢,运动精度降低和人为错误增加。对手术工作流程进行重大改变,例如通过引入半自动化或自校正,对于商业手术机器人系统来说,技术和道德负担太大而无法采用。在本文中,我们提出了三个简单直观的运动缩放解决方案,以打击远程操作的机器人系统的延迟,并帮助提高操作员的准确性。运动缩放提供了潜在的提高用户性能和减少错误,最小的变化,底层的遥操作架构。为了验证使用运动缩放作为一个性能增强器,在神经外科手术,我们进行了一项用户研究,17名参与者,我们的结果表明,所提出的解决方案确实降低了出错率时,在高延迟操作。
2019-02-08 cs.RO
Integrating Artificial Intelligence and Augmented Reality in Robotic Surgery: An Initial dVRK Study Using a Surgical Education Scenario
The Chinese University of Hong Kong(香港中文大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
机器人辅助手术由于其临床优势而变得越来越受欢迎。与此同时,机器人手术中的人工智能和增强现实技术也得到了迅速发展和广泛关注。然而,目前的方法还没有讨论机器人手术中AI和AR的相干集成。在本文中,我们开发了一个新的系统,无缝融合人工智能模块和增强现实可视化自动生成手术指导机器人手术教育。具体来说,我们首先利用强化学习从专家示范学习,然后生成3D引导轨迹,提供手术过程的先验上下文信息。与文本提示等其他信息一起,3D轨迹然后覆盖在dVRK的立体视图中,用户可以在其中感知3D引导并学习程序。该系统通过初步的实验进行评估手术教学任务挂钩转移,这证明了其可行性和潜力,作为下一代的机器人辅助手术教学解决方案。
2022-03-03 cs.AI cs.RO