Surgery Scene Restoration for Robot Assisted Minimally Invasive Surgery
Queensland University of Technology(昆士兰科技大学)
微创手术具有组织损伤小、出血少、恢复时间短等优点,但也存在一定的局限性。除了诸如缺乏触觉或触觉反馈的其他因素之外,手术部位的不良可视化是表现出包括意外组织损伤的若干手术缺点的最公认的因素之一。对于机器人辅助手术的背景,缺乏框架上下文细节使得视觉任务在跟踪组织和工具、分割场景以及估计姿态和深度时具有挑战性。在MIS中,所获取的帧受到不同噪声的影响,并且由于来自不同源的运动而变得模糊。此外,当考虑水下环境时,例如膝关节镜检查,主要可见的噪声和模糊效应源自环境、对照明和成像条件的不良控制。此外,在MIS中,由于硬件小型化,通常不存在自动白平衡和原始颜色信息到其标准RGB颜色空间之间的转换等过程。有一个在线预处理框架,可以规避这些缺点的需求很高。我们所提出的方法是能够恢复一个潜在的清洁和清晰的图像在标准的RGB颜色空间从其噪声,模糊和原始的观察在一个单一的预处理阶段。
2021-09-06 cs.RO eess.IV
Primary Experimental Feedback on a Co-manipulated Robotic System for Assisted Cervical Surgery
Pprime Institute(Pprime研究所);University of Poitiers(普瓦捷大学);CNRS(法国国家科学研究中心);ISAE-ENSMA(法国高等航空航天学院-国立高等机械与航空技术学院);Centre Hospitalier Universitaire (CHU)(大学教学医院(CHU));National Central University(国立中央大学);National Engineering School of Sousse(苏塞国立工程师学院);University of Sousse(苏塞大学)
本研究评估了一种协同机器人系统在辅助颈椎手术钻孔任务中的性能,通过分析其轨迹执行精度,为临床应用提供可靠性和改进方向的反馈。
2026-02-06 cs.RO
Haptic-Enhanced Virtual Reality Simulator for Robot-Assisted Femur Fracture Surgery
Rowan University(罗文大学);Virtua Health(维克托健康医疗系统);Rowan-Virtua School of Osteopathic Medicine(罗文-维克托 osteopathic 医学院)
本文开发了用于Robossis机器人辅助股骨骨折手术的触觉增强VR模拟器,集成Sigma-7触觉控制器、RSR机器人和Meta Quest头显,验证了6自由度跟随和防骨段重叠能力,为未来系统实施提供基础。
2023-10-29 cs.RO
Robot Autonomy for Surgery
University of California, San Diego(加州大学圣迭戈分校)
自主手术涉及由机器人根据自己的意愿执行手术任务,部分或没有人类参与。手术自动化有几个重要的优势,包括由于亚毫米机器人控制而提高护理精度,实时利用生物信号进行介入护理,提高手术效率和执行,以及在各种医学成像和传感模式下的计算机辅助指导。虽然这些方法可能会取代手术团队和外科医生个人的一些任务,但它们也提供了新的干预能力,这些干预能力过于困难或超出了人类的技能。在这一章中,我们提供了一个概述机器人的自主性在商业用途和研究,并提出了一些在发展自主手术机器人所面临的挑战。
2017-07-10 cs.RO
Runtime Detection of Executional Errors in Robot-Assisted Surgery
University of Virginia(弗吉尼亚大学)
尽管手术机器人的设计和客观评估手术技能的自动化技术取得了重大进展,但在确保机器人辅助微创手术(RMIS)的安全性方面仍然存在挑战。本文提出了一种运行时监测系统,通过分析运动学数据检测手术任务中的执行错误。所提出的系统结合了双连体神经网络和手术背景知识,包括手术任务和手势,它们的分布相似性,以及常见的错误模式,学习正常和错误的手术轨迹之间的差异,从小的训练数据集。我们使用JIGSAWS数据集的缝合和穿针任务的干实验室演示,与使用不同水平的上下文知识和训练数据训练的单个CNN和LSTM网络相比,评估了使用Siamese网络的错误检测性能。我们的研究结果表明,手势特定任务非特异性Siamese网络获得了0.94(Siamese-CNN CNN)和0.95(Siamese-LSTM)的微F1分数,并且比单个CNN(0.86)和LSTM(0.87)网络表现更好。这些Siamese网络在缝合和穿针方面的表现也优于手势非特定任务特定的Siamese-CNN和Siamese-LSTM模型。
2022-03-01 cs.CV cs.LG cs.RO
MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery
MiDAS是一种开源多模态数据采集系统,能够实现机器人辅助微创手术的非侵入式数据采集,并发布首个高保真仿真模型的缝合任务数据集。
2026-08-18 cs.CV cs.LG cs.RO
Computer- and robot-assisted urological surgery
CNRS(法国国家科学研究中心);Université Joseph Fourier(约瑟夫·傅里叶大学);Faculté de Médecine(医学院);Laboratoire TIMC(TIMC实验室)
作者回顾了计算机和机器人工具可用于泌尿科医生,以帮助诊断和技术程序。第一部分涉及机器人技术的贡献,并介绍了处于不同发展阶段的几个系统(实验室原型、正在验证的系统或上市系统)。第二部分描述了目前正在开发或评估的图像融合工具和导航系统。还介绍了计算机模拟泌尿外科手术的几项研究。
2007-12-19 cs.OH cs.RO
Improving the realism of robotic surgery simulation through injection of learning-based estimated errors
Johns Hopkins University(约翰斯·霍普金斯大学)
针对手术模拟器中机器人位置精度过于理想化的问题,提出用物理机器人数据训练神经网络估计控制器及运动学、非运动学误差并注入模拟器,使位置和姿态差异分别降至1.3 mm和1.7度。
2024-06-11 cs.LG cs.RO
Robotic Constrained Imitation Learning for the Peg Transfer Task in Fundamentals of Laparoscopic Surgery
The University of Tokyo(东京大学)
本研究针对腹腔镜手术基础技能中钉转移任务,通过提取熟练操作员的运动约束来收集数据并进行模仿学习,仅用单目图像即可实现更准确的自主机器人操作,并在双臂系统上验证了有效性。
2024-05-06 cs.AI cs.LG cs.RO
Development of Control Framework for Spine Surgery Robot Using EtherCAT
Korea Institute of Science and Technology(韩国科学技术院);University of Science and Technology(科学技术联合大学院大学)
本文针对脊柱手术机器人系统复杂性增加带来的安全性与确定性挑战,开发了基于开源EtherCAT主站和实时抢占式Linux的多轴控制框架,并在首台原型上验证了其周期性、抖动和执行时间等实时性能。
2023-10-24 cs.RO
Real-time Joint Motion Analysis and Instrument Tracking for Robot-Assisted Orthopaedic Surgery
Queensland University of Technology(昆士兰科技大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);University of New South Wales(新南威尔士大学);The Prince Charles Hospital(查尔斯王子医院)
机器人辅助骨科手术需要精确的自动化腿部操作,以提高空间精度,减少医源性损伤。在这项研究中,我们提出了新的刚体设计和光学跟踪体积设置跟踪股骨,胫骨和手术器械。使用计算机断层扫描测量腿部内部的解剖点,精度为0.3mm。结合运动学建模,我们可以表示这些点相对于任何框架和跨关节亚毫米精度。它可以在股骨和胫骨的机械轴上设置矢量,以进行运动学分析。尸体实验用于验证内部解剖结构和关节运动分析的跟踪。所提出的集成解决方案是腿部操作自动化的第一步,可用作未来机器人辅助骨科研究的基础。
2019-09-06 cs.RO
Safe Reinforcement Learning using Formal Verification for Tissue Retraction in Autonomous Robotic-Assisted Surgery
University of Verona(维罗纳大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
深度强化学习(DRL)是自动化重复手术子任务的可行解决方案,因为它能够在动态环境中学习复杂行为。这种任务自动化可以减少外科医生的认知工作量,提高手术关键方面的精确度,并减少与患者相关的并发症。然而,目前的DRL方法不能保证任何安全标准,因为它们在不考虑与所执行的操作相关的风险的情况下最大化累积回报。由于这种限制,DRL在机器人辅助微创手术(MIS)的安全关键范例中的应用受到了限制。在这项工作中,我们引入了一个安全DRL框架,通过DRL培训的手术子任务的自动化,结合了安全约束。我们验证我们的方法在虚拟场景中,复制组织牵开任务通常发生在多个阶段的MIS。此外,为了评估机器人手臂的安全行为,我们制定了一个形式化验证工具DRL方法,提供了不安全配置的概率。我们的研究结果表明,正式的分析保证安全性与高置信度,使机器人仪器在安全的工作空间内运行,并避免与其他解剖结构的危险相互作用。
2021-09-06 cs.RO
Learning References with Gaussian Processes in Model Predictive Control applied to Robot Assisted Surgery
Otto-von-Guericke Univ. Magdeburg(马格德堡奥托·冯·格里克大学);Fraunhofer-Institute for Factory Operation and Automation(弗劳恩霍夫工厂运营与自动化研究所)
模型预测控制的主要优点之一是能够主动控制系统,考虑到未来的系统演化。然而,往往外部干扰或参考是不是一个先验已知的,这使得预测控制器短视或不知情。自适应预测模型可以用来克服这个问题,并为控制器提供这些信号的预测。在这项工作中,我们建议通过高斯过程学习参考模型预测控制器。为了说明这种方法,我们考虑机器人辅助手术,其中机器人操纵器需要根据光学跟踪测量来跟随学习的参考位置。
2019-11-25 cs.RO cs.SY eess.SY
How can reasoning capability empower the AI copilot robot in endoscopic surgery
Department of Electronic Engineering(电子工程系)
本文研究了推理能力在内窥手术中AI助手机器人中的应用,提出通过整合多模态线索、解读手术意图和推断隐藏组织动态来提高手术的精确性、安全性和可持续性。
2026-05-21 cs.RO
Integrating Artificial Intelligence and Augmented Reality in Robotic Surgery: An Initial dVRK Study Using a Surgical Education Scenario
The Chinese University of Hong Kong(香港中文大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
机器人辅助手术由于其临床优势而变得越来越受欢迎。与此同时,机器人手术中的人工智能和增强现实技术也得到了迅速发展和广泛关注。然而,目前的方法还没有讨论机器人手术中AI和AR的相干集成。在本文中,我们开发了一个新的系统,无缝融合人工智能模块和增强现实可视化自动生成手术指导机器人手术教育。具体来说,我们首先利用强化学习从专家示范学习,然后生成3D引导轨迹,提供手术过程的先验上下文信息。与文本提示等其他信息一起,3D轨迹然后覆盖在dVRK的立体视图中,用户可以在其中感知3D引导并学习程序。该系统通过初步的实验进行评估手术教学任务挂钩转移,这证明了其可行性和潜力,作为下一代的机器人辅助手术教学解决方案。
2022-03-03 cs.AI cs.RO
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London(伦敦帝国理工学院);University of Bristol(布里斯托尔大学)
近几十年来,手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点,可以为患者提供更短的恢复时间和更短的住院时间。然而,目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中,存在大量重复但简单的操作,这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明,该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Predicting the Timing of Camera Movements From the Kinematics of Instruments in Robotic-Assisted Surgery Using Artificial Neural Networks
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
机器人辅助手术使外科医生和患者都受益,然而,外科医生经常需要调整内窥镜摄像机以获得良好的视角。同时控制摄像机和手术器械是不可能的,并且因此,这些摄像机调整重复地中断手术。自主相机控制可以帮助克服这一挑战,但大多数现有系统都是被动的,例如,让摄像机跟随手术器械我们提出了一种预测方法,用于预测何时使用人工神经网络发生摄像机运动。我们使用了手术器械的运动学数据,这些数据是在对猪模型进行机器人辅助手术培训期间记录的。我们将数据分割成片段,并将每个片段标记为紧接在相机移动之前的片段,或者不标记的片段。由于大的类不平衡,我们训练了一个网络集合,每个网络都在训练数据的平衡子集上。我们发现,仪器的运动学数据可以用来预测相机运动何时发生,并评估了不同段持续时间和合奏大小的性能。我们还研究了可以提前多少时间预测即将到来的相机移动,并发现预测相机移动发生前0.25秒,0.5秒和1秒,相对于预测即将到来的相机移动,准确率分别达到98%,94%和84%。这表明,摄像机运动事件可以被预测得足够早,以便留出时间来计算和执行自主摄像机运动,并表明RAMIS的自主摄像机控制器有朝一日可能是可行的。
2022-02-06 cs.CV cs.LG cs.RO
A hierarchical framework for collision avoidance in robot-assisted minimally invasive surgery
Nagoya University(名古屋大学);Institutes of Innovation for Future Society, Nagoya University(名古屋大学未来社会创新研究所)
针对机器人辅助微创手术动态杂乱环境下的安全避障难题,提出一种整合多任务约束的分层框架,采用HQP管理约束并实现任务优先级平滑切换,经仿真验证在多类避障场景中具备鲁棒性与有效性。
2024-09-16 cs.RO
Learning-based Force Sensing and Impedance Matching for Safe Haptic Feedback in Robot-assisted Laparoscopic Surgery
organization= Surgical Robotics Laboratory (SRL), Mechanical Engineering Department, Concordia University , city= Montreal , state= QC , country= Canada;Robotics (SuPER) Centre, Department of Surgery, McGill University , city= Montreal , state= QC , country= Canada;Joyce Posluns Centre for Image Guided Innovation \& Therapeutic Intervention (PCIGITI), The Hospital for Sick Children (SickKids) , city= Toronto , state= ON , country= Canada
本文提出非线性阻抗匹配方法,通过建模复杂工具-组织相互作用,提升机器人辅助手术中的触觉反馈精度与安全性。
2026-02-03 cs.RO
Humanoids for Robot-Assisted Surgery: Bimanual Base Placement and Tool-Mount Optimization via Capability Maps
本研究提出基于能力图的人形机器人基座与工具安装联合优化框架,在三种手术中评估可达性,证明其优于基线方法,并揭示近端应用潜力与局限。
2026-09-29 cs.RO
Hall Effect-Based Tactile Force Detection Sensor for Robot-Assisted Minimally Invasive Surgery
University of Leeds(利兹大学)
针对机器人微创手术中触觉反馈缺失的问题,本文提出一种基于霍尔效应的毫米级紧凑力传感器,可检测法向和剪切力,平均RMSE为2.133 kPa,并在体模和离体猪组织上验证了牵拉与滑动感知能力。
2026-10-08 cs.RO
daVinciNet: Joint Prediction of Motion and Surgical State in Robot-Assisted Surgery
Intuitive Surgical Inc.(直觉外科公司);California Institute of Technology(加州理工学院)
本文提出了一种技术,同时和联合预测的未来轨迹的手术器械和未来的状态(S)的手术子任务在机器人辅助手术(RAS)使用多个输入源。这样的预测是必要的第一步共享控制和监督自主的手术子任务。一分钟长的手术子任务,如超声或超声扫描,通常具有可区分的工具运动学和视觉特征,并且可以被描述为一系列具有过渡示意图的细粒度状态。我们提出了daVinciNet -机器人运动和手术状态预测的端到端双任务模型。daVinciNet使用从多个数据流中提取的特征(包括机器人运动学、内窥镜视觉和系统事件)执行并发末端执行器轨迹和手术状态预测。我们评估了我们提出的模型上的扩展机器人术中超声(RIOUS+)成像数据集上收集的达芬奇Xi手术系统和JHU-ISI手势和技能评估工作集(JIGSAWS)。我们的模型实现了高达93.85%的短期(0.5s)和82.11%的长期(2s)的状态预测精度,以及1.07mm的短期和5.62mm的长期轨迹预测误差。
2020-09-24 cs.CV cs.LG cs.RO
Organ Shape Sensing using Pneumatically Attachable Flexible Rails in Robotic-Assisted Laparoscopic Surgery
University College London(伦敦大学学院);Welcome/EPSRC Centre for Interventional and Surgical Sciences(惠康/工程与物理科学研究委员会介入与外科科学中心)
在机器人辅助肾部分切除术中,外科医生通常由于存在肿块而切除肾脏的一部分。与手术机器人配对的插入式超声探头被部署在肾脏表面上执行多次滑动,以定位肿块并确定切除边缘。这一子任务具有挑战性,必须由高度熟练的外科医生执行。自动化这个子任务可以减少外科医生的认知负荷并改善患者的预后。这项工作的总体目标是利用气动可附接柔性(PAF)导轨系统(一种用于器官扫描和重新定位的软机器人设备),在肾脏表面上自主移动超声探头。首先,我们将形状传感光纤集成到PAF轨道系统中,以评估机器人辅助腹腔镜手术中目标器官的曲率。然后,我们研究PAF导轨材料的刚度对曲率传感精度的影响,考虑到手术区域中存在软目标。最后,我们使用形状感测来规划达芬奇手术机器人与插入式超声探头配对的轨迹,并自主生成肾脏体模的超声扫描。
2022-11-21 cs.RO
Human-centered transparency of grasping via a robot-assisted minimally invasive surgery system
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文研究单侧机器人辅助微创手术(RAMIS)中刚性物体的抓取。我们定义了以人为本的透明度,量化了RAMIS中的自然动作和感知。我们证明了这种以人为中心的透明度分析不同值的夹具缩放-外科医生侧机械手的把握孔径和手术器械抓钳的孔径之间的缩放。31名参与者在三种夹具缩放条件(精细,正常和快速,权衡精度和响应性)中的一种条件下对刚性物体进行了遥控抓取和感知评估。心理物理学分析的变化,最大的把握孔径在admission和报告的大小的对象显示,在正常和快速(但不是在罚款)夹具缩放条件下,遥控抓取与我们的系统是类似的自然把握,因此,以人为中心的透明。我们预计,使用运动控制和心理物理学的人为中心的优化遥操作控制将最终提高RAMIS的可用性。
2018-05-15 cs.HC cs.RO
Real-Time Context-aware Detection of Unsafe Events in Robot-Assisted Surgery
University of Virginia(弗吉尼亚大学)
用于机器人手术的网络物理系统使微创手术具有更高的精度和更短的住院时间。然而,随着软件的复杂性和连接性的增加以及人类操作员在手术机器人的监督中的主要参与,在确保患者安全方面仍然存在重大挑战。本文介绍了一种安全监测系统,该系统在外科医生了解手术任务的情况下,可以实时的【形】检测安全关键事件。我们的方法集成了一个手术手势分类器,推断的操作上下文的时间序列的运动学数据的机器人与库的错误的手势分类器,给定的手术手势可以检测到不安全的事件。我们使用来自两个手术平台的数据进行的实验表明,所提出的系统可以在1,693毫秒的平均反应时间窗口和0.88的F1分数内检测由意外或恶意故障引起的不安全事件,并且在57毫秒的平均反应时间窗口和0.76的F1分数内检测人为错误。
2020-06-18 cs.RO
Sclera Force Control in Robot-assisted Eye Surgery: Adaptive Force Control vs. Auditory Feedback
Johns Hopkins University(约翰斯·霍普金斯大学);Beihang University(北京航空航天大学);Johns Hopkins Hospital(约翰斯·霍普金斯医院)
外科医生的手震颤限制了人类在显微外科手术中的能力,例如那些治疗眼睛的手术。相比之下,通过引入显微外科机器人来消除手震颤会减少外科医生对有用和熟悉的工具到巩膜力的触觉感知。虽然眼科手术机器人的大质量和惯性防止了外科医生的微震颤,但对小巩膜力的感知的丧失可能使巩膜处于受伤的风险中。在本文中,我们应用并比较了两种不同的方法,以确保巩膜组织的安全性,在机器人辅助眼科手术。在主动控制方法中,一个自适应力控制策略的稳定手眼机器人上实现,以控制巩膜力的大小时,他们超过安全边界。然后将该自主力补偿与被动力控制方法进行比较,在被动力控制方法中,外科医生响应于所提供的与巩膜力的大小成比例的音频反馈来执行手动调节。三个用户的试点研究表明,主动控制方法可能是更有效的。
2019-01-10 cs.RO
Novel total hip surgery robotic system based on self-localization and optical measurement
Shantou University(汕头大学);The First Affiliated Hospital of Medical College of Shantou University(汕头大学医学院第一附属医院)
本文介绍了全髋关节置换术(THA)手术机器人系统的开发和实验评价。尽管现有的用于关节置换手术的机器人系统已经取得了一些进展,但是在手术过程中机器人手臂必须精确地位于目标位置,这在很大程度上取决于外科医生的经验。此外,手持式髋臼扩髓钻通常表现出不均匀的强度和研磨锉。此外,缺乏实时测量股骨颈长度的技术可能导致不良结局。为了应对这些挑战,我们提出了一种实时可追溯的光学定位策略,以减少手术过程中对机器人手臂的不必要的手动调整,一个末端执行器系统,以稳定研磨,和一个光学探头,以提供股骨颈长度和其他参数的实时测量,用于选择合适的假体。下肢的长度是在安装假肢时测量的。实验评估结果表明,基于其准确性,执行能力和鲁棒性,所提出的手术机器人系统是可行的THA。
2022-08-22 cs.RO
A Modular 3-Degree-of-Freedom Force Sensor for Robot-assisted Minimally Invasive Surgery Research
Case Western Reserve University(凯斯西储大学);Stanford University(斯坦福大学)
组织操作过程中的有效力调节对于确保安全的机器人辅助微创手术(RMIS)非常重要。对体内远侧力感测的严格要求已经导致现有的传感器设计在制造和集成的容易性与沿工具轴线的力测量精度之间进行权衡。这些限制使得研究人员无法在RMIS中收集高质量的3自由度(3-DoF)双手力数据。我们提出了一种模块化和可制造的3自由度力传感器,可以很容易地与现有的RMIS工具集成。我们通过放宽生物相容性和可灭菌性要求,同时利用商业称重传感器和常见的机电制造技术来实现这一目标。该传感器的轴向测量范围为+-5 N,横向测量范围为+-3 N,所有方向的平均均方根误差(RMSE)均低于0.15 N。在遥控模拟组织操作任务中,一对安装在钳口上的传感器在各个方向上的平均RMSE均低于0.15 N。对于夹持力,其实现了0.156 N的RMSE。该传感器具有足够的精度范围内的力量发现在微妙的操作任务,在双手触觉反馈和机器人力控制的潜在用途。作为一种开源设计,传感器可以适应RMIS之外的其他机器人应用。
2022-11-10 cs.RO
SATR-DL: Improving Surgical Skill Assessment and Task Recognition in Robot-assisted Surgery with Deep Neural Networks
目的:本文主要研究机器人辅助手术中手术运动轮廓的自动分析,用于客观的技能评估和任务识别。现有的技术严重依赖于传统的统计措施或浅建模的基础上手工设计的功能和手势分割。这样的发展需要大量的专业知识,容易出错,并且在线自适应训练系统的效率较低。研究方法:在这项工作中,我们提出了一个有效的分析框架与并行的深度学习架构,SATR-DL,以评估受训者的专业知识和认识手术培训活动。通过端到端的学习技术,直接从原始运动序列中联合获得空间表示和时间动态的抽象信息。结果如下:通过利用共享的高级表示学习,所得到的模型在识别受训者技能和手术任务、缝合、穿针和打结方面是成功的。与此同时,我们探讨了集成在分类中的使用在审判的水平,其中SATR-DL优于国家的最先进的性能,分别达到0.960和1.000的准确率在技能评估和任务识别。结论:这项研究强调了SATR-DL在智能机器人手术中为有效的数据驱动评估提供改进的潜力。
2018-06-15 cs.CV cs.RO
Forbidden Region Dynamic Active Constraints in Robot-Assisted Minimally Invasive Surgery
Imperial College London(帝国理工学院)
本研究针对机器人辅助微创手术中禁区主动约束(FRAC)的动态组织变形等挑战,提出能量耗散型FRAC策略,经体外实验验证其鲁棒性、有效性及时间效率优于对比方法。
2026-08-05 cs.RO
Hybrid Deep Reinforcement Learning for Radio Tracer Localisation in Robotic-assisted Radioguided Surgery
Imperial College London(帝国理工学院)
本文提出将深度强化学习与自适应机器人扫描相结合的混合方法,用于机器人辅助放射引导手术中的放射性示踪剂自主定位,仿真和dVRK真实实验分别取得95%和80%的成功率,验证了其高效性与可行性。
2025-03-11 cs.RO
LapGym -- An Open Source Framework for Reinforcement Learning in Robot-Assisted Laparoscopic Surgery
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Heidelberg University Hospital(海德堡大学医院);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Technical University Dresden(德累斯顿工业大学)
强化学习(RL)的最新进展增加了将认知辅助和自动化引入机器人辅助腹腔镜手术(RALS)的希望。然而,算法和方法的进展取决于标准化的学习环境,代表相关的RALS技能的可用性。我们提出了LapGym,一个为RALS构建RL环境的框架,该框架模拟了手术任务带来的挑战,以及sofa_env,一个包含12个环境的多样化套件。受手术训练的启发,这些环境被组织成4个轨道:空间推理,可变形物体操作和抓取,解剖和线程操作。每个环境都是高度可参数化的,以增加难度,从而导致新算法的高性能上限。我们使用近端策略优化(PPO)建立无模型强化学习算法的基线,研究几个环境参数对任务难度的影响。最后,我们表明,许多环境和参数配置反映了RL研究中众所周知的开放性问题,使研究人员能够在手术环境中继续探索这些基本问题。我们的目标是提供一个具有挑战性的标准环境套件,以进一步开发用于RALS的RL,最终帮助实现认知手术机器人的全部潜力。LapGym可通过GitHub(https://github.com/ScheiklP/lap_gym)公开访问。
2023-02-19 cs.RO
Towards Safer Robot-Assisted Surgery: A Markerless Augmented Reality Framework
Politecnico di Milano(米兰理工大学);European Institute of Oncology, IRCCS(欧洲肿瘤研究所(IRCCS));University of Milan(米兰大学)
针对机器人辅助手术中器械碰血管致出血的安全风险,提出无标记增强现实框架,通过最优立体重建与分割网络组合实现术中血管三维重建及距离检测,经达芬奇研究套件模拟实验验证可在不增加负担的前提下避免危险碰撞,提升手术安全性。
2023-09-14 cs.RO
A Nested U-Structure for Instrument Segmentation in Robotic Surgery
University of Science and Technology of China(中国科学技术大学)
针对机器人手术中复杂环境下的器械像素级分割问题,提出带跳跃连接的两级嵌套U型编码器—解码器模型,并在三类分割任务上验证其性能。
2023-07-17 cs.RO
Beyond the Manual Touch: Situational-aware Force Control for Increased Safety in Robot-assisted Skullbase Surgery
Johns Hopkins University(约翰霍普金斯大学)
本文提出基于数字孪生情境信息的机器人辅助颅底钻孔力控制方法,初步实验表明其可有效抑制高交互力并提升手术安全性。
2024-01-22 cs.RO cs.SY eess.SY
Occlusion-robust Visual Markerless Bone Tracking for Computer-Assisted Orthopaedic Surgery
Imperial College London(伦敦帝国理工学院)
传统的计算机辅助骨科导航系统依赖于对患者姿势的专用光学标记的跟踪,这使得手术工作流程更具侵入性、繁琐且昂贵。最近提出了视觉跟踪,以无标记和轻松的方式测量目标解剖结构,但现有的方法在术中干预引起的真实世界闭塞下失败。此外,这样的方法是硬件特定的,并且对于外科应用不够准确。在本文中,我们提出了一种基于RGB-D感知的无标记跟踪方法,该方法对遮挡具有鲁棒性。我们设计了一个新的分割网络,具有动态区域的兴趣预测和强大的3D点云分割。由于收集包含遮挡实例的大规模训练数据的成本很高,我们还提出了一种新的方法来创建用于网络训练的合成RGB-D图像。实验结果表明,我们提出的无标记跟踪方法优于最近的国家的最先进的方法,由一个大的利润,特别是当遮挡存在。此外,我们的方法可以很好地推广到新的相机和新的目标模型,包括尸体,而不需要网络重新训练。实际应用中,通过使用高质量的商用RGB-D相机,我们提出的视觉跟踪方法在模型膝关节上实现了1-2度和2-4 mm的精度,满足临床应用标准。
2021-08-24 cs.CV cs.LG cs.RO
Improving rigid 3D calibration for robotic surgery
University of Verona(维罗纳大学)
自主性是机器人手术研究的前沿,其目的是提高未来手术过程的质量。自主性的一个基本要求是通过视觉传感器实现先进的感知能力。在本文中,我们提出了一种新的校准技术与达芬奇机器人的手术场景。摄像机和机器人的校准对于工具的精确定位是必要的,以便模仿高性能的外科医生。我们的校准技术是为RGB-D相机量身定制的。对手术相关用例进行的不同测试证明,我们在外科尺寸设置上显著提高了类似器械的最新解决方案的精度和准确度。此外,我们的校准方法可以很容易地扩展到标准手术内窥镜,以促进其在实际手术场景中的使用。
2020-07-16 cs.CV cs.RO
Virtual Fixture Assistance for Suturing in Robot-Aided Pediatric Endoscopic Surgery
The University of Tokyo(东京大学);Kitasato University Hospital(北里大学医院)
小儿内窥镜手术中有限的工作空间使手术操作成为最困难的任务之一。在切割过程中,外科医生必须防止工具之间的碰撞以及与周围组织的碰撞。手术机器人已被证明是有效的成人腹腔镜检查,但援助限制性腹腔镜手术尚未得到充分探讨。在这封信中,我们提出了指导虚拟夹具,以提高性能和安全性,同时产生所需的任务约束,使用约束优化和笛卡尔力反馈。我们提出了两种引导方法:循环虚拟夹具和一个轨迹引导圆柱,这是基于动态几何元素。在与物理机器人的模拟和实验中,我们表明,所提出的方法实现了更精确和更安全的循环,在机器人辅助儿科内窥镜检查。
2020-02-21 cs.RO
Synthetic and Real Inputs for Tool Segmentation in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London(伦敦大学学院威康/EPSRC介入与外科科学中心);Department of Computer Science, University College London(伦敦大学学院计算机科学系)
手术视频中的语义工具分割对于手术场景理解和计算机辅助干预以及机器人自动化的发展都是重要的。这个问题是具有挑战性的,因为不同的照明条件,出血,烟雾和闭塞可以降低算法的鲁棒性。目前,用于训练深度学习模型的标记数据仍然缺乏语义手术器械分割,在本文中,我们表明可以使用机器人运动学数据与腹腔镜图像相结合来缓解标记问题。我们提出了一种新的基于深度学习的模型,用于腹腔镜和模拟图像的并行处理,以实现手术工具的鲁棒分割。由于缺乏用分割基础事实和运动学信息注释的腹腔镜帧,使用达芬奇研究工具包(dVRK)生成了一个新的自定义数据集,并提供给用户。
2020-07-26 cs.CV cs.LG cs.RO
The control architecture of a spherical robot for Minimally Invasive Surgery
CESTER, Research Center for Industrial Robots Simulation and Testing, Technical University of Cluj-Napoca(克卢日-纳波卡技术大学工业机器人仿真与测试研究中心);Technical Sciences Academy of Romania(罗马尼亚技术科学院);École Centrale Nantes(南特中央理工大学);Nantes Université(南特大学);CNRS(法国国家科学研究中心);LS2N, UMR 6004(南特数字科学实验室)
本研究针对微创手术对精度与安全的需求,提出一种模块化主从式球形机器人控制架构,经仿真与实体实验验证功能有效,具备与其他手术机器人集成的潜力,可助力提升机器人辅助手术能力。
2024-07-11 cs.RO
Snake-Like Robots for Minimally Invasive, Single Port, and Intraluminal Surgeries
Vanderbilt University(范德堡大学)
微创手术(MIS)的手术范例是采用机器人手术辅助的关键驱动力。在过去的三十年里,随着技术的进步,使用刚性器械的手动腹腔镜手术逐渐过渡到机器人辅助手术。在过去的十年中,对新的手术范例的需求不断增加,以实现在没有皮肤切口的情况下进入解剖结构(腔内手术)或通过单个皮肤切口进入解剖结构(单孔手术- SPA),这使得研究人员研究蛇形柔性手术器械。在本章中,我们首先概述了MIS及其新衍生物的背景、动机和分类。MIS及其较新的衍生物(SPA和腔内手术)的挑战概述了新的蛇形机器人的架构,以满足这些挑战。我们还研究了多年来开发的商业和研究手术平台,以解决特定的功能要求和在密闭空间中进行手术所带来的限制。本章最后评估了腔内和SPA手术机器人技术中的开放性问题,并展望了手术机器人设计的未来趋势,这些趋势可能会解决这些未满足的需求。
2019-06-11 cs.RO
Transferable Tool-Tissue Contact Detection from Stereo Depth in Robot-Assisted Surgery
Vanderbilt University(范德堡大学)
本研究提出基于立体深度图像的器械-组织接触检测方法,采用隐马尔可夫模型,在多类预留会话上取得高泛化性能,优于RGB-based方法,验证了器械-组织距离作为可迁移线索的有效性。
2026-08-20 cs.RO
Design Analysis of an Innovative Parallel Robot for Minimally Invasive Pancreatic Surgery
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);Technical Sciences Academy of Romania(罗马尼亚技术科学院);École Centrale Nantes(南特中央理工学校);Nantes Université(南特大学);CNRS(法国国家科学研究中心)
本文针对微创胰腺手术提出ATHENA-1和ATHENA-2两种四自由度并联机器人构型,通过有限元刚度仿真和工作空间定量分析选出最优构型,为后续实验模型开发提供依据。
2025-07-18 cs.RO
Partial-to-Full Registration based on Gradient-SDF for Computer-Assisted Orthopedic Surgery
Concord Repatriation General Hospital(康科德退伍军人总医院);School of Informatics, The University of Edinburgh(爱丁堡大学信息学院)
针对计算机辅助骨科手术中术中点云稀疏、部分重叠且含噪声离群点、现有骨标志点配准耗时的问题,提出基于梯度SDF的部分到完整配准框架,精度优于基准、抗90%离群点、1秒内收敛,无需特定标志点,具临床价值。
2024-10-04 cs.RO
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan(名古屋大学)
本文提出一种基于可供性推理的机器人手术助手框架,结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义,并利用双重集合共形预测保障安全,在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
Real-time 3D Tracking of Articulated Tools for Robotic Surgery
Imperial College London(伦敦帝国理工学院)
在机器人手术中,工具跟踪对于提供安全的工具-组织交互和促进手术技能评估是重要的。尽管最近在工具跟踪方面取得了进展,但现有方法在铰接工具的实时的【形】跟踪方面面临重大困难。大多数算法都是针对预先录制的视频进行离线处理而定制的。在本文中,我们提出了一个实时的【形】三维跟踪方法在机器人手术关节工具。所提出的方法是基于CAD模型的工具,以及机器人运动生成在线的部分为基础的模板,有效的2D匹配和3D位姿估计。一个强大的验证方法被纳入拒绝离群值的2D检测,然后通过融合内点与机器人运动学读数的3D姿态估计的工具。所提出的方法已被验证与体模数据,以及离体和体内实验。结果清楚地表明,所提出的方法相比,国家的最先进的性能优势。
2016-10-30 cs.CV cs.RO
Advancing Robotic Surgery: Affordable Kinesthetic and Tactile Feedback Solutions for Endotrainers
Columbia University(哥伦比亚大学);PSG College of Technology(PSG理工学院)
针对手术机器人缺乏触觉反馈的问题,本研究将经济型动觉与触觉反馈系统集成至内窥镜训练器,通过光电传感器实现95%准确率的力检测,提升训练真实性与手术安全性。
2024-06-26 cs.RO
The ethical landscape of robot-assisted surgery. A systematic review
University of Potsdam(波茨坦大学);Brandenburg Medical School Theodor Fontane (MHB)(布兰登堡 Theodor Fontane 医学院(MHB))
本系统性综述梳理了机器人辅助手术领域的七大伦理议题,指出在自动化趋势下需将这些伦理考量融入外科伦理精神,以应对未来挑战。
2024-11-18 cs.CY cs.RO
Towards an Autonomous Minimally Invasive Spinal Fixation Surgery Using a Concentric Tube Steerable Drilling Robot
University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Texas Dell Medical School(德克萨斯大学戴尔医学院);University of Edinburgh(爱丁堡大学)
本文提出一种集成七自由度机械臂的同心管可转向钻孔机器人系统,通过创建精确J形轨迹解决自主微创脊柱内固定手术中刚性器械无法触及椎体区域的问题,并经校准和模拟实验验证了其安全准确性能。
2024-05-29 cs.RO
Toward Personalized Training and Skill Assessment in Robotic Minimally Invasive Surgery
Wayne State University(韦恩州立大学)
尽管外科手术技术取得了巨大的进步,但评估手术技能的标准仍然基于主观标准。随着机器人辅助手术的出现,引入了客观和自主技能评估的新机会。以往的研究主要是基于隐马尔可夫模型(HMM)等结构化方法,需要大量的预处理。在这项研究中,与他们相比,我们开发了一个新的基于形状的框架,自动技能评估和个性化的手术训练与最小的参数调整。我们的工作已经解决了技能评估的主要方面,开发手势识别模型,直接对机器人辅助手术的时间运动信号,并建立自动个性化RMIS手势训练框架,我们表明,我们的方法,平均准确度为82%的缝合,70%的穿针和85%的打结,表现优于或等于最先进的方法,同时需要最少的预处理,参数调整,并为外科医生提供在线反馈,他们在培训期间的表现。
2016-11-14 cs.RO
Accuracy and repeatability of a parallel robot for personalised minimally invasive surgery
CESTER, Technical University of Cluj-Napoca(克卢日-纳波卡技术大学 CESTER);École Centrale Nantes, Nantes Université, CNRS, LS2N(南特中央理工大学、南特大学、法国国家科学研究中心、LS2N);Technical Sciences Academy of Romania(罗马尼亚技术科学院)
该研究针对个性化微创手术用并联机器人,提出采用运动追踪系统与高精度测量臂分别测量其精度和可重复性的方法,通过轨迹对比和点位重复移动实验完成测定,为手术机器人的性能验证提供了实验方案。
2024-04-17 cs.RO
Context-aware Monitoring in Robotic Surgery
University of Virginia(弗吉尼亚大学)
机器人辅助微创手术(MIS)已经使手术具有更高的精度和灵活性,但手术机器人仍然是开环的,需要外科医生使用远程操作控制台工作,仅提供有限的视觉反馈。在这种情况下,机械故障、软件故障或人为错误可能导致不良事件,导致患者并发症或死亡。我们认为,即将发生的不良事件可以检测和减轻应用上下文特定的安全约束的机器人的运动。我们提出了一个上下文感知的安全监控系统,该系统使用运动学数据将手术任务分割成子任务,并监控特定于每个子任务的安全约束。为了测试我们的假设上下文特异性的安全约束,我们分析记录演示的干实验室手术任务收集的JIGSAWS数据库,以及从实验中,我们进行了乌鸦II手术机器人。轨迹数据的分析表明,一个给定的外科手术的每个子任务具有一致的安全约束,在多个演示由不同的主题。我们的初步研究结果表明,违反这些安全约束导致不安全的事件,往往有足够的时间之间的约束违反和安全关键事件,以允许采取纠正措施。
2019-01-28 cs.RO
Real-Time Multimodal Activity-Aware Error Detection in Robot-Assisted Surgery
University of Virginia(弗吉尼亚大学)
提出统一框架,利用视频、运动学数据和文本提示等多模态输入,通过活动提示和活动感知视觉嵌入,在JIGSAWS和SAR-RARP50数据集上分别提升F1分数达5%和16.6%。
2026-06-23 cs.CV cs.RO
Visual Attention Based Cognitive Human-Robot Collaboration for Pedicle Screw Placement in Robot-Assisted Orthopedic Surgery
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Midea Corporate Research Center(美的集团企业研究中心);Midea Group(美的集团)
针对骨科椎弓根螺钉置入仍需人工操作且自动化风险高的问题,本文提出融合AR触觉界面、视觉注意外科医生模型和共享交互控制的认知型人机协作框架,实验证明其在安全性与人机工程学上优于全机器人或全人工控制。
2025-01-31 cs.HC cs.RO