Early Failure Detection in Autonomous Surgical Soft-Tissue Manipulation via Uncertainty Quantification
针对自主手术软组织操作在分布外场景易故障的问题，首次将不确定性量化应用于操作策略，通过分析深度集成与蒙特卡洛 dropout 发现前者故障信号更强，经dVRK验证提升47.5%零样本sim2real性能且泛化性好。
2025-08-25 cs.RO
Instrument-Splatting: Controllable Photorealistic Reconstruction of Surgical Instruments Using Gaussian Splatting
National University of Singapore（新加坡国立大学）；The University of British Columbia（不列颠哥伦比亚大学）
提出 Instrument-Splatting，结合几何预训练、正向运动学与语义高斯位姿跟踪，从单目手术视频实现可控、照片级真实的手术器械三维重建。
2025-03-15 cs.CV cs.RO
Integrated Planning and Control of Robotic Surgical Instruments for Tasks Autonomy
T Stone Robotics Institute（T·斯通机器人研究所）；The Chinese University of Hong Kong（香港中文大学）
提出面向6-DoF手术机器人的集成规划与控制框架，利用节点状态空间和目标可变操作实现安全平滑的手术任务流水线自动化，并在dVRK实验中验证了其优于现有算法的任务级一致性与可靠性。
2023-05-13 cs.RO cs.SY eess.SY
Learning-Based Adaptive Control for Surgical Robotic Exposure Task on Deformable Tissues
Huazhong University of Science and Technology（华中科技大学）
本文提出了一种基于学习的自适应控制框架，用于解决手术中因覆盖组织的不规则几何形状、非线性生物力学特性及有限视野导致的自动组织牵开挑战，通过在线优化控制输入和深度变形估计模型实现零样本适应。
2026-05-18 cs.RO
A Realistic Surgical Simulator for Non-Rigid and Contact-Rich Manipulation in Surgeries with the da Vinci Research Kit
University of Alberta（阿尔伯塔大学）
本文提出基于PhysX 5和dVRK的真实感手术模拟器CRESSim，支持组织切割、血液抽吸等接触密集任务，并通过VR遥操作验证其有效性。
2024-08-07 cs.RO
SuPer Deep: A Surgical Perception Framework for Robotic Tissue Manipulation using Deep Learning for Feature Extraction
University of California San Diego（加州大学圣迭戈分校）；East China Normal University（华东师范大学）
手术中的机器人自动化需要精确跟踪手术工具和映射可变形组织。以前的手术感知框架的工作需要在开发手术工具和组织跟踪的功能方面做出巨大努力。在这项工作中，我们通过利用深度学习方法进行手术感知来克服挑战。我们将能够高效特征提取的深度神经网络集成到组织重建和仪器姿态估计过程中。通过利用迁移学习，基于深度学习的方法需要最少的训练数据和减少的特征工程工作来完全感知手术场景。该框架在三个公开的数据集上进行了测试，这些数据集使用达芬奇手术系统进行全面分析。实验结果表明，我们的框架通过利用深度学习进行特征提取，在手术环境中实现了最先进的跟踪性能。
2021-03-25 cs.CV cs.RO
SurgVIL: Scaling Surgical Robot Imitation Learning with Open-source Surgical Videos
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达公司）
SurgVIL框架结合带运动学标签的体模机器人演示与开源外科视频，以弱监督补充运动学标签，在达芬奇机器人任务上提升了策略对真实组织等场景的泛化能力，为外科机器人模仿学习提供了可扩展方案。
2026-09-29 cs.RO
JIGGLE: An Active Sensing Framework for Boundary Parameters Estimation in Deformable Surgical Environments
University of California San Diego（加州大学圣迭戈分校）
针对可变形手术环境中组织边界参数难感知的问题，提出结合可微分软体模拟器与EKF的概率估计、及优化主动控制的JIGGLE框架，经动物组织实验验证鲁棒性，可处理复杂拓扑变化。
2024-05-16 cs.RO
Bayesian Retraction Optimization for Tissue Attachment Mapping in Surgical Dissection
The Robotics Center and the Kahlert School of Computing at the University of Utah（美国犹他大学机器人中心和卡尔特计算学院）；School of Computational Science and Engineering, Georgia Institute of Technology（美国佐治亚理工学院计算科学与工程学院）；Department of Electrical and Computer Engineering and Department of Computer Science, Vanderbilt University（美国范德堡大学电气与计算机工程系和计算机科学系）
针对外科医生短缺，该研究将组织附着识别视为概率问题，提出基于顺序贝叶斯希尔伯特地图和贝叶斯回缩优化的方法，避免显式组织建模，在模拟中验证并实现向实际机器人解剖实验的零样本转移，为自动化手术解剖提供新途径。
2026-07-22 cs.RO
Sim-to-Real Surgical Robot Learning and Autonomous Planning for Internal Tissue Points Manipulation using Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文提出一种sim-to-real框架，结合深度强化学习与贝叶斯优化，实现机器人手术中内部组织点操作的自动化及术前夹持点规划，有效减少组织形变。
2023-06-25 cs.RO
Autonomous tissue retraction with a biomechanically informed logic based framework
University of Verona（维罗纳大学）
机器人辅助手术中的自主性对于减少外科医生的认知负荷并最终改善整体手术结果至关重要。在手术等安全关键场景中，自主性的关键要求在于依赖于专家知识的可解释计划的生成。此外，自主机器人手术系统（ARSS）必须能够对动态和不可预测的解剖环境进行推理，并在意外情况下快速调整手术计划。在本文中，我们提出了一个模块化的框架，机器人辅助手术（FRAS）在可变形的解剖环境。我们的框架集成了任务级可解释推理的逻辑模块，补充来自真实传感器的数据的生物力学模拟，以及用于上下文解释的态势感知模块。通过模拟软组织牵开来评价框架性能，这是一种常见的手术任务，用于移除隐藏感兴趣区域的组织。结果表明，该框架具有成功完成任务所需的适应性，处理动态环境条件和可能的故障，同时保证了真实手术场景中所需的计算效率。该框架是公开提供的。
2021-09-28 cs.RO
SeeBelow: Sub-dermal 3D Reconstruction of Tumors with Surgical Robotic Palpation and Tactile Exploration
Purdue University（普渡大学）
本文提出SeeBelow，一种视觉引导的触觉导航策略，利用三轴力传感触诊探头和贝叶斯优化，在多层组织中通过不到100次触诊实现皮下肿瘤表面轮廓的高保真3D重建。
2024-08-25 cs.RO
Collaborative Robotic Ultrasound Tissue Scanning for Surgical Resection Guidance in Neurosurgery
Imperial College London（帝国理工学院）；German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）；Charing Cross Hospital（查令十字医院）
本文的目的是介绍一种用于自主iUS组织扫描的机器人平台，以优化术中诊断并改善机器人辅助手术期间的手术切除。为了引导解剖结构特定的机器人扫描并生成机器人任务空间的表示，开发了用于恢复手术腔的3D形态结构的快速且准确的技术。原型DLR MIRO手术机械臂用于控制超声换能器的作用力和平面内运动。所提出的平台的一个关键应用是扫描脑组织以指导肿瘤切除。
2023-01-19 cs.CV cs.RO
A Framework For Automated Dissection Along Tissue Boundary
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出一种AI辅助视觉控制的框架，使达芬奇机器人能沿组织边界自动剥离，并在离体标本上验证其有效性。
2024-08-21 cs.RO
CRESSim-Neo: A Batched GPU Simulation Engine for Surgical Robotics and Robot Learning
University of Alberta（阿尔伯塔大学）
本文推出CRESSim-Neo，一款面向外科机器人与机器人学习的批量GPU仿真引擎，支持多类外科相关仿真任务，在RTX 4090上实现高并行环境步性能，为相关研究提供统一可扩展平台。
2026-09-02 cs.RO
Generating robotic elliptical excisions with human-like tool-tissue interactions
University of Edinburgh（爱丁堡大学）；Monash University（莫纳什大学）
本文提出一种参数化椭圆形切除技能模型，结合贝叶斯优化从少量示教中学习并优化机器人手术行为，使其切除力表现与不同熟练水平的专家保持一致。
2023-09-21 cs.RO
Real-to-Sim Registration of Deformable Soft Tissue with Position-Based Dynamics for Surgical Robot Autonomy
University of California San Diego（加利福尼亚大学圣迭戈分校）
机器人手术中的自主性在非结构化环境中非常具有挑战性，特别是在与可变形软组织相互作用时。主要的困难是产生基于模型的控制方法，占变形动力学在组织操作。基于视觉的感知技术可以捕捉场景中的几何变化，而基于模型的控制器结合动态特性是一种更准确、更安全的方法，目前还没有研究。考虑到机器人与环境之间的机械耦合，开发一个注册的，仿真的动力学模型是至关重要的。在这项工作中，我们提出了一个在线的，连续的，真实的SIM注册方法桥梁三维视觉感知与基于位置的动态（PBD）建模的组织。PBD方法被用来模拟软组织动力学以及刚性工具的相互作用，基于模型的控制。同时，采用基于视觉的策略生成基于真实操作的三维重构点云曲面，以实现仿真的配准和更新。为了验证这种真实到模拟的方法，在达芬奇研究套件上进行了组织实验。我们的real-to-sim方法成功地减少了在线注册错误，这对于自主控制期间的安全性尤为重要。此外，它实现了更高的精度在闭塞地区比基于融合的重建。
2021-04-30 cs.RO
Breaking Barriers in Robotic Soft Tissue Surgery: Conditional Autonomous Intestinal Anastomosis
Johns Hopkins University（约翰斯·霍普金斯大学）；Children’s National Hospital（国立儿童医院）
自主机器人手术有可能提供独立于单个外科医生技能和经验的有效性、安全性和一致性。在非结构化和可变形环境中进行自主软组织手术尤其具有挑战性，因为它需要复杂的成像、组织跟踪和手术规划技术，以及通过高度适应性的控制策略进行精确执行。在腹腔镜环境中，软组织手术更具挑战性，因为在运动和视觉限制下需要高可操作性和可重复性。我们展示了第一台机器人腹腔镜软组织手术，其自主性水平为5分之3，允许操作员在自主生成的手术计划中进行选择，同时机器人独立执行各种任务。我们还展示了第一个在体内自主机器人腹腔镜手术通过肠吻合猪模型。我们比较了开发系统、手动腹腔镜手术和机器人辅助手术（RAS）之间的标准，包括针放置校正、缝线间距、缝线咬合尺寸、完成时间、管腔通畅性和泄漏压力。离体结果表明，我们的系统在一致性和准确性方面优于专家外科医生和RAS技术，并在生猪中实现了卓越的吻合质量。这些结果表明，具有高度自主性的手术机器人有可能提高一致性，改善患者预后，并获得标准手术技术。
2021-07-02 cs.RO
Simulation of Surgical Suturing Using Position-Based Dynamics and the Material Point Method for Robot Reinforcement Learning
University of Alberta（阿尔伯塔大学）
该研究提出基于PBD与MPM的缝合模拟环境，优化GPU执行并构建RL缝合子任务环境，训练的RL智能体在进针、拔针任务中分别达到80%、68%的成功率。
2026-07-31 cs.RO
Autonomous Soft Tissue Retraction Using Demonstration-Guided Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
本研究创建ROS兼容的物理仿真环境，利用PyBullet模拟达芬奇机器人软组织交互，并通过演示引导的强化学习算法实现自主软组织牵引，验证了软体操控学习的可行性。
2023-09-02 cs.LG cs.RO
Learning Surgical Robotic Manipulation with 3D Spatial Priors
University of Science and Technology of China（中国科学技术大学）；Tuodao Medical（图道医疗）；Yale University（耶鲁大学）
本文提出SST，一种端到端的视觉-运动策略，通过内窥镜图像中的3D空间线索提升手术机器人操作的3D空间意识，实现了复杂手术任务的高性能表现。
2026-03-04 cs.RO
Deformable State Estimation for Autonomous Surgical Tissue Retraction Under Partial Observability
Brown University（布朗大学）
研究部分可观测下自主手术组织牵开的可变形状态估计问题，提出结合多层感知器与低维PCA潜在表示、用几何感知正则化训练的状态估计器，在二维模拟中评估，结果显示该估计器在多步牵开中性能良好，能支持有效可变形操作。
2026-07-16 cs.LG cs.RO
Diffusion Stabilizer Policy for Automated Surgical Robot Manipulations
UM-SJTU Joint Intuitute（UM-SJTU联合学院）；Shanghai Jiao Tong University（上海交通大学）；Department of Computer Science and Engineering（计算机科学与工程系）；The Chinese University of Hong Kong（香港中文大学）；Department of Automation（自动化系）
本文提出了一种基于扩散的策略学习框架，用于提升手术机器人在不完美或失败轨迹下的操作稳定性与鲁棒性。
2026-03-07 cs.RO
SuPer: A Surgical Perception Framework for Endoscopic Tissue Manipulation with Surgical Robotics
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
传统的控制和任务自动化已经成功地证明了在各种结构化的，受控的环境中，通过使用高度专业化的建模机器人系统结合多个传感器。然而，由于缺乏高质量的图像和不可预测的，不断变形的环境，在内窥镜手术中应用自主性是非常具有挑战性的，特别是在软组织工作中。在这项工作中，我们提出了一种新的手术感知框架，超级，手术机器人控制。该框架连续收集3D几何信息，允许在跟踪手术野内的刚性器械的同时映射可变形手术野。为了实现这一点，采用基于模型的跟踪器来结合无模型跟踪器利用运动学先验来定位手术工具，以重建可变形环境并提供估计的点云作为环境的映射。所提出的框架在达芬奇手术系统上实时实施，末端执行器控制器通过框架设置和调节目标配置。我们提出的框架成功地完成了高精度的软组织操作任务。这种新框架的演示对于外科自主性的未来是有希望的。此外，我们还为进一步的手术研究提供了数据集。
2020-02-14 cs.CV cs.RO eess.IV
S3-Tracker: Self-Supervised Surgical Tissue Tracking With Contrastive Random Walks
Johns Hopkins University（约翰霍普金斯大学）；The University of British Columbia（不列颠哥伦比亚大学）；University of Arkansas（阿肯色大学）
提出自监督手术组织追踪方法S3-Tracker，利用对比随机游走从未标注视频学习点轨迹，性能媲美半监督方法，减少对标注数据依赖。
2026-09-15 cs.CV cs.LG cs.RO
Trajectory Divergence Horizon Decision for Reliable Dual-Arm Surgical Subtask Manipulation
The Chinese University of Hong Kong (CUHK)（香港中文大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）；Shenzhen Loop Area Institute（深圳河套学院）
针对现有VLA策略在手术操作中易累积误差的问题，提出TDHD机制，构建双臂手术基准并收集600个演示，实验显示其可提升器械和组织操作的成功率。
2026-08-11 cs.RO
Localization and Control of Magnetic Suture Needles in Cluttered Surgical Site with Blood and Tissue
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；Weinberg Medical Physics, Inc.（温伯格医学物理公司）
针的实时视觉定位对于各种手术应用是必要的，包括手术自动化和视觉反馈。在这项研究中，我们调查的背景下，我们的磁共振系统的针的定位和自主机器人控制。我们的系统具有手术操作的潜力，具有微创和减少患者副作用的优点。然而，非线性磁场会产生非直观的力，并需要精细的基于位置的控制，这超出了人类直接操纵的能力。这使得自动针定位成为必要。我们的定位方法结合了基于神经网络的分割和经典技术，并且我们能够在清洁环境中以0.73 mm RMS误差和在具有血液和闭塞的挑战性环境中以2.72 mm RMS误差一致地定位我们的针。对于我们在实验中使用的所有环境，平均定位RMS误差为2.16 mm。我们结合我们的闭环反馈控制系统的本地化方法，以证明本地化自主控制的进一步适用性。我们的缝针能够在（1）无血液，无组织;（2）大量血液，无组织;（3）无血液，有组织;和（4）大量血液，有组织环境中遵循连续缝合路径。尖端位置跟踪误差范围为2.6 mm至3.7 mm RMS，为自主导航任务打开了大门。
2021-05-20 cs.LG cs.RO
Vitreoretinal Surgical Robotic System with Autonomous Orbital Manipulation using Vector-Field Inequalities
The University of Tokyo（东京大学）
本文提出一种基于向量场不等式的机器人辅助玻璃体视网膜手术自主眼眶操作方法，通过遥操作系统控制眼球旋转，仿真和物理实验均表明该方法能提升系统可操纵性并扩大眼底可视区域。
2023-02-11 cs.RO
Toward Synergic Learning for Autonomous Manipulation of Deformable Tissues via Surgical Robots: An Approximate Q-Learning Approach
University of California, Los Angeles (UCLA)（加州大学洛杉矶分校（UCLA））
在本文中，我们提出了一个协同学习算法，以解决间接操纵未知的可变形组织的任务。组织操作是各种外科手术中常见但具有挑战性的任务，这使得它成为机器人自动化的良好候选者。我们建议使用线性近似Q学习方法，其中人类知识有助于选择有用但简单的组织操作特征，同时算法学习采取最佳行动并完成任务。该算法的实现和评估的模拟使用OpenCV和CHAI 3D库。四个不同的配置，这是基于现实的组织操作场景的成功仿真结果。结果表明，通过仔细选择相对简单和直观的功能，开发的Q-学习算法可以成功地学习最优策略，而无需任何组织动力学或相机内部/外部校准参数的先验知识。
2019-10-11 cs.AI cs.LG cs.RO
Soft-tissue Driven Craniomaxillofacial Surgical Planning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Houston Methodist Research Institute（休斯顿卫理公会研究所）；Baylor College of Medicine（贝勒医学院）
针对颅颌面手术传统骨驱动规划依赖经验、效果不佳的问题，提出结合骨规划网络与面部模拟网络的软组织驱动框架，可自动生成验证手术方案，经临床数据集验证其准确性与有效性显著优于传统方法。
2023-07-20 cs.CV cs.RO
3D Laser-and-tissue Agnostic Data-driven Method for Robotic Laser Surgical Planning
Duke University（杜克大学）；Duke University Medical Center（杜克大学医学中心）
针对机器人激光手术中单次消融腔形状预测难的问题，提出基于数据驱动的3D腔预测模型及手术规划方法，实现高精度腔预测与表面对齐。
2023-05-02 cs.RO
Feedback Matters: Augmenting Autonomous Dissection with Visual and Topological Feedback
Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣迭戈分校电气与计算机工程系）
提出一种反馈驱动的自主组织解剖框架，通过内窥镜图像推理拓扑变化、量化可见性并主动操控组织，结合规划与学习方法，显著提升手术自主性和鲁棒性。
2026-05-29 cs.RO
TumorMap: A Laser-based Surgical Platform for 3D Tumor Mapping and Fully-Automated Tumor Resection
Thomas Lord Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Department of Robotics, University of Michigan, Ann Arbor（密歇根大学机器人学系）；Department of Orthopaedic Surgery, School of Medicine, Duke University（杜克大学骨科手术系）；Department of Pathology, School of Medicine, Duke University（杜克大学病理学系）；Department of Ophthalmology and Visual Sciences, University of Michigan Medical School, Ann Arbor（密歇根大学医学学院眼科与视觉科学系）；Department of Neurosurgery, School of Medicine, Duke University（杜克大学神经外科系）
TumorMap平台通过三激光机制与深度学习结合，实现术中三维肿瘤边界构建和亚毫米级全自动非接触肿瘤切除，并在小鼠肿瘤模型中验证了无需人工干预的自主手术能力。
2025-11-07 cs.RO
Design of an innovative robotic surgical instrument for circular stapling
University of Medicine and Pharmacy “Iuliu Hațieganu”（“尤利乌·哈蒂埃加努”医药大学）；École Centrale Nantes（南特中央理工学校）；Nantes Université（南特大学）；Technical Sciences Academy of Romania（罗马尼亚技术科学院）
针对传统环形吻合精度不足及术后并发症问题，本文设计了与认知机器人集成的三执行器机器人环形吻合器，通过75度弯曲和运动学同步提升狭窄术区操作性能。
2025-06-11 cs.RO
Surgical Robot Transformer (SRT): Imitation Learning for Surgical Tasks
Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）
本文提出相对动作公式，使达芬奇机器人能在近似运动学数据下通过模仿学习成功执行组织操作、针处理和打结等手术任务。
2024-07-17 cs.RO
Observation-Referenced Tissue Deformation Forecasting with Tool-Driven and Residual Dynamics
University of Tennessee（田纳西大学）；University of Tennessee Medical Center（田纳西大学医学中心）
本研究提出观测参考的组织变形预测方法，结合工具驱动与残差动力学，在12个手术片段上验证其误差比中位数为0.598，可作为手术相关模型的实用构建模块。
2026-10-14 cs.RO
SurgeMOD: Translating image-space tissue motions into vision-based surgical forces
King’s College London（伦敦国王学院）；Chinese Academy of Science（中国科学院）
针对微创机器人手术中基于视觉的力估计问题，提出SurgeMOD方法，通过视频提取器官运动频域基构建力学模型，将力估计转化为动态约束问题，在体模和离体实验中实现可靠力估计，为纯视觉方法提供起点。
2024-11-28 cs.CV cs.RO
SurgFlow: 3D Object-Centric Contact Flow for Surgical Robot Manipulation
SurgFlow提出从立体手术视频中学习三维物体中心接触流，无需动作标签即可预测轨迹和接触点，在dVRK上优于基线并零样本迁移至人形机器人，成功率高达85%。
2026-09-29 cs.RO
Intermittent Visual Servoing: Efficiently Learning Policies Robust to Instrument Changes for High-precision Surgical Manipulation
University of California, Berkeley（加州大学伯克利分校）；UC San Francisco East Bay（加州大学旧金山分校东湾）；SRI International（斯坦福国际研究院）
由于反冲、滞后和线缆张力，使用线缆驱动机器人的手术任务的自动化具有挑战性，并且这些问题由于手术器械在手术期间必须经常更换而加剧。在这项工作中，我们提出了一个高精度手术任务自动化的框架，通过学习样本高效，准确，闭环的政策，直接操作的视觉反馈，而不是机器人编码器的估计。这个框架，我们称之为间歇性视觉伺服（IVS），间歇性地切换到一个学习的视觉伺服策略的重复性手术任务的高精度段，而依赖于一个粗略的开环策略的部分，精度是不必要的。为了补偿电缆相关的影响，我们应用模仿学习来快速训练一种策略，该策略将工作空间和仪器的图像从自上而下的RGB相机映射到小的校正运动。我们仅使用180个人工演示来训练策略，每个演示大约2秒。达芬奇研究套件的结果表明，在每个高精度段期间，将粗略策略与学习策略的半秒校正相结合，对于具有不同电缆相关影响的3种器械，将腹腔镜手术钉转移任务的成功率从72.9%提高到99.2%，从31.3%提高到99.2%，从47.2%提高到100.0%。在我们研究的背景下，IVS达到了自动手术钉转移的最高成功率，并且在更换器械时比以前的技术更可靠。补充材料可在https://tinyurl.com/ivs-icra上查阅。
2020-11-12 cs.RO
Neural-Augmented Kelvinlet for Real-Time Soft Tissue Deformation Modeling
本文提出一种结合凯尔文让分析先验与大规模FEM数据的神经模拟框架，用于实时软组织变形建模，提升预测精度与物理合理性。
2026-02-11 cs.CV cs.GR cs.LG
Incorporating Prior Knowledge into Reinforcement Learning for Soft Tissue Manipulation with Autonomous Grasping Point Selection
本文提出一种融合先验知识的深度强化学习框架，用于在未知约束和障碍物环境下自主选择抓取点并操作软组织，通过调节因子协调直观策略与网络，加速训练并提升泛化能力。
2023-12-26 cs.RO
Applying Depth-Sensing to Automated Surgical Manipulation with a da Vinci Robot
University of California, Berkeley（加利福尼亚大学伯克利分校）；UC San Francisco East Bay（加州大学旧金山分校东湾校区）；SRI International（斯坦福国际研究院）
深度感知的最新进展显著提高了精度、分辨率和帧速率，如1920 x1200分辨率和每秒13帧的Zivid RGBD相机所示。在这项研究中，我们探讨了深度传感的潜力，有效和可靠的自动化手术子任务。我们考虑使用达芬奇研究套件（dVRK）实施的腹腔镜手术基础培训套件中的钉转移任务的单色（全红色）版本。我们使用校准技术，使不精确的，电缆驱动的达芬奇，以减少误差从4-5毫米到1-2毫米的任务空间。我们报告的实验结果，一个无障碍版本的挂键转移任务，执行20和5物理事件与单和双侧手臂设置，分别。单臂和双侧臂栓钉转移病例的236次和49次总块转移尝试的结果表明，每个单独块的可靠性分别为86.9%和78.0%，块转移速度分别为10.02和5.72秒。补充材料可在https://sites.google.com/view/peg-transfer上查阅。
2020-02-15 cs.RO
PalpAid: Multimodal Pneumatic Tactile Sensor for Tissue Palpation
Duke University（杜克大学）；Arizona State University（亚利桑那州立大学）
PalpAid通过气压和声音传感器恢复机器人手术中的触觉信息，能区分不同硬度的3D打印物体和离体组织。
2026-04-05 cs.RO eess.SP
ORBIT-Surgical: An Open-Simulation Framework for Learning Surgical Augmented Dexterity
University of Toronto（多伦多大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
本文提出ORBIT-Surgical，一个基于物理的手术机器人模拟框架，为dVRK和STAR提供14项基准任务，利用GPU并行化训练强化和模仿学习算法，并成功实现策略从模拟到真实机器人的迁移。
2024-04-24 cs.RO
Object-Centered Reconstruction for Vision-Based 3D Force Estimation
Vanderbilt University（范德堡大学）
针对手术机器人缺乏力感知的问题，提出基于立体内窥镜视频、以对象为中心重建组织点云并跟踪变形以估计三维力的方法，在模型和离体猪肠上误差显著低于相机坐标系方法，并初步验证了体内可行性。
2026-09-22 cs.RO
A New Tensioning Method using Deep Reinforcement Learning for Surgical Pattern Cutting
Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新研究所）；Imperial College London（伦敦帝国理工学院）
外科医生通常需要手术剪刀和组织夹持器来切穿可变形的手术组织。切割精度取决于操作这两种工具的技能。这些技能是基本外科技能培训的一部分，如腹腔镜手术基础。夹持器用于夹持手术单上的点，并将组织拉向特定方向，以在剪刀沿轨迹切割时保持张力。由于手术材料是可变形的，因此需要全面的张紧策略以在切割过程的每个步骤产生适当的张紧方向。针对给定切割轨迹自动执行张紧策略不仅将支持人类外科医生，而且还将支持手术机器人，以提高切割精度和可靠性。提出了一种基于深度强化学习算法的多夹点自动张紧规划器建模方法。仿真实验表明，该方法在性能和鲁棒性方面均优于现有方法。
2019-01-10 cs.AI cs.LG cs.RO
Towards Robotic Knee Arthroscopy: Multi-Scale Network for Tissue-Tool Segmentation
Queensland University of Technology（昆士兰科技大学）
针对膝关节镜手术中组织-器械分割面临的纹理有限和类内差异大等问题，本文提出一种密集连接的形状感知多尺度分割模型，并在三个数据集上验证，在息肉数据集上精度提升5.09%。
2021-10-06 cs.CV cs.RO eess.IV
A passive admittance controller to enforce Remote Center of Motion and Tool Spatial constraints with application in hands-on surgical procedures
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在微创外科手术过程中，限制被约束为移动通过入口端口的操纵器连杆的可行运动是一个常见的问题。需要有更多的空间限制，以确保敏感区域的安全，使其不受意外损害。在这项工作中，我们设计了一个目标导纳模型，该模型被证明可以通过远程运动中心来执行机器人工具操作，并保证工具永远不会进入或接触禁区。该控制方案被证明是被动的施加人力下，确保操纵稳定性，并在动手外科手术过程中的平滑自然运动，增强用户的感觉控制的任务。通过模拟由KUKA LWR 4+和虚拟术中环境组成的动手外科手术的设置进行实验，证明了其性能。
2022-03-03 cs.RO
Learning from Demonstrations for Autonomous Soft-tissue Retraction
University of Verona（维罗纳大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
机器人辅助微创手术（RAMIS）目前的研究重点是提高机器人的自主性水平，将外科医生置于监督位置。虽然示教学习（LfD）方法是自主手术系统学习专家手势的优选方式之一，但是它们需要大量的示教并且对手术环境的可变条件表现出较差的泛化。在这项工作中，我们提出了一种基于生成对抗模仿学习（GAIL）的LfD方法，该方法建立在深度强化学习（DRL）设置上。GAIL将生成对抗网络与DRL设置相结合，以学习专家轨迹的分布，以确保轨迹的泛化，从而提供类似人类的行为。我们考虑组织牵开的自动化，这是一项常见的RAMIS任务，涉及软组织操作以暴露感兴趣区域。在我们提出的方法，专家轨迹的一小部分，可以通过达芬奇研究工具包（dVRK）获得，并用于训练模拟环境内的LfD方法。结果表明，我们的方法可以完成组织收缩任务与人类一样的行为，同时比基线DRL方法更采样效率。最后，我们表明学习到的策略可以成功转移到真正的机器人平台，并部署在合成体模上进行软组织牵开。
2021-10-01 cs.RO
Phase-and-First-Arrival VLM Feedback for Sparse-Reward Reinforcement Learning in Surgical Manipulation
The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Great Bay University（大湾区大学）
针对手术操作中稀疏奖励问题，提出相位与首次到达VLM反馈，通过识别最远阶段和到达时间实现信用分配，在仿真和硬件上显著提升成功率。
2026-09-09 cs.RO
ProCut: Probabilistic Cutting Topology for Autonomous Electrosurgical Tissue Dissection
ProCut提出一种完全可微分的概率切割拓扑框架，利用连续sigmoid公式和SVGD推断，实现软组织切割过程中的拓扑变化估计，并开发自主解剖算法，在模拟和真实电外科环境中显著提升拓扑估计准确性和解剖精度。
2026-10-08 cs.RO
Deep Reinforcement Learning in Surgical Robotics: Enhancing the Automation Level
Technical University of Munich（慕尼黑工业大学）；The Chinese University of Hong Kong（香港中文大学）
本文综述了强化学习在手术机器人中的应用，涵盖术前、体内和经皮手术，指出其能提升机器人自主性、精度，并教会复杂任务如缝合和组织操作。
2023-09-02 cs.RO
Leveraging Vision and Kinematics Data to Improve Realism of Biomechanic Soft-tissue Simulation for Robotic Surgery
Johns Hopkins University（约翰斯·霍普金斯大学）
手术模拟在外科医生教育和开发使机器人能够执行手术子任务的算法中发挥着越来越重要的作用。为了对解剖结构进行建模，有限元法（FEM）模拟一直被视为计算准确软组织变形的黄金标准。不幸的是，它们的准确性高度依赖于模拟参数，这可能很难获得。方法在这项工作中，我们研究如何实时数据采集过程中的任何机器人内窥镜手术过程中可能会被用来纠正不准确的有限元模拟结果。由于FEM是从初始参数计算的，不能直接纳入观测，我们建议增加一个校正因子，该因子考虑了模拟和观测之间的差异。我们训练一个网络来预测这个校正因子。结果为了评估我们的方法，我们使用一个开源的达芬奇手术系统探测软组织体模，并在模拟中重放交互。我们对网络进行训练，以纠正预测的网格位置和测量的点云之间的差异。这导致平均距离提高了15-30%，证明了我们的方法在大范围模拟参数中的有效性。结论我们展示了一个框架的第一步，该框架协同结合了基于模型的模拟和实时观测的优点。它可以纠正由于建模参数不准确而导致的模拟和场景之间的差异。这可以为外科医生提供更准确的模拟环境，并提供更好的数据来训练算法。
2020-03-14 cs.CV cs.RO
Low-Contact Grasping of Soft Tissue with Complex Geometry using a Vortex Gripper
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；UT Southwestern Medical Center（德克萨斯大学西南医学中心）
针对传统硬质外科夹持器易损伤软组织的问题，提出气动涡流夹持器方案，通过全因子实验研究不同软表面下的力特性及参数影响，结合离体实验明确技术局限与医疗改进方向。
2025-01-14 cs.RO
