Automating Vascular Shunt Insertion with the dVRK Surgical Robot
UC Berkeley（加州大学伯克利分校）；SRI International（SRI国际）；UC San Francisco Medical School（加州大学旧金山分校医学院）
血管分流插入是用于暂时恢复组织血流的基本外科手术。它通常在严重创伤后在现场进行。我们制定了一个问题，自动血管分流插入，并提出了一个管道，执行自动血管分流插入（AVSI）使用达芬奇研究套件。管道使用学习的视觉模型来估计血管边缘的轨迹，在边缘上计划抓取，并在该点处移动以抓取。然后，第一机器人夹持器拉动边缘以通过扩张运动拉伸打开血管。然后，第二机器人夹持器继续将分流器插入血管体模（血管模型）中，倒角倾斜后进行螺旋运动。结果表明，AVSI即使在紧公差和高达30°的不同血管方向下也能实现高成功率。补充材料、数据集、视频和可视化可以在https://sites.google.com/berkeley.edu/autolab-avsi上找到。
2023-03-08 cs.RO
Gravity Compensation of the dVRK-Si Patient Side Manipulator based on Dynamic Model Identification
Department of Robotics Engineering, Worcester Polytechnic Institute（机器人工程系，沃斯通理工大学）；Laboratory for Computational Sensing and Robotics, JHU（计算感知与机器人实验室，约翰·霍普金斯大学）；Department of Computer Science, Vanderbilt University（计算机科学系，范德比尔特大学）；Department of Computer Science, Johns Hopkins University（计算机科学系，约翰·霍普金斯大学）
本文提出基于动态模型识别的dVRK-Si患者侧操作臂重力补偿方法，解决高重力偏移导致的控制精度和响应时间问题。
2025-02-05 cs.RO cs.SY eess.SY
Roadmap to Autonomous Surgery -- A Framework to Surgical Autonomy
Georgia Institute of Technology（佐治亚理工学院）
机器人手术增加了手术的可能性。在过去的十年中，已经看到了一些部分手术自动化的例子。我们将自动化任务的路径分解为所需的功能，并提供一个清单，可以帮助实现更高水平的手术自动化。最后，我们讨论了当前的挑战和实现这一目标所需的进展。
2022-05-26 cs.AI cs.RO
ORBIT-Surgical: An Open-Simulation Framework for Learning Surgical Augmented Dexterity
University of Toronto（多伦多大学）；University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
本文提出ORBIT-Surgical，一个基于物理的手术机器人模拟框架，为dVRK和STAR提供14项基准任务，利用GPU并行化训练强化和模仿学习算法，并成功实现策略从模拟到真实机器人的迁移。
2024-04-24 cs.RO
A Hybrid Model and Learning-Based Force Estimation Framework for Surgical Robots
Vanderbilt University（范德堡大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出一种混合模型与学习相结合的力估计框架，用于dVRK手术机器人，通过动力学识别与环境补偿实现低于10%的归一化均方根误差，并具备跨柔顺手术机器人的可推广性。
2024-09-30 cs.RO
A Realistic Surgical Simulator for Non-Rigid and Contact-Rich Manipulation in Surgeries with the da Vinci Research Kit
University of Alberta（阿尔伯塔大学）
本文提出基于PhysX 5和dVRK的真实感手术模拟器CRESSim，支持组织切割、血液抽吸等接触密集任务，并通过VR遥操作验证其有效性。
2024-08-07 cs.RO
Accelerating Surgical Robotics Research: A Review of 10 Years With the da Vinci Research Kit
Imperial College London（伦敦帝国理工学院）；University of Leeds（利兹大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Intuitive Surgical Inc（直觉外科公司）
机器人辅助手术现已在临床实践中得到广泛应用，并已成为多种临床适应症的金标准临床治疗选择。机器人辅助手术领域预计将在未来十年内大幅增长，一系列新的机器人设备将出现，以满足不同专业未满足的临床需求。一个充满活力的手术机器人研究社区对于概念化这种新系统以及开发和培训工程师和科学家将其转化为实践至关重要。达芬奇研究套件（dVRK）是一项学术和行业合作项目，旨在重新利用退役的达芬奇手术系统（Intuitive Surgical Inc，CA，USA）作为手术机器人研究的研究平台，一直是解决障碍的关键举措手术机器人领域新研究小组的进入。在本文中，我们提出了一个广泛的审查出版物，促进了dVRK在过去的十年。我们将研究工作分为不同的类别，并概述了机器人社区维护这一倡议并在此基础上建立的一些主要挑战和需求。
2021-11-17 cs.RO
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
近几十年来，手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点，可以为患者提供更短的恢复时间和更短的住院时间。然而，目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中，存在大量重复但简单的操作，这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明，该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Caveats on the first-generation da Vinci Research Kit: latent technical constraints and essential calibrations
Imperial College London（伦敦帝国理工学院）
本文梳理第一代 dVRK 研发架构中普遍存在的潜在技术约束与校准问题，为现有及潜在用户识别、规避系统局限提供参考。
2023-07-12 cs.RO
Eye Tracking for Tele-robotic Surgery: A Comparative Evaluation of Head-worn Solutions
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institute（约翰斯·霍普金斯医学院）；Vanderbilt University（范德堡大学）
比较Tobii Pro 3 Glasses与Pupil Labs Core在遥操作手术中的眼动追踪性能，发现两者在瞳孔直径和注视稳定性上表现相当，校准未过期时注视估计误差均为4cm。
2023-10-18 cs.HC cs.RO
Learning Domain Adaptation with Model Calibration for Surgical Report Generation in Robotic Surgery
National University of Singapore（新加坡国立大学）；NUSRI Suzhou China（新加坡国立大学苏州研究院）；The Chinese University of Hong Kong（香港中文大学）；Imperial College London（伦敦帝国理工学院）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）
在机器人辅助手术中以手术场景理解的自然语言表达的形式生成手术报告可以在文档输入任务、手术训练和术后分析中发挥重要作用。尽管深度学习算法具有最先进的准确性，但在应用于目标域（TD）数据时，部署性能通常会下降。为此，我们开发了一个基于多层变换的模型，采用梯度反转对抗学习来为多域手术图像生成一个标题，该标题可以描述器械和手术感兴趣区域（ROI）之间的语义关系。在梯度反向对抗学习方案中，梯度乘以负常数，并在反向传播中反向更新，区分源域和目标域，并出现域不变特征。我们还研究了使用标签平滑技术的模型校准以及校准好的模型对倒数第二层特征表示和领域自适应（DA）的影响。我们标注了两个机器人手术数据集的MICCAI机器人场景分割和经口机器人手术（TORS）与程序的标题和经验表明，我们所提出的方法提高了性能，在源和目标域手术报告生成的方式无监督，zero-shot，one-shot，和少样本学习。
2021-03-31 cs.RO
SurgBox: Agent-Driven Operating Room Sandbox with Surgery Copilot
CAIR, HKISI, CAS（中国科学院香港中文大学信息安全研究所智能计算研究中心）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室）；Peking Union Medical College Hospital（北京协和医院）
针对神经外科手术培训中认知负担重、实践机会有限的问题，提出智能体驱动的SurgBox沙盒框架，结合LLMs与定制RAG复现手术角色，并设计带长短期记忆机制的手术副驾驶辅助决策，实验验证其可提升认知能力和决策支持效果。
2024-12-06 cs.AI cs.CV cs.HC
OSSAR: Towards Open-Set Surgical Activity Recognition in Robot-assisted Surgery
The Chinese University of Hong Kong (CUHK)（香港中文大学）；Beijing Institute of Technology（北京理工大学）；Qilu Hospital of Shandong University（山东大学齐鲁医院）；Tongji University（同济大学）；University College London（伦敦大学学院）
针对机器人手术活动识别在开放集场景下易将未知类误分为已知类的问题，提出OSSAR框架，利用超球面互惠点策略与模型校准增强已知与未知类区分度，并构建基准验证其显著优于现有方法。
2024-02-10 cs.AI cs.CV cs.RO
Robot Autonomy for Surgery
University of California, San Diego（加州大学圣迭戈分校）
自主手术涉及由机器人根据自己的意愿执行手术任务，部分或没有人类参与。手术自动化有几个重要的优势，包括由于亚毫米机器人控制而提高护理精度，实时利用生物信号进行介入护理，提高手术效率和执行，以及在各种医学成像和传感模式下的计算机辅助指导。虽然这些方法可能会取代手术团队和外科医生个人的一些任务，但它们也提供了新的干预能力，这些干预能力过于困难或超出了人类的技能。在这一章中，我们提供了一个概述机器人的自主性在商业用途和研究，并提出了一些在发展自主手术机器人所面临的挑战。
2017-07-10 cs.RO
Gaze-based Learning from Demonstration In Surgical Robotics
University of British Columbia（不列颠哥伦比亚大学）
本文针对 da Vinci 手术机器人相机臂需手动控制、中断手术流程的问题，提出基于外科医生注视数据与机器人运动学数据的概率模型，以实现相机臂运动自动化。
2023-11-01 cs.RO
Snake-Like Robots for Minimally Invasive, Single Port, and Intraluminal Surgeries
Vanderbilt University（范德堡大学）
微创手术（MIS）的手术范例是采用机器人手术辅助的关键驱动力。在过去的三十年里，随着技术的进步，使用刚性器械的手动腹腔镜手术逐渐过渡到机器人辅助手术。在过去的十年中，对新的手术范例的需求不断增加，以实现在没有皮肤切口的情况下进入解剖结构（腔内手术）或通过单个皮肤切口进入解剖结构（单孔手术- SPA），这使得研究人员研究蛇形柔性手术器械。在本章中，我们首先概述了MIS及其新衍生物的背景、动机和分类。MIS及其较新的衍生物（SPA和腔内手术）的挑战概述了新的蛇形机器人的架构，以满足这些挑战。我们还研究了多年来开发的商业和研究手术平台，以解决特定的功能要求和在密闭空间中进行手术所带来的限制。本章最后评估了腔内和SPA手术机器人技术中的开放性问题，并展望了手术机器人设计的未来趋势，这些趋势可能会解决这些未满足的需求。
2019-06-11 cs.RO
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong（香港中文大学）
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习（RL）的方法为手术自动化提供了可扩展的解决方案，但是如果没有给出先验知识，则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战，可以通过向RL代理提供专家演示来缓解。然而，如何有效地利用示范数据，提高勘探效率仍然是一个开放的挑战。在这项工作中，我们引入演示引导探索（DEX），一个有效的强化学习算法，旨在克服探索问题的专家演示手术自动化。为了有效地利用演示，我们的方法估计具有更高值的专家行为，以促进富有成效的交互，并采用非参数回归，以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL，一个全面的手术模拟平台，证明显着提高探索效率和任务成功率的方法。此外，我们还将学习到的策略部署到达芬奇研究工具包（dVRK）平台上，以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search
The Chinese University of Hong Kong（香港中文大学）；CUHK T Stone Robotics Institute（香港中文大学天石机器人研究所）
自动手术手势识别是提高机器人辅助手术智能的基础，例如执行复杂的手术监视和技能评估任务。然而，目前的方法单独对待每一帧，并产生的结果没有有效地考虑未来的信息。在本文中，我们提出了一个框架的基础上强化学习和树搜索的联合手术手势分割和分类。智能体被训练成以类似人类的方式对手术视频进行分割和分类，其直接决策通过树搜索适当地重新考虑。我们提出的树搜索算法联合了两个设计的神经网络的输出，即，政策和价值网络。通过整合来自不同模型的互补信息，我们的框架能够实现比使用任何神经网络的基线方法更好的性能。对于一个整体的评估，我们开发的方法始终优于现有的方法在JIGSAWS数据集的搜索任务的准确性，编辑得分和F1得分。我们的研究强调了利用树搜索来细化手术机器人应用的强化学习框架中的动作。
2020-02-20 cs.AI cs.LG cs.RO
A New Classification Approach for Robotic Surgical Tasks Recognition
Shahid Beheshti University（沙希德·贝赫什提大学）
机器人手术任务的自动识别和分类是实现手术自动化和手术训练的重要基础。最近，收集数据方面的技术突破使数据驱动的模型开发成为可能。在本文中，我们提出了一个框架，高层次的机器人手术任务识别使用运动数据。我们提出了一种新的分类技术，用于分类三个重要的手术任务，通过定量分析的议案：打结，穿针和缝合。所提出的技术集成了最先进的数据采掘和时间序列分析方法。该框架的第一步包括开发一个时间序列的距离为基础的相似性度量使用导数动态时间规整（DDTW）。然后采用距离加权k-近邻算法对任务实例进行分类。该框架使用广泛的数据集进行了验证。我们的研究结果表明，所提出的框架在认识基本的机器人手术任务的强度。
2017-07-12 cs.RO
In vivo feasibility study of humanoid robots in surgery
研究评估人形机器人用于腹腔镜手术任务的可行性，开发基于人形机器人的腹腔镜远程操作框架，通过多种评估量化其技术可行性等，为手术应用中当前人形机器人的能力和局限性提供基于证据的评估，突出前景与关键挑战。
2026-07-10 cs.RO
Improving rigid 3D calibration for robotic surgery
University of Verona（维罗纳大学）
自主性是机器人手术研究的前沿，其目的是提高未来手术过程的质量。自主性的一个基本要求是通过视觉传感器实现先进的感知能力。在本文中，我们提出了一种新的校准技术与达芬奇机器人的手术场景。摄像机和机器人的校准对于工具的精确定位是必要的，以便模仿高性能的外科医生。我们的校准技术是为RGB-D相机量身定制的。对手术相关用例进行的不同测试证明，我们在外科尺寸设置上显著提高了类似器械的最新解决方案的精度和准确度。此外，我们的校准方法可以很容易地扩展到标准手术内窥镜，以促进其在实际手术场景中的使用。
2020-07-16 cs.CV cs.RO
A vision-language model and platform for temporally mapping surgery from video
Halsted AI
本文提出Halsted模型，基于Halsted手术图谱实现手术行为映射，提供更全面且高效的解决方案，并开发Halsted平台使外科医生能自动映射自身手术。
2026-03-23 cs.CV cs.RO
ESD CYCLOPS: A new robotic surgical system for GI surgery
Imperial College London（帝国理工学院）
胃肠道（GI）癌症导致全球150万人死亡。内镜粘膜下剥离术（ESD）是一种先进的治疗性内镜技术，由于其微创和整块切除肿瘤，因此具有优异的临床结局。在西方世界，可持续发展教育由于其复杂性和挑战性而很少开展。正在开发各种手术系统以使这种治疗变得容易，然而，这些解决方案已经显示出有限的操作工作空间、灵活性或低施力能力。目前的论文显示了ESD CYCLOPS系统，一个双手手术机器人附件，可以安装在任何柔性内窥镜的末端。该系统能够实现高达46N的力，并且在椭圆跟踪任务期间显示出0.217mm的平均误差。临床前离体试验显示了工作空间和器械灵活性，其中ESD由GI外科医生成功执行。该系统目前正在进行临床前体内验证。
2018-04-18 cs.RO
Breaking Barriers in Robotic Soft Tissue Surgery: Conditional Autonomous Intestinal Anastomosis
Johns Hopkins University（约翰斯·霍普金斯大学）；Children’s National Hospital（国立儿童医院）
自主机器人手术有可能提供独立于单个外科医生技能和经验的有效性、安全性和一致性。在非结构化和可变形环境中进行自主软组织手术尤其具有挑战性，因为它需要复杂的成像、组织跟踪和手术规划技术，以及通过高度适应性的控制策略进行精确执行。在腹腔镜环境中，软组织手术更具挑战性，因为在运动和视觉限制下需要高可操作性和可重复性。我们展示了第一台机器人腹腔镜软组织手术，其自主性水平为5分之3，允许操作员在自主生成的手术计划中进行选择，同时机器人独立执行各种任务。我们还展示了第一个在体内自主机器人腹腔镜手术通过肠吻合猪模型。我们比较了开发系统、手动腹腔镜手术和机器人辅助手术（RAS）之间的标准，包括针放置校正、缝线间距、缝线咬合尺寸、完成时间、管腔通畅性和泄漏压力。离体结果表明，我们的系统在一致性和准确性方面优于专家外科医生和RAS技术，并在生猪中实现了卓越的吻合质量。这些结果表明，具有高度自主性的手术机器人有可能提高一致性，改善患者预后，并获得标准手术技术。
2021-07-02 cs.RO
Real-Time Context-aware Detection of Unsafe Events in Robot-Assisted Surgery
University of Virginia（弗吉尼亚大学）
用于机器人手术的网络物理系统使微创手术具有更高的精度和更短的住院时间。然而，随着软件的复杂性和连接性的增加以及人类操作员在手术机器人的监督中的主要参与，在确保患者安全方面仍然存在重大挑战。本文介绍了一种安全监测系统，该系统在外科医生了解手术任务的情况下，可以实时的【形】检测安全关键事件。我们的方法集成了一个手术手势分类器，推断的操作上下文的时间序列的运动学数据的机器人与库的错误的手势分类器，给定的手术手势可以检测到不安全的事件。我们使用来自两个手术平台的数据进行的实验表明，所提出的系统可以在1，693毫秒的平均反应时间窗口和0.88的F1分数内检测由意外或恶意故障引起的不安全事件，并且在57毫秒的平均反应时间窗口和0.76的F1分数内检测人为错误。
2020-06-18 cs.RO
Kinematic and Ergonomic Design of a Robotic Arm for Precision Laparoscopic Surgery
本文提出一种用于高精度腹腔镜手术的7自由度机械臂系统，结合远程运动中心与工效学设计，实验证明其显著提升了瞄准精度与任务效率，并降低了操作者的肌肉劳损。
2025-11-04 cs.RO
Affordable Mobile-based Simulator for Robotic Surgery
Digital Surgery Limited（数字手术有限公司）；University College London（伦敦大学学院）；Kasetsart University（泰国农业大学）
机器人手术和新型手术器械为更安全、更准确和一致的微创手术提供了巨大的潜力。然而，采用这些方法取决于能否获得培训设施和广泛的外科培训。与开放式或腹腔镜相比，机器人器械需要不同的灵巧技能。因此，外科医生需要投入大量时间参加广泛的培训计划。相反，由于用于培训目的的机器人系统的可用性有限，实际操作经验代表了医院的额外运营成本。外科医生和医院面临的所有这些技术和财政障碍都阻碍了机器人手术的采用。在本文中，我们提出了一个移动灵活性训练包，以发展基本的手术技术在一个负担得起的设置。该系统可用于训练基本的外科手术姿势，并开发操纵机器人器械所需的运动技能。我们的工作提出了架构和组件需要创建一个模拟环境的培训子任务，以及便携式移动机械手，可用作主控制器的不同仪器的设计。初步研究结果表明，该系统的可用性和技能的发展。
2018-07-20 cs.RO
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan（名古屋大学）
本文提出一种基于可供性推理的机器人手术助手框架，结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义，并利用双重集合共形预测保障安全，在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
SATR-DL: Improving Surgical Skill Assessment and Task Recognition in Robot-assisted Surgery with Deep Neural Networks
目的：本文主要研究机器人辅助手术中手术运动轮廓的自动分析，用于客观的技能评估和任务识别。现有的技术严重依赖于传统的统计措施或浅建模的基础上手工设计的功能和手势分割。这样的发展需要大量的专业知识，容易出错，并且在线自适应训练系统的效率较低。研究方法：在这项工作中，我们提出了一个有效的分析框架与并行的深度学习架构，SATR-DL，以评估受训者的专业知识和认识手术培训活动。通过端到端的学习技术，直接从原始运动序列中联合获得空间表示和时间动态的抽象信息。结果如下：通过利用共享的高级表示学习，所得到的模型在识别受训者技能和手术任务、缝合、穿针和打结方面是成功的。与此同时，我们探讨了集成在分类中的使用在审判的水平，其中SATR-DL优于国家的最先进的性能，分别达到0.960和1.000的准确率在技能评估和任务识别。结论：这项研究强调了SATR-DL在智能机器人手术中为有效的数据驱动评估提供改进的潜力。
2018-06-15 cs.CV cs.RO
Differentiable Rendering-based Pose Estimation for Surgical Robotic Instruments
University of California San Diego（加利福尼亚大学圣迭戈分校）
针对dVRK等外科机器人因关节角误差和部分可见运动学链导致传统标定失效的问题，本文提出基于可微渲染与圆柱体的无标记单次位姿估计方法，在新型位姿假设空间中构建通用匹配流程，实现稳健且可泛化的手术工具跟踪初始化。
2025-03-07 cs.RO
Design and Experimental Evaluation of a Haptic Robot-Assisted System for Femur Fracture Surgery
Biomedical Engineering Department, Rowan University（罗文大学生物医学工程系）
本文提出Robossis触觉机器人辅助股骨骨折手术系统，通过单边控制与触觉渲染解决运动传递和运动学不匹配，实验显示平均平移误差0.32 mm、旋转误差0.07度，并在尸体实验中验证了其辅助手术的直观有效性。
2023-10-29 cs.RO
Context-aware Monitoring in Robotic Surgery
University of Virginia（弗吉尼亚大学）
机器人辅助微创手术（MIS）已经使手术具有更高的精度和灵活性，但手术机器人仍然是开环的，需要外科医生使用远程操作控制台工作，仅提供有限的视觉反馈。在这种情况下，机械故障、软件故障或人为错误可能导致不良事件，导致患者并发症或死亡。我们认为，即将发生的不良事件可以检测和减轻应用上下文特定的安全约束的机器人的运动。我们提出了一个上下文感知的安全监控系统，该系统使用运动学数据将手术任务分割成子任务，并监控特定于每个子任务的安全约束。为了测试我们的假设上下文特异性的安全约束，我们分析记录演示的干实验室手术任务收集的JIGSAWS数据库，以及从实验中，我们进行了乌鸦II手术机器人。轨迹数据的分析表明，一个给定的外科手术的每个子任务具有一致的安全约束，在多个演示由不同的主题。我们的初步研究结果表明，违反这些安全约束导致不安全的事件，往往有足够的时间之间的约束违反和安全关键事件，以允许采取纠正措施。
2019-01-28 cs.RO
Automating Surgical Peg Transfer: Calibration with Deep Learning Can Exceed Speed, Accuracy, and Consistency of Humans
University of California, Berkeley（加州大学伯克利分校）；SRI International（SRI国际）
立柱转移是腹腔镜手术基础（FLS）中众所周知的手术培训任务。虽然人类外科医生远程操作达芬奇等机器人以高速和准确的方式执行这项任务，但自动化具有挑战性。本文提出了一种新的系统和控制方法，使用达芬奇研究工具包（dVRK）手术机器人和Zivid深度传感器，和人类受试者的研究比较性能的三种变体的挂钩转移任务：单边，双边没有beverers，双边beverers。该系统将3D打印、深度传感和深度学习与新的解析逆运动学模型和时间最小化运动控制器相结合进行校准。在一项由该系统、一名专家外科住院医生和9名志愿者进行的3384次钉转移试验的对照研究中，结果表明，该系统实现的准确性与经验丰富的外科住院医生相当，并且比外科住院医生和志愿者更快、更一致。该系统还具有最高的一致性和最低的冲突率。据我们所知，这是第一个在标准化手术任务中实现超人性能的自主系统。
2022-05-16 cs.RO
Hall Effect-Based Tactile Force Detection Sensor for Robot-Assisted Minimally Invasive Surgery
University of Leeds（利兹大学）
针对机器人微创手术中触觉反馈缺失的问题，本文提出一种基于霍尔效应的毫米级紧凑力传感器，可检测法向和剪切力，平均RMSE为2.133 kPa，并在体模和离体猪组织上验证了牵拉与滑动感知能力。
2026-10-08 cs.RO
An Ergonomic Interaction Workspace Analysis Method for the Optimal Design of a Surgical Master Manipulator
Imperial College London（帝国理工学院）
主控制台是机器人与人类在共享环境中协作的场所。为此，人体工程学是一个需要考虑的重要方面。通过人机工程学设计，外科医生可以更舒适地进行手术任务，更高的效率，并可以提高遥控机器人手术的质量。本文提出了一种人机交互工作空间分析方法，以优化主操作手，并满足人机工程学的考虑，设计一个主操作手的遥控手术。
2021-05-15 cs.RO
How to enhance learning of robotic surgery gestures? A tactile cue saliency investigation for 3D hand guidance
LIRMM, University of Montpellier, CNRS（蒙彼利埃大学法国国家科学研究中心LIRMM实验室）；Stanford University（斯坦福大学）
目前这一代的外科医生需要在远程操作方面进行广泛的培训，以发展独立于医学知识的特定灵巧技能。培训课程从操作任务进展到模拟手术任务，但时间有限。为了解决这个问题，我们建议将手术机器人训练与触觉反馈（HF）结合起来，以提高技能的获得。本文提出了初步的，但有希望的结果，我们的触觉设备设计，以支持在手术手势的训练。我们正在进行的工作是将HF集成到RAVEN II平台中。
2019-07-19 cs.RO
Raven: Open Surgical Robotic Platforms
Rochester Institute of Technology（罗切斯特理工学院）；University of Washington（华盛顿大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
Raven I和Raven II手术机器人作为开放式研究平台，已经为机器人手术研究界服务了十年。本文简要介绍了Raven I和Raven II机器人，综述了基于Raven机器人的、旨在应用于Raven机器人的、或与Raven机器人直接比较的最新出版物，并以Raven机器人为例讨论了当前研究界的热点问题和机器人手术研究的趋势。本文并没有进行全面的文献综述，而是仅回顾了近三年来正式发表的著作，并利用这些最新出版物分析了机器人手术主题的研究兴趣、热门开放研究问题和机会。
2019-06-27 cs.RO
daVinciNet: Joint Prediction of Motion and Surgical State in Robot-Assisted Surgery
Intuitive Surgical Inc.（直觉外科公司）；California Institute of Technology（加州理工学院）
本文提出了一种技术，同时和联合预测的未来轨迹的手术器械和未来的状态（S）的手术子任务在机器人辅助手术（RAS）使用多个输入源。这样的预测是必要的第一步共享控制和监督自主的手术子任务。一分钟长的手术子任务，如超声或超声扫描，通常具有可区分的工具运动学和视觉特征，并且可以被描述为一系列具有过渡示意图的细粒度状态。我们提出了daVinciNet -机器人运动和手术状态预测的端到端双任务模型。daVinciNet使用从多个数据流中提取的特征（包括机器人运动学、内窥镜视觉和系统事件）执行并发末端执行器轨迹和手术状态预测。我们评估了我们提出的模型上的扩展机器人术中超声（RIOUS+）成像数据集上收集的达芬奇Xi手术系统和JHU-ISI手势和技能评估工作集（JIGSAWS）。我们的模型实现了高达93.85%的短期（0.5s）和82.11%的长期（2s）的状态预测精度，以及1.07mm的短期和5.62mm的长期轨迹预测误差。
2020-09-24 cs.CV cs.LG cs.RO
Surgical-LVLM: Learning to Adapt Large Vision-Language Model for Grounded Visual Question Answering in Robotic Surgery
The Chinese University of Hong Kong（香港中文大学）；Universiti Malaya（马来亚大学）；Centre for Artificial Intelligence and Robotics, HKISI-CAS（香港智能系统研究所人工智能与机器人中心）；University College London（伦敦大学学院）
本文提出面向复杂手术场景的个性化大型视觉-语言模型 Surgical-LVLM，通过 VP-LoRA 与 TIT 模块增强多模态理解和视觉定位，在多个 EndoVis 基准上取得最优性能。
2025-03-16 cs.AI cs.CV cs.RO
Control Modes of Teleoperated Surgical Robotic System's Tools in Ophthalmic Surgery
Department of Mechanical and Aerospace Engineering at the University of California, Los Angeles (UCLA)（加州大学洛杉矶分校机械与航空航天工程系）；Jules Stein Eye Institute at the University of California, Los Angeles (UCLA)（加州大学洛杉矶分校Jules Stein眼科研究所）
本研究针对眼科手术遥操作机器人的内部、外部两种控制模式及不同缩放因子，在模拟玻璃体视网膜手术中开展对比实验，发现内部控制模式与高缩放因子更利于精准操作，为优化手术机器人控制、提升手术精度与可及性提供依据。
2025-10-29 cs.RO
CAT-ViL: Co-Attention Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科科学中心（WEISS））；The Chinese University of Hong Kong (CUHK)（香港中文大学（CUHK））；Shun Hing Institute of Advanced Engineering, CUHK（香港中文大学信兴高等工程研究所）
针对手术学习中专家指导不足及现有手术VQA系统无法定位答案的问题，提出搭载CAT-ViL嵌入的端到端Transformer手术VQLA系统，在公开数据集上性能优于现有最优方法，为手术场景理解和AI辅助手术训练提供新方案。
2023-08-19 cs.AI cs.CV cs.RO
Dynamic Robot-Assisted Surgery with Hierarchical Class-Incremental Semantic Segmentation
Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）；Zuse School ELIZA（Zuse学校ELIZA）；NeuroPoly Lab, Institute of Biomedical Engineering, Polytechnique Montréal（神经Poly实验室，生物医学工程学院，蒙特利尔理工学院）；Mila - Québec AI Institute（魁北克人工智能研究所）；Collaborative Research Institute Intelligent Oncology (CRIION)（智能肿瘤学协作研究机构）
针对动态手术环境中的分割模型局限性，基于TOPICS方法提出增强变体TOPICS+，通过引入Dice损失、分层伪标签和定制标签分类法提升手术场景分割鲁棒性，并构建六个新型CISS基准及包含144类标签的评估基准。
2025-08-10 cs.AI cs.CV cs.RO
Disturbance-Free Surgical Video Generation from Multi-Camera Shadowless Lamps for Open Surgery
本文提出了一种自动化方法，通过识别照明系统移动并重新对齐视频帧，生成无遮挡的开放式手术视频，提升手术区域的可视化效果和观看舒适度。
2025-12-09 cs.AI cs.CV cs.LG
Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (CUHK)（香港中文大学）；University College London（伦敦大学学院）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
本文提出Surgical-VQLA系统，通过设计门控视觉-语言嵌入（GVLE）融合异构模态并构建LViT输入，在LViT预测头并行添加检测头并引入GIoU损失，实现了机器人手术中视觉问答的特定区域定位与回答，在自建数据集上验证了其有效性。
2023-05-19 cs.AI cs.CL cs.CV
3D Perception based Imitation Learning under Limited Demonstration for Laparoscope Control in Robotic Surgery
City University of Hong Kong（香港城市大学）；The Chinese University of Hong Kong（香港中文大学）
自动腹腔镜运动控制对于外科医生有效地执行手术至关重要。然而，传统的基于工具跟踪的控制方法没有考虑手术场景中隐藏的信息，智能化程度不够，而最新的基于监督模仿学习（IL）的方法需要昂贵的传感器数据，并且由于有限的演示而导致分布不匹配问题。在本文中，我们提出了一种新的模仿学习框架腹腔镜控制（ILLC）与强化学习（RL），它可以有效地学习控制策略，从有限的手术视频剪辑。特别地，我们首先从未标记的视频中提取腹腔镜手术轨迹作为演示，并重建相应的手术场景。为了从有限的运动轨迹演示中充分学习，我们提出了形状保持轨迹增强（SPTA）来增强这些数据，并构建了一个支持并行RGB-D渲染的仿真环境，以加强RL策略，从而有效地与环境进行交互。通过对IL的对抗性训练，我们根据生成的展示和手术演示获得腹腔镜控制策略。在看不见的重建手术场景中进行了大量的实验，我们的方法优于以前的IL方法，这证明了我们的统一的基于学习的框架腹腔镜控制的可行性。
2022-04-07 cs.RO
Advancing Robotic Surgery: Affordable Kinesthetic and Tactile Feedback Solutions for Endotrainers
Columbia University（哥伦比亚大学）；PSG College of Technology（PSG理工学院）
针对手术机器人缺乏触觉反馈的问题，本研究将经济型动觉与触觉反馈系统集成至内窥镜训练器，通过光电传感器实现95%准确率的力检测，提升训练真实性与手术安全性。
2024-06-26 cs.RO
Pre-Surgical Planner for Robot-Assisted Vitreoretinal Surgery: Integrating Eye Posture, Robot Position and Insertion Point
NSK Ltd.（恩斯克有限公司）；Technische Universität München（慕尼黑工业大学）；Klinikum rechts der Isar der Technische Universität München（慕尼黑工业大学右岸医院）；University of Alberta（阿尔伯塔大学）
本文提出一种术前规划优化框架，通过整合眼球姿态、机器人位置和插入点，使机器人辅助玻璃体视网膜手术器械能精准到达不同患者的目标区域，并在仿真眼球模型上验证了其精度。
2025-02-25 cs.RO
Autonomous Coordinated Control of the Light Guide for Positioning in Vitreoretinal Surgery
the University of Tokyo（东京大学）
玻璃体视网膜手术是具有挑战性的，即使是专业的外科医生，由于微妙的目标组织和微小的工作空间在视网膜。除了提高灵活性和准确性，机器人辅助允许（部分）任务自动化。在这项工作中，我们提出了一种策略，以自动化的光导手术器械的运动。这种自动化使仪器的阴影始终处于显微镜视野内，这是仪器在视网膜中准确定位的重要提示。我们的模拟和实验表明，所提出的策略是有效的，在视网膜的手术幻影700点网格。此外，我们将所提出的策略与图像处理相结合，成功地将手术器械的尖端定位在视网膜中，仅依赖于机器人的几何信息和显微图像。
2022-01-20 cs.RO
Orientation Matters: 6-DoF Autonomous Camera Movement for Minimally Invasive Surgery
University of British Columbia（不列颠哥伦比亚大学）；Zipline International（Zipline International公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种用于微创手术的六自由度（6-DoF）自主相机运动的新方法，与以前的方法不同，该方法考虑了手术场景中结构的位置和方向信息。除了定位相机以获得操纵对象的良好视图外，我们的自主相机还考虑了工作空间约束，包括地平线和安全约束。我们开发了一个模拟环境，以测试我们的方法在“钢丝追逐”手术训练任务，从传统的腹腔镜手术和机器人辅助手术的验证培训课程。此外，我们提出，第一次，所提出的自主摄像机方法在基于视频的手术技能评估，视频通常使用固定摄像机记录的区域中的应用。在N=30人类受试者的研究中，我们表明，自主摄像机视图的视频检查，因为它跟踪环运动在电线上导致更准确的用户错误（环接触电线）检测比使用固定的摄像机视图时，或摄像机运动与固定的方向。我们的初步工作表明，有潜在的好处，自主相机定位场景方向通知，这可以指导设计师的自动内窥镜和手术机器人系统，特别是当使用芯片上的尖端相机，可以为6自由度运动。
2020-12-04 cs.RO
Runtime Detection of Executional Errors in Robot-Assisted Surgery
University of Virginia（弗吉尼亚大学）
尽管手术机器人的设计和客观评估手术技能的自动化技术取得了重大进展，但在确保机器人辅助微创手术（RMIS）的安全性方面仍然存在挑战。本文提出了一种运行时监测系统，通过分析运动学数据检测手术任务中的执行错误。所提出的系统结合了双连体神经网络和手术背景知识，包括手术任务和手势，它们的分布相似性，以及常见的错误模式，学习正常和错误的手术轨迹之间的差异，从小的训练数据集。我们使用JIGSAWS数据集的缝合和穿针任务的干实验室演示，与使用不同水平的上下文知识和训练数据训练的单个CNN和LSTM网络相比，评估了使用Siamese网络的错误检测性能。我们的研究结果表明，手势特定任务非特异性Siamese网络获得了0.94（Siamese-CNN CNN）和0.95（Siamese-LSTM）的微F1分数，并且比单个CNN（0.86）和LSTM（0.87）网络表现更好。这些Siamese网络在缝合和穿针方面的表现也优于手势非特定任务特定的Siamese-CNN和Siamese-LSTM模型。
2022-03-01 cs.CV cs.LG cs.RO
Suture Thread Spline Reconstruction from Endoscopic Images for Robotic Surgery with Reliability-driven Keypoint Detection
University of California San Diego（加州大学圣地亚哥分校）；University of New Mexico（新墨西哥大学）
在机器人手术过程中自动操作和输送缝线的过程是手术机器人前沿的一个突出问题，因为自动化这项任务可以显著减少外科医生在远程操作手术期间的疲劳，并使他们能够花更多时间解决更高级别的临床决策。在现实世界中完成自主缝合和缝合操作需要精确的缝合线定位和重建，这是从2D立体相机手术图像对创建缝合线的3D形状表示的过程。这是一个非常具有挑战性的问题，因为有限的像素信息可用于线程，以及它们对照明和镜面反射的敏感性。我们提出了一个缝合线重建工作，使用可靠的关键点和最小变异样条（MVS）平滑优化，从分割的手术图像对构建一个3D中心线。这种方法与以前的缝合线重建工作相当，可能的好处是提高了抓取点估计的准确性。我们的代码和数据集将在https://github.com/ucsdarclab/thread-reconstruction上提供。
2023-02-28 cs.RO
Vitreoretinal Surgical Robotic System with Autonomous Orbital Manipulation using Vector-Field Inequalities
The University of Tokyo（东京大学）
本文提出一种基于向量场不等式的机器人辅助玻璃体视网膜手术自主眼眶操作方法，通过遥操作系统控制眼球旋转，仿真和物理实验均表明该方法能提升系统可操纵性并扩大眼底可视区域。
2023-02-11 cs.RO
Fully Immersive Virtual Reality for Skull-base Surgery: Surgical Training and Beyond
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medicine（约翰斯·霍普金斯医疗集团）
本文提出用于颅底手术的全沉浸式虚拟现实系统FIVRS，结合高保真硬件与逼真手术模拟，记录多模态数据以支持训练和自动技能评估。
2023-05-31 cs.HC cs.RO
Autonomous task planning and situation awareness in robotic surgery
University of Verona（维罗纳大学）
机器人在微创手术中的使用提高了标准外科手术的质量。到目前为止，研究人员只研究了简单手术动作的自动化，而执行需要对环境进行推理的结构化任务以及在多个动作中进行选择的任务仍然由人类外科医生管理。在本文中，我们提出了一个框架来实现手术任务自动化。该框架包括一个基于答案集编程的任务级推理模块，一个基于动态运动基元的低级运动规划模块，以及一个态势感知模块。基于逻辑的推理模块生成可解释的计划，并且能够从故障状况中恢复，所述故障状况由与人类监督者接口的情况感知模块识别和解释，以增强安全性。动态运动基元允许复制外科医生的灵活性，并适应环境中的障碍和变化。该框架在不同版本的标准手术培训钉环任务上进行了验证。
2020-04-19 cs.CV cs.RO
