机器人辅助手术（RAS）视频的视频理解是一个活跃的研究领域。对外科医生的手势和技能水平进行建模提出了一个有趣的问题。所得出的见解可以应用于有效的技能获取、客观的技能评估、实时反馈和人机协作手术。我们提出了一个解决方案的工具检测和本地化开放的问题，在RAS视频理解，使用严格的计算机视觉的方法和深度学习的最新进展。我们提出了一个架构，使用多模态卷积神经网络的快速检测和RAS视频中的工具定位。据我们所知，这种方法将是第一个将深度神经网络用于RAS视频中的工具检测和定位的方法。我们的架构应用区域建议网络（RPN），和多模态双流卷积网络的目标检测，共同预测对象和定位的融合图像和时间的运动线索。我们的平均精度（AP）为91%，每个测试帧检测的平均计算时间为0.1秒，这表明我们的研究优于传统的医学成像方法，同时也强调了使用RPN的精度和效率的好处。我们还介绍了一个新的数据集，ATLAS Dione，RAS视频理解。我们的数据集提供了来自Roswell Park Cancer Institute（RPCI）（Buffalo，NY）的十名外科医生在达芬奇手术系统（dVSS R）上执行六种不同手术任务的视频数据，每帧都有机器人工具的注释。
英文摘要：
Video understanding of robot-assisted surgery (RAS) videos is an active research area. Modeling the gestures and skill level of surgeons presents an interesting problem. The insights drawn may be applied in effective skill acquisition, objective skill assessment, real-time feedback, and human-robot collaborative surgeries. We propose a solution to the tool detection and localization open problem in RAS video understanding, using a strictly computer vision approach and the recent advances of deep learning. We propose an architecture using multimodal convolutional neural networks for fast detection and localization of tools in RAS videos. To our knowledge, this approach will be the first to incorporate deep neural networks for tool detection and localization in RAS videos. Our architecture applies a Region Proposal Network (RPN), and a multi-modal two stream convolutional network for object detection, to jointly predict objectness and localization on a fusion of image and temporal motion cues. Our results with an Average Precision (AP) of 91% and a mean computation time of 0.1 seconds per test frame detection indicate that our study is superior to conventionally used methods for medical imaging while also emphasizing the benefits of using RPN for precision and efficiency. We also introduce a new dataset, ATLAS Dione, for RAS video understanding. Our dataset provides video data of ten surgeons from Roswell Park Cancer Institute (RPCI) (Buffalo, NY) performing six different surgical tasks on the daVinci Surgical System (dVSS R ) with annotations of robotic tools per frame.
Deep-Learning-Assisted Analysis of Cataract Surgery Videos
Alpen-Adria-Universität Klagenfurt（阿尔卑斯-亚得里亚大学克拉根福分校）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）；University of Bern（伯尔尼大学）；University of Geneva（日内瓦大学）
Dynamic Robot-Assisted Surgery with Hierarchical Class-Incremental Semantic Segmentation
Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）；Zuse School ELIZA（Zuse学校ELIZA）；NeuroPoly Lab, Institute of Biomedical Engineering, Polytechnique Montréal（神经Poly实验室，生物医学工程学院，蒙特利尔理工学院）；Mila - Québec AI Institute（魁北克人工智能研究所）；Collaborative Research Institute Intelligent Oncology (CRIION)（智能肿瘤学协作研究机构）
CholecInstanceSeg: A Tool Instance Segmentation Dataset for Laparoscopic Surgery
Kings College London, Surgical & Interventional Engineering（伦敦国王学院，外科与介入工程学院）；Kings College Hospital Denmark Hill, department（伦敦国王学院丹尼希尔医院，部门）；Department of Informatics, King’s College London（国王学院信息学院）；Tongji University, College of Electronic and Information Engineering（同济大学，电子与信息工程学院）
Real-Time Instrument Segmentation in Robotic Surgery using Auxiliary Supervised Deep Adversarial Learning
NUS Graduate School for Integrative Sciences and Engineering (NGS)（新加坡国立大学综合科学与工程研究生院（NGS））；National University of Singapore（新加坡国立大学）；University of Moratuwa（莫拉图瓦大学）；NIT Trichy（印度国立理工学院蒂鲁吉拉伯利分校）
Learning Where to Look While Tracking Instruments in Robot-assisted Surgery
NUS Graduate School for Integrative Sciences and Engineering (NGS), National University of Singapore（新加坡国立大学NUS综合科学与工程研究生院（NGS））；National University of Singapore（新加坡国立大学）；University of Michigan-Joint Institute, Shanghai Jiao Tong University（上海交通大学密歇根联合学院）
Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery
Intuitive Surgical Inc.（直觉外科公司）
手术室（OR）中手术活动的自动识别是创建下一代智能手术设备和工作流程监控/支持系统的关键技术。这种系统可以潜在地提高OR的效率，从而降低成本并改善对患者的护理。在本文中，我们研究了机器人辅助手术中的自动手术活动识别。我们收集了第一个大规模的数据集，包括400个完整长度的多视角视频，这些视频来自使用飞行时间相机捕获的各种机器人手术病例。我们用10种最受认可和临床相关的活动类别对视频进行了密集注释。此外，我们研究了最先进的计算机视觉动作识别技术，并使其适应OR环境和数据集。首先，我们对Inflated 3D ConvNet（I3 D）进行微调，以便在我们的数据集上进行剪辑级活动识别，并使用它从视频中提取特征。然后，这些特征被馈送到3个时间高斯混合层的堆栈，该堆栈从相邻剪辑中提取上下文，并最终通过长短期记忆网络来学习全长视频中的活动顺序。我们广泛地评估了模型，并达到了88%的平均平均精度的峰值性能。
EndoARSS: Adapting Spatially-Aware Foundation Model for Efficient Activity Recognition and Semantic Segmentation in Endoscopic Surgery
Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系）；Shenzhen Research Institute, The Chinese University of Hong Kong（香港中文大学深圳研究院）；School of Advanced Manufacturing, Fuzhou University（福州大学先进制造学院）
Acquiring Submillimeter-Accurate Multi-Task Vision Datasets for Computer-Assisted Orthopedic Surgery
University Hospital Balgrist, University of Zurich（苏黎世大学医院巴尔格里斯分院、苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）
CataractSAM-2: A Domain-Adapted Model for Anterior Segment Surgery Segmentation and Scalable Ground-Truth Annotation
Thomas Jefferson High School for Science and Technology（托马斯·杰弗逊高中科学与技术学校）；Mass Eye and Ear, Harvard Medical School（麻省眼耳研究所，哈佛医学院）；Harvard Ophthalmology AI Lab, Schepens Eye Research Institute of Mass Eye and Ear, Harvard Medical School（哈佛眼科学人工智能实验室，麻省眼耳研究所的谢普恩斯眼研究学院，哈佛医学院）
Imperial College London（伦敦帝国理工学院）；Tsinghua University（清华大学）；NYU Abu Dhabi（纽约大学阿布扎比分校）；Wuhan University（武汉大学）；University College London（伦敦大学学院）；University of Liverpool（利物浦大学）
SLAM assisted 3D tracking system for laparoscopic surgery
United Imaging Research Institute of Intelligent Imaging（联影智能影像研究院）；University of Michigan（密歇根大学）；United Imaging（联影医疗）；United Imaging of Surgery（联影外科研究院）
EndoChat: Grounded Multimodal Large Language Model for Endoscopic Surgery
The Chinese University of Hong Kong（香港中文大学）；Theory Lab, Central Research Institute, 2012 Labs, Huawei Technologies Co. Ltd.（华为技术有限公司中央研究院理论实验室2012实验室）；Chair of Computer Aided Procedures (CAMP), Technical University of Munich（慕尼黑工业大学计算机辅助程序教席）；Department of Gastroenterology, Qilu Hospital of Shandong University（山东大学齐鲁医院消化内科）
Uncertainty-aware Self-supervised Learning for Cross-domain Technical Skill Assessment in Robot-assisted Surgery
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Scuola Superiore Sant’Anna（圣安娜高等研究院）；Politecnico di Milano（米兰理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；UT Southwestern Medical Center（德克萨斯大学西南医学中心）
Image-to-Force Estimation for Soft Tissue Interaction in Robotic-Assisted Surgery Using Structured Light
School of Electronic Information Engineering, Tongji University（同济大学电子与信息工程学院）；MicroPort MedBot (Group) Company Ltd.（微创医疗机器人（集团）股份有限公司）；College of Engineering, Peking University（北京大学工学院）；City University of Hong Kong（香港城市大学）
OSSAR: Towards Open-Set Surgical Activity Recognition in Robot-assisted Surgery
The Chinese University of Hong Kong (CUHK)（香港中文大学）；Beijing Institute of Technology（北京理工大学）；Qilu Hospital of Shandong University（山东大学齐鲁医院）；Tongji University（同济大学）；University College London（伦敦大学学院）
SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction
The Hamlyn Centre for Robotic Surgery, Imperial College London（伦敦帝国理工学院哈姆林 robotic外科中心）；Hawkes Institute, University College London（伦敦大学学院霍克斯研究所）；University of Liverpool（利物浦大学）
EndoMatcher: Generalizable Endoscopic Image Matcher via Multi-Domain Pre-training for Robot-Assisted Surgery
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）；Department of Pulmonary and Critical Care Medicine, The First Affiliated Hospital of Sun Yat-sen University（中山大学附属第一医院呼吸与危重症医学科）；Hong Kong Institute of Science & Innovation（香港创新科技署）；Centre of AI and Robotics, Hong Kong Institute of Science & Innovation（人工智能与机器人中心，香港创新科技署）
Can DeepSeek Reason Like a Surgeon? An Empirical Evaluation for Vision-Language Understanding in Robotic-Assisted Surgery
The Chinese University of Hong Kong（香港中文大学）；University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ICube（ICube实验室）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
SEDMamba: Enhancing Selective State Space Modelling with Bottleneck Mechanism and Fine-to-Coarse Temporal Fusion for Efficient Error Detection in Robot-Assisted Surgery
UCL Hawkes Institute（伦敦大学学院霍克斯研究所）；University College London（伦敦大学学院）；Griffin Institute（格里芬研究所）；Northwick Park and St Mark’s Hospital（诺斯威克公园与圣马克医院）
TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University College London（伦敦大学学院）
SurgCalib: Gaussian Splatting-Based Hand-Eye Calibration for Robot-Assisted Minimally Invasive Surgery
Robotics and Control Laboratory, University of British Columbia（机器人与控制实验室，不列颠哥伦比亚大学）；Department of Biomedical Engineering, National University of Singapore（生物医学工程系，新加坡国立大学）；Division of Otolaryngology – Head and Neck Surgery, University of British Columbia（耳鼻喉科–头颈外科部，不列颠哥伦比亚大学）
Instrument-tissue Interaction Detection Framework for Surgical Video Understanding
National University of Singapore（新加坡国立大学）；Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；Agency for Science, Technology, and Research（新加坡科技研究局）；Osaka University Graduate School of Medicine（大阪大学医学部）
Comparative evaluation of instrument segmentation and tracking methods in minimally invasive surgery
National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心（NCT））；Intuitive Surgical（直觉外科公司）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；CHU Grenoble Alpes（格勒诺布尔阿尔卑斯大学医院）；Grenoble INP（格勒诺布尔综合理工学院）；TIMC-IMAG（TIMC-IMAG实验室）；Centre for Medical Image Computing（医学影像计算中心）；University College London（伦敦大学学院）；Department of General, Visceral and Transplant Surgery, University of Heidelberg（海德堡大学普通、内脏和移植外科系）；ARTORG Center, University of Bern（伯尔尼大学ARTORG中心）；Computer Aided Medical Procedures, Johns Hopkins University（约翰霍普金斯大学计算机辅助医疗程序）；Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT）人机工程与机器人研究所）
