One to Many: Adaptive Instrument Segmentation via Meta Learning and Dynamic Online Adaptation in Robotic Surgical Video
The Chinese University of Hong Kong（香港中文大学）；T stone Robotics Institute（T石头机器人研究所）；Guangdong-Hong Kong-Macao Joint Laboratory of Human-Machine Intelligence-Synergy Systems（粤港澳人机协同智能系统联合实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
Surgical instrument segmentation in robot-assisted surgery (RAS) - especially that using learning-based models - relies on the assumption that training and testing videos are sampled from the same domain. However, it is impractical and expensive to collect and annotate sufficient data from every new domain. To greatly increase the label efficiency, we explore a new problem, i.e., adaptive instrument segmentation, which is to effectively adapt one source model to new robotic surgical videos from multiple target domains, only given the annotated instruments in the first frame. We propose MDAL, a meta-learning based dynamic online adaptive learning scheme with a two-stage framework to fast adapt the model parameters on the first frame and partial subsequent frames while predicting the results. MDAL learns the general knowledge of instruments and the fast adaptation ability through the video-specific meta-learning paradigm. The added gradient gate excludes the noisy supervision from pseudo masks for dynamic online adaptation on target videos. We demonstrate empirically that MDAL outperforms other state-of-the-art methods on two datasets (including a real-world RAS dataset). The promising performance on ex-vivo scenes also benefits the downstream tasks such as robot-assisted suturing and camera control.
Balgrist University Hospital, University of Zurich（苏黎世大学巴尔格利斯特大学医院）；ETH Zurich（苏黎世联邦理工学院）；OR-X Translational Center for Surgery, Balgrist University Hospital, University of Zurich（苏黎世大学巴尔格利斯特大学医院OR-X外科转化中心）；Technical University Munich（慕尼黑工业大学）
Learning Motion Flows for Semi-supervised Instrument Segmentation from Robotic Surgical Video
The Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering, CUHK（香港中文大学晨兴先进工程研究所）；T Stone Robotics Institute, CUHK（香港中文大学T Stone机器人研究所）
Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments
State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统管理与控制国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
Dynamic Interactive Relation Capturing via Scene Graph Learning for Robotic Surgical Report Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University College London（伦敦大学学院）；The Hong Kong University of Science and Technology（香港科技大学）
ToolNet: Holistically-Nested Real-Time Segmentation of Robotic Surgical Tools
University College London（伦敦大学学院）；Katholieke Universiteit Leuven（天主教鲁汶大学）；University College London Hospitals（伦敦大学学院医院）；Universitair Ziekenhuis Leuven（鲁汶大学医院）；Wellcome / EPSRC Centre for Surgical and Interventional Sciences, UCL, London, UK（惠康/英国工程与物理科学研究委员会外科与介入科学中心（伦敦大学学院））；Surgical Robot Vision Group, CMIC, Dept. Computer Science, University College London（伦敦大学学院计算机科学系CMIC外科机器人视觉小组）；Translational Imaging Group, CMIC, Dept. Med. Phys. Biomed. Eng., University College London（伦敦大学学院医学物理与生物医学工程系CMIC转化成像小组）
Efficient Global-Local Memory for Real-time Instrument Segmentation of Robotic Surgical Video
Xiamen University（厦门大学）；The Chinese University of Hong Kong（香港中文大学）；Zhongshan Hospital affiliated to Xiamen University（厦门大学附属中山医院）；The Hong Kong Polytechnic University（香港理工大学）
RASNet: Segmentation for Tracking Surgical Instruments in Surgical Videos Using Refined Attention Segmentation Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
Rethinking Surgical Instrument Segmentation: A Background Image Can Be All You Need
The Chinese University of Hong Kong（香港中文大学）；Imperial College London（帝国理工学院）；National University of Singapore（新加坡国立大学）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
hSDB-instrument: Instrument Localization Database for Laparoscopic and Robotic Surgeries
hutom；Yonsei University College of Medicine（延世大学医学院）
手术器械的自动定位是了解手术过程并对其进行分析从而为外科医生提供有意义的术中指导或术后手术指标的重要技术。我们引入了一个新的数据集，反映了手术器械的运动学特征，用于手术视频的自动手术器械定位。hSDB（hutom Surgery DataBase）-仪器数据集由24例腹腔镜胆囊切除术和24例机器人胃切除术的仪器定位信息组成。所有仪器的定位信息以用于目标检测的限界框的形式提供。为了处理仪器之间的类别不平衡问题，在Unity中为3D模型建模的合成仪器被包括作为训练数据。此外，对于3D仪器数据，提供了多边形注释以实现工具的实例分割。为了反映所有器械的运动学特征，腹腔镜器械用头部和身体部位注释，机器人器械分别用头部、手腕和身体部位注释。辅助工具（标本袋、针头等）标注数据经常用于外科手术的也包括在内。此外，我们提供了统计信息的hSDB仪器数据集和基线定位性能的目标检测网络训练的MMDetection库和分析结果。
Surgical Action Triplet Detection by Mixed Supervised Learning of Instrument-Tissue Interactions
ICube Laboratory（ICube实验室）；University of Strasbourg（斯特拉斯堡大学）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）；CNRS（法国国家科学研究中心）
U-NetPlus: A Modified Encoder-Decoder U-Net Architecture for Semantic and Instance Segmentation of Surgical Instrument
Rochester Institute of Technology（罗切斯特理工学院）；Center for Imaging Science（影像科学中心）；Biomedical Engineering（生物医学工程）
传统的治疗方法由于有限的视野而限制了外科医生的灵活性控制。随着机器人辅助手术的出现，微创手术的医疗技术发生了范式转变。然而，在手术场景中跟踪手术器械的位置是非常具有挑战性的，并且手术工具的准确检测和识别是至关重要的。手术视频帧中基于深度学习的语义分割有可能促进这一任务。在这项工作中，我们修改了名为U-NetPlus的U-Net架构，通过引入预训练的编码器并重新设计解码器部分，通过使用基于最近邻（NN）插值的上采样操作替换转置卷积操作。为了进一步提高性能，我们还采用了非常快速和灵活的数据增强技术。我们在8 x 225帧机器人手术视频序列上训练了框架，这些视频可通过MICCAI 2017 EndoVis Challenge数据集获得，并在8 x 75帧和2 x 300帧视频上进行了测试。使用我们的U-NetPlus架构，我们报告了90.20%的DICE用于二进制分割，76.26%的DICE用于仪器部件分割，46.07%用于仪器类型（即，所有仪器）分割，优于在这些数据上实施和测试的先前技术的结果。
RAUNet: Residual Attention U-Net for Semantic Segmentation of Cataract Surgical Instruments
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
Unsupervised Surgical Instrument Segmentation via Anchor Generation and Semantic Diffusion
NELVT, Department of Computer Science, Peking University（北京大学计算机科学技术系数字视频编解码技术国家工程实验室）；Deepwise AI Lab（深睿医疗人工智能实验室）；Center on Frontiers of Computing Studies, Peking University（北京大学前沿计算研究中心）；Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院）；Peking University Cancer Hospital（北京大学肿瘤医院）
Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS)（Wellcome/EPSRC介入与外科科学中心（WEISS））；University College London（伦敦大学学院）；Dept. of Computer Science, University College London（伦敦大学学院计算机科学系）
University of Zagreb（萨格勒布大学）；University of Twente（特文特大学）；University of Groningen（格罗宁根大学）；Radboud University Medical Center（拉德堡德大学医学中心）；Canisius-Wilhelmina Hospital（卡尼修斯-威廉明娜医院）
Video Dataset for Surgical Phase, Keypoint, and Instrument Recognition in Laparoscopic Surgery (PhaKIR)
Regensburg Medical Image Computing (ReMIC), OTH Regensburg（雷根斯堡医学影像计算中心（ReMIC））；Regensburg Center of Biomedical Engineering (RCBE), OTH Regensburg（雷根斯堡生物医学工程中心（RCBE））；Regensburg University（雷根斯堡大学）；Regensburg Center of Health Sciences（雷根斯堡健康科学中心）；Technical University of Munich (TUM)（慕尼黑技术大学）；TUM University Hospital（慕尼黑技术大学医院）；Biomedical Image Analysis Group, Department of Computing, Imperial College London（生物医学影像分析组，计算部门，伦敦帝国学院）；Research Group MITI, TUM University Hospital, School of Medicine（MITI研究组，慕尼黑技术大学医院，医学学院）；Department of Surgery, TUM University Hospital, School of Medicine（外科部门，慕尼黑技术大学医院，医学学院）
SurgeoNet: Realtime 3D Pose Estimation of Articulated Surgical Instruments from Stereo Images using a Synthetically-trained Network
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道大学（RPTU））；NUST-SEECS（国家科技大学工程与应用科学学院（NUST-SEECS））；University of Prince Mugrin (UPM)（穆格林王子大学（UPM））
GroundedSurg: A Multi-Procedure Benchmark for Language-Conditioned Surgical Tool Segmentation
King Abdullah University of Science and Technology (KAUST)（卡奥尔大学科学与技术学院）；Thapar Institute of Engineering and Technology（塔帕尔工程与技术学院）；The University of Queensland（昆士兰大学）；Gaash Research Lab, National Institute of Technology Srinagar（加什研究实验室，锡纳加尔国家理工学院）
SurgPIS: Surgical-instrument-level Instances and Part-level Semantics for Weakly-supervised Part-aware Instance Segmentation
School of Biomedical Engineering and Imaging Sciences, King’s College London（生物医学工程与成像科学学院，伦敦国王学院）；College of Electronic and Information Engineering, Tongji University（电子与信息工程学院，同济大学）
Label-supervised surgical instrument segmentation using temporal equivariance and semantic continuity
School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学生物医学工程学院，生命科学与医学系）；Center for Medical Imaging, Robotics, Analytic Computing & Learning(MIRACLE), Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州先进研究院医学影像中心、机器人与分析计算与学习中心）；Key Laboratory of Precision and Intelligent Chemistry, University of Science and Technology of China（中国科学技术大学精密与智能化学重点实验室）；Key Lab of Intelligent Information Processing of Chinese Academy of Sciences(CAS), Institute of Computing Technology, CAS（中国科学院智能信息处理重点实验室，计算技术研究所）；Faculty of Hepato-Biliary-Pancreatic Surgery, The First Medical Center, Chinese PLA General Hospital（中国人民解放军总医院肝胆胰外科系）
