ACT-Net: 手术视频中的锚点上下文动作检测

说话、分割、跟踪、导航：一种用于视频引导的颅底手术交互系统

Speak, Segment, Track, Navigate: An Interactive System for Video-Guided Skull-Base Surgery

IEEE

本文提出一种基于语音引导的嵌入式代理框架，用于视频引导的颅底手术，通过实时视觉感知和图像引导任务响应外科医生的查询，提高手术流程整合性和部署速度。

2026-04-16cs.CV

使用增强卷积和循环神经网络监测手术视频中的工具使用

Monitoring tool usage in surgery videos using boosted convolutional and recurrent neural networks

Inserm（法国国家健康与医学研究院）；Univ Bretagne Occidentale（西布列塔尼大学）；Institut Mines-Télécom Atlantique（大西洋矿业电信学院）；CHRU Brest（布雷斯特大学地区医疗中心）

本文研究了手术过程中工具使用的自动监控，在报告生成，手术培训和实时决策支持中具有潜在的应用。两种手术被认为是：白内障手术，最常见的外科手术，胆囊切除术，最常见的消化系统手术之一。通过显微镜（白内障手术）或内窥镜（胆囊切除术）记录的视频来监控工具的使用情况。在最先进的视频分析解决方案之后，视频的每一帧都由卷积神经网络（CNN）进行分析，卷积神经网络的输出被馈送到循环神经网络（RNN），以便考虑事件之间的时间关系。新颖之处在于这些CNN和RNN的训练方式。计算复杂性阻碍了“CNN+RNN”系统的端到端训练。因此，CNN通常首先独立于RNN进行训练。这种方法对于手术工具分析来说显然是次优的：许多工具彼此非常相似，但通常可以根据过去的事件进行区分。应该训练CNN，以结合时间上下文提取最有用的视觉特征。提出了一种新的增强策略来实现这一目标：通过逐步添加经过训练的弱分类器（CNN或RNN）来同时丰富系统的CNN和RNN部分，以提高整体分类精度。实验在50个白内障手术视频的数据集和80个胆囊切除术视频的数据集上进行。在这两个数据集中实现了非常好的分类性能：工具使用可以分别在离线模式（使用过去、现在和未来信息）下用$A_z = 0.9961$和$A_z = 0.9939$的ROC曲线下的平均面积来标记，并且在在线模式（仅使用过去和现在信息）下分别用$A_z = 0.9957$和$A_z = 0.9…

2018-05-06cs.CV

通过优化聚合网络识别教学性白内障手术视频中的手术器械

Identifying Surgical Instruments in Pedagogical Cataract Surgery Videos through an Optimized Aggregation Network

Imperial College London（帝国理工学院）；INRIA（法国国家信息与自动化研究所）

本文提出融合PGI与Go-ELAN的改进YOLOV9模型，用于教学白内障手术视频中的手术器械实时识别，并在615张图像、10类器械数据集上取得优于多种基线的检测性能。

2025-01-05cs.CV

用于玻璃体视网膜手术阶段识别的叙事、显微镜及iOCT图像的多模态共享潜在表示

Multimodal Shared Latent Representation of Narration, Microscope and iOCT Images for Phase Recognition in Vitreoretinal Surgery

Technical University of Munich（慕尼黑工业大学）；SynthesEyes GmbH（SynthesEyes公司）；LMU University Hospital（慕尼黑大学附属医院）

该研究提出以显微镜视图为共享锚点的多模态框架，结合手术叙事与iOCT，用双路MS-TCN++实现玻璃体视网膜手术的宏观与微观阶段识别，提升了宏观阶段识别性能，为细粒度测量提供了探索途径。

2026-09-01cs.CV

修补引擎盖下：交互式零样本学习与网络手术

Tinkering Under the Hood: Interactive Zero-Shot Learning with Net Surgery

Carnegie Mellon University（卡内基梅隆大学）

我们考虑视觉网络手术的任务，其中CNN可以在没有额外数据的情况下重新配置，以识别可能从训练集中忽略的新概念。虽然大多数先前的工作利用语言线索进行这种“zero-shot”学习，但我们通过使用训练集的图形语言表示来做到这一点，该训练集由CNN隐式学习，以推广到新的类。为此，我们介绍了一组可视化技术，更好地揭示激活模式和CNN过滤器组之间的关系。接下来，我们证明了图像语言的知识可以用来将某些CNN神经元重新连接到一个部分模型中，我们称之为图像语言分类器。我们证明了简单的PLC的鲁棒性，通过应用它们在一个弱监督的方式：标记未标记的概念存在于训练数据的视觉类。具体来说，我们证明了在为ImageNet分类训练的CNN之上构建的PLC可以在Graz-02中定位人类，并在PASCAL-VOC中确定鸟类的姿态，而无需额外的标记数据或额外的训练。然后，我们以交互式zero-shot方式应用PLC，证明图形语言具有足够的表达力，可以检测到MS-COCO中从未出现在ImageNet训练集中的一组视觉类。

2016-12-15cs.CV

基于锚掩码网的改进RPN单目标检测算法

Impoved RPN for Single Targets Detection based on the Anchor Mask Net

Air Force Engineering University（空军工程大学）

常见目标检测通常是基于单帧图像的，容易受到图像中相似目标的影响，不适用于视频图像。本文提出了锚掩码来增加目标检测的先验知识，并设计了锚掩码网络来提高RPN的单目标检测性能。在VOT2016测试中，该模型表现更好。

2019-06-18cs.CV

EasyVis2：一种由深度神经网络YOLOv8-Pose增强的腹腔镜手术训练实时多视角三维可视化系统

EasyVis2: A Real Time Multi-view 3D Visualization System for Laparoscopic Surgery Training Enhanced by a Deep Neural Network YOLOv8-Pose

University of Wisconsin - Madison（威斯康星大学麦迪逊分校）

EasyVis2系统利用多摄像头穿刺器和YOLOv8-Pose深度神经网络实现腹腔镜手术的实时三维可视化，通过多视角姿态估计提升三维重建精度并降低计算时间。

2025-04-08cs.CV

基于无锚区域建议网络的快速R-CNN文本检测方法

An Anchor-Free Region Proposal Network for Faster R-CNN based Text Detection Approaches

South China University of Technology（华南理工大学）；Microsoft Research Asia（微软亚洲研究院）

Faster R-CNN和SSD框架的锚机制被认为对场景文本检测不够有效，这可以归因于其基于锚和地面真值框之间的IoU匹配标准。为了更好地包围各种形状的场景文本实例，需要人工设计各种尺度、长宽比甚至方向的锚点，这使得基于锚点的方法复杂且效率低下。在本文中，我们提出了一种新的无锚区域建议网络（AF-RPN）来取代Faster R-CNN框架中原始的基于锚的RPN，以解决上述问题。与普通RPN和FPN-RPN相比，AF-RPN可以摆脱复杂的锚点设计，在大规模COCO-Text数据集上获得更高的召回率。由于高质量的文本提案，我们基于Faster R-CNN的两阶段文本检测方法在ICDAR-2017 MLT，ICDAR-2015和ICDAR-2013文本检测基准测试中仅使用单尺度和单模型（ResNet 50）测试时获得了最先进的结果。

2018-04-24cs.CV

SCPM-Net：一种使用球体表示和中心点匹配的无锚点3D肺部病灶检测网络

SCPM-Net: An Anchor-free 3D Lung Nodule Detection Network using Sphere Representation and Center Points Matching

University of Electronic Science and Technology of China（电子科技大学）；SenseTime Research（商汤科技研究院）；Tongji University（同济大学）；Sichuan University West China Hospital（四川大学华西医院）；Rutgers University（罗格斯大学）

从3D计算机断层扫描中检测肺结节在有效的肺癌筛查中起着至关重要的作用。尽管最近基于锚点的检测器使用CNN获得了SOTA性能，但它们需要预先确定的锚点参数，例如锚点的大小，数量和纵横比，并且在处理具有各种大小的肺结节时具有有限的鲁棒性。为了克服这些问题，我们提出了一种基于3D球体表示的中心点匹配检测网络，该网络是无锚的，可以自动预测结节的位置、半径和偏移量，而无需手动设计结节/锚参数。SCPM-Net由两个新的组件组成：球体表示和中心点匹配。首先，为了在临床实践中匹配结节注释，我们将常用的限界框替换为我们提出的边界球，以在3D空间中用质心、半径和局部偏移来表示结节。引入基于相容球的交叉融合损失函数，稳定高效地训练肺结节检测网络。其次，我们通过设计一个积极的中心点选择和匹配过程，自然地丢弃预先确定的锚框，使网络无锚。一个在线的硬例子挖掘和重新聚焦损失随后使CPM过程更加强大，从而导致更准确的点分配和缓解类不平衡。此外，为了更好地捕捉空间信息和3D上下文的检测，我们建议融合多层次的空间坐标地图与特征提取器，并将它们与3D挤压和激发注意力模块相结合。在LUNA 16数据集上的实验结果表明，与现有的基于锚点和无锚点的肺结节检测方法相比，我们提出的框架具有更好的性能。

2022-01-06cs.CV

使用深度神经网络进行区域建议和检测的机器人辅助手术视频中机器人工具的检测和定位

Detection and Localization of Robotic Tools in Robot-Assisted Surgery Videos Using Deep Neural Networks for Region Proposal and Detection

Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）

机器人辅助手术（RAS）视频的视频理解是一个活跃的研究领域。对外科医生的手势和技能水平进行建模提出了一个有趣的问题。所得出的见解可以应用于有效的技能获取、客观的技能评估、实时反馈和人机协作手术。我们提出了一个解决方案的工具检测和本地化开放的问题，在RAS视频理解，使用严格的计算机视觉的方法和深度学习的最新进展。我们提出了一个架构，使用多模态卷积神经网络的快速检测和RAS视频中的工具定位。据我们所知，这种方法将是第一个将深度神经网络用于RAS视频中的工具检测和定位的方法。我们的架构应用区域建议网络（RPN），和多模态双流卷积网络的目标检测，共同预测对象和定位的融合图像和时间的运动线索。我们的平均精度（AP）为91%，每个测试帧检测的平均计算时间为0.1秒，这表明我们的研究优于传统的医学成像方法，同时也强调了使用RPN的精度和效率的好处。我们还介绍了一个新的数据集，ATLAS Dione，RAS视频理解。我们的数据集提供了来自Roswell Park Cancer Institute（RPCI）（Buffalo，NY）的十名外科医生在达芬奇手术系统（dVSS R）上执行六种不同手术任务的视频数据，每帧都有机器人工具的注释。

2020-07-29cs.CV

白内障手术中有效的语义分割：什么最重要？

Effective semantic segmentation in Cataract Surgery: What matters most?

University College London (UCL)（伦敦大学学院）；King’s College London (KCL)（伦敦国王学院）；Moorfields Eye Hospital（摩尔菲尔兹眼科医院）；Institute of Ophthalmology, University College London（伦敦大学学院眼科研究所）；Wellcome/EPSRC Centre for Interventional and Surgical Sciences（惠康/英国工程与物理科学研究委员会介入与外科科学中心）；School of Biomedical Engineering & Imaging Sciences（生物医学工程与影像科学学院）

我们的工作提出了神经网络的设计选择，设置国家的最先进的白内障手术，CaDIS的一个具有挑战性的公共基准。我们的方法在三个语义分割任务中实现了强大的性能，通过有效处理类别不平衡，这是任何手术视频中的固有挑战，手术工具类别集的粒度越来越大。我们考虑和评估两个概念上简单的数据过采样方法以及不同的损失函数。我们在网络架构和任务中显示出显着的性能增益，特别是在最稀有的工具类上，从而提出了一种在考虑不平衡的粒度数据集时实现高性能的方法。我们的代码和训练模型可在www.example.com上获得，未见过的手术视频的定性结果可在www.example.com上找到。

2021-08-13cs.CV

ACE-Net：通过邻域和轮廓估计的精细人脸对齐

ACE-Net: Fine-Level Face Alignment through Anchors and Contours Estimation

SRI International（斯坦福国际研究院）

我们提出了一种新的面部轮廓和轮廓估计框架，ACE网，精细的人脸对齐任务。ACE-Net预测的面部锚点和轮廓比传统的面部标志更丰富，同时克服了其定义中的模糊性和不一致性。我们引入了弱监督损失，使ACE-Net能够从现有的面部标志数据集学习，而无需重新注释。相反，合成数据，从GT轮廓可以很容易地获得，在训练过程中使用，以弥合地标和真实的面部轮廓之间的密度差距。我们评估了ACE-Net相对于HELEN数据集的面部对齐准确性，HELEN数据集有194个注释的面部标志，而它只使用来自300-W数据集的68或36个标志进行训练。我们表明，ACE-Net生成的轮廓优于直接从68个GT地标插值的轮廓，ACE-Net也优于仅在基于GT地标的轮廓的全面监督下训练的模型。

2022-01-09cs.CV

RSDNet：学习从无手动注释的腹腔镜视频中预测剩余手术持续时间

RSDNet: Learning to Predict Remaining Surgery Duration from Laparoscopic Videos Without Manual Annotations

ICube（ICube实验室）；University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）；IRCAD（法国消化外科研究所）

准确的手术时间估计是优化手术室规划的必要条件，对患者的舒适性和安全性以及资源优化起着重要作用。然而，术前预测手术持续时间具有挑战性，因为它取决于患者状况、外科医生技能和术中情况。在本文中，我们提出了一个深度学习管道，称为RSDNet，它只使用来自腹腔镜视频的视觉信息，在术中自动估计剩余手术时间（RSD）。先前用于RSD预测的最先进方法依赖于手动注释，其生成需要昂贵的专业知识并且耗时，特别是考虑到在医院中进行的多种类型的手术和大量可用的腹腔镜视频。RSDNet的一个关键特性是，它在训练过程中不依赖任何手动注释，因此可以轻松扩展到多种手术。通过在包含不同类型手术的两个大型数据集上测试管道，证明了我们方法的普遍性：120个胆囊切除术和170个胃旁路手术视频。实验结果还表明，所提出的网络显着优于传统的方法估计RSD不利用人工注释。此外，这项工作通过对自动学习的特征的可视化和解释，提供了对深度学习网络的更深入了解。

2018-12-03cs.CV

Cataract-1K：用于场景分割、阶段识别和异常检测的白内障手术数据集

Cataract-1K: Cataract Surgery Dataset for Scene Segmentation, Phase Recognition, and Irregularity Detection

University of Bern（伯尔尼大学）；Klinikum Klagenfurt（克拉根福医院）；University of Klagenfurt（克拉根福大学）；Inselspital（伯尔尼 Inselspital 医院）

本文提出最大规模白内障手术视频数据集 Cataract-1K，支持场景分割、阶段识别与术后异常检测，并通过多种前沿模型基准测试和跨域器械分割实验验证其标注质量。

2023-12-11cs.CV

利用计算机视觉自动检测和跟踪开放手术视频中外科医生的手部动作

Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery

Harvard University（哈佛大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）

开放手术或非腹腔镜手术占所有手术室手术的绝大多数，但很少有工具可以客观地评估这些技术。目前的努力涉及基于人类专家的视觉评估。我们利用计算机视觉的进步，引入一种自动化的方法来分析手术执行的视频。一个国家的最先进的卷积神经网络架构的目标检测被用来检测开放手术视频中的手术手。通过将模型预测与快速对象跟踪器相结合来扩展自动评估，以实现外科医生特定的手部跟踪。为了训练我们的模型，我们使用了YouTube上公开的开放手术视频，并用手术手的空间边界框对这些视频进行了注释。我们的模型对操作手的空间检测显著优于使用预先存在的手检测数据集实现的检测，并允许洞察术中运动模式和运动经济性。

2020-12-13cs.CV

SRF-Net：用于无锚点时间动作检测的选择性感受野网络

SRF-Net: Selective Receptive Field Network for Anchor-Free Temporal Action Detection

Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）

时间动作检测是一个具有挑战性的任务，其目的是在时间上定位和识别未修剪的视频中的人的动作。当前主流的一阶段的锚定方法依赖于预定义的锚定，其中的位置和规模的动作实例是由设计师设置的本地化和分类的行动建议。显然，这种基于锚点的训练方法限制了其泛化能力，并且当视频包含丰富的动作变化时会导致性能下降。在这项研究中，我们探讨删除的要求，预先定义的锚的锚的方法。提出了一种新的分类器模型--选择性感受场网络（SRF-Net），该模型可以直接在特征图中估计每个时间位置的位置偏移量和分类得分，并以端到端的方式训练SRF-Net。创新性地，专门设计了称为选择性感受野卷积（SRFC）的构建块，其能够根据特征图中每个时间位置处的输入信息的多个尺度自适应地调整其感受野大小。在THUMOS 14数据集上进行了广泛的实验，并报告了与最先进的方法相比具有优越性的结果。

2021-06-29cs.CV

Deep Selection：一个完全监督的手术记录摄像机选择网络

Deep Selection: A Fully Supervised Camera Selection Network for Surgery Recordings

Keio University（庆应义塾大学）；Keio University School of Medicine（庆应义塾大学医学院）

手术室手术记录是医疗教育和评估的重要任务。然而，记录期望的目标（诸如手术野、手术工具或医生的手）是困难的，因为目标在手术期间被严重遮挡。我们使用一个记录系统，其中多个摄像机嵌入在手术灯中，我们假设至少有一个摄像机在任何给定的时间记录没有遮挡的目标。由于嵌入式摄像机获得多个视频序列，我们解决了选择具有手术最佳视图的摄像机的任务。与传统方法不同，传统方法根据手术野的面积大小选择摄像机，我们提出了一种深度神经网络，通过学习专家注释的监督来预测来自多个视频序列的摄像机选择概率。我们创建了一个数据集，其中记录了六种不同类型的整形手术，并提供了相机切换的注释。我们的实验表明，我们的方法成功地在相机之间切换，并优于三个基线方法。

2023-03-28cs.AIcs.CVcs.LG

从运动流中提取时间先验的微创手术视频器械分割

Incorporating Temporal Prior from Motion Flow for Instrument Segmentation in Minimally Invasive Surgery Video

The Chinese University of Hong Kong（香港中文大学）；Imperial College London（帝国理工学院）

视频中的自动器械分割是机器人辅助微创手术的一个基本而又具有挑战性的问题。在本文中，我们提出了一种新的框架，利用仪器的运动信息，通过将派生的时间之前的注意力金字塔网络进行准确的分割。我们推断的先验可以提供仪器位置和形状的可靠指示，其根据帧间运动流从先前帧传播到当前帧。该先验被注入到编码器-解码器分割网络的中间，作为注意力模块金字塔的初始化，以显式地引导分割输出从粗到细。这样，时间动力学和注意力网络可以有效地相互补充和受益。作为额外的使用，我们的时间先验使半监督学习与周期性未标记的视频帧，简单地通过反向执行。我们在公开的2017 MICCAI EndoVis机器人仪器分割挑战数据集上使用三个不同的任务广泛验证了我们的方法。我们的方法在所有三项任务中始终超过最先进的结果。我们的半监督变体也展示了在临床实践中降低注释成本的有希望的潜力。

2019-07-18cs.CV

基于时空动作定位的白内障手术视频相关性检测

Relevance Detection in Cataract Surgery Videos by Spatio-Temporal Action Localization

Alpen-Adria-Universität Klagenfurt（阿尔卑斯-亚得里亚大学克拉根福）；Klinikum Klagenfurt（克拉根福医院）

在白内障手术中，手术是在显微镜的帮助下进行的。由于显微镜最多只能由两个人观看实时手术，因此手术培训的主要部分是使用录制的视频进行的。为了优化视频内容的训练过程，外科医生需要一种自动相关性检测方法。除了基于相关性的检索，这些结果可以进一步用于白内障手术视频中的技能评估和不规则检测。本文提出了一个三模块框架来检测和分类白内障视频中的相关相位段。利用空闲帧识别网络，将视频分为空闲段和动作段。为了提高相关性检测的性能，使用Mask R-CNN在所有帧中检测进行相关手术动作的角膜。将包含关于瞳孔纹理和动作的较高分辨率信息以及来自相同相位的互补时间信息的时空局部化片段馈送到相关性检测模块中。该模块由四个并行循环CNN组成，负责检测医学专家定义的四个相关阶段。然后将结果进行整合，将行动阶段分类为不相关阶段或四个相关阶段之一。实验结果表明，该方法优于静态CNN和不同配置的基于特征和端到端的递归网络。

2021-04-29cs.CV

用于机器人手术中指代性视频手术器械分割的视频-器械协同网络

Video-Instrument Synergistic Network for Referring Video Instrument Segmentation in Robotic Surgery

Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Imperial College London（帝国理工学院）；Hong Kong University of Science and Technology（香港科技大学）；The General Hospital of Southern Theatre Command of PLA（中国人民解放军南部战区总医院）；National University of Singapore（新加坡国立大学）

本文提出RSVIS任务与VIS-Net，通过融合视频级、器械级信息及图文关系建模实现语言指定的手术器械分割，并发布两个数据集。

2023-08-18cs.CV

基于深度神经网络的全膝关节置换术中手术工具的实时的识别

Real-time Surgical Tools Recognition in Total Knee Arthroplasty Using Deep Neural Networks

University of Hyogo（兵库大学）；Takatsuki Hospital（高槻医院）；International University of Business Agriculture & Technology（国际商业农业与技术大学）

全膝关节置换术（TKA）是一种常见的外科手术，用于缓解膝关节疼痛并改善膝关节炎患者的功能。由于在手术阶段使用不同的手术工具，该过程很复杂。实时的【形】识别手术工具可以成为简化外科医生手术程序的解决方案。此外，手术中工具的存在和运动是识别手术阶段和识别手术工作流程的关键信息。因此，本研究提出了一个实时的【形】系统的开发，用于识别手术工具在手术过程中使用卷积神经网络（CNN）。佩戴智能眼镜的外科医生可以在手术过程中看到有关工具的基本信息，这可能会减少手术的复杂性。为了评估所提出的方法的性能，我们计算并比较了平均平均精度（MAP）与最先进的方法，即快速R-CNN和可变形零件模型（RDT）。我们实现了87.6%的mAP，这是更好的相比，现有的方法。随着我们提出的方法的进一步改进，它可以成为未来的参考点，也是操作阶段识别的基线。

2018-06-06cs.CV

DALNet：一种基于动态锚线的轨道检测网络

DALNet: A Rail Detection Network Based on Dynamic Anchor Line

School of Control Science and Engineering, Dalian University of Technology（大连理工大学控制科学与工程学院）；Dalian Rail Transmit Intelligent Control and Intelligent Operation Technology Innovation Center（大连轨道交通智能控制与智能运维技术创新中心）；Dalian Seasky Automation Co., Ltd（大连海空自动化有限公司）

针对预定义锚线适配性差的问题，提出基于动态锚线机制的轨道检测网络DALNet，构建DL-Rail数据集，实验表明其在多个基准上取得最优性能。

2023-08-24cs.CV

基于锚点剪枝的目标检测

Anchor Pruning for Object Detection

Ghent University（根特大学）；imec（比利时微电子研究中心）

提出了一种基于锚点的目标检测的锚点剪枝方法。虽然修剪技术被广泛用于降低卷积神经网络的计算成本，但它们往往专注于优化大多数计算所在的骨干网络。在这项工作中，我们展示了一个额外的修剪技术，特别是目标检测：锚修剪。随着更高效的骨干网络和在嵌入式系统上部署物体检测器的日益增长的趋势，诸如非最大抑制之类的后处理步骤可能成为瓶颈，检测头中使用的锚定器的影响变得越来越重要。在这项工作中，我们表明，许多锚在目标检测头可以被删除，而不会有任何损失的准确性。通过额外的再训练，锚修剪甚至可以提高准确性。在SSD和MS COCO上进行的大量实验表明，检测头的效率可以提高44%，同时提高精度。在RetinaNet和PASCAL VOC上的进一步实验表明了该方法的有效性。我们还介绍了“overanchorized”模型，可以与锚修剪一起使用，以消除与锚的初始形状相关的超参数。代码和模型可在www.example.com上获得。

2022-06-01cs.CV

双门户内窥镜脊柱手术中手术器械的自动尖端检测

Automatic Tip Detection of Surgical Instruments in Biportal Endoscopic Spine Surgery

Asan Medical Center（峨山医疗中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；Chungnam National University School of Medicine（忠南大学医学院）

一些内窥镜手术需要外科医生用一只手握住内窥镜，用另一只手握住手术器械，以正确的视力执行实际手术。深度学习和机器人技术的最新技术进步可以将机器人技术引入这些内窥镜手术。这可以通过释放外科医生的一只手而具有许多优点，这将允许外科医生使用双手并使用更复杂和复杂的技术。最近，使用卷积神经网络的深度学习在计算机视觉中取得了最先进的成果。因此，本研究的目的是自动检测仪器的尖端，定位一个点，并评估检测精度在双入口内窥镜脊柱手术。定位点可用于这些类型的内窥镜手术中的机器人内窥镜检查的控制器的输入。

2020-03-12cs.CV

用于早期手术类型识别的未来状态预测LSTM

Future-State Predicting LSTM for Early Surgery Type Recognition

ICube, University of Strasbourg, CNRS, IHU Strasbourg（斯特拉斯堡大学ICube、法国国家科学研究中心、斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）；IRCAD（消化癌症外科研究所）；IHU Strasbourg（斯特拉斯堡大学医院研究所）

这项工作提出了一种新的方法，早期识别类型的腹腔镜手术从其视频。早期识别算法可以有益于“智能”OR系统的开发，该系统可以提供自动上下文感知辅助，并且还能够实现快速数据库索引。然而，这项任务面临着腹腔镜领域视频特有的挑战，例如手术之间的高度视觉相似性和视频持续时间的巨大变化。为了捕捉这些视频中的时空依赖性，我们选择卷积神经网络（CNN）和长短期记忆（LSTM）网络的组合作为模型。然后，我们提出了两个互补的方法，以提高早期识别性能。第一种方法是CNN微调方法，该方法鼓励基于腹腔镜视频的初始帧来区分手术。第二种方法被称为“未来状态预测LSTM”，训练LSTM来预测与未来帧相关的信息，这有助于区分不同类型的手术。我们在包含9种手术类型的425个腹腔镜视频（Laparo425）的大型数据集上评估了我们的方法，并且仅观察了手术的前10分钟，平均准确率达到75%。从实践的角度来看，这些结果是非常有希望的，也是令人鼓舞的其他类型的图像引导手术。

2019-09-05cs.CV

基于视频的开放手术操作技能全自动评估

Video-based fully automatic assessment of open surgery suturing skills

Technion – Israel Institute of Technology（以色列理工学院）；Mayo Clinic（梅奥诊所）；Stanford University（斯坦福大学）

本研究的目的是在国内或资源有限的情况下，开发一种新的、可靠的开放式手术模拟系统，用于培养医学生。也就是说，我们开发了一种用于工具和手定位的算法，以及基于简单的网络摄像头视频数据识别它们之间的相互作用，计算用于评估手术技能的运动度量。25名参与者使用我们的模拟器执行多个任务。YOLO网络已被修改为多任务网络，用于工具定位和工具-手交互检测。这是通过拆分YOLO检测头来实现的，这样它们就可以支持这两项任务，而对计算机运行时间的增加最少。此外，基于系统的结果，计算运动度量。这些指标包括传统的指标，如时间和路径长度，以及新的指标评估参与者使用的技术举行的工具。双任务网络的性能与两个网络相似，而计算负载仅略大于一个网络。此外，运动指标显示专家和新手之间的显着差异。虽然视频采集是微创手术的重要组成部分，但它不是开放手术的组成部分。因此，需要新的算法，专注于开放式手术视频存在的独特挑战。在这项研究中，一个双任务网络被开发来解决本地化任务和手工工具的交互任务。双网络可以容易地扩展为多任务网络，这对于具有多个层的图像以及对于评估这些不同层之间的交互可能是有用的。

2022-01-08cs.CVcs.LG

用于腹腔镜与机器人手术中交互事件预测的超图-Transformer（HGT）

Hypergraph-Transformer (HGT) for Interactive Event Prediction in Laparoscopic and Robotic Surgery

Massachusetts General Hospital（麻省总医院）；MIT（麻省理工学院）；UM-SJTU Joint Institute（上海交通大学密歇根学院）；Duke（杜克大学）；University Hospital Cologne（科隆大学医院）

本文提出超图-Transformer（HGT）预测网络，将手术知识图谱编码进网络结构，从腹腔镜视频中预测动作三元组、安全关键视图达成及未达成CVS时的夹闭等关键事件，并在多个手术数据集上验证其优于无结构化方法。

2025-03-10cs.CV

DGA-Net：通过深度提示和图锚引导增强SAM用于伪装物检测

DGA-Net: Enhancing SAM with Depth Prompting and Graph-Anchor Guidance for Camouflaged Object Detection

DGA-Net通过深度提示和图锚引导增强SAM，提升伪装物检测的精度和一致性。

2026-01-06cs.CV

DeepPyramid：在白内障手术视频中启用金字塔视图和可变形金字塔接收以进行语义分割

DeepPyramid: Enabling Pyramid View and Deformable Pyramid Reception for Semantic Segmentation in Cataract Surgery Videos

University of Bern（伯尔尼大学）；Alpen-Adria-Universität Klagenfurt（克拉根福阿尔卑斯-亚德里亚大学）

白内障手术中的语义分割具有广泛的应用，有助于提高手术效果和降低临床风险。然而，在这些手术中分割不同相关结构的不同问题使得独特网络的指定非常具有挑战性。本文提出了一个语义分割网络，称为DeepPyramid，它可以使用三个新颖性来处理这些挑战：（1）金字塔视图融合模块，它提供以输入卷积特征图中的每个像素位置为中心的周围区域的变角度全局视图;（2）可变形金字塔接收模块，其实现能够适应感兴趣对象中的几何变换的宽的可变形感受野;以及（3）自适应地监督多尺度语义特征图的专用金字塔损失。结合起来，我们表明，这些模块可以有效地提高语义分割的性能，特别是在透明性，变形性，可扩展性和钝边的对象。我们证明了我们的方法在最先进的水平上执行，并优于一些现有的方法，具有很大的利润率（3.66%的整体改善，在交集超过工会相比，最好的竞争对手的方法）。

2022-07-04cs.CV

基于模型交互的锚点修饰的航空影像鲁棒目标检测

Anchor Retouching via Model Interaction for Robust Object Detection in Aerial Images

Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；National Research Lobachevsky State University of Nizhny Novgorod（下诺夫哥罗德国立研究型罗巴切夫斯基大学）；University of Leicester（莱斯特大学）

目标检测在计算机视觉中取得了巨大的进步。外观退化的小目标检测是一个突出的挑战，特别是对于航空观测。为了收集足够的正/负样本进行启发式训练，大多数对象检测器都会预设区域锚点，以便根据地面真实数据计算Intersection-over-Union（IoU）。在这种情况下，小物体经常被遗弃或贴错标签。本文提出了一种有效的动态增强锚（DEA）网络来构造一种新的训练样本生成器。与其他最先进的技术不同，所提出的网络利用一个样本筛选器来实现基于锚的单元和无锚单元之间的交互式样本筛选，以生成合格的样本。此外，多任务联合训练与保守的基于锚点的推理方案，提高了所提出的模型的性能，同时降低了计算复杂性。该方案支持定向和水平目标检测任务。在两个具有挑战性的空中基准上进行了广泛的实验（即，DOTA和HRSC 2016）表明，我们的方法在准确性方面达到了最先进的性能，具有中等的推理速度和训练的计算开销。在DOTA上，我们的DEA-Net集成了RoI-Transformer的基线，对于具有较弱骨干网络的定向目标检测（ResNet-101 vs ResNet-152），我们的DEA-Net超过了0.40%的平均平均精度（mAP），对于具有相同骨干网络的水平目标检测，我们的DEA-Net超过了3.08%的平均精度（mAP）。此外，我们的DEA-Net集成了基线的Redet达到了最先进的性能80.37%。在HRSC …

2021-12-13cs.CV

CFC-Net：一种面向目标的遥感图像目标检测关键特征捕获网络

CFC-Net: A Critical Feature Capturing Network for Arbitrary-Oriented Object Detection in Remote Sensing Images

Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）

光学遥感图像中目标的目标检测是一项重要而又具有挑战性的任务。近年来，基于卷积神经网络的方法取得了很大的进展。然而，由于目标尺度、长宽比和任意方向的变化较大，检测性能难以进一步提高。本文讨论了区分特征在目标检测中的作用，并提出了一种关键特征捕获网络（CFC-Net），从构建强大的特征表示、细化预设锚点和优化标签分配三个方面提高检测精度。具体来说，我们首先解耦的分类和回归功能，然后通过极化注意力模块（PAM）构建适合各自任务的强大的关键功能。利用提取的判别回归特征，旋转锚点细化模块（R-ARM）对预设的水平锚点进行定位细化，以获得更优的旋转锚点。其次，动态锚点学习（DAL）策略给出了自适应选择高质量的锚点的基础上，他们的能力，以捕捉关键功能。该框架为遥感图像中的对象创建了更强大的语义表示，并实现了高性能的实时目标检测。在HRSC 2016、DOTA和UCAS-AOD三个遥感数据集上的实验结果表明，与许多最先进的方法相比，该方法具有更好的检测性能。代码和型号可在https://github.com/ming71/CFC-Net上获得。

2021-08-16cs.CV

U-NetPlus：一种改进的用于手术器械语义和实例分割的编解码器U-Net结构

U-NetPlus: A Modified Encoder-Decoder U-Net Architecture for Semantic and Instance Segmentation of Surgical Instrument

Rochester Institute of Technology（罗切斯特理工学院）；Center for Imaging Science（影像科学中心）；Biomedical Engineering（生物医学工程）

传统的治疗方法由于有限的视野而限制了外科医生的灵活性控制。随着机器人辅助手术的出现，微创手术的医疗技术发生了范式转变。然而，在手术场景中跟踪手术器械的位置是非常具有挑战性的，并且手术工具的准确检测和识别是至关重要的。手术视频帧中基于深度学习的语义分割有可能促进这一任务。在这项工作中，我们修改了名为U-NetPlus的U-Net架构，通过引入预训练的编码器并重新设计解码器部分，通过使用基于最近邻（NN）插值的上采样操作替换转置卷积操作。为了进一步提高性能，我们还采用了非常快速和灵活的数据增强技术。我们在8 x 225帧机器人手术视频序列上训练了框架，这些视频可通过MICCAI 2017 EndoVis Challenge数据集获得，并在8 x 75帧和2 x 300帧视频上进行了测试。使用我们的U-NetPlus架构，我们报告了90.20%的DICE用于二进制分割，76.26%的DICE用于仪器部件分割，46.07%用于仪器类型（即，所有仪器）分割，优于在这些数据上实施和测试的先前技术的结果。

2019-02-24cs.CV

眼科手术图像的人脸验证与伪造检测

Face Verification and Forgery Detection for Ophthalmic Surgery Images

Vivekanand Education Society’s Institute of Technology（维韦卡南达教育协会技术学院）

虽然现代人脸验证系统是可访问的和准确的，但它们并不总是对姿势变化和遮挡鲁棒的。此外，精确的模型需要大量的数据来进行训练。我们的实验结构是基于从一个资助眼科手术的非政府组织获得的少量数据。我们将面部验证任务设置为验证接受眼科手术的患者的术前和术后图像，因此术后图像具有像眼罩一样的遮挡。在本文中，我们提出了一个系统，使用一次性学习执行人脸验证任务。为此，我们的论文使用了深度卷积网络，并比较了不同的模型架构和损失函数。我们最好的模型达到了85%的测试准确率。在推理时间，我们还试图检测图像foreigners除了执行人脸验证。为了实现这一点，我们使用错误级别分析。最后，我们提出了一个推理流水线，演示了如何使用这些技术来实现自动人脸验证和伪造检测系统。

2018-11-15cs.CV

DeepPyram：在白内障手术视频中启用金字塔视图和可变形金字塔接收以进行语义分割

DeepPyram: Enabling Pyramid View and Deformable Pyramid Reception for Semantic Segmentation in Cataract Surgery Videos

Klagenfurt University（克拉根福大学）

白内障手术中的语义分割具有广泛的应用，有助于提高手术效果和降低临床风险。然而，在分割不同的相关实例时存在的各种问题使得指定一个独特的网络非常具有挑战性。本文提出了一种称为DeepPyram的语义分割网络，该网络可以在白内障手术视频中分割具有不同问题的相关对象时实现卓越的性能。这种优越性主要源于三个模块：（i）金字塔视图融合，其提供以输入卷积特征图中的每个像素位置为中心的周围区域的不同角度的全局视图;（ii）可变形金字塔接收，其实现可以适应感兴趣对象中的几何变换的宽的可变形感受野;以及（iii）自适应监督多尺度语义特征映射的金字塔损失。这些模块可以有效地提高语义分割性能，特别是在对象的透明性、可变形性、可伸缩性和钝边的情况下。所提出的方法进行评估，使用四个数据集的白内障手术的对象具有不同的上下文功能，并与13个国家的最先进的分割网络进行比较。实验结果证实，DeepPyram优于竞争对手的方法，而无需施加额外的可训练参数。我们全面的消融研究进一步证明了所提出的模块的有效性。

2021-09-11cs.CVcs.LG

FA-RPN：浮动区域人脸检测算法

FA-RPN: Floating Region Proposals for Face Detection

我们提出了一种新的方法来生成区域的建议进行人脸检测。我们采用基于池化的方法来生成区域建议，而不是使用卷积特征图中像素的特征对锚框进行分类。然而，汇集数十万个锚，这些锚被评估用于生成建议，成为推理过程中的计算瓶颈。为此，提出了一种有效的锚放置策略，以减少锚盒的数量。然后，我们表明，我们的网络（浮动锚区域建议网络，FA-RPN）生成的建议是优于RPN生成区域建议的人脸检测。我们讨论了FA-RPN建议的几个有益功能，如迭代细化，分数锚点的放置和更改锚点，这些功能可以在不对训练模型进行任何更改的情况下启用。我们基于FA-RPN的人脸检测器在WIDER数据集上获得了89.4%的mAP，具有ResNet-50骨干。

2018-12-13cs.CV

用于时序动作检测的边界离散化与可靠分类网络

Boundary Discretization and Reliable Classification Network for Temporal Action Detection

School of Computer and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院）

针对时序动作检测中混合框架的锚点设计局限和假阳性问题，提出BDRC-Net，通过边界离散化模块融合锚点与无锚点方法，并利用可靠分类模块降低误检，在多个基准上取得竞争性性能。

2024-06-07cs.CV

RbFT-Net：用于4D雷达-相机深度补全的融合前校正时间雷达锚点

RbFT-Net: Rectify-Before-Fuse Temporal Radar Anchors for 4D Radar-Camera Depth Completion

本文提出RbFT-Net框架，通过图像条件校正模块校正雷达锚点并选择性传播，解决雷达测量的稀疏与干扰问题，在相关数据集上的深度补全性能优于对比方法。

2026-08-14cs.CV

SATR-DL：利用深度神经网络改善机器人辅助手术中的手术技能评估和任务识别

SATR-DL: Improving Surgical Skill Assessment and Task Recognition in Robot-assisted Surgery with Deep Neural Networks

目的：本文主要研究机器人辅助手术中手术运动轮廓的自动分析，用于客观的技能评估和任务识别。现有的技术严重依赖于传统的统计措施或浅建模的基础上手工设计的功能和手势分割。这样的发展需要大量的专业知识，容易出错，并且在线自适应训练系统的效率较低。研究方法：在这项工作中，我们提出了一个有效的分析框架与并行的深度学习架构，SATR-DL，以评估受训者的专业知识和认识手术培训活动。通过端到端的学习技术，直接从原始运动序列中联合获得空间表示和时间动态的抽象信息。结果如下：通过利用共享的高级表示学习，所得到的模型在识别受训者技能和手术任务、缝合、穿针和打结方面是成功的。与此同时，我们探讨了集成在分类中的使用在审判的水平，其中SATR-DL优于国家的最先进的性能，分别达到0.960和1.000的准确率在技能评估和任务识别。结论：这项研究强调了SATR-DL在智能机器人手术中为有效的数据驱动评估提供改进的潜力。

2018-06-15cs.CVcs.RO

PitVQA：用于垂体手术视觉问答的图像接地文本嵌入LLM

PitVQA: Image-grounded Text Embedding LLM for Visual Question Answering in Pituitary Surgery

Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS)（惠康/工程与物理科学研究理事会介入与外科科学中心（WEISS））；University College London（伦敦大学学院）；The Chinese University of Hong Kong（香港中文大学）；National Hospital for Neurology and Neurosurgery（国家神经学与神经外科医院）

本文提出PitVQA数据集和PitVQA-Net模型，通过图像接地文本嵌入增强GPT2，用于垂体手术VQA，在PitVQA和EndoVis18-VQA上分别提升平衡准确率8%和9%。

2024-05-22cs.CV

LensID：一种基于CNN-RNN的白内障手术视频中晶状体不规则检测框架

LensID: A CNN-RNN-Based Framework Towards Lens Irregularity Detection in Cataract Surgery Videos

Alpen-Adria-Universität Klagenfurt（克拉根福阿尔卑斯-亚德里亚大学）；Klinikum Klagenfurt（克拉根福医院）

白内障手术后的严重并发症是晶状体植入物脱位，导致视力下降和眼外伤。为了降低这种并发症的风险，在手术过程中发现危险因素至关重要。然而，使用大量视频研究晶状体脱位及其可疑风险因素之间的关系是一个耗时的过程。因此，外科医生需要一种自动方法，以实现更大规模的，因此，更可靠的研究。在本文中，我们提出了一个新的框架，镜头不规则检测的主要步骤。特别是，我们提出了（I）一个端到端的递归神经网络来识别晶状体植入阶段和（II）一个新的语义分割网络来分割植入阶段后的晶状体和瞳孔。相位识别的结果表明所提出的手术相位识别方法的有效性。此外，分割结果证实了所提出的分割网络的有效性相比，国家的最先进的竞争对手的方法。

2021-07-02cs.CVeess.IV

用于无锚点目标检测的可转移对抗示例

Transferable Adversarial Examples for Anchor Free Object Detection

Chengdu University of Information Technology（成都信息工程大学）；Keya Medical（科亚医疗）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Microsoft Research Asia（微软亚洲研究院）

深度神经网络已被证明容易受到对抗攻击：细微的扰动可以完全改变预测结果。该漏洞导致了这一方向的研究激增，包括对目标检测网络的对抗攻击。然而，以前的研究致力于攻击基于锚的对象检测器。在本文中，我们提出了第一个对抗攻击锚无对象检测器。它对对象检测器进行分类攻击，而不是以前的实例攻击，并利用高级语义信息有效地生成可转移的对抗性示例，这些示例也可以转移到攻击其他对象检测器，甚至是基于锚点的检测器，如Faster R-CNN。两个基准数据集上的实验结果表明，我们提出的方法达到了最先进的性能和可移植性。

2021-06-04cs.CV

ReCal-Net：用于白内障手术视频语义分割的联合区域-通道校准网络

ReCal-Net: Joint Region-Channel-Wise Calibrated Network for Semantic Segmentation in Cataract Surgery Videos

Department of Information Technology, Alpen-Adria-Universität Klagenfurt（克恩滕州阿尔卑斯-亚得里亚大学信息技术系）；Department of Ophthalmology, Klinikum Klagenfurt（克拉根福医院眼科）

手术视频中的语义分割是提高手术效果和手术视频分析的广泛应用的先决条件。然而，手术视频中的语义分割涉及许多挑战。特别是，在白内障手术中，相关对象的各种特征，如钝边、颜色和上下文变化、反射、透明度和运动模糊，对语义分割提出了挑战。在本文中，我们提出了一种新的卷积模块称为\textit{ReCal}模块，它可以校准的特征图，采用区域内和相互依赖性和通道区域交叉依赖性。该标定策略考虑了以每个像素为中心的多角度局部视图，通过关联同一语义标签的不同表示，可以有效地增强语义表示。因此，所提出的模块可以处理远的视觉特征的独特的对象，以及交叉相似性的视觉特征的不同对象。此外，我们提出了一种新的网络架构的基础上提出的模块称为ReCal-Net。实验结果证实了ReCal-Net与竞争对手的最先进的方法相比，在白内障手术中的所有相关对象的优越性。此外，消融研究揭示了ReCal模块在提高语义分割准确性方面的有效性。

2021-09-25cs.CVcs.LGeess.IV

微创手术中器械的同时识别和位姿估计

Simultaneous Recognition and Pose Estimation of Instruments in Minimally Invasive Surgery

University of Bern（伯尔尼大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University College London（伦敦大学学院）；Bern University Hospital（伯尔尼大学医院）

在微创手术中，手术器械的检测在确保患者安全方面起着关键作用。在本文中，我们提出了一种新的方法，二维视觉为基础的识别和姿态估计的手术器械，推广到不同的手术应用。在其核心，我们提出了一种新的场景模型，以同时识别多个仪器以及它们的零件。我们使用卷积神经网络架构来体现我们的模型，并表明交叉熵损失非常适合优化其参数，这些参数可以以端到端的方式进行训练。我们的方法的另一个优点是，仪器检测在测试时实现，同时避免了规模依赖的滑动窗口评估的需要。这使得我们的方法在测试时相对无参数，并显示出良好的性能，仪器检测和跟踪。我们表明，我们的方法超越了最先进的结果在体内视网膜显微手术图像数据，以及离体腹腔镜序列。

2017-10-18cs.CV

从Robust Anchor的视角看到小面孔

Seeing Small Faces from Robust Anchor's Perspective

Carnegie Mellon University（卡内基梅隆大学）

本文介绍了一种新的锚设计，以支持基于锚的人脸检测优越的尺度不变性能，特别是对微小的脸。为了实现这一点，我们明确地解决了基于锚点的检测器在具有微小尺寸（例如小于16x16像素）的面部上性能急剧下降的问题。在本文中，我们将探讨为什么会出现这种情况。我们发现，目前的锚点设计不能保证微小面和锚点框之间的高度重叠，这增加了训练的难度。提出了新的期望最大重叠（EMO）分数，它可以从理论上解释低重叠问题，并启发了新的锚设计的几种有效策略，导致更高的人脸重叠，包括锚步幅减少与新的网络架构，额外的移位锚，随机人脸移位。综合实验表明，我们提出的方法显着优于基线基于锚的检测器，同时始终实现最先进的结果具有竞争力的运行时速度具有挑战性的人脸检测数据集。

2018-02-25cs.CV

深度学习辅助的白内障手术视频分析

Deep-Learning-Assisted Analysis of Cataract Surgery Videos

Alpen-Adria-Universität Klagenfurt（阿尔卑斯-亚得里亚大学克拉根福分校）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）；University of Bern（伯尔尼大学）；University of Geneva（日内瓦大学）

本文围绕白内障手术视频分析，提出时空定位、相关性压缩、鲁棒卷积模块、异常检测及自监督分割表征学习等方法，以支撑高效情境感知手术系统。

2023-12-10cs.CV

机器人手术中的图结构表示学习与推理

Learning and Reasoning with the Graph Structure Representation in Robotic Surgery

National University of Singapore（新加坡国立大学）；Imperial College London（伦敦帝国学院）；Singapore General Hospital（新加坡中央医院）

在复杂的手术环境中，学习推断图形表示和执行空间推理可以在机器人手术中的手术场景理解中发挥至关重要的作用。为此，我们开发了一种方法来生成场景图，并预测机器人辅助手术期间器械和手术感兴趣区域（ROI）之间的手术交互。我们设计了一个注意力链接函数，并结合一个图形解析网络来识别手术交互。为了将每个节点嵌入相应的相邻节点特征，我们进一步将SageConv纳入网络。场景图生成和活动边缘分类主要依赖于从复杂图像表示中嵌入或特征提取节点和边缘特征。在这里，我们经验性地证明了特征提取方法，采用标签平滑加权损失。平滑硬标签可以避免模型的过度自信预测，并增强倒数第二层学习的特征表示。为了获得图形场景标签，我们与机器人手术经验丰富的临床专家一起在机器人场景分割挑战2018数据集上注释限界框和仪器-ROI交互，并使用它来评估我们的主张。

2020-09-10cs.CVeess.IV

SpecstatOR：用于眼科手术的基于散斑统计的 iOCT 分割网络

SpecstatOR: Speckle statistics-based iOCT Segmentation Network for Ophthalmic Surgery

Technische Universitat Munchen（慕尼黑工业大学）；TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；Carl Zeiss Meditec AG（卡尔蔡司医疗技术股份公司）

本文提出 SpecstatOR，利用 iOCT 散斑的 Gamma 分布统计参数与二值图区分视网膜组织和手术器械，从而在无人工标注情况下提升未见数据分割性能。

2024-04-30cs.CVeess.IV

基于卷积神经网络的深度学习机器人辅助手术中的客观技能评估

Deep Learning with Convolutional Neural Network for Objective Skill Evaluation in Robot-assisted Surgery

The University of Texas at Dallas（得克萨斯大学达拉斯分校）；UT Southwestern Medical Center（得克萨斯大学西南医学中心）

随着机器人辅助手术的出现，数据驱动方法整合统计和机器学习的作用正在迅速增长，对客观手术技能评估的兴趣也越来越大。然而，大多数现有的工作需要将机器人运动学转换为中间特征或手势片段，这些特征或手势片段提取起来很昂贵，缺乏效率，并且需要大量的特定领域知识。我们提出了一个分析性的深度学习框架，用于外科培训中的技能评估。实施深度卷积神经网络以将运动学的多变量时间序列数据映射到个体技能水平。我们在公共微创手术机器人数据集JHU-ISI手势和技能评估工作集（JIGSAWS）上进行实验。我们提出的学习模型在标准训练任务中分别达到了92.5%，95.4%和91.3%的准确率：缝合，穿针和打结。不需要工程特征或精心调整的手势分割，我们的模型可以通过端到端学习成功地从原始运动轮廓中解码技能信息。同时，该模型能够在1-3秒的窗口内可靠地解释技能，而不需要观察整个训练试验。这项研究强调了深度架构在现代外科培训中进行熟练在线技能评估的潜力。

2019-03-07cs.CVcs.RO

机器人辅助手术中执行错误的快速检测

Runtime Detection of Executional Errors in Robot-Assisted Surgery

University of Virginia（弗吉尼亚大学）

尽管手术机器人的设计和客观评估手术技能的自动化技术取得了重大进展，但在确保机器人辅助微创手术（RMIS）的安全性方面仍然存在挑战。本文提出了一种运行时监测系统，通过分析运动学数据检测手术任务中的执行错误。所提出的系统结合了双连体神经网络和手术背景知识，包括手术任务和手势，它们的分布相似性，以及常见的错误模式，学习正常和错误的手术轨迹之间的差异，从小的训练数据集。我们使用JIGSAWS数据集的缝合和穿针任务的干实验室演示，与使用不同水平的上下文知识和训练数据训练的单个CNN和LSTM网络相比，评估了使用Siamese网络的错误检测性能。我们的研究结果表明，手势特定任务非特异性Siamese网络获得了0.94（Siamese-CNN CNN）和0.95（Siamese-LSTM）的微F1分数，并且比单个CNN（0.86）和LSTM（0.87）网络表现更好。这些Siamese网络在缝合和穿针方面的表现也优于手势非特定任务特定的Siamese-CNN和Siamese-LSTM模型。

2022-03-01cs.CVcs.LGcs.RO

LargeMvC-Net: 面向大规模多视图聚类的基于锚点的深度展开网络

LargeMvC-Net: Anchor-based Deep Unfolding Network for Large-scale Multi-view Clustering

Fuzhou University（福州大学）；Shandong Academy of Sciences（山东省科学院）

针对现有基于锚点的深度多视图聚类方法设计启发式、忽略优化原则的问题，该研究将大规模锚点多视图聚类的优化迭代展开为LargeMvC-Net，通过三个对应优化步骤的模块与无监督重建损失实现聚类，在基准测试中有效性和可扩展性均优于SOTA方法。

2025-08-01cs.CVstat.COstat.ML

机器人手术中器械分割的有效结构研究

Searching for Efficient Architecture for Instrument Segmentation in Robotic Surgery

Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）

手术器械的分割是机器人辅助手术中的一个重要问题：它是实现完整器械姿态估计的关键一步，并且直接用于手术过程中增强现实覆盖的掩蔽。大多数应用依赖于高分辨率手术图像的准确实时分割。虽然以前的研究主要集中在提供高精度分割掩模的方法上，但由于其计算成本，大多数方法不能用于实时应用。在这项工作中，我们设计了一个轻量级和高效的深度残差架构，该架构被调整为执行高分辨率图像的实时推理。为了解释所发现的轻量级深度残差网络的准确性降低，并避免增加任何额外的计算负担，我们对网络的残差单元的膨胀率进行了可微搜索。我们在EndoVis 2017 Robotic Instruments数据集上测试了我们发现的架构，并验证了我们的模型在速度和准确性方面是最先进的，在高分辨率图像上的速度高达125 FPS。

2020-07-08cs.CVeess.IV

基于超分辨率的机器人辅助微创手术环境实时增强

Real-time Surgical Environment Enhancement for Robot-Assisted Minimally Invasive Surgery Based on Super-Resolution

Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；PAII Inc（PAII公司）

在机器人辅助微创手术（RAMIS）中，通常需要摄像机助手按照外科医生的指示控制腹腔镜的位置和缩放比例。然而，频繁移动腹腔镜可能会导致不稳定和次优视图，而缩放比例的调整可能会中断外科手术的工作流程。为此，我们提出了一种基于多尺度生成对抗网络（GAN）的视频超分辨率方法来构建自动缩放比例调整的框架。它可以在手术过程中提供自动实时缩放，以实现感兴趣区域（ROI）的高质量可视化。在该框架的流水线中，核相关滤波器（KCF）跟踪器用于跟踪手术工具的尖端，而基于半全局块匹配（SGBM）的深度估计和基于递归神经网络（RNN）的上下文感知被开发来确定缩放的放大率。该框架与JIGSAW数据集和哈姆林中心腹腔镜/内窥镜视频数据集进行了验证，结果表明其实用性。

2020-11-08cs.CVeess.IV

ARO-Net：从锚定径向观测学习隐场

ARO-Net: Learning Implicit Fields from Anchored Radial Observations

Shenzhen University（深圳大学）；Simon Fraser University（西蒙弗雷泽大学）；Reichman University（赖希曼大学）

我们引入锚定径向观测（ARO），一种新的形状编码，用于学习3D形状的隐式场表示，该形状在显著的形状变化中是类别不可知的和可推广的。我们工作背后的主要思想是通过一组称为锚点的观点的部分观察来推理形状。我们开发了一个通用的和统一的形状表示采用固定的一组锚，通过Fibonacci采样，并设计了一个基于坐标的深度神经网络来预测空间中的查询点的占用值。与使用全局形状特征的先前神经隐式模型不同，我们的形状编码器对上下文，查询特定的特征进行操作。为了预测点占用率，在执行隐式解码之前，通过关注模块对从围绕输入查询点的锚点的角度观察到的局部形状信息进行编码和聚合。我们展示了我们的网络的质量和通用性，创造了ARO-Net，从稀疏点云的表面重建，对新的和看不见的对象类别进行测试，“一种形状”训练，并与最先进的神经和经典方法进行比较重建和镶嵌。

2023-03-26cs.CVcs.GR

带定向锚箱的全卷积抓取检测网络

Fully Convolutional Grasp Detection Network with Oriented Anchor Box

Xi’an Jiaotong University（西安交通大学）

在本文中，我们提出了一个实时的方法来预测多个抓取位姿的平行板机器人抓手使用RGB图像。提出了一种具有定向锚箱机制的模型，并在训练过程中采用了一种新的匹配策略。在我们的工作中采用了一个端到端的完全卷积神经网络。该网络由两部分组成：特征提取器和多抓取预测器。特征提取器是深度卷积神经网络。多抓取预测器从预定义的定向矩形（称为定向锚盒）回归抓取矩形，并将矩形分类为可抓取和不可抓取。在标准Cornell Grasp数据集上，我们的模型在图像分割和对象分割上分别达到了97.74%和96.61%的准确率，并且在图像分割上比最新的最先进方法高出1.74%，在对象分割上高出0.51%。

2018-03-06cs.CVcs.RO