PseudoEdgeNet: Nuclei Segmentation only with Point Annotations
Lunit Inc.（Lunit公司）
细胞核分割是数字病理学中整张切片图像分析的重要任务之一。随着深度学习的迅猛发展，最近的深度网络已经成功地完成了细胞核分割任务。然而，实现良好性能的一个主要瓶颈是注释的成本。大型网络需要大量的分割掩码，而这个注释任务交给了病理学家，而不是公众。在本文中，我们提出了一种弱监督核分割方法，它只需要点注释进行训练。这种方法可以扩展到大的训练集，因为标记细胞核的点比精细分割掩模便宜得多。为此，我们引入了一种新的辅助网络，称为PseudoEdgeNet，它指导分割网络识别细胞核边缘，即使没有边缘注释。我们用两个公共数据集对我们的方法进行了评估，结果表明该方法始终优于其他弱监督方法。
2019-07-22 cs.CV
BoxNet: Deep Learning Based Biomedical Image Segmentation Using Boxes Only Annotation
University of Notre Dame（圣母大学）；The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）
近年来，深度学习（DL）方法已成为生物医学图像分割的有力工具。然而，通常需要高注释工作量和成本才能为DL模型获取足够的生物医学训练数据。为了减轻人工标注的负担，在本文中，我们提出了一种新的弱监督DL方法的生物医学图像分割仅使用框注释。首先，我们开发了一种方法，结合图搜索（GS）和DL从框注释生成精细的对象掩模，其中DL使用框注释来计算GS的粗略分割，然后GS被应用于定位最佳对象边界。在掩码生成过程中，我们仔细地利用信息框注释过滤掉潜在的错误，然后使用生成的掩码训练一个准确的DL分割网络。对组织学图像中的腺体分割、超声图像中的淋巴结分割和电子显微镜图像中的真菌分割进行的大量实验表明，我们的方法比最著名的最先进的弱监督DL方法具有更好的性能，并且能够实现（1）与完全监督DL方法相比几乎相同的准确度，（2）在相似的注释时间下显著更好的结果，以及（3）在各种应用中的鲁棒性能。
2018-06-02 cs.CV
FPG-Seg: Annotation-free Retinal Vessel Topology Segmentation
University of Oxford（牛津大学）
FPG-Seg是一种结合经典血管性滤波、贝叶斯深度学习与拓扑感知图重构的无标注视网膜血管分割流水线，在四个基准数据集上达到全监督基线86%-98%的性能，还提供了其在FIVES上的首个无标注方法性能基准。
2026-10-16 cs.CV
Full or Weak annotations? An adaptive strategy for budget-constrained annotation campaigns
University of Bern（伯尔尼大学）；Inselspital Bern（伯尔尼 Inselspital 医院）
为机器学习任务注释新数据集是繁琐、耗时且成本高昂的。对于分割应用，负担特别高，因为相关图像内容的手动描绘通常非常昂贵，或者只能由具有特定领域知识的专家完成。由于迁移学习和弱监督训练的发展，分割模型现在也可以从不同类型的注释中受益匪浅。然而，对于任何希望使用弱监督的新领域应用程序，数据集构建器仍然需要定义一个策略来分发完整的分割和其他弱注释。然而，这样做具有挑战性，因为如何为给定的新数据集分配注释预算是先验未知的。为此，我们提出了一种新的方法来确定分割数据集的注释策略，从而估计在给定固定预算的情况下应该收集多大比例的分割和分类注释。为此，我们的方法通过对最终分割模型的预期改进进行建模，依次确定要收集的分割和分类注释的比例。我们在实验中表明，我们的方法产生的注释对于许多不同的注释预算和数据集都非常接近最优。
2023-03-21 cs.CV
Annotation Free Semantic Segmentation with Vision Foundation Models
Toyota Motor Europe（丰田汽车欧洲公司）
本研究针对语义分割需大量昂贵像素级标注的问题，利用CLIP、SAM等基础模型生成免费标注，结合DinoV2构建轻量对齐模块，实现了仅需少量训练、无人工标注的零样本语义分割。
2024-09-13 cs.CV
Self-Supervision with Superpixels: Training Few-shot Medical Image Segmentation without Annotation
Imperial College London（帝国理工学院）；BioMedIA Group, Department of Computing（计算系BioMedIA小组）
Few-Shot语义分割（FSS）在医学成像领域有着巨大的应用潜力。大多数现有的FSS技术需要大量的注释语义类进行训练。然而，由于缺乏注释，这些方法可能不适用于医学图像。为了解决这个问题，我们做了几个贡献：（1）一个新的自监督FSS框架的医学图像，以消除在训练过程中的注释的要求。此外，生成基于超像素的伪标签以提供监督;（2）插入原型网络的自适应局部原型池化模块，以解决医学图像分割中常见的具有挑战性的前景-背景不平衡问题;（3）我们使用三个不同的任务证明了所提出的方法对医学图像的普遍适用性：用于CT和MRI的腹部器官分割，以及用于MRI的心脏分割。我们的研究结果表明，对于医学图像分割，所提出的方法优于传统的FSS方法，需要手动注释训练。
2020-10-06 cs.CV
PM-VIS+: High-Performance Video Instance Segmentation without Video Annotation
Nanjing Audit University（南京审计大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Lucid Motors（lucid汽车公司）
本文提出PM-VIS+方法，通过利用图像数据集、ImageNet-bbox补充类别、伪掩码与半监督优化，在无需视频标注的情况下实现高性能视频实例分割。
2024-06-28 cs.CV
Active Learning Enabled Low-cost Cell Image Segmentation Using Bounding Box Annotation
College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
本文提出结合YOLOv8与SAM的YOLO-SAM边界框监督方法，并集成MC DropBlock主动学习框架，以极低标注成本实现细胞图像分割，实验显示可节省90%以上标注时间。
2024-05-02 cs.CV
Automatic CT Segmentation from Bounding Box Annotations using Convolutional Neural Networks
Zhejiang University（浙江大学）；The First Affiliated Hospital, Zhejiang University School of Medicine（浙江大学医学院附属第一医院）
医学图像的准确分割对于临床诊断具有重要意义。现有的自动分割方法主要基于全监督学习，对精确标注的要求极高，获取成本高，耗时长。针对这一问题，提出了一种基于弱监督学习的CT图像自动分割方法，该方法只需要边界框形式的弱标注就可以训练出精确的分割模型。该方法由两个步骤组成：1）通过k-means聚类生成带有限界框注释的伪掩模; 2）迭代训练3D U-Net卷积神经网络作为分割模型。一些数据预处理方法被用来提高性能。该方法在包含三种类型器官的四个数据集上进行了验证，共627个CT体积。对于肝脏、脾脏和肾脏的分割，其准确率分别为95.19%、92.11%和91.45%。实验结果表明，该方法准确、高效，适合于临床应用。
2021-06-09 cs.CV
Modeling Annotator Preference and Stochastic Annotation Error for Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
医学图像的人工标注具有很强的主观性，导致不可避免的巨大标注偏差。深度学习模型可能在各种任务上超越人类的表现，但它们也可能模仿或放大这些偏见。虽然我们可以有多个注释者并融合他们的注释以减少随机错误，但我们不能使用这种策略来处理注释者偏好引起的偏差。在本文中，我们强调了医学图像分割任务的注释者相关的偏见的问题，并提出了一个涉及偏好的注释分布学习（PADL）框架来解决这个问题，从使用分布学习从随机错误中分离注释者的偏好的角度，从而产生不仅是Meta分割，而且每个注释者可能进行的分割。在此框架下，随机误差模型（SEM）模块估计Meta分割图和平均随机误差图，和一系列的人类偏好模型（HPM）模块估计每个注释者的分割和相应的随机误差。我们评估了我们的PADL框架上的两个医学图像基准与不同的成像方式，这已被多个医学专业人士注释，并取得了良好的性能在所有五个医学图像分割任务。
2022-03-22 cs.CV
Annotation-cost Minimization for Medical Image Segmentation using Suggestive Mixed Supervision Fully Convolutional Networks
University of Michigan（密歇根大学）；Indian Institute of Technology - Bombay（印度理工学院孟买分校）
对于医学图像分割，大多数全卷积网络（FCN）需要通过大量高质量密集分割样本进行强有力的监督，这在成本、时间和物流方面都很繁重。这种注释的负担可以通过利用弱廉价的注释（例如边界框和解剖标志）来减轻。然而，\textit{a priori}很难估计每个监督类型所需的注释数量之间的最佳平衡，从而以最小的注释成本获得最大的性能。为了优化这种成本性能权衡，我们提出了一个基于成本最小化框架，在混合监督设置通过密集分割，边界框和地标。我们提出了一个线性规划（LP）制定结合不确定性和相似性的排名策略，明智地选择样本进行注释，以获得最佳性能。在结果部分，我们表明，我们提出的方法实现了与最先进的方法相当的性能，显著降低了注释成本。
2018-12-29 cs.CV
JoDiffusion: Jointly Diffusing Image with Pixel-Level Annotations for Semantic Segmentation Promotion
JoDiffusion通过联合扩散图像与像素级标注，提升语义分割的性能和可扩展性。
2025-12-15 cs.CV
ImPartial: Multi-channel Whole-Cell Segmentation using Partial Annotations
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
提出ImPartial框架，通过自监督多通道量化插值，在稀疏标注和有限监督下实现与全监督模型相当的全细胞分割性能。
2026-05-22 cs.CV
Semantic Segmentation of Remote Sensing Images with Sparse Annotations
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）；Wageningen University（瓦赫宁根大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
训练卷积神经网络（CNN）获得非常高分辨率的图像需要大量高质量的像素级注释，这是非常耗费人力和时间的。此外，可能还需要专业的照片翻译来保证注释的正确性。为了减轻这样的负担，我们提出了一个框架，语义分割的航空图像的基础上不完整的注释，注释者被要求标记几个像素，易于绘制涂鸦。为了利用这些稀疏潦草的注释，我们提出了特征和空间相对正则化（FESTA）方法，以补充监督任务与无监督学习信号，占在空间和特征方面的邻域结构。
2021-01-10 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Identifying Reliable Annotations for Large Scale Image Segmentation
IST Austria（奥地利科学技术研究所）
嵌入式计算机视觉任务，特别是语义图像分割，需要大量的带注释图像的训练集。虽然获得实际图像通常是没有问题的，但创建必要的注释是一个繁琐且昂贵的过程。因此，人们经常不得不使用不可靠的注释源，例如Amazon Mechanical Turk或（半）自动算法技术。在这项工作中，我们提出了一种基于高斯过程（GP）的技术，用于同时识别训练集的哪些图像具有不可靠的注释，并学习分割模型，其中这些图像的负面影响被抑制。或者，该模型也可以仅用于从训练集中识别最可靠的注释图像，然后可以用于训练任何其他分割方法。通过依赖于“深度特征”与线性协方差函数的组合，可以学习我们的GP，并且仅使用矩阵运算和基于梯度的优化来有效地确定其超参数。这使得我们的方法甚至可以扩展到具有数百万训练实例的大型数据集。
2015-04-28 cs.CV
Urban Scene Semantic Segmentation with Low-Cost Coarse Annotation
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；ETH Zürich（苏黎世联邦理工学院）；CISPA（亥姆霍兹信息安全中心）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
为了获得最佳性能，当今的语义分割方法使用大型且仔细标记的数据集，需要昂贵的注释预算。在这项工作中，我们表明，粗注释是一个低成本，但非常有效的替代训练语义分割模型。考虑到城市场景分割的情况下，我们利用廉价的粗糙注释的真实世界捕获的数据，以及合成数据来训练我们的模型，并显示出竞争力的性能相比，精细注释的真实世界的数据。具体来说，我们提出了一个从粗到细的自训练框架，该框架为粗注释数据的未标记区域生成伪标签，使用合成数据来改善语义类之间边界周围的预测，并使用跨域数据增强来增加多样性。我们在Cityscapes和BDD100k数据集上的大量实验结果表明，我们的方法实现了显著更好的性能与注释成本的权衡，仅用一小部分注释预算就可以获得与完全注释数据相当的性能。此外，当用作预训练时，我们的框架与标准的完全监督设置相比表现更好。
2022-12-15 cs.CV
Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Harper Cancer Research Institute（哈珀癌症研究所）
图像分割是生物医学图像分析中的一个基本问题。深度学习的最新进展在许多生物医学图像分割基准上取得了令人鼓舞的结果。然而，由于生物医学图像的变化很大（不同的模态、图像设置、对象、噪声等），要在新的应用程序中使用深度学习，通常需要一组新的训练数据。这可能会导致大量的注释工作和成本，因为只有生物医学专家才能有效地注释，并且图像中通常有太多的实例（例如，单元格）进行注释。在本文中，我们旨在解决以下问题：通过有限的努力（例如，时间）进行注释，为了获得最佳性能，应该注释哪些实例？我们提出了一个深度主动学习框架，该框架结合了全卷积网络（FCN）和主动学习，通过对最有效的注释区域提出明智的建议来显着减少注释工作。我们利用FCN提供的不确定性和相似性信息，并制定了一个广义版本的最大集合覆盖问题，以确定最具代表性和不确定的区域进行注释。使用2015年MICCAI腺体挑战数据集和淋巴结超声图像分割数据集的广泛实验表明，使用我们的方法的注释建议，仅使用50%的训练数据就可以实现最先进的分割性能。
2017-06-15 cs.CV
COCONut: Modernizing COCO Segmentation
ByteDance（字节跳动）
针对COCO分割基准标注粗糙、不同分割类型标注不一致的问题，研究团队推出含38.3万张图像、超518万高质量全景掩码的COCONut数据集，统一三类分割标注，构建经人工验证的大规模通用分割基准。
2024-04-12 cs.CV
Accelerating the creation of instance segmentation training sets through bounding box annotation
ICTEAM UCLouvain（鲁汶大学信息与通信技术、电子与应用数学研究所）
在特定的应用环境中部署CNN时，收集图像注释仍然是一个很大的负担。当注释包含在覆盖对象实例的二进制掩码中时，情况尤其如此。我们的工作提出了三个步骤来描绘实例，基于半自动的方法：（1）一个对象的极端点（最左、最右、顶部、底部像素）被手动定义，从而提供对象边界框，（2）使用通用自动分割工具如Deep Extreme Cut将有界对象转换为匹配极值点的分割掩模;以及（3）人工校正预测掩模。然后，研究了各种策略，以平衡边界框定义和掩码校正之间的人工注释资源，包括当实例掩码的校正基于其与其他实例边界框的重叠而被优先考虑时，或者在部分注释数据集上训练的实例分割模型的结果。我们的实验研究认为，teamsport运动员分割任务，并衡量Panoptic-Deeplab实例分割模型的准确性如何取决于人类注释资源分配策略。它揭示了极端点的唯一定义导致模型精度，如果通过完全手动描绘实例来定义掩码，则需要多达10倍的资源。当以更高的准确度为目标时，对于相同的经训练的实例分割模型准确度，与实例的系统逐帧校正相比，在训练集实例中优先考虑掩模校正也被示出为节省高达80%的校正注释资源。
2022-05-23 cs.CV
Scaling up instance annotation via label propagation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
手动注释对象分割蒙版非常耗时。虽然交互式分割方法提供了一种更有效的替代方案，但它们在大规模上变得负担不起，因为成本随着注释掩码的数量线性增长。在本文中，我们提出了一个高效的注释方案，用于构建具有对象分割掩模的大型数据集。在大尺度上，图像包含许多具有相似外观的对象实例。我们利用这些相似之处，通过使用分层聚类的分割模型作出的掩模预测。我们提出了一个计划，有效地搜索通过层次结构的集群，并选择哪些集群进行注释。人类手动验证每个集群中的几个掩码，标签会传播到整个集群。通过一个大规模的实验，用80个对象类的对象分割掩码填充1 M未标记图像，我们表明：（1）我们获得了1 M对象分割掩码，总注释时间仅为290小时;（2）与手动注释相比，我们将注释时间减少了76倍;（3）我们的掩码的分割质量与手动注释数据集的分割质量相当。代码、数据和模型可在线获取。
2021-10-05 cs.CV
DeepCut: Object Segmentation from Bounding Box Annotations using Convolutional Neural Networks
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；Hammersmith Hospital（哈默史密斯医院）
在本文中，我们提出了DeepCut，一种方法来获得像素对象分割给定的图像数据集标记的限界框注释。它通过从限界框注释训练神经网络分类器来扩展众所周知的GrabCut方法的方法以包括机器学习。我们制定了一个密集连接的条件随机场的能量最小化问题的问题，并迭代更新的训练目标，以获得逐像素的对象分割。此外，我们提出了DeepCut方法的变体，并将其与弱监督下的CNN训练的朴素方法进行了比较。我们测试其适用性，以解决大脑和肺部分割问题的一个具有挑战性的胎儿磁共振数据集，并获得令人鼓舞的结果的准确性。
2016-06-05 cs.CV
Weakly Supervised Instance Segmentation by Learning Annotation Consistent Instances
IIIT Hyderabad（海得拉巴国际信息技术研究所）；University of Oxford（牛津大学）
用于弱监督实例分割的最新方法取决于两个组件：（i）伪标签生成模型，其提供与给定注释一致的实例;以及（ii）实例分割模型，其使用伪标签作为地面实况以监督方式训练。与以前的方法不同，我们明确地模拟使用条件分布的伪标签生成过程中的不确定性。从我们的条件分布中提取的样本提供了准确的伪标签，这是由于使用了语义类感知的一元项、边界感知的成对平滑项和注释感知的高阶项。此外，我们将实例分割模型表示为与注释无关的预测分布。与以前的方法相比，我们的表示允许我们定义一个联合概率学习目标，最大限度地减少两个分布之间的差异。我们的方法在PASCAL VOC 2012数据集上实现了最先进的结果，超过最佳基线4.2%mAP@0.5和4.8%mAP@0.75。
2020-07-18 cs.CV
Full segmentation annotations of 3D time-lapse microscopy images of MDA231 cells
Center for Biomedical Image Analysis (CBIA), Faculty of Informatics, Masaryk University, Brno, Czech Republic（生物医学影像分析中心（CBIA）、信息学院、马萨里克大学、布拉格）
本文提供MDA231细胞3D时间延迟显微镜图像的完整分割注释，用于细胞分割测试与训练及动态对象3D形状分析。
2026-01-08 cs.CV
Point Cloud Semantic Segmentation with Sparse and Inhomogeneous Annotations
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent（腾讯）
针对点云语义分割中稀疏标注的非均匀性问题，提出AADNet网络，通过标签感知下采样和乘性动态熵梯度校准，在多种标签率下实现性能提升。
2024-12-19 cs.CV
Scribble2D5: Weakly-Supervised Volumetric Image Segmentation via Scribble Annotations
Shanghai Jiao Tong University（上海交通大学）
最近，使用弱注释（如涂鸦）的弱监督图像分割得到了极大的关注，因为与像素/体素级别的耗时和标签密集型标记相比，这种注释更容易获得。然而，由于涂鸦缺乏感兴趣区域（ROI）的结构信息，现有的基于涂鸦的方法受到边界定位差。此外，大多数当前的方法被设计用于2D图像分割，如果直接应用于图像切片，则不能充分利用体积信息。在本文中，我们提出了一个基于涂鸦的体积图像分割，Scribble 2D 5，它解决了3D各向异性图像分割，提高了边界预测。为了实现这一目标，我们增加了一个2.5D注意UNet与建议的标签传播模块，以扩展从涂鸦和静态和主动边界预测的组合语义信息，学习ROI的边界和规则化其形状。在三个公共数据集上进行的大量实验表明，Scribble 2D 5的性能明显优于当前基于涂鸦的方法，并接近完全监督方法的性能。我们的代码可在线获取。
2022-07-01 cs.CV
Every Annotation Counts: Multi-label Deep Supervision for Medical Image Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carl Zeiss AG（卡尔蔡司公司）；University of Applied Sciences Berlin（柏林应用科学大学）
像素分割是我们领域中最需要数据和注释的任务之一。提供代表性和准确的注释通常是关键任务，特别是对于具有挑战性的医疗应用。在本文中，我们提出了一个半弱监督分割算法，以克服这一障碍。我们的方法是基于一个新的配方的深度监督和学生-教师模型，并允许不同的监督信号的轻松集成。与以前的工作相比，我们表明，必须注意如何在较低层中集成深度监管，我们将多标签深度监管作为成功的最重要秘密因素。通过我们新颖的分割训练机制，灵活地利用完全标记的图像，标记有边界框，只是全局标签，或者根本没有，我们能够将昂贵标签的要求降低94.22% -将最佳完全监督基线的差距缩小到只有5%的平均IoU。我们的方法通过对视网膜流体分割的广泛实验进行了验证，我们对每种注释类型在提高分割性能方面的预期效果进行了深入分析。
2021-04-27 cs.CV
Weakly Supervised Semantic Segmentation of Satellite Images
Qwant Research（Qwant研究院）
当想要训练神经网络来执行语义分割时，为数据库中的每个图像创建像素级注释是一项繁琐的任务。如果他的作品与航空或卫星图像，这通常是非常大的，这是更糟。考虑到这一点，我们研究如何使用图像级注释，以执行语义分割。图像级注释的获取成本比像素级注释低得多，但我们在模型训练中丢失了大量信息。从图像的注释中，模型必须自己找到如何对图像的不同区域进行分类。在这项工作中，我们使用由Anh和Kwak [1]提出的方法从图像级注释产生像素级注释。我们将生成的数据集的整体质量与原始数据集进行比较。此外，我们提出了一个适应的AffinityNet，使我们能够直接执行语义分割。我们的研究结果表明，生成的标签导致几个分割网络的训练相同的性能。此外，AffinityNet和Random Walk直接执行的语义分割的质量接近最好的全监督方法之一。
2019-04-08 cs.CV
Reducing Annotation Burden: Exploiting Image Knowledge for Few-Shot Medical Video Object Segmentation via Spatiotemporal Consistency Relearning
MedAI Technology (Wuxi) Co. Ltd.（MedAI科技（无锡）有限公司）；Technical University of Munich（慕尼黑工业大学）
针对医学视频标注稀缺问题，提出两阶段框架，先利用标注图像训练少样本分割模型，再通过时空一致性再学习及特征、预测层约束提升性能，在低数据场景下实现优于现有方法的医学视频分割效果。
2025-03-19 cs.CV
OneSeg: Self-learning and One-shot Learning based Single-slice Annotation for 3D Medical Image Segmentation
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）
提出OneSeg框架，通过自学习重建网络建立切片语义对应并传播单切片标注，以少于1%标注实现媲美全监督的3D医学图像分割。
2023-09-24 cs.CV
COCO_TS Dataset: Pixel-level Annotations Based on Weak Supervision for Scene Text Segmentation
University of Siena（锡耶纳大学）
缺乏具有像素级监督的大规模数据集是训练用于场景文本分割的深度卷积网络的一个重大障碍。为此，通常采用合成数据生成来扩大训练数据集。尽管如此，合成数据不能再现自然图像的复杂性和可变性。在本文中，弱监督学习的方法是用来减少训练之间的真实和合成数据的转变。生成文本检测数据集的像素级监督（即，其中仅边界框注释可用）。特别是，创建并发布了COCO-Text-Segmentation（COCO_TS）数据集，该数据集为COCO-Text数据集提供像素级监督。所生成的注释被用于训练用于语义分割的深度卷积神经网络。实验表明，该数据集可以用来代替合成数据，使我们能够使用只有一小部分的训练样本，并显着提高性能。
2019-09-24 cs.CV
Recurrent neural networks for aortic image sequence segmentation with sparse annotations
Imperial College London（帝国理工学院）；UK Dementia Research Institute（英国痴呆症研究所）
图像序列的分割是医学图像分析中的一项重要任务，它使临床医生能够评估运动器官的解剖结构和功能。然而，将分割算法直接应用于序列的每个时间帧可能会忽略序列中固有的时间连续性。在这项工作中，我们提出了一种图像序列分割算法，通过结合一个完全卷积网络与递归神经网络，它将空间和时间信息的分割任务。训练该网络的一个关键挑战是可用的手动注释在时间上是稀疏的，这禁止端到端训练。我们通过在注释上执行非刚性标签传播并引入指数加权的损失函数进行训练来解决这一挑战。主动脉MR图像序列的实验表明，该方法显着提高了准确性和时间平滑的分割，相比，基线方法，仅利用空间信息。它实现了升主动脉的平均Dice度量为0.960，降主动脉的平均Dice度量为0.953。
2018-08-01 cs.CV
Learning from Partially Overlapping Labels: Image Segmentation under Annotation Shift
Imperial College London（帝国理工学院）；The Institute of Cancer Research（英国癌症研究院）；The Royal Marsden NHS Foundation Trust（皇家马斯登国民保健服务基金会信托）
缺乏高质量的注释图像仍然是训练准确图像分割模型的限制因素。虽然越来越多的注释数据集变得公开可用，但每个数据库中的样本数量通常很小。由于数据采集和注释过程中的差异导致的异质性，组合不同的数据库以创建更大量的训练数据是有吸引力的，但也是具有挑战性的，通常会产生不兼容甚至冲突的信息。在本文中，我们研究并提出了几种策略，用于在腹部器官分割的背景下从部分重叠的标签中学习。我们发现，将半监督方法与自适应交叉熵损失相结合，可以成功地利用异质注释数据，并与基线和替代方法相比，大大提高分割精度。
2021-07-13 cs.CV
Learning Referring Video Object Segmentation from Weak Annotation
National University of Singapore（新加坡国立大学）；Shanghai AI Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；The Chinese University of Hong Kong（香港中文大学）
参考视频对象分割（RVOS）是一个任务，旨在分割目标对象在所有视频帧的基础上，一个句子描述的对象。虽然现有的RVOS方法已经取得了显着的性能，它们依赖于密集注释的数据集，这是昂贵的和耗时的获得。在本文中，我们提出了一个新的注释方案，减少了8倍的注释工作，同时提供足够的监督RVOS。我们的方案只需要对象第一次出现的帧的掩码和其余帧的边界框。基于此方案，我们开发了一种新的RVOS方法，有效地利用弱注释。具体来说，我们建立了一个简单但有效的基线模型，SimRVOS，RVOS弱注释。然后，我们设计了一个跨帧分割模块，它使用语言引导的动态过滤器从一个帧中分割目标对象在其他帧中彻底利用有价值的掩模注释和边界框。最后，我们提出了一种双层对比学习方法来增强弱标注模型的像素级区分表示。我们进行了大量的实验，以表明我们的方法实现了与完全监督方法相当甚至更好的性能，而不需要密集的掩码注释。
2023-12-15 cs.CV
Vessel-CAPTCHA: an efficient learning framework for vessel annotation and segmentation
EURECOM（法国通信系统工程师学校与研究中心）；Universitat de Barcelona（巴塞罗那大学）；University College London（伦敦大学学院）；Politecnico di Torino（都灵理工大学）；Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；National Institute for Health Research（英国国家卫生研究院）；University College London Hospitals（伦敦大学学院医院）
用于3D脑血管图像分割的深度学习技术并不像其他器官和组织的分割那样成功。这可以用两个因素来解释。首先，与完整图像的大小相比，深度学习技术往往在相对较小的对象的分割方面表现不佳。其次，由于血管树的复杂性和血管的小尺寸，获得深度学习方法通常需要的带注释的训练数据量是具有挑战性的。为了解决这些问题，我们提出了一种新的注释高效的深度学习血管分割框架。该框架避免了像素级注释，只需要弱的区块级标签来区分训练集中的血管和非血管2D区块，其设置类似于用于区分人类和网络应用程序中的机器人的CAPTCHA。用户提供的弱注释用于两个任务：1）合成每个补片中的血管和背景的逐像素伪标签，其用于训练分割网络，以及2）训练分类器网络。分类器网络允许生成额外的弱补丁标签，进一步减少注释负担，并且它可以作为低质量图像的噪声过滤器。我们使用这个框架的飞行时间血管造影（TOF）和敏感加权图像（SWI）的脑血管树的分割。结果表明，该框架实现了最先进的准确性，同时将注释时间减少了约77%。基于学习的分割方法，使用逐像素标签进行训练。
2021-07-20 cs.CV
Learning Wall Segmentation in 3D Vessel Trees using Sparse Annotations
Institute of Computer-Assisted Cardiovascular Medicine, Charité - Universitätsmedizin Berlin（柏林夏里特医学院计算机辅助心血管医学研究所）；Fraunhofer MEVIS（弗劳恩霍夫梅维斯研究所）；DZHK (German Centre for Cardiovascular Research)（德国心血管研究中心）；Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Medical Center—University of Freiburg, University of Freiburg（弗莱堡大学医学中心、弗莱堡大学）
本文提出利用临床稀疏中心线标注生成三维伪标签训练颈动脉壁分割网络，并在分叉区采用垂直分叉轴采样提升性能，避免人工三维标注，有助于颈动脉狭窄评估和三维生物标志物提取。
2025-02-18 cs.CV
Weakly-Supervised Cross-Domain Segmentation of Electron Microscopy with Sparse Point Annotation
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）
针对电子显微镜图像分割中标注成本高和域差异大的问题，本文提出仅利用15%稀疏中心点的弱监督跨域分割方法，通过计数、检测与分割多任务学习及标签增强策略，显著优于无监督域适应方法并接近全监督性能。
2024-03-31 cs.CV
SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of Surgical Tools
University of Strasbourg（斯特拉斯堡大学）；Politecnico di Milano（米兰理工大学）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
提出SAF-IS框架，仅用二值掩码和存在标签实现手术器械实例分割，无需像素级标注，在EndoVis数据集上超越完全监督方法。
2023-09-04 cs.CV
Temporally stable video segmentation without video annotations
Lightricks；The Hebrew University（希伯来大学）
时间上一致的密集视频注释是稀缺的，很难收集。相比之下，图像分割数据集（和预训练模型）是无处不在的，更容易标记任何新的任务。在本文中，我们介绍了一种方法，以适应静止图像分割模型的视频在无监督的方式，通过使用光流为基础的一致性措施。为了确保推断的分割视频在实践中看起来更稳定，我们通过用户研究验证了一致性度量与人类判断的相关性。训练一个新的多输入多输出解码器使用这种措施作为损失，再加上一种技术，用于完善当前的图像分割数据集和时间加权引导过滤器，我们观察到稳定性的改善，在生成的分段视频的准确性损失最小。
2022-03-17 cs.CV
Mask Editor : an Image Annotation Tool for Image Segmentation Tasks
Seagate company（希捷公司）
深度卷积神经网络（DCNN）是最先进的图像分割方法，这是具有挑战性的计算机视觉任务之一。然而，DCNN需要大量的训练图像和相应的图像掩模才能获得良好的分割结果。图像注释软件，这是易于使用，并允许快速图像掩模生成的需求量很大。据我们所知，所有现有的图像注释软件都只支持绘制边界多边形、边界框或边界椭圆来标记目标对象。这些现有软件在瞄准具有不规则形状的对象（例如，织物图像或轮胎图像中的缺陷）。在本文中，我们设计了一个易于使用的图像注释软件称为掩模编辑器的图像掩模生成。Mask Editor允许绘制任何边界曲线来标记对象，并提高标记具有不规则形状的对象的效率。蒙版编辑器还支持绘制边界多边形、绘制边界框、绘制边界椭圆、绘画、擦除、超像素标记、图像裁剪、多类蒙版、蒙版加载和蒙版修改。
2018-09-17 cs.CV
Clickstream analysis for crowd-based object segmentation with confidence
German Cancer Research Center (DKFZ)（德国癌症研究中心）；Pallas Ludens GmbH（帕拉斯·卢登斯有限公司）；University Hospital Heidelberg（海德堡大学医院）
随着人们对基于机器学习的自动图像注释解决方案的兴趣迅速增加，算法训练的参考注释的可用性是该领域的主要瓶颈之一。众包已经发展成为低成本和大规模数据注释的一个有价值的选择;然而，质量控制仍然是一个需要解决的主要问题。据我们所知，我们是第一个分析注释过程以改进众包图像分割的人。我们的方法包括训练一个回归器来估计注释者的点击流数据的分割质量。质量估计可以用于识别垃圾邮件，并在合并一个图像的多个分割时通过其（估计）质量对各个注释进行加权。使用对不同对象类的公开数据执行的总共29，000个人群注释，我们表明：（1）我们的方法在基于点击流数据估计分割质量方面非常准确，（2）优于合并多个注释的最先进方法。由于回归量不需要在其所应用的对象类上进行训练，因此可以将其视为在基于人群的图像注释的上下文中用于质量控制和置信度分析的低成本选项。
2017-11-29 cs.CV
Recognition of Handwritten Chinese Text by Segmentation: A Segment-annotation-free Approach
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Cloud Computing Technologies Company, Ltd.（华为云计算技术有限公司）
在线和离线手写中文文本识别（HTCR）已经研究了几十年。早期的方法采用基于过分割的策略，但速度慢，准确性不足，字符分割注释成本高。近年来，基于连接主义时间分类（CTC）和注意力机制的无分割方法在HCTR领域占据主导地位。然而，人们实际上是一个字一个字地阅读文本，特别是对于汉字这样的表意文字。这就提出了一个问题：无分割策略真的是HCTR的最佳解决方案吗？为了探索这个问题，我们提出了一种新的基于分割的方法来识别手写中文文本，该方法使用简单而高效的全卷积网络来实现。提出了一种新的弱监督学习方法，使网络仅使用成绩单注释进行训练，从而可以避免以前基于分割的方法所需的昂贵的字符分割注释。由于全卷积网络缺乏上下文建模，我们提出了一种上下文正则化方法，在训练阶段将上下文信息集成到网络中，这可以进一步提高识别性能。在四个广泛使用的基准测试，即CASIA-HWDB，CASIA-OLHWDB，ICDAR 2013和SCUT-HCCDoc上进行的大量实验表明，我们的方法在在线和离线HCTR上都显着优于现有方法，并且比CTC/基于注意力的方法具有更高的推理速度。
2022-07-29 cs.CV
Segmentation with Multiple Acceptable Annotations: A Case Study of Myocardial Segmentation in Contrast Echocardiography
University of Notre Dame（圣母大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
大多数现有的基于深度学习的图像分割框架都假设唯一的地面实况是已知的，并且可以用于性能评估。这对许多应用程序都是如此，但不是所有应用程序都是如此。心肌造影超声心动图（MCE）的心肌分割是自动心肌灌注分析中的一项关键任务。由于MCE数据的低分辨率和严重的伪影，来自不同心脏病专家的注释可能差异很大，很难分辨哪一个是最好的。在这种情况下，我们如何找到一个好的方法来评估分割性能，我们如何训练神经网络？在本文中，我们解决了第一个问题，提出了一个新的扩展骰子有效地评估分割性能时，多个接受地面真相。然后，基于我们提出的度量，我们解决了第二个问题，进一步将新的度量到一个损失函数，使神经网络，以灵活地学习心肌的一般特征。我们的临床MCE数据集上的实验结果表明，所提出的损失函数训练的神经网络优于那些现有的，试图从多个注释，定量和定性获得一个独特的地面真相。最后，我们的分级研究表明，使用扩展骰子作为评估指标，可以更好地识别分割结果，需要手动校正相比，使用骰子。
2021-06-29 cs.CV
Orthogonal Annotation Benefits Barely-supervised Medical Image Segmentation
Nanjing University（南京大学）；Shandong Women’s University（山东女子学院）
半监督学习的最新发展趋势显著提高了3D半监督医学图像分割的性能。与2D图像相比，3D医学体积涉及来自不同方向的信息，例如，横向、矢状和冠状平面，以便自然地提供互补视图。这些互补的视图和相邻的3D切片之间的内在相似性启发我们开发一种新的注释方法及其相应的半监督模型进行有效的分割。具体来说，我们首先提出了正交标注，只标记两个正交切片的标记体积，这显着减轻了注释的负担。然后，我们进行注册，以获得初始的伪标签稀疏标记的体积。随后，通过引入未标记的卷，我们提出了一种名为密集-稀疏协同训练（DeSCO）的双网络范式，该范式在早期利用密集伪标签，在后期利用稀疏标签，同时强制两个网络的输出一致。在三个基准数据集上的实验结果验证了该方法在标注性能和效率上的有效性。例如，只有10个注释切片，我们的方法在KiTS 19数据集上达到了86.93%的Dice。
2023-03-23 cs.CV
3D Vascular Segmentation Supervised by 2D Annotation of Maximum Intensity Projection
Tsinghua University（清华大学）；Wuhan Union Hospital（武汉协和医院）；Xuanwu Hospital of Capital Medical University（首都医科大学宣武医院）
针对3D血管标注困难的问题，提出利用2D最大强度投影标注生成伪标签并融合2D-3D特征的弱监督分割网络，结合置信度学习优化伪标签，在五个数据集上展现出竞争力并大幅降低标注成本。
2024-02-19 cs.CV
FreeSOLO: Learning to Segment Objects without Annotations
The University of Adelaide（阿德莱德大学）；NVIDIA（英伟达）；Caltech（加州理工学院）；Zhejiang University（浙江大学）
实例分割是一项基本的视觉任务，旨在识别和分割图像中的每个对象。然而，它需要昂贵的注释，如边界框和分割掩码用于学习。在这项工作中，我们提出了一个完全无监督学习方法，学习类无关的实例分割没有任何注释。我们提出了FreeSOLO，一个自监督的实例分割框架，建立在简单的实例分割方法SOLO之上。我们的方法还提出了一种新的定位感知预训练框架，可以以无监督的方式从复杂场景中发现对象。FreeSOLO在具有挑战性的COCO数据集上实现了9.8%的AP_{50}，甚至优于使用手动注释的几种分割建议方法。第一次，我们证明了无监督类无关的实例分割成功。FreeSOLO的盒子定位显著优于最先进的无监督目标检测/发现方法，在COCO AP中相对改进约100%。FreeSOLO进一步证明了作为一种强大的预训练方法的优越性，在仅使用5% COCO掩码微调实例分割时，其表现优于最先进的自监督预训练方法+9.8%AP。代码可在：github.com/NVlabs/FreeSOLO
2022-04-25 cs.CV
How to Efficiently Annotate Images for Best-Performing Deep Learning Based Segmentation Models: An Empirical Study with Weak and Noisy Annotations and Segment Anything Model
Duke University（杜克大学）
本研究通过实证评估多种弱/噪声标注策略，发现预算有限时精确标注并非最优，弱/噪声标注可达到相近性能且成本效益更高。
2025-01-23 cs.CV
ZScribbleSeg: A comprehensive segmentation framework with modeling of efficient annotation and maximization of scribble supervision
School of Data Science, Fudan University, Shanghai, 200433, China（复旦大学数据科学学院）；Department of Electrical and Computer Engineering, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学电气与计算机工程系）
本文提出ZScribbleSeg框架，通过最大化scribble监督和随机模拟实现高效标注，结合先验知识提升医学图像分割性能，适用于六个任务。
2026-05-07 cs.CV
BoxInst: High-Performance Instance Segmentation with Box Annotations
The University of Adelaide（阿德莱德大学）
我们提出了一种高性能的方法，可以实现掩码级的实例分割，只有边界框注释的训练。虽然这种设置已经在文献中进行了研究，但在这里，我们用简单的设计（例如，Hsu等人（2019）之前报告的最佳面罩AP为21.1%，COCO数据集为31.6%。我们的核心思想是重新设计实例分割中的学习掩码损失，而不修改分割网络本身。新的损失函数可以在不依赖于掩码注释的情况下监督掩码训练。这可以通过两个损失项来实现，即，1）使地面实况框的投影与预测掩码之间的差异最小化的替代项; 2）可以利用具有相似颜色的邻近像素很可能具有相同类别标签的先验的成对损失。实验表明，重新设计的面具损失可以产生令人惊讶的高质量的实例面具，只有框注释。例如，在不使用任何掩码注释的情况下，使用ResNet-101主干和3x训练时间表，我们在COCO测试-开发分割上实现了33.2%的掩码AP（而完全监督对应的掩码AP为39.1%）。我们在COCO和Pascal VOC上的实验结果表明，我们的方法大大缩小了弱监督和全监督实例分割之间的性能差距。代码可在：https://git.io/AdelaiDet
2020-12-03 cs.CV
Few-Shot Learning for Annotation-Efficient Nucleus Instance Segmentation
Pazhou Laboratory（琶洲实验室）；Zhujiang Hospital, Southern Medical University（南方医科大学珠江医院）；Nanfang Hospital, Southern Medical University（南方医科大学南方医院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文将少样本学习用于标注高效的细胞核实例分割，提出GFSIS定义并引入结构引导机制构建SGFSIS框架，以少于5%标注达到接近全监督性能。
2024-02-28 cs.CV
3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching between 3D and 2D Networks
Nanjing University（南京大学）；Southeast University（东南大学）；Shandong Woman’s University（山东女子学院）
本文提出一种利用3D和2D网络交叉教学从稀疏标注中稳健学习的医学图像分割框架，结合硬-软置信度阈值和一致性标签融合两种伪标签选择策略，在MMWHS数据集上优于SOTA半监督方法并接近全监督性能。
2023-07-30 cs.CV
Finite State Machines for Semantic Scene Parsing and Segmentation
CNRS（法国国家科学研究中心）；LIP6 Lab（巴黎第六大学信息学实验室）；Sorbonne University（索邦大学）
在这项工作中，我们引入了一种新的随机推理过程，场景注释和对象类分割，基于有限状态机（FSM）。我们的框架的设计原则是生成的，并基于建筑，对于一个给定的场景，有限状态机编码的注释格，和推理包括在寻找和评分的最佳配置，在这些格。使用我们的FSM框架定义了不同的新操作，包括重新排序，分割，视觉转换和标签依赖建模。所有这些操作结合在一起，以实现注释以及对象类分割。
2018-12-27 cs.CV
Annotation-efficient learning for OCT segmentation
Shanghai Jiao Tong University（上海交通大学）；Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属新华医院）
提出一种标注高效的OCT分割方法，利用自监督生成学习训练Transformer编码器与CNN解码器，结合选择性标注算法，仅需约10%数据即可达到U-Net的精度，训练提速3.5倍。
2023-05-06 cs.CV
Multi-Atlas Segmentation using Partially Annotated Data: Methods and Annotation Strategies
多图谱分割是医学图像分析中广泛使用的工具，通过从带注释的图谱数据集学习来提供鲁棒且准确的结果。然而，由于标记任务所需的时间，用于训练的完全注释的地图集图像的可用性是有限的。因此，只需要标记每个图谱图像的一部分的分割方法可以减少负责注释图谱图像的专家评分员的工作量。为了解决这个问题，我们首先重新审视标签问题，常见的许多现有的方法和制定其解决方案的马尔可夫随机场能量最小化问题的图形连接地图集和目标图像。这为多图谱分割提供了统一的框架。然后，我们将展示如何修改所提出的框架的图形配置，使部分注释的地图集图像的使用，并调查不同的部分注释策略。所提出的方法进行了评估的两个磁共振成像（MRI）数据集的海马和心脏分割。进行了实验，旨在（1）重建现有的分割技术与建议的框架和（2）证明采用稀疏注释的图谱数据的多图谱分割的潜力。
2016-04-29 cs.CV
