PM-VIS+: High-Performance Video Instance Segmentation without Video Annotation
Nanjing Audit University（南京审计大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Lucid Motors（lucid汽车公司）
本文提出PM-VIS+方法，通过利用图像数据集、ImageNet-bbox补充类别、伪掩码与半监督优化，在无需视频标注的情况下实现高性能视频实例分割。
2024-06-28 cs.CV
Active Learning Enabled Low-cost Cell Image Segmentation Using Bounding Box Annotation
College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
本文提出结合YOLOv8与SAM的YOLO-SAM边界框监督方法，并集成MC DropBlock主动学习框架，以极低标注成本实现细胞图像分割，实验显示可节省90%以上标注时间。
2024-05-02 cs.CV
Modeling Annotator Preference and Stochastic Annotation Error for Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
医学图像的人工标注具有很强的主观性，导致不可避免的巨大标注偏差。深度学习模型可能在各种任务上超越人类的表现，但它们也可能模仿或放大这些偏见。虽然我们可以有多个注释者并融合他们的注释以减少随机错误，但我们不能使用这种策略来处理注释者偏好引起的偏差。在本文中，我们强调了医学图像分割任务的注释者相关的偏见的问题，并提出了一个涉及偏好的注释分布学习（PADL）框架来解决这个问题，从使用分布学习从随机错误中分离注释者的偏好的角度，从而产生不仅是Meta分割，而且每个注释者可能进行的分割。在此框架下，随机误差模型（SEM）模块估计Meta分割图和平均随机误差图，和一系列的人类偏好模型（HPM）模块估计每个注释者的分割和相应的随机误差。我们评估了我们的PADL框架上的两个医学图像基准与不同的成像方式，这已被多个医学专业人士注释，并取得了良好的性能在所有五个医学图像分割任务。
2022-03-22 cs.CV
Annotation-cost Minimization for Medical Image Segmentation using Suggestive Mixed Supervision Fully Convolutional Networks
University of Michigan（密歇根大学）；Indian Institute of Technology - Bombay（印度理工学院孟买分校）
对于医学图像分割，大多数全卷积网络（FCN）需要通过大量高质量密集分割样本进行强有力的监督，这在成本、时间和物流方面都很繁重。这种注释的负担可以通过利用弱廉价的注释（例如边界框和解剖标志）来减轻。然而，\textit{a priori}很难估计每个监督类型所需的注释数量之间的最佳平衡，从而以最小的注释成本获得最大的性能。为了优化这种成本性能权衡，我们提出了一个基于成本最小化框架，在混合监督设置通过密集分割，边界框和地标。我们提出了一个线性规划（LP）制定结合不确定性和相似性的排名策略，明智地选择样本进行注释，以获得最佳性能。在结果部分，我们表明，我们提出的方法实现了与最先进的方法相当的性能，显著降低了注释成本。
2018-12-29 cs.CV
JoDiffusion: Jointly Diffusing Image with Pixel-Level Annotations for Semantic Segmentation Promotion
JoDiffusion通过联合扩散图像与像素级标注，提升语义分割的性能和可扩展性。
2025-12-15 cs.CV
Semantic Segmentation of Remote Sensing Images with Sparse Annotations
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）；Wageningen University（瓦赫宁根大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
训练卷积神经网络（CNN）获得非常高分辨率的图像需要大量高质量的像素级注释，这是非常耗费人力和时间的。此外，可能还需要专业的照片翻译来保证注释的正确性。为了减轻这样的负担，我们提出了一个框架，语义分割的航空图像的基础上不完整的注释，注释者被要求标记几个像素，易于绘制涂鸦。为了利用这些稀疏潦草的注释，我们提出了特征和空间相对正则化（FESTA）方法，以补充监督任务与无监督学习信号，占在空间和特征方面的邻域结构。
2021-01-10 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Identifying Reliable Annotations for Large Scale Image Segmentation
IST Austria（奥地利科学技术研究所）
嵌入式计算机视觉任务，特别是语义图像分割，需要大量的带注释图像的训练集。虽然获得实际图像通常是没有问题的，但创建必要的注释是一个繁琐且昂贵的过程。因此，人们经常不得不使用不可靠的注释源，例如Amazon Mechanical Turk或（半）自动算法技术。在这项工作中，我们提出了一种基于高斯过程（GP）的技术，用于同时识别训练集的哪些图像具有不可靠的注释，并学习分割模型，其中这些图像的负面影响被抑制。或者，该模型也可以仅用于从训练集中识别最可靠的注释图像，然后可以用于训练任何其他分割方法。通过依赖于“深度特征”与线性协方差函数的组合，可以学习我们的GP，并且仅使用矩阵运算和基于梯度的优化来有效地确定其超参数。这使得我们的方法甚至可以扩展到具有数百万训练实例的大型数据集。
2015-04-28 cs.CV
Urban Scene Semantic Segmentation with Low-Cost Coarse Annotation
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；ETH Zürich（苏黎世联邦理工学院）；CISPA（亥姆霍兹信息安全中心）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
为了获得最佳性能，当今的语义分割方法使用大型且仔细标记的数据集，需要昂贵的注释预算。在这项工作中，我们表明，粗注释是一个低成本，但非常有效的替代训练语义分割模型。考虑到城市场景分割的情况下，我们利用廉价的粗糙注释的真实世界捕获的数据，以及合成数据来训练我们的模型，并显示出竞争力的性能相比，精细注释的真实世界的数据。具体来说，我们提出了一个从粗到细的自训练框架，该框架为粗注释数据的未标记区域生成伪标签，使用合成数据来改善语义类之间边界周围的预测，并使用跨域数据增强来增加多样性。我们在Cityscapes和BDD100k数据集上的大量实验结果表明，我们的方法实现了显著更好的性能与注释成本的权衡，仅用一小部分注释预算就可以获得与完全注释数据相当的性能。此外，当用作预训练时，我们的框架与标准的完全监督设置相比表现更好。
2022-12-15 cs.CV
Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Harper Cancer Research Institute（哈珀癌症研究所）
图像分割是生物医学图像分析中的一个基本问题。深度学习的最新进展在许多生物医学图像分割基准上取得了令人鼓舞的结果。然而，由于生物医学图像的变化很大（不同的模态、图像设置、对象、噪声等），要在新的应用程序中使用深度学习，通常需要一组新的训练数据。这可能会导致大量的注释工作和成本，因为只有生物医学专家才能有效地注释，并且图像中通常有太多的实例（例如，单元格）进行注释。在本文中，我们旨在解决以下问题：通过有限的努力（例如，时间）进行注释，为了获得最佳性能，应该注释哪些实例？我们提出了一个深度主动学习框架，该框架结合了全卷积网络（FCN）和主动学习，通过对最有效的注释区域提出明智的建议来显着减少注释工作。我们利用FCN提供的不确定性和相似性信息，并制定了一个广义版本的最大集合覆盖问题，以确定最具代表性和不确定的区域进行注释。使用2015年MICCAI腺体挑战数据集和淋巴结超声图像分割数据集的广泛实验表明，使用我们的方法的注释建议，仅使用50%的训练数据就可以实现最先进的分割性能。
2017-06-15 cs.CV
COCONut: Modernizing COCO Segmentation
ByteDance（字节跳动）
针对COCO分割基准标注粗糙、不同分割类型标注不一致的问题，研究团队推出含38.3万张图像、超518万高质量全景掩码的COCONut数据集，统一三类分割标注，构建经人工验证的大规模通用分割基准。
2024-04-12 cs.CV
Accelerating the creation of instance segmentation training sets through bounding box annotation
ICTEAM UCLouvain（鲁汶大学信息与通信技术、电子与应用数学研究所）
在特定的应用环境中部署CNN时，收集图像注释仍然是一个很大的负担。当注释包含在覆盖对象实例的二进制掩码中时，情况尤其如此。我们的工作提出了三个步骤来描绘实例，基于半自动的方法：（1）一个对象的极端点（最左、最右、顶部、底部像素）被手动定义，从而提供对象边界框，（2）使用通用自动分割工具如Deep Extreme Cut将有界对象转换为匹配极值点的分割掩模;以及（3）人工校正预测掩模。然后，研究了各种策略，以平衡边界框定义和掩码校正之间的人工注释资源，包括当实例掩码的校正基于其与其他实例边界框的重叠而被优先考虑时，或者在部分注释数据集上训练的实例分割模型的结果。我们的实验研究认为，teamsport运动员分割任务，并衡量Panoptic-Deeplab实例分割模型的准确性如何取决于人类注释资源分配策略。它揭示了极端点的唯一定义导致模型精度，如果通过完全手动描绘实例来定义掩码，则需要多达10倍的资源。当以更高的准确度为目标时，对于相同的经训练的实例分割模型准确度，与实例的系统逐帧校正相比，在训练集实例中优先考虑掩模校正也被示出为节省高达80%的校正注释资源。
2022-05-23 cs.CV
Weakly Supervised Instance Segmentation by Learning Annotation Consistent Instances
IIIT Hyderabad（海得拉巴国际信息技术研究所）；University of Oxford（牛津大学）
用于弱监督实例分割的最新方法取决于两个组件：（i）伪标签生成模型，其提供与给定注释一致的实例;以及（ii）实例分割模型，其使用伪标签作为地面实况以监督方式训练。与以前的方法不同，我们明确地模拟使用条件分布的伪标签生成过程中的不确定性。从我们的条件分布中提取的样本提供了准确的伪标签，这是由于使用了语义类感知的一元项、边界感知的成对平滑项和注释感知的高阶项。此外，我们将实例分割模型表示为与注释无关的预测分布。与以前的方法相比，我们的表示允许我们定义一个联合概率学习目标，最大限度地减少两个分布之间的差异。我们的方法在PASCAL VOC 2012数据集上实现了最先进的结果，超过最佳基线4.2%mAP@0.5和4.8%mAP@0.75。
2020-07-18 cs.CV
Point Cloud Semantic Segmentation with Sparse and Inhomogeneous Annotations
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent（腾讯）
针对点云语义分割中稀疏标注的非均匀性问题，提出AADNet网络，通过标签感知下采样和乘性动态熵梯度校准，在多种标签率下实现性能提升。
2024-12-19 cs.CV
Scribble2D5: Weakly-Supervised Volumetric Image Segmentation via Scribble Annotations
Shanghai Jiao Tong University（上海交通大学）
最近，使用弱注释（如涂鸦）的弱监督图像分割得到了极大的关注，因为与像素/体素级别的耗时和标签密集型标记相比，这种注释更容易获得。然而，由于涂鸦缺乏感兴趣区域（ROI）的结构信息，现有的基于涂鸦的方法受到边界定位差。此外，大多数当前的方法被设计用于2D图像分割，如果直接应用于图像切片，则不能充分利用体积信息。在本文中，我们提出了一个基于涂鸦的体积图像分割，Scribble 2D 5，它解决了3D各向异性图像分割，提高了边界预测。为了实现这一目标，我们增加了一个2.5D注意UNet与建议的标签传播模块，以扩展从涂鸦和静态和主动边界预测的组合语义信息，学习ROI的边界和规则化其形状。在三个公共数据集上进行的大量实验表明，Scribble 2D 5的性能明显优于当前基于涂鸦的方法，并接近完全监督方法的性能。我们的代码可在线获取。
2022-07-01 cs.CV
Every Annotation Counts: Multi-label Deep Supervision for Medical Image Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carl Zeiss AG（卡尔蔡司公司）；University of Applied Sciences Berlin（柏林应用科学大学）
像素分割是我们领域中最需要数据和注释的任务之一。提供代表性和准确的注释通常是关键任务，特别是对于具有挑战性的医疗应用。在本文中，我们提出了一个半弱监督分割算法，以克服这一障碍。我们的方法是基于一个新的配方的深度监督和学生-教师模型，并允许不同的监督信号的轻松集成。与以前的工作相比，我们表明，必须注意如何在较低层中集成深度监管，我们将多标签深度监管作为成功的最重要秘密因素。通过我们新颖的分割训练机制，灵活地利用完全标记的图像，标记有边界框，只是全局标签，或者根本没有，我们能够将昂贵标签的要求降低94.22% -将最佳完全监督基线的差距缩小到只有5%的平均IoU。我们的方法通过对视网膜流体分割的广泛实验进行了验证，我们对每种注释类型在提高分割性能方面的预期效果进行了深入分析。
2021-04-27 cs.CV
Weakly Supervised Semantic Segmentation of Satellite Images
Qwant Research（Qwant研究院）
当想要训练神经网络来执行语义分割时，为数据库中的每个图像创建像素级注释是一项繁琐的任务。如果他的作品与航空或卫星图像，这通常是非常大的，这是更糟。考虑到这一点，我们研究如何使用图像级注释，以执行语义分割。图像级注释的获取成本比像素级注释低得多，但我们在模型训练中丢失了大量信息。从图像的注释中，模型必须自己找到如何对图像的不同区域进行分类。在这项工作中，我们使用由Anh和Kwak [1]提出的方法从图像级注释产生像素级注释。我们将生成的数据集的整体质量与原始数据集进行比较。此外，我们提出了一个适应的AffinityNet，使我们能够直接执行语义分割。我们的研究结果表明，生成的标签导致几个分割网络的训练相同的性能。此外，AffinityNet和Random Walk直接执行的语义分割的质量接近最好的全监督方法之一。
2019-04-08 cs.CV
OneSeg: Self-learning and One-shot Learning based Single-slice Annotation for 3D Medical Image Segmentation
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）
提出OneSeg框架，通过自学习重建网络建立切片语义对应并传播单切片标注，以少于1%标注实现媲美全监督的3D医学图像分割。
2023-09-24 cs.CV
COCO_TS Dataset: Pixel-level Annotations Based on Weak Supervision for Scene Text Segmentation
University of Siena（锡耶纳大学）
缺乏具有像素级监督的大规模数据集是训练用于场景文本分割的深度卷积网络的一个重大障碍。为此，通常采用合成数据生成来扩大训练数据集。尽管如此，合成数据不能再现自然图像的复杂性和可变性。在本文中，弱监督学习的方法是用来减少训练之间的真实和合成数据的转变。生成文本检测数据集的像素级监督（即，其中仅边界框注释可用）。特别是，创建并发布了COCO-Text-Segmentation（COCO_TS）数据集，该数据集为COCO-Text数据集提供像素级监督。所生成的注释被用于训练用于语义分割的深度卷积神经网络。实验表明，该数据集可以用来代替合成数据，使我们能够使用只有一小部分的训练样本，并显着提高性能。
2019-09-24 cs.CV
Learning from Partially Overlapping Labels: Image Segmentation under Annotation Shift
Imperial College London（帝国理工学院）；The Institute of Cancer Research（英国癌症研究院）；The Royal Marsden NHS Foundation Trust（皇家马斯登国民保健服务基金会信托）
缺乏高质量的注释图像仍然是训练准确图像分割模型的限制因素。虽然越来越多的注释数据集变得公开可用，但每个数据库中的样本数量通常很小。由于数据采集和注释过程中的差异导致的异质性，组合不同的数据库以创建更大量的训练数据是有吸引力的，但也是具有挑战性的，通常会产生不兼容甚至冲突的信息。在本文中，我们研究并提出了几种策略，用于在腹部器官分割的背景下从部分重叠的标签中学习。我们发现，将半监督方法与自适应交叉熵损失相结合，可以成功地利用异质注释数据，并与基线和替代方法相比，大大提高分割精度。
2021-07-13 cs.CV
Vessel-CAPTCHA: an efficient learning framework for vessel annotation and segmentation
EURECOM（法国通信系统工程师学校与研究中心）；Universitat de Barcelona（巴塞罗那大学）；University College London（伦敦大学学院）；Politecnico di Torino（都灵理工大学）；Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；National Institute for Health Research（英国国家卫生研究院）；University College London Hospitals（伦敦大学学院医院）
用于3D脑血管图像分割的深度学习技术并不像其他器官和组织的分割那样成功。这可以用两个因素来解释。首先，与完整图像的大小相比，深度学习技术往往在相对较小的对象的分割方面表现不佳。其次，由于血管树的复杂性和血管的小尺寸，获得深度学习方法通常需要的带注释的训练数据量是具有挑战性的。为了解决这些问题，我们提出了一种新的注释高效的深度学习血管分割框架。该框架避免了像素级注释，只需要弱的区块级标签来区分训练集中的血管和非血管2D区块，其设置类似于用于区分人类和网络应用程序中的机器人的CAPTCHA。用户提供的弱注释用于两个任务：1）合成每个补片中的血管和背景的逐像素伪标签，其用于训练分割网络，以及2）训练分类器网络。分类器网络允许生成额外的弱补丁标签，进一步减少注释负担，并且它可以作为低质量图像的噪声过滤器。我们使用这个框架的飞行时间血管造影（TOF）和敏感加权图像（SWI）的脑血管树的分割。结果表明，该框架实现了最先进的准确性，同时将注释时间减少了约77%。基于学习的分割方法，使用逐像素标签进行训练。
2021-07-20 cs.CV
SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of Surgical Tools
University of Strasbourg（斯特拉斯堡大学）；Politecnico di Milano（米兰理工大学）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
提出SAF-IS框架，仅用二值掩码和存在标签实现手术器械实例分割，无需像素级标注，在EndoVis数据集上超越完全监督方法。
2023-09-04 cs.CV
Temporally stable video segmentation without video annotations
Lightricks；The Hebrew University（希伯来大学）
时间上一致的密集视频注释是稀缺的，很难收集。相比之下，图像分割数据集（和预训练模型）是无处不在的，更容易标记任何新的任务。在本文中，我们介绍了一种方法，以适应静止图像分割模型的视频在无监督的方式，通过使用光流为基础的一致性措施。为了确保推断的分割视频在实践中看起来更稳定，我们通过用户研究验证了一致性度量与人类判断的相关性。训练一个新的多输入多输出解码器使用这种措施作为损失，再加上一种技术，用于完善当前的图像分割数据集和时间加权引导过滤器，我们观察到稳定性的改善，在生成的分段视频的准确性损失最小。
2022-03-17 cs.CV
Mask Editor : an Image Annotation Tool for Image Segmentation Tasks
Seagate company（希捷公司）
深度卷积神经网络（DCNN）是最先进的图像分割方法，这是具有挑战性的计算机视觉任务之一。然而，DCNN需要大量的训练图像和相应的图像掩模才能获得良好的分割结果。图像注释软件，这是易于使用，并允许快速图像掩模生成的需求量很大。据我们所知，所有现有的图像注释软件都只支持绘制边界多边形、边界框或边界椭圆来标记目标对象。这些现有软件在瞄准具有不规则形状的对象（例如，织物图像或轮胎图像中的缺陷）。在本文中，我们设计了一个易于使用的图像注释软件称为掩模编辑器的图像掩模生成。Mask Editor允许绘制任何边界曲线来标记对象，并提高标记具有不规则形状的对象的效率。蒙版编辑器还支持绘制边界多边形、绘制边界框、绘制边界椭圆、绘画、擦除、超像素标记、图像裁剪、多类蒙版、蒙版加载和蒙版修改。
2018-09-17 cs.CV
Clickstream analysis for crowd-based object segmentation with confidence
German Cancer Research Center (DKFZ)（德国癌症研究中心）；Pallas Ludens GmbH（帕拉斯·卢登斯有限公司）；University Hospital Heidelberg（海德堡大学医院）
随着人们对基于机器学习的自动图像注释解决方案的兴趣迅速增加，算法训练的参考注释的可用性是该领域的主要瓶颈之一。众包已经发展成为低成本和大规模数据注释的一个有价值的选择;然而，质量控制仍然是一个需要解决的主要问题。据我们所知，我们是第一个分析注释过程以改进众包图像分割的人。我们的方法包括训练一个回归器来估计注释者的点击流数据的分割质量。质量估计可以用于识别垃圾邮件，并在合并一个图像的多个分割时通过其（估计）质量对各个注释进行加权。使用对不同对象类的公开数据执行的总共29，000个人群注释，我们表明：（1）我们的方法在基于点击流数据估计分割质量方面非常准确，（2）优于合并多个注释的最先进方法。由于回归量不需要在其所应用的对象类上进行训练，因此可以将其视为在基于人群的图像注释的上下文中用于质量控制和置信度分析的低成本选项。
2017-11-29 cs.CV
Segmentation with Multiple Acceptable Annotations: A Case Study of Myocardial Segmentation in Contrast Echocardiography
University of Notre Dame（圣母大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
大多数现有的基于深度学习的图像分割框架都假设唯一的地面实况是已知的，并且可以用于性能评估。这对许多应用程序都是如此，但不是所有应用程序都是如此。心肌造影超声心动图（MCE）的心肌分割是自动心肌灌注分析中的一项关键任务。由于MCE数据的低分辨率和严重的伪影，来自不同心脏病专家的注释可能差异很大，很难分辨哪一个是最好的。在这种情况下，我们如何找到一个好的方法来评估分割性能，我们如何训练神经网络？在本文中，我们解决了第一个问题，提出了一个新的扩展骰子有效地评估分割性能时，多个接受地面真相。然后，基于我们提出的度量，我们解决了第二个问题，进一步将新的度量到一个损失函数，使神经网络，以灵活地学习心肌的一般特征。我们的临床MCE数据集上的实验结果表明，所提出的损失函数训练的神经网络优于那些现有的，试图从多个注释，定量和定性获得一个独特的地面真相。最后，我们的分级研究表明，使用扩展骰子作为评估指标，可以更好地识别分割结果，需要手动校正相比，使用骰子。
2021-06-29 cs.CV
Orthogonal Annotation Benefits Barely-supervised Medical Image Segmentation
Nanjing University（南京大学）；Shandong Women’s University（山东女子学院）
半监督学习的最新发展趋势显著提高了3D半监督医学图像分割的性能。与2D图像相比，3D医学体积涉及来自不同方向的信息，例如，横向、矢状和冠状平面，以便自然地提供互补视图。这些互补的视图和相邻的3D切片之间的内在相似性启发我们开发一种新的注释方法及其相应的半监督模型进行有效的分割。具体来说，我们首先提出了正交标注，只标记两个正交切片的标记体积，这显着减轻了注释的负担。然后，我们进行注册，以获得初始的伪标签稀疏标记的体积。随后，通过引入未标记的卷，我们提出了一种名为密集-稀疏协同训练（DeSCO）的双网络范式，该范式在早期利用密集伪标签，在后期利用稀疏标签，同时强制两个网络的输出一致。在三个基准数据集上的实验结果验证了该方法在标注性能和效率上的有效性。例如，只有10个注释切片，我们的方法在KiTS 19数据集上达到了86.93%的Dice。
2023-03-23 cs.CV
FreeSOLO: Learning to Segment Objects without Annotations
The University of Adelaide（阿德莱德大学）；NVIDIA（英伟达）；Caltech（加州理工学院）；Zhejiang University（浙江大学）
实例分割是一项基本的视觉任务，旨在识别和分割图像中的每个对象。然而，它需要昂贵的注释，如边界框和分割掩码用于学习。在这项工作中，我们提出了一个完全无监督学习方法，学习类无关的实例分割没有任何注释。我们提出了FreeSOLO，一个自监督的实例分割框架，建立在简单的实例分割方法SOLO之上。我们的方法还提出了一种新的定位感知预训练框架，可以以无监督的方式从复杂场景中发现对象。FreeSOLO在具有挑战性的COCO数据集上实现了9.8%的AP_{50}，甚至优于使用手动注释的几种分割建议方法。第一次，我们证明了无监督类无关的实例分割成功。FreeSOLO的盒子定位显著优于最先进的无监督目标检测/发现方法，在COCO AP中相对改进约100%。FreeSOLO进一步证明了作为一种强大的预训练方法的优越性，在仅使用5% COCO掩码微调实例分割时，其表现优于最先进的自监督预训练方法+9.8%AP。代码可在：github.com/NVlabs/FreeSOLO
2022-04-25 cs.CV
How to Efficiently Annotate Images for Best-Performing Deep Learning Based Segmentation Models: An Empirical Study with Weak and Noisy Annotations and Segment Anything Model
Duke University（杜克大学）
本研究通过实证评估多种弱/噪声标注策略，发现预算有限时精确标注并非最优，弱/噪声标注可达到相近性能且成本效益更高。
2025-01-23 cs.CV
ZScribbleSeg: A comprehensive segmentation framework with modeling of efficient annotation and maximization of scribble supervision
School of Data Science, Fudan University, Shanghai, 200433, China（复旦大学数据科学学院）；Department of Electrical and Computer Engineering, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学电气与计算机工程系）
本文提出ZScribbleSeg框架，通过最大化scribble监督和随机模拟实现高效标注，结合先验知识提升医学图像分割性能，适用于六个任务。
2026-05-07 cs.CV
BoxInst: High-Performance Instance Segmentation with Box Annotations
The University of Adelaide（阿德莱德大学）
我们提出了一种高性能的方法，可以实现掩码级的实例分割，只有边界框注释的训练。虽然这种设置已经在文献中进行了研究，但在这里，我们用简单的设计（例如，Hsu等人（2019）之前报告的最佳面罩AP为21.1%，COCO数据集为31.6%。我们的核心思想是重新设计实例分割中的学习掩码损失，而不修改分割网络本身。新的损失函数可以在不依赖于掩码注释的情况下监督掩码训练。这可以通过两个损失项来实现，即，1）使地面实况框的投影与预测掩码之间的差异最小化的替代项; 2）可以利用具有相似颜色的邻近像素很可能具有相同类别标签的先验的成对损失。实验表明，重新设计的面具损失可以产生令人惊讶的高质量的实例面具，只有框注释。例如，在不使用任何掩码注释的情况下，使用ResNet-101主干和3x训练时间表，我们在COCO测试-开发分割上实现了33.2%的掩码AP（而完全监督对应的掩码AP为39.1%）。我们在COCO和Pascal VOC上的实验结果表明，我们的方法大大缩小了弱监督和全监督实例分割之间的性能差距。代码可在：https://git.io/AdelaiDet
2020-12-03 cs.CV
Few-Shot Learning for Annotation-Efficient Nucleus Instance Segmentation
Pazhou Laboratory（琶洲实验室）；Zhujiang Hospital, Southern Medical University（南方医科大学珠江医院）；Nanfang Hospital, Southern Medical University（南方医科大学南方医院）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）
本文将少样本学习用于标注高效的细胞核实例分割，提出GFSIS定义并引入结构引导机制构建SGFSIS框架，以少于5%标注达到接近全监督性能。
2024-02-28 cs.CV
3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching between 3D and 2D Networks
Nanjing University（南京大学）；Southeast University（东南大学）；Shandong Woman’s University（山东女子学院）
本文提出一种利用3D和2D网络交叉教学从稀疏标注中稳健学习的医学图像分割框架，结合硬-软置信度阈值和一致性标签融合两种伪标签选择策略，在MMWHS数据集上优于SOTA半监督方法并接近全监督性能。
2023-07-30 cs.CV
Land Cover Segmentation with Sparse Annotations from Sentinel-2 Imagery
LINKS Foundation（LINKS基金会）；Politecnico di Torino（都灵理工大学）
本文提出SPADA框架，利用稀疏标注与领域自适应技术解决Sentinel-2影像土地覆盖分割难题，在LUCAS和Urban Atlas数据集上超越现有方法，分别达到42.86的IoU和67.93的F1分数。
2023-06-28 cs.CV
Beyond Pixel-Wise Supervision for Medical Image Segmentation: From Traditional Models to Foundation Models
Northwest University（西北大学）；Lappeenranta University of Technology（拉彭兰塔理工大学）；Hebei University of Technology（河北工业大学）；Fudan University（复旦大学）
本文全面调研了基础模型时代前后利用弱标注进行医学图像分割的标注高效学习方法，并讨论了现有挑战，为基础模型推动该领域发展提供指导。
2024-04-20 cs.CV
Weakly Supervised LiDAR Semantic Segmentation via Scatter Image Annotation
针对弱监督LiDAR语义分割中高效标注策略缺失的问题，提出散射图像标注方案与ScatterNet网络，仅用极少量标注点即可接近全监督方法性能，标注成本远低于现有先进弱监督方法。
2024-08-12 cs.CV
A Spatially Constrained Deep Convolutional Neural Network for Nerve Fiber Segmentation in Corneal Confocal Microscopic Images using Inaccurate Annotations
University of British Columbia（不列颠哥伦比亚大学）；University of Nottingham（诺丁汉大学）；Weill Cornell Medicine-Qatar（威尔康奈尔医学院卡塔尔分院）
语义图像分割是医学图像分析中的重要任务之一。大多数最先进的深度学习方法都需要大量精确注释的示例来进行模型训练。然而，准确的注释是难以获得的，特别是在医学应用中。在本文中，我们提出了一个空间约束的深度卷积神经网络（DCNN），以实现平滑和鲁棒的图像分割使用不准确的注释标签进行训练。在我们提出的方法中，图像分割被公式化为一个图优化问题，由DCNN模型学习过程解决。待优化的成本函数由通过交叉熵测量计算的一元项和基于强制局部标签一致性的成对项组成。所提出的方法已被评估的基础上，角膜共焦显微镜（CCM）图像神经纤维分割，准确的注释是非常困难的。基于合成数据集的定量结果和真实数据集的定性评估，所提出的方法在产生高质量的分割结果方面取得了优异的性能，即使训练标签不准确。
2020-04-20 cs.CV
Self-Learning to Detect and Segment Cysts in Lung CT Images without Manual Annotation
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；Beijing Institute of Big Data Research（北京大数据研究院）
图像分割是医学图像分析中的一个基本问题。近年来，深度神经网络通过对大量手动注释数据进行监督学习，在许多医学图像分割任务上取得了令人印象深刻的性能。然而，大型医学数据集上的专家注释是乏味的，昂贵的或有时不可用的。弱监督学习可以减少注释的工作量，但仍然需要一定的专业知识。最近，深度学习显示出比最初的错误标签产生更准确预测的潜力。受此启发，我们引入了一种非常弱的监督学习方法，用于肺部CT图像中囊性病变的检测和分割，无需任何手动注释。我们的方法以自学习的方式工作，在前面的步骤中生成的分割（首先通过无监督分割，然后通过神经网络）被用作下一级网络学习的基础事实。在囊性肺病变数据集上的实验表明，深度学习可以比初始的无监督标注表现得更好，并在自学习后逐步改进。
2018-01-25 cs.CV
ClickSeg: 3D Instance Segmentation with Click-Level Weak Annotations
Tsinghua University（清华大学）；ByteDance（字节跳动）
针对3D实例分割全标注成本高的问题，提出仅需单点击标注的弱监督方法ClickSeg，通过带标注点初始种子的k-means聚类生成伪标签，在多个数据集上性能大幅超越此前最优弱监督方法，接近全监督精度。
2023-07-19 cs.CV
Weakly Supervised Image Annotation and Segmentation with Objects and Attributes
我们建议使用非参数贝叶斯模型从Flickr等媒体共享网站上丰富的弱标记图像中学习来模拟复杂的视觉场景。鉴于对象和属性的弱图像级注释没有位置或它们之间的关联，我们的模型旨在学习对象和属性类的外观以及它们在每个对象实例上的关联。一旦学习，给定一个图像，我们的模型可以被部署来以联合和连贯的方式解决许多视觉问题，包括识别场景中的对象（自动对象注释），使用它们的属性描述对象（属性预测和关联），以及定位和描绘对象（目标检测和语义分割）。这是通过开发一种新的弱监督马尔可夫随机场堆叠印度自助餐过程（WS-MRF-SIBP）来实现的，该过程将对象和属性建模为潜在因素，并明确捕获它们在超像素内和超像素之间的相关性。在基准数据集上的大量实验表明，我们的弱监督模型显着优于弱监督的替代品，并经常与现有的强监督模型的各种任务，包括语义分割，自动图像标注和检索的基础上的对象-属性关联。
2017-08-08 cs.CV
All you need are a few pixels: semantic segmentation with PixelPick
University of Oxford（牛津大学）
语义分割任务的核心挑战是获得密集像素级注释以监督模型训练的高昂成本。在这项工作中，我们表明，为了实现良好的分割性能，您所需要的只是一些精心选择的像素标签。我们做出了以下贡献：（i）我们研究了新的语义分割设置，其中标签仅在稀疏像素位置提供，并表明深度神经网络可以使用少量这样的标签来获得良好的效果;（ii）我们展示了如何在一个称为PixelPick的主动学习框架内利用这种现象，以从根本上降低标签成本，（iii）我们进行了大量的实验来研究在固定预算、模型预训练、模型容量和在这种低注释制度下拾取像素的采样机制下注释多样性的影响;（iv）我们提供了与具有主动学习的语义分割的现有技术水平的比较，并且在CamVid、Cityscapes和PASCAL VOC 2012基准上展示了具有高达两个数量级的像素注释的可比性能;（v）最后，我们评估了我们的注释管道的效率及其对注释者错误的敏感性，以证明其实用性。
2021-04-15 cs.CV
Transferable Semi-supervised Semantic Segmentation
National University of Defense Technology（国防科技大学）；National University of Singapore（新加坡国立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于深度学习的语义分割模型的性能在很大程度上取决于具有仔细注释的足够数据。然而，即使是最大的公共数据集也只为相当有限的语义类别提供具有像素级注释的样本。这种数据的稀缺性严重限制了语义分割模型在实际应用中的可扩展性和适用性。在本文中，我们提出了一种新的可转移的半监督语义分割模型，可以将学习到的分割知识从具有像素级注释的少数强类别转移到仅具有图像级注释的不可见弱类别，显着拓宽了深度分割模型的适用范围。特别是，所提出的模型由两个互补和可学习的组件组成：标签传输网络（L-Net）和预测传输网络（P-Net）。L-Net学习将分割知识从强类别转移到弱类别中的图像，并通过有效利用类别之间共享的相似外观来生成粗糙的像素级语义地图。与此同时，P-Net通过精心设计的对抗性学习策略来调整传递的知识，并产生具有更好细节的精细分割结果。在PASCAL VOC 2012上，集成L-Net和P-Net分别使用50%和0%类别和像素级注释实现了96.5%和89.4%的完全监督基线性能。有了这样一个新的传输机制，我们提出的模型很容易推广到各种新的类别，只需要图像级的注释，并提供了吸引人的可扩展性在实际应用中。
2018-05-09 cs.CV
Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual Mask Annotations
Johns Hopkins University（约翰斯·霍普金斯大学）；Northeastern University（东北大学）；Salesforce Research（赛富时研究院）
现有的实例分割模型使用来自基础（训练）类别的手动掩码注释来学习特定于任务的信息。这些掩码注释需要大量的人力，限制了注释新颖（新）类别的可扩展性。为了缓解这个问题，开放词汇（OV）方法利用大规模的图像-字幕对和视觉语言模型来学习新的类别。总之，OV方法使用来自基本注释的强监督来学习任务特定信息，并且使用来自图像-字幕对的弱监督来学习新类别信息。强监督和弱监督之间的这种差异导致对基本类别的过度拟合，从而导致对新类别的泛化能力差。在这项工作中，我们克服了这个问题，学习基本和新的类别从伪掩码注释生成的视觉语言模型在弱监督的方式使用我们提出的无掩码OVIS管道。我们的方法自动生成伪掩模注释，利用本地化能力的预训练的视觉语言模型的对象中存在的图像字幕对。然后，生成的伪掩码注释用于监督实例分割模型，从而将整个管道从任何劳动力昂贵的实例级注释和过拟合中解放出来。我们广泛的实验表明，与最近使用手动掩码训练的最先进方法相比，我们使用伪掩码训练的方法显着提高了MS-COCO数据集和OpenImages数据集上的mAP得分。https://vibashan.github.io/ovis-web/中提供了代码和模型。
2023-03-29 cs.CV
Impact of imperfect annotations on CNN training and performance for instance segmentation and classification in digital pathology
Université Libre de Bruxelles（布鲁塞尔自由大学）；LISA；CMMI
本文研究数字病理学中不完美标注对细胞核检测、分割与分类CNN训练的影响，发现使用小型正确标注验证集和预训练可有效抑制对标注噪声的过拟合并保持模型性能。
2024-10-18 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
转向较少监督场景的方法是图像分割的关键，因为密集标签需要大量的人为干预。一般来说，通过用较弱的监督形式标记数据集来减轻注释负担，例如图像级标签或边界框。另一种选择是半监督设置，通常利用一些强注释和大量未标记/弱标记数据。在本文中，我们重新审视了半监督分割方案，并与以前的方法相比显着缩小了注释预算（就训练集的总标记时间而言）。通过一个非常简单的管道，我们证明了在低注释预算下，半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品，大大降低了标签成本。我们提出了Pascal VOC基准测试的结果，并通过考虑总注释预算来统一弱监督和半监督方法，从而使方法之间的比较更加公平。
2019-05-23 cs.CV
Learning with Limited Annotations: A Survey on Deep Semi-Supervised Learning for Medical Image Segmentation
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；School of Data Science, Fudan University（复旦大学大数据学院）；School of Engineering Medicine, Beihang University（北京航空航天大学医工交叉创新研究院）；Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与产业研究院）；School of Biological Science and Medical Engineering, Beihang University（北京航空航天大学生物与医学工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Beijing Anding Hospital, Capital Medical University（首都医科大学附属北京安定医院）；Key Laboratory for Biomechanics and Mechanobiology of Ministry of Education, Beihang University（北京航空航天大学生物力学与力学生物学教育部重点实验室）；Hefei Innovation Research Institute, Beihang University（北京航空航天大学合肥创新研究院）
本文综述了医学图像分割中深度半监督学习方法，旨在利用有限标注训练模型，总结了技术新颖性与实证结果，并讨论了局限与未解决问题。
2023-11-14 cs.CV
Consistency-Regularized Region-Growing Network for Semantic Segmentation of Urban Scenes with Point-Level Annotations
Institute of Advanced Research in Artificial Intelligence（高级人工智能研究所）；Helmholtz-Zentrum Dresden-Rossendorf（亥姆霍兹德累斯顿罗森多夫研究中心）；Helmholtz Institute Freiberg for Resource Technology（亥姆霍兹弗赖贝格资源技术研究所）
深度学习算法在极高分辨率（VHR）图像的语义分割方面取得了巨大成功。然而，训练这些模型通常需要大量精确的像素级标注，这是非常费力和耗时的。为了减少标注负担，本文提出了一种一致性正则化区域生长网络（CRGNet）来实现具有点级标注的VHR图像的语义分割。CRGNet的核心思想是迭代选择具有高置信度的未标记像素，以扩展原始稀疏点的注释区域。然而，由于扩展标注中可能存在一些错误和噪声，直接从它们中学习可能会误导网络的训练。为此，我们进一步提出了一致性正则化策略，其中一个基本分类器和一个扩展分类器。具体来说，基础分类器由原始稀疏注释监督，而扩展分类器旨在从基础分类器使用区域增长机制生成的扩展注释中学习。因此，通过最小化基础分类器和扩展分类器的预测之间的差异来实现一致性正则化。我们发现这种简单的正则化策略对于控制区域增长机制的质量非常有用。在两个基准数据集上的大量实验表明，所提出的CRGNet显著优于现有的最先进的方法。代码和预训练模型可在线获取（https：//github.com/YonghaoXu/CRGNet）。
2022-06-18 cs.CV
Transformer-based Annotation Bias-aware Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）；Research and Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
提出基于Transformer的感知标注偏见医学图像分割模型TAB，通过可学习查询和多元正态分布分别建模标注者偏好与随机误差，优于现有方法。
2023-06-28 cs.CV
ROBUST-MIPS: A Combined Skeletal Pose and Instance Segmentation Dataset for Laparoscopic Surgical Instruments
King’s College London, School of Biomedical Engineering & Imaging Sciences（伦敦国王学院生物医学工程与影像科学学院）
本文提出ROBUST-MIPS数据集，结合骨骼姿态和实例分割，通过改进的标注方法提升手术器械定位性能，并提供基准测试和工具姿态标注软件。
2026-03-04 cs.CV
From CAD models to soft point cloud labels: An automatic annotation pipeline for cheaply supervised 3D semantic segmentation
Aalborg University（奥尔堡大学）
本研究提出一种基于拟合CAD模型的3D点云全自动标注流水线，可生成多类软标签，在工业点云和Scan2CAD数据集上验证了其相比传统硬标签方法更优的分割性能与标注效率。
2023-07-25 cs.CV
Dataset Augmentation with Synthetic Images Improves Semantic Segmentation
Indian Institute of Technology (BHU) Varanasi（印度理工学院（BHU）瓦拉纳西分校）；Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Innit Inc.（Innit公司）
尽管使用强像素级注释训练的深度卷积神经网络显著提升了语义分割的性能，但创建训练数据所需的注释工作仍然是进一步改进的障碍。我们表明，用合成图像增强弱注释的训练数据集可以最大限度地减少注释工作，也可以最大限度地减少捕获具有足够多样性的图像的成本。对PASCAL 2012验证数据集的评估显示，通过每个对象类添加100个合成图像，平均IOU从52.80%增加到55.47%。因此，我们的方法是一个很有前途的解决方案的注释和数据集收集的问题。
2018-06-26 cs.CV
Weakly Supervised 3D Instance Segmentation without Instance-level Annotations
Nanyang Technological University（南洋理工大学）
提出首个仅需类别语义标签的弱监督3D实例分割方法，通过分解点云学习实例质心、构建伪实例重组数据集及非对称目标推理算法生成高质量伪标签，实现与全监督方法相当的性能并降低标注成本。
2023-08-03 cs.CV
Volumetric Medical Image Segmentation via Scribble Annotations and Shape Priors
Shanghai Jiao Tong University（上海交通大学）；Ruijin Hospital, Shanghai Jiao Tong University of Medicine（上海交通大学医学院附属瑞金医院）；Shanghai Jiao Tong University of Medicine（上海交通大学医学院）
本文提出Scribble2D5，一种基于涂鸦标注和形状先验的弱监督体医学图像分割方法，通过标签传播和边界预测提升3D各向异性图像分割的边界准确性。
2023-10-12 cs.CV
Learning to Segment Skin Lesions from Noisy Annotations
Simon Fraser University（西蒙弗雷泽大学）
深度卷积神经网络推动了图像自动理解的实质性进步。需要大量图像及其相关注释是限制深度网络采用的主要瓶颈之一。在医学图像分割的任务中，需要由人类专家执行的像素级语义注释加剧了这一困难。本文提出了一个新的框架，从大量廉价的不可靠注释和少量专家级干净注释中训练一个全卷积分割网络。我们提出了一种空间自适应的重新加权方法来处理干净和嘈杂的像素级注释在损失函数。我们部署了一种元学习方法，将更高的重要性分配给损失梯度方向更接近干净数据的像素。我们使用被不同程度的注释噪声破坏的分割基础事实训练网络的实验显示了空间重新加权如何提高深度网络对噪声注释的鲁棒性。
2019-08-20 cs.CV
