Box for Mask and Mask for Box: weak losses for multi-task partially supervised learning
IRISA（法国国家信息与自动化研究所雷恩分院（IRISA））；Université Bretagne Sud（南布列塔尼大学）
针对多任务部分监督学习中样本仅单任务标注的问题，提出Box-for-Mask、Mask-for-Box及组合BoMBo策略，结合弱损失与监督损失，利用单任务标注信息训练另一任务，VOC和COCO实验验证有效性。
2024-11-26 cs.CV
Object-Proposal Evaluation Protocol is 'Gameable'
Virginia Tech（弗吉尼亚理工大学）
在许多视觉管道中（用于目标检测、目标发现和其他任务），目标提议已迅速成为事实上的预处理步骤。它们的性能通常在部分注释的数据集上进行评估。在本文中，我们认为，选择使用部分注释的数据集进行对象建议的评估是有问题的-我们通过一个思想实验证明，评估协议是“可玩的”，在这个意义上说，在这个协议下的进展并不一定对应于一个“更好的”类别独立的对象建议算法。为了缓解这个问题，我们：（1）引入一个几乎完全注释的PASCAL VOC数据集版本，它作为一个测试床，以检查对象建议技术是否过拟合到特定的类别列表。(2)在我们引入的几乎完全注释的PASCAL数据集上对对象建议方法进行详尽的评估，并进行跨数据集泛化实验;（3）引入诊断实验来检测对象建议算法中的偏差能力。这个工具避免了需要收集一个密集的注释数据集，这可能是昂贵的和繁琐的收集。最后，我们计划发布一个易于使用的工具箱，它结合了各种公开的实现对象的建议算法，它简化了建议的生成和评估，使新的方法可以添加到不同的数据集和评估。我们希望本文中提出的结果将激励社区通过仔细选择评估协议来测试各种对象提案方法的类别独立性。
2015-11-23 cs.CV
Training CNN Classifiers for Semantic Segmentation using Partially Annotated Images: with Application on Human Thigh and Calf MRI
Clinical Imaging Research Centre, Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨潞龄医学院临床影像研究中心）；Savana Medica（萨瓦纳医疗公司）；Department of Orthopaedic Surgery, National University Hospital, National University Health System（新加坡国立大学卫生系统国立大学医院骨科）；Department of Surgery, Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨潞龄医学院外科）；BioIonic Currents Electromagnetic Pulsing Systems Laboratory, BICEPS, National University of Singapore（新加坡国立大学生物离子电流电磁脉冲系统实验室）
目的：具有像素级标签的医学图像数据集往往具有有限数量的器官或组织标签类别注释，即使图像具有广泛的解剖覆盖范围。对于监督学习，通常需要多个分类器来给出这些部分注释的数据集。在这项工作中，我们提出了一套策略，训练一个单一的分类器在分割所有标签类，异构注释跨多个数据集，而不移动到半监督学习。方法：首先通过我们称为存在掩蔽的过程从每个标签图像创建掩蔽。三个存在掩蔽模式进行了评估，不同的主要是在权重分配给注释和未注释的类。然后在训练期间将这些掩码应用于损失函数，以消除未注释类的影响。结果：对公开可用的CT数据集的评估表明，存在掩蔽是一种可行的方法训练类属分类器。我们的类通用分类器可以执行以及多个类特定的分类器相结合，而训练时间是类似的一个类特定的分类器所需的。此外，类通用分类器在较小的数据集上训练时可以优于类特定分类器。最后，根据内部收集的人类大腿和小腿MRI数据集进行评价，观察到一致的结果。结论：评估结果表明，存在掩蔽能够显着提高跨成像模式和解剖区域的训练和推理效率。甚至可以在小数据集上观察到改进的性能。意义：存在掩蔽策略可以减少人工医学图像注释所涉及的计算资源和成本。所有代码均可在https://github.com/wong-ck/DeepSegment上公开获取。
2020-08-16 cs.CV cs.LG eess.IV
Learning Multiple Dense Prediction Tasks from Partially Annotated Data
University of Edinburgh（爱丁堡大学）
尽管最近在密集预测问题的多任务学习方面取得了进展，但大多数方法都依赖于昂贵的标记数据集。在本文中，我们提出了一种标签有效的方法，并研究了在部分注释的数据（即不是所有的任务标签都可用于每个图像）上的多个密集预测任务的联合学习，我们称之为多任务部分监督学习。我们提出了一个多任务训练过程，成功地利用任务关系来监督其多任务学习时，数据是部分注释。特别是，我们学会了将每个任务对映射到一个联合的成对任务空间，通过另一个以任务对为条件的网络，以计算效率高的方式在它们之间共享信息，并通过保留有关输入图像的高级信息来避免学习琐碎的跨任务关系。我们严格证明，我们提出的方法有效地利用图像与未标记的任务，并优于现有的半监督学习方法和相关方法的三个标准基准。
2022-05-04 cs.CV
Multi-organ Segmentation over Partially Labeled Datasets with Multi-scale Feature Abstraction
Rensselaer Polytechnic Institute（伦斯勒理工学院）
缺乏完全注释的数据集一直是开发基于深度学习的图像分割算法的限制因素，并且该问题在多器官分割中变得更加明显。在本文中，我们提出了一种统一的训练策略，使一种新的多尺度深度神经网络能够在多个部分标记的数据集上进行训练，用于多器官分割。此外，提出了一种新的多尺度特征提取网络结构，将金字塔输入和特征分析集成到U型金字塔结构中。为了弥补直接合并不同尺度特征所造成的语义鸿沟，引入了等卷积深度机制。此外，我们采用深度监督机制来细化不同尺度的输出。为了充分利用所有尺度的分割特征，我们设计了一个自适应加权层，以自动方式融合输出。所有这些机制一起被集成到一个金字塔输入金字塔输出特征提取网络（PIPO-FAN）。我们提出的方法在四个公开可用的数据集上进行了评估，包括BTCV，LiTS，KiTS和脾脏，其中已经实现了非常有前途的性能。这项工作的源代码在https://github.com/DIAL-RPI/PIPO-FAN上公开共享，以便其他人轻松复制这项工作并使用引入的机制构建自己的模型。
2020-06-06 cs.CV
Multi-Atlas Segmentation using Partially Annotated Data: Methods and Annotation Strategies
多图谱分割是医学图像分析中广泛使用的工具，通过从带注释的图谱数据集学习来提供鲁棒且准确的结果。然而，由于标记任务所需的时间，用于训练的完全注释的地图集图像的可用性是有限的。因此，只需要标记每个图谱图像的一部分的分割方法可以减少负责注释图谱图像的专家评分员的工作量。为了解决这个问题，我们首先重新审视标签问题，常见的许多现有的方法和制定其解决方案的马尔可夫随机场能量最小化问题的图形连接地图集和目标图像。这为多图谱分割提供了统一的框架。然后，我们将展示如何修改所提出的框架的图形配置，使部分注释的地图集图像的使用，并调查不同的部分注释策略。所提出的方法进行了评估的两个磁共振成像（MRI）数据集的海马和心脏分割。进行了实验，旨在（1）重建现有的分割技术与建议的框架和（2）证明采用稀疏注释的图谱数据的多图谱分割的潜力。
2016-04-29 cs.CV
Self-Training and Multi-Task Learning for Limited Data: Evaluation Study on Object Detection
IRISA（法国信息与自动化研究所）；Université Bretagne Sud（南布列塔尼大学）
本文比较了教师数据不足时的自训练目标检测与部分标注数据下的多任务学习，实验表明弱教师模型结合未见数据训练多任务学生模型能提升性能，验证了两者在有限数据下的潜力。
2023-09-12 cs.CV
Automatic classification of geologic units in seismic images using partially interpreted examples
University of British Columbia（英属哥伦比亚大学）；Computational Geosciences Inc.（计算地球科学公司）
对于地震解释者来说，大地震叠加或偏移地震图像的地质解释可能是一项耗时的任务。基于神经网络的语义分割提供了快速和自动的解释，只要有足够数量的示例解释可用。最近出现了从图像到图像映射的网络，作为自动分割的强大工具，但标准实现需要完全解释的示例。手动为大型图像生成训练标签非常耗时。我们引入了部分损失函数和标记策略，使网络可以从部分解释的地震图像中学习。这种策略只需要少量的每个地震图像的注释像素。爱尔兰海地震图像和解释信息的测试表明，我们从少量的大地震图像获得高质量的预测解释。部分损失函数、明确考虑小尺度和大尺度地质特征的多分辨率网络以及新的标记策略的组合使得神经网络成为用于自动地震解释的更实用的工具。
2019-01-12 cs.CV cs.LG
Self-supervised Robust Object Detectors from Partially Labelled Datasets
Université Laval（拉瓦尔大学）；Mila（米拉人工智能研究所）
在目标检测任务中，合并来自相似上下文但具有不同感兴趣对象（OoI）集的各种数据集是一种制作覆盖广泛对象的大规模数据集的廉价方式（就劳动力成本而言）。此外，合并数据集允许我们训练一个集成的对象检测器，而不是训练几个，这反过来又导致计算和时间成本的减少。然而，合并来自类似上下文的数据集会导致样本带有部分标签，因为每个组成数据集最初都是针对其自己的OoI集进行注释的，并且忽略了注释合并数据集后变得感兴趣的那些对象。以训练\emph{one integrated robust object detector with high generalization performance}为目标，提出了一个训练框架来克服合并数据集的缺失标签挑战。更具体地说，我们提出了一个计算效率高的自监督框架，以创建在飞行中的伪标签的合并数据集中的未标记的积极的情况下，以训练的对象检测器联合地面真理和伪标签。我们评估了我们提出的框架，用于在具有丢失率$\approx\!48\%$的模拟合并数据集上使用VOC 2012和VOC 2007训练Yolo。我们的经验表明，在地面真值和我们的方法创建的伪标签上训练的Yolo的泛化性能平均$4\%$高于仅用合并数据集的地面真值标签训练的Yolo。
2020-06-27 cs.CV
Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning
University of Electronic Science and Technology of China (UESTC)（电子科技大学（UESTC））
针对多任务部分监督学习中的跨任务关系挖掘难题，提出基于SAM区域检测和高斯分布对齐的区域感知对比方法，提升密集预测性能并超越全监督方法。
2024-03-15 cs.CV
Exemplar Learning for Medical Image Segmentation
Carleton University（卡尔顿大学）；Amii（阿尔伯塔机器智能研究所）
医学图像标注通常需要专业知识，因此会产生耗时且昂贵的数据标注成本。为了减轻这一负担，我们提出了一种新的学习方案，范例学习（EL），探索自动学习过程中的医学图像分割与一个单一的注释图像的例子。这种创新的学习任务特别适用于医学图像分割，其中所有类别的器官都可以在一张图像中呈现并一次性注释。为了解决这一具有挑战性的EL任务，我们提出了一个基于范例学习的合成网络（ELSNet）框架，用于医学图像分割，实现了创新的基于范例的数据合成，基于像素原型的对比嵌入学习，以及基于伪标签的未标记数据的利用。具体来说，ELSNet引入了两个新的模块用于图像分割：一个样本指导的合成模块，它通过从给定的样本合成注释样本来丰富和多样化训练集，以及一个基于像素原型的对比嵌入模块，它通过对比表示学习来增强基本分割模型的区分能力。此外，我们部署了一个两阶段的分割模型训练过程，该过程利用具有预测伪分割标签的未标记数据。为了评估这个新的学习框架，我们对几个器官分割数据集进行了广泛的实验，并进行了深入的分析。实验结果表明，所提出的范例学习框架产生有效的分割结果。
2022-10-08 cs.CV cs.LG eess.IV
Multi-Task Label Discovery via Hierarchical Task Tokens for Partially Annotated Dense Predictions
Texas A\&M University College Station Texas USA；Hong Kong University of Science；Texas A\&M University
针对部分标注多任务密集预测缺乏直接像素级监督等问题，提出基于分层任务令牌的标签发现方法，在多个基准数据集上取得优于现有最优方法的性能。
2025-07-31 cs.CV
Cost-effective Object Detection: Active Sample Mining with Switchable Selection Criteria
Sun Yat-sen University（中山大学）；The Hong Kong Polytechnic University（香港理工大学）
虽然相当具有挑战性，但在学习系统中利用大规模未标记或部分标记的数据（例如，模型/分类器训练）由于其基本的重要性而吸引了越来越多的关注。为了解决这个问题，许多主动学习（AL）方法已被提出，采用最新的检测器检索代表性的少数样本根据预定义的置信度或不确定性阈值。然而，这些AL方法导致检测器忽略剩余的多数样本（即，具有低不确定性或高预测置信度的那些）。在这项工作中，通过开发一个原则性的主动样本挖掘（ASM）框架，我们证明了从这些未标记的大多数数据中经济有效地挖掘样本是训练更强大的对象检测器的关键，同时最大限度地减少用户的工作量。具体来说，我们的ASM框架涉及一个可切换的样本选择机制，用于确定是否应通过AL手动注释未标记的样本，或通过一个新的自学习过程自动伪标记。所提出的过程可以与基于小批量的训练（即，使用一批未标记或部分标记的数据作为一次性输入）用于目标检测。此外，通过AL选择并注释了一些具有低置信度预测的样本。值得注意的是，我们的方法适用于在学习过程中未标记数据中看不到的对象类别。大量的实验清楚地表明，我们的ASM框架可以实现性能相媲美的替代方法，但显着更少的注释。
2019-01-12 cs.CV
ContrastMask: Contrastive Learning to Segment Every Thing
Tencent（腾讯）；Shanghai Jiao Tong University（上海交通大学）
部分监督的实例分割是一种通过对有限的已见类别进行学习，从而消除繁重的注释负担，从而从新的未见类别中分割对象的任务。解决这个问题的关键是建立一个有效的类无关掩码分割模型。与以前只在可见类别上学习这种模型的方法不同，在本文中，我们提出了一种新的方法，名为ContrastMask，它在统一的像素级对比学习框架下学习可见和不可见类别上的掩码分割模型。在这个框架中，已看到的类别的注释掩码和未看到的类别的伪掩码用作对比学习的先验，其中来自掩码区域（前景）的特征被拉在一起，并且与来自背景的特征进行对比，反之亦然。通过该框架，前景和背景之间的特征区分度得到了很大的提高，有利于学习与类别无关的掩模分割模型。COCO数据集上的详尽实验证明了我们的方法的优越性，它优于以前的最先进的。
2022-03-24 cs.CV
Learning to be EXACT, Cell Detection for Asthma on Partially Annotated Whole Slide Images
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；EUROIMMUN Medizinische Labordiagnostika AG（欧蒙医学实验诊断股份公司）；Freie Universität Berlin（柏林自由大学）；Technische Hochschule Ingolstadt（英戈尔施塔特工业大学）
哮喘是下呼吸道的慢性炎症性疾病，自然发生在人类和动物（包括马）中。哮喘显微镜全载玻片图像（WSI）的注释是一项极其劳动密集型的任务，因为每个WSI有数十万个细胞。为了克服不完全注释WSI的局限性，我们开发了一个训练管道，可以使用部分注释的WSI训练基于深度学习的对象检测模型，并动态补偿类不平衡。通过这种方法，我们可以自由地从带注释的WSI区域采样，并且不限于与经典方法一样完全注释的WSI提取子图像。我们在交叉验证设置中使用固定的训练集评估了我们的管道，该训练集使用六个马WSI的数据集，其中四个部分注释并用于训练，两个完全注释的WSI用于验证和测试。我们的基于WSI的训练方法优于经典的基于子图像的训练方法高达15\% $mAP$，并产生了类似人类的性能相比，十个训练有素的病理学家的注释。
2021-01-13 cs.CV eess.IV
T2M-X: Learning Expressive Text-to-Motion Generation from Partially Annotated Data
Iowa State University（爱荷华州立大学）；Snap Inc.（Snap公司）；Pennsylvania State University（宾夕法尼亚州立大学）
提出T2M-X两阶段方法，利用部分标注数据，通过三个VQ-VAE和带一致性损失的GPT模型，生成包含身体、手和脸的全身动作，显著优于基线。
2024-09-20 cs.CV
Multi-task learning on partially labeled datasets via invariant/equivariant semi-supervised learning
KTH Royal Institute of Technology（皇家理工学院）；Univrses AB
本文研究了不变和等变半监督学习在处理部分标注数据集上多任务模型训练挑战的潜力，通过FixMatch方法和其等变扩展Dense FixMatch进行评估，在城市景观和BDD100K数据集上针对常见的目标检测和语义分割任务进行测试，发现不变和等变半监督学习在大多数情况下优于监督基线，特别是在标注样本较少时效果更佳。
2026-05-17 cs.AI cs.CV cs.LG
Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification
Seoul National University（首尔国立大学）；University of Tübingen（图宾根大学）；HodooAI Lab（HodooAI实验室）；Inria（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对部分标注多标签分类中假阴性标签导致模型归因分数偏低的问题，提出提升部分标签模型归因分数以逼近全标签模型解释的方法，在多个数据集上显著提升分类性能。
2023-04-04 cs.CV
UFPS: A unified framework for partially-annotated federated segmentation in heterogeneous data distribution
Shanghai University（上海大学）；Chinese University of Hong Kong（香港中文大学）；Elsevier B.V.（爱思唯尔出版集团）；STM Document Engineering Pvt Ltd.（STM文档工程私人有限公司）
针对部分标注联邦分割中的类别异构与客户端漂移问题，提出UFPS框架，通过统一标签学习和稀疏统一锐度感知最小化，实现无类别冲突的全类别分割，并在真实医学数据集上验证了其优越性。
2023-11-16 cs.AI cs.CV
Interactive Occlusion Boundary Estimation through Exploitation of Synthetic Data
LIGM, Univ Gustave Eiffel, École des Ponts, CNRS（LIGM，巴黎高等学院，法国国家科学研究中心）
本文提出MS³PE框架，通过多笔刷交互和3编码路径网络提升遮挡边界估计，同时开发Mesh2OB和OB-LIGM基准，利用合成数据解决真实数据不足问题。
2025-11-25 cs.CV
ConDistFL: Conditional Distillation for Federated Learning from Partially Annotated Data
National Taiwan University（国立台湾大学）；Nagoya University（名古屋大学）；NVIDIA Corporation（英伟达公司）
针对联邦学习中部分标注数据导致难以训练通用分割模型的问题，本文提出ConDistFL框架，通过条件概率表示结合知识蒸馏从全局模型提取未标注器官与肿瘤知识，在多个腹部CT数据集上显著优于FedAvg和FedOpt基线，并降低通信成本。
2023-08-08 cs.CV cs.LG
A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation
Xidian University（西安电子科技大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
三维图像分割是医学图像处理中最重要也是最普遍的问题之一。它提供了详细的定量分析，用于准确的疾病诊断，异常检测和分类。目前深度学习算法广泛应用于医学图像分割中，大多数算法都是使用完整标注的数据集训练模型。然而，获取医学图像数据集是非常困难和昂贵的，并且三维医学图像的完整标注是一项单调和耗时的工作。在3D图像中部分标记信息切片将大大减轻手动注释。基于主动学习的样本选择策略已经在二维图像领域被提出，但针对三维图像的策略还很少。本文提出了一种基于注意力引导的主动学习的稀疏标注策略用于三维医学图像分割。注意力机制用于提高分割精度，并对各切片的分割精度进行估计。使用正在开发的人类连接组计划（dHCP）数据集进行的三种不同策略的对比实验表明，我们的策略在大脑提取任务中只需要15%到20%的注释切片，在组织分割任务中只需要30%到35%的注释切片，就可以获得完全注释的比较结果。
2019-06-18 cs.CV eess.IV
AttentionAnatomy: A unified framework for whole-body organs at risk segmentation using multiple partially annotated datasets
DeepVoxel Inc（深体素公司）；Shanghai General Hospital（上海市第一人民医院）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）；University of California, Irvine（加州大学欧文分校）
计算机断层扫描（CT）中的危及器官（OAR）勾画是放射治疗（RT）计划中的重要步骤。最近，已经提出了用于OAR描绘的基于深度学习的方法，并将其应用于人体的不同区域（头部和颈部、胸部和腹部）的临床实践中。然而，有很少的研究，关于端到端的全身OAR描绘，因为现有的数据集大多是部分或不完整的注释，这样的任务。在本文中，我们提出的端到端卷积神经网络模型，称为\textbf{AttentionAnatomy}，可以用三个部分注释的数据集联合训练，从全身分割OAR。我们的主要贡献是：1）由身体区域标签隐式引导的注意模块，以调节分割分支输出; 2）预测重新校准操作，利用输入图像的先验信息，以处理部分注释（HPA）问题; 3）结合批量Dice损失和空间平衡的焦点损失的新的混合损失函数，以减轻器官尺寸不平衡问题。实验结果表明，与基线模型相比，我们提出的框架在Sørensen-Dice系数（DSC）和95\% Hausdorff距离方面都有显着改善。
2020-01-13 cs.CV eess.IV
Universal Segmentation of 33 Anatomies
University of Science and Technology of China（中国科学技术大学）；Guangzhou First People’s Hospital（广州市第一人民医院）；South China University of Technology（华南理工大学）
在本文中，我们提出了一种学习单个模型的方法，该模型普遍分割33个解剖结构，包括椎骨，骨盆骨和腹部器官。我们的模型构建必须解决以下挑战。首先，虽然从一个大规模的、完全注释的数据集中学习这样的模型是理想的，但实际上很难管理这样的数据集。因此，我们求助于从多个数据集的联合中学习，每个数据集包含部分标记的图像。其次，沿着部分标记的路线，我们为脊柱分析社区CTSpine1K贡献了一个开源的大规模椎骨分割数据集，拥有超过1，000个3D体积和超过11K的注释椎骨。第三，在3D医学图像分割任务中，由于GPU内存的限制，我们总是使用裁剪的补丁作为输入而不是整个3D体积来训练模型，这限制了要学习的上下文信息的量。为此，我们提出了一个跨补丁Transformer模块，以融合更多的信息在相邻的补丁，这扩大了聚合的感受野，以提高分割性能。这对于分割，比如说，细长的脊柱尤其重要。基于7个部分标记的数据集，这些数据集总共包含约2，800个3D体积，我们成功地学习了这样一个通用模型。最后，我们在多个开源数据集上对通用模型进行了评估，证明我们的模型具有良好的泛化性能，可以为下游任务奠定坚实的基础。
2022-03-04 cs.CV eess.IV
Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data
本文提出基于原型的知识检索框架，通过任务原型嵌入和知识检索变压器实现稳健的多任务学习，适用于部分标注数据场景。
2026-01-12 cs.AI cs.CV cs.LG
Robot Instance Segmentation with Few Annotations for Grasping
Technion – Israel Institute of Technology（以色列理工学院）；Bosch Center for AI（博世人工智能中心）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对机器人操作中视觉感知依赖大量标注数据、泛化未知物体难的问题，提出结合半监督学习（SSL）与交互学习（LTI）的框架，通过观察场景变化和视觉一致性学习，无需交互序列数据，在两个基准上取得SOTA性能，ARMBench上AP₅₀达86.37且低标注场景表现优异。
2025-02-11 cs.AI cs.CV cs.RO
Towards Imbalanced Large Scale Multi-label Classification with Partially Annotated Labels
University of South Carolina（南卡罗来纳大学）；University of Central Oklahoma（中央俄克拉荷马大学）
针对大规模标注空间中的标签不平衡和部分标签缺失问题，提出伪标注技术、基于统计信息的新颖损失函数及动态训练方案，在多个公开数据集上显著优于现有方法。
2023-07-31 cs.CV
DiffusionMTL: Learning Multi-Task Denoising Diffusion Model from Partially Annotated Data
Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程学系）
本文提出多任务去噪扩散框架DiffusionMTL，将部分标注的多任务密集预测转化为像素级去噪问题，通过联合扩散去噪与多任务条件策略利用任务互补性，显著提升预测质量并在三个基准上超越现有方法。
2024-03-22 cs.CV cs.LG
Robust Pancreatic Ductal Adenocarcinoma Segmentation with Multi-Institutional Multi-Phase Partially-Annotated CT Scans
PAII Inc.（PAII公司）；Shengjing Hospital of China Medical University（中国医科大学附属盛京医院）；Changhai Hospital（长海医院）；Ping An Technology Co., Ltd.（平安科技（深圳）有限公司）
准确和自动化的肿瘤分割是高度期望的，因为与（通常是部分的）人类测量相比，它具有提高计算更完整的肿瘤测量和成像生物标志物的效率和再现性的巨大潜力。这可能是唯一可行的手段，使大规模的临床肿瘤患者的研究，利用医学成像。深度学习方法已经显示出对某些类型的肿瘤的稳健分割性能，例如，MRI成像中的脑肿瘤，当具有大量像素级完全注释的肿瘤图像的训练数据集可用时。然而，我们经常面临的挑战是，只有（非常）有限的注释是可行的，特别是对于硬肿瘤。胰腺导管腺癌（PDAC）分割是最具挑战性的肿瘤分割任务之一，但对于临床需求至关重要。先前关于PDAC分割的工作限于来自静脉或静脉+动脉相CT扫描的中等量的注释患者图像（n<300）。基于一种新的自学习框架，我们提出使用大量患者（n~= 1，000）混合注释和未注释的静脉或多相位CT图像来训练PDAC分割模型。伪注释是通过将两个教师模型与未注释图像上的不同PDAC分割专业相结合来生成的，并且可以通过识别胰腺周围相关血管的教学辅助模型来进一步细化。学生模型在手动和伪注释的多相位图像上进行训练。实验结果表明，我们提出的方法提供了6.3%的Dice分数的绝对改善超过强基线的nnUNet训练的注释图像，实现性能（Dice = 0.71）类似的观察者之间的放射科医生的变异。
2020-08-24 cs.CV eess.IV
Weakly Supervised Lesion Detection and Diagnosis for Breast Cancers with Partially Annotated Ultrasound Images
Shanghai University（上海大学）；Fudan University Shanghai Cancer Center（复旦大学附属肿瘤医院）
针对乳腺癌超声CAD中粗标注限制诊断性能的问题，提出弱监督两阶段检测诊断网络TSDDNet，通过候选选择优化标注、自蒸馏联合优化，在检测和诊断任务上均达最优。
2023-06-12 cs.CV cs.LG eess.IV
Learning Fair Classifiers with Partially Annotated Group Labels
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
最近，公平意识学习变得越来越重要，但大多数方法都是通过假设完全注释的人口统计组标签的可用性来操作的。我们强调，这样的假设是不现实的现实世界中的应用程序，因为组标签注释是昂贵的，并可能与隐私问题相冲突。在本文中，我们考虑了一个更实际的情况下，被称为与部分注释组标签（公平PG）的组公平。我们观察到，现有的方法来实现组公平性执行甚至比香草训练，它只是简单地使用完整的数据只与目标标签，在Fair-PG下。为了解决这个问题，我们提出了一个简单的基于置信度的组标签分配（CGL）的策略，是很容易适用于任何公平意识的学习方法。CGL利用辅助组分类器来分配伪组标签，其中随机标签被分配给低置信度样本。我们首先从理论上证明了我们的方法设计在公平性标准方面优于香草伪标签策略。然后，我们在几个基准数据集上实证表明，通过将CGL和最先进的公平性感知处理方法相结合，与基线相比，目标精度和公平性度量可以得到联合改善。此外，我们令人信服地表明，CGL能够自然地用外部目标仅标记数据集来增强给定的组标记数据集，从而提高准确性和公平性。代码可在https://github.com/naver-ai/cgl_fairness上获得。
2022-04-01 cs.CV cs.CY cs.LG
StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets
Inria（法国国家科研机构）
本文提出StableMTL，通过利用扩散模型的泛化能力，在部分标注的合成数据集上进行多任务学习，采用统一的潜在损失和多流模型促进任务间协同，优于基线模型。
2026-04-20 cs.AI cs.CV cs.LG
COSST: Multi-organ Segmentation with Partially Labeled Datasets Using Comprehensive Supervisions and Self-training
Siemens Healthineers（西门子医疗）；Vanderbilt University（范德堡大学）
针对医学影像多器官分割中数据集仅部分标注的问题，提出COSST两阶段框架，融合真值与伪标签监督并通过潜在空间离群点过滤自训练，在12个CT数据集上显著优于现有方法。
2023-11-01 cs.CV
SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification
University of Southern California（南加州大学）
一个常见的分类任务情况是，有大量的数据可用于训练，但只有一小部分用类标签注释。在这种情况下，半监督训练的目标是通过利用不仅来自标记数据而且来自大量未标记数据的信息来提高分类准确性。最近的工作已经开发了显着的改进，通过探索不同的增强标记和未标记的数据之间的一致性约束。沿着这条道路，我们提出了一种新的无监督目标，专注于研究彼此相似的高置信度未标记数据之间的关系。新提出的配对损失最大限度地减少了高置信度伪标签之间的统计距离，相似性高于一定的阈值。将配对损失与MixMatch家族开发的技术相结合，我们提出的SimPLE算法在CIFAR-100和Mini-ImageNet上显示出比以前的算法显着的性能增益，并且与CIFAR-10和SVHN上的最先进方法相当。此外，SimPLE在迁移学习设置中也优于最先进的方法，其中模型由ImageNet或DomainNet-Real上预先训练的权重初始化。该代码可在github.com/zijian-hu/SimPLE上获得。
2022-06-29 cs.CV cs.LG
Multi-label Classification with Partial Annotations using Class-aware Selective Loss
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
大规模多标签分类数据集通常（也许不可避免地）进行部分注释。也就是说，每个样本仅注释标签的一小部分。处理缺失标签的不同方法会导致模型的不同属性，并影响其准确性。在这项工作中，我们分析了部分标记问题，然后提出了基于两个关键思想的解决方案。首先，应根据两个概率量选择性地处理未注释的标签：整体数据集中的类分布和给定数据样本的特定标签可能性。我们建议使用专用的临时模型来估计类分布，并且我们显示了其使用数据集的部分注释计算的朴素估计的改进效率。其次，在目标模型的训练过程中，我们通过使用专用的非对称损失来强调注释标签对原始未注释标签的贡献。通过我们的新方法，我们在OpenImages数据集上实现了最先进的结果（例如，在V6上达到87.3 mAP）。此外，在LVIS和模拟COCO上进行的实验证明了该方法的有效性。代码可在https://github.com/Alibaba-MIIL/PartialLabelingCSL上获得。
2021-10-21 cs.CV
Deep Convolutional Generative Adversarial Network Based Food Recognition Using Partially Labeled Data
Keele University（基尔大学）；Indian Institute of Technology, Bhubaneswar（印度理工学院布巴内斯瓦尔分校）
传统的机器学习算法使用手工制作的特征提取技术（例如局部二值模式），由于用于食物识别任务的同一类图像的高变化（或类内变化）而具有有限的准确性。在最近的工作中，卷积神经网络（CNN）已被应用于这一任务，比以前报道的所有方法都有更好的结果。然而，它们在使用大量注释（标记）食物图像进行训练时表现最好。这在大量获得时是有问题的，因为它们昂贵、费力且不切实际。我们的工作旨在开发一种有效的基于深度CNN学习的食物识别方法，通过在生成对抗网络（GANs）上使用部分标记的训练数据来缓解这些限制。我们对Goodfellow等人（2014）引入的无监督训练架构进行了新的增强，该架构最初旨在通过对数据集进行采样来生成新数据。在这项工作中，我们对深度卷积GANs进行了修改，使其在对食物图像进行分类时具有鲁棒性和高效性。基准数据集上的实验结果表明，我们提出的方法的优越性相比，当前国家的最先进的方法，即使在训练部分标记的训练数据。
2018-12-26 cs.CV
Looking into the Unknown: Exploring Action Discovery for Segmentation of Known and Unknown Actions
本文提出动作发现新设置及两步方法（GGSM与UASA），利用已知动作标注指导未知动作的时间与语义分割，在三个数据集上显著优于基线。
2025-08-07 cs.CV
Incremental Learning for Multi-organ Segmentation with Partially Labeled Datasets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对部分标注且顺序构建的医学图像数据集，提出基于增量学习的多器官分割方法，并推测分布差异是灾难性遗忘的关键原因，通过五个开源数据集验证了方法的有效性与推测的正确性。
2021-03-08 cs.CV
Chinese Street View Text: Large-scale Chinese Text Reading with Partially Supervised Learning
Baidu Inc（百度公司）；The University of Hong Kong（香港大学）
由于训练数据有限，大多数现有的文本阅读基准测试难以评估更高级的深度学习模型在大词汇量下的性能。为了解决这个问题，我们引入了一个新的大规模文本阅读基准数据集，名为中国街景文本（C-SVT），包含43万张街景图像，至少是现有中文文本阅读基准数据集的14倍。为了在野外识别中文文本，同时保持大规模数据集标签的成本效益，我们建议在位置和文本标签中注释CSVT数据集（30，000张图像）的一部分作为完整注释，并添加400，000张图像，其中只有区域中相应的感兴趣文本作为弱注释。为了充分利用弱标注数据中的丰富信息，我们在部分监督学习框架下设计了一个文本阅读网络，该网络能够同时从完全标注和弱标注数据中进行文本定位和识别。为了从弱标记图像中定位最佳匹配的文本提案，我们提出了一个在线提案匹配模块，该模块集成在整个模型中，通过共享端到端训练参数来识别关键字区域。与全监督训练算法相比，在相同的标记代价下，该模型的端到端识别性能可显著提高4.03%。所提出的模型也可以在ICDAR 2017-RCTW数据集上实现最先进的结果，这证明了所提出的部分监督学习框架的有效性。
2020-02-13 cs.CV cs.LG cs.MM
Bootstrapping Weakly Supervised Segmentation-free Word Spotting through HMM-based Alignment
Uppsala University（乌普萨拉大学）
最近在手写文档中的单词识别方面的工作取得了令人印象深刻的结果。这一进展在很大程度上是由监督学习系统取得的，这些系统依赖于手动注释的数据，使得部署到新的集合是一项重大的工作。在本文中，我们提出了一种方法，利用没有限界框注释的成绩单训练无分割查询的字符串单词定位模型，给出了一个部分训练的模型。这是通过基于隐马尔可夫模型的无训练对齐过程完成的。该过程在单词区域建议和transmittance之间创建尝试性映射，以自动创建附加的弱注释训练数据，而不选择任何单个对齐可能性作为正确的对齐。当只使用1%到7%的完全注释的训练集进行部分收敛时，我们会自动注释剩余的训练数据并使用它成功地进行训练。在我们所有的数据集上，我们最终训练的模型的性能与使用完整训练集作为基础事实训练的模型的性能相差几个mAP%。我们相信，这将是一个显着的进步，更广泛地使用单词识别，因为数字转录数据将已经存在的部分，许多收藏的兴趣。
2020-03-24 cs.CV
Federated Learning with Partially Labeled Data: A Conditional Distillation Approach
Department of Computer Science and Information Engineering, National Taiwan University（计算机科学与信息工程系，国立台湾大学）；Graduate School of Informatics, Nagoya University（资讯研究生院，名古屋大学）；Institute of Applied Mathematical Sciences, National Taiwan University（应用数学科学研究所，国立台湾大学）；NVIDIA Corporation（NVIDIA公司）
针对医学影像联邦学习中部分标记导致的模型发散与遗忘问题，提出融合条件蒸馏的ConDistFL框架，在提升分割精度的同时兼顾效率与泛化性，适配隐私受限的协作医学影像分割场景。
2025-10-28 cs.CV
Learning to Detect Important People in Unlabelled Images for Semi-supervised Important People Detection
Sun Yat-sen University（中山大学）；University of Edinburgh（爱丁堡大学）
重要人物检测是自动检测出在社会事件图像中扮演最重要角色的人物，这就要求设计的模型能够理解高层模式。然而，现有的方法严重依赖于使用大量带注释的图像样本的监督学习，收集这些样本用于重要人物检测比用于个体实体识别（例如，对象识别）的成本更高。为了克服这个问题，我们提出了在部分注释的图像上学习重要人物检测。我们的方法迭代地学习为未注释图像中的个体分配伪标签，并学习根据具有标签和伪标签的数据更新重要人物检测模型。为了缓解伪标签不平衡问题，我们引入了一个伪标签估计的排名策略，并引入了两个加权策略：一个用于加权个人是重要人物的信心，以加强对重要人物的学习，另一个用于忽略噪声未标记的图像（即没有任何重要人物的图像）。我们收集了两个大规模的数据集进行评估。大量的实验结果清楚地证实了我们的方法通过利用未标记的图像来提高重要人物检测性能的有效性。
2020-04-16 cs.CV
DENTEX: Dental Enumeration and Tooth Pathosis Detection Benchmark for Panoramic X-ray
Department of Quantitative Biomedicine, University of Zurich（苏黎世大学定量生物医学系）；Harvard Medical School（哈佛医学院）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；ETH AI Center, ETH Zurich（苏黎世联邦理工学院人工智能中心）；Center for Dental Medicine, University of Zurich（苏黎世大学牙科医学中心）；Department of Computer Engineering, Bogazici University（博雅大学计算机工程系）；Department of Endodontics, Istanbul Medipol University（伊斯坦布尔Medipol大学牙体医学系）；University of Oklahoma, College of Dentistry, Graduate Periodontics Department（俄克拉荷马大学牙科学院研究生牙周病学系）
针对全景X射线解读耗时易出错、自动化算法因标注数据稀缺和解剖差异面临挑战的问题，本文组织DENTEX挑战赛并分析结果，发现顶尖策略（如分割引导流水线、Transformer等）显著优于传统方法，为牙科AI工具开发提供关键见解。
2025-11-13 cs.CV
Rethinking Crowdsourcing Annotation: Partial Annotation with Salient Labels for Multi-Label Image Classification
The University of British Columbia（不列颠哥伦比亚大学）
在图像分类中，有监督的模型训练和评价都需要标注的图像。手动注释图像既费力又昂贵，尤其是对于多标签图像。进行这种费力的注释任务的最近趋势是通过众包，其中图像由志愿者或付费工人在线注释（例如，亚马逊土耳其机器人（Amazon Mechanical Turk）然而，众包图像标注的质量不能得到保证，不完整性和不正确性是众包标注的两个主要问题。为了解决这些问题，我们对众包注释进行了重新思考：我们简单的假设是，如果注释者只对他们有信心的突出标签部分注释多标签图像，则注释错误会更少，注释者将花费更少的时间在不确定的标签上。令人惊喜的是，在相同的注释预算下，我们展示了由具有显著注释的图像监督的多标签图像分类器可以优于由完全注释的图像监督的模型。我们的方法的贡献是2倍：主动学习的方式，提出了获取多标签图像的显着标签，并提出了一种新的自适应温度关联模型（ATAM），特别是使用部分注释的多标签图像分类。我们对实际的众包数据、开放街道地图（OSM）数据集和基准数据集COCO 2014进行了实验。与在完全注释的图像上训练的最先进的分类方法相比，所提出的ATAM可以实现更高的准确性。所提出的想法是有前途的众包数据注释。我们的代码将公开。
2021-09-06 cs.CV
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；Advanced Analytics Institute（高级分析研究所）；University of Technology Sydney（悉尼科技大学）
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例，要么从未标记的数据进行无监督学习。相反，我们在这里提出了一种基于深度强化学习的方法，该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常，同时连续地将所学习的异常扩展到新的异常类别（即，未知的异常），通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明，我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Learning Inductive Attention Guidance for Partially Supervised Pancreatic Ductal Adenocarcinoma Prediction
East China Normal University（华东师范大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
胰腺导管腺癌（PDAC）是美国癌症死亡的第三大常见原因。通过深度学习从医学图像中预测PDAC（包括分类和分割）等肿瘤正在成为一种发展趋势，但通常需要大量的注释数据进行训练，这是非常劳动密集型和耗时的。在本文中，我们考虑一个部分监督设置，廉价的图像级注释提供所有的训练数据，和昂贵的每体素注释只适用于其中的一个子集。我们提出了一个诱导注意力指导网络（IAG-Net），共同学习一个全球图像级分类器正常/PDAC分类和局部体素级分类器的半监督PDAC分割。我们通过多实例学习（MIL）来实例化全局和局部分类器，其中注意力引导是桥接它们的关键：对于基于全局MIL的正常/PDAC分类，注意力作为MIL池化期间每个实例（体素）的权重，这消除了来自背景的分心;对于基于局部MIL的半监督PDAC分割，注意力引导是归纳的，它不仅为训练数据提供袋级伪标签，而无需针对MIL训练的每体素注释，而且还充当实例级分类器的代理。实验结果表明，我们的IAG-Net提高PDAC分割精度超过5%，与国家的最先进的。
2021-05-31 cs.CV
Revisiting Vicinal Risk Minimization for Partially Supervised Multi-Label Classification Under Data Scarcity
University of Oxford（牛津大学）
由于注释的人力成本很高，因此管理针对所有感兴趣类别完全标记的大规模医疗数据集是非常重要的。相反，从不同的匹配源收集多个小的部分标记的数据集将是方便的，其中医学图像可能仅针对感兴趣类别的子集被注释。本文提供了一个经验性的理解一个未充分探索的问题，即部分监督多标签分类（PSMLC），其中多标签分类器的训练，只有部分标记的医学图像。相对于完全监督，部分监督导致的医疗数据稀缺性对模型性能有不小的负面影响。一个潜在的补救措施可能是增加部分标签。虽然邻近风险最小化（VRM）是一个很有前途的解决方案，以提高模型的泛化能力，其应用到PSMLC仍然是一个悬而未决的问题。为了弥合方法上的差距，我们为PSMLC提供了第一个基于VRM的解决方案。实验结果也为数据稀缺下部分监督学习的未来研究方向提供了启示。
2022-04-19 cs.CV cs.LG stat.ML
Cell Detection from Imperfect Annotation by Pseudo Label Selection Using P-classification
Kyushu University（九州大学）；RIKEN（理化学研究所）
细胞检测是细胞图像分析中的一项重要任务。最近基于深度学习的检测方法已经取得了非常有希望的结果。通常，这些方法需要详尽地注释整个图像中的细胞。如果一些细胞没有被注释（不完美的注释），检测性能会由于噪声标签而显著降低。这经常发生在与生物学家的真正合作中，甚至在公共数据集中。我们提出的方法采用伪标记方法从不完美的注释数据中检测细胞。使用这种丢失的标记数据训练的检测卷积神经网络（CNN）经常产生过度检测。我们将部分标记的细胞作为阳性样本，将除标记细胞外的检测位置作为未标记样本。然后，我们使用最近的机器学习技术从未标记的数据中选择可靠的伪标签;正和未标记（PU）学习和P-分类。实验使用显微镜图像为五种不同的条件下证明了该方法的有效性。
2021-07-21 cs.CV
Grounding Partially-Defined Events in Multimodal Data
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）
针对视觉数据难以建模部分可观测事件的问题，该研究提出部分定义事件的多模态建模方法与三阶段跨度抽取任务，构建了含多模态数据的基准MultiVENT-G，验证了LLM驱动方法的潜力与事件理解的挑战。
2024-10-07 cs.CL cs.CV
Mitosis Detection from Partial Annotation by Dataset Generation via Frame-Order Flipping
Kyushu University（九州大学）；Kyoto University（京都大学）
本文提出一种利用帧序翻转和alpha混合粘贴从部分标注生成完全标注数据集的有丝分裂检测方法，在四个数据集上验证其优于其他部分标注对比方法。
2023-07-09 cs.CV
A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition
Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学计算机科学与工程学院）；Dept. of AI, FPT University（FPT大学人工智能系）；Department of Artificial Intelligence Convergence, Chonnam National University（全南国立大学人工智能融合系）
研究针对野外面部表情多任务且标注不完整不均衡的问题，提出将部分标记多任务学习视为对共享情感潜在空间的边缘化方法，在s-Aff-Wild2数据集上提升了表情和动作单元识别效果，得出相关结论并展示了小范围转移结果。
2026-07-21 cs.CV
Bootstrapping Sign Language Annotations with Sign Language Models
Apple（苹果公司）；Gallaudet University（加劳德特大学）
本文提出一种伪注释流程，利用手语视频和英语输入，生成手语、手指拼写词和手语分类器的注释。通过稀疏预测和K-Shot LLM方法，实现高精度的伪注释，为手语数据集提供高质量基准。
2026-04-08 cs.CV
Learning Underrepresented Classes from Decentralized Partially Labeled Medical Images
University of Oxford（牛津大学）；UiT The Arctic University of Norway（挪威北极大学）
使用分散的数据进行联邦训练是缓解医疗领域数据稀缺的一个有前途的新兴研究方向。然而，与一般对象识别任务中常见的大规模完全标记数据相比，由于注释成本高，本地医疗数据集更可能仅具有针对感兴趣类别的子集注释的图像。在本文中，我们考虑了一个实际的，但未充分探索的问题，其中代表性不足的类只有很少的标记实例可用，只存在于少数客户端的联邦系统。我们表明，标准的联邦学习方法无法学习强大的多标签分类器与极端的类不平衡，并提出了一种新的联邦学习框架，FedFew解决它。FedFew由三个阶段组成，其中第一阶段利用联邦自监督学习来学习与类无关的表示。在第二阶段，分散的部分标记的数据被用来学习一个基于能量的多标签分类器的共同类。最后，基于能量检测出代表性不足的类，并提出了一种基于原型的最近邻模型进行Few-Shot匹配。我们在多标签胸部疾病分类任务上评估了FedFew，并证明它的性能大大优于联邦基线。
2022-06-30 cs.CV cs.LG
Comparative evaluation of training strategies using partially labelled datasets for segmentation of white matter hyperintensities and stroke lesions in FLAIR MRI
University of Edinburgh（爱丁堡大学）
本研究系统评估了六种利用部分标注数据训练联合分割白质高信号和缺血性卒中病变模型的策略，发现伪标签法最有效，可提升模型性能并支持大规模临床研究。
2026-07-23 cs.AI cs.CV
