Learning from Partially Overlapping Labels: Image Segmentation under Annotation Shift
Imperial College London（帝国理工学院）；The Institute of Cancer Research（英国癌症研究院）；The Royal Marsden NHS Foundation Trust（皇家马斯登国民保健服务基金会信托）
缺乏高质量的注释图像仍然是训练准确图像分割模型的限制因素。虽然越来越多的注释数据集变得公开可用，但每个数据库中的样本数量通常很小。由于数据采集和注释过程中的差异导致的异质性，组合不同的数据库以创建更大量的训练数据是有吸引力的，但也是具有挑战性的，通常会产生不兼容甚至冲突的信息。在本文中，我们研究并提出了几种策略，用于在腹部器官分割的背景下从部分重叠的标签中学习。我们发现，将半监督方法与自适应交叉熵损失相结合，可以成功地利用异质注释数据，并与基线和替代方法相比，大大提高分割精度。
2021-07-13 cs.CV
Learning to be EXACT, Cell Detection for Asthma on Partially Annotated Whole Slide Images
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；EUROIMMUN Medizinische Labordiagnostika AG（欧蒙医学实验诊断股份公司）；Freie Universität Berlin（柏林自由大学）；Technische Hochschule Ingolstadt（英戈尔施塔特工业大学）
哮喘是下呼吸道的慢性炎症性疾病，自然发生在人类和动物（包括马）中。哮喘显微镜全载玻片图像（WSI）的注释是一项极其劳动密集型的任务，因为每个WSI有数十万个细胞。为了克服不完全注释WSI的局限性，我们开发了一个训练管道，可以使用部分注释的WSI训练基于深度学习的对象检测模型，并动态补偿类不平衡。通过这种方法，我们可以自由地从带注释的WSI区域采样，并且不限于与经典方法一样完全注释的WSI提取子图像。我们在交叉验证设置中使用固定的训练集评估了我们的管道，该训练集使用六个马WSI的数据集，其中四个部分注释并用于训练，两个完全注释的WSI用于验证和测试。我们的基于WSI的训练方法优于经典的基于子图像的训练方法高达15\% $mAP$，并产生了类似人类的性能相比，十个训练有素的病理学家的注释。
2021-01-13 cs.CV eess.IV
T2M-X: Learning Expressive Text-to-Motion Generation from Partially Annotated Data
Iowa State University（爱荷华州立大学）；Snap Inc.（Snap公司）；Pennsylvania State University（宾夕法尼亚州立大学）
提出T2M-X两阶段方法，利用部分标注数据，通过三个VQ-VAE和带一致性损失的GPT模型，生成包含身体、手和脸的全身动作，显著优于基线。
2024-09-20 cs.CV
UFPS: A unified framework for partially-annotated federated segmentation in heterogeneous data distribution
Shanghai University（上海大学）；Chinese University of Hong Kong（香港中文大学）；Elsevier B.V.（爱思唯尔出版集团）；STM Document Engineering Pvt Ltd.（STM文档工程私人有限公司）
针对部分标注联邦分割中的类别异构与客户端漂移问题，提出UFPS框架，通过统一标签学习和稀疏统一锐度感知最小化，实现无类别冲突的全类别分割，并在真实医学数据集上验证了其优越性。
2023-11-16 cs.AI cs.CV
ConDistFL: Conditional Distillation for Federated Learning from Partially Annotated Data
National Taiwan University（国立台湾大学）；Nagoya University（名古屋大学）；NVIDIA Corporation（英伟达公司）
针对联邦学习中部分标注数据导致难以训练通用分割模型的问题，本文提出ConDistFL框架，通过条件概率表示结合知识蒸馏从全局模型提取未标注器官与肿瘤知识，在多个腹部CT数据集上显著优于FedAvg和FedOpt基线，并降低通信成本。
2023-08-08 cs.CV cs.LG
AttentionAnatomy: A unified framework for whole-body organs at risk segmentation using multiple partially annotated datasets
DeepVoxel Inc（深体素公司）；Shanghai General Hospital（上海市第一人民医院）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）；University of California, Irvine（加州大学欧文分校）
计算机断层扫描（CT）中的危及器官（OAR）勾画是放射治疗（RT）计划中的重要步骤。最近，已经提出了用于OAR描绘的基于深度学习的方法，并将其应用于人体的不同区域（头部和颈部、胸部和腹部）的临床实践中。然而，有很少的研究，关于端到端的全身OAR描绘，因为现有的数据集大多是部分或不完整的注释，这样的任务。在本文中，我们提出的端到端卷积神经网络模型，称为\textbf{AttentionAnatomy}，可以用三个部分注释的数据集联合训练，从全身分割OAR。我们的主要贡献是：1）由身体区域标签隐式引导的注意模块，以调节分割分支输出; 2）预测重新校准操作，利用输入图像的先验信息，以处理部分注释（HPA）问题; 3）结合批量Dice损失和空间平衡的焦点损失的新的混合损失函数，以减轻器官尺寸不平衡问题。实验结果表明，与基线模型相比，我们提出的框架在Sørensen-Dice系数（DSC）和95\% Hausdorff距离方面都有显着改善。
2020-01-13 cs.CV eess.IV
Generative AI for Enhanced Wildfire Detection: Bridging the Synthetic-Real Domain Gap
本文提出利用生成式AI技术合成烟雾数据集，并结合无监督领域适应方法提升野火检测模型的准确性和可扩展性。
2025-09-02 cs.AI cs.CV
InfAnFace: Bridging the infant-adult domain gap in facial landmark estimation in the wild
Roux Institute（鲁克斯研究所）；Northeastern University（东北大学）；University of Maine（缅因大学）
我们为婴儿面部的算法理解研究奠定了基础，预期从医疗保健到心理学的应用，特别是在发育障碍的早期预测方面。具体来说，我们介绍了有史以来第一次的数据集的婴儿面部标注的面部标志坐标和姿态属性，展示了现有的面部标志估计算法在婴儿领域的不足之处，和训练新的国家的最先进的模型，显着改善后，这些算法使用领域自适应技术。我们触及了与婴儿面部检测密切相关的任务，以及我们实验室收集的红外婴儿监视器图像的一个具有挑战性的案例研究，作为对上述发展问题的现场研究的一部分。
2022-05-27 cs.CV
Task Prototype-Based Knowledge Retrieval for Multi-Task Learning from Partially Annotated Data
本文提出基于原型的知识检索框架，通过任务原型嵌入和知识检索变压器实现稳健的多任务学习，适用于部分标注数据场景。
2026-01-12 cs.AI cs.CV cs.LG
Towards Imbalanced Large Scale Multi-label Classification with Partially Annotated Labels
University of South Carolina（南卡罗来纳大学）；University of Central Oklahoma（中央俄克拉荷马大学）
针对大规模标注空间中的标签不平衡和部分标签缺失问题，提出伪标注技术、基于统计信息的新颖损失函数及动态训练方案，在多个公开数据集上显著优于现有方法。
2023-07-31 cs.CV
Deep Compatible Learning for Partially-Supervised Medical Image Segmentation
Fudan University（复旦大学）
部分监督学习由于缺乏对未标记结构的监督而对于分割可能具有挑战性，并且直接应用完全监督学习的方法可能导致不兼容，这意味着在给定损失函数的情况下，基础事实不在优化问题的解集中。为了应对这一挑战，我们提出了一个深度兼容学习（DCL）框架，该框架使用仅标注了部分结构的图像来训练单个多标签分割网络。我们首先将部分监督分割公式化为与缺失标签兼容的优化问题，并证明其兼容性。然后，我们为模型配备了条件分割策略，将标签从多个部分注释的图像传播到目标。此外，我们提出了一个双重学习策略，同时学习两个相反的标签传播映射，为未标记的结构提供实质性的监督。这两种策略分别被表述为相容形式，称为条件相容和对偶相容。我们表明，这个框架是普遍适用于传统的损失函数。与现有方法相比，该方法获得了显着的性能改进，特别是在只有少量训练数据集的情况下。三个分割任务的结果表明，所提出的框架可以实现与全监督模型相匹配的性能。
2022-06-18 cs.CV
DiffusionMTL: Learning Multi-Task Denoising Diffusion Model from Partially Annotated Data
Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程学系）
本文提出多任务去噪扩散框架DiffusionMTL，将部分标注的多任务密集预测转化为像素级去噪问题，通过联合扩散去噪与多任务条件策略利用任务互补性，显著提升预测质量并在三个基准上超越现有方法。
2024-03-22 cs.CV cs.LG
Robust Pancreatic Ductal Adenocarcinoma Segmentation with Multi-Institutional Multi-Phase Partially-Annotated CT Scans
PAII Inc.（PAII公司）；Shengjing Hospital of China Medical University（中国医科大学附属盛京医院）；Changhai Hospital（长海医院）；Ping An Technology Co., Ltd.（平安科技（深圳）有限公司）
准确和自动化的肿瘤分割是高度期望的，因为与（通常是部分的）人类测量相比，它具有提高计算更完整的肿瘤测量和成像生物标志物的效率和再现性的巨大潜力。这可能是唯一可行的手段，使大规模的临床肿瘤患者的研究，利用医学成像。深度学习方法已经显示出对某些类型的肿瘤的稳健分割性能，例如，MRI成像中的脑肿瘤，当具有大量像素级完全注释的肿瘤图像的训练数据集可用时。然而，我们经常面临的挑战是，只有（非常）有限的注释是可行的，特别是对于硬肿瘤。胰腺导管腺癌（PDAC）分割是最具挑战性的肿瘤分割任务之一，但对于临床需求至关重要。先前关于PDAC分割的工作限于来自静脉或静脉+动脉相CT扫描的中等量的注释患者图像（n<300）。基于一种新的自学习框架，我们提出使用大量患者（n~= 1，000）混合注释和未注释的静脉或多相位CT图像来训练PDAC分割模型。伪注释是通过将两个教师模型与未注释图像上的不同PDAC分割专业相结合来生成的，并且可以通过识别胰腺周围相关血管的教学辅助模型来进一步细化。学生模型在手动和伪注释的多相位图像上进行训练。实验结果表明，我们提出的方法提供了6.3%的Dice分数的绝对改善超过强基线的nnUNet训练的注释图像，实现性能（Dice = 0.71）类似的观察者之间的放射科医生的变异。
2020-08-24 cs.CV eess.IV
Box for Mask and Mask for Box: weak losses for multi-task partially supervised learning
IRISA（法国国家信息与自动化研究所雷恩分院（IRISA））；Université Bretagne Sud（南布列塔尼大学）
针对多任务部分监督学习中样本仅单任务标注的问题，提出Box-for-Mask、Mask-for-Box及组合BoMBo策略，结合弱损失与监督损失，利用单任务标注信息训练另一任务，VOC和COCO实验验证有效性。
2024-11-26 cs.CV
Weakly Supervised Lesion Detection and Diagnosis for Breast Cancers with Partially Annotated Ultrasound Images
Shanghai University（上海大学）；Fudan University Shanghai Cancer Center（复旦大学附属肿瘤医院）
针对乳腺癌超声CAD中粗标注限制诊断性能的问题，提出弱监督两阶段检测诊断网络TSDDNet，通过候选选择优化标注、自蒸馏联合优化，在检测和诊断任务上均达最优。
2023-06-12 cs.CV cs.LG eess.IV
Focus on defocus: bridging the synthetic to real domain gap for depth estimation
Technical University Munich（慕尼黑工业大学）
由于真实世界场景的巨大变化性，数据驱动的深度估计方法在其训练场景之外与泛化作斗争。这个问题可以通过利用合成生成的图像来部分解决，但是关闭合成-真实域的差距远非微不足道。在本文中，我们解决这个问题，使用域不变散焦模糊作为直接监督。我们通过使用排列不变的卷积神经网络来利用散焦线索，该网络鼓励网络从具有不同焦点的图像之间的差异中学习。我们提出的网络使用散焦图作为中间监督信号。我们能够完全在合成数据上训练我们的模型，并将其直接应用于广泛的真实世界图像。我们在合成和真实数据集上评估了我们的模型，显示出令人信服的泛化结果和最先进的深度预测。
2020-05-19 cs.CV
CauCLIP: Bridging the Sim-to-Real Gap in Surgical Video Understanding via Causality-Inspired Vision-Language Modeling
CauCLIP通过因果启发的视觉-语言模型，在不访问目标领域数据的情况下，提升手术视频理解的领域泛化能力。
2026-02-06 cs.CV
Learning Fair Classifiers with Partially Annotated Group Labels
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
最近，公平意识学习变得越来越重要，但大多数方法都是通过假设完全注释的人口统计组标签的可用性来操作的。我们强调，这样的假设是不现实的现实世界中的应用程序，因为组标签注释是昂贵的，并可能与隐私问题相冲突。在本文中，我们考虑了一个更实际的情况下，被称为与部分注释组标签（公平PG）的组公平。我们观察到，现有的方法来实现组公平性执行甚至比香草训练，它只是简单地使用完整的数据只与目标标签，在Fair-PG下。为了解决这个问题，我们提出了一个简单的基于置信度的组标签分配（CGL）的策略，是很容易适用于任何公平意识的学习方法。CGL利用辅助组分类器来分配伪组标签，其中随机标签被分配给低置信度样本。我们首先从理论上证明了我们的方法设计在公平性标准方面优于香草伪标签策略。然后，我们在几个基准数据集上实证表明，通过将CGL和最先进的公平性感知处理方法相结合，与基线相比，目标精度和公平性度量可以得到联合改善。此外，我们令人信服地表明，CGL能够自然地用外部目标仅标记数据集来增强给定的组标记数据集，从而提高准确性和公平性。代码可在https://github.com/naver-ai/cgl_fairness上获得。
2022-04-01 cs.CV cs.CY cs.LG
GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation
Fraunhofer IPK（弗劳恩霍夫研究所）
研究针对新型物体抓取，提出GraspIT数据集。通过在Isaac Sim中对桌面场景进行物理滑动测试标注，经Real↔Sim循环反向投影到真实场景。贡献约31.6万个带注释RGBD帧集及开源工具，可用于桌面操作策略学习等。
2026-07-08 cs.CV cs.RO
GlovEgo-HOI: Bridging the Synthetic-to-Real Gap for Industrial Egocentric Human-Object Interaction Detection
Department of Mathematics and Computer Science, University of Catania（数学与计算机科学系，卡塔尼亚大学）；Next Vision s.r.l.（Next Vision公司）
GlovEgo-HOI通过合成数据与扩散过程结合，生成真实世界图像中的PPE，提出新基准数据集和模型，提升工业视角的人-物体交互检测效果。
2026-01-14 cs.CV
Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization
NVIDIA（英伟达）；University of Toronto（多伦多大学）
我们提出了一种使用合成图像训练深度神经网络进行目标检测的系统。为了处理真实世界数据的可变性，该系统依赖于域随机化技术，其中模拟器$-$的参数，如照明，姿态，对象纹理等$-$以非现实的方式随机化，以迫使神经网络学习感兴趣对象的基本特征。我们探讨了这些参数的重要性，表明它是可能的，以产生一个网络具有令人信服的性能，只使用非艺术生成的合成数据。通过对真实数据进行额外的微调，网络比单独使用真实数据产生更好的性能。这一结果开辟了使用廉价的合成数据来训练神经网络的可能性，同时避免了收集大量手动注释的真实世界数据或生成高保真合成世界$-$的需要，这两者仍然是许多应用的瓶颈。在KITTI数据集上对汽车的限界框检测进行了评估。
2018-04-23 cs.CV
Bridging the Reality Gap for Pose Estimation Networks using Sensor-Based Domain Randomization
SDU Robotics（南丹麦大学机器人研究所）；University of Southern Denmark（南丹麦大学）
自从引入用于物体姿态估计的现代深度学习方法以来，测试精度和效率显著提高。然而，对于训练，需要大量带注释的训练数据以获得良好的性能。虽然合成训练数据的使用防止了对手动注释的需要，但目前在真实数据和合成数据上训练的方法之间存在很大的性能差距。本文介绍了一种新的方法，弥合这一差距。在合成数据上训练的大多数方法使用2D图像，因为2D中的域随机化更发达。为了获得精确的姿态，这些方法中的许多使用3D数据执行最终细化。我们的方法将3D数据集成到网络中，以提高姿态估计的准确性。为了允许3D中的域随机化，已经开发了基于传感器的数据增强。此外，我们引入了SparseEdge功能，该功能在点云传播期间使用更宽的搜索空间，以避免依赖于特定功能而不增加运行时间。在三个大型姿态估计基准上的实验表明，该方法优于以前在合成数据上训练的方法，并取得了与在真实数据上训练的现有方法相当的结果。
2021-08-17 cs.CV
StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets
Inria（法国国家科研机构）
本文提出StableMTL，通过利用扩散模型的泛化能力，在部分标注的合成数据集上进行多任务学习，采用统一的潜在损失和多流模型促进任务间协同，优于基线模型。
2026-04-20 cs.AI cs.CV cs.LG
Scalable learning for bridging the species gap in image-based plant phenotyping
The Commonwealth Scientific and Industrial Research Organisation (CSIRO), Data61（联邦科学与工业研究组织（CSIRO）Data61）
应用深度学习的传统模式-收集，注释和训练数据-不适用于基于图像的植物表型分析，因为存在近40万种不同的植物物种。数据成本包括物理样本的生长、成像和标记。模型性能受每个植物物种域之间的物种差距的影响，它是不可推广的，可能不会转移到看不见的植物物种。在本文中，我们研究了使用合成数据的叶实例分割。当很少或没有注释的真实数据可用时，我们使用Mask-RCNN研究多个合成数据训练方案。我们还介绍了UPGen：一个通用的植物发电机，用于弥合物种差距。UPGen利用域随机化产生广泛分布的数据样本和模型随机生物变异。我们的方法优于标准实践，如从公开的植物数据的迁移学习，在两个看不见的植物物种上分别提高了26.6%和51.46%。我们通过参加CVPPP Leaf Segmentation Challenge对UPGen进行基准测试，并设定了一个新的最先进水平，A1-4测试数据集的平均值为88%。本研究适用于利用合成数据自动测定表型性状。我们的合成数据集和预训练模型可在https://csiro-robotics.github.io/UPGen_Webpage/上获得。
2020-04-24 cs.CV
Bridging Vision and Language for Robust Context-Aware Surgical Point Tracking: The VL-SurgPT Dataset and Benchmark
针对手术点跟踪因复杂视觉条件及缺乏语义上下文导致的挑战，本文构建首个多模态VL-SurgPT数据集，提出文本引导的TG-SurgPT方法，显著提升恶劣场景下跟踪精度与可靠性，为上下文感知手术跟踪系统提供基准支持。
2025-11-15 cs.CV
Object-Proposal Evaluation Protocol is 'Gameable'
Virginia Tech（弗吉尼亚理工大学）
在许多视觉管道中（用于目标检测、目标发现和其他任务），目标提议已迅速成为事实上的预处理步骤。它们的性能通常在部分注释的数据集上进行评估。在本文中，我们认为，选择使用部分注释的数据集进行对象建议的评估是有问题的-我们通过一个思想实验证明，评估协议是“可玩的”，在这个意义上说，在这个协议下的进展并不一定对应于一个“更好的”类别独立的对象建议算法。为了缓解这个问题，我们：（1）引入一个几乎完全注释的PASCAL VOC数据集版本，它作为一个测试床，以检查对象建议技术是否过拟合到特定的类别列表。(2)在我们引入的几乎完全注释的PASCAL数据集上对对象建议方法进行详尽的评估，并进行跨数据集泛化实验;（3）引入诊断实验来检测对象建议算法中的偏差能力。这个工具避免了需要收集一个密集的注释数据集，这可能是昂贵的和繁琐的收集。最后，我们计划发布一个易于使用的工具箱，它结合了各种公开的实现对象的建议算法，它简化了建议的生成和评估，使新的方法可以添加到不同的数据集和评估。我们希望本文中提出的结果将激励社区通过仔细选择评估协议来测试各种对象提案方法的类别独立性。
2015-11-23 cs.CV
Training CNN Classifiers for Semantic Segmentation using Partially Annotated Images: with Application on Human Thigh and Calf MRI
Clinical Imaging Research Centre, Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨潞龄医学院临床影像研究中心）；Savana Medica（萨瓦纳医疗公司）；Department of Orthopaedic Surgery, National University Hospital, National University Health System（新加坡国立大学卫生系统国立大学医院骨科）；Department of Surgery, Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨潞龄医学院外科）；BioIonic Currents Electromagnetic Pulsing Systems Laboratory, BICEPS, National University of Singapore（新加坡国立大学生物离子电流电磁脉冲系统实验室）
目的：具有像素级标签的医学图像数据集往往具有有限数量的器官或组织标签类别注释，即使图像具有广泛的解剖覆盖范围。对于监督学习，通常需要多个分类器来给出这些部分注释的数据集。在这项工作中，我们提出了一套策略，训练一个单一的分类器在分割所有标签类，异构注释跨多个数据集，而不移动到半监督学习。方法：首先通过我们称为存在掩蔽的过程从每个标签图像创建掩蔽。三个存在掩蔽模式进行了评估，不同的主要是在权重分配给注释和未注释的类。然后在训练期间将这些掩码应用于损失函数，以消除未注释类的影响。结果：对公开可用的CT数据集的评估表明，存在掩蔽是一种可行的方法训练类属分类器。我们的类通用分类器可以执行以及多个类特定的分类器相结合，而训练时间是类似的一个类特定的分类器所需的。此外，类通用分类器在较小的数据集上训练时可以优于类特定分类器。最后，根据内部收集的人类大腿和小腿MRI数据集进行评价，观察到一致的结果。结论：评估结果表明，存在掩蔽能够显着提高跨成像模式和解剖区域的训练和推理效率。甚至可以在小数据集上观察到改进的性能。意义：存在掩蔽策略可以减少人工医学图像注释所涉及的计算资源和成本。所有代码均可在https://github.com/wong-ck/DeepSegment上公开获取。
2020-08-16 cs.CV cs.LG eess.IV
Fake it, Mix it, Segment it: Bridging the Domain Gap Between Lidar Sensors
University of Wuppertal（伍珀塔尔大学）；Aptiv（安波福）
激光雷达数据的分割是一项提供有关机器人或自动驾驶车辆环境的丰富逐点信息的任务。目前用于激光雷达分割的性能最佳的神经网络针对特定数据集进行了微调。切换激光雷达传感器而不重新训练来自新传感器的大量注释数据会造成域转移，从而导致网络性能急剧下降。在这项工作中，我们提出了一种新的方法，激光雷达域自适应，其中我们使用注释的全景激光雷达数据集，并在不同的激光雷达传感器的结构中重新创建记录的场景。我们缩小域间隙的目标数据，通过重新创建全景数据从一个域中的另一个和混合生成的数据与部分（伪）标记的目标域数据。我们的方法将nuScenes到SemanticKITTI无监督领域自适应性能提高了15.2 mIoU，在我们的半监督方法中提高了48.3 mIoU。我们证明了类似的改善SemanticKITTI nuScene领域自适应分别由21.8 mIoU和51.5 mIoU。我们将我们的方法与两种最先进的语义激光雷达分割领域自适应方法进行比较，无监督和半监督领域自适应有显着改进。此外，我们成功地将我们提出的方法应用于两个完全未标记的数据集的两个国家的最先进的激光雷达传感器Velodyne Alpha Prime和InnovizTwo，和训练表现良好的语义分割网络。
2022-12-19 cs.CV cs.LG
Towards CGAN-based Satellite Image Synthesis with Partial Pixel-Wise Annotation
Colorado State University（科罗拉多州立大学）
条件生成对抗网络（CGAN）需要一个非常庞大的数据集，并具有详细的像素级注释，以生成高质量的图像。不幸的是，任何数量的缺失像素注释都可能不仅在局部而且在注释区域中显著影响结果。据我们所知，这样的挑战从未在更广泛的GANs领域进行过研究。在本文中，我们在这个方向上的第一步，研究的问题CGAN为基础的卫星图像合成部分注释的图像。我们首先定义的问题，图像合成使用部分注释的数据，我们讨论的情况下，我们面临这样的挑战。然后，我们提出了一个有效的解决方案，称为细节增强来解决这个问题。为此，我们测试了两种不同的方法来增强细节，以补偿缺失的像素级注释。在第一种方法中，我们使用Canny边缘增强原始图像，以使用CGAN来补偿丢失的注释。然而，第二种方法试图为缺少注释的所有像素分配颜色。最终，一个不同的CGAN被训练来将新的特征图像转化为最终输出。
2023-02-01 cs.CV
RadSimReal: Bridging the Gap Between Synthetic and Real Data in Radar Object Detection With Simulation
General Motors（通用汽车）；School of Electrical and Computer Engineering in Ben Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
提出RadSimReal物理雷达仿真方法，无需真实数据即可生成带标注的合成雷达图像，训练目标检测模型在真实数据上评估性能媲美真实数据训练，且无需雷达设计细节、运行更快。
2024-04-28 cs.CV
Image Intrinsic Scale Assessment: Bridging the Gap Between Quality and Resolution
Sony AI（索尼人工智能）
本文提出图像内在尺度（IIS）及IISA任务，构建了IISA-DB数据集，并提出WIISA弱标注策略，通过利用图像缩小时的IIS变化生成弱标签，持续提升IQA方法在IISA任务上的性能。
2025-08-13 cs.CV
Bridging Weakly-Supervised Learning and VLM Distillation: Noisy Partial Label Learning for Efficient Downstream Adaptation
Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）
本文提出协同一致性正则化框架，通过协同伪标签机制和抗过拟合策略，提升预训练VLMs在噪声部分标签下的下游适应性能。
2026-01-29 cs.AI cs.CV
COSST: Multi-organ Segmentation with Partially Labeled Datasets Using Comprehensive Supervisions and Self-training
Siemens Healthineers（西门子医疗）；Vanderbilt University（范德堡大学）
针对医学影像多器官分割中数据集仅部分标注的问题，提出COSST两阶段框架，融合真值与伪标签监督并通过潜在空间离群点过滤自训练，在12个CT数据集上显著优于现有方法。
2023-11-01 cs.CV
Constraint and Union for Partially-Supervised Temporal Sentence Grounding
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud & AI（华为云与人工智能）
时间句子基础旨在从给定的未修剪视频中检测由自然语言查询描述的事件时间戳。现有的全监督设置取得了很好的性能，但需要昂贵的注释成本;而弱监督设置采用廉价的标签，但性能不佳。为了以更少的注释成本追求高性能，本文引入了中间部分监督设置，即，在训练期间，仅短剪辑或甚至单帧标签可用。为了充分利用部分标签，我们提出了一种新的四重约束管道，以全面塑造事件查询对齐表示，涵盖内部和样本间，单模态和多模态。前者提高了类内的紧凑性和类间的可分性;后者实现了事件-背景分离和事件-查询聚集。为了通过显式接地优化实现更强大的性能，我们进一步引入了部分-完全联合框架，即，与一个额外的全监督分支桥接，享受其令人印象深刻的基础奖金，并对部分注释保持健壮。Charades-STA和ActivityNet字幕上的大量实验和消融证明了部分监督和我们卓越性能的重要性。
2023-02-20 cs.CV
MFogHub: Bridging Multi-Regional and Multi-Satellite Data for Global Marine Fog Detection and Forecasting
Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北航）；Beijing Wuzi University（北京物资大学）
该研究构建首个整合15个区域、六颗卫星及6.8万余样本的多源海雾数据集 MFogHub，并以16个基线模型评估检测与预报泛化能力。
2025-05-15 cs.CV
In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval
Goethe University Frankfurt（法兰克福大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；University of Bonn（波恩大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出In-Style方法，在仅使用未配对文本查询与未整理网络视频的新设定下，通过多风格对比训练将文本风格迁移到视频，提升零样本文本-视频检索性能。
2023-09-16 cs.CV
CM-Bench: A Comprehensive Cross-Modal Feature Matching Benchmark Bridging Visible and Infrared Images
School of Instrument Science and Opto-Electronics Engineering, Beijing Information Science and Technology University（北京信息科技大学仪器科学与光电工程学院）；Department of Precision Instrument, Tsinghua University（清华大学精密仪器系）
本文提出CM-Bench，涵盖30种跨模态特征匹配算法，用于评估同源性估计、相对姿态估计和基于特征匹配的地理定位，包含自适应预处理和新的红外-卫星跨模态数据集。
2026-03-13 cs.CV
Human-Art: A Versatile Human-Centric Dataset Bridging Natural and Artificial Scenes
International Digital Economy Academy（国际数字经济研究院）；The Chinese University of Hong Kong（香港中文大学）
该研究提出 Human-Art 数据集，通过包含5个自然和15个人工场景的50k张图像，连接自然与人工场景的以人为中心的视觉任务，并提供基线结果以推动相关研究。
2023-04-05 cs.CV
AG-ReID.v2: Bridging Aerial and Ground Views for Person Re-identification
School of Electrical Engineering and Robotics（电气工程与机器人学院）；Queensland University of Technology（昆士兰科技大学）
本文提出AG-ReID.v2数据集（含1,615人、100,502张航拍与地面混合图像及15个软属性标签）和可解释三流注意力网络，有效解决航拍-地面行人重识别中的视角与分辨率差异问题，性能优于现有基线。
2024-04-07 cs.CV
DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation
Peking University（北京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）；Bytedance（字节跳动）
本文提出定制化漫画生成任务，构建融合扩散模型与MLLM身份适配器的DiffSensei框架，并发布MangaZero数据集，实现文本驱动的多角色外观、布局与动作控制。
2025-03-13 cs.CV
Multi-label Classification with Partial Annotations using Class-aware Selective Loss
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
大规模多标签分类数据集通常（也许不可避免地）进行部分注释。也就是说，每个样本仅注释标签的一小部分。处理缺失标签的不同方法会导致模型的不同属性，并影响其准确性。在这项工作中，我们分析了部分标记问题，然后提出了基于两个关键思想的解决方案。首先，应根据两个概率量选择性地处理未注释的标签：整体数据集中的类分布和给定数据样本的特定标签可能性。我们建议使用专用的临时模型来估计类分布，并且我们显示了其使用数据集的部分注释计算的朴素估计的改进效率。其次，在目标模型的训练过程中，我们通过使用专用的非对称损失来强调注释标签对原始未注释标签的贡献。通过我们的新方法，我们在OpenImages数据集上实现了最先进的结果（例如，在V6上达到87.3 mAP）。此外，在LVIS和模拟COCO上进行的实验证明了该方法的有效性。代码可在https://github.com/Alibaba-MIIL/PartialLabelingCSL上获得。
2021-10-21 cs.CV
Bridging Sensor Gaps via Attention Gated Tuning for Hyperspectral Image Classification
Northwestern Polytechnical University（西北工业大学）
针对跨传感器高光谱图像标注稀缺问题，提出 AGT 注意力门控调优策略与 Tri-Former，借助辅助分支和光谱-空间分离迁移异构及 RGB 知识，性能优于现有方法。
2025-02-19 cs.CV
Looking into the Unknown: Exploring Action Discovery for Segmentation of Known and Unknown Actions
本文提出动作发现新设置及两步方法（GGSM与UASA），利用已知动作标注指导未知动作的时间与语义分割，在三个数据集上显著优于基线。
2025-08-07 cs.CV
Bridging the Gap Between Ideal and Real-world Evaluation: Benchmarking AI-Generated Image Detection in Challenging Scenarios
Beijing Normal University（北京师范大学）；University of Chinese Academy of Sciences（中国科学院大学）；Fudan University（复旦大学）；Central University of Finance and Economics（中央财经大学）；Tsinghua University（清华大学）
针对AI生成图像检测在现实场景下评估不足的问题，构建RRDataset数据集，从场景泛化、传输与再数字化鲁棒性三维度测试17个检测器和10个VLM，发现现有方法局限，强调借鉴人类适应性。
2025-09-11 cs.CV
PSScreen: Partially Supervised Multiple Retinal Disease Screening
Center for Machine Vision and Signal Analysis (CMVS) University of Oulu（机器视觉与信号分析中心（CMVS）奥卢大学）
针对多站点部分标记视网膜疾病数据的域偏移与标签缺失问题，提出含双流结构的PSScreen模型，通过文本引导解耦对齐特征、伪标签一致性及自蒸馏提升性能，在域内外数据集上达SOTA。
2025-10-01 cs.CV
Incremental Learning for Multi-organ Segmentation with Partially Labeled Datasets
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
针对部分标注且顺序构建的医学图像数据集，提出基于增量学习的多器官分割方法，并推测分布差异是灾难性遗忘的关键原因，通过五个开源数据集验证了方法的有效性与推测的正确性。
2021-03-08 cs.CV
Feature4X: Bridging Any Monocular Video to 4D Agentic AI with Versatile Gaussian Feature Fields
UCLA（加利福尼亚大学洛杉矶分校）；MIT（麻省理工学院）；Stanford（斯坦福大学）；UT Austin（德克萨斯大学奥斯汀分校）；DEVCOM ARL（DEVCOM陆军研究实验室）
Feature4X提出通用框架，利用高斯泼溅将2D视频基础模型特征蒸馏为4D特征场，仅需单目视频输入，实现任意分割、场景编辑和自由形式VQA，推动4D智能体AI应用。
2025-03-28 cs.CV
CLISC: Bridging clip and sam by enhanced cam for unsupervised brain tumor segmentation
School of Computer Science and Engineering（计算机科学与工程学院）；School of Mechanical and Electrical Engineering（机械与电气工程学院）；University of Electronic Science and Technology of China（电子科技大学）；School of Medicine, University of Electronic Science and Technology of China（电子科技大学医学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出一种利用CLIP、CAM和SAM的无监督脑肿瘤分割方法，通过生成并过滤伪标签训练3D网络，在BraTS2020上DSC达85.60%，性能接近全监督学习。
2025-01-27 cs.CV
Multi-organ Segmentation over Partially Labeled Datasets with Multi-scale Feature Abstraction
Rensselaer Polytechnic Institute（伦斯勒理工学院）
缺乏完全注释的数据集一直是开发基于深度学习的图像分割算法的限制因素，并且该问题在多器官分割中变得更加明显。在本文中，我们提出了一种统一的训练策略，使一种新的多尺度深度神经网络能够在多个部分标记的数据集上进行训练，用于多器官分割。此外，提出了一种新的多尺度特征提取网络结构，将金字塔输入和特征分析集成到U型金字塔结构中。为了弥补直接合并不同尺度特征所造成的语义鸿沟，引入了等卷积深度机制。此外，我们采用深度监督机制来细化不同尺度的输出。为了充分利用所有尺度的分割特征，我们设计了一个自适应加权层，以自动方式融合输出。所有这些机制一起被集成到一个金字塔输入金字塔输出特征提取网络（PIPO-FAN）。我们提出的方法在四个公开可用的数据集上进行了评估，包括BTCV，LiTS，KiTS和脾脏，其中已经实现了非常有前途的性能。这项工作的源代码在https://github.com/DIAL-RPI/PIPO-FAN上公开共享，以便其他人轻松复制这项工作并使用引入的机制构建自己的模型。
2020-06-06 cs.CV
BlendCLIP: Bridging Synthetic and Real Domains for Zero-Shot 3D Object Classification with Multimodal Pretraining
KTH Royal Institute of Technology（皇家理工学院）；Scania CV AB（斯堪尼亚公司）
针对零样本3D目标分类的合成-真实域差距问题，提出BlendCLIP多模态预训练框架，通过课程式数据混合策略结合双域优势，在室外基准上实现SOTA性能，证明域适配的关键作用。
2025-10-21 cs.CV
Self-Supervised Enhancement of Forward-Looking Sonar Images: Bridging Cross-Modal Degradation Gaps through Feature Space Transformation and Multi-Frame Fusion
College of Electronic Engineering, Naval University of Engineering（电子工程学院，海军工程大学）；College of Meteorology and Oceanography, National University of Defense Technology（气象海洋学院，国防科技大学）；College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）；Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
提出一种基于特征空间变换与多帧融合的自监督方法，有效弥合声纳与遥感图像间的跨模态退化差距，显著提升前视声纳图像的增强效果与水下目标检测性能。
2025-05-29 cs.CV eess.IV
Chinese Street View Text: Large-scale Chinese Text Reading with Partially Supervised Learning
Baidu Inc（百度公司）；The University of Hong Kong（香港大学）
由于训练数据有限，大多数现有的文本阅读基准测试难以评估更高级的深度学习模型在大词汇量下的性能。为了解决这个问题，我们引入了一个新的大规模文本阅读基准数据集，名为中国街景文本（C-SVT），包含43万张街景图像，至少是现有中文文本阅读基准数据集的14倍。为了在野外识别中文文本，同时保持大规模数据集标签的成本效益，我们建议在位置和文本标签中注释CSVT数据集（30，000张图像）的一部分作为完整注释，并添加400，000张图像，其中只有区域中相应的感兴趣文本作为弱注释。为了充分利用弱标注数据中的丰富信息，我们在部分监督学习框架下设计了一个文本阅读网络，该网络能够同时从完全标注和弱标注数据中进行文本定位和识别。为了从弱标记图像中定位最佳匹配的文本提案，我们提出了一个在线提案匹配模块，该模块集成在整个模型中，通过共享端到端训练参数来识别关键字区域。与全监督训练算法相比，在相同的标记代价下，该模型的端到端识别性能可显著提高4.03%。所提出的模型也可以在ICDAR 2017-RCTW数据集上实现最先进的结果，这证明了所提出的部分监督学习框架的有效性。
2020-02-13 cs.CV cs.LG cs.MM
ProstaTD: Bridging Surgical Triplet from Classification to Fully Supervised Detection
School of Nursing, The Hong Kong Polytechnic University（香港理工大学护理学院）；Nanfang Hospital, Southern Medical University（南方医科大学南芳医院）；Department of Surgery, The Chinese University of Hong Kong（香港中文大学外科部）；South China University of Technology（华南理工大学）；Singapore Management University（新加坡国立管理学院）
该研究针对手术三元组缺乏时空框标注的问题，构建多机构前列腺切除术数据集 ProstaTD，并配套标注工具与评估工具包，推动任务从分类走向全监督检测。
2025-09-27 cs.CV
The Mapillary Traffic Sign Dataset for Detection and Classification on a Global Scale
Mapillary（Mapillary公司）
在自动驾驶和智能城市时代，交通标志是全球必不可少的地图特征。为了开发准确和鲁棒的交通标志检测和分类算法，需要大规模和多样化的基准数据集。在本文中，我们介绍了一个由世界各地10万张街道级图像组成的交通标志基准数据集，该数据集封装了不同的场景、广泛的地理位置覆盖范围以及不同的天气和照明条件，并涵盖了300多个手动注释的交通标志类。该数据集包括52K完全注释的图像和48K部分注释的图像。这是最大和最多样化的交通标志数据集，由来自世界各地的图像组成，具有交通标志类的细粒度注释。我们已经进行了大量的实验，为检测和分类任务建立了强大的基线。此外，我们已经验证了该数据集的多样性，使有效的迁移学习现有的大规模基准数据集的交通标志检测和分类。该数据集可免费用于学术研究：https://www.mapillary.com/dataset/trafficsign。
2020-05-07 cs.CV
