COCO_TS Dataset: Pixel-level Annotations Based on Weak Supervision for Scene Text Segmentation
University of Siena（锡耶纳大学）
缺乏具有像素级监督的大规模数据集是训练用于场景文本分割的深度卷积网络的一个重大障碍。为此，通常采用合成数据生成来扩大训练数据集。尽管如此，合成数据不能再现自然图像的复杂性和可变性。在本文中，弱监督学习的方法是用来减少训练之间的真实和合成数据的转变。生成文本检测数据集的像素级监督（即，其中仅边界框注释可用）。特别是，创建并发布了COCO-Text-Segmentation（COCO_TS）数据集，该数据集为COCO-Text数据集提供像素级监督。所生成的注释被用于训练用于语义分割的深度卷积神经网络。实验表明，该数据集可以用来代替合成数据，使我们能够使用只有一小部分的训练样本，并显着提高性能。
2019-09-24 cs.CV
Object Counting and Instance Segmentation with Image-level Supervision
Inception Institute of Artificial Intelligence（安擎人工智能研究院）
自然场景中常见物体的计数是计算机视觉中一个具有挑战性的问题，有着众多的实际应用。现有的图像级监督公共对象计数方法仅预测全局对象计数，并依赖于额外的实例级监督来确定对象位置。我们提出了一种图像级监督的方法，通过构建对象类别密度图，提供了全局对象计数和对象实例的空间分布。受心理学研究的启发，我们使用有限的对象计数信息（最多四个）进一步减少图像级监督。据我们所知，我们是第一个提出图像级监督密度图估计共同对象计数，并证明其有效性，在图像级监督实例分割。在PASCAL VOC和COCO数据集上进行了全面的实验。我们的方法优于现有的方法，包括那些使用实例级监督，在这两个数据集上的共同对象计数。此外，我们的方法改进了最先进的图像级监督实例分割，在PASCAL VOC 2012数据集上，平均最佳重叠的相对增益为17.8%。代码链接：https://github.com/GuoleiSun/CountSeg
2019-05-13 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST（韩国基础科学研究院）；POSTECH（浦项科技大学）
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题，我们提出了一个新的框架，生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中，训练的模型已经被称为分割局部区分部分，而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此，我们提出了一种称为AffinityNet的深度神经网络（DNN），它可以预测一对相邻图像坐标之间的语义相似度。然后，语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是，用于训练AffinityNet的监督由初始判别部分分割给出，其作为分割注释是不完整的，但足以学习小图像区域内的语义亲和力。因此，整个框架只依赖于图像级的类标签，不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上，使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型，甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
Hybrid Supervision Learning for Pathology Whole Slide Image Classification
SenseTime Research（商汤科技研究院）；Rutgers University（罗格斯大学）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence (CPII) Ltd（感知与交互智能中心有限公司）
分类标签上的弱监督学习在各种任务中表现出很高的性能，而一些像素级的精细注释也是可以负担得起的。自然地，一个问题出现在我们面前，是否像素级的组合（例如，分割）和图像级（例如，分类）注释可以引入进一步的改进。然而，在计算病理学中，这是一项困难的任务，原因是：整个切片图像的高分辨率使得很难进行端到端的分类模型训练，这对过去弱监督学习或混合监督学习的研究具有挑战性。为了解决这个问题，我们提出了一个混合监督学习框架，这种高分辨率图像具有足够的图像级粗注释和一些像素级的精细标签。该框架应用于训练斑块模型时，可以很好地利用粗糙的图像级标签来细化生成的像素级伪标签。提出了完整的策略来抑制像素级的误报和漏报。一个大型的混合注释数据集被用来评估混合监督学习的有效性。通过在最初的图像级标记样本中提取像素级伪标签，我们在图像级分类为正面或负面的任务中，比纯粹在现有标签上训练的特异性高5.2%，同时保持100%的灵敏度。
2021-10-25 cs.CV
A flexible model for training action localization with varying levels of supervision
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
视频中的时空动作检测通常在完全监督的设置中解决，每个帧都需要对训练视频进行手动注释。由于这样的注释非常繁琐，并且限制了可伸缩性，因此显然需要最大限度地减少手动监督的数量。在这项工作中，我们提出了一个统一的框架，可以处理和结合不同类型的要求不高的弱监督。我们的模型是基于判别聚类，并集成了不同类型的监督约束的优化。我们研究了这样一个模型的应用，以训练设置与替代监督信号，从视频级类标签的动作边界框的完整的每帧注释。在具有挑战性的UCF 101 -24和DALY数据集上的实验表明，我们的方法在以前方法所使用的监督的一部分上具有竞争力的性能。我们的模型的灵活性使得能够从具有不同注释级别的数据中联合学习。实验结果表明，通过添加一些完全监督的例子，否则弱标记的视频显着增益。
2018-11-27 cs.CV
Multiple Instance Learning with Mixed Supervision in Gleason Grading
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）
随着计算病理学的发展，基于全切片图像的深度学习Gleason分级方法具有良好的应用前景。由于WSI的大小非常大，图像标签通常只包含幻灯片级标签或有限的像素级标签。目前主流的方法采用多示例学习来预测Gleason成绩。然而，一些方法只考虑幻灯片级标签忽略了有限的像素级标签包含丰富的本地信息。此外，额外考虑像素级标签的方法忽略了像素级标签的不准确性。为了解决这些问题，我们提出了一个混合监督Transformer的多实例学习框架的基础上。该模型利用载玻片级别标签和实例级别标签，以实现更准确的格里森分级在载玻片级别。通过在混合监督训练过程中引入有效的随机掩蔽策略，进一步降低了不准确的实例级标签的影响。我们在SICAPv2数据集上实现了最先进的性能，可视化分析显示了实例级的准确预测结果。源代码可在https://github.com/bianhao123/Mixed_supervision上获得。
2022-06-26 cs.CV
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
本文提出基于图像级监督的异常检测与定位方法，利用大语言模型的推理能力实现像素级定位，无需额外组件或标注。
2026-03-28 cs.CV
CLASS: Cross-Level Attention and Supervision for Salient Objects Detection
Nanjing University（南京大学）；Youtu Lab, Tencent（腾讯优图实验室）
显著目标检测（SOD）是计算机视觉的一项基本任务。近年来，随着深度神经网络的复兴，超氧化物歧化酶（SOD）取得了很大的进展。然而，仍然存在两个棘手的问题，不能很好地解决现有的方法，不可区分的区域和复杂的结构。为了解决这两个问题，在本文中，我们提出了一种用于精确SOD的新型深度网络，名为CLASS。首先，为了充分利用低层和高层特征的不同优势，我们提出了一种新的非局部跨层注意力（CLA），它可以捕获长范围的特征依赖关系，以增强完整的显着对象的区别。其次，设计了一种新的跨层监督（CLS），通过像素级、区域级和对象级学习复杂结构的互补上下文。然后可以很好地恢复显著对象的精细结构和边界。在实验中，我们提出的CLA和CLS，我们的类网。在五个数据集上的表现始终优于13种最先进的方法。
2020-09-24 cs.CV
Exploring Pixel-level Self-supervision for Weakly Supervised Semantic Segmentation
KAIST（韩国科学技术院）
现有的研究在弱监督语义分割（WSSS）利用类激活地图（CAM）本地化的类对象。然而，由于分类损失不足以提供精确的对象区域，因此CAM倾向于偏向于有区别的模式（即，稀疏性）并且不提供精确的对象边界信息（即，不精确）。为了解决这些限制，我们提出了一个新的框架（由MainNet和SupportNet组成）。其从给定的图像级监督导出像素级自我监督。在我们的框架中，在建议的区域对比模块（RCM）和多尺度注意模块（MAM）的帮助下，MainNet通过来自SupportNet的自我监督进行训练。RCM从SupportNet中提取了两种形式的自我监督：（1）从CAM生成的类区域掩码和（2）根据类区域掩码从特征中获得的类原型。然后，MainNet的每个像素级特征都由原型以对比的方式进行训练，从而锐化生成的CAM。MAM利用从SupportNet推断的多个尺度的CAM作为自我监督来指导MainNet。基于来自MainNet和SupportNet的多尺度CAM之间的不同，来自MainNet的CAM被训练以扩展到区分度较低的区域。该方法在PASCAL VOC 2012数据集的训练集和验证集上均显示出最先进的WSSS性能。为了可重复性，代码将很快公开。
2021-12-10 cs.CV
SegGroup: Seg-Level Supervision for 3D Instance and Semantic Segmentation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
现有的点云实例和语义分割方法大多依赖于强监控信号，需要对场景中的每个点进行点级标记。然而，这种强有力的监督遭受了巨大的注释成本，这就需要研究有效的注释。在本文中，我们发现，实例的位置问题的实例和语义3D场景分割。通过充分利用位置的优势，我们设计了一种弱监督的点云分割方法，只需点击每个实例的一个点即可指示其位置进行注释。通过预处理的过度分割，我们将这些位置注释扩展到片段中作为片段级标签。我们进一步设计了一个分段分组网络（SegGroup），通过分层地将未标记的分段分组到相关的附近标记的分段中，在分段级标签下生成点级伪标签，以便现有的点级监督分割模型可以直接使用这些伪标签进行训练。实验结果表明，我们的段级监督方法（SegGroup）实现了与完全注释的点级监督方法相当的结果。此外，在给定固定注释预算的情况下，它优于最近的弱监督方法。代码可在https://github.com/AnTao97/SegGroup上获得。
2022-07-24 cs.CV
Improving Long-tailed Object Detection with Image-Level Supervision by Multi-Task Collaborative Learning
Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Shanghai University of Traditional Chinese Medicine（上海中医药大学）
现实世界中的目标检测数据往往呈现长尾分布。现有的解决方案通过减轻头部和尾部类别之间的竞争来解决这个问题。然而，由于训练样本的稀缺性，尾类别仍然无法学习判别表示。在训练中引入更多的数据可能会缓解这个问题，但收集实例级注释是一项令人痛苦的任务。相比之下，图像级注释很容易访问，但没有得到充分利用。在本文中，我们提出了一个新的框架CLIS（多任务协作学习与图像级监督），它利用图像级监督，以提高检测能力的多任务协作的方式。具体来说，在我们的框架中有一个目标检测任务（由实例分类任务和定位任务组成）和一个图像分类任务，负责利用这两种类型的监督。通过三个关键设计来协同训练不同的任务：（1）任务专用子网络，它学习不同任务的特定表示，而没有特征纠缠。(2)用于图像分类任务的连体子网络，其与实例分类任务共享其知识，从而导致检测器的特征富集。(3)一种对比学习规则化，保持表示的一致性，弥合不同监督的特征差距。在具有挑战性的LVIS数据集上进行了广泛的实验。没有复杂的损失工程，CLIS实现了31.1的整体AP，尾部类别提高了10.1点，建立了一个新的最先进的。代码将在https://github.com/waveboo/CLIS。
2022-10-11 cs.CV
Learning from Noisy Web Data with Category-level Supervision
Rice University（莱斯大学）；Tsinghua University（清华大学）
随着大量照片被上传到公共网站（例如，Flickr、Bing和Google），从网络数据中学习已经成为一个越来越流行的研究方向，因为网络资源是免费的，这也被称为网络监督学习。然而，由于Web数据的标签噪声，Web监督学习与传统监督学习的性能差距仍然很大。确切地说，从公共网站抓取的图像的标签非常嘈杂，而且往往不准确。一些现有的作品倾向于促进学习从Web数据的帮助下，额外的信息，如增强或净化Web数据凭借实例级的监督，这通常是在繁重的手工注释的需求。相反，我们建议通过利用更容易访问的类别级监管来解决标签噪音。特别是，我们建立我们的方法变分自编码器（VAE），其中的分类网络附加在VAE的隐藏层的方式，分类网络和VAE可以共同利用类别级的混合语义信息。在三个基准数据集上的大量实验清楚地证明了我们所提出的方法的有效性。
2018-05-24 cs.CV
Atom-Level Optical Chemical Structure Recognition with Limited Supervision
KU Leuven（KU Leuven（荷语天主教鲁汶大学））；Yale University（耶鲁大学）
本文提出一种仅需SMILES监督即可实现原子级实体检测的光学化学结构识别方法，在数据稀缺场景下具备强适应性与领先性能。
2024-04-02 cs.CV
DPF: Learning Dense Prediction Fields with Weak Supervision
Tsinghua University（清华大学）
目前，许多视觉场景理解问题都是通过密集预测网络来解决的。但是逐像素密集注释是非常昂贵的（例如，用于场景解析）或不可能（例如，对于内在图像分解），激励我们利用廉价的点级弱监督。然而，现有的点监督方法仍然使用为完全监督而设计的相同架构。与之形成鲜明对比的是，我们提出了一个新的范式，使预测点坐标查询，启发最近成功的隐式表示，如距离或辐射场。因此，该方法被称为密集预测场（DPFs）。DPFs为连续的子像素位置生成表达性的中间特征，从而允许任意分辨率的输出。DPP自然与点级监管兼容。我们展示了DPFs的有效性，使用两个基本不同的任务：高层次的语义解析和低层次的内在图像分解。在这两种情况下，监督分别以单点语义范畴和两点相对反射的形式出现。作为三个大型公共数据集PASCALContext、ADE20K和IIW的基准，DPF在所有数据集上都设置了新的最先进性能，并具有显著的优势。代码可以在https://github.com/cxx226/DPF上访问。
2023-03-29 cs.CV
Co-Segmentation without any Pixel-level Supervision with Application to Large-Scale Sketch Classification
Czech Technical University in Prague（布拉格捷克理工大学）
本文提出一种无需像素级监督的协同分割方法，利用两个预训练ViT模型估计目标定位，并在大规模草图识别中通过协同分割区域提取类草图结构训练分类器，显著提升性能。
2024-10-17 cs.CV
Emerging Trends in Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation with Image-Level Supervision
Informatics Institute School of Artificial Intelligence University of Amsterdam（人工智能学院信息研究所阿姆斯特丹大学）；Beijing Normal University（北京师范大学）
该综述针对图像级标注的弱监督语义分割（WSSS）领域，按额外监督的类型与程度分类梳理最新进展，探讨领域特定数据集应用的挑战，总结现有局限并提出未来研究方向，填补了现有综述的空白。
2025-07-29 cs.CV
Exploring Different Levels of Supervision for Detecting and Localizing Solar Panels on Remote Sensing Imagery
Universiteit van Amsterdam（阿姆斯特丹大学）
本研究通过对比全监督检测器、弱监督分类器和最小监督异常检测器在遥感影像太阳能电池板识别中的表现，发现分类器在存在性检测上更鲁棒且数据需求更低，而检测器定位更精确，模型融合可进一步提升精度。
2023-09-19 cs.CV
Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly Supervised Semantic Segmentation
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
现有的弱监督语义分割（WSSS）研究中使用图像级弱监督有几个局限性：稀疏的对象覆盖，不准确的对象边界，和来自非目标对象的共现像素。为了克服这些挑战，我们提出了一种新的框架，即显式伪像素监督（EPS），它通过结合两个弱监督从像素级反馈中学习;图像级标签通过本地化映射提供对象身份，显着性映射来自现成的显着性检测模型提供了丰富的边界。我们设计了一个联合训练策略，充分利用两者之间的信息互补关系。我们的方法可以获得准确的对象边界和丢弃共现像素，从而显着提高伪掩模的质量。实验结果表明，该方法通过解决WSSS的关键挑战，显著优于现有方法，并在PASCAL VOC 2012和MS COCO 2014数据集上实现了新的最先进性能。
2021-05-19 cs.CV
Box2Seg: Learning Semantics of 3D Point Clouds with Box-Level Supervision
Sun Yat-Sen University（中山大学）；University of Oxford（牛津大学）；Sichuan University（四川大学）；National University of Defense Technology（国防科技大学）；University of Waterloo（滑铁卢大学）
从具有较少标签的非结构化3D点云学习密集的逐点语义，虽然是一个现实的问题，但在文献中尚未得到充分探索。虽然现有的弱监督方法可以有效地学习语义，只有一小部分的点级别的注释，我们发现，香草限界框级别的注释也是大规模的3D点云的语义分割的信息。在本文中，我们介绍了一个神经架构，称为Box2Seg，学习点级语义的三维点云与限界框级监督。我们的方法的关键是通过探索每个限界框内部和外部的几何和拓扑结构来生成准确的伪标签。具体而言，基于注意力的自我训练（AST）技术和点类激活映射（PCAM）被用来估计伪标签。该网络使用伪标签进行进一步训练和改进。在S3DIS和ScanNet两个大规模基准测试系统上的实验表明，该方法具有较好的性能。特别是，所提出的网络可以用便宜的，甚至是现成的限界框级注释和子云级标签来训练。
2022-01-09 cs.CV
FineMoLA: Towards Fine-Grained Motion-Language Alignment from Clip-Level Supervision
Purdue University（普渡大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有动作-语言数据集仅提供片段级监督导致细粒度对齐不足的问题，提出弱监督框架FineMoLA，将动作-语言对齐建模为最优传输问题，在SnapMoGen上的实验显示其动作-文本定位性能优于基线。
2026-08-04 cs.CV
Open-Ended CT Volume Segmentation with Weak Supervision from Language
Department of Electrical Engineering and Computer Science, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Voio；Department of Radiology and Biomedical Imaging, UC San Francisco（加州大学旧金山分校放射学与生物医学成像系）；Computational Precision Health, UC Berkeley and UC San Francisco（加州大学伯克利分校和加州大学旧金山分校计算精准健康中心）
研究基于语言弱监督训练CT扫描文本条件分割模型，通过结合体素级与切片级监督，从扫描-报告对提取信息，微调通用2D图像分割模型SAM3，在ReXGroundingCT数据集上提升了分割骰子分数。
2026-07-29 cs.CV
W2N:Switching From Weak Supervision to Noisy Supervision for Object Detection
Harbin Institute of Technology（哈尔滨工业大学）；MEGVII Technology（旷视科技）；Peng Cheng Laboratory（鹏城实验室）
弱监督目标检测（WSOD）旨在训练一个只需要图像级标注的目标检测器。最近，一些工作已经成功地选择从经过良好训练的WSOD网络中生成的准确盒子来监督半监督检测框架，以获得更好的性能。然而，这些方法根据图像级标准将训练集简单地划分为标记集和未标记集，使得足够的错误标记或错误定位的框预测被选择为伪地面实况，从而导致检测性能的次优解决方案。为了克服这个问题，我们提出了一个新颖的WSOD框架，该框架具有从弱监管切换到嘈杂监管（W2 N）的新范式。一般来说，通过从训练良好的WSOD网络生成给定的伪地面真值，我们提出了一种两模块迭代训练算法来改进伪标签并逐步监督更好的对象检测器。在定位自适应模块中，我们提出了一种正则化损失，以减少原始伪地面真值中有区别的部分的比例，为进一步的训练获得更好的伪地面真值。在半监督模块中，我们提出了两个任务的实例级分裂方法来选择高质量的标签来训练半监督检测器。在不同基准测试上的实验结果验证了W2N的有效性，其性能优于现有的纯WSOD方法和迁移学习方法.我们的代码可在https://github.com/1170300714/w2n_wsod上公开获取。
2022-07-25 cs.CV
Towards Partial Supervision for Generic Object Counting in Natural Scenes
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；ETH Zurich（苏黎世联邦理工学院）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
自然场景中的类属目标计数是一个具有挑战性的计算机视觉问题。现有的方法依赖于实例级监督或绝对计数信息来训练通用对象计数器。我们引入了一个部分监督设置，显着降低了通用对象计数所需的监督级别。我们提出了两个新的框架，命名为低计数（LC）和减少低计数（RLC），使对象计数在此设置下。我们的框架是建立在一个新的双分支架构，有一个图像分类和密度分支。我们的LC框架通过对所有对象类别仅使用较低计数的监督来降低由于图像中的多个实例而导致的注释成本。我们的RLC框架进一步降低了注释成本所产生的大量的对象类别在一个数据集中，只使用较低的计数监督的一个子集的类别和类标签的其余的。RLC框架扩展了我们的双分支LC框架，具有新的权重调制层和类别独立的密度图预测。实验在COCO、Visual Genome和PASCAL 2007数据集上进行。我们的框架与使用更高级别监督的最先进方法不相上下。此外，我们证明了我们的LC监督密度图图像级监督实例分割的适用性。
2020-09-03 cs.CV
Spatio-Temporal Instance Learning: Action Tubes from Class Supervision
University of Amsterdam（阿姆斯特丹大学）
这项工作的目标是在视频中的时空动作定位，只使用视频级类标签的监督。国家的最先进的铸造这种弱监督的动作定位制度作为一个多实例学习问题，其中的实例是先验计算的时空建议。我们提出了时空实例学习，而不是将时空学习与训练断开，它可以直接从视频帧中的框建议中进行动作定位。我们概述了我们的模型的假设，并提出了一个最大利润目标和优化与潜变量，使时空学习的行动，从视频标签。我们还提供了一个有效的链接算法和两个重排序策略，以促进和进一步提高动作定位。四个动作数据集上的实验评估表明，我们的方法的有效性，从弱监督本地化。此外，我们展示了如何将其他监督水平和混合物，作为确定最佳监督策略的行动本地化的一步。
2018-11-21 cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University（清华大学）
尽管深度学习方法在医学图像分割任务中取得了成功，但人类水平的性能依赖于具有高质量注释的大量训练数据，这些数据收集起来既昂贵又耗时，而事实是存在带有标签噪声的低质量注释，这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中，我们提出了一个新的框架，以解决分割与噪声标签提取有效的监督信息，从像素和图像水平。特别是，我们明确地估计每个像素的不确定性作为逐像素的噪声估计，并提出逐像素的鲁棒学习，通过使用原始标签和伪标签。此外，我们提出了一个图像级的鲁棒学习方法，以容纳更多的信息，作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明，我们的方法相比，国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
BoxMask: Revisiting Bounding Box Supervision for Video Object Detection
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的，简单而有效的方法来提升视频目标检测。我们观察到，以前的作品上的实例级的功能聚合，立即忽略了细化像素级的表示，导致共享相似的外观或运动特性的对象之间的混乱。为了解决这一限制，我们提出了BoxMask，它通过结合类感知的像素级信息来有效地学习判别表示。我们简单地考虑限界框级注释作为每个对象的粗略掩码来监督我们的方法。所提出的模块可以毫不费力地集成到任何基于区域的检测器中，以提高检测能力。在ImageNet VID和EPIC KITCHENS数据集上进行的大量实验表明，当我们将BoxMask模块插入到许多最新的最先进的方法中时，性能得到了一致和显著的改善。
2022-10-12 cs.CV
Lesion-Aware Attention for Mammography Segmentation with Heterogeneous Supervision
State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）
本文针对乳腺钼靶图像标注不匹配问题，提出双分支框架结合病灶感知分类器，在混合监督下提升开放词汇病灶分割性能，缩小与全监督模型的差距，对细微病灶定位更完整。
2026-10-14 cs.CV
GroupViT: Semantic Segmentation Emerges from Text Supervision
NVIDIA（英伟达）；UC San Diego（加州大学圣地亚哥分校）
建模和识别是视觉场景理解的重要组成部分，例如，用于目标检测和语义分割。对于端到端的深度学习系统，图像区域的分组通常通过像素级识别标签的自上而下的监督隐式地发生。相反，在本文中，我们建议将分组机制带回到深度网络中，这允许语义段仅通过文本监督自动出现。我们提出了一个层次化的图像视觉Transformer（GroupViT），它超越了常规的网格结构表示，并学会将图像区域分组为逐渐变大的任意形状的片段。我们训练GroupViT联合文本编码器上的大规模图像文本数据集通过对比损失。在只有文本监督而没有任何像素级注释的情况下，GroupViT学习将语义区域分组在一起，并以zero-shot方式成功地转移到语义分割任务，即，而无需任何进一步的微调。它在PASCAL VOC 2012上实现了52.3% mIoU的zero-shot准确度，在PASCAL Context数据集上实现了22.4% mIoU，并且与需要更高级别监督的最先进的迁移学习方法相比具有竞争力。我们在https://github.com/NVlabs/GroupViT上开源我们的代码。
2022-07-18 cs.CV
Digital Editions as Distant Supervision for Layout Analysis of Printed Books
档案学家、文本学者和历史学家经常制作历史文件的数字版本。使用诸如文本编码倡议和EpiDoc之类的标记方案，这些数字版本通常记录文档的语义区域（如注释和数字）和物理特征（如分页和换行符），以及转录其文本内容。我们描述的方法，利用这种语义标记的培训和评估布局分析模型的远程监督。在实验中的几个模型架构上的50万页的Deutsches Textarchiv（DTA），我们发现这些区域级的评价方法与像素级和字级指标的高度相关性。我们讨论了通过自我训练提高准确性的可能性，以及在DTA上训练的模型推广到其他历史印刷书籍的能力。
2021-12-23 cs.CV
Weakly Supervised Keypoint Discovery
California Institute of Technology（加州理工学院）
在本文中，我们提出了一种方法，从一个2D图像的关键点发现使用图像级监督。最近的无监督关键点发现工作可靠地发现对齐实例的关键点。然而，当目标实例具有高视点或外观变化时，所发现的关键点不匹配不同图像上的语义对应。我们的工作旨在发现关键点，即使目标实例具有高的观点和外观变化，通过使用图像级监督。受弱监督学习方法的启发，我们的方法利用图像级监督来识别有区别的部分并推断目标实例的视点。为了发现不同的部分，我们采用了一种有条件的图像生成方法，使用一对结构变形的图像。最后，我们强制执行基于视点的等方差约束，使用图像级监督的关键点，以解决空间相关性问题，始终出现在从各种角度拍摄的图像。我们的方法实现了国家的最先进的性能的关键点估计的任务，在有限的监督情况下。此外，所发现的关键点直接适用于下游任务，而不需要任何关键点标签。
2021-09-28 cs.CV
Learning from Pixel-Level Label Noise: A New Perspective for Semi-Supervised Semantic Segmentation
Beijing Key Laboratory of Traffic Data Analysis and Mining, Beijing Jiaotong University（北京交通大学交通数据分析与挖掘北京市重点实验室）
本文讨论了半监督语义分割，利用一个小的一组图像与像素级的注释（强监督）和一个大的一组图像，只有图像级的注释（弱监督）。大多数现有的方法旨在从弱监督中生成准确的像素级标签。然而，我们观察到这些生成的标签仍然不可避免地包含噪声标签。受此观察的启发，我们提出了一个新的视角，并制定了这个任务作为一个问题的学习与像素级标签噪声。然而，现有的噪声标记方法主要针对图像级任务，不能捕获图像中相邻标签之间的关系。因此，我们提出了一个基于图的标签噪声检测和校正框架来处理像素级的噪声标签。特别地，对于由类激活图（CAM）从弱监督生成的像素级噪声标签，我们训练具有强监督的干净分割模型，以根据交叉熵损失从这些噪声标签中检测干净标签。然后，我们采用一个基于超像素的图来表示一幅图像中像素之间的空间邻接和语义相似关系。最后，我们使用图注意力网络（GAT）检测干净的标签监督的噪声标签。我们在PASCAL VOC 2012、PASCAL-Context和MS-COCO数据集上进行了全面的实验。实验结果表明，在PASCAL VOC 2012和MS-COCO数据集上，我们提出的半监督方法达到了最先进的性能，在某些情况下甚至优于全监督模型。
2021-03-26 cs.CV
Learning Spatial Regularization with Image-level Supervisions for Multi-label Image Classification
The Chinese University of Hong Kong（香港中文大学）；University of Science and Technology of China（中国科学技术大学）；University of Sydney（悉尼大学）
多标签图像分类是计算机视觉中一项基本而又具有挑战性的任务。近年来，利用标签间的语义关系取得了很大的进展。然而，常规方法不能对多标签图像中的标签之间的潜在空间关系进行建模，因为通常不提供标签的空间注释。在本文中，我们提出了一个统一的深度神经网络，利用标签之间的语义和空间关系，只有图像级的监督。给定一个多标签图像，我们提出的空间正则化网络（SRN）为所有标签生成注意力图，并通过可学习的卷积捕获它们之间的潜在关系。通过ResNet-101网络将正则化的分类结果与原始结果进行聚合，可以持续提高分类性能。整个深度神经网络仅使用图像级注释进行端到端训练，因此不需要对图像注释进行额外的工作。在3个具有不同类型标签的公共数据集上的广泛评估表明，我们的方法显着优于最先进的技术，具有很强的泛化能力。对学习的SRN模型的分析表明，它可以有效地捕获标签的语义和空间关系，以提高分类性能。
2017-03-31 cs.CV
Learning Semantic Segmentation with Diverse Supervision
University of Manitoba（曼尼托巴大学）；Shanghai University（上海大学）
基于深度卷积神经网络（CNN）的模型显著提高了语义分割的性能。然而，学习这些模型需要大量带有像素级标签的训练图像，这是非常昂贵和耗时的。在本文中，我们提出了一种方法，用于从具有几种类型的注释的图像中学习基于CNN的语义分割模型，这些注释可用于各种计算机视觉任务，包括用于分类的图像级标签，用于目标检测的框级标签和用于语义分割的像素级标签。所提出的方法是灵活的，可以与任何现有的基于CNN的语义分割网络一起使用。通过对PASCAL VOC 2012和SIFT-flow基准测试的实验验证，该方法能够有效地利用不同的训练数据提高学习模型的性能.
2018-02-01 cs.CV
Learning structure-aware semantic segmentation with image-level supervision
College of Engineering and Computer Science（工程与计算机科学学院）；Australian National University（澳大利亚国立大学）
与昂贵的像素级注释相比，图像级标签可以以弱监督的方式学习语义分割。在该流水线内，类激活图（CAM）被获得并被进一步处理以用作伪标签，从而以完全监督的方式训练语义分割模型。在本文中，我们认为，CAM中丢失的结构信息限制了其在下游语义分割的应用，导致恶化的预测。此外，同一对象内部不一致的类激活分数与同一对象的每个区域应该属于同一语义类别的常识相矛盾。为了产生清晰的预测与结构信息，我们引入了一个辅助的语义边界检测模块，惩罚恶化的预测。此外，我们采用平滑损失来鼓励对象内部的预测是一致的。在PASCAL-VOC数据集上的实验结果表明了该方法的有效性。
2021-04-15 cs.CV
TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision
Ant Group（蚂蚁集团）；Copyright Protection Center of China（中国版权保护中心）
在视频检索应用中，视频拷贝定位的目标是精确定位一对未修剪视频中的所有拷贝片段。以往的方法通常从输入视频对的帧级特征之间的余弦相似性生成的帧到帧的相似性矩阵开始，然后在时间约束下在相似性矩阵上检测和细化复制片段的边界。在本文中，我们提出了transVCL：一个注意力增强的视频复制定位网络，它是直接从初始帧级功能优化和训练端到端的三个主要组成部分：一个定制的Transformer的功能增强，相关性和softmax层的相似性矩阵生成，和一个时间对齐模块复制段本地化。与以前的方法要求手工制作的相似性矩阵相比，TransVCL使用自我和交叉注意层将特征序列对之间的长距离时间信息结合起来。通过对三个组件的联合设计和优化，可以学习相似性矩阵以呈现更具鉴别力的复制模式，从而在片段级标记数据集（VCSL和VCDB）上比以前的方法有显着改进。除了在完全监督设置中的最先进的性能外，注意力架构还有助于TransVCL进一步利用未标记或简单的视频级标记数据。补充视频级标记数据集（包括SVD和FIVR）的其他实验表明，TransVCL从全监督到半监督（有或没有视频级注释）具有很高的灵活性。代码可在https://github.com/transvcl/TransVCL上公开获取。
2022-11-24 cs.CV
PC-MIL: Decoupling Feature Resolution from Supervision Scale in Whole-Slide Learning
Kahlert School of Computing, University of Utah, Salt Lake City, UT 84112, USA Scientific Computing \& Imaging Institute, University of Utah, Salt Lake City, UT 84112, USA Instapath Inc., Houston, TX 77021, USA Tulane University, Department of Biomedical Engineering, New Orleans, Louisiana, USA
PC-MIL通过解耦特征分辨率与监督尺度，提升全片学习中对解剖结构的建模能力，实现跨上下文的泛化性能提升。
2026-04-13 cs.CV
Learning to Detect Baked Goods with Limited Supervision
Technische Hochschule Nürnberg（纽伦堡技术大学）；Georg Simon Ohm Nuremberg Germany（乔治·西蒙·奥姆纽尔堡德国）
在有限监督下，通过结合OWLv2和Grounding DINO定位与图像级监督，以及使用Segment Anything 2伪标签微调，训练出YOLOv11模型，实现烘焙食品检测的高精度与鲁棒性。
2026-02-10 cs.CV
Constructing Phrase-level Semantic Labels to Form Multi-Grained Supervision for Image-Text Retrieval
Fudan University（复旦大学）；Zhejiang Lab（之江实验室）；Princeton University（普林斯顿大学）
现有的图像文本检索研究主要依靠文本级监督来区分查询图像的匹配和不匹配句子。然而，图像和句子之间的语义不匹配通常发生在更细的粒度中，即，短语级。在本文中，我们探索引入额外的短语级监督，以更好地识别文本中的不匹配单元。在实践中，多粒度的语义标签自动构建的查询图像在句子级和短语级。我们为匹配的句子构建文本场景图，并提取实体和三元组作为短语级标签。为了整合句子级和短语级的监督，我们提出了语义结构感知多模态Transformer（SSAMT）多模态表示学习。在SSAMT中，我们利用不同类型的注意力机制来加强视觉和语言双方多粒度语义单元的交互。对于训练，我们从全局和局部角度提出了多尺度匹配损失，并惩罚不匹配的短语。在MS-COCO和Flickr 30 K上的实验结果表明了该方法的有效性。
2021-09-12 cs.CL cs.CV
Rethinking Deep Clustering Paradigms: Self-Supervision Is All You Need
College of IT, UOB（信息技术学院，巴林大学）；Université du Québec à Montréal（蒙特利尔魁北克大学）
本文提出一种名为R-DC的深度聚类新范式，用第二轮自监督训练替代伪监督，解决了特征随机性、漂移和扭曲问题，在六个数据集上取得显著提升。
2025-03-05 cs.AI cs.CV
Instance-wise Supervision-level Optimization in Active Learning
Kyushu University（九州大学）；CyberAgent, Inc.（CyberAgent公司）
本文提出实例级监督级别优化（ISO）框架，在固定标注预算内同时选择实例并确定其最优标注级别，利用价值成本比和多样性准则，以更低成本实现更高分类准确率。
2025-03-09 cs.CV cs.LG
DS$^2$Net: Detail-Semantic Deep Supervision Network for Medical Image Segmentation
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China（教育部多媒体可信感知与高效计算重点实验室）；Xiamen University（厦门大学）；Computer Engineering College（计算机工程学院）
提出DS$^2$Net，通过细节和语义增强模块实现多视图深度监督，并引入基于不确定性的损失自适应分配监督强度，在六个医学图像基准上优于现有方法。
2025-08-10 cs.AI cs.CV
Action-Agnostic Point-Level Supervision for Temporal Action Detection
Visual Intelligence Research Laboratories, NEC Corporation（日本电气公司视觉智能研究所）；Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究科）
本文提出动作无关点级监督AAPL，通过无监督选帧减少标注成本，并设计相应检测模型与学习方法，在多个数据集上以更低标注代价取得与现有视频级和点级监督方法相当或更优的时序动作检测性能。
2024-12-30 cs.AI cs.CV cs.LG
Evaluating Supervision Levels Trade-Offs for Infrared-Based People Counting
ETS Montreal（蒙特利尔理工学院）；LIVIA（LIVIA实验室）
本文探索了较弱监督级别对基于红外图像的深度人员计数架构性能的影响，发现CNN图像级模型在性能上与YOLO检测器等相当，且帧率更高、参数量相近，有效降低了标注成本。
2023-11-20 cs.AI cs.CV cs.LG
Difference Feedback: Generating Multimodal Process-Level Supervision for VLM Reinforcement Learning
Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）
本文提出差分反馈方法，通过修复错误推理轨迹自动构建token/步骤级监督掩码，实现多模态推理中的过程级视觉对齐，实验显示在MMMStar和MathVista基准上平均提升3%。
2026-03-29 cs.AI cs.CV
SceneForge: Structured World Supervision from 3D Interventions
Canva Research（Canva研究院）
SceneForge通过生成可编辑3D世界状态的结构化监督，提升多模态学习中干预一致性。其利用显式干预和场景依赖传播，生成对齐的输出，如反事实观察和阴影反射信号，覆盖单视图和多视图场景。
2026-05-14 cs.CV cs.GR
Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing
针对弱监督音视频解析缺乏片段级监督与跨模态对齐的问题，提出EMA引导的伪监督框架与类感知CMA损失，在LLP和UnAV-100数据集上达到SOTA。
2025-09-17 cs.CV cs.MM
BEVContrast: Self-Supervision in BEV Space for Automotive Lidar Point Clouds
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM，巴黎高科桥梁学校，古斯塔夫·埃菲尔大学，法国国家科学研究中心）
本文提出BEVContrast，在鸟瞰图2D单元级别进行激光雷达点云的自监督对比学习，以低成本实现优于TARL的语义分割性能。
2023-10-26 cs.CV cs.LG
Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection
Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
现有的开放词汇对象检测器通常通过利用不同形式的弱监督来扩大其词汇量。这有助于在推理时推广到新对象。在开放词汇检测（OVD）中使用的两种流行的弱监督形式包括预训练的CLIP模型和图像级监督。我们注意到，这两种监督模式对于检测任务来说都不是最佳的：CLIP是用图像-文本对训练的，缺乏对象的精确定位，而图像级监督已经与不能准确指定局部对象区域的几何学一起使用。在这项工作中，我们建议通过执行以对象为中心的对齐CLIP模型的语言嵌入来解决这个问题。此外，我们使用伪标记过程仅使用图像级监督对对象进行视觉接地，该过程提供高质量的对象建议，并有助于在训练期间扩展词汇。我们通过一个新的权重传递函数，聚合它们的互补优势，在上述两个对象对齐策略之间建立了一个桥梁。从本质上讲，所提出的模型旨在最大限度地减少对象和图像为中心的表示在OVD设置之间的差距。在COCO基准测试中，我们提出的方法在新类上实现了36.6 AP 50，比以前的最佳性能绝对提高了8.2。对于LVIS，我们超过了最先进的ViLD模型，罕见类别的面罩AP为5.0，总体为3.4。代码：https://github.com/hanoonaR/object-centric-ovd.
2022-11-29 cs.AI cs.CV
No More Shortcuts: Realizing the Potential of Temporal Self-Supervision
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究中心）
针对时间自监督任务过于简单和存在捷径的问题，提出帧级任务重表述与增强策略，结合变换器显著提升视频特征质量，在多项高级和低级任务上达到最先进性能。
2023-12-20 cs.AI cs.CV cs.LG
Benchmarking Compact VLMs for Clip-Level Surveillance Anomaly Detection Under Weak Supervision
Faculty of Information Technology, Moscow Technical University of Communication
本文研究了在弱监督条件下，紧凑型视觉语言模型在Clip级监控异常检测中的性能，通过统一评估协议比较了参数高效适应的紧凑VLMs与无训练VLM流水线和弱监督基线，展示了在准确率和效率上的平衡。
2026-03-03 cs.CV cs.LG
Sparse Object-level Supervision for Instance Segmentation with Pixel Embeddings
European Molecular Biology Laboratory (EMBL)（欧洲分子生物学实验室（EMBL））
大多数最先进的实例分割方法必须在密集注释的图像上进行训练。虽然一般来说很困难，但这一要求对于生物医学图像尤其令人生畏，因为在生物医学图像中，注释通常需要领域专业知识，并且没有大型公共数据汇集可用于预训练。我们建议通过引入基于非空间嵌入的无命题分割方法来解决密集注释瓶颈，该方法利用学习的嵌入空间的结构以可区分的方式提取单个实例。然后可以将分割损失直接应用于实例，并且可以以完全或弱监督的方式训练整个管道。我们考虑了正未标记监督的挑战性案例，其中为训练数据的未标记部分引入了新型的自监督一致性损失。我们评估所提出的方法在不同的显微镜模式，以及在城市景观和CVPPP实例分割基准的2D和3D分割问题，后者实现国家的最先进的结果。代码可在以下网址获得：https://github.com/kreshuklab/spoco
2022-04-04 cs.CV cs.LG
Multi-Layer Pseudo-Supervision for Histopathology Tissue Semantic Segmentation using Patch-level Classification Labels
Guangdong Cardiovascular Institute（广东省心血管病研究所）；School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院）
组织级语义分割是计算病理学中的一个重要步骤。全监督模型已经通过密集的像素级注释实现了出色的性能。然而，在千兆像素的整个幻灯片图像上绘制这样的标签是极其昂贵和耗时的。在本文中，我们只使用块级分类标签，实现组织病理学图像的组织语义分割，最终减少注释工作。我们提出了一个两步模型，包括一个分类和分割阶段。在分类阶段，我们提出了一个基于CAM的模型来生成伪掩模的补丁级标签。在分割阶段，我们通过我们提出的多层伪监督实现了组织的语义分割。已经提出了几种技术创新，以减少像素级和补丁级注释之间的信息差距。作为本文的一部分，我们介绍了一个新的弱监督语义分割（WSSS）数据集肺腺癌（LUAD-HistoSeg）。我们在两个数据集上进行了几个实验来评估我们提出的模型。我们提出的模型优于两个国家的最先进的WSSS方法。请注意，我们可以使用全监督模型实现相当的定量和定性结果，MIoU和FwIoU的差距仅为2%左右。与手动标注相比，我们的模型可以大大节省标注时间，从数小时缩短到数分钟。源代码可从以下网址获得：\url{https://github.com/ChuHan89/WSSS-Tissue}。
2021-10-14 cs.CV eess.IV q-bio.QM
EXAONE Path 2.0: Pathology Foundation Model with End-to-End Supervision
LG AI Research（LG人工智能研究院）
针对数字病理学中自监督学习方法数据效率低且易忽略复杂生物标志物特征的问题，提出在切片级监督下学习图像块表征的病理学基础模型EXAONE Path 2.0，仅用37k张WSIs即在10项预测任务中达到最优平均性能。
2025-08-14 cs.AI cs.CV cs.LG
