Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising?
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Centre Borelli（博雷利中心）
监督训练在图像和视频去噪方面取得了最先进的成果。然而，它的实际数据的应用是有限的，因为它需要大量的数据集的噪声干净的对是很难获得的。出于这个原因，网络通常是在真实的合成数据上训练的。最近，已经提出了一些自监督框架，用于直接在噪声数据上训练这种去噪网络，而不需要地面实况。在合成去噪问题上，监督训练优于自监督方法，但近年来差距越来越小，特别是对于视频。在本文中，我们提出了一项研究，旨在确定哪种是最好的方法来训练去噪网络的真实原始视频：监督合成现实数据或自我监督的真实数据。在具有真实运动的自然视频的情况下，具有定量结果的完整研究是不可能的，因为不存在具有干净噪声对的数据集。我们通过考虑三个独立的实验来解决这个问题，在这些实验中，我们比较了两个框架。我们发现，对真实数据的自我监督优于对合成数据的监督，并且在正常照明条件下，性能下降是由于合成地面实况生成，而不是噪声模型。
2022-04-25 cs.CV eess.IV
MS-KD: Multi-Organ Segmentation with Multiple Binary-Labeled Datasets
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学媒体网络协同创新中心）
在3D医学图像中注释多个器官是耗时且昂贵的。同时，存在许多单器官数据集，其中一个特定的器官注释。本文研究了如何利用一组二进制标记的数据集来学习多器官分割模型。提出了一种新的多教师单学生知识蒸馏（MS-KD）框架，教师模型是预先训练好的单器官分割网络，学生模型是多器官分割网络.考虑到每个教师关注不同的器官，基于区域的监督方法，包括逻辑明智的监督和特征明智的监督，提出。每个教师在两个区域监督学生，器官区域，教师被认为是专家，背景区域，所有教师都同意。在三个公开的单器官数据集和一个多器官数据集上的大量实验证明了所提出的MS-KD框架的有效性。
2021-08-05 cs.CV
Consensual Collaborative Training And Knowledge Distillation Based Facial Expression Recognition Under Noisy Annotations
SSSIHL（斯里萨蒂亚赛高等教育学院）
大规模人脸表情数据集标签中噪声的存在是人脸表情识别面临的一个关键挑战。在早期学习阶段，深度网络适合干净的数据。然后，最终，由于它们的记忆能力，它们开始过度拟合噪声标签，这限制了FER性能。本文提出了一种有效的训练策略，在噪声标签的存在下，被称为协同训练（CCT）框架。CCT使用监督损失和一致性损失的凸组合联合训练三个网络，而不对噪声分布做任何假设。一个动态的过渡机制是用来从监督损失在早期学习的一致性损失的预测之间的共识在后期阶段。使用基于简单知识蒸馏方案的单个网络进行推理。所提出的框架的有效性证明合成以及真正的嘈杂FER数据集。此外，使用16个不同注释器的群体智慧从FEC数据集中注释了大约5K图像的大型测试子集，并推断出可靠的标签。在基准FER数据集RAFDB（90.84%）、FERPlus（89.99%）和AffectNet（66%）上报告了最先进的性能。我们的代码可在https://github.com/1980x/CCT上获得。
2021-07-10 cs.CV
Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets
Hefei University of Technology（合肥工业大学）；Jianghuai Advance Technology Center（江淮先进技术中心）；Anhui Provincial Key Laboratory of Humanoid Robots（安徽省人形机器人重点实验室）；Kaiyang Laboratory, Chery（凯阳实验室，中国奇瑞）；Zhejiang University of Technology（浙江工业大学）
提出一种基于轨迹的数据集蒸馏框架，通过选择性指导重加权和教师启发辅助目标，在噪声监督下联合抑制噪声并保留可迁移知识，无需重标注或干净子集。
2026-06-29 cs.CV
Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision
Google Research（谷歌研究院）
预先训练的表示对于许多NLP和感知任务变得至关重要。虽然NLP中的表示学习已经过渡到在没有人类注释的原始文本上进行训练，但视觉和视觉语言表示仍然严重依赖于精心策划的训练数据集，这些数据集价格昂贵或需要专业知识。对于视觉应用程序，表示主要使用具有显式类标签的数据集（如ImageNet或OpenImages）来学习。对于视觉语言，流行的数据集，如Conceptual Captions，MSCOCO或CLIP都涉及到一个重要的数据汇集（和清理）过程。这种昂贵的管理过程限制了数据集的大小，从而阻碍了训练模型的扩展。在本文中，我们利用了超过10亿个图像替代文本对的噪声数据集，在概念标题数据集中没有昂贵的过滤或后处理步骤。一个简单的双编码器架构学习使用对比损失来对齐图像和文本对的视觉和语言表示。我们表明，我们的语料库的规模可以弥补其噪音，并导致国家的最先进的表示，即使这样一个简单的学习计划。我们的视觉表示在转移到ImageNet和VTAB等分类任务时实现了强大的性能。对齐的视觉和语言表示实现了zero-shot图像分类，并在Flickr 30 K和MSCOCO图像-文本检索基准上设置了新的最先进的结果，即使与更复杂的交叉注意力模型相比也是如此。这些表示还支持复杂文本和文本+图像查询的跨模态搜索。
2021-06-11 cs.CL cs.CV cs.LG
NoiseSDF2NoiseSDF: Learning Clean Neural Fields from Noisy Supervision
University of Cambridge（剑桥大学）
提出NoiseSDF2NoiseSDF方法，通过最小化含噪SDF表示之间的MSE损失，从含噪点云中学习干净的神经SDF，实现隐式去噪和表面优化。
2026-06-09 cs.CV
Cross-head Supervision for Crowd Counting with Noisy Annotations
1 Shanghai Key Lab of Intelligent Information Processing, School of Computer Science 2 Institute of Science；Technology for Brain-inspired Intelligence Fudan University, Shanghai 200433, China
针对人群计数数据集中的噪声标注问题，提出带卷积头和Transformer头的CHS-Net模型，通过跨头监督机制及渐进式学习策略缓解噪声影响，在多个数据集上取得优于现有方法的性能。
2023-03-16 cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University（清华大学）
尽管深度学习方法在医学图像分割任务中取得了成功，但人类水平的性能依赖于具有高质量注释的大量训练数据，这些数据收集起来既昂贵又耗时，而事实是存在带有标签噪声的低质量注释，这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中，我们提出了一个新的框架，以解决分割与噪声标签提取有效的监督信息，从像素和图像水平。特别是，我们明确地估计每个像素的不确定性作为逐像素的噪声估计，并提出逐像素的鲁棒学习，通过使用原始标签和伪标签。此外，我们提出了一个图像级的鲁棒学习方法，以容纳更多的信息，作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明，我们的方法相比，国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
Does Visual Self-Supervision Improve Learning of Speech Representations for Emotion Recognition?
Imperial College London（伦敦帝国学院）；Facebook（脸书）
自监督学习最近吸引了大量的研究兴趣。然而，大多数作品的自我监督的讲话是典型的单峰和已经有有限的工作，研究音频和视觉模态之间的相互作用，跨模态的自我监督。本文的工作（1）研究了通过人脸重建的视觉自我监督来指导音频表示的学习;（2）提出了一种用于语音表示学习的仅音频自我监督方法;（3）表明所提出的视觉和音频自我监督的多任务组合有利于学习更丰富的特征，这些特征在噪声条件下更鲁棒;（4）表明自监督预训练可以优于完全监督训练，并且对于防止较小数据集的过拟合特别有用。我们评估我们学习的音频表示离散情感识别，连续的影响识别和自动语音识别。对于所有测试的下游任务，我们都优于现有的自监督方法。我们的研究结果表明，潜在的视觉自我监督的音频特征学习，并建议联合视觉和音频自我监督导致更多的信息音频表示语音和情感识别。
2021-03-18 cs.CL cs.CV cs.LG
W2N:Switching From Weak Supervision to Noisy Supervision for Object Detection
Harbin Institute of Technology（哈尔滨工业大学）；MEGVII Technology（旷视科技）；Peng Cheng Laboratory（鹏城实验室）
弱监督目标检测（WSOD）旨在训练一个只需要图像级标注的目标检测器。最近，一些工作已经成功地选择从经过良好训练的WSOD网络中生成的准确盒子来监督半监督检测框架，以获得更好的性能。然而，这些方法根据图像级标准将训练集简单地划分为标记集和未标记集，使得足够的错误标记或错误定位的框预测被选择为伪地面实况，从而导致检测性能的次优解决方案。为了克服这个问题，我们提出了一个新颖的WSOD框架，该框架具有从弱监管切换到嘈杂监管（W2 N）的新范式。一般来说，通过从训练良好的WSOD网络生成给定的伪地面真值，我们提出了一种两模块迭代训练算法来改进伪标签并逐步监督更好的对象检测器。在定位自适应模块中，我们提出了一种正则化损失，以减少原始伪地面真值中有区别的部分的比例，为进一步的训练获得更好的伪地面真值。在半监督模块中，我们提出了两个任务的实例级分裂方法来选择高质量的标签来训练半监督检测器。在不同基准测试上的实验结果验证了W2N的有效性，其性能优于现有的纯WSOD方法和迁移学习方法.我们的代码可在https://github.com/1170300714/w2n_wsod上公开获取。
2022-07-25 cs.CV
Learning from Noisy Web Data with Category-level Supervision
Rice University（莱斯大学）；Tsinghua University（清华大学）
随着大量照片被上传到公共网站（例如，Flickr、Bing和Google），从网络数据中学习已经成为一个越来越流行的研究方向，因为网络资源是免费的，这也被称为网络监督学习。然而，由于Web数据的标签噪声，Web监督学习与传统监督学习的性能差距仍然很大。确切地说，从公共网站抓取的图像的标签非常嘈杂，而且往往不准确。一些现有的作品倾向于促进学习从Web数据的帮助下，额外的信息，如增强或净化Web数据凭借实例级的监督，这通常是在繁重的手工注释的需求。相反，我们建议通过利用更容易访问的类别级监管来解决标签噪音。特别是，我们建立我们的方法变分自编码器（VAE），其中的分类网络附加在VAE的隐藏层的方式，分类网络和VAE可以共同利用类别级的混合语义信息。在三个基准数据集上的大量实验清楚地证明了我们所提出的方法的有效性。
2018-05-24 cs.CV
Label Filling via Mixed Supervision for Medical Image Segmentation from Noisy Annotations
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出LF-Net标签填充框架，通过可信像素子集监督和软标签与标注者特征标签两种混合辅助监督，在仅使用噪声标注的情况下提升医学图像分割精度，并在多个数据集上取得优于现有方法的性能。
2024-10-21 cs.CV
Watch and Learn: Mapping Language and Noisy Real-world Videos with Self-supervision
Malong LLC（码隆科技有限公司）；University of Oxford（牛津大学）；Heriot-Watt University（赫瑞-瓦特大学）；Imperial College London（帝国理工学院）
在本文中，我们教机器理解视觉和自然语言，通过学习句子和嘈杂的视频片段之间的映射，没有明确的注释。首先，我们定义了一个自监督学习框架，该框架捕获跨模态信息。然后引入一种新的对抗性学习模块来显式地处理自然视频中的噪声，其中字幕句子不能保证与视频片段强对应。为了训练和评估，我们贡献了一个新的数据集“ApartmenTour”，其中包含大量的在线视频和字幕。我们对句子和视频之间的双向检索任务进行了实验，结果表明，我们提出的模型在两个检索任务上都达到了最先进的性能，并且超过了几个强基线。该数据集可以在https://github.com/zyj-13/WAL下载。
2021-01-11 cs.CV
Counting Trees from Satellite Imagery with Noisy Supervision
University of Copenhagen（哥本哈根大学）；University of Rwanda（卢旺达大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Stony Brook University（石溪大学）；LIGM, CNRS, Univ Gustave Eiffel, ENPC, IPP（LIGM，CNRS，古斯塔夫·埃菲尔大学，ENPC，IPP）
针对卫星图像中树木计数任务，提出基于非平衡最优传输的空间密度匹配方法，并引入自校正机制利用传输残差逐步优化噪声监督，在跨三大洲的TinyTrees基准上优于检测、回归和传输匹配基线。
2026-06-26 cs.CV
Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision
Michigan State University（密歇根州立大学）
人脸反欺骗是防止人脸识别系统安全漏洞的关键步骤。以前的深度学习方法将面部反欺骗制定为二进制分类问题。他们中的许多人很难掌握足够的欺骗线索，而且概括得很差。在本文中，我们认为辅助监督的重要性，引导学习对歧视性和概括性的线索。学习CNN-RNN模型以使用逐像素监督来估计面部深度，并使用逐序列监督来估计rPPG信号。然后，我们将估计的深度和rPPG融合以区分实时人脸和欺骗人脸。此外，我们引入了一个新的人脸反欺骗数据库，涵盖了大范围的照明，主题和姿态变化。实验结果表明，该模型在数据库内和跨数据库测试方面都达到了最先进的性能。
2018-03-29 cs.CV
Learning from Pixel-Level Label Noise: A New Perspective for Semi-Supervised Semantic Segmentation
Beijing Key Laboratory of Traffic Data Analysis and Mining, Beijing Jiaotong University（北京交通大学交通数据分析与挖掘北京市重点实验室）
本文讨论了半监督语义分割，利用一个小的一组图像与像素级的注释（强监督）和一个大的一组图像，只有图像级的注释（弱监督）。大多数现有的方法旨在从弱监督中生成准确的像素级标签。然而，我们观察到这些生成的标签仍然不可避免地包含噪声标签。受此观察的启发，我们提出了一个新的视角，并制定了这个任务作为一个问题的学习与像素级标签噪声。然而，现有的噪声标记方法主要针对图像级任务，不能捕获图像中相邻标签之间的关系。因此，我们提出了一个基于图的标签噪声检测和校正框架来处理像素级的噪声标签。特别地，对于由类激活图（CAM）从弱监督生成的像素级噪声标签，我们训练具有强监督的干净分割模型，以根据交叉熵损失从这些噪声标签中检测干净标签。然后，我们采用一个基于超像素的图来表示一幅图像中像素之间的空间邻接和语义相似关系。最后，我们使用图注意力网络（GAT）检测干净的标签监督的噪声标签。我们在PASCAL VOC 2012、PASCAL-Context和MS-COCO数据集上进行了全面的实验。实验结果表明，在PASCAL VOC 2012和MS-COCO数据集上，我们提出的半监督方法达到了最先进的性能，在某些情况下甚至优于全监督模型。
2021-03-26 cs.CV
Image Restoration Learning via Noisy Supervision in the Fourier Domain
Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）；Key Laboratory of Image Processing and Intelligent Control, Ministry of Education（教育部图像处理与智能控制重点实验室；华中科技大学人工智能与自动化学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology
本文提出在傅里叶域中建立噪声监督的统一图像恢复学习框架，利用空间相关噪声傅里叶系数的稀疏性、独立性及高斯收敛性质，证明含噪目标与干净目标的等价性，并在多种任务、网络和噪声模型上验证了其优越性能。
2025-05-31 cs.CV eess.IV
Learning Coarse-to-Fine Osteoarthritis Representations under Noisy Hierarchical Labels
The Hong Kong Polytechnic University（香港理工大学）
本文探讨在噪声层次标签下通过双头模型提升骨关节炎诊断的表示学习，通过比较不同3D模型的性能，发现双头监督能提升KL分级指标，并改善潜在表示的层次结构和解剖对齐。
2026-08-20 cs.CV
Iris Presentation Attack Detection by Attention-based and Deep Pixel-wise Binary Supervision Network
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
虹膜呈现攻击检测在虹膜识别系统中起着至关重要的作用。大多数现有的基于CNN的iris PAD解决方案1）在CNN的训练过程中只执行二进制标签监督，服务于全局信息学习，但削弱了对局部判别特征的捕获，2）更喜欢堆叠的更深卷积或专家设计的网络，增加了过拟合的风险，3）融合多个PAD系统或各种类型的特征，增加了在移动设备上部署的难度。因此，我们提出了一种新的基于注意力的深度像素二元监督（A-PBS）方法。逐像素监督首先能够捕获细粒度的像素/块级线索。然后，注意力机制引导网络自动找到对准确的PAD决策贡献最大的区域。在LivDet-Iris 2017和其他三个公开可用的数据库上进行了广泛的实验，以显示所提出的A-PBS方法的有效性和鲁棒性。例如，A-PBS模型在IIITD-WVU数据库上实现了6.50%的HTER，优于最先进的方法。
2021-06-28 cs.CV
Contrastive Learning under Noisy Temporal Self-Supervision for Colonoscopy Videos
Department of Mathematics, University of Padova, Padova, Italy（帕多瓦大学数学系）；LTCI, Telecom Paris, Institut Polytechnique de Paris, Palaiseau, France（巴黎电信学院）；Cosmo Intelligent Medical Devices, Dublin, Ireland（都柏林智能医疗设备公司）
本文提出一种在噪声时间自监督下利用对比学习进行结肠镜视频处理的方法，通过利用结肠镜检查的顺序流程来推导自监督关联，引入噪声感知的对比损失以处理噪声关联，从而在多项下游任务中取得了优于现有自监督和监督基线方法的性能。
2026-05-19 cs.CV
When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with Weak-and-Noisy Supervision
Australian National University（澳大利亚国立大学）；The University of Queensland（昆士兰大学）
针对弱监督点云实例分割中边界框标注噪声导致性能退化的问题，提出CIP-WPIS方法，利用SAM的2D提示和3D几何先验生成高质量点级标签，在Scannet-v2和S3DIS上实现最先进性能。
2023-09-02 cs.CV
Robust Multi-View Classification under Noisy Supervision via Global Anchor Consensus
College of Science, Beijing Forestry University（北京林业大学理学院）；School of Software, North University of China（中北大学软件学院）
研究在多视图分类中处理噪声标签问题，提出基于全局锚点的标签审核方法GALA，构建全局锚点衡量实例与锚点接近程度，融合评估与置信度得审核分数，据此处理可疑样本、重写标签，实验表明该方法性能优于多种先进方法。
2026-07-22 cs.CV cs.LG
Learning What to Trust in Multimodal Learning under Noisy Supervision
University of Science and Technology of China（中国科学技术大学）
针对实际场景中多模态学习的噪声标签问题，提出多模态标签噪声检测框架REFINE，通过分析表示结构与噪声检测能力的关系，联合融合与单模态表示检测噪声，提升模型泛化性能。
2026-10-09 cs.CV cs.LG
Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels
McMaster University（麦克马斯特大学）
针对深度神经网络易受噪声标签影响导致泛化差的问题，提出利用合成样本与软标签训练模型的框架，通过聚合样本及其最近邻并逐步纠正噪声标签，在多个基准和真实数据集上显著提升了表示质量与鲁棒性。
2024-06-22 cs.CV cs.LG
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University（麦克马斯特大学）
深度神经网络容易过拟合噪声标签，导致泛化性能差。为了克服这个问题，我们提出了一个简单而有效的方法自集成标签校正（SELC），逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为，并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识，SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明，使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性，与许多国家的最先进的方法相比，SELC获得更有前途和稳定的结果，在存在类条件，实例依赖，和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Deep Unsupervised Saliency Detection: A Multiple Noisy Labeling Perspective
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；DATA61,CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
当前深度显著性检测方法的成功在很大程度上取决于以每像素标记形式的大规模监督的可用性。这种监督虽然是劳动密集型的，而且并不总是可行的，但往往会阻碍学习模型的泛化能力。相比之下，传统的基于手工特征的无监督显着性检测方法，即使已经被深度监督方法超越，但通常是独立于网络的，可以在野外应用。这就提出了一个很自然的问题：“有没有可能在不使用标记数据的情况下学习显着图，同时提高泛化能力？".为此，我们提出了一个新的角度来无监督显着性检测，通过学习多个嘈杂的标签产生的“弱”和“嘈杂”的无监督手工显着性方法。我们用于无监督显著性检测的端到端深度学习框架由潜在显著性预测模块和噪声建模模块组成，它们协同工作并联合优化。显式噪声建模使我们能够以概率的方式处理噪声显着图。在各种基准数据集上进行的大量实验结果表明，我们的模型不仅以较大的幅度优于所有无监督显着性方法，而且与最近最先进的有监督深度显着性方法的性能相当。
2018-03-29 cs.CV
Robust Adaptive Median Binary Pattern for noisy texture classification and retrieval
INSA Centre Val de Loire（卢瓦尔河谷国立应用科学学院）；Université d’Orléans（奥尔良大学）；Laboratoire PRISME EA 4229（PRISME实验室EA 4229）
纹理是不同计算机视觉任务和应用的重要线索。局部二进制模式（LBP）被认为是最好的纹理描述符之一。然而，LBP有一些明显的局限性，主要是对噪声的敏感性。在本文中，我们解决这些标准，通过引入一种新的纹理描述符，鲁棒自适应中值二进制模式（RAMBP）。RAMBP算法基于噪声像素的分类过程、自适应分析窗口、尺度分析和图像区域中值比较。该方法处理高噪声纹理图像，并通过捕获微观和宏观结构纹理信息来提高鉴别性能。该方法已被评估流行的纹理数据集的分类和检索任务，并在不同的高噪声条件下。没有任何训练或噪声类型的先验知识，RAMBP实现了最好的分类相比，国家的最先进的技术。它在$50\%$脉冲噪声密度下的得分高于$90\%$，在具有标准差$σ= 5$的高斯噪声纹理下的得分高于$95\%$，在具有标准差$σ= 1.25$的高斯模糊纹理下的得分高于$99\%$。该方法产生了竞争力的结果和高性能的最佳描述符之一，在无噪声纹理分类。此外，RAMBP也表现出高性能的噪声纹理检索的问题，提供高分数的召回率和精度的措施，纹理与高水平的噪音。
2018-05-15 cs.CV
AlphaRAD: Grounded Zero-Shot Classification in Chest Radiology via $α$-Corrected Binary Cross Entropy and Factorized Latent Supervision
Peter Munk Cardiac Centre, University Health Network (UHN)（彼得·芒克心脏中心，大学健康网络（UHN））；Ted Rogers Centre for Heart Research（泰德·罗杰斯心脏研究中心）；University of Toronto (U of T)（多伦多大学）；Vector Institute（向量研究所）；Toronto General Hospital Research Institute, UHN（多伦多总医院研究所，大学健康网络（UHN））
AlphaRAD通过α校正二元交叉熵训练的医疗概念鉴别器与FLaS跨模态融合模块，在16个胸部放射学分类基准及10个定位、分割数据集上实现最优零样本分类性能。
2026-09-03 cs.CV
Disentangling Human Dynamics for Pedestrian Locomotion Forecasting with Noisy Supervision
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
我们解决的问题，人体运动预测，共同预测的几个关键点的空间位置在不久的将来在人体上的自我中心的设置下的任务。与以前的工作，旨在解决任何任务的姿势预测或轨迹预测孤立，我们提出了一个框架，统一这两个问题，并解决实际有用的任务，行人运动预测在野外。解决这一任务的主要挑战之一是缺乏带有密集注释的自我中心视频数据集，用于姿势，深度或自我运动。为了克服这一困难，我们使用最先进的模型来生成（噪声）注释，并提出了强大的预测模型，可以从这种噪声监督中学习。我们提出了一种方法来解开整体行人运动到更容易学习的子部分，利用一个姿势完成和分解模块。完成模块填充缺失的关键点注释，分解模块将清洁的运动分解为全局（轨迹）和局部（姿势关键点移动）。此外，以Quasi RNN为骨干，我们提出了一种新的分层轨迹预测网络，该网络利用低级视觉域特定信号（如自运动和深度）来预测全局轨迹。我们的方法导致国家的最先进的结果预测人类运动的自我中心的观点。Pade项目：https://karttikeya.github.io/publication/plf/
2020-04-13 cs.CV cs.LG cs.RO
Deep Self-Learning From Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
ConvNets在从干净的数据中训练时取得了良好的效果，但从嘈杂的标签中学习会显着降低性能，并且仍然具有挑战性。与以前的作品受到许多条件的限制，使其不适用于真实的噪声情况不同，这项工作提出了一种新的深度自学习框架，可以在没有额外监督的情况下在真实的噪声数据集上训练一个健壮的网络。所提出的方法有几个吸引人的好处。(1)与大多数现有的工作不同，它不依赖于任何假设的噪声标签的分布，使其具有鲁棒性的真实噪声。(2)它不需要额外的清洁监督或辅助网络来帮助培训。(3)提出了一种自学习框架，以迭代的端到端的方式对网络进行训练，这是有效和高效的。在具有挑战性的基准，如Clothing 1 M和Food 101-N的广泛实验表明，我们的方法优于其同行在所有的经验设置。
2019-08-20 cs.CV cs.LG
Deep Metric Learning Beyond Binary Supervision
POSTECH（浦项科技大学）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
视觉相似性的度量学习大多采用二进制监督，指示一对图像是否属于同一类。这样的二进制指示符仅覆盖图像关系的有限子集，并且不足以表示由连续和/或结构化标签（诸如对象姿态、图像标题和场景图）描述的图像之间的语义相似性。受此启发，我们提出了一种使用连续标签进行深度度量学习的新方法。首先，我们提出了一个新的三重损失，允许在标签空间中的距离比被保存在学习度量空间。因此，提出的损失使我们的模型能够学习相似度，而不仅仅是顺序。此外，我们设计了一个三元组挖掘策略，适用于连续标签的度量学习。我们解决三个不同的图像检索任务与连续标签的人类姿势，房间布局和图像标题，并证明我们的方法相比，以前的方法的优越性能。
2019-04-21 cs.CV cs.LG
Deep Policy Hashing Network with Listwise Supervision
Sun Yat-Sen University（中山大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
基于深度网络的哈希已经成为大规模图像检索的主要方法，它学习一个相似性保持网络，将相似图像映射到附近的哈希码。成对丢失和三重丢失是深度哈希中两种广泛使用的相似性保持方式。这些方式忽略了散列是二进制代码列表上的预测任务的事实。然而，使用列表监督学习深度哈希在以下方面具有挑战性：1）当深度网络的批量大小总是很小时，如何获得整个训练集的排名列表; 2）如何利用列表监督。在本文中，我们提出了一种新的深度策略哈希架构，其中两个系统并行学习：查询网络和共享且缓慢变化的数据库网络。重复以下三个步骤直到收敛：1）数据库网络将所有训练样本编码为二进制代码以获得整个排名列表，2）基于同策略学习来训练查询网络以最大化指示二进制代码的整个排名列表的性能的奖励，例如，平均平均精度（MAP），以及3）数据库网络被更新为查询网络。在几个基准数据集上的广泛评估表明，所提出的方法比最先进的哈希方法带来了实质性的改进。
2019-04-03 cs.CV
Deep Pixel-wise Binary Supervision for Face Presentation Attack Detection
Idiap Research Institute（Idiap研究所）
人脸识别已经发展成为一种重要的生物特征认证方式。然而，呈现攻击的脆弱性限制了其可靠的部署。自动检测呈现攻击对于在无人值守场景中安全使用人脸识别技术至关重要。在这项工作中，我们引入了一个基于卷积神经网络（CNN）的框架，用于演示攻击检测，具有深度像素监督。该框架仅使用帧级信息，使其适合于部署在智能设备中，具有最小的计算和时间开销。我们证明了所提出的方法在公共数据集内以及跨数据集实验的有效性。所提出的方法在Replay Mobile数据集中实现了0%的HTER，在OULU数据集的Protocol-1中实现了0.42%的ACER，优于现有技术的方法。
2019-07-09 cs.CR cs.CV
MobilePose: Real-Time Pose Estimation for Unseen Objects with Weak Shape Supervision
Google Research（谷歌研究院）
在本文中，我们解决的问题，从RGB图像中检测看不见的对象，并估计其构成的3D。我们提出了两个移动友好的网络：MobilePose-Base和MobilePose-Shape。前者用于只有姿态监督时，后者用于形状监督可用的情况下，即使是弱监督。我们重新审视以前的方法中使用的形状特征，包括分割和坐标映射。我们解释了像素级形状监督何时以及为什么可以改善姿势估计。因此，我们在MobilePose-Shape中添加了形状预测作为中间层，并让网络从形状中学习姿势。我们的模型是在混合真实和合成数据上训练的，具有弱和噪声形状监督。它们超轻，可以在现代移动设备上实时的【形】运行（例如Galaxy S20上的36 FPS）。与以往的单次求解方法相比，该方法具有更高的精度，同时使用了一个显着较小的模型（模型大小或参数数量的2~3%）。
2020-03-07 cs.CV
A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision
UC Berkeley（伯克利大学）；Technion（技术学院）；NVIDIA（英伟达）
本文提出教师引导的 3D 扩散框架，通过解耦 3D 含噪样本与 2D 监督信号，仅用稀疏视图监督实现高保真 3DGS 生成。
2025-07-26 cs.CV
Safeguarded Dynamic Label Regression for Generalized Noisy Supervision
使用噪声标签学习，旨在减少精确注释的昂贵劳动，在大数据时代已经势在必行。以前的基于噪声过渡的方法已经取得了可喜的成果，并提出了一个理论上的保证，在类条件噪声的情况下的性能。然而，这种类型的方法严重依赖于噪声过渡的准确预估，这通常是不切实际的。随后的改进通过Softmax层调整预估计以及训练进度。然而，Softmax层中的参数由于不适定的随机近似而被高度调整以用于脆弱的性能。为了解决这些问题，我们提出了一个潜在的类条件噪声模型（LCCN），自然嵌入贝叶斯框架下的噪声转换。通过将噪声过渡投影到Dirichlet分布空间中，学习被约束在基于整个数据集的单纯形上，而不是一些ad-hoc参数空间。然后，我们推导出一个动态标签回归方法LCCN迭代推断潜在的标签，随机训练分类器和建模的噪音。我们的方法保障了噪声转换的有界更新，避免了先前通过一批样本进行任意调整。我们进一步推广LCCN的开集噪声标签和半监督设置。我们用可控噪声数据集CIFAR-10和CIFAR-100以及不可知噪声数据集Clothing 1 M和WebVision 17进行了广泛的实验。实验结果表明，该模型优于几个国家的最先进的方法。
2021-08-21 cs.CV cs.LG stat.ML
ShadowNeuS: Neural SDF Reconstruction by Shadow Ray Supervision
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
通过监督场景和多视图图像平面之间的相机射线，NeRF重建了一个神经场景表示的任务，新的视图合成。另一方面，光源和场景之间的阴影光线还有待考虑。因此，我们提出了一种新的阴影射线监督计划，优化沿射线和射线位置的样本。通过监督阴影光线，我们成功地重建了一个神经SDF的场景，从单视图图像在多个照明条件下。给定单视图二值阴影，我们训练一个神经网络来重建一个不受摄像机视线限制的完整场景。通过进一步建模图像颜色和阴影光线之间的相关性，我们的技术也可以有效地扩展到RGB输入。我们比较我们的方法与以前的作品具有挑战性的任务，从单视图二进制阴影或RGB图像的形状重建，并观察到显着的改善。代码和数据可在https://github.com/gerwang/ShadowNeuS上获得。
2023-03-23 cs.CV
From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
通过三个医学影像基准校准理论预测的噪声标签交叉点，提出基于少量金标标签的决策规则。
2026-10-22 cs.AI cs.CV cs.LG
Image-Text Retrieval with Binary and Continuous Label Supervision
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Washington（华盛顿大学）；China Telecom DICT Application Capability Center（中国电信DICT应用能力中心）
大多数图像-文本检索工作采用二进制标签来表示一对图像和文本是否匹配。这样的二进制指标只覆盖图像-文本语义关系的有限子集，这不足以表示由连续标签（例如图像标题）描述的图像和文本之间的相关度。通过学习二进制标签获得的视觉语义嵌入空间是不连贯的，不能完全表征相关度。除了使用二进制标签外，本文还引入了连续伪标签（通常由标题之间的文本相似度近似）来表示相关度。为了学习一个连贯的嵌入空间，我们提出了一个带有二进制和连续标签监督（BCLS）的图像-文本检索框架，其中二进制标签用于指导检索模型学习有限的二进制相关性，连续标签是对图像-文本语义关系学习的补充。对于二进制标签的学习，我们使用软否定挖掘（Triplet-SN）改进了常见的Triplet排名损失，以提高收敛性。对于连续标签的学习，我们设计了Kendall秩相关系数（Kendall）启发的Kendall排序损失，提高了检索模型预测的相似性得分与连续标签之间的相关性。为了减轻连续伪标签引入的噪声，我们进一步设计了滑动窗口采样和硬样本挖掘策略（SW-HS）来减轻噪声的影响，并将我们的框架的复杂度降低到与三元组排名损失相同的数量级。在两个图像-文本检索基准上的实验表明，该方法可以提高最先进的图像-文本检索模型的性能。
2022-10-20 cs.CV cs.MM
Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning
针对标签噪声学习中重构方法的隐式耦合问题，提出TRACE双源可靠性评估框架，分别评估观测标签与伪目标，提升了带噪声基准上的重构基线性能与伪监督可靠性。
2026-08-05 cs.CV cs.LG
Robust Feature Learning Against Noisy Labels
Free University of Bozen-Bolzano（博尔扎诺自由大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；National Tsing Hua University（国立清华大学）；National Taiwan Normal University（国立台湾师范大学）
本文针对噪声标签问题，提出结合无监督增强恢复、聚类正则化和渐进式自举的鲁棒特征学习方法，以最小开销提升模型在严重标签噪声下的鲁棒性。
2023-07-10 cs.CV
Optimizing Feature Selection for Binary Classification with Noisy Labels: A Genetic Algorithm Approach
A. I. Virtanen Institute for Molecular Sciences, University of Eastern Finland（A.I. Virtanen分子科学研究所，东芬兰大学）；Department of Computer Science, Aalto University（计算机科学系，艾尔托大学）；Institute of Biomedicine, University of Eastern Finland（生物医学研究所，东芬兰大学）
针对含噪声标签二分类中的特征选择难题，提出NMFS-GA多目标遗传算法，在合成、乳腺癌及ADNI数据集上验证其可提升分类准确性与可解释性。
2024-01-12 cs.CV cs.LG cs.NE
Noisy Concurrent Training for Efficient Learning under Label Noise
Advanced Research Lab, NavInfo Europe（NavInfo Europe 高级研究实验室）
深度神经网络（DNN）在标签噪声下无法有效学习，并且已被证明会记住影响其泛化性能的随机标签。我们认为孤立学习，使用独热编码标签作为唯一的监督来源，以及缺乏规则化来阻止记忆是标准训练程序的主要缺点。因此，我们提出了Noisy Concurrent Training（NCT），它利用协作学习来使用两个模型之间的共识作为额外的监督来源。此外，受大脑中试验间差异的启发，我们提出了一种反直觉的正则化技术，即目标差异，它需要随机改变每批训练样本中一定比例的标签，以防止DNN中的记忆和过度泛化。目标变异性独立应用于每个模型，以保持它们的差异并避免确认偏倚。由于DNN倾向于在记住噪声标签之前首先优先学习简单模式，因此我们采用了动态学习方案，随着训练的进行，两个模型越来越依赖于它们的共识。NCT还逐渐增加目标的可变性，以避免在后期阶段记忆。我们证明了我们的方法在合成和真实世界的噪声基准数据集的有效性。
2020-09-17 cs.CV cs.LG
Transductive CLIP with Class-Conditional Contrastive Learning
Hikvision Research Institute（海康威视研究院）
受视觉语言预训练模型显著的zero-shot泛化能力的启发，我们试图利用CLIP模型的监督来减轻数据标记的负担。然而，这样的监督不可避免地包含标签噪声，这大大降低了分类模型的区分能力。在这项工作中，我们提出了一个新的框架，用于从头开始学习带有噪声标签的分类网络。首先，提出一种类条件对比学习机制，以减轻对伪标签的依赖，提高对噪声标签的容忍度。其次，采用集成标签作为伪标签更新策略，以稳定具有噪声标签的深度神经网络的训练。该框架通过结合两种技术，有效地降低了CLIP模型中噪声标签的影响。在多个基准数据集上的实验表明，与其他最先进的方法相比，该方法有了很大的改进。
2022-06-13 cs.AI cs.CV
Noise2Self: Blind Denoising by Self-Supervision
Chan-Zuckerberg Biohub（陈-扎克伯格生物中心）
我们提出了一个通用的框架去噪高维测量，不需要事先对信号，没有估计的噪声，没有干净的训练数据。唯一的假设是噪声在测量的不同维度上表现出统计独立性，而真实信号表现出某种相关性。对于一个广泛的功能（“$\mathcal{J}$ -不变”）类，它是可能的，估计从噪声数据单独的降噪器的性能。这使我们能够校准任何参数化去噪算法的$\mathcal{J}$不变版本，从中值滤波器的单个超参数到深度神经网络的数百万个权重。我们在自然图像和显微镜数据上证明了这一点，在那里我们利用像素之间的噪声独立性，在单细胞基因表达数据上，我们利用单个分子检测之间的独立性。这个框架概括了最近的工作训练神经网络从嘈杂的图像和交叉验证矩阵分解。
2019-06-08 cs.CV cs.LG stat.ML
DeepUSPS: Deep Robust Unsupervised Saliency Prediction With Self-Supervision
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Freiburg（弗莱堡大学）；Bosch Research, Bosch GmbH（博世研究院（博世有限公司））；Bosch Center for AI, Bosch GmbH（博世人工智能中心（博世有限公司））
基于高质量标签的图像中基于深度神经网络（DNN）的显著目标检测是昂贵的。替代的无监督方法依赖于仔细选择多个手工制作的显着性方法来生成嘈杂的伪地面真实标签。在这项工作中，我们提出了一个两阶段的机制，用于鲁棒的无监督对象显着性预测，其中第一阶段涉及从不同的手工方法生成的噪声伪标签的细化。每个手工制作的方法都被一个学习生成伪标签的深度网络所取代。这些标签通过我们提出的自我监督技术在多个迭代中逐步完善。在第二阶段中，从表示多个显著性方法的多个网络产生的细化标签被用于训练实际显著性检测网络。我们表明，这种自学习过程在不同的数据集上优于所有现有的无监督方法。结果甚至可以与完全监督的最先进方法相媲美。该代码可在www.example.com上获得。
2021-03-15 cs.CV cs.LG eess.IV
Impact of Noisy Supervision in Foundation Model Learning
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Southern University of Science and Technology（南方科技大学）；RIKEN（理化学研究所）；the University of Tokyo（东京大学）；William & Mary（威廉玛丽学院）
本文首次系统分析预训练数据噪声对基础模型的影响，发现轻微噪声虽能提升域内性能但始终损害域外泛化，并提出 NMTune 微调方法通过仿射特征空间缓解噪声影响，开创噪声模型学习研究方向。
2025-05-05 cs.AI cs.CL cs.CV
GEM-TFL: Bridging Weak and Full Supervision for Forgery Localization through EM-Guided Decomposition and Temporal Refinement
NERCMS, School of Computer Science, Wuhan University（NERCMS，计算机学院，武汉大学）
GEM-TFL通过EM引导分解和时间细化，有效弥合弱监督与全监督之间的差距，提升时间伪造定位的准确性和鲁棒性。
2026-03-05 cs.AI cs.CV
Graph convolutional networks for learning with few clean and many noisy labels
Google Research（谷歌研究院）；VRG, Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院视觉识别组）；Inria, Univ Rennes, CNRS, IRISA（法国国家信息与自动化研究所、雷恩大学、法国国家科学研究中心、布列塔尼大西洋信息与通信技术研究所）
在这项工作中，我们考虑的问题时，一些干净的标记的例子，从嘈杂的标签学习分类。干净和有噪声的数据的结构是由一个图每类和图卷积网络（GCN）被用来预测噪声的例子的类相关性。对于每个类，GCN被视为一个二元分类器，它学习使用加权的二元交叉熵损失函数来区分干净的噪声样本。然后利用GCN推断的“干净”概率作为相关性度量。在学习最终任务的分类器时，每个噪声示例都通过其相关性进行加权。我们评估我们的方法上的一个扩展版本的少样本学习问题，其中几个干净的例子，新的类补充额外的噪声数据。实验结果表明，我们的GCN为基础的清洗过程显着提高了分类精度不清洗噪声数据，以及标准的Few-Shot分类，只有很少的干净的例子被使用。
2020-08-24 cs.CV cs.LG
Bridge the Gap: From Weak to Full Supervision for Temporal Action Localization with PseudoFormer
University of Science and Technology Beijing（北京科技大学）；Georgia Institute of Technology（佐治亚理工学院）
针对弱监督时间动作定位的伪标签质量、先验利用和噪声训练问题，提出双分支框架PseudoFormer，通过RickerFusion和不确定性掩码等机制，在THUMOS14和ActivityNet1.3上达到最先进性能。
2025-04-21 cs.AI cs.CV
Distilling Effective Supervision from Severe Label Noise
Google Cloud AI（谷歌云人工智能）；Google Brain（谷歌大脑）
收集具有干净标签的大规模数据用于神经网络的监督训练实际上是具有挑战性的。虽然噪声标签通常是廉价的获取，现有的方法遭受了很多标签噪声。本文的目标是在高标签噪声制度的鲁棒训练的挑战。实现这一目标的关键见解是明智地利用一个小的可信集来估计噪声数据的样本权重和伪标签，以便将它们重新用于监督训练。我们提出了一个整体框架，以高度不受标签噪声影响的方式训练深度神经网络。我们的方法在各种类型的标签噪声上设置了最新的技术水平，并在具有真实标签噪声的大规模数据集上实现了出色的性能。例如，在具有$40\%$均匀噪声比并且每个类只有10个可信标记数据的CIFAR100上，我们的方法实现了$80.2{\pm}0.3\%$分类精度，其中出错率仅比在没有标签噪声的情况下训练的神经网络高$1.4\%$。此外，增加噪声比的$80\%$，我们的方法仍然保持了高精度的$75.5{\pm}0.2\%$，相比以前的最佳精度$48.2\%$。源代码：https://github.com/google-research/google-research/tree/master/ieg
2020-06-12 cs.CV cs.LG stat.ML
