ProSelfLC: Progressive Self Label Correction for Training Robust Deep Neural Networks
Zenith Ai UK（英国Zenith人工智能公司）；University of Oxford（牛津大学）；Queen’s University Belfast（贝尔法斯特女王大学）
为了训练鲁棒的深度神经网络（DNN），我们系统地研究了几种目标修改方法，包括输出正则化、自和非自标记校正（LC）。发现了两个关键问题：（1）自LC是最有吸引力的，因为它利用自己的知识，不需要额外的模型。然而，如何自动决定的信任度的学习者的训练去是没有很好的回答，在文献中？(2)有些方法会惩罚低熵预测，而另一些则会奖励低熵预测，这促使我们问哪一种方法更好？为了解决第一个问题，采用两个广为接受的命题-深度神经网络在拟合噪声之前学习有意义的模式[3]和最小熵正则化原理[10]-我们提出了一种名为ProSelfLC的新型端到端方法，该方法根据学习时间和熵进行设计。具体来说，给定一个数据点，如果模型已经训练了足够长的时间并且预测具有低熵（高置信度），那么我们会逐渐增加对其预测标签分布的信任度，而不是对其注释的标签分布的信任度。对于第二个问题，根据ProSelfLC，我们经验证明，最好重新定义一个有意义的低熵状态，并优化学习器。这是熵最小化的辩护。我们证明了ProSelfLC的有效性，通过广泛的实验，在清洁和嘈杂的设置。源代码可在https://github.com/XinshaoAmosWang/ProSelfLC-CVPR2021上获得。保留字：熵最小化，最大熵，置信惩罚，自知识蒸馏，标签校正，标签噪声，半监督学习，输出正则化
2021-06-02 cs.CV cs.LG stat.ML
Progressive Purification for Instance-Dependent Partial Label Learning
Southeast University（东南大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
针对实例相关部分标签学习，提出渐进式净化方法POP，通过逐步净化候选标签集并更新模型，理论上逼近贝叶斯最优分类器，实验验证其有效性。
2023-05-10 cs.LG
Progressive Learning for Stabilizing Label Selection in Speech Separation with Mapping-based Method
Rutgers University（罗格斯大学）
语音分离在时域中进行研究，因为与时频域相比，时域具有更低的延迟和更高的性能。基于掩蔽的方法主要应用于时域，而另一种常用的方法（基于映射的方法）的研究还不够充分。我们研究了在时域中使用基于映射的方法，并表明它可以在大的训练集上比基于掩蔽的方法表现得更好。我们还研究了置换不变训练（PIT）中频繁的标签切换问题，这会导致次优训练，因为PIT选择的标签在训练时期之间存在差异。我们的实验结果表明，PIT工作在浅分离模型，标签切换发生在更深的模型。我们推断，层解耦可能是频繁的标签切换的原因。因此，我们提出了一种基于渐进学习的训练策略。这种方法在不增加计算复杂性或训练语料库的情况下显著减少了不一致的标签分配。通过将这种训练策略与基于映射的方法相结合，与基线相比，我们显着提高了分离性能。
2022-03-21 cs.LG cs.SD eess.AS
Network Cooperation with Progressive Disambiguation for Partial Label Learning
Jiangsu Key Lab of Image Technology（江苏省图像技术重点实验室）
部分标签学习（PLL）的目标是当每个训练实例与一组候选标签相关联时训练分类器，其中只有一个是正确的，但在训练阶段不可访问。处理这种模糊标签信息的常见策略是消除候选标签集的歧义。然而，现有的方法忽略了实例的消歧困难，并采用单一趋势的训练机制。前者会导致模型对假阳性标签的脆弱性，后者可能会引起错误积累问题。为了弥补这两个缺点，本文提出了一种新的方法，称为“网络合作与渐进消歧”（NCPD）的锁相环。具体而言，我们设计了一个渐进的消歧策略，首先对简单的实例进行消歧操作，然后逐渐对更复杂的。因此，通过对简单实例的学习，增强了模型的消歧能力，有效地缓解了复杂实例的误报带来的负面影响。此外，通过采用人工神经网络作为骨干，我们利用网络合作机制，训练两个网络合作，让他们相互作用。由于两个网络具有不同的消歧能力，这种交互有利于两个网络减少各自的消歧错误，因此比现有的单一趋势训练过程的算法要好得多。在各种基准数据集和实际数据集上的大量实验结果表明，我们的NCPD优于其他国家的最先进的PLL方法。
2020-02-22 cs.LG
Filter and evolve: progressive pseudo label refining for semi-supervised automatic speech recognition
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）；KU Leuven（鲁汶大学）；Anhui University（安徽大学）；Northwestern University（西北大学）
使用伪标签对自监督预训练模型进行微调可以有效地提高语音识别性能。但是，低质量的伪标签会误导决策边界并降低性能。我们提出了一个简单而有效的策略来过滤低质量的伪标签，以缓解这个问题。具体来说，伪标签是在整个训练集上产生的，并通过从模型输出计算的平均概率得分进行过滤。随后，具有高概率分数的话语的最佳百分比被认为是具有可信标签的可靠训练数据。该模型迭代更新，以纠正不可靠的伪标签，以尽量减少噪声标签的影响。重复上述过程，直到不可靠的伪标记已被充分校正。LibriSpeech上的大量实验表明，这些过滤后的样本使改进后的模型能够产生更正确的预测，从而在各种实验设置下获得更好的ASR性能。
2022-10-28 cs.AI cs.LG cs.SD
ProML: Progressive Multi-label Learning
Institute of Big Data Science and Industry（大数据科学与产业研究院）；School of Artificial Intelligence（人工智能学院）；Shanxi University（山西大学）
针对多标签学习耦合范式的缺陷，本文提出ProML框架，通过引入辅助变量解耦标签拟合与预测器学习，经理论分析与12个基准数据集实验验证，该方法性能鲁棒且具竞争力。
2026-10-14 cs.LG
Progressive Feature Alignment for Unsupervised Domain Adaptation
Xiamen University（厦门大学）；Tencent AI Lab（腾讯人工智能实验室）
无监督领域自适应（UDA）将知识从标签丰富的源域转移到完全无标签的目标域。为了解决这个问题，最近的方法诉诸歧视性域转移凭借伪标签，以执行跨源和目标域的类级分布对齐。然而，这些方法容易受到错误累积的影响，因此无法保持跨域类别的一致性，因为伪标记的准确性没有明确的保证。在本文中，我们提出了渐进式特征对齐网络（PFAN），通过利用目标域中的类内变化，逐步有效地跨域对齐区分特征。具体来说，我们首先开发了一个简单到困难的转移策略（EHTS）和一个自适应原型对齐（APA）步骤来迭代和交替地训练我们的模型。此外，在观察到一个良好的领域自适应通常需要一个非饱和的源分类器，我们认为一个简单而有效的方法来延迟源分类损失的收敛速度，进一步涉及到软最大值函数的温度变量。大量的实验结果表明，所提出的PFAN超过了三个UDA数据集上的最先进的性能。
2019-05-19 cs.CV cs.LG
SP$^2$OT: Semantic-Regularized Progressive Partial Optimal Transport for Imbalanced Clustering
ShanghaiTech University（上海科技大学）；Lingang Laboratory（临港实验室）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
针对深度不平衡聚类问题，提出基于最优传输的伪标签学习框架SP$^2$OT，通过投影镜像下降算法在先验和语义约束下生成高质量伪标签，在多个数据集上验证了其优越性。
2025-06-30 cs.CV cs.LG
ProSelfLC: Progressive Self Label Correction Towards A Low-Temperature Entropy State
有一系列的标签修改方法，包括自我和非自我标签校正（LC）和输出正则化。它们被广泛用于训练强大的深度神经网络（DNN），但尚未在数学上进行彻底的分析。我们对它们进行了研究，发现了三个关键问题：（1）我们对采用Self LC更感兴趣，因为它利用了自己的知识，不需要辅助模型。然而，目前还不清楚如何自适应地信任一个学习者的训练进行。(2)一些方法惩罚，而其他方法奖励低熵（即，高置信度）预测，促使我们问哪一个更好。(3)使用标准训练设置，当存在严重噪声时，学习模型变得不那么自信。使用高熵知识的自LC将产生高熵目标。为了解决问题（1），受到一个广为人知的发现的启发，即，针对深度神经网络在拟合噪声之前学习有意义的模式的问题，提出了一种新的端到端方法ProSelfLC，该方法根据学习时间和预测熵进行设计。具体地说，对于任何数据点，如果网络已经训练了相对长的时间并且预测是低熵的，那么我们渐进地和自适应地信任其预测的概率分布，而不是其注释的概率分布。对于问题（2），ProSelfLC的有效性捍卫了熵最小化。通过ProSelfLC，我们经验性地证明了重新定义语义低熵状态并优化学习器会更有效。为了解决问题（3），我们在利用它来校正标签之前使用低温来降低自我知识的熵，以便修改后的标签重新定义低熵目标概率分布。我们证明了ProSelfLC的有效性，通过广泛的实验在干净和嘈杂的设置，图像和蛋白质数据集。
2022-09-06 cs.AI cs.CV cs.LG
NoiseRank: Unsupervised Label Noise Reduction with Dependence Models
University of Southern California（南加州大学）；Facebook AI（Facebook人工智能）
标签噪声在从噪声通道获取的数据集中越来越普遍。现有的检测和去除标签噪声的方法通常依赖于某种形式的监督，这是不可扩展的和容易出错的。在本文中，我们提出了NoiseRank，使用马尔可夫随机场（MRF）的无监督标签降噪。我们构建了一个依赖模型来估计给定数据集的实例被错误标记的后验概率，并根据估计的概率对实例进行排名。我们的方法1）不需要来自地面真实标签的监督，或者标签或噪声分布的先验。2)它是可解释的设计，使标签噪声去除的透明度。3)它对分类器架构/优化框架和内容模态是不可知的。这些优点使得在真实噪声设置中具有广泛的适用性，不像受一个或多个条件约束的现有工作。NoiseRank改进了Food 101-N（~20%噪声）的最新分类，并对高噪声Clothing-1 M（~40%噪声）有效。
2020-03-15 cs.CV cs.LG stat.ML
Progressive Supervision via Label Decomposition: An Long-Term and Large-Scale Wireless Traffic Forecasting Method
Shandong University（山东大学）
针对长期大规模无线流量预测的非平稳性与节点规模挑战，提出基于标签分解的渐进式监督方法PSLD，结合随机子图采样实现高效训练，在三个数据集上性能优于现有最优方法，并开源WTFlib基准库。
2025-01-09 cs.AI cs.LG
OCL: Ordinal Contrastive Learning for Imputating Features with Progressive Labels
Pohang University of Science and Technology（浦项科技大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对阿尔茨海默病多模态成像数据缺失问题，提出包含序数对比损失的编码器-解码器特征插补方法，结合域对抗训练增强跨模态对齐，在ADNI数据集上取得了更优的统计与分类效果。
2025-03-03 cs.CV cs.LG eess.IV
Distilling Effective Supervision from Severe Label Noise
Google Cloud AI（谷歌云人工智能）；Google Brain（谷歌大脑）
收集具有干净标签的大规模数据用于神经网络的监督训练实际上是具有挑战性的。虽然噪声标签通常是廉价的获取，现有的方法遭受了很多标签噪声。本文的目标是在高标签噪声制度的鲁棒训练的挑战。实现这一目标的关键见解是明智地利用一个小的可信集来估计噪声数据的样本权重和伪标签，以便将它们重新用于监督训练。我们提出了一个整体框架，以高度不受标签噪声影响的方式训练深度神经网络。我们的方法在各种类型的标签噪声上设置了最新的技术水平，并在具有真实标签噪声的大规模数据集上实现了出色的性能。例如，在具有$40\%$均匀噪声比并且每个类只有10个可信标记数据的CIFAR100上，我们的方法实现了$80.2{\pm}0.3\%$分类精度，其中出错率仅比在没有标签噪声的情况下训练的神经网络高$1.4\%$。此外，增加噪声比的$80\%$，我们的方法仍然保持了高精度的$75.5{\pm}0.2\%$，相比以前的最佳精度$48.2\%$。源代码：https://github.com/google-research/google-research/tree/master/ieg
2020-06-12 cs.CV cs.LG stat.ML
Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）；Cornell University（康奈尔大学）
在噪声数据上执行受控实验对于理解跨噪声水平的深度学习至关重要。由于缺乏合适的数据集，以前的研究只在受控的合成标签噪声上研究了深度学习，而现实世界的标签噪声从未在受控环境中进行过研究。本文有三个贡献。首先，我们建立了第一个来自网络的受控真实世界标签噪声的基准。这个新的基准测试使我们能够第一次在受控设置中研究Web标签噪声。第二个贡献是一个简单但有效的方法来克服合成和真正的噪声标签。我们表明，我们的方法在我们的数据集以及两个公共基准测试（CIFAR和WebVision）上取得了最佳结果。第三，我们进行了迄今为止最大规模的研究，以了解在不同噪声水平、噪声类型、网络架构和训练设置的噪声标签上训练的深度神经网络。数据和代码发布于以下链接：http://www.lujiang.info/cnlw.html
2020-08-27 cs.CV cs.LG stat.ML
AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks
EPFL（洛桑联邦理工学院）
神经网络的大容量使它们能够学习复杂的函数。然而，为了避免过拟合，网络需要大量的训练数据，这可能是昂贵和耗时的收集。一个常见的实用方法来衰减过拟合是使用网络正则化技术。我们提出了一种新的正则化方法，在训练过程中逐步惩罚激活的幅度。由给定层中的所有神经元产生的组合激活信号形成该特征空间中的输入图像的表示。我们建议在分类层之前的最后一个特征层中正则化此表示。我们的方法的推广效果进行了分析与标签随机化测试和累积消融。在标准基准数据集上的实验结果表明，与常用的正则化器相比，我们的方法具有优势。
2020-03-07 cs.CV cs.LG stat.ML
Robust Learning Under Label Noise With Iterative Noise-Filtering
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们考虑在标签噪声存在下训练模型的问题。目前的方法识别具有潜在不正确标签的样本，并通过为它们分配较低的权重或将它们从训练集中完全删除来减少它们对学习过程的影响。然而，在第一种情况下，模型仍然从有噪声的标签中学习;在后一种方法中，好的训练数据可能会丢失。在本文中，我们提出了一种迭代的半监督机制，用于鲁棒学习，该机制排除了噪声标签，但仍然能够从相应的样本中学习。为此，我们添加了一个无监督的损失项，它也可以作为针对剩余标签噪声的正则化器。我们评估我们的方法在不同的噪声比的常见分类任务。我们强大的模型远远优于最先进的方法。特别是对于非常大的噪声比，我们实现了高达20%的绝对改善相比，以前的最佳模型。
2019-06-01 cs.CV cs.LG stat.ML
Learning from Noisy Labels with Noise Modeling Network
Raytheon BBN Technologies（雷神BBN技术公司）；Apple（苹果公司）
多标签图像分类近年来引起了人们的极大兴趣，并且这种系统的性能经常受到训练数据中不那么罕见的不正确或缺失标签的影响。在本文中，我们扩展了训练分类器的最新技术，以共同处理这两种形式的错误数据。我们通过使用新的噪声建模网络（NMN）对多标签图像中的噪声和缺失标签进行建模来实现这一点，该网络遵循我们的卷积神经网络（CNN），与之集成，形成一个端到端的深度学习系统，可以联合学习噪声分布和CNN参数。NMN直接从噪声数据中学习噪声模式的分布，而不需要任何干净的训练数据。NMN可以对仅取决于真实标签或还取决于图像特征的标签噪声进行建模。我们表明，集成的NMN/CNN学习系统在MSR-COCO数据集和MSR-VTT数据集上，对于不同水平的标签噪声，始终提高了分类性能。我们还表明，噪声性能的改善时，使用多个实例学习方法。
2020-05-01 cs.CV cs.LG stat.ML
Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image Synthesis
Soongsil University（崇实大学）；KAIST（韩国科学技术院）；Kakao Enterprise（Kakao企业）
近来，扩散模型通过逐渐去除噪声和放大信号在图像合成中显示出显著的结果。虽然简单的生成过程令人惊讶地工作得很好，但这是生成图像数据的最佳方式吗？例如，尽管人类感知对图像的低频更敏感，但扩散模型本身并不考虑每个频率分量的任何相对重要性。因此，为了将图像数据的归纳偏差，我们提出了一种新的生成过程，以粗到细的方式合成图像。首先，我们推广了标准的扩散模型，使扩散在旋转坐标系中具有不同的速度为每个组件的矢量。我们进一步提出了模糊扩散作为一种特殊情况，其中图像的每个频率分量以不同的速度扩散。具体地说，所提出的模糊扩散包括一个向前的过程，模糊的图像，并逐渐增加噪声，在此之后，相应的反向过程去模糊的图像，并逐步消除噪声。在LSUN卧室和教堂数据集上的实验表明，该模型在FID中的性能优于以前的方法。代码可在https://github.com/sangyun884/blur-diffusion上获得。
2022-11-21 cs.CV cs.LG
ProCNS: Progressive Prototype Calibration and Noise Suppression for Weakly-Supervised Medical Image Segmentation
Southern University of Science and Technology（南方科技大学）；University of Hong Kong（香港大学）；Jiaxing Research Institute, Southern University of Science and Technology（南方科技大学嘉兴研究院）
提出弱监督医学图像分割方法ProCNS，通过PRSA损失最大化空间与语义亲和性并提供可靠指导，结合ANPM模块掩蔽噪声区域并生成软伪标签，在六项任务上显著优于现有方法。
2024-12-24 cs.CV cs.LG
Progressive Autoregressive Video Diffusion Models
Stony Brook University（石溪大学）；Adobe Research（Adobe研究）
针对现有自回归长视频生成存在场景突变、误差累积等问题，研究提出渐进噪声调度的自回归视频扩散模型，实现了质量接近前沿水平的60秒文本条件长视频生成。
2025-05-18 cs.CV cs.LG
Does label smoothing mitigate label noise?
Google Research（谷歌研究院）
标签平滑通常用于训练深度学习模型，其中独热训练标签与统一标签向量混合。根据经验，平滑已被证明可以提高预测性能和模型校准。在本文中，我们研究标签平滑是否也是有效的一种手段，应对标签噪声。虽然标签平滑显然放大了这个问题-相当于注入对称噪声的标签-我们展示了它如何涉及到一个一般家庭的损失校正技术的标签噪声文献。建立在这个连接，我们表明，标签平滑是有竞争力的标签噪声下的损失校正。此外，我们表明，当从噪声数据中提取模型时，教师的标签平滑是有益的;这与最近的无噪声问题研究结果相反，并进一步阐明了标签平滑有益的设置。
2020-03-05 cs.LG stat.ML
Progressive Sub-Graph Clustering Algorithm for Semi-Supervised Domain Adaptation Speaker Verification
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出一种基于多模型投票和双高斯评估的渐进式子图聚类算法（PGMVG），通过构建多模型k近邻图和投票机制生成高置信度边，迭代增加k并评估合并子类，有效解决半监督领域自适应说话人验证问题。
2023-05-22 cs.LG cs.SD eess.AS
Progressive Generalization Augmentation with Deeply Coupled RND-PPO and Domain-Prioritized Noise Injection for Robust Crop Management Reinforcement Learning
Chongho Bridge Group Limited（中宏桥梁集团有限公司）
本文提出了一种渐进泛化增强方法，通过深度耦合RND-PPO和领域优先噪声注入，解决农业强化学习中早期学习效率与后期泛化能力的平衡、内在和外在奖励的简单加法结合以及统一噪声注入策略的问题，从而提高作物管理的鲁棒性。
2026-05-17 cs.AI cs.LG
Multi-Level Generative Models for Partial Label Learning with Non-random Label Noise
Carleton University（卡尔顿大学）；Northwestern Polytechnical University（西北工业大学）
部分标签（PL）学习解决了每个训练实例与一组候选标签相关联的问题，这些候选标签包括真实标签和不相关的噪声标签。在本文中，我们提出了一种新的多层次生成模型部分标签学习（MGPLL），它解决了这个问题，学习标签级对抗生成器和特征级对抗生成器之间的双向映射框架下的标签向量和数据样本。具体而言，MGPLL使用条件噪声标签生成网络来建模非随机噪声标签并执行标签去噪，并使用多类预测器将训练实例映射到去噪标签向量，而条件数据特征生成器用于形成从去噪标签向量到数据样本的逆映射。噪声标签生成器和数据特征生成器都以对抗的方式学习，以分别匹配观察到的候选标签和数据特征。在合成的和真实世界的部分标签数据集上进行了广泛的实验。所提出的方法展示了部分标签学习的最新性能。
2020-05-11 cs.LG stat.ML
Boosting in the presence of label noise
University of Birmingham（伯明翰大学）
已知提升对标签噪声敏感。我们研究了两种方法来提高AdaBoost对标签错误的鲁棒性。一种是采用标签噪声鲁棒分类器作为基本学习器，而另一种是修改AdaBoost算法以使其更鲁棒。经验评估表明，一个委员会的强大的分类器，虽然收敛速度比非标签噪声感知AdaBoost，仍然容易受到标签噪声。然而，将其与我们在这里提出的新的鲁棒Boosting算法配对，会导致在错误标记下的更有弹性的算法。
2013-09-26 cs.LG stat.ML
Can Less be More? When Increasing-to-Balancing Label Noise Rates Considered Beneficial
University of California, Santa Cruz（加州大学圣克鲁兹分校）
在本文中，我们回答了插入标签噪声（信息量较少的标签）何时可以返回更准确和公平的模型。我们主要受到三个观察结果的启发：1）与降低标签噪声率相比，增加噪声率更容易实现; 2）增加某类实例的标签噪声以平衡噪声率（增加到平衡）导致更容易的学习问题; 3）增加到平衡提高了对标签偏见的公平性保证。在本文中，我们首先量化的权衡引入增加一定组的实例的标签噪声率w.r.t.标签信息量的损失和学习难度的降低。我们分析表明，当这样的增加是有益的，无论是提高泛化能力或公平性保证。然后，我们提出了一种方法来插入标签噪声正确的学习任务与嘈杂的标签，无论是没有或有公平性约束。我们面临的主要技术挑战是由于我们不知道哪些数据实例受到更高噪声的影响，并且我们没有地面真值标签来验证任何可能的假设。我们提出了一种检测方法，该方法可以在不使用地面真实标签的情况下通知我们哪组标签可能会遭受更高的噪声。我们正式建立所提出的解决方案的有效性，并证明了它与广泛的实验。
2021-11-08 cs.LG stat.ML
Robust Deep Ordinal Regression Under Label Noise
IIIT Hyderabad（印度理工学院海得拉巴分校）
真实世界的数据往往容易受到标签噪声的影响，这可能会限制现有的有序回归算法的有效性。现有的有序回归工作不考虑标签噪声。我们提出了一个理论上接地的方法，类条件标签噪声在有序回归问题。我们提出了一个深度学习实现，用于顺序回归的两个常用损失函数，它既对标签噪声具有鲁棒性，又对良好的排名规则具有排名一致性。我们验证了这些属性的算法经验和鲁棒性标签噪声的真实数据和排名的一致性。据我们所知，这是稳健有序回归模型的第一种方法。
2020-01-27 cs.LG stat.ML
Part-dependent Label Noise: Towards Instance-dependent Label Noise
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd（脑启科技有限公司）；RIKEN（理化学研究所）；University of Tokyo（东京大学）
使用\textit{instance-dependent}标签噪声进行学习具有挑战性，因为很难对这种真实世界的噪声进行建模。请注意，有心理和生理证据表明，我们人类通过将实例分解为部分来感知它们。因此，注释器更有可能基于部分而不是整个实例来注释实例，其中从部分到类的错误映射可能导致依赖于实例的标签噪声。受这种人类认知的启发，本文利用\textit{part-dependent}标签噪声来近似实例相关的标签噪声。具体地说，由于实例可以近似地由部分的组合重建，我们近似的实例依赖的\textit{transition matrix}的实例的部分的转移矩阵的组合。可以通过利用锚点（即，几乎肯定属于特定类的数据点）。对合成和真实世界数据集的实证评估表明，我们的方法优于从实例相关标签噪声中学习的最先进方法。
2020-12-03 cs.LG stat.ML
Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning
针对标签噪声学习中重构方法的隐式耦合问题，提出TRACE双源可靠性评估框架，分别评估观测标签与伪目标，提升了带噪声基准上的重构基线性能与伪监督可靠性。
2026-08-05 cs.CV cs.LG
TrustNet: Learning from Trusted Data Against (A)symmetric Label Noise
TU Delft（代尔夫特理工大学）；ABB Future Labs（ABB未来实验室）
对标签噪声的鲁棒性是在大规模数据集上训练的弱监督分类器的关键属性。对标签噪声的鲁棒性是在大规模数据集上训练的弱监督分类器的关键属性。在本文中，我们首先推导出解析界的任何给定的噪声模式。基于这些见解，我们设计了TrustNet，它首先从一小部分可信数据中反向学习噪声损坏的模式，无论是对称的还是非对称的。然后，通过鲁棒的损失函数训练TrustNet，该函数将给定的标签与从学习的噪声模式推断的标签进行加权。权重基于训练时期的模型不确定性进行调整。我们对CIFAR-10和CIFAR-100的合成标签噪声以及具有标签噪声的真实世界数据（即，服装1 M.我们与最先进的方法进行比较，证明了TrustNet在各种噪声模式下的强大鲁棒性。
2020-07-13 cs.LG stat.ML
Robust Loss Functions under Label Noise for Deep Neural Networks
Microsoft（微软）；Indian Institute of Science（印度科学理工学院）
在分类器学习的许多应用中，训练数据都会受到标签噪声的影响。深度网络是使用大量训练数据学习的，其中噪声标签的问题特别相关。目前提出的用于在标签噪声下学习深度网络的技术集中在修改网络架构和从噪声标签中估计真实标签的算法上。另一种方法是寻找固有噪声容限的损失函数。对于二进制分类，存在对标签噪声鲁棒的损失函数的理论结果。在本文中，我们提供了一些充分条件的损失函数，使风险最小化下的损失函数将固有的宽容标签噪声的多类分类问题。这些结果推广了现有的结果对二进制分类的噪声容忍损失函数。我们研究了深度网络中一些广泛使用的损失函数，并表明基于误差平均绝对值的损失函数对标签噪声具有内在的鲁棒性。因此，即使在标签噪声下，标准的反向传播也足以学习真正的分类器。通过实验，我们说明了鲁棒性的风险最小化与这样的损失函数的学习神经网络。
2017-12-27 cs.LG stat.ML
Harmless label noise and informative soft-labels in supervised classification
University of Queensland（昆士兰大学）
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时，提供的标签可能不等于地面真实标签，并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释，则相同的训练示例可以由不同的专家给予不同的类分配，这指示标签噪声。在基于模型的分类框架中，一个简单但关键的观察结果是，当使用类别成员的后验概率对手动标签进行采样时，噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型，用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是，当标签噪声和分类难度正相关时，逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是，当分类难度是标签错误的唯一来源时，与单组地面真实标签相比，多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
Combating Label Noise in Deep Learning Using Abstention
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）
我们介绍了一种新的方法来对抗标签噪声时，训练深层神经网络分类。我们提出了一个损失函数，允许在训练过程中避免混淆，从而允许DNN放弃混淆样本，同时继续学习和提高非弃权样本的分类性能。我们展示了如何在存在不同类型的标签噪声的情况下使用这种深度弃权分类器（DAC）进行鲁棒学习。在结构化或系统性标签噪声的情况下-其中嘈杂的训练标签或令人困惑的示例与数据的底层特征相关-使用排除训练可以对与不可靠标签相关的特征进行表示学习。在非结构化（任意）标签噪声的情况下，训练期间的消除使DAC能够通过识别可能具有标签噪声的样本而用作有效的数据清理器。我们提供了关于损失函数行为的分析结果，这些损失函数行为能够根据训练过程中的学习进度动态适应收敛率。我们展示了深度弃权分类器在不同类型的标签噪声下用于各种图像分类任务的实用性;在任意标签噪声的情况下，我们在多个图像基准上显示出比先前公布的结果有显着改进。源代码可在https://github.com/thulas/dac-label-noise上获得
2019-08-01 cs.LG stat.ML
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
A law of adversarial risk, interpolation, and label noise
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
在监督学习中，已经证明数据中的标签噪声可以插值，而不会影响测试准确性。我们表明，插值标签噪声诱导对抗脆弱性，并证明了第一定理显示标签噪声和任何数据分布的对抗风险之间的关系。如果我们不对学习算法的归纳偏差做任何假设，我们的结果几乎是紧的。然后，我们研究这个问题的不同组成部分如何影响这个结果，包括分布的属性。我们还讨论了非均匀的标签噪声分布，并证明了一个新的定理，表明均匀的标签噪声诱导几乎一样大的敌对风险的最坏的中毒具有相同的噪声率。然后，我们提供了理论和经验证据，均匀的标签噪声比典型的现实世界的标签噪声更有害。最后，我们将展示如何感应偏置放大标签噪声的影响，并认为需要在这个方向上的未来工作。
2023-03-13 cs.CR cs.LG stat.ML
Instance-dependent Label-noise Learning under a Structural Causal Model
University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；Hong Kong Baptist University（香港浸会大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Carnegie Mellon University（卡内基梅隆大学）
标签噪声会降低深度学习算法的性能，因为深度神经网络很容易过拟合标签错误。让X和Y分别表示实例和干净标签。当Y是X的原因时，根据该原因已经构建了许多数据集，例如，SVHN和CIFAR，P（X）和P（Y）的分布|（X）纠缠。这意味着无监督的实例有助于学习分类器，从而减少标签噪声的副作用。然而，如何利用因果信息来处理标签噪声问题仍然是难以捉摸的。在本文中，通过利用结构因果模型，我们提出了一种新的生成方法的实例依赖的标签噪声学习。特别是，我们表明，适当建模的实例将有助于识别的标签噪声转移矩阵，从而导致一个更好的分类。从经验上讲，我们的方法在合成和真实世界的标签噪声数据集上都优于所有最先进的方法。
2022-06-03 cs.LG stat.ML
Learning with Bounded Instance- and Label-dependent Label Noise
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；University of Melbourne（墨尔本大学）
实例和标签相关的标签噪声（ILN）广泛存在于现实世界的数据集，但很少被研究。在本文中，我们专注于有界的实例和标签相关的标签噪声（BILN），一个特殊的情况下，ILN的标签噪声率-的概率，真正的标签的例子翻转到损坏的-有上限小于$1$。具体来说，我们介绍的概念，蒸馏的例子，即例子的标签是相同的标签分配给他们的贝叶斯最优分类器，并证明在一定条件下，分类器学习蒸馏的例子将收敛到贝叶斯最优分类器。受提取的例子学习的想法的启发，我们提出了一个学习算法的理论保证其鲁棒性BILN。最后，在合成数据集和真实数据集上的实验结果表明了该算法在BILN学习中的有效性。
2020-12-11 cs.LG stat.ML
Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement
IIT Bombay（印度理工学院孟买分校）
针对实例相关标签噪声，本文提出结合 SimCLR 自监督预训练与迭代式多阶段伪标签精炼的混合框架，并在含噪 CIFAR 数据集上显著提升准确率与鲁棒性。
2024-12-06 cs.CV cs.LG
Deep Learning is Provably Robust to Symmetric Label Noise
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
深度神经网络（DNN）能够完美地拟合训练数据，包括记忆噪声数据。人们普遍认为，死记硬背不利于概括。因此，许多最近的作品提出缓解策略，以避免嘈杂的数据或正确的记忆。在这项工作中，我们退一步问一个问题：深度学习是否可以在没有任何缓解的情况下对大量标签噪声保持鲁棒性？我们为对称标签噪声的情况提供了肯定的答案：我们发现某些DNN，包括欠参数化和过参数化模型，可以容忍高达信息论阈值的大规模对称标签噪声。通过诉诸经典统计理论和DNN的普遍一致性，我们证明了对于多类分类，如果标签噪声概率小于$\frac{K-1}{K}$，其中$K \ge 2$是类的数量，则在对称标签噪声下训练的$L_1$一致DNN分类器可以渐近地实现贝叶斯最优性。我们的研究结果表明，对称标签噪声，没有缓解是必要的$L_1$ -相合估计量。我们推测，对于一般的标签噪声，利用噪声数据的缓解策略将优于那些忽略噪声数据的策略。
2022-10-26 cs.LG stat.ML
Confidence Scores Make Instance-dependent Label-noise Learning Possible
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Hong Kong Baptist University（香港浸会大学）；University of Sydney（悉尼大学）；University of Tokyo（东京大学）
在带噪声标签的学习中，对于每个实例，其标签可以随机地沿着称为噪声模型的过渡分布移动到其他类。研究得很好的噪声模型都是与实例无关的，也就是说，转换只取决于原始标签，而不是实例本身，因此它们在野外不太实用。幸运的是，已经研究了基于实例相关噪声的方法，但大多数方法都依赖于对噪声模型的强假设。为了缓解这个问题，我们引入了置信度评分的实例相关噪声（CSIDN），其中每个实例标签对都配备了置信度评分。我们发现，在置信度的帮助下，每个实例的转移分布可以近似估计。类似于强大的前向校正实例无关的噪声，我们提出了一种新的CSIDN的实例级前向校正。我们证明了我们的方法的实用性和有效性，通过多个实验下的合成标签噪声和真实世界的未知噪声。
2021-02-22 cs.LG stat.ML
Learning under Temporal Label Noise
University of Toronto（多伦多大学）；MIT（麻省理工学院）；Broad Institute（布罗德研究所）；UCSD（加利福尼亚大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）
本文形式化时间标签噪声问题，证明建模其时变特性的必要性，并提出直接从数据估计噪声函数以训练噪声容忍分类器的方法，在真实数据集上达到最先进性能。
2025-03-16 cs.AI cs.LG stat.ML
Cross-Domain Diffusion with Progressive Alignment for Efficient Adaptive Retrieval
State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，北京大学计算机学院）；Department of Computer Science, University of California, Los Angeles（计算机科学系，加州大学洛杉矶分校）；Paul G. Allen School of Computer Science & Engineering, University of Washington（保罗·G·艾伦计算机科学与工程学院，华盛顿大学）；JD Explore Academy（京东探索研究院）；College of Computing & Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
针对无监督高效域自适应检索中目标域噪声干扰、直接高层特征对齐性能不佳的问题，提出COUPLE方法，从图扩散视角实现抗噪迁移与渐进对齐，有效提升域自适应哈希检索性能。
2025-05-20 cs.LG
Constrained Instance and Class Reweighting for Robust Learning under Label Noise
Google Research（谷歌研究院）
深度神经网络在监督学习中表现出令人印象深刻的性能，这是由于它们能够很好地适应所提供的训练数据。然而，它们的性能在很大程度上取决于训练数据的质量，并且在存在噪声的情况下经常会降低。我们提出了一个原则性的方法来处理标签噪声，目的是为单个实例和类标签分配重要性权重。我们的方法通过制定一类约束优化问题，这些重要性权重产生简单的封闭形式更新。所提出的优化问题是解决每个小批量，这消除了存储和更新整个数据集的权重的需要。我们的优化框架还提供了一个理论的角度对现有的标签平滑算法，以解决标签噪声（如标签自举）。我们在几个基准数据集上评估了我们的方法，并在存在标签噪声的情况下观察到相当大的性能增益。
2021-11-09 cs.LG stat.ML
Do We Really Need Gold Samples for Sample Weighting Under Label Noise?
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
最近，由于深度神经网络在常见损失函数下对标签噪声的敏感性，使用标签噪声的学习获得了显著的关注。然而，理论上对标签噪声具有鲁棒性的损失通常会使训练变得困难。因此，最近提出的几种方法，如元权重网络（MW-Net），使用少量无偏的干净样本来学习加权函数，该加权函数在元学习框架下对可能具有损坏标签的样本进行降权。然而，获得这样一组干净的样品在实践中并不总是可行的。在本文中，我们分析表明，人们可以很容易地训练MW-Net没有访问干净的样本，简单地使用一个损失函数，是强大的标签噪声，如平均绝对误差，作为Meta目标训练加权网络。我们的实验表明，我们的方法击败了所有现有的不使用干净样本的方法，并且在各种噪声类型和噪声率的基准数据集上与使用黄金样本的方法表现相当。
2021-04-19 cs.CV cs.LG
Deep Image Retrieval is not Robust to Label Noise
Tinkoff（Tinkoff（俄罗斯丁科夫银行/廷科夫公司，常见译名为廷科夫集团））
大规模数据集对于深度学习在图像检索中的成功至关重要。然而，人工评估错误和半监督注释技术可能会导致标签噪声，即使在流行的数据集。由于以前的工作主要研究图像分类任务中的注释质量，因此仍然不清楚标签噪声如何影响图像检索的深度学习方法。在这项工作中，我们表明，图像检索方法是不太强大的标签噪声比图像分类的。此外，我们首次研究了图像检索任务特定的不同类型的标签噪声，并研究了它们对模型性能的影响。
2022-05-23 cs.CV cs.IR cs.LG
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Label Noise Cleaning for Supervised Classification via Bernoulli Random Sampling
本文提出一种基于伯努利随机采样的标签噪声清洗方法，通过建立分类误差与标签噪声水平的线性模型，分离干净与噪声样本，无需先验标签信息。
2026-03-15 cs.LG stat.ME stat.ML
An Effective Label Noise Model for DNN Text Classification
Wayne State University（韦恩州立大学）；Interactions Digital Roots
由于大型的人工标注数据集存在标记错误，因此能够在存在标签噪声的情况下训练深度神经网络至关重要。虽然带有标签噪声的图像分类模型的训练受到了广泛的关注，但训练文本分类模型却没有受到关注。在本文中，我们提出了一种训练深度网络的方法，该方法对标签噪声具有鲁棒性。这种方法引入了一个非线性处理层（噪声模型），它将标签噪声的统计数据建模到卷积神经网络（CNN）架构中。噪声模型和CNN权重是从有噪声的训练数据中联合学习的，这防止了模型过拟合到错误的标签。通过在几个文本分类数据集上的广泛实验，我们表明这种方法使CNN能够学习更好的句子表示，即使对极端的标签噪声也是鲁棒的。我们发现，适当的初始化和正则化的噪声模型是至关重要的。此外，通过对比的结果集中在大批量大小减轻标签噪声的图像分类，我们发现，改变批量大小并没有太大的影响分类性能。
2019-03-18 cs.CL cs.IR cs.LG
Analysing the Noise Model Error for Realistic Noisy Label Data
Saarland University（萨尔兰大学）
远程和弱监督允许快速且廉价地获得大量标记的训练数据，但是这些自动注释往往包含大量错误。克服这些噪声标签的负面影响的一种流行技术是噪声建模，其中对潜在的噪声过程进行建模。在这项工作中，我们研究的质量，这些估计的噪声模型从理论上推导出的噪声模型的预期误差。除了评估常用合成噪声的理论结果外，我们还发布了NoisyNER，这是一种来自NLP领域的新的噪声标签数据集，通过现实的远程监督技术获得。它提供了七组具有不同噪声模式的标签，以评估相同实例上的不同噪声级别。并行的、干净的标签使得研究可以利用少量黄金标准数据的场景成为可能。我们的理论结果和相应的实验给出了洞察影响噪声模型估计的因素，如噪声分布和采样技术。
2021-03-01 cs.CL cs.LG stat.ML
Using Trusted Data to Train Deep Networks on Labels Corrupted by Severe Noise
University of California, Berkeley（加州大学伯克利分校）；University of Chicago（芝加哥大学）；Foundational Research Institute（基础研究所）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
用于深度学习的大规模数据集的重要性日益增加，使得对标签噪声的鲁棒性成为分类器的关键属性。标签噪声的来源包括自动标签、非专家标签和数据投毒对手造成的标签损坏。许多以前的作品假设没有标签的来源可以信任。我们放松这个假设，并假设一个小的子集的训练数据是可信的。这使得标签损坏鲁棒性性能大幅提升。此外，可以通过使用一组具有干净标签的可信数据来对抗特别严重的标签噪声。我们通过提出一种损失校正技术来利用可信数据，该技术以数据高效的方式利用可信示例来减轻标签噪声对深度神经网络分类器的影响。在视觉和自然语言处理任务中，我们在几种强度下对各种标签噪声进行了实验，并表明我们的方法显着优于现有方法。
2019-01-28 cs.CL cs.CV cs.LG
Feature Noise Boosts DNN Generalization under Label Noise
本文提出并理论证明直接向训练数据特征添加噪声可提升DNN在标签噪声下的泛化能力，通过约束PAC-Bayes泛化界限实现，实验验证其显著增强现有方法性能。
2023-08-03 cs.LG
Robustness to Label Noise Depends on the Shape of the Noise Distribution in Feature Space
Los Alamos National Lab（洛斯阿拉莫斯国家实验室）
机器学习分类器已经在经验和理论上被证明在某些条件下对标签噪声具有鲁棒性-特别是典型的假设是标签噪声与给定类别标签的特征无关。我们提供了一个理论框架，通过将标签噪声建模为特征空间上的分布来概括这种典型的假设。我们发现，规模和形状的噪声分布的影响后验似然和形状的噪声分布有一个更强的影响分类性能，如果噪声集中在特征空间的决策边界可以移动。对于均匀标签噪声的特殊情况下（独立的功能和类标签），我们表明，贝叶斯最佳分类器的$c$类是强大的标签噪声，直到噪声样本的比例超过$\frac{c-1}{c}$（例如90%的10类），我们称之为临界点。然而，对于类相关标签噪声的特殊情况（与给定类标签的特征无关），临界点可以低至50%。最重要的是，我们表明，当噪声分布的目标决策边界（标签噪声直接依赖于特征空间），分类鲁棒性可以下降，即使在一个小规模的噪声。即使在评估最近的标签噪声缓解方法时，我们也会看到标签噪声依赖于特征时的准确性降低。这些发现解释了为什么如果噪声分布在特征空间中是均匀的，机器学习通常可以很好地处理标签噪声;但它也指出了当标签噪声集中在决策边界可以移动的特征空间区域时，克服标签噪声的困难。
2022-06-02 cs.AI cs.LG
Tackling Instance-Dependent Label Noise with Dynamic Distribution Calibration
Tsinghua University（清华大学）；Peng Cheng National Laboratory（鹏城国家实验室）
实例相关的标签噪声是现实的，但相当具有挑战性，其中标签损坏过程直接依赖于实例。它会导致训练数据和测试数据的分布之间出现严重的分布偏移，从而影响训练模型的泛化能力。以前的作品花了很大的努力来解决这个问题。不幸的是，这些作品总是高度依赖于强有力的假设，或者在没有理论保证的情况下保持启发性。本文针对实例相关标签噪声学习中的分布偏移问题，采用动态分布校正策略。具体来说，我们假设，在训练数据被标签噪声破坏之前，每个类在特征水平上符合多元高斯分布。标签噪声产生离群值以移动高斯分布。在训练过程中，我们分别提出了基于多元高斯分布均值和协方差的两种方法来校正移位分布。基于均值的方法以递归降维的方式工作，用于鲁棒均值估计，这在理论上保证了针对标签噪声训练高质量的模型。基于协方差的方法以分布扰动的方式工作，实验验证了这一点，以提高模型的鲁棒性。我们证明了我们的方法在具有合成标签噪声和真实世界未知噪声的数据集上的实用性和有效性。
2022-10-11 cs.AI cs.CV cs.LG
Analyze the Robustness of Classifiers under Label Noise
本研究针对监督学习中标签噪声损害模型性能的问题，结合对抗机器学习与重要性重加权技术，以CNN为基础模型调整单样本参数，提升分类器在含噪真实场景中的鲁棒性。
2023-12-12 cs.AI cs.LG stat.ML
