A Self-paced Regularization Framework for Partial-Label Learning
Beijing Jiaotong University(北京交通大学)
部分标签学习(PLL)旨在解决每个训练实例与一组候选标签相关联的问题,其中一个是正确的标签。大多数PLL算法试图通过简单地平等对待每个候选标签或迭代地识别真实标签来消除候选标签集的歧义。然而,现有的算法通常平等地对待所有的标签和实例,并且在学习阶段没有考虑标签和实例的复杂性。受自步调学习策略在机器学习领域的成功应用启发,将自步调机制融入部分标签学习框架,提出了一种新的自步调部分标签学习(SP-PLL)算法,该算法通过在每次学习迭代中对训练样本及其候选标签的优先级进行排序来控制学习过程,从而缓解学习过程中的问题.大量的实验和与其他基线方法的比较证明了该方法的有效性和鲁棒性。
2018-05-08 cs.AI cs.LG stat.ML
SelectMix: Enhancing Label Noise Robustness through Targeted Sample Mixing
针对深度网络易受噪声标签影响的问题,提出置信度引导的混合框架SelectMix,通过K折交叉验证识别不确定样本并将其与高置信同类样本混合及使用准确软标签,显著提升了噪声标签学习的鲁棒性。
2025-09-14 cs.CV cs.LG stat.ML
Robustness of Unsupervised Representation Learning without Labels
University of Oxford(牛津大学)
无监督表示学习利用大型未标记数据集,并与监督学习竞争。但非鲁棒编码器可能会影响下游任务的鲁棒性。最近,鲁棒表示编码器已成为兴趣。尽管如此,所有先前的工作使用下游分类任务来评估鲁棒性。相反,我们提出了一个家庭的无监督的鲁棒性措施,这是模型和任务不可知和标签。我们基准国家的最先进的代表性编码器,并表明,没有占主导地位的休息。我们提供了FGSM和PGD攻击的无监督扩展。当用于对抗训练时,它们可以改善大多数无监督的鲁棒性措施,包括认证的鲁棒性。我们对线性探针验证了我们的结果,并表明,对于MOCOv2,对抗性训练的结果是认证准确率的3倍,模拟攻击成功率的2倍下降,以及认证鲁棒性的显著提高。
2022-10-08 cs.AI cs.LG
Robustness and Reliability When Training With Noisy Labels
Linköping University(林雪平大学)
为监督学习标记数据可能是昂贵和耗时的,并且在大型数据集中引入标签噪声的风险迫在眉睫。当使用严格适当的损失来训练灵活的判别模型时,这种噪声将不可避免地使解决方案朝向噪声标签上的条件分布移动。尽管如此,虽然深度神经网络已被证明能够拟合随机标签,但正则化和鲁棒损失函数的使用凭经验减轻了标签噪声的影响。然而,此类观察结果涉及准确性的鲁棒性,如果可靠的不确定性量化至关重要,则这是不够的。我们证明了这一点,通过分析的条件分布的属性在噪声标签的输入相关的噪声模型。此外,我们评估了一组鲁棒的损失函数,其特征在于噪声不敏感,渐近风险最小化。我们发现,严格适当的和强大的损失函数都提供渐近鲁棒性的准确性,但都不能保证最终的模型是校准。此外,即使使用鲁棒损失函数,过拟合在实践中也是一个问题。有了这些结果,我们的目标是解释观察到的鲁棒性常见的训练实践,如早期停止,标签噪声。此外,我们的目标是鼓励开发新的噪声鲁棒算法,不仅保持准确性,但也确保可靠性。
2022-05-12 cs.LG stat.ML
Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks
D-Wave Systems Inc.(D-Wave系统公司)
收集带有高质量标签的大型训练数据集是昂贵且耗时的。本文提出了一种新的框架,用于从可以廉价获得的噪声标记数据集训练深度卷积神经网络。该问题使用无向图形模型来制定,该模型表示在半监督设置中训练的噪声和清洁标签之间的关系。在我们的公式中,对潜在清洁标签的推断是易于处理的,并且在训练期间使用辅助信息源进行正则化。将该模型应用于图像标记问题,并在CIFAR-10和MS COCO数据集上的训练中有效地标记未见过的图像以及减少标签噪声。
2017-11-03 cs.LG stat.ML
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而,这些数据集专注于检测可能存在的疾病标签的子集,从而使它们具有部分标签的分布式和非iid。最近的文献表明,由于与带有部分标签的非iid数据相关的域偏移,批量归一化层对联邦学习收敛的影响。为此,我们提出了FedFBN,这是一个联邦学习框架,它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层,从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集,使用当前FL策略评估FedFBN。我们的研究结果表明,FedFBN优于当前的聚合策略,用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所);Biomedical Engineering, RIT(罗切斯特理工学院生物医学工程系)
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响,发现DermNet数据集最具挑战性但更鲁棒,并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Multi-Level Generative Models for Partial Label Learning with Non-random Label Noise
Carleton University(卡尔顿大学);Northwestern Polytechnical University(西北工业大学)
部分标签(PL)学习解决了每个训练实例与一组候选标签相关联的问题,这些候选标签包括真实标签和不相关的噪声标签。在本文中,我们提出了一种新的多层次生成模型部分标签学习(MGPLL),它解决了这个问题,学习标签级对抗生成器和特征级对抗生成器之间的双向映射框架下的标签向量和数据样本。具体而言,MGPLL使用条件噪声标签生成网络来建模非随机噪声标签并执行标签去噪,并使用多类预测器将训练实例映射到去噪标签向量,而条件数据特征生成器用于形成从去噪标签向量到数据样本的逆映射。噪声标签生成器和数据特征生成器都以对抗的方式学习,以分别匹配观察到的候选标签和数据特征。在合成的和真实世界的部分标签数据集上进行了广泛的实验。所提出的方法展示了部分标签学习的最新性能。
2020-05-11 cs.LG stat.ML
Towards Improved Imbalance Robustness in Continual Multi-Label Learning with Dual Output Spiking Architecture (DOSA)
Indian Institute of Science(印度科学学院);Loughborough University(拉夫堡大学)
本文提出双输出脉冲架构(DOSA)及失衡感知损失函数,用于任务无关的持续多标签学习,在多个基准数据集上优于先前最先进算法CIFDM,提升了不平衡鲁棒性。
2024-02-07 cs.AI cs.CV cs.LG
Label Shift Quantification with Robustness Guarantees via Distribution Feature Matching
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学)
本文提出统一框架分布特征匹配(DFM)处理标签偏移下的量化学习,推导了改进的性能界限,分析了目标被污染等误设环境下的鲁棒性,并利用随机傅里叶特征原理引入了高效可扩展的核DFM版本。
2023-07-02 cs.AI cs.LG stat.ML
Label Noise Robustness for Domain-Agnostic Fair Corrections via Nearest Neighbors Label Spreading
Arizona State University(亚利桑那州立大学);Stanford University(斯坦福大学);Google(谷歌公司)
本文提出一种即插即用的标签噪声校正方法,通过在潜在最近邻图上进行标签传播,提升最后一层重训练在子群体公平任务中对标签噪声的鲁棒性,并在多种数据集上取得最先进的最差组准确率。
2024-06-13 cs.AI cs.LG
Structured Prediction with Partial Labelling through the Infimum Loss
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’École Normale Supérieure(巴黎高等师范学院计算机系);PSL Research University(巴黎文理研究大学)
标注数据集是当前监督学习的主要代价之一。弱监管的目标是使模型能够只使用收集成本较低的标签形式进行学习,作为部分标签。这是一种不完整的注释,对于每个数据点,监督被转换为包含真实数据点的一组标签。带有部分标签的监督学习问题已经针对诸如分类、多标签、排序或分割等特定实例进行了研究,但是仍然缺少一般框架。本文提供了一个统一的框架,结构化预测的基础上,下确界损失的概念,以处理部分标记的学习问题和损失函数的广泛家庭。该框架自然导致明确的算法,可以很容易地实现,并证明统计一致性和学习率。实验证实了所提出的方法比常用的基线的优越性。
2020-09-09 cs.AI cs.LG stat.ML
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook(脸书)
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现,与没有不确定性估计的神经网络相比,认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能,我们专注于Monte Carlo Dropout(MCDropout),并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究,本文深入研究了噪声标签设置下MCDropout的三个方面:1.功效:了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性:通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性:与确定性神经网络相比,研究MCDropout的网络支持。我们的研究结果表明,MCDropout进一步稀疏化和正则化的确定性神经网络,从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
On the Robustness of Decision Tree Learning under Label Noise
Microsoft India (R & D) Pvt. Ltd., Bangalore(微软印度研发私人有限公司(班加罗尔));Indian Institute of Science, Bangalore(印度科学理工学院(班加罗尔))
在大多数实际的分类器学习问题中,训练数据受到标签噪声的影响。因此,理解学习算法对这种标签噪声的鲁棒性是很重要的。本文从理论上分析了许多流行的决策树算法在大样本情况下对对称标签噪声具有鲁棒性。我们还提出了一些样本复杂性的结果,提供了一些界限的样本大小的鲁棒性,以保持高概率。通过大量的模拟,我们说明了这种鲁棒性。
2016-08-26 cs.LG
Toward Robustness in Multi-label Classification: A Data Augmentation Strategy against Imbalance and Noise
KAIST(韩国科学技术院);Amazon(亚马逊公司)
针对多标签分类中训练数据标签不平衡与含噪的问题,提出统一数据增强方法BalanceMix,通过两类采样器生成高多样性少数类增强样本、按标签粒度细化噪声标签分类以实现鲁棒优化,在三个基准数据集上性能超越现有SOTA方法并已开源代码。
2023-12-12 cs.AI cs.LG
Accelerating Robustness Verification of Deep Neural Networks Guided by Target Labels
East China Normal University(华东师范大学);ShanghaiTech University(上海科技大学)
深度神经网络(DNN)已成为自动驾驶和医疗诊断等许多安全关键应用的关键组件。然而,DNN的鲁棒性较差,因为它们对对抗性示例的敏感性,使得对输入的小扰动导致误预测。为了解决这个问题,已经提出了各种方法来正式验证DNN的鲁棒性。这些方法中的大多数将验证问题简化为针对给定输入搜索对抗性示例的优化问题,使得它不会被正确地分类到原始标签。然而,它们在准确性和可扩展性方面受到限制。在本文中,我们提出了一种新的方法,可以加速鲁棒性验证技术,通过指导与目标标签的验证。我们的方法的关键见解是,DNN的鲁棒性验证问题可以通过验证DNN的子问题来解决,每个目标标签一个。在验证过程中固定目标标签可以大大减少搜索空间,从而提高效率。我们还提出了一种方法,利用符号区间传播和线性松弛技术来对目标标签进行排序的机会,敌对的例子存在。这通常允许我们快速伪造DNN的鲁棒性,并且可以避免对剩余目标标签的验证。我们的方法是正交的,并可以集成,许多现有的验证技术。出于评估目的,我们将其与三个最近有前途的DNN验证工具相结合,即,MipVerify、DeepZ和Neuriify。实验结果表明,我们的方法可以显着提高这些工具的36倍加速时,扰动距离设置在一个合理的范围内。
2020-07-27 cs.LG stat.ML
Open-set Label Noise Can Improve Robustness Against Inherent Label Noise
Nanyang Technological University(南洋理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
在弱监督学习中,带噪声标签的学习是一个具有实际挑战性的问题。在现有的文献中,开集噪声一直被认为是有毒的推广,类似于闭集噪声。在本文中,我们经验表明,开集噪声标签可以是无毒的,甚至有利于对固有的噪声标签的鲁棒性。受观察结果的启发,我们提出了一种简单而有效的正则化方法,将带有动态噪声标签(ODNL)的开集样本引入训练。使用ODNL,神经网络的额外容量可以以不干扰从干净数据中学习模式的方式大量消耗。通过SGD噪声的镜头,我们表明,我们的方法引起的噪声是随机方向,无冲突和有偏的,这可能有助于模型收敛到一个平坦的最小值具有优越的稳定性,并迫使模型产生保守的预测分布外的实例。在含有不同类型噪声标签的基准数据集上的大量实验结果表明,该方法不仅提高了许多现有鲁棒算法的性能,而且即使在标签噪声环境下也能显著改善分布外检测任务。
2021-11-19 cs.AI cs.LG
Learning from Multiple Noisy Partial Labelers
Brown University(布朗大学);UC Berkeley(加州大学伯克利分校)
程序化弱监督通过组合启发式标记器的输出来创建没有手工标记的训练数据的模型。现有的框架做出了限制性的假设,即标签器输出单个类标签。允许用户创建部分标签器,输出可能的类标签的子集,将大大扩展编程式弱监督的表达能力。我们通过定义一个概率生成模型来引入这种能力,该模型可以估计多个嘈杂的部分标签的潜在精度,而无需地面真实标签。我们展示了如何扩展学习,例如在一分钟内学习10万个示例,与简单的实现相比,速度提高了300倍。我们还证明了这类模型是一般可识别的标签交换在温和的条件下。我们评估我们的框架上的三个文本分类和六个对象分类任务。在文本任务中,添加部分标签可以将平均准确率提高8.6个百分点。在图像任务中,我们表明,部分标签,使我们能够接近一些zero-shot对象分类问题的程序性弱监督使用类属性作为部分标签。在这些任务上,我们的框架具有与最近基于嵌入的零样本学习方法相当的准确性,同时仅使用预训练的属性检测器。
2022-03-25 cs.LG stat.ML
Adversarial Partial Multi-Label Learning
Carleton University(卡尔顿大学);Northweastern Polytechnical University(西北工业大学)
部分多标签学习(PML)解决了从具有过完整噪声注释的实例中学习多标签预测模型的问题,最近开始受到研究界的关注。在本文中,我们提出了一种新的对抗性学习模型,PML-GAN,在一个广义的编码器-解码器框架下进行部分多标签学习。PML-GAN模型使用消歧网络来识别噪声标签,并使用多标签预测网络将训练实例映射到消歧的标签向量,同时部署生成对抗网络作为从标签向量到输入特征空间中的数据样本的逆映射。整个模型的学习对应于一个极大极小对抗游戏,它增强了输入特征与双向映射中输出标签的对应性。在多个数据集上进行了广泛的实验,而所提出的模型展示了部分多标签学习的最新性能。
2020-06-05 cs.LG stat.ML
On the Robustness of Post-hoc GNN Explainers to Label Noise
Aarhus University(奥胡斯大学);Rice University(莱斯大学)
本研究系统评估了事后GNN解释器在不同程度标签噪声下的鲁棒性,发现解释器易受标签扰动影响,轻微噪声即可大幅损害解释质量,并探讨了高噪声下解释有效性的恢复现象。
2023-09-08 cs.AI cs.LG
Label Dropout: Improved Deep Learning Echocardiography Segmentation Using Multiple Datasets With Domain Shift and Partial Labelling
School of Biomedical Engineering \& Imaging Sciences, King's College London, UK
本文提出标签丢弃方法,通过多数据集训练提升超声分割鲁棒性,显著提高二分类Dice分数。
2024-08-15 cs.AI cs.CV cs.LG
Epoch-wise label attacks for robustness against label noise
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
目前,用于训练卷积神经网络的大型医疗数据集的可访问性非常高。相关的数据集标签总是被认为是真正的“地面实况”。然而,标签程序往往似乎是不准确的,许多错误的标签集成。这可能对培训和评估的绩效产生致命的后果。在本文中,我们展示了训练集中标签噪声对基于胸部X射线图像的特定医疗问题的影响。通过一个简单的单类问题,即结核病的分类,我们在使用标签损坏的数据进行训练时,在干净的评估集上测量性能。我们开发了一种方法,通过随机攻击各个时期的标签,在训练过程中与错误标记的数据竞争。当翻转单个时期的正确标签时,网络往往是鲁棒的,并且当翻转噪声标签时,在误差表面上启动一个良好的步骤以达到最佳最小值。在AUC(曲线下面积)得分为0.924的基线上,当我们的训练数据中有30%被错误分类时,性能下降到0.809。使用我们的方法,基本性能几乎可以保持,性能提高到0.918。
2019-12-12 cs.CV cs.LG
Understanding Intrinsic Robustness Using Label Uncertainty
University of Virginia(弗吉尼亚大学)
对抗性机器学习中的一个基本问题是,对于给定的任务,是否存在鲁棒的分类器。一系列的研究已经取得了一些进展,朝着这个目标,通过研究浓度的措施,但我们认为,标准浓度未能充分表征的内在鲁棒性的分类问题,因为它忽略了数据标签是必不可少的任何分类任务。建立在一个新的定义标签的不确定性,我们的经验表明,由国家的最先进的模型引起的错误区域往往有更高的标签的不确定性比随机选择的子集。这一观察促使我们适应浓度估计算法来考虑标签的不确定性,从而为基准图像分类问题提供更准确的内在鲁棒性措施。
2022-03-17 cs.CR cs.LG
Pseudo-labelling meets Label Smoothing for Noisy Partial Label Learning
IIIT Hyderabad(海得拉巴印度理工学院)
本文针对噪声部分标签学习问题,提出一种结合加权最近邻伪标签生成、标签平滑训练和迭代伪标签细化的框架,在多个数据集上取得了最先进性能。
2025-06-06 cs.CV cs.LG
Online Algorithms for Multiclass Classification using Partial Labels
IIT Madras(印度理工学院马德拉斯分校);IIIT Hyderabad(海得拉巴国际信息技术学院)
在本文中,我们提出了在线算法的多类分类使用部分标签。我们提出了两个变种的感知器称为平均感知器和最大感知器来处理部分标记的数据。我们还提出了Avg Pegasos和Max Pegasos,这是Pegasos算法的扩展。我们还提供了平均感知器的错误界和平均飞马遗憾界。我们通过在各种数据集上进行实验并将其与标准Perceptron和Pegasos进行比较,展示了所提出方法的有效性。
2019-12-24 cs.LG stat.ML
Label Noise Robustness of Conformal Prediction
Technion - Israel Institute of Technology(以色列理工学院);Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
本研究针对标签噪声问题,分析 conformal 预测在回归与分类任务中的鲁棒性,刻画不确定性集合构建条件,扩展损失函数控制理论,实验表明其对分散性噪声具保守风险,且可修正有界噪声以保证真实标签风险控制。
2024-11-26 cs.AI cs.LG math.ST
Recovering Accurate Labeling Information from Partially Valid Data for Effective Multi-Label Learning
Jilin University(吉林大学);Hefei University of Technology(合肥工业大学)
部分多标签学习(PML)旨在从带有噪声监督的数据集中诱导多标签预测器,其中每个训练实例与多个候选标签相关联,但仅部分有效。为了解决噪声问题,现有的PML方法基本上通过利用候选标签的地面实况置信度(\ie,候选标签是地面实况标签的可能性)来恢复地面实况标签。然而,它们忽略了来自非候选标签的信息,这可能有助于地面实况标签恢复。在本文中,我们提出了恢复地面真理标签,\ie估计地面真理的信心,从标签富集,组成的候选标签的相关度和非候选标签的无关度。在此基础上,我们进一步开发了一种新的两阶段PML方法,即\emph{\underline{P}artial \underline{M}ulti-\underline{L}abel \underline{L}earning with \underline{L}abel \underline{E}nrichment-\underline{R}ecovery}(\baby),其中在第一阶段,它估计标签富集与无约束的标签传播,然后联合学习地面真实的信心和多标签预测给定的标签富集。实验结果验证了\baby优于最先进的PML方法。
2020-06-20 cs.LG stat.ML
Robustness of Conditional GANs to Noisy Labels
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
我们研究了从噪声标记样本中学习条件生成器的问题,其中标签被随机噪声破坏。条件GANs的标准训练不仅会产生带有错误标签的样本,还会产生质量差的样本。我们考虑两种情况,这取决于噪声模型是否已知。当噪声的分布是已知的,我们引入了一种新的架构,我们称之为鲁棒条件GAN(RCGAN)。其主要思想是在将生成的样本馈送到对抗性的机器人之前破坏样本的标签,迫使生成器生成具有干净标签的样本。通过RCGAN的损失与干净的真实分布和生成器分布之间的距离之间的相应乘法近似界限,证明了通过匹配的噪声信道的这种方法是合理的。这表明,所提出的方法是鲁棒的,当使用精心选择的架构,称为投影矩阵。当噪声的分布未知时,我们提供了我们的架构的扩展,我们称之为RCGAN-U,它在训练生成器的同时学习噪声模型。我们在MNIST和CIFAR-10数据集上的实验表明,这两种方法在基线方法上都有持续的改进,RCGAN-U与RCGAN的性能非常匹配。
2018-11-08 cs.AI cs.LG stat.ML
Learning Structured Outputs from Partial Labels using Forest Ensemble
Centre for Pattern Recognition and Data Analytics(模式识别与数据分析中心);Deakin University(迪肯大学)
学习具有一般结构的结构化输出在计算上是具有挑战性的,除了树结构模型。因此,我们提出了一个有效的基于提升算法AdaBoost.MRF的任务。这个想法是基于实现图是树的叠加。不同于大多数现有的工作,我们的算法可以处理部分标签,因此在实践中,可靠的标签往往稀疏观察是特别有吸引力的。此外,我们的方法只适用于树,因此保证收敛。我们将AdaBoost.MRF算法应用于室内视频监控场景,其中活动在多个级别上建模。
2014-07-24 cs.CV cs.LG stat.ML
Loss factorization, weakly supervised learning and label noise robustness
Australian National University(澳大利亚国立大学);NICTA(国家信息与通信技术研究院);École Polytechnique(巴黎综合理工学院);Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与科学研究所)
我们证明了经验风险的最知名的损失函数因素到一个线性项聚合的所有标签与一个长期的标签是免费的,并可以进一步表示的损失的总和。这甚至适用于非光滑、非凸损失和任何RKHS。第一项是一个(核)平均算子-这项工作的焦点量-我们的特点是标签的充分统计。结果收紧已知的泛化范围,并揭示了新的光对他们的解释。因子分解在弱监督学习中有直接的应用。特别是,我们证明了算法,如SGD和近端方法可以适应以最小的努力来处理弱监督,一旦平均算子估计。我们将这一想法应用于非对称噪声标签的学习,连接和扩展先前的工作。此外,我们发现,大多数损失享有的数据依赖(平均算子)形式的噪声鲁棒性,与已知的负面结果。
2016-02-09 cs.LG stat.ML
Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement
Hangzhou City University(杭州城市大学);Zhejiang University of Technology(浙江工业大学)
针对对抗训练中的鲁棒过拟合问题,本文提出自引导标签细化方法,通过软化标签并融入自蒸馏知识,在多个基准上同时提升标准准确性与鲁棒性。
2024-03-14 cs.CR cs.CV cs.LG
ProPaLL: Probabilistic Partial Label Learning
Jagiellonian University(雅盖隆大学)
部分标签学习是一种弱监督学习,其中每个训练实例对应于一组候选标签,其中只有一个是真的。在本文中,我们介绍了ProPaLL,一种新的概率方法来解决这个问题,与现有的方法相比,它至少有三个优点:它简化了训练过程,提高了性能,并且可以应用于任何深度架构。在人工和真实世界数据集上进行的实验表明,ProPaLL优于现有的方法。
2022-08-21 cs.AI cs.LG
Enhancing Adversarial Robustness in Low-Label Regime via Adaptively Weighted Regularization and Knowledge Distillation
Seoul National University(首尔国立大学)
本文针对标注数据稀缺场景,提出结合自适应加权正则化与半监督知识蒸馏的对抗训练算法,在CIFAR-10上仅用8%标注数据即可达到与全监督方法相当的鲁棒性能。
2023-08-08 cs.AI cs.LG
On the Power of Deep but Naive Partial Label Learning
SI Analytics Co. Ltd(SI分析有限公司);UW--Madison(威斯康星大学麦迪逊分校);GIST(光州科学技术院)
部分标签学习(PLL)是一类弱监督学习,其中每个训练实例由一个数据和一组包含唯一真实标签的候选标签组成。为了解决这个问题,大多数当前最先进的方法采用标签消歧或平均策略。到目前为止,没有这种技术的PLL方法被认为是不切实际的。在本文中,我们通过揭示最古老和最天真的PLL方法在使用深度神经网络实例化时的隐藏力量来挑战这一观点。具体来说,我们表明,使用深度神经网络,朴素模型可以实现与其他最先进的方法相比具有竞争力的性能,这表明它是PLL的强大基线。我们还解决了这样一个天真的模型如何以及为什么与深度神经网络很好地工作的问题。我们的实证结果表明,在部分标记的示例上训练的深度神经网络即使在过度参数化的情况下也能很好地泛化,并且没有标签消歧或正则化。我们指出,现有的学习理论的PLL是空洞的过参数化制度。因此,他们无法解释为什么深层天真方法有效。我们提出了一种关于深度学习如何在PLL问题中推广的替代理论。
2021-02-08 cs.AI cs.CV cs.LG
Partial Label Learning with Self-Guided Retraining
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院)
部分标签学习处理的问题是,每个训练实例都被分配了一组候选标签,其中只有一个是正确的。本文首次尝试利用自我训练的思想来处理部分标记的例子。具体来说,我们提出了一个统一的制定适当的约束训练所需的模型,并执行伪标记联合。对于伪标签,与传统的自训练不同,传统的自训练手动区分具有足够高置信度的地面真值标签,我们在建模输出上引入最大无穷范数正则化来自动实现此正则化,这导致凹凸优化问题。我们表明,优化这个凹凸问题相当于解决一组二次规划(QP)问题。通过提出一个上限代理目标函数,我们转向只解决一个QP问题,以提高优化效率。在合成数据集和真实数据集上的大量实验表明,所提出的方法明显优于最先进的部分标签学习方法。
2019-02-08 cs.LG stat.ML
Investigating the Robustness of Vision Transformers against Label Noise in Medical Image Classification
Center for Imaging Science, Rochester Institute of Technology(罗切斯特理工大学成像科学中心);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所);University of Aberdeen(阿伯丁大学);Biomedical Engineering, Rochester Institute of Technology(罗切斯特理工大学生物医学工程系)
本文首次系统研究ViT在医学图像分类中对标签噪声的鲁棒性,并与CNN对比,在COVID-DU-Ex和NCT-CRC-HE-100K数据集上验证了预训练对提升ViT抗噪能力的关键作用。
2024-02-26 cs.CV cs.LG eess.IV
Robustness to Label Noise Depends on the Shape of the Noise Distribution in Feature Space
Los Alamos National Lab(洛斯阿拉莫斯国家实验室)
机器学习分类器已经在经验和理论上被证明在某些条件下对标签噪声具有鲁棒性-特别是典型的假设是标签噪声与给定类别标签的特征无关。我们提供了一个理论框架,通过将标签噪声建模为特征空间上的分布来概括这种典型的假设。我们发现,规模和形状的噪声分布的影响后验似然和形状的噪声分布有一个更强的影响分类性能,如果噪声集中在特征空间的决策边界可以移动。对于均匀标签噪声的特殊情况下(独立的功能和类标签),我们表明,贝叶斯最佳分类器的$c$类是强大的标签噪声,直到噪声样本的比例超过$\frac{c-1}{c}$(例如90%的10类),我们称之为临界点。然而,对于类相关标签噪声的特殊情况(与给定类标签的特征无关),临界点可以低至50%。最重要的是,我们表明,当噪声分布的目标决策边界(标签噪声直接依赖于特征空间),分类鲁棒性可以下降,即使在一个小规模的噪声。即使在评估最近的标签噪声缓解方法时,我们也会看到标签噪声依赖于特征时的准确性降低。这些发现解释了为什么如果噪声分布在特征空间中是均匀的,机器学习通常可以很好地处理标签噪声;但它也指出了当标签噪声集中在决策边界可以移动的特征空间区域时,克服标签噪声的困难。
2022-06-02 cs.AI cs.LG
Query-Adaptive Predictive Inference with Partial Labels
Stanford University(斯坦福大学)
在统计机器学习中,完全监督标签的成本和稀缺性鼓励使用部分标记的数据进行模型验证,作为一种更便宜,更容易获得的替代方案。因此,有效地收集和利用弱监督数据进行大空间结构化预测任务成为端到端学习系统的重要组成部分。我们提出了一种新的计算友好的方法来构建预测集只使用部分标记的数据上的黑盒预测模型。为此,我们引入“探测”函数作为描述弱监督实例的一种方式,并定义了错误发现比例型损失,这两者都无缝地适应部分监督和结构化预测-排名,匹配,分割,多标签或多类分类。我们的实验突出了我们的预测集建设的有效性,以及一个更灵活的用户相关的损失框架的吸引力。
2022-06-15 cs.LG stat.ML
Learning with Proper Partial Labels
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能研究中心)
部分标签学习是一种带有不精确标签的弱监督学习,对于每个训练样本,我们给出一组候选标签而不是只有一个真正的标签。近年来,在不同的候选标签集生成模型下,提出了多种部分标签学习方法。然而,这些方法需要对生成模型进行相对较强的分布假设。当假设不成立时,理论上无法保证方法的性能。在本文中,我们提出了部分标签上的适当性的概念。我们证明了这种适当的部分标签学习框架需要较弱的分布假设,并包括许多以前的部分标签学习设置作为特例。然后,我们得到一个统一的无偏估计的分类风险。我们证明了我们的估计是风险一致的,我们也建立了估计误差界。最后通过实验验证了算法的有效性。
2022-08-27 cs.LG
Some Robustness Properties of Label Cleaning
本文证明,依赖聚合标签(例如从噪声响应中提炼的标签信息)的学习过程具有数据清理无法实现的鲁棒性,体现在风险一致性、模型误设下的收敛性等方面。
2026-05-22 cs.LG math.ST stat.ML
Adversary-Aware Partial label learning with Label distillation
University of Technology Sydney(悉尼科技大学);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
针对高比例噪声部分标签学习问题,提出对抗感知部分标签学习方法并引入竞争标签,结合动量内对抗教师消歧算法获得一致的分类器和风险函数,在多个数据集上取得优异结果。
2023-04-02 cs.CV cs.LG
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better
Deakin University(迪肯大学)
对抗性训练是训练鲁棒的深度神经网络对抗对抗攻击的一种有效方法。虽然能够带来可靠的鲁棒性,但对抗训练(AT)方法通常倾向于高容量模型,即,模型越大,鲁棒性越好。这往往会限制它们在小模型上的有效性,而小模型在存储或计算资源非常有限的情况下更可取(例如,移动设备)。在本文中,我们利用知识蒸馏的概念,以提高小模型的鲁棒性,从对抗训练的大模型。我们首先从蒸馏的角度重新审视了几种最先进的AT方法,并确定了一种可以提高鲁棒性的常用技术:使用鲁棒的软标签-预测鲁棒的模型。根据这一观察,我们提出了一种新的对抗鲁棒性蒸馏方法称为鲁棒软标签对抗蒸馏(RSLAD)训练强大的小学生模型。RSLAD充分利用了由强大的(对抗训练的)大型教师模型产生的强大软标签,以指导学生在所有损失方面对自然和对抗示例的学习。我们通过经验证明了我们的RSLAD方法在现有对抗性训练和蒸馏方法中的有效性,以提高小模型对最先进攻击(包括AutoAttack)的鲁棒性。我们还提供了一组关于我们的RSLAD的理解,以及鲁棒软标签对对抗鲁棒性蒸馏的重要性。
2021-08-18 cs.CR cs.LG
Exploiting Context for Robustness to Label Noise in Active Learning
University of California, Riverside(加州大学河滨分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
计算机视觉中的一些工作已经证明了主动学习在新的未标记数据可用时用于适应识别模型的有效性。这些著作大多认为从注释者那里获得的标签是正确的。然而,在实际场景中,由于标签的质量取决于注释器,因此一些标签可能是错误的,这导致识别性能下降。在本文中,我们解决的问题,i)系统如何可以识别哪些查询标签是错误的,以及ii)如何多类主动学习系统可以适应标签噪声的负面影响最小化。为了解决这些问题,我们提出了一种基于噪声标签过滤的学习方法,其中利用自然数据中非常常见的相互关系(上下文)来检测错误的标签。我们构建了一个图形表示的未标记的数据来编码这些关系,并获得新的信念图时,嘈杂的标签。将新的信念与先前的关系信息进行比较,我们生成一个相异性分数来检测不正确的标签,并使用正确的标签更新识别模型,从而获得更好的识别性能。这在三个不同的应用中得到了证明:场景分类、活动分类和文档分类。
2020-10-18 cs.CV cs.LG
Adversarial Boot Camp: label free certified robustness in one epoch
McGill University(麦吉尔大学)
机器学习模型容易受到对抗攻击的攻击。解决这一漏洞的一种方法是认证,它侧重于保证对给定扰动大小具有鲁棒性的模型。最近认证模型的一个缺点是它们是随机的:它们需要多个计算昂贵的模型评估,并将随机噪声添加到给定的输入中。在我们的工作中,我们提出了一个确定性的认证方法,结果在一个可证明的强大的模型。这种方法基于具有特定正则化损失的训练与高斯平均值的期望值之间的等效性。我们在ImageNet-1 k上实现了认证模型,通过在不使用标签信息的情况下重新训练一个具有这种损失的模型一个时期。
2020-10-05 cs.CR cs.CV cs.LG
SoLar: Sinkhorn Label Refinery for Imbalanced Partial-Label Learning
Zhejiang University(浙江大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Chongqing University(重庆大学);RIKEN(理化学研究所)
部分标签学习(PLL)是一种特殊的弱监督学习任务,其中训练样本通常与一组候选标签而不是单个基础事实相关联。虽然在这个领域已经提出了各种标签消歧方法,但它们通常假设在许多现实世界的应用中可能不适用的类平衡场景。经验上,我们观察到退化的性能的先验方法时,面临的组合挑战,从长尾分布和部分标记。在这项工作中,我们首先确定的主要原因,以前的工作失败。随后,我们提出了SoLar,一种新的基于最优传输的框架,允许改进消歧标签,以匹配边缘类先验分布。SoLar还采用了一种新的系统机制,用于在PLL设置下估计长尾类先验分布。通过大量的实验,SoLar在标准化基准测试中表现出比以前最先进的PLL方法更好的结果。代码和数据可在https://github.com/hbzju/SoLar上获得。
2022-09-21 cs.CV cs.LG
Investigating Why Contrastive Learning Benefits Robustness Against Label Noise
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
自监督对比学习(CL)最近被证明在防止深度网络过度拟合噪声标签方面非常有效。尽管它的实证成功,对比学习的效果,提高鲁棒性的理论理解是非常有限的。在这项工作中,我们严格证明了通过对比学习学习的表示矩阵通过以下方式增强了鲁棒性:(i)一个突出的奇异值对应于数据中的每个子类,并且剩余的奇异值显著较小;(ii)突出的奇异向量与每个子类的干净标签之间的大对齐。上述属性使在这种表示上训练的线性层能够有效地学习干净的标签,而不会过度拟合噪声。我们进一步表明,使用对比学习预训练的深度网络的雅可比矩阵的低秩结构使它们在对噪声标签进行微调时能够在最初实现卓越的性能。最后,我们证明了对比学习提供的初始鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能,例如,在CIFAR-10和CIFAR-100上,平均准确率分别提高了27.18%和15.58%,在WebVision上平均准确率提高了4.11%。
2022-07-05 cs.LG
Pseudo Labels Regularization for Imbalanced Partial-Label Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室)
部分标签学习(PLL)是弱监督学习的一个重要分支,其特征在于单一的基本事实存在于一组候选标签中,而研究中很少考虑标签不平衡的问题。最近的一项关于不平衡部分标签学习的研究提出,部分标签学习和长尾学习的组合挑战在于体面的边缘先验分布与绘制伪标签之间的匹配。然而,我们认为,即使伪标签与先验分布匹配,尾类仍然很难学习,因为总权重太小。因此,我们提出了一种专门为PLL设计的伪标签正则化技术。通过惩罚头类的伪标签,与以前的PLL方法相比,我们的方法在标准化基准下实现了最先进的技术。
2023-03-06 cs.LG
Data-Free Hard-Label Robustness Stealing Attack
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
针对MLaaS仅返回硬标签、无代理数据且现有攻击忽略鲁棒性窃取的问题,提出无数据硬标签鲁棒性窃取攻击,仅查询硬标签即可同时窃取模型准确率与鲁棒性,实验效果显著优于基线。
2023-12-12 cs.CR cs.CV cs.LG
Topology-Independent Robustness of the Weighted Mean under Label Poisoning Attacks in Heterogeneous Decentralized Learning
School of Computer Science and Engineering, Sun Yat-Sen University(中山大学计算机科学与工程学院);School of Engineering and Applied Science, Harvard University(哈佛大学工程与应用科学学院);Department of Electrical and Electronic Engineering, Imperial College London(伦敦帝国理工学院电子与电气工程系)
本文研究了在异构去中心化学习中,加权平均聚合器在标签污染攻击下的鲁棒性,发现其在特定网络拓扑条件下可优于鲁棒聚合器。
2026-01-06 cs.AI cs.LG
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
已知机器学习算法易受数据投毒攻击的影响,其中对手操纵训练数据以降低所得分类器的性能。在这项工作中,我们提出了一个统一的观点,随机平滑任意函数,我们利用这种新的特性,提出了一种新的策略,用于建立分类器,逐点可证明的鲁棒性一般数据投毒攻击。作为一个具体的实例,我们利用我们的框架来构建线性分类器,这些分类器对标签翻转的强变体具有鲁棒性,其中每个测试示例都是独立的。换句话说,对于每个测试点,我们的分类器都包括一个认证,即如果一些训练标签被反向改变,它的预测将是相同的。随机平滑以前已被用来保证-高概率-测试时的鲁棒性对抗操纵的输入到分类器,我们推导出一个变种,提供了一个确定性的,分析的界限,回避了传统上从抽样子程序的概率证书。此外,我们得到这些认证的界限,最小的额外的运行时复杂性超过标准分类,没有假设的训练或测试分布。我们将我们的结果推广到多类的情况下,提供了第一个多类分类算法,是证明标签翻转攻击的鲁棒性。
2020-08-11 cs.AI cs.CR cs.LG
Understanding SAM's Robustness to Noisy Labels through Gradient Down-weighting
Rochester Institute of Technology(罗彻斯特理工学院);University of Science - VNUHCM(越南国立大学胡志明市理科大学);Rowan University(罗文大学)
本文通过分析SAM在元素级别表现,揭示其对噪声标签鲁棒性的机制,并提出SANER方法提升泛化能力。
2026-03-30 cs.LG
Partial Multi-label Learning with Label and Feature Collaboration
College of Comp. & Inf. Sci., Southwest University(计算机与信息科学学院,西南大学);College of Elec. & Inf. Eng., Beijing Univ. of Civil Eng. and Arch.(电子与信息工程学院,北京建筑大学)
部分多标签学习(PML)对每个训练实例都用一组候选标签进行注释的场景进行建模,并且只有一些标签是相关的。PML问题在现实世界的场景中是实用的,因为很难甚至不可能获得精确标记的样本。为了对抗候选标签中隐藏的不相关标签容易误导的情况,人们提出了几种PML解决方案,但它们通常侧重于特征空间的平滑性假设或标签空间的低秩假设,而忽略了特征和标签之间的负信息。具体而言,如果两个实例具有大量重叠的候选标签,无论其特征相似性如何,其地面实况标签应该相似;而如果它们在特征和候选标签空间中不相似,则其地面实况标签应该彼此不相似。为了实现对PML数据的可靠预测,我们提出了一种新的方法,称为PML-LFC(部分多标签学习与标签和特征协作)。PML-LFC使用来自标签和特征空间的相似性来估计每个实例的相关标签的置信度值,并使用估计的置信度值来训练期望的预测器。PML-LFC通过一个统一的模型,以相互加强的方式实现预测器和潜在标签矩阵,并开发了一种替代的优化过程来优化它们。在人工数据集和真实数据集上的大量实证研究表明了PML-LFC的优越性。
2020-03-17 cs.LG stat.ML
In and Out-of-Domain Text Adversarial Robustness via Label Smoothing
University of Pennsylvania(宾夕法尼亚大学);IBM Research(IBM研究院)
本文系统评估多种标签平滑策略在域内和域外 NLP 任务中的防御效果,证明其可显著增强 BERT 等预训练模型对文本对抗攻击的鲁棒性,并降低对抗样本上的过度自信错误。
2023-07-11 cs.CL cs.CR cs.LG
Multi-Instance Partial-Label Learning: Towards Exploiting Dual Inexact Supervision
Southeast University(东南大学)
弱监督机器学习算法能够从模糊的样本或标签中学习,例如,多示例学习或部分标记学习。然而,在一些现实任务中,每个训练样本不仅与多个实例相关联,而且与包含一个地面真值标签和一些假阳性标签的候选标签集相关联。具体而言,至少一个实例属于地面实况标签,而没有实例属于假阳性标签。在本文中,我们形式化的多实例部分标记学习(MIPL)等问题。现有的多实例学习算法和部分标签学习算法是次优的解决MIPL问题,因为前者不能消除歧义的候选标签集,后者不能处理多实例袋。为了解决这些问题,一个定制的算法命名为MIPLGP,即,提出了一种基于高斯过程的多示例部分标记学习算法。MIPLGP首先在扩展的标签空间中为每个实例分配一个候选标签集,然后通过排他消歧策略将候选标签集转换到对数空间中,得到消歧后的连续标签,最后基于高斯过程建立模型。在不同数据集上的实验结果验证了MIPLGP在解决MIPL问题上优于成熟的多示例学习和部分标记学习算法。我们的代码和数据集将公开提供。
2022-12-18 cs.LG