Part-dependent Label Noise: Towards Instance-dependent Label Noise
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd（脑启科技有限公司）；RIKEN（理化学研究所）；University of Tokyo（东京大学）
使用\textit{instance-dependent}标签噪声进行学习具有挑战性，因为很难对这种真实世界的噪声进行建模。请注意，有心理和生理证据表明，我们人类通过将实例分解为部分来感知它们。因此，注释器更有可能基于部分而不是整个实例来注释实例，其中从部分到类的错误映射可能导致依赖于实例的标签噪声。受这种人类认知的启发，本文利用\textit{part-dependent}标签噪声来近似实例相关的标签噪声。具体地说，由于实例可以近似地由部分的组合重建，我们近似的实例依赖的\textit{transition matrix}的实例的部分的转移矩阵的组合。可以通过利用锚点（即，几乎肯定属于特定类的数据点）。对合成和真实世界数据集的实证评估表明，我们的方法优于从实例相关标签噪声中学习的最先进方法。
2020-12-03 cs.LG stat.ML
TrustNet: Learning from Trusted Data Against (A)symmetric Label Noise
TU Delft（代尔夫特理工大学）；ABB Future Labs（ABB未来实验室）
对标签噪声的鲁棒性是在大规模数据集上训练的弱监督分类器的关键属性。对标签噪声的鲁棒性是在大规模数据集上训练的弱监督分类器的关键属性。在本文中，我们首先推导出解析界的任何给定的噪声模式。基于这些见解，我们设计了TrustNet，它首先从一小部分可信数据中反向学习噪声损坏的模式，无论是对称的还是非对称的。然后，通过鲁棒的损失函数训练TrustNet，该函数将给定的标签与从学习的噪声模式推断的标签进行加权。权重基于训练时期的模型不确定性进行调整。我们对CIFAR-10和CIFAR-100的合成标签噪声以及具有标签噪声的真实世界数据（即，服装1 M.我们与最先进的方法进行比较，证明了TrustNet在各种噪声模式下的强大鲁棒性。
2020-07-13 cs.LG stat.ML
Harmless label noise and informative soft-labels in supervised classification
University of Queensland（昆士兰大学）
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时，提供的标签可能不等于地面真实标签，并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释，则相同的训练示例可以由不同的专家给予不同的类分配，这指示标签噪声。在基于模型的分类框架中，一个简单但关键的观察结果是，当使用类别成员的后验概率对手动标签进行采样时，噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型，用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是，当标签噪声和分类难度正相关时，逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是，当分类难度是标签错误的唯一来源时，与单组地面真实标签相比，多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
Combating Label Noise in Deep Learning Using Abstention
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）
我们介绍了一种新的方法来对抗标签噪声时，训练深层神经网络分类。我们提出了一个损失函数，允许在训练过程中避免混淆，从而允许DNN放弃混淆样本，同时继续学习和提高非弃权样本的分类性能。我们展示了如何在存在不同类型的标签噪声的情况下使用这种深度弃权分类器（DAC）进行鲁棒学习。在结构化或系统性标签噪声的情况下-其中嘈杂的训练标签或令人困惑的示例与数据的底层特征相关-使用排除训练可以对与不可靠标签相关的特征进行表示学习。在非结构化（任意）标签噪声的情况下，训练期间的消除使DAC能够通过识别可能具有标签噪声的样本而用作有效的数据清理器。我们提供了关于损失函数行为的分析结果，这些损失函数行为能够根据训练过程中的学习进度动态适应收敛率。我们展示了深度弃权分类器在不同类型的标签噪声下用于各种图像分类任务的实用性;在任意标签噪声的情况下，我们在多个图像基准上显示出比先前公布的结果有显着改进。源代码可在https://github.com/thulas/dac-label-noise上获得
2019-08-01 cs.LG stat.ML
Instance-dependent Label-noise Learning under a Structural Causal Model
University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；Hong Kong Baptist University（香港浸会大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Carnegie Mellon University（卡内基梅隆大学）
标签噪声会降低深度学习算法的性能，因为深度神经网络很容易过拟合标签错误。让X和Y分别表示实例和干净标签。当Y是X的原因时，根据该原因已经构建了许多数据集，例如，SVHN和CIFAR，P（X）和P（Y）的分布|（X）纠缠。这意味着无监督的实例有助于学习分类器，从而减少标签噪声的副作用。然而，如何利用因果信息来处理标签噪声问题仍然是难以捉摸的。在本文中，通过利用结构因果模型，我们提出了一种新的生成方法的实例依赖的标签噪声学习。特别是，我们表明，适当建模的实例将有助于识别的标签噪声转移矩阵，从而导致一个更好的分类。从经验上讲，我们的方法在合成和真实世界的标签噪声数据集上都优于所有最先进的方法。
2022-06-03 cs.LG stat.ML
Learning with Bounded Instance- and Label-dependent Label Noise
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；University of Melbourne（墨尔本大学）
实例和标签相关的标签噪声（ILN）广泛存在于现实世界的数据集，但很少被研究。在本文中，我们专注于有界的实例和标签相关的标签噪声（BILN），一个特殊的情况下，ILN的标签噪声率-的概率，真正的标签的例子翻转到损坏的-有上限小于$1$。具体来说，我们介绍的概念，蒸馏的例子，即例子的标签是相同的标签分配给他们的贝叶斯最优分类器，并证明在一定条件下，分类器学习蒸馏的例子将收敛到贝叶斯最优分类器。受提取的例子学习的想法的启发，我们提出了一个学习算法的理论保证其鲁棒性BILN。最后，在合成数据集和真实数据集上的实验结果表明了该算法在BILN学习中的有效性。
2020-12-11 cs.LG stat.ML
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University（北京交通大学）；Hangzhou Dianzi University（杭州电子科技大学）
部分标签学习（PLL）旨在从数据中学习，其中每个训练实例与一组候选标签相关联，其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中，我们提出了一种新的PLL方法，称为HERA，它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度，同时训练模型。具体地说，异构损失综合了成对排序损失和逐点重构损失的优点，为标签识别提供了有用的标签排序和重构信息，而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩，以探索整个训练数据之间的全局标签相关性，从而改进了学习模型。在人工和真实世界数据集上的大量实验表明，我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML
Unbiased Loss Functions for Extreme Classification With Missing Labels
Aalto University（阿尔托大学）；IIT, Kanpur（印度理工学院坎普尔分校）
极端多标签分类（XMC）的目标是从一个非常大的可能标签集合中用一小部分相关标签来标记一个实例。除了大量的训练实例、特征和标签所带来的计算负担之外，XMC中的问题还面临着两个统计挑战，（i）大量的“尾部标签”--那些很少出现的标签，以及（ii）丢失的标签，因为几乎不可能手动将每个相关标签分配给实例。在这项工作中，我们推导出一个无偏估计量的损失函数，分解标签的一般制定，然后推断的形式，常用的损失函数，如铰链和平方铰链损失和二进制交叉熵损失。我们表明，派生的无偏估计量，在适当的加权因子的形式，可以很容易地纳入国家的最先进的极端分类算法，从而扩展到数据集与数十万个标签。然而，根据经验，我们发现了一个稍微改变的版本，它为尾部标签提供了更多的相对权重，从而表现得更好。我们怀疑这是由于数据集中的标签不平衡，我们的理论推导估计量没有明确解决这一问题。在XMC的基准数据集上，最小化所提出的损失函数导致了对现有方法的显着改进（在某些情况下高达20%）。
2020-07-01 cs.LG stat.ML
Deep Learning is Provably Robust to Symmetric Label Noise
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
深度神经网络（DNN）能够完美地拟合训练数据，包括记忆噪声数据。人们普遍认为，死记硬背不利于概括。因此，许多最近的作品提出缓解策略，以避免嘈杂的数据或正确的记忆。在这项工作中，我们退一步问一个问题：深度学习是否可以在没有任何缓解的情况下对大量标签噪声保持鲁棒性？我们为对称标签噪声的情况提供了肯定的答案：我们发现某些DNN，包括欠参数化和过参数化模型，可以容忍高达信息论阈值的大规模对称标签噪声。通过诉诸经典统计理论和DNN的普遍一致性，我们证明了对于多类分类，如果标签噪声概率小于$\frac{K-1}{K}$，其中$K \ge 2$是类的数量，则在对称标签噪声下训练的$L_1$一致DNN分类器可以渐近地实现贝叶斯最优性。我们的研究结果表明，对称标签噪声，没有缓解是必要的$L_1$ -相合估计量。我们推测，对于一般的标签噪声，利用噪声数据的缓解策略将优于那些忽略噪声数据的策略。
2022-10-26 cs.LG stat.ML
Confidence Scores Make Instance-dependent Label-noise Learning Possible
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Hong Kong Baptist University（香港浸会大学）；University of Sydney（悉尼大学）；University of Tokyo（东京大学）
在带噪声标签的学习中，对于每个实例，其标签可以随机地沿着称为噪声模型的过渡分布移动到其他类。研究得很好的噪声模型都是与实例无关的，也就是说，转换只取决于原始标签，而不是实例本身，因此它们在野外不太实用。幸运的是，已经研究了基于实例相关噪声的方法，但大多数方法都依赖于对噪声模型的强假设。为了缓解这个问题，我们引入了置信度评分的实例相关噪声（CSIDN），其中每个实例标签对都配备了置信度评分。我们发现，在置信度的帮助下，每个实例的转移分布可以近似估计。类似于强大的前向校正实例无关的噪声，我们提出了一种新的CSIDN的实例级前向校正。我们证明了我们的方法的实用性和有效性，通过多个实验下的合成标签噪声和真实世界的未知噪声。
2021-02-22 cs.LG stat.ML
Constrained Instance and Class Reweighting for Robust Learning under Label Noise
Google Research（谷歌研究院）
深度神经网络在监督学习中表现出令人印象深刻的性能，这是由于它们能够很好地适应所提供的训练数据。然而，它们的性能在很大程度上取决于训练数据的质量，并且在存在噪声的情况下经常会降低。我们提出了一个原则性的方法来处理标签噪声，目的是为单个实例和类标签分配重要性权重。我们的方法通过制定一类约束优化问题，这些重要性权重产生简单的封闭形式更新。所提出的优化问题是解决每个小批量，这消除了存储和更新整个数据集的权重的需要。我们的优化框架还提供了一个理论的角度对现有的标签平滑算法，以解决标签噪声（如标签自举）。我们在几个基准数据集上评估了我们的方法，并在存在标签噪声的情况下观察到相当大的性能增益。
2021-11-09 cs.LG stat.ML
Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
深度神经网络需要大量的标记数据来实现良好的性能。在现实世界的应用中，标签通常是从非专家（如众包）收集的，以节省成本，因此是嘈杂的。在过去的几年中，已经开发了用于处理噪声标签的深度学习方法，其中许多方法是基于小损失标准的。然而，很少有理论分析来解释为什么这些方法可以从噪声标签中学习。在本文中，我们从理论上解释了为什么广泛使用的小损耗准则的作品。在此基础上，我们重新定义了小损失准则，以更好地处理噪声标签。实验结果验证了我们的理论解释，也证明了改革的有效性。
2021-06-17 cs.LG stat.ML
Do We Need to Penalize Variance of Losses for Learning with Label Noise?
Hunan University（湖南大学）；University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；University of Melbourne（墨尔本大学）
最小化平均损失的算法已经被广泛设计用于处理噪声标签。直觉上，当训练样本有限时，惩罚损失的方差将提高算法的稳定性和推广性。有趣的是，我们发现对于带噪声标签的学习问题，方差应该增加。具体而言，增加方差将提高记忆效果，减少错误标签的危害。利用标签噪声转移矩阵，可以很容易地设计正则化器，以减少损失的方差，并插入到许多现有的算法。经验上，通过增加损失的方差，所提出的方法显着提高了合成和真实世界数据集上基线的泛化能力。
2022-01-30 cs.LG stat.ML
Particle Competition and Cooperation for Semi-Supervised Learning with Label Noise
São Paulo State University (UNESP)（圣保罗州立大学）；University of São Paulo (USP)（圣保罗大学）；Federal University of São Paulo (Unifesp)（圣保罗联邦大学）
半监督学习方法通常用于数据集的分类，其中只有一小部分数据项被标记。在这些场景中，标签噪声是一个至关重要的问题，因为噪声可能很容易传播到大部分甚至整个数据集，导致分类准确性大幅下降。因此，在半监督学习中，研究新的技术来降低标签噪声的影响是一个至关重要的问题。近年来，基于粒子竞争与合作的图基半监督学习方法被提出。在该模型中，粒子在由数据集构造的图中行走。竞争发生在代表不同类别标签的粒子之间，而合作发生在具有相同标签的粒子之间。本文提出了一种新的粒子竞争与合作算法，专门设计来增加对标签噪声存在的鲁棒性，提高其标签噪声容忍度。与其他方法不同的是，该方法不需要单独的技术来处理标签噪声。它在一个独特的过程中执行未标记节点的分类和受标签噪声影响的节点的重新分类。计算机模拟表明，当应用到一些人工和真实世界的数据集，其中我们引入了越来越多的标签噪声的分类精度所提出的方法。分类精度相比，以前的粒子竞争和合作算法和其他代表性的基于图的半监督学习方法使用相同的场景。结果表明了该方法的有效性。
2020-02-12 cs.LG stat.ML
Binary Classification with Instance and Label Dependent Label Noise
University of California, Berkeley（加州大学伯克利分校）
针对实例与标签共同依赖的标签噪声二分类问题，本文通过匹配上下界证明经验风险最小化达到最优超额风险，并说明无干净样本或强分布假设时无法仅靠含噪样本学习。
2023-06-06 cs.LG stat.ML
A Simple Probabilistic Method for Deep Classification under Input-Dependent Label Noise
Google AI（谷歌AI）
带有噪声标签的数据集在分类方法的实际应用中很常见。我们提出了一种简单的概率方法，用于在输入相关（异方差）标签噪声下训练深度分类器。我们假设一个潜在的异方差生成过程的噪声标签。为了使基于梯度的训练可行，我们使用温度参数化softmax作为对假设生成过程的平滑近似。我们说明了softmax温度控制近似的偏差方差权衡。通过调整softmax温度，我们提高了准确性，对数似然和校准的图像分类基准与控制标签噪声以及Imagenet-21 k，其中自然发生的标签噪声。对于图像分割，我们的方法将PASCAL VOC和Cityscapes数据集上的平均IoU比最先进的模型增加了1%以上。
2020-11-12 cs.LG stat.ML
On the Role of Label Noise in the Feature Learning Process
RIKEN AIP（日本理化学研究所先进智能研究中心）；University of Sydney（悉尼大学）；Simon Fraser University（西蒙弗雷泽大学）；University of Tokyo（东京大学）
本文从特征学习角度理论刻画标签噪声作用，分析两层CNN训练两阶段：先拟合干净样本、后过拟合噪声，为早停和样本选择提供理论依据，实验验证理论。
2025-05-25 cs.LG stat.ML
Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks
D-Wave Systems Inc.（D-Wave系统公司）
收集带有高质量标签的大型训练数据集是昂贵且耗时的。本文提出了一种新的框架，用于从可以廉价获得的噪声标记数据集训练深度卷积神经网络。该问题使用无向图形模型来制定，该模型表示在半监督设置中训练的噪声和清洁标签之间的关系。在我们的公式中，对潜在清洁标签的推断是易于处理的，并且在训练期间使用辅助信息源进行正则化。将该模型应用于图像标记问题，并在CIFAR-10和MS COCO数据集上的训练中有效地标记未见过的图像以及减少标签噪声。
2017-11-03 cs.LG stat.ML
Curriculum Loss: Robust Learning and Generalization against Label Corruption
Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）
深度神经网络（DNN）具有强大的表达能力，甚至可以记住带有错误标签的样本。在DNN中重申鲁棒性和泛化性对标签损坏至关重要。为此，本文研究了0-1损失，它与经验对手（重新加权）风险\citep{hu2016does}具有单调关系。虽然0-1损失具有一些鲁棒性，但难以优化。为了有效地优化0-1损失，同时保持其鲁棒性，我们提出了一种非常简单和有效的损失，即课程损失（CL）。我们的CL是一个更严格的上限的0-1损失相比，传统的总和为基础的替代损失。此外，CL可以自适应地选择用于模型训练的样本。因此，我们的损失可以被视为课程样本选择策略的一个新视角，它在课程学习和鲁棒学习之间架起了一座桥梁。基准数据集上的实验结果验证了所提出的损失的鲁棒性。
2020-02-21 cs.LG stat.ML
Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model
Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Hong Kong Polytechnic University（香港理工大学）
数据量的急剧增加往往会带来数据质量的严重下降，如不正确的标签标注，这对鲁棒训练深度神经网络（DNN）提出了很大的挑战。现有的学习\mbox{methods}与标签噪声采用ad-hoc算法或限制到特定的噪声假设。然而，更一般的情况下，如依赖实例的标签噪声，还没有得到充分的探讨，因为很少的研究集中在他们的标签腐败过程。通过将实例分类为混淆实例和非混淆实例，本文提出了一种简单而通用的概率模型，该模型将噪声标签与其实例显式关联。所得到的模型可以通过DNN来实现，其中训练过程通过采用交替优化算法来完成。在具有合成和真实世界标签噪声的数据集上的实验验证了所提出的方法在鲁棒性上比最先进的方法有显着的改进。
2022-03-17 cs.LG stat.ML
When Optimizing $f$-divergence is Robust with Label Noise
University of California, Santa Cruz（加州大学圣克鲁兹分校）
我们表明，当最大化一个正确定义的$f$ -发散措施相对于分类器的预测和监督标签是强大的标签噪声。利用它的变分形式，我们得到一个很好的解耦属性的家庭$f$的分歧措施时，标签噪声的存在，其中的分歧是一个线性组合的变分差定义的清洁分布和偏见项由于噪声。上述推导有助于我们分析不同$f$ -发散函数的鲁棒性。随着建立的鲁棒性，这个家庭的$f$发散函数出现作为有用的度量的问题，学习与噪声标签，这不需要规范的标签的噪声率。当它们可能不健壮时，我们会提出修复措施来使它们变得健壮。除了分析结果，我们提出了彻底的实验证据。我们的代码可在https://github.com/UCSC-REAL/Robust-f-divergence-measures上获得。
2021-08-18 cs.LG stat.ML
Identifiability of Label Noise Transition Matrix
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
噪声转移矩阵在带噪声标签的学习问题中起着核心作用。在许多其他原因中，大量现有的解决方案依赖于对它的访问。识别和估计没有地面真值标签的转移矩阵是一项关键且具有挑战性的任务。当标签噪声转移依赖于每个实例时，识别实例依赖的噪声转移矩阵的问题变得更具挑战性。尽管最近的工作提出了解决方案，从实例相关的嘈杂标签学习，该领域缺乏统一的理解，当这样的问题仍然是可识别的。本文的目的是刻画标签噪声转移矩阵的可识别性。在Kruskal的可识别性结果的基础上，我们能够证明多个噪声标签在识别实例级别的通用情况下的噪声转移矩阵的必要性。我们进一步实例化的结果，以解释国家的最先进的解决方案的成功，以及如何额外的假设减轻了多个嘈杂的标签的要求。我们的研究结果还表明，解开的功能是有助于在上述识别任务，我们提供了经验证据。
2022-07-04 cs.LG stat.ML
CCMN: A General Framework for Learning with Class-Conditional Multi-Label Noise
College of Computer Science and Technology（计算机科学与技术学院）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
类条件噪声通常存在于机器学习任务中，其中类标签以取决于其基础事实的概率被破坏。为了提高模型对类条件噪声的鲁棒性，人们进行了大量的研究。然而，它们通常通过假设只有一个标签被损坏来关注单个标签的情况。在实际应用中，一个实例通常与多个标签相关联，这些标签可能会同时损坏其各自的条件概率。在本文中，我们形式化这个问题作为一个通用的框架学习类条件多标签噪声（CCMN）。我们建立了两个求解CCMN问题的具有误差界的无偏估计，并进一步证明了它们与常用的多标号损失函数是一致的。最后，在CCMN框架下，利用无偏估计器实现了一种新的部分多标记学习方法。在多个数据集和多种评价指标上的实证研究验证了该方法的有效性。
2021-05-16 cs.LG stat.ML
Peer Loss Functions: Learning from Noisy Labels without Knowing Noise Rates
UC Santa Cruz（加州大学圣克鲁兹分校）；Shanghai Jiao Tong University（上海交通大学）
带噪声标签的学习是监督学习中的一个常见挑战。现有的方法通常要求从业者指定噪声率，即，一组控制问题中标签噪声严重性的参数，以及假定给定或使用附加步骤估计的规格。在这项工作中，我们引入了一个新的家庭的损失函数，我们命名为同行的损失函数，这使得学习噪声标签，不需要先验规范的噪声率。对等损失函数在标准经验风险最小化（ERM）框架内工作。我们表明，在温和的条件下，执行ERM与同行损失函数的噪声数据集导致最佳或接近最佳的分类，如果执行ERM的干净的训练数据，我们没有访问。我们将我们的结果与一组广泛的实验配对。当面对潜在的噪声训练标签时，对等点损失提供了一种简化模型开发的方法，并且在这种情况下可以被提升为鲁棒的候选损失函数。
2020-08-14 cs.LG stat.ML
NoiseRank: Unsupervised Label Noise Reduction with Dependence Models
University of Southern California（南加州大学）；Facebook AI（Facebook人工智能）
标签噪声在从噪声通道获取的数据集中越来越普遍。现有的检测和去除标签噪声的方法通常依赖于某种形式的监督，这是不可扩展的和容易出错的。在本文中，我们提出了NoiseRank，使用马尔可夫随机场（MRF）的无监督标签降噪。我们构建了一个依赖模型来估计给定数据集的实例被错误标记的后验概率，并根据估计的概率对实例进行排名。我们的方法1）不需要来自地面真实标签的监督，或者标签或噪声分布的先验。2)它是可解释的设计，使标签噪声去除的透明度。3)它对分类器架构/优化框架和内容模态是不可知的。这些优点使得在真实噪声设置中具有广泛的适用性，不像受一个或多个条件约束的现有工作。NoiseRank改进了Food 101-N（~20%噪声）的最新分类，并对高噪声Clothing-1 M（~40%噪声）有效。
2020-03-15 cs.CV cs.LG stat.ML
Classification with unknown class-conditional label noise on non-compact feature spaces
University of Birmingham（伯明翰大学）
我们研究了存在未知类条件标签噪声的分类问题，其中学习者观察到的标签已被损坏，具有一些未知的类相关概率。为了获得有限的采样率，以前的分类方法与未知的类条件标签噪声要求的回归函数是接近其极值集的大措施。我们将在非紧度量空间中考虑这个问题，其中回归函数不需要达到它的极值。在这种情况下，我们确定最小最大最优学习率（直到对数因子）。速率显示有趣的阈值行为：当回归函数以足够的速率接近其极值时，最佳学习速率与在无标签噪声设置中获得的学习速率具有相同的顺序。如果回归函数更逐渐地接近其极值，则分类性能必然降低。此外，我们提出了一种自适应算法，达到这些速率没有先验知识的分布参数或局部密度。这是第一次识别出在标签噪声设置中可以实现有限采样率的情况，但它们不同于没有标签噪声的最佳速率。
2019-06-09 cs.LG stat.ML
On Symmetric Losses for Learning from Corrupted Labels
The University of Tokyo（东京大学）；RIKEN Center of Artificial Intelligence Project（理化学研究所人工智能项目中心）
本文旨在提供一个更好的理解对称损失。首先，我们强调，使用对称损失是有利的，在平衡的错误率（BER）最小化和面积下的接收器工作特性曲线（AUC）最大化从损坏的标签。其次，我们证明了对称损失的一般理论性质，包括分类校准条件，超额风险界，条件风险最小化，AUC一致性条件。第三，由于所有的非负对称损失是非凸的，我们提出了一个凸屏障铰链损失，显着受益于对称条件，虽然它不是处处对称。最后，我们进行实验来验证对称条件的相关性。
2019-09-07 cs.LG stat.ML
Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization
Tsinghua University（清华大学）
（部分）排名损失是多标签分类的常用评估指标，通常使用凸代理进行优化以提高计算效率。以前的理论工作多标签排名主要集中在（Fisher）的一致性分析。然而，现有的理论和实践之间存在差距-一些成对损失可以导致有希望的性能，但缺乏一致性，而一些单变量损失是一致的，但通常在实践中没有明显的优势。本文试图从学习算法的一致性和泛化误差界两个互补的角度对这一问题进行系统的研究。我们的研究结果表明，一致的单变量损失的学习算法有一个错误界$O(c)$（$c$是标签的数量），而不一致的成对损失的算法依赖于$O(\sqrt{c})$在以前的工作。这说明后者在实际应用中可以取得比前者更好的性能。此外，我们提出了一个不一致的重加权单变量损失为基础的学习算法，享有$O(\sqrt{c})$的错误界有前途的性能，以及单变量损失的计算效率。最后，实验结果验证了我们的理论分析。
2021-05-10 cs.LG stat.ML
How does Early Stopping Help Generalization against Label Noise?
Graduate School of Knowledge Service Engineering（知识服务工程研究生院）
噪声标签在真实世界的训练数据中非常普遍，由于对噪声标签的过拟合，导致测试数据的泛化能力差。在本文中，我们声称，这种过拟合可以通过“早期停止”训练深度神经网络之前，嘈杂的标签被严重记忆。然后，我们使用“最大安全集”重新训练早期停止的网络，该集在自早期停止点以来的每个时期保持几乎肯定真实标记的样本的集合。把它们放在一起，我们新的两阶段训练方法，称为Prestopping，实现了在任何类型的标签噪声下的无噪声训练，以供实际使用。使用四个图像基准数据集的大量实验验证了我们的方法显着优于四个国家的最先进的方法在测试误差0.4-8.2个百分点的存在下，现实世界的噪声。
2020-09-08 cs.LG stat.ML
Fast Rates for a kNN Classifier Robust to Unknown Asymmetric Label Noise
University of Birmingham（伯明翰大学）
我们认为分类存在类相关的非对称标签噪声与未知的噪声概率。在这种情况下，识别条件是已知的，但额外的假设被证明是需要有限的采样率，到目前为止，只有参数率已获得。假设这些可识别性条件，以及回归函数的测量平滑条件和Tsybakov的裕度条件，我们证明了Gao等人的Robust kNN分类器达到了无噪声设置的最小最大最优速率，直到对数因子，即使在具有未知非对称标签噪声的数据上训练。因此，我们的研究结果提供了坚实的理论支持，这个经验上成功的算法。相比之下，标准kNN在非对称标签噪声的设置中甚至不一致。在我们的分析中的一个关键思想是一个简单的kNN为基础的方法来估计一个函数的最大值，需要远远少于现有的模式估计的假设，这可能是独立的噪声比例估计和随机优化问题的兴趣。
2019-06-11 cs.LG stat.ML
Quantifying the Impact of Label Noise on Federated Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of California, Davis（加利福尼亚大学戴维斯分校）
本文定量研究了标签噪声对联邦学习的影响，推导出泛化误差上界与噪声水平呈线性关系，并通过MNIST和CIFAR-10实验验证了准确率随噪声线性下降且高噪声会减缓收敛并导致过拟合。
2023-04-03 cs.LG stat.ML
Every Untrue Label is Untrue in its Own Way: Controlling Error Type with the Log Bilinear Loss
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
近年来，深度学习已成为机器学习许多应用领域的首选方法，特别是对于多类分类任务。在此上下文中使用的最常见的损失函数是交叉熵损失，其在存在单个正确响应标签的典型情况下减少到对数损失。虽然在错误分类的情况下，这种损失对所分配的类别的身份不敏感，但在实践中，通常情况下，某些错误可能比其他错误更有害。在这里，我们提出了双线性损失（和相关的对数双线性损失），它区别地惩罚模型的不同错误分配。我们使用标准模型和基准图像数据集彻底测试了这种方法。作为一个应用程序，我们展示了这种方法在分层标记的CIFAR100数据集中更好地将错误包含在正确的超类中的能力，而不会影响分类器的整体性能。
2017-04-20 cs.LG stat.ML
Loss factorization, weakly supervised learning and label noise robustness
Australian National University（澳大利亚国立大学）；NICTA（国家信息与通信技术研究院）；École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学与科学研究所）
我们证明了经验风险的最知名的损失函数因素到一个线性项聚合的所有标签与一个长期的标签是免费的，并可以进一步表示的损失的总和。这甚至适用于非光滑、非凸损失和任何RKHS。第一项是一个（核）平均算子-这项工作的焦点量-我们的特点是标签的充分统计。结果收紧已知的泛化范围，并揭示了新的光对他们的解释。因子分解在弱监督学习中有直接的应用。特别是，我们证明了算法，如SGD和近端方法可以适应以最小的努力来处理弱监督，一旦平均算子估计。我们将这一想法应用于非对称噪声标签的学习，连接和扩展先前的工作。此外，我们发现，大多数损失享有的数据依赖（平均算子）形式的噪声鲁棒性，与已知的负面结果。
2016-02-09 cs.LG stat.ML
Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations
University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Sydney（悉尼大学）；RIKEN（理化学研究所）
现有的研究主要集中在合成标签噪声的噪声标签学习。合成噪声虽然具有清晰的结构，极大地促进了统计分析，但往往无法模拟真实世界的噪声模式。最近的文献已经观察到一些提供真实世界噪声数据集的努力，但现有的努力受到两个警告的影响：（1）缺乏地面真实验证使得难以从理论上研究真实世界标签噪声的属性和处理;（2）这些努力通常是大规模的，这可能导致在合理和可访问的计算能力内对鲁棒方法进行不公平的比较。为了更好地理解真实世界的标签噪声，构建具有真实和噪声标签的可控和中等大小的真实世界噪声数据集至关重要。这项工作提出了两个新的基准数据集CIFAR-10 N，CIFAR-100 N，为CIFAR-10，CIFAR-100的训练数据集配备了我们从Amazon Mechanical Turk收集的人类注释的真实世界噪声标签。我们定量和定性地表明，真实世界的噪声标签遵循依赖于实例的模式，而不是经典假设和采用的模式（例如，类相关标签噪声）。然后，我们开始使用CIFAR-10 N和CIFAR-100 N对现有解决方案的子集进行基准测试。我们进一步研究了正确和错误预测的记忆，这进一步说明了人类噪声和类相关合成噪声之间的差异。我们确实表明，与合成标签噪声相比，现实世界的噪声模式带来了新的和突出的挑战。这些观察结果要求我们重新考虑噪声标签的处理，我们希望这两个数据集的可用性将有助于开发和评估未来使用噪声标签解决方案的学习。…
2022-03-27 cs.LG stat.ML
A law of adversarial risk, interpolation, and label noise
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
在监督学习中，已经证明数据中的标签噪声可以插值，而不会影响测试准确性。我们表明，插值标签噪声诱导对抗脆弱性，并证明了第一定理显示标签噪声和任何数据分布的对抗风险之间的关系。如果我们不对学习算法的归纳偏差做任何假设，我们的结果几乎是紧的。然后，我们研究这个问题的不同组成部分如何影响这个结果，包括分布的属性。我们还讨论了非均匀的标签噪声分布，并证明了一个新的定理，表明均匀的标签噪声诱导几乎一样大的敌对风险的最坏的中毒具有相同的噪声率。然后，我们提供了理论和经验证据，均匀的标签噪声比典型的现实世界的标签噪声更有害。最后，我们将展示如何感应偏置放大标签噪声的影响，并认为需要在这个方向上的未来工作。
2023-03-13 cs.CR cs.LG stat.ML
Learning under Temporal Label Noise
University of Toronto（多伦多大学）；MIT（麻省理工学院）；Broad Institute（布罗德研究所）；UCSD（加利福尼亚大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）
本文形式化时间标签噪声问题，证明建模其时变特性的必要性，并提出直接从数据估计噪声函数以训练噪声容忍分类器的方法，在真实数据集上达到最先进性能。
2025-03-16 cs.AI cs.LG stat.ML
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Distilling Effective Supervision from Severe Label Noise
Google Cloud AI（谷歌云人工智能）；Google Brain（谷歌大脑）
收集具有干净标签的大规模数据用于神经网络的监督训练实际上是具有挑战性的。虽然噪声标签通常是廉价的获取，现有的方法遭受了很多标签噪声。本文的目标是在高标签噪声制度的鲁棒训练的挑战。实现这一目标的关键见解是明智地利用一个小的可信集来估计噪声数据的样本权重和伪标签，以便将它们重新用于监督训练。我们提出了一个整体框架，以高度不受标签噪声影响的方式训练深度神经网络。我们的方法在各种类型的标签噪声上设置了最新的技术水平，并在具有真实标签噪声的大规模数据集上实现了出色的性能。例如，在具有$40\%$均匀噪声比并且每个类只有10个可信标记数据的CIFAR100上，我们的方法实现了$80.2{\pm}0.3\%$分类精度，其中出错率仅比在没有标签噪声的情况下训练的神经网络高$1.4\%$。此外，增加噪声比的$80\%$，我们的方法仍然保持了高精度的$75.5{\pm}0.2\%$，相比以前的最佳精度$48.2\%$。源代码：https://github.com/google-research/google-research/tree/master/ieg
2020-06-12 cs.CV cs.LG stat.ML
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）；Cornell University（康奈尔大学）
在噪声数据上执行受控实验对于理解跨噪声水平的深度学习至关重要。由于缺乏合适的数据集，以前的研究只在受控的合成标签噪声上研究了深度学习，而现实世界的标签噪声从未在受控环境中进行过研究。本文有三个贡献。首先，我们建立了第一个来自网络的受控真实世界标签噪声的基准。这个新的基准测试使我们能够第一次在受控设置中研究Web标签噪声。第二个贡献是一个简单但有效的方法来克服合成和真正的噪声标签。我们表明，我们的方法在我们的数据集以及两个公共基准测试（CIFAR和WebVision）上取得了最佳结果。第三，我们进行了迄今为止最大规模的研究，以了解在不同噪声水平、噪声类型、网络架构和训练设置的噪声标签上训练的深度神经网络。数据和代码发布于以下链接：http://www.lujiang.info/cnlw.html
2020-08-27 cs.CV cs.LG stat.ML
Normalized Loss Functions for Deep Learning with Noisy Labels
The University of Melbourne（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）
鲁棒的损失函数对于在存在噪声（不正确）标签的情况下训练准确的深度神经网络（DNN）至关重要。它已被证明，常用的交叉熵（CE）损失是不鲁棒的噪声标签。虽然已经设计了新的损失函数，但是它们仅是部分鲁棒的。在本文中，我们从理论上表明，通过应用一个简单的归一化：任何损失都可以鲁棒噪声标签。然而，在实践中，仅仅是鲁棒性不足以使损失函数训练准确的DNN。通过研究几种鲁棒损失函数，我们发现它们存在欠拟合问题。为了解决这个问题，我们提出了一个框架，建立强大的损失函数称为主动被动损失（APL）。APL结合了两个强大的损失函数，相互促进对方。在基准数据集上的实验表明，由我们的APL框架创建的新损失函数家族可以持续大幅优于最先进的方法，特别是在大噪声率下，例如60%或80%的错误标签。
2020-06-24 cs.CV cs.LG stat.ML
Label Noise Cleaning for Supervised Classification via Bernoulli Random Sampling
本文提出一种基于伯努利随机采样的标签噪声清洗方法，通过建立分类误差与标签噪声水平的线性模型，分离干净与噪声样本，无需先验标签信息。
2026-03-15 cs.LG stat.ME stat.ML
Robust Learning Under Label Noise With Iterative Noise-Filtering
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们考虑在标签噪声存在下训练模型的问题。目前的方法识别具有潜在不正确标签的样本，并通过为它们分配较低的权重或将它们从训练集中完全删除来减少它们对学习过程的影响。然而，在第一种情况下，模型仍然从有噪声的标签中学习;在后一种方法中，好的训练数据可能会丢失。在本文中，我们提出了一种迭代的半监督机制，用于鲁棒学习，该机制排除了噪声标签，但仍然能够从相应的样本中学习。为此，我们添加了一个无监督的损失项，它也可以作为针对剩余标签噪声的正则化器。我们评估我们的方法在不同的噪声比的常见分类任务。我们强大的模型远远优于最先进的方法。特别是对于非常大的噪声比，我们实现了高达20%的绝对改善相比，以前的最佳模型。
2019-06-01 cs.CV cs.LG stat.ML
Analysing the Noise Model Error for Realistic Noisy Label Data
Saarland University（萨尔兰大学）
远程和弱监督允许快速且廉价地获得大量标记的训练数据，但是这些自动注释往往包含大量错误。克服这些噪声标签的负面影响的一种流行技术是噪声建模，其中对潜在的噪声过程进行建模。在这项工作中，我们研究的质量，这些估计的噪声模型从理论上推导出的噪声模型的预期误差。除了评估常用合成噪声的理论结果外，我们还发布了NoisyNER，这是一种来自NLP领域的新的噪声标签数据集，通过现实的远程监督技术获得。它提供了七组具有不同噪声模式的标签，以评估相同实例上的不同噪声级别。并行的、干净的标签使得研究可以利用少量黄金标准数据的场景成为可能。我们的理论结果和相应的实验给出了洞察影响噪声模型估计的因素，如噪声分布和采样技术。
2021-03-01 cs.CL cs.LG stat.ML
Learning from Noisy Labels with Noise Modeling Network
Raytheon BBN Technologies（雷神BBN技术公司）；Apple（苹果公司）
多标签图像分类近年来引起了人们的极大兴趣，并且这种系统的性能经常受到训练数据中不那么罕见的不正确或缺失标签的影响。在本文中，我们扩展了训练分类器的最新技术，以共同处理这两种形式的错误数据。我们通过使用新的噪声建模网络（NMN）对多标签图像中的噪声和缺失标签进行建模来实现这一点，该网络遵循我们的卷积神经网络（CNN），与之集成，形成一个端到端的深度学习系统，可以联合学习噪声分布和CNN参数。NMN直接从噪声数据中学习噪声模式的分布，而不需要任何干净的训练数据。NMN可以对仅取决于真实标签或还取决于图像特征的标签噪声进行建模。我们表明，集成的NMN/CNN学习系统在MSR-COCO数据集和MSR-VTT数据集上，对于不同水平的标签噪声，始终提高了分类性能。我们还表明，噪声性能的改善时，使用多个实例学习方法。
2020-05-01 cs.CV cs.LG stat.ML
Analyze the Robustness of Classifiers under Label Noise
本研究针对监督学习中标签噪声损害模型性能的问题，结合对抗机器学习与重要性重加权技术，以CNN为基础模型调整单样本参数，提升分类器在含噪真实场景中的鲁棒性。
2023-12-12 cs.AI cs.LG stat.ML
Learning with Feature-Dependent Label Noise: A Progressive Approach
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；City University of New York（纽约城市大学）
标签噪声在现实世界的大规模数据集中经常被观察到。噪声是由于各种原因而引入的;它是异质的并且依赖于特征。大多数现有的方法来处理嘈杂的标签分为两类：他们要么假设一个理想的功能独立的噪音，或保持启发式没有理论保证。在本文中，我们提出了一个新的家庭的特征相关的标签噪声，这是更普遍的比常用的i.i.d.。标记噪声并包含广泛的噪声模式。针对这个一般的噪声族，我们提出了一个渐进的标签校正算法，迭代地校正标签和细化模型。我们提供的理论保证表明，对于各种各样的（未知的）噪声模式，用这种策略训练的分类器收敛到与贝叶斯分类器一致。在实验中，我们的方法优于SOTA基线，并且对各种噪声类型和水平具有鲁棒性。
2021-03-27 cs.CV cs.LG stat.AP
Delving into Instance-Dependent Label Noise in Graph Data: A Comprehensive Study and Benchmark
Pohang University of Science（光州科学技术大学）；Korea University（韩国大学）
针对现有图标签噪声研究忽略实例依赖噪声的问题，研究者推出BeGIN基准，含多类真实感噪声图数据集与模拟方法，实验揭示该噪声挑战及节点参数化的作用，为鲁棒GNN研究提供支撑。
2025-06-17 cs.AI cs.LG stat.ML
An Effective Label Noise Model for DNN Text Classification
Wayne State University（韦恩州立大学）；Interactions Digital Roots
由于大型的人工标注数据集存在标记错误，因此能够在存在标签噪声的情况下训练深度神经网络至关重要。虽然带有标签噪声的图像分类模型的训练受到了广泛的关注，但训练文本分类模型却没有受到关注。在本文中，我们提出了一种训练深度网络的方法，该方法对标签噪声具有鲁棒性。这种方法引入了一个非线性处理层（噪声模型），它将标签噪声的统计数据建模到卷积神经网络（CNN）架构中。噪声模型和CNN权重是从有噪声的训练数据中联合学习的，这防止了模型过拟合到错误的标签。通过在几个文本分类数据集上的广泛实验，我们表明这种方法使CNN能够学习更好的句子表示，即使对极端的标签噪声也是鲁棒的。我们发现，适当的初始化和正则化的噪声模型是至关重要的。此外，通过对比的结果集中在大批量大小减轻标签噪声的图像分类，我们发现，改变批量大小并没有太大的影响分类性能。
2019-03-18 cs.CL cs.IR cs.LG
Exploring Loss Design Techniques For Decision Tree Robustness To Label Noise
Auton Lab, Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所Auton实验室）
本研究探讨深度学习损失设计思想能否提升决策树对标签噪声的鲁棒性，发现标准方法无效，需探索新方向。
2024-05-27 cs.AI cs.LG stat.ML
Image Classification with Deep Learning in the Presence of Noisy Labels: A Survey
ASELSAN（ASELSAN公司）；Middle East Technical University（中东技术大学）
随着深度神经网络的发展，图像分类系统最近取得了巨大的飞跃。然而，这些系统需要大量的标记数据来进行充分的训练。收集一个正确注释的数据集并不总是可行的，这是由于几个因素，例如标签过程的昂贵或正确分类数据的困难，即使是专家。由于这些实际挑战，标签噪声是现实世界数据集中的常见问题，文献中提出了许多使用标签噪声训练深度神经网络的方法。尽管深度神经网络对标签噪声相对稳健，但它们过度拟合数据的倾向使它们容易记住甚至是随机噪声。因此，考虑标签噪声的存在并开发对抗算法来消除其不利影响以有效地训练深度神经网络是至关重要的。尽管对标签噪声下的机器学习技术进行了广泛的调查，但文献缺乏对存在噪声标签的情况下明确围绕深度学习的方法的全面调查。本文的目的是提出这些算法，同时将它们分为两个小组之一：基于噪声模型和噪声模型的方法。第一组算法旨在估计噪声结构，并使用此信息来避免噪声标签的不利影响。因此，第二组中的方法试图通过使用鲁棒损失，正则化器或其他学习范式等方法来提出固有的噪声鲁棒算法。
2021-01-11 cs.CV cs.LG stat.ML
Bipartite Ranking From Multiple Labels: On Loss Versus Label Aggregation
Google Research（谷歌研究）
本文研究多二值标签下的二分排序，形式化比较损失聚合与标签聚合的贝叶斯最优解，证明前者可能导致标签独裁，并通过实验支持标签聚合更可取。
2025-06-09 cs.AI cs.IR cs.LG
Countering Noisy Labels By Learning From Auxiliary Clean Labels
Tsinghua University（清华大学）
我们考虑从噪声标签（NL）的学习问题，出现在许多现实世界的应用。除了NL文献中广泛研究的合成噪声之外，我们还将半监督学习（Semi-SL）中的伪标签视为NL的特殊情况。对于这两种类型的噪声，我们认为，现有方法的泛化性能是高度耦合的噪声标签的质量。因此，我们从一个新颖而统一的角度来解决这个问题：从辅助清洁标签中学习。具体来说，我们提出了旋转解耦一致性正则化（RDCR）框架，该框架将基于一致性的方法与自监督旋转任务相结合，以学习噪声容忍表示。实验结果表明，在小噪声条件下，RDCR方法的性能与现有方法相当或更优，而在大噪声条件下，RDCR方法的性能明显优于现有方法。
2019-09-12 cs.CV cs.LG stat.ML
Calibrated Surrogate Losses for Classification with Label-Dependent Costs
我们提出了替代遗憾界的任意替代损失的背景下，二进制分类与标签相关的成本。这样的界限涉及一个分类器的风险，评估相对于一个替代损失，其成本敏感的分类风险。两种方法来替代遗憾界的发展。第一个是Bartlett等人[2006]的直接概括，他们专注于基于边际的损失和成本不敏感的分类，而第二个则采用Steinwart [2007]基于校准函数的框架。非平凡的代理遗憾界存在时，代理损失满足“校准”条件，很容易验证许多常见的损失。我们将这一理论应用到不均匀的保证金损失的类，并表征当这些损失被适当校准。不均匀的铰链，平方误差，指数和S形损失，然后详细处理。
2010-09-14 stat.ML
