Robust identifiability for symbolic recovery of differential equations
Ludwig-Maximilians-Universität München（慕尼黑大学）；University of Tromsø（特罗姆瑟大学）；DLR-German Aerospace Center（德国航空航天中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文研究了噪声对偏微分方程物理定律唯一性与可辨识性的影响，提出了分析噪声下PDE唯一性的数学框架及考虑噪声的新算法，并通过数值实验验证了其有效性。
2024-10-13 cs.LG cs.NA math.NA
On the Identifiability and Estimation of Causal Location-Scale Noise Models
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究异方差位置-尺度噪声模型的因果方向可辨识性，提出基于特征映射与神经网络的两类估计器，并证明前者的联合凹性与一致性，后者在基准上达到最优性能。
2023-06-01 cs.AI cs.LG stat.ML
Rate-Optimal Noise Annealing in Semi-Dual Neural Optimal Transport: Tangential Identifiability, Off-Manifold Ambiguity, and Guaranteed Recovery
Carnegie Mellon University（卡内基梅隆大学）；Sungkyunkwan University（成均馆大学）；University of Seoul（首尔大学）；Korea Institute for Advanced Study（韩国高级研究院）
本文提出通过噪声退火实现半双极神经最优传输的速率最优解，通过理论分析和实验验证，确定了终端噪声水平与内在维度的关系，解决了非流形模糊性和病态问题。
2026-02-04 cs.LG
Crowdsourcing via Annotator Co-occurrence Imputation and Provable Symmetric Nonnegative Matrix Factorization
Oregon State University（俄勒冈州立大学）
从嘈杂的、不完整的和众包的注释中对Dawid-Skene（D&S）模型进行无监督学习一直是一个长期存在的挑战，并且是可靠地标记海量数据的关键一步。最近的一项工作采用了耦合非负矩阵分解（CNMF）的观点，并显示出吸引人的特征：它确保了D\&S模型的可识别性，并且具有低样本复杂度，因为只涉及注释者标签的共现估计。然而，只有当在众包的背景下满足某些限制性条件时，可识别性才成立。优化CNMF标准也是昂贵的-并且收敛保证是难以捉摸的。这项工作将基于成对共现的D&S模型学习问题重新转换为对称NMF（SymNMF）问题-相对于CNMF，它提供了增强的可识别性。在实践中，SymNMF模型通常（在很大程度上）是不完整的，因为一些注释者缺乏共同标记的项目。提出了两种轻量级的同现插补算法。然后，提出了一种低复杂度的移位整流线性单元（ReLU）授权的SymNMF算法来识别D&S模型。各种性能表征（例如，丢失同现可恢复性、稳定性和收敛性）和评估。
2021-06-14 cs.LG eess.SP
Simplex-Structured Matrix Factorization: Sparsity-based Identifiability and Provably Correct Algorithms
Department of Mathematics and Operational Research（数学与运筹学系）；Faculté Polytechnique, Université de Mons（蒙斯大学理工学院）
在本文中，我们提供了新的算法与可识别性保证单纯形结构矩阵分解（SSMF），推广的非负矩阵分解。为SSMF提供可识别性结果的当前最先进的算法依赖于充分分散条件（SSC），其要求数据点在基向量的凸包内良好地分散。在大多数情况下，我们提出的算法恢复唯一分解的条件比SSC弱得多。我们只需要在维数为$d-1$的基向量的凸包的每个面上具有$d$点。关键思想是基于提取包含最大数量的点的小平面。我们说明了我们的方法对合成数据集和高光谱图像的有效性，表明它优于最先进的SSMF算法，因为它能够处理更高的噪声水平，秩亏矩阵，离群值和输入数据，高度违反SSC。
2020-07-22 cs.LG eess.IV eess.SP
Variance-aware Reward Modeling with Anchor Guidance
Department of Data Science and Artificial Intelligence, Hong Kong Polytechnic University（香港理工大学数据科学与人工智能系）；School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院）
本文提出一种通过添加粗粒度响应级锚点标签来解决标准Bradley-Terry奖励模型非识别性问题的框架，改进了奖励建模和下游RLHF性能。
2026-05-12 cs.LG stat.ML
Identifiability-Aware Source Apportionment in City-Scale Advection-Diffusion Systems
New York University（纽约大学）
该研究针对城市空气质量源解析的逆问题，提出IASA框架，结合可识别性分析，实现源活动系数估计、轨迹重建与不确定性评估，在新德里PM2.5数据集上验证了方法的有效性。
2026-08-04 cs.CE cs.LG eess.SP
Towards Unsupervised Causal Representation Learning via Latent Additive Noise Model Causal Autoencoders
Nara Institute of Science and Technology（奈良科学技术大学）；Kyoto University（京都大学）；Ateneo de Manila University（马尼拉大学）
本文提出LANCA模型，通过加性噪声模型作为归纳偏置，实现无监督因果发现，优于现有方法在合成和真实环境中的表现。
2025-12-15 cs.LG stat.ML
Instance-dependent Label-noise Learning under a Structural Causal Model
University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；Hong Kong Baptist University（香港浸会大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Carnegie Mellon University（卡内基梅隆大学）
标签噪声会降低深度学习算法的性能，因为深度神经网络很容易过拟合标签错误。让X和Y分别表示实例和干净标签。当Y是X的原因时，根据该原因已经构建了许多数据集，例如，SVHN和CIFAR，P（X）和P（Y）的分布|（X）纠缠。这意味着无监督的实例有助于学习分类器，从而减少标签噪声的副作用。然而，如何利用因果信息来处理标签噪声问题仍然是难以捉摸的。在本文中，通过利用结构因果模型，我们提出了一种新的生成方法的实例依赖的标签噪声学习。特别是，我们表明，适当建模的实例将有助于识别的标签噪声转移矩阵，从而导致一个更好的分类。从经验上讲，我们的方法在合成和真实世界的标签噪声数据集上都优于所有最先进的方法。
2022-06-03 cs.LG stat.ML
Generator Identification for Linear SDEs with Additive and Multiplicative Noise
The University of Melbourne（墨尔本大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
研究固定初始状态下线性 SDE 生成元的可辨识性，分别给出加性噪声情形的充要条件和乘性噪声情形的充分条件，并以几何解释和仿真验证。
2024-01-21 cs.LG math.ST stat.ML
Does label smoothing mitigate label noise?
Google Research（谷歌研究院）
标签平滑通常用于训练深度学习模型，其中独热训练标签与统一标签向量混合。根据经验，平滑已被证明可以提高预测性能和模型校准。在本文中，我们研究标签平滑是否也是有效的一种手段，应对标签噪声。虽然标签平滑显然放大了这个问题-相当于注入对称噪声的标签-我们展示了它如何涉及到一个一般家庭的损失校正技术的标签噪声文献。建立在这个连接，我们表明，标签平滑是有竞争力的标签噪声下的损失校正。此外，我们表明，当从噪声数据中提取模型时，教师的标签平滑是有益的;这与最近的无噪声问题研究结果相反，并进一步阐明了标签平滑有益的设置。
2020-03-05 cs.LG stat.ML
Disentangling Identifiable Features from Noisy Data with Structured Nonlinear ICA
University of Helsinki（赫尔辛基大学）；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；University of Cambridge（剑桥大学）；Université Paris-Saclay（巴黎萨克雷大学）
我们介绍了一个新的一般识别框架的原则性解开称为结构化非线性独立成分分析（SNICA）。我们的贡献是将深度生成模型的可识别性理论扩展到非常广泛的一类结构化模型。虽然以前的工作已经证明了特定类别的时间序列模型的可识别性，我们的定理将其扩展到更一般的时间结构以及具有更复杂结构（如空间依赖性）的模型。特别是，我们建立的主要结果，该框架的可识别性，即使在存在未知分布的噪声。最后，作为我们的框架的灵活性的一个例子，我们介绍了第一个非线性ICA模型的时间序列，结合了以下非常有用的属性：它占非平稳性和自相关在一个完全无监督的设置;进行降维;隐藏状态模型;并使原则的估计和推理变分最大似然。
2021-10-27 cs.LG stat.ML
Sample Complexity of Causal Identification with Temporal Heterogeneity
本文研究了在时间异质性条件下因果图恢复的样本复杂性，通过整合时间结构与环境异质性，提出了统一的可识别性条件，并揭示了厚尾分布下统计恢复的限制。
2026-02-06 cs.LG stat.ML
Multi-Level Generative Models for Partial Label Learning with Non-random Label Noise
Carleton University（卡尔顿大学）；Northwestern Polytechnical University（西北工业大学）
部分标签（PL）学习解决了每个训练实例与一组候选标签相关联的问题，这些候选标签包括真实标签和不相关的噪声标签。在本文中，我们提出了一种新的多层次生成模型部分标签学习（MGPLL），它解决了这个问题，学习标签级对抗生成器和特征级对抗生成器之间的双向映射框架下的标签向量和数据样本。具体而言，MGPLL使用条件噪声标签生成网络来建模非随机噪声标签并执行标签去噪，并使用多类预测器将训练实例映射到去噪标签向量，而条件数据特征生成器用于形成从去噪标签向量到数据样本的逆映射。噪声标签生成器和数据特征生成器都以对抗的方式学习，以分别匹配观察到的候选标签和数据特征。在合成的和真实世界的部分标签数据集上进行了广泛的实验。所提出的方法展示了部分标签学习的最新性能。
2020-05-11 cs.LG stat.ML
Boosting in the presence of label noise
University of Birmingham（伯明翰大学）
已知提升对标签噪声敏感。我们研究了两种方法来提高AdaBoost对标签错误的鲁棒性。一种是采用标签噪声鲁棒分类器作为基本学习器，而另一种是修改AdaBoost算法以使其更鲁棒。经验评估表明，一个委员会的强大的分类器，虽然收敛速度比非标签噪声感知AdaBoost，仍然容易受到标签噪声。然而，将其与我们在这里提出的新的鲁棒Boosting算法配对，会导致在错误标记下的更有弹性的算法。
2013-09-26 cs.LG stat.ML
Can Less be More? When Increasing-to-Balancing Label Noise Rates Considered Beneficial
University of California, Santa Cruz（加州大学圣克鲁兹分校）
在本文中，我们回答了插入标签噪声（信息量较少的标签）何时可以返回更准确和公平的模型。我们主要受到三个观察结果的启发：1）与降低标签噪声率相比，增加噪声率更容易实现; 2）增加某类实例的标签噪声以平衡噪声率（增加到平衡）导致更容易的学习问题; 3）增加到平衡提高了对标签偏见的公平性保证。在本文中，我们首先量化的权衡引入增加一定组的实例的标签噪声率w.r.t.标签信息量的损失和学习难度的降低。我们分析表明，当这样的增加是有益的，无论是提高泛化能力或公平性保证。然后，我们提出了一种方法来插入标签噪声正确的学习任务与嘈杂的标签，无论是没有或有公平性约束。我们面临的主要技术挑战是由于我们不知道哪些数据实例受到更高噪声的影响，并且我们没有地面真值标签来验证任何可能的假设。我们提出了一种检测方法，该方法可以在不使用地面真实标签的情况下通知我们哪组标签可能会遭受更高的噪声。我们正式建立所提出的解决方案的有效性，并证明了它与广泛的实验。
2021-11-08 cs.LG stat.ML
Robust Deep Ordinal Regression Under Label Noise
IIIT Hyderabad（印度理工学院海得拉巴分校）
真实世界的数据往往容易受到标签噪声的影响，这可能会限制现有的有序回归算法的有效性。现有的有序回归工作不考虑标签噪声。我们提出了一个理论上接地的方法，类条件标签噪声在有序回归问题。我们提出了一个深度学习实现，用于顺序回归的两个常用损失函数，它既对标签噪声具有鲁棒性，又对良好的排名规则具有排名一致性。我们验证了这些属性的算法经验和鲁棒性标签噪声的真实数据和排名的一致性。据我们所知，这是稳健有序回归模型的第一种方法。
2020-01-27 cs.LG stat.ML
Part-dependent Label Noise: Towards Instance-dependent Label Noise
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd（脑启科技有限公司）；RIKEN（理化学研究所）；University of Tokyo（东京大学）
使用\textit{instance-dependent}标签噪声进行学习具有挑战性，因为很难对这种真实世界的噪声进行建模。请注意，有心理和生理证据表明，我们人类通过将实例分解为部分来感知它们。因此，注释器更有可能基于部分而不是整个实例来注释实例，其中从部分到类的错误映射可能导致依赖于实例的标签噪声。受这种人类认知的启发，本文利用\textit{part-dependent}标签噪声来近似实例相关的标签噪声。具体地说，由于实例可以近似地由部分的组合重建，我们近似的实例依赖的\textit{transition matrix}的实例的部分的转移矩阵的组合。可以通过利用锚点（即，几乎肯定属于特定类的数据点）。对合成和真实世界数据集的实证评估表明，我们的方法优于从实例相关标签噪声中学习的最先进方法。
2020-12-03 cs.LG stat.ML
TrustNet: Learning from Trusted Data Against (A)symmetric Label Noise
TU Delft（代尔夫特理工大学）；ABB Future Labs（ABB未来实验室）
对标签噪声的鲁棒性是在大规模数据集上训练的弱监督分类器的关键属性。对标签噪声的鲁棒性是在大规模数据集上训练的弱监督分类器的关键属性。在本文中，我们首先推导出解析界的任何给定的噪声模式。基于这些见解，我们设计了TrustNet，它首先从一小部分可信数据中反向学习噪声损坏的模式，无论是对称的还是非对称的。然后，通过鲁棒的损失函数训练TrustNet，该函数将给定的标签与从学习的噪声模式推断的标签进行加权。权重基于训练时期的模型不确定性进行调整。我们对CIFAR-10和CIFAR-100的合成标签噪声以及具有标签噪声的真实世界数据（即，服装1 M.我们与最先进的方法进行比较，证明了TrustNet在各种噪声模式下的强大鲁棒性。
2020-07-13 cs.LG stat.ML
Robust Loss Functions under Label Noise for Deep Neural Networks
Microsoft（微软）；Indian Institute of Science（印度科学理工学院）
在分类器学习的许多应用中，训练数据都会受到标签噪声的影响。深度网络是使用大量训练数据学习的，其中噪声标签的问题特别相关。目前提出的用于在标签噪声下学习深度网络的技术集中在修改网络架构和从噪声标签中估计真实标签的算法上。另一种方法是寻找固有噪声容限的损失函数。对于二进制分类，存在对标签噪声鲁棒的损失函数的理论结果。在本文中，我们提供了一些充分条件的损失函数，使风险最小化下的损失函数将固有的宽容标签噪声的多类分类问题。这些结果推广了现有的结果对二进制分类的噪声容忍损失函数。我们研究了深度网络中一些广泛使用的损失函数，并表明基于误差平均绝对值的损失函数对标签噪声具有内在的鲁棒性。因此，即使在标签噪声下，标准的反向传播也足以学习真正的分类器。通过实验，我们说明了鲁棒性的风险最小化与这样的损失函数的学习神经网络。
2017-12-27 cs.LG stat.ML
Harmless label noise and informative soft-labels in supervised classification
University of Queensland（昆士兰大学）
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时，提供的标签可能不等于地面真实标签，并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释，则相同的训练示例可以由不同的专家给予不同的类分配，这指示标签噪声。在基于模型的分类框架中，一个简单但关键的观察结果是，当使用类别成员的后验概率对手动标签进行采样时，噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型，用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是，当标签噪声和分类难度正相关时，逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是，当分类难度是标签错误的唯一来源时，与单组地面真实标签相比，多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
Combating Label Noise in Deep Learning Using Abstention
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）
我们介绍了一种新的方法来对抗标签噪声时，训练深层神经网络分类。我们提出了一个损失函数，允许在训练过程中避免混淆，从而允许DNN放弃混淆样本，同时继续学习和提高非弃权样本的分类性能。我们展示了如何在存在不同类型的标签噪声的情况下使用这种深度弃权分类器（DAC）进行鲁棒学习。在结构化或系统性标签噪声的情况下-其中嘈杂的训练标签或令人困惑的示例与数据的底层特征相关-使用排除训练可以对与不可靠标签相关的特征进行表示学习。在非结构化（任意）标签噪声的情况下，训练期间的消除使DAC能够通过识别可能具有标签噪声的样本而用作有效的数据清理器。我们提供了关于损失函数行为的分析结果，这些损失函数行为能够根据训练过程中的学习进度动态适应收敛率。我们展示了深度弃权分类器在不同类型的标签噪声下用于各种图像分类任务的实用性;在任意标签噪声的情况下，我们在多个图像基准上显示出比先前公布的结果有显着改进。源代码可在https://github.com/thulas/dac-label-noise上获得
2019-08-01 cs.LG stat.ML
Learning with Bounded Instance- and Label-dependent Label Noise
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；University of Melbourne（墨尔本大学）
实例和标签相关的标签噪声（ILN）广泛存在于现实世界的数据集，但很少被研究。在本文中，我们专注于有界的实例和标签相关的标签噪声（BILN），一个特殊的情况下，ILN的标签噪声率-的概率，真正的标签的例子翻转到损坏的-有上限小于$1$。具体来说，我们介绍的概念，蒸馏的例子，即例子的标签是相同的标签分配给他们的贝叶斯最优分类器，并证明在一定条件下，分类器学习蒸馏的例子将收敛到贝叶斯最优分类器。受提取的例子学习的想法的启发，我们提出了一个学习算法的理论保证其鲁棒性BILN。最后，在合成数据集和真实数据集上的实验结果表明了该算法在BILN学习中的有效性。
2020-12-11 cs.LG stat.ML
Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；The University of Sydney（悉尼大学）
本文研究噪声多标签学习中类别相关转移矩阵的估计问题，提出一种利用标签相关性且无需锚点和精确后验拟合的新估计器，通过求解双线性分解问题实现可识别估计，并从理论和实验上验证了其有效性和分类性能。
2023-09-22 cs.AI cs.CV cs.LG
Rethinking State Disentanglement in Causal Reinforcement Learning
Australia Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Shanghai Jiao Tong University（上海交通大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；The University of Melbourne（墨尔本大学）
针对因果强化学习中潜在状态可识别性分析忽略RL上下文的问题，提出结合RL上下文移除不必要假设，并用转换和奖励保持约束替代复杂结构约束，实现状态与噪声解耦。
2024-08-24 cs.LG
Identifiability Limits of Gravitational Wave Phase Deviations: Multiclass Classification with a Multihead Neural Network
Heidelberg University（海德堡大学）
本研究利用多头神经网络对引力波相位偏差进行分类与回归，发现识别极限主要源于相邻相位族的相似性，而非网络能力，为引力波检验提供了新见解。
2026-09-29 cs.LG gr-qc physics.data-an
Rethinking the Value of Labels for Instance-Dependent Label Noise Learning
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
针对实例相关标签噪声，提出基于因果表示学习的深度生成模型，避免显式建模噪声转移矩阵，利用结构因果模型监督信息，在合成与真实数据集上显著优于现有方法。
2023-05-14 cs.LG
NoiseRank: Unsupervised Label Noise Reduction with Dependence Models
University of Southern California（南加州大学）；Facebook AI（Facebook人工智能）
标签噪声在从噪声通道获取的数据集中越来越普遍。现有的检测和去除标签噪声的方法通常依赖于某种形式的监督，这是不可扩展的和容易出错的。在本文中，我们提出了NoiseRank，使用马尔可夫随机场（MRF）的无监督标签降噪。我们构建了一个依赖模型来估计给定数据集的实例被错误标记的后验概率，并根据估计的概率对实例进行排名。我们的方法1）不需要来自地面真实标签的监督，或者标签或噪声分布的先验。2)它是可解释的设计，使标签噪声去除的透明度。3)它对分类器架构/优化框架和内容模态是不可知的。这些优点使得在真实噪声设置中具有广泛的适用性，不像受一个或多个条件约束的现有工作。NoiseRank改进了Food 101-N（~20%噪声）的最新分类，并对高噪声Clothing-1 M（~40%噪声）有效。
2020-03-15 cs.CV cs.LG stat.ML
A law of adversarial risk, interpolation, and label noise
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
在监督学习中，已经证明数据中的标签噪声可以插值，而不会影响测试准确性。我们表明，插值标签噪声诱导对抗脆弱性，并证明了第一定理显示标签噪声和任何数据分布的对抗风险之间的关系。如果我们不对学习算法的归纳偏差做任何假设，我们的结果几乎是紧的。然后，我们研究这个问题的不同组成部分如何影响这个结果，包括分布的属性。我们还讨论了非均匀的标签噪声分布，并证明了一个新的定理，表明均匀的标签噪声诱导几乎一样大的敌对风险的最坏的中毒具有相同的噪声率。然后，我们提供了理论和经验证据，均匀的标签噪声比典型的现实世界的标签噪声更有害。最后，我们将展示如何感应偏置放大标签噪声的影响，并认为需要在这个方向上的未来工作。
2023-03-13 cs.CR cs.LG stat.ML
Learning under Temporal Label Noise
University of Toronto（多伦多大学）；MIT（麻省理工学院）；Broad Institute（布罗德研究所）；UCSD（加利福尼亚大学圣迭戈分校）；University of Virginia（弗吉尼亚大学）
本文形式化时间标签噪声问题，证明建模其时变特性的必要性，并提出直接从数据估计噪声函数以训练噪声容忍分类器的方法，在真实数据集上达到最先进性能。
2025-03-16 cs.AI cs.LG stat.ML
Distilling Effective Supervision from Severe Label Noise
Google Cloud AI（谷歌云人工智能）；Google Brain（谷歌大脑）
收集具有干净标签的大规模数据用于神经网络的监督训练实际上是具有挑战性的。虽然噪声标签通常是廉价的获取，现有的方法遭受了很多标签噪声。本文的目标是在高标签噪声制度的鲁棒训练的挑战。实现这一目标的关键见解是明智地利用一个小的可信集来估计噪声数据的样本权重和伪标签，以便将它们重新用于监督训练。我们提出了一个整体框架，以高度不受标签噪声影响的方式训练深度神经网络。我们的方法在各种类型的标签噪声上设置了最新的技术水平，并在具有真实标签噪声的大规模数据集上实现了出色的性能。例如，在具有$40\%$均匀噪声比并且每个类只有10个可信标记数据的CIFAR100上，我们的方法实现了$80.2{\pm}0.3\%$分类精度，其中出错率仅比在没有标签噪声的情况下训练的神经网络高$1.4\%$。此外，增加噪声比的$80\%$，我们的方法仍然保持了高精度的$75.5{\pm}0.2\%$，相比以前的最佳精度$48.2\%$。源代码：https://github.com/google-research/google-research/tree/master/ieg
2020-06-12 cs.CV cs.LG stat.ML
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）；Cornell University（康奈尔大学）
在噪声数据上执行受控实验对于理解跨噪声水平的深度学习至关重要。由于缺乏合适的数据集，以前的研究只在受控的合成标签噪声上研究了深度学习，而现实世界的标签噪声从未在受控环境中进行过研究。本文有三个贡献。首先，我们建立了第一个来自网络的受控真实世界标签噪声的基准。这个新的基准测试使我们能够第一次在受控设置中研究Web标签噪声。第二个贡献是一个简单但有效的方法来克服合成和真正的噪声标签。我们表明，我们的方法在我们的数据集以及两个公共基准测试（CIFAR和WebVision）上取得了最佳结果。第三，我们进行了迄今为止最大规模的研究，以了解在不同噪声水平、噪声类型、网络架构和训练设置的噪声标签上训练的深度神经网络。数据和代码发布于以下链接：http://www.lujiang.info/cnlw.html
2020-08-27 cs.CV cs.LG stat.ML
Feature Noise Boosts DNN Generalization under Label Noise
本文提出并理论证明直接向训练数据特征添加噪声可提升DNN在标签噪声下的泛化能力，通过约束PAC-Bayes泛化界限实现，实验验证其显著增强现有方法性能。
2023-08-03 cs.LG
Learning with Feature-Dependent Label Noise: A Progressive Approach
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；City University of New York（纽约城市大学）
标签噪声在现实世界的大规模数据集中经常被观察到。噪声是由于各种原因而引入的;它是异质的并且依赖于特征。大多数现有的方法来处理嘈杂的标签分为两类：他们要么假设一个理想的功能独立的噪音，或保持启发式没有理论保证。在本文中，我们提出了一个新的家庭的特征相关的标签噪声，这是更普遍的比常用的i.i.d.。标记噪声并包含广泛的噪声模式。针对这个一般的噪声族，我们提出了一个渐进的标签校正算法，迭代地校正标签和细化模型。我们提供的理论保证表明，对于各种各样的（未知的）噪声模式，用这种策略训练的分类器收敛到与贝叶斯分类器一致。在实验中，我们的方法优于SOTA基线，并且对各种噪声类型和水平具有鲁棒性。
2021-03-27 cs.CV cs.LG stat.AP
An Effective Label Noise Model for DNN Text Classification
Wayne State University（韦恩州立大学）；Interactions Digital Roots
由于大型的人工标注数据集存在标记错误，因此能够在存在标签噪声的情况下训练深度神经网络至关重要。虽然带有标签噪声的图像分类模型的训练受到了广泛的关注，但训练文本分类模型却没有受到关注。在本文中，我们提出了一种训练深度网络的方法，该方法对标签噪声具有鲁棒性。这种方法引入了一个非线性处理层（噪声模型），它将标签噪声的统计数据建模到卷积神经网络（CNN）架构中。噪声模型和CNN权重是从有噪声的训练数据中联合学习的，这防止了模型过拟合到错误的标签。通过在几个文本分类数据集上的广泛实验，我们表明这种方法使CNN能够学习更好的句子表示，即使对极端的标签噪声也是鲁棒的。我们发现，适当的初始化和正则化的噪声模型是至关重要的。此外，通过对比的结果集中在大批量大小减轻标签噪声的图像分类，我们发现，改变批量大小并没有太大的影响分类性能。
2019-03-18 cs.CL cs.IR cs.LG
Generating the Ground Truth: Synthetic Data for Soft Label and Label Noise Research
Utrecht University（乌得勒支大学）；University Medical Center Utrecht（乌得勒支大学医学中心）
本文提出SYNLABEL框架，通过基于现实数据生成无噪声数据集并构建真实基准函数，支持软标签和标签分布生成，实现标签噪声的精确注入与量化，为软标签学习和噪声研究提供可调复杂度的干净基准。
2024-09-23 cs.LG
Robust Testing for Deep Learning using Human Label Noise
University of Michigan（密歇根大学）；Vanderbilt University（范德堡大学）
针对合成噪声难以反映真实人工标注错误的问题，提出 CBN 生成特征相关的类人标签噪声以严格测试 LNL 方法，并用 SNLS 提升应对该噪声的能力。
2024-11-29 cs.LG
Non-Convex Boosting Overcomes Random Label Noise
University of California, San Diego（加利福尼亚大学圣迭戈分校）
Adaboost对随机标签噪声的敏感性是一个研究得很好的问题。LogitBoost、BrownBoost和RobustBoost是增强算法，声称对噪声的敏感度低于AdaBoost。我们提出了这些算法的合成和真实数据集上的实验结果进行评估。当标签被不同程度的独立标签噪声破坏时，我们比较了每个数据集上的性能。在存在随机标签噪声的情况下，我们发现BrownBoost和RobustBoost的性能明显优于AdaBoost和LogitBoost，而每对算法之间的差异并不显著。我们提供了一个解释的差异的基础上的利润率分布的算法。
2014-09-09 cs.LG
Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels
University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）；Imperial College London（帝国理工学院）；Meituan（美团）
标签噪声转移矩阵$T$反映了真实标签转变为噪声标签的概率，对于标签噪声建模和统计一致性分类器的设计具有重要意义。传统的转移矩阵仅限于对闭集标签噪声进行建模，其中有噪声的训练数据在有噪声的标签集中具有真实的类别标签。它是不适合采用这样的转移矩阵模型开集标签噪声，其中一些真正的类标签是在嘈杂的标签集。因此，当考虑更现实的情况时，即，出现闭集和开集标签噪声，现有方法将不期望地给出有偏差的解决方案。此外，传统的转移矩阵仅限于模型实例无关的标签噪声，这可能在实践中表现不佳。本文主要研究闭集和开集混合标签噪声下的学习问题。我们通过扩展传统的转移矩阵来解决上述问题，使其能够对混合标签噪声进行建模，并进一步扩展到依赖于集群的转移矩阵，以更好地近似现实世界应用中的依赖于实例的标签噪声。我们提出的过渡矩阵集群相关的扩展转移矩阵。无偏估计器（即，扩展的$T$ -估计器）已经被设计成仅通过利用噪声数据来估计依赖于簇的扩展转移矩阵。综合的合成和真实实验验证了该方法可以更好地建模混合标签噪声，具有比现有的最先进的标签噪声学习方法更强大的性能。
2020-12-02 cs.LG
Inaccurate Label Distribution Learning with Dependency Noise
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出DN-ILDL框架，通过建模依赖噪声、线性映射与图正则化，利用ADMM优化，有效解决不精确标签分布学习问题，并优于现有方法。
2024-05-26 cs.LG
Robustness to Label Noise Depends on the Shape of the Noise Distribution in Feature Space
Los Alamos National Lab（洛斯阿拉莫斯国家实验室）
机器学习分类器已经在经验和理论上被证明在某些条件下对标签噪声具有鲁棒性-特别是典型的假设是标签噪声与给定类别标签的特征无关。我们提供了一个理论框架，通过将标签噪声建模为特征空间上的分布来概括这种典型的假设。我们发现，规模和形状的噪声分布的影响后验似然和形状的噪声分布有一个更强的影响分类性能，如果噪声集中在特征空间的决策边界可以移动。对于均匀标签噪声的特殊情况下（独立的功能和类标签），我们表明，贝叶斯最佳分类器的$c$类是强大的标签噪声，直到噪声样本的比例超过$\frac{c-1}{c}$（例如90%的10类），我们称之为临界点。然而，对于类相关标签噪声的特殊情况（与给定类标签的特征无关），临界点可以低至50%。最重要的是，我们表明，当噪声分布的目标决策边界（标签噪声直接依赖于特征空间），分类鲁棒性可以下降，即使在一个小规模的噪声。即使在评估最近的标签噪声缓解方法时，我们也会看到标签噪声依赖于特征时的准确性降低。这些发现解释了为什么如果噪声分布在特征空间中是均匀的，机器学习通常可以很好地处理标签噪声;但它也指出了当标签噪声集中在决策边界可以移动的特征空间区域时，克服标签噪声的困难。
2022-06-02 cs.AI cs.LG
Noise tolerance of learning to rank under class-conditional label noise
通常，用于训练排名模型的数据受到标签噪声的影响。例如，在网络搜索中，从点击流数据创建的标签由于诸如SERP上的项目描述中的信息不足、用户的查询重构以及不稳定或意外的用户行为等问题而具有噪声。在实践中，如果不对标签生成过程做出强有力的假设，就很难处理标签噪声。因此，从业者通常直接在这些噪声数据上训练他们的学习排名（LtR）模型，而不额外考虑标签噪声。令人惊讶的是，我们经常看到以这种方式训练的LtR模型表现出色。在这项工作中，我们描述了一类噪声容忍LtR损失的经验风险最小化是一个一致的程序，即使在类条件标签噪声的背景下。我们还开发了常用的损失函数的噪声容忍模拟。实验结果进一步支持了我们的理论研究结果的实际意义。
2022-08-17 cs.IR cs.LG
Open-set Label Noise Can Improve Robustness Against Inherent Label Noise
Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在弱监督学习中，带噪声标签的学习是一个具有实际挑战性的问题。在现有的文献中，开集噪声一直被认为是有毒的推广，类似于闭集噪声。在本文中，我们经验表明，开集噪声标签可以是无毒的，甚至有利于对固有的噪声标签的鲁棒性。受观察结果的启发，我们提出了一种简单而有效的正则化方法，将带有动态噪声标签（ODNL）的开集样本引入训练。使用ODNL，神经网络的额外容量可以以不干扰从干净数据中学习模式的方式大量消耗。通过SGD噪声的镜头，我们表明，我们的方法引起的噪声是随机方向，无冲突和有偏的，这可能有助于模型收敛到一个平坦的最小值具有优越的稳定性，并迫使模型产生保守的预测分布外的实例。在含有不同类型噪声标签的基准数据集上的大量实验结果表明，该方法不仅提高了许多现有鲁棒算法的性能，而且即使在标签噪声环境下也能显著改善分布外检测任务。
2021-11-19 cs.AI cs.LG
Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning
针对标签噪声学习中重构方法的隐式耦合问题，提出TRACE双源可靠性评估框架，分别评估观测标签与伪目标，提升了带噪声基准上的重构基线性能与伪监督可靠性。
2026-08-05 cs.CV cs.LG
A Second-Order Approach to Learning with Instance-Dependent Label Noise
University of California Santa Cruz（加州大学圣克鲁兹分校）；The University of Sydney（悉尼大学）
标签噪声的存在经常误导深度神经网络的训练。与最近的文献在很大程度上假设标签噪声率仅由真实标签类别确定不同，人类注释标签中的错误更可能取决于任务的难度水平，从而导致具有实例相关标签噪声的设置。我们首先提供的证据表明，异构的实例相关的标签噪声是有效地降低权重的例子与较高的噪声率在一个非均匀的方式，从而导致不平衡，呈现的策略，直接适用于类相关的标签噪声的方法值得怀疑。基于最近的工作对等损失[24]，我们提出并研究了二阶方法的潜力，该方法利用了在依赖于实例的噪声率和贝叶斯最优标签之间定义的几个协方差项的估计。我们表明，这组二阶统计成功地捕捉到诱导的不平衡。我们进一步表明，与估计的二阶统计量的帮助下，我们确定了一个新的损失函数的分类器的预期风险下的实例相关的标签噪声相当于一个新的问题，只有类相关的标签噪声。这一事实使我们能够应用现有的解决方案来处理这个更好的研究设置。我们提供了一个有效的程序来估计这些二阶统计量，而无需访问地面真值标签或噪声率的先验知识。实验CIFAR10和CIFAR100与合成的实例相关的标签噪声和Clothing1M与现实世界的人类标签噪声验证我们的方法。我们的实现可以在https://github.com/UCSC-REAL/CAL上获得。
2021-03-30 cs.AI cs.LG
An Instance-Dependent Simulation Framework for Learning with Label Noise
DeepMind；Google Research, Brain Team（Google Research 大脑团队）
我们提出了一个模拟框架，通过一个伪标签范例生成依赖于实例的噪声标签。我们表明，与独立和类条件随机翻转相比，用我们的框架生成的合成噪声标签的分布更接近人类标签。配备可控标签噪声，我们研究了噪声标签在一些实际设置中的负面影响，以了解标签噪声何时更成问题。我们还对几种现有的带有噪声标签的学习算法进行了基准测试，并在我们的合成数据集和带有独立随机标签噪声的数据集上比较了它们的行为。此外，从我们的模拟框架的注释器信息的可用性，我们提出了一种新的技术，标签质量模型（LQM），利用注释器功能来预测和纠正嘈杂的标签。我们表明，在应用现有的噪声标签技术之前，通过添加LQM作为标签校正步骤，我们可以进一步提高模型的性能。
2021-10-17 cs.HC cs.LG
Deep Image Retrieval is not Robust to Label Noise
Tinkoff（Tinkoff（俄罗斯丁科夫银行/廷科夫公司，常见译名为廷科夫集团））
大规模数据集对于深度学习在图像检索中的成功至关重要。然而，人工评估错误和半监督注释技术可能会导致标签噪声，即使在流行的数据集。由于以前的工作主要研究图像分类任务中的注释质量，因此仍然不清楚标签噪声如何影响图像检索的深度学习方法。在这项工作中，我们表明，图像检索方法是不太强大的标签噪声比图像分类的。此外，我们首次研究了图像检索任务特定的不同类型的标签噪声，并研究了它们对模型性能的影响。
2022-05-23 cs.CV cs.IR cs.LG
Using Trusted Data to Train Deep Networks on Labels Corrupted by Severe Noise
University of California, Berkeley（加州大学伯克利分校）；University of Chicago（芝加哥大学）；Foundational Research Institute（基础研究所）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
用于深度学习的大规模数据集的重要性日益增加，使得对标签噪声的鲁棒性成为分类器的关键属性。标签噪声的来源包括自动标签、非专家标签和数据投毒对手造成的标签损坏。许多以前的作品假设没有标签的来源可以信任。我们放松这个假设，并假设一个小的子集的训练数据是可信的。这使得标签损坏鲁棒性性能大幅提升。此外，可以通过使用一组具有干净标签的可信数据来对抗特别严重的标签噪声。我们通过提出一种损失校正技术来利用可信数据，该技术以数据高效的方式利用可信示例来减轻标签噪声对深度神经网络分类器的影响。在视觉和自然语言处理任务中，我们在几种强度下对各种标签噪声进行了实验，并表明我们的方法显着优于现有方法。
2019-01-28 cs.CL cs.CV cs.LG
Co-Correcting: Noise-tolerant Medical Image Classification via mutual Label Correction
Beijing University of Chemical Technology（北京化工大学）；China-Japan Friendship Hospital（中日友好医院）
随着深度学习的发展，医学图像分类得到了显著的提高。然而，深度学习需要大量带有标签的数据。虽然由人类专家标记样本是昂贵且耗时的，但从众包收集标签会受到噪声的影响，这可能会降低分类器的准确性。因此，非常需要能够有效地处理标签噪声的方法。不幸的是，最近在深度学习中处理标签噪声的进展在很大程度上没有被医学图像所注意到。为了弥补这一不足，提出了一种抗噪的医学图像分类框架Co-Correcting，通过双网互学习、标签概率估计和课程标签校正，显著提高分类精度，获得更准确的标签。在两个具有代表性的医学图像数据集和MNIST数据集上，我们测试了六种最新的带噪声标签学习方法，并进行了比较研究。实验结果表明，在不同的噪声比下，协同校正算法在不同的任务中都能获得最好的准确率和泛化能力。我们的项目可以在https://github.com/JiarunLiu/Co-Correcting上找到。
2021-09-11 cs.AI cs.CV cs.LG
