Robust Losses from Univariate Base Functions for Noisy-Label Learning
School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院);School of Earth and Space Sciences, Peking University(北京大学地球与空间科学学院)
针对噪声标签学习问题,提出从单变量基函数构建鲁棒多类损失的框架,开发两种方案并分析其性质,推导理论标准,所提损失在多噪声设置下经实验验证有竞争力或更优。
2026-07-21 cs.LG
Learning from Noisy Labels via Conditional Distributionally Robust Optimization
University of Western Ontario(西安大略大学)
针对众包噪声标签导致模型性能下降的问题,提出基于条件分布鲁棒优化(CDRO)的鲁棒伪标签算法,通过似然比检验构建鲁棒参考分布,推导闭式表达式平衡鲁棒性与拟合度,实验表明其优越性。
2024-11-26 cs.LG
Risk-Sensitive Diffusion: Robustly Optimizing Diffusion Models with Noisy Samples
University of Cambridge(剑桥大学)
本文针对含噪非图像数据提出由风险向量参数化的风险敏感SDE,以降低噪声样本对扩散模型优化的负面影响,并在表格与时间序列数据上验证其稳健性和优越性。
2024-10-02 cs.LG
On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent
Centre for Quantum Computation and Intelligent Systems(量子计算与智能系统中心);University of Technology Sydney(悉尼科技大学)
采用凸损失函数的随机梯度下降(SGD)算法的收敛性已被广泛研究。然而,使用凸损失的普通SGD方法不能很好地执行噪声标签,这对SGD方法中原始变量的更新产生不利影响。不幸的是,噪声标签在现实世界的应用中无处不在,例如众包。为了处理噪声标签,在本文中,我们提出了一个家庭的SGD方法的鲁棒损失。通过采用我们的鲁棒损失,SGD方法成功地减少了噪声标签对原始变量每次更新造成的负面影响。我们不仅证明了采用鲁棒损失的SGD方法的收敛速度为O(1/T),而且给出了两种典型鲁棒损失的鲁棒性分析。在6个真实数据集上的综合实验结果表明,在大多数情况下,使用鲁棒损失的SGD方法比其他基线方法具有更好的鲁棒性,并且收敛速度更快。
2016-05-05 cs.LG
Searching for Robustness: Loss Learning for Noisy Classification Tasks
University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
我们提出了一个“学习学习”的方法,自动构建白盒分类损失函数,是强大的标签噪声的训练数据。我们使用泰勒多项式参数化一个灵活的损失函数族,并应用进化策略在这个空间中搜索噪声鲁棒损失。为了学习可应用于新任务的可重用损失函数,我们的适应度函数在一系列训练数据集和架构组合中对其性能进行了综合评分。由此产生的白盒损失提供了一个简单而快速的“即插即用”模块,该模块能够在不同的下游任务中进行有效的噪声鲁棒学习,而不需要特殊的训练过程或网络架构。我们的方法的有效性证明了各种数据集与合成和真实的标签噪声,我们比较有利,以前的工作。
2021-02-27 cs.LG
Robust Learning of Diffusion Models with Extremely Noisy Conditions
University of Auckland(奥克兰大学);Shandong University(山东大学);University of Melbourne(墨尔本大学);King Abdullah University of Science and Technology(国王 Abdullah 科学与技术大学)
本文提出一个鲁棒学习框架,通过学习伪条件并结合时间集成与逆时扩散条件(RDC)技术,有效解决了条件扩散模型在极端噪声条件下的性能退化问题,在图像与策略生成任务上达到SOTA。
2025-10-11 cs.LG
RC-Mixup: A Data Augmentation Strategy against Noisy Data for Regression Tasks
KAIST(韩国科学技术院)
针对回归任务中现有Mixup类数据增强方法无法区分噪声与干净样本的问题,提出RC-Mixup策略,将C-Mixup与多轮鲁棒训练结合产生协同效应,以数据为中心无需修改训练算法,在噪声基准上性能显著优于基线且适配多种鲁棒训练方法。
2024-08-16 cs.LG
RoLNiP: Robust Learning Using Noisy Pairwise Comparisons
IIIT Hyderabad(印度海得拉巴国际信息技术学院)
本文提出了一种鲁棒的方法,从噪声成对比较学习。我们提出了损失函数上的充分条件,在该条件下,风险最小化框架对两两相似的不相似数据中的噪声具有鲁棒性。我们的方法不需要在均匀噪声的情况下的噪声率的知识。在条件噪声的情况下,所提出的方法取决于噪声率。对于这种情况下,我们提供了一个可证明正确的方法来估计噪声率。因此,我们提出了一种端到端的方法来学习鲁棒分类器在这种情况下。我们的实验表明,所提出的方法RoLNiP优于强大的国家的最先进的方法进行学习与嘈杂的成对比较。
2023-03-04 cs.AI cs.LG
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook(脸书)
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现,与没有不确定性估计的神经网络相比,认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能,我们专注于Monte Carlo Dropout(MCDropout),并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究,本文深入研究了噪声标签设置下MCDropout的三个方面:1.功效:了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性:通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性:与确定性神经网络相比,研究MCDropout的网络支持。我们的研究结果表明,MCDropout进一步稀疏化和正则化的确定性神经网络,从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
Geometric Median Matching for Robust k-Subset Selection from Noisy Data
UT Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊公司);UC Berkeley(加州大学伯克利分校);Bespoke Labs;Google(谷歌公司)
针对现有数据剪枝方法在高损坏率下因依赖经验均值估计而失效的问题,提出几何中位数匹配策略,通过迭代选择均值近似于数据集几何中位数的k-子集以确保稳健性,理论证明其收敛率有二次提升,并在图像分类与生成任务中表现优异。
2025-04-03 cs.LG
GRIT: Out-of-Distribution Robustness from Finite and Noisy Invariant Pairs
Purdue University(普渡大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出噪声反事实匹配(NCM)方法,利用少量含噪反事实数据对替代不变表示学习,并证明其测试域误差上界,从而提升模型对虚假相关性的鲁棒性。
2026-10-19 cs.LG
A Simple yet Effective Baseline for Robust Deep Learning with Noisy Labels
Tsinghua University(清华大学);Google Cloud AI(谷歌云人工智能)
最近,深度神经网络已经显示出它们记忆训练数据的能力,即使带有噪声标签,这会损害泛化性能。为了缓解这个问题,我们提供了一个简单但有效的基线方法,即使在严重的噪声下,该方法对噪声标签也具有鲁棒性。我们的目标涉及一个方差正则化项,该项隐含地惩罚整个训练集(包括带有噪音标签的数据)上的神经网络的雅可比范数,这鼓励泛化并防止对损坏的标签的过拟合。在合成生成的错误标签和现实的大规模噪声数据集上的实验表明,我们的方法实现了最先进的性能,对严重噪声具有很高的容忍度。
2019-09-27 cs.LG stat.ML
Noisy-Input Entropy Search for Efficient Robust Bayesian Optimization
Bosch Center for Artificial Intelligence(博世人工智能中心);ETH Zürich(苏黎世联邦理工学院)
我们考虑的稳健优化问题内的良好建立的贝叶斯优化(BO)框架。虽然BO本质上对目标函数的噪声评估是鲁棒的,但标准方法不考虑输入参数的不确定性的情况。在本文中,我们提出了噪声输入熵搜索(NES),一种新的信息理论的采集功能,旨在找到鲁棒的最优输入和测量噪声的问题。NES基于一个关键的认识,即在许多情况下,鲁棒目标可以建模为高斯过程,但不能直接观察到。我们评估NES的优化文献和工程的几个基准问题。结果表明,NES可靠地找到强大的最优,优于现有的方法,从文献中的所有基准。
2020-02-07 cs.LG stat.ML
Robust Graph Embedding with Noisy Link Weights
Kyoto University(京都大学);RIKEN Center for Artificial Intelligence Project (AIP)(理化学研究所人工智能项目中心)
我们提出了$β$ -图嵌入鲁棒学习特征向量的数据向量和噪声链接权重。一个新引入的经验矩$β$ -分数减少污染的影响,并鲁棒地测量潜在的正确的预期权重的链接和指定的生成模型之间的差异。所提出的方法是计算易处理的,我们采用了一个小批量为基础的有效的随机算法,并证明该算法局部最小化的经验矩$β$得分。我们在合成和真实世界的数据集上进行数值实验。
2019-02-22 cs.LG stat.ML
Robust Ordinal VAE: Employing Noisy Pairwise Comparisons for Disentanglement
University of Pittsburgh(匹兹堡大学)
Locatello等人(2018)的最新研究表明,需要电感偏置来解开变分自编码器(VAE)中的感兴趣因素。出于现实世界中的问题,我们提出了一个设置,这样的偏见是通过提供成对的顺序实例之间的比较,根据所需的因素被解开。例如,医生根据患者疾病的严重程度对患者进行比较,所需的因素是疾病严重程度的定量水平。在实际应用中,成对比较通常是有噪声的。我们的方法,鲁棒有序VAE(ROVAE),采用了嘈杂的成对顺序比较的解纠缠任务。我们在ROVAE中引入非负随机变量,使得它可以自动确定每个成对顺序比较是否可信,并且忽略噪声比较。实验结果表明,ROVAE优于现有的方法,是更强大的噪声成对比较在基准数据集和现实世界的应用。
2019-10-14 cs.LG stat.ML
Coresets for Robust Training of Neural Networks against Noisy Labels
University of California Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学)
现代神经网络有能力过拟合在现实世界的数据集中经常发现的噪声标签。虽然已经取得了很大的进展,现有的技术是有限的,在提供理论保证的神经网络的性能与噪声标签。在这里,我们提出了一种新的方法,该方法具有强大的理论保证,可以对使用噪声标签训练的深度网络进行鲁棒训练。我们的方法背后的关键思想是选择干净的数据点,提供一个近似低秩雅可比矩阵的加权子集(coresets)。然后,我们证明了梯度下降适用于子集不过拟合嘈杂的标签。我们广泛的实验证实了我们的理论,并证明在我们的子集上训练的深度网络与现有技术相比具有显著优越的性能,例如,在CIFAR-10上,80%噪声标签的准确性提高6%,在迷你Webvision上的准确性提高7%。
2020-11-15 cs.LG stat.ML
CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
Korea University(高丽大学)
针对PEFT在噪声标签环境下的脆弱性,提出基于路由的CleaR方法,自适应激活模块以优先学习干净样本,实验证明其显著提升噪声环境下的性能。
2024-10-31 cs.AI cs.LG
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST(韩国科学技术院);Google Brain(谷歌大脑);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);AItrics
大规模数据集可能包含相当大比例的噪声(不正确)类标签,并且众所周知,现代深度神经网络(DNN)很难从这种噪声训练数据集进行泛化。为了缓解这个问题,我们提出了一种新的推理方法,称为鲁棒生成分类器(RoG),适用于任何有区别的(例如,softmax)在噪声数据集上预训练的神经分类器。特别是,我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器,以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数,我们显着提高了分类精度,而无需重新训练深度模型,也无需改变其架构。假设特征为高斯分布,我们证明了RoG在噪声标签下比基线更好地推广。最后,我们提出了RoG的集成版本,通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性,给出了通过多种训练技术优化的不同学习模型,以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
Robust Temporal Ensembling for Learning with Noisy Labels
NVIDIA(英伟达)
成功训练带有噪声标签的深度神经网络是一项基本功能,因为大多数真实世界的数据集都包含一些错误标记的数据。如果不加以抑制,标签噪声会严重降低典型的监督学习方法的性能。在本文中,我们提出了鲁棒时间集成(RTE),它结合了鲁棒损失与半监督正则化方法,以实现噪声鲁棒学习。我们证明了RTE在CIFAR-10,CIFAR-100,ImageNet,WebVision和Food-101 N数据集上实现了最先进的性能,同时放弃了最近的标签过滤和/或固定趋势。最后,我们表明,RTE还保留了竞争腐败鲁棒性不可预见的输入噪声使用CIFAR-10-C,获得平均腐败误差(mCE)的13.50%,即使在80%的噪声比的存在下,与26.9%mCE与标准方法的干净数据。
2021-09-29 cs.CV cs.LG
Noisy student-teacher training for robust keyword spotting
Google Inc.(谷歌公司)
我们提出了自训练与嘈杂的学生-教师的方法流关键字发现,可以利用大规模的未标记的数据和积极的数据增强。所提出的方法应用积极的数据增强(光谱增强)的学生和教师的输入,并利用未标记的数据在规模,这显着提高了学生的准确性,对具有挑战性的条件。当与带有硬标记数据的监督训练一起使用时,这种积极的增强通常会降低模型性能。实验表明,积极规范增强基线监督训练方法降低准确性,而提出的自我训练与嘈杂的学生-教师培训提高了一些困难的条件测试集的准确性高达60%。
2021-06-03 cs.LG stat.ML
Robustness and Reliability When Training With Noisy Labels
Linköping University(林雪平大学)
为监督学习标记数据可能是昂贵和耗时的,并且在大型数据集中引入标签噪声的风险迫在眉睫。当使用严格适当的损失来训练灵活的判别模型时,这种噪声将不可避免地使解决方案朝向噪声标签上的条件分布移动。尽管如此,虽然深度神经网络已被证明能够拟合随机标签,但正则化和鲁棒损失函数的使用凭经验减轻了标签噪声的影响。然而,此类观察结果涉及准确性的鲁棒性,如果可靠的不确定性量化至关重要,则这是不够的。我们证明了这一点,通过分析的条件分布的属性在噪声标签的输入相关的噪声模型。此外,我们评估了一组鲁棒的损失函数,其特征在于噪声不敏感,渐近风险最小化。我们发现,严格适当的和强大的损失函数都提供渐近鲁棒性的准确性,但都不能保证最终的模型是校准。此外,即使使用鲁棒损失函数,过拟合在实践中也是一个问题。有了这些结果,我们的目标是解释观察到的鲁棒性常见的训练实践,如早期停止,标签噪声。此外,我们的目标是鼓励开发新的噪声鲁棒算法,不仅保持准确性,但也确保可靠性。
2022-05-12 cs.LG stat.ML
Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments
Advanced Bionics(先进仿生公司)
本文提出了一种基于加权预测误差(WPE)的卡尔曼滤波算法的神经网络增强抗噪在线去混响算法。滤波器随机变化由深度神经网络(DNN)使用滤波器残差和信号特征进行端到端训练来预测。所提出的框架允许在类似于WHAMR!的单通道噪声混响数据集上进行鲁棒的去混响。如果目标语音功率谱密度不是完全已知的并且观测是有噪声的,则卡尔曼滤波WPE在仅从残余误差预测滤波器变化时在增强信号中引入失真。所提出的方法通过以数据驱动的方式校正滤波器变化估计来避免这些失真,从而增加该方法对噪声场景的鲁棒性。此外,与WPE的DNN支持的递归最小二乘变体相比,它产生了强大的去混响和去噪性能,特别是对于高噪声输入。
2022-06-23 cs.LG cs.SD eess.AS
Robust Optimization for Fairness with Noisy Protected Groups
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
机器学习的许多现有公平标准涉及在受保护的群体(如种族或性别)之间均衡一些度量。然而,试图审计或执行这种基于群体的标准的从业人员很容易面临嘈杂或有偏见的受保护群体信息的问题。首先,我们研究天真地依赖于嘈杂的保护组标签的后果:我们提供了一个上界的公平性侵犯的真实组G时,公平性标准是满足嘈杂的组$\hat{G}$。其次,我们介绍了两种新的方法,使用强大的优化,不像单纯的方法,只依赖于$\hat{G}$,保证满足公平性标准的真正的保护组G,同时最小化的训练目标。我们提供了理论保证,这样的方法收敛到一个最佳的可行解。使用两个案例研究,我们经验表明,强大的方法实现更好的真实组公平性保证比天真的方法。
2020-11-10 cs.LG stat.ML
Robust Imitation Learning from Noisy Demonstrations
RIKEN(日本理化学研究所);University of Tokyo(东京大学)
从噪声中进行鲁棒学习是模仿学习中的一个实际而又极具挑战性的问题。在本文中,我们首先从理论上证明了鲁棒模仿学习可以通过优化对称损失的分类风险来实现。基于这一理论发现,我们提出了一种新的模仿学习方法,通过有效地结合伪标记和协同训练来优化分类风险。与现有的方法不同,我们的方法不需要额外的标签或严格的假设噪声分布。连续控制基准上的实验结果表明,我们的方法是更强大的国家的最先进的方法相比。
2021-02-19 cs.AI cs.LG stat.ML
Symbolic Regression on Sparse and Noisy Data with Gaussian Processes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对稀疏和噪声数据下的动力学建模难题,本文提出GPSINDy方法,结合高斯过程回归与SINDy进行数据去噪与方程识别,在仿真和硬件数据上预测轨迹时显著优于基线方法。
2024-10-10 cs.LG cs.SY eess.SY
Robust Contrastive Learning against Noisy Views
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
对比学习依赖于肯定对包含相关视图的假设,例如,图像的块或视频的共同出现的多模态信号,其共享关于实例的某些基础信息。但如果这个假设被违背了呢?文献表明,对比学习在存在噪声视图的情况下产生次优表示,例如,没有明显共享信息的假阳性对。在这项工作中,我们提出了一个新的对比损失函数,是强大的噪声视图。我们提供了严格的理论依据,显示连接到强大的对称损失的嘈杂的二进制分类,并通过建立一个新的对比界互信息最大化的基础上的Wasserstein距离测量。所提出的损失是完全模态不可知的,并且是InfoNCE损失的简单替代品,这使得它很容易应用于现有的对比框架。我们表明,我们的方法提供了一致的改进,在国家的最先进的图像,视频和图形对比学习基准,表现出各种现实世界的噪声模式。
2022-01-12 cs.CV cs.LG
Partial Identification with Noisy Covariates: A Robust Optimization Approach
University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);University of Michigan(密歇根大学)
从观测数据集的因果推断通常依赖于测量和调整协变量。在实践中,协变量的测量值通常可能是有噪声和/或有偏差的,或者只有其代理变量的测量值可用。直接调整协变量的这些不完美测量可能导致有偏的因果估计。此外,在没有额外假设的情况下,由于这些测量中的噪声,因果效应是不可识别的。为此,我们在用户指定的噪音水平假设下,研究了给定噪音协变量的因果效应的部分识别。关键的观察是,我们可以制定的平均治疗效果(ATE)的识别作为一个强大的优化问题。这种配方导致一个有效的强大的优化算法,边界的ATE噪声协变量。我们表明,这种强大的优化方法可以扩展广泛的因果调整方法进行部分识别,包括后门调整,逆倾向得分加权,双机器学习,前门调整。在合成和真实数据集上,我们发现这种方法提供了比现有方法更高的覆盖概率的ATE边界。
2022-02-22 cs.LG stat.ME
Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels
University of Technology Sydney(悉尼科技大学);RIKEN(理化学研究所);Stanford University(斯坦福大学);University of Tokyo(东京大学);Paradigm Inc.(第四范式公司)
带噪声标签的深度学习实际上具有挑战性,因为深度模型的容量非常高,以至于它们迟早可以在训练过程中完全记住这些噪声标签。尽管如此,最近对深度神经网络记忆效果的研究表明,它们会首先记忆干净标签的训练数据,然后是有噪声标签的数据。因此,在本文中,我们提出了一种新的深度学习范式,称为Co-teaching,用于对抗噪声标签。也就是说,我们同时训练两个深度神经网络,并让它们在每个小批量中相互教导:首先,每个网络前馈所有数据并选择一些可能干净标签的数据;其次,两个网络相互交流该小批量中的哪些数据应该用于训练;最后,每个网络反向传播其对等网络选择的数据并更新自己。在有噪声版本的MNIST、CIFAR-10和CIFAR-100上的实验结果表明,在训练的深度模型的鲁棒性方面,协同教学远远优于最先进的方法。
2018-10-30 cs.LG stat.ML
How Does a Neural Network's Architecture Impact Its Robustness to Noisy Labels?
University of Maryland(马里兰大学);Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学)
噪声标签在大型真实世界数据集中是不可避免的。在这项工作中,我们探索了一个以前研究不足的领域-网络的架构如何影响其对噪声标签的鲁棒性。我们提供了一个正式的框架连接网络的鲁棒性,其架构和目标/噪声函数之间的对齐。我们的框架通过其表示中的预测能力来衡量网络的鲁棒性-使用一小组干净标签在学习的表示上训练线性模型的测试性能。我们假设,如果网络的架构与目标函数比噪声更一致,则网络对噪声标签更鲁棒。为了支持我们的假设,我们提供了各种神经网络架构和不同领域的理论和经验证据。我们还发现,当网络与目标函数很好地对齐时,其表示的预测能力可以在测试准确性方面改善最先进的(SOTA)噪声标签训练方法,甚至优于使用干净标签的复杂方法。
2021-11-28 cs.CV cs.LG stat.ML
Tackling the Noisy Elephant in the Room: Label Noise-robust Out-of-Distribution Detection via Loss Correction and Low-rank Decomposition
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Central Florida(中央佛罗里达大学)
针对标签噪声下OOD检测性能退化问题,提出结合损失校正与低秩稀疏分解的鲁棒检测框架,在合成及真实数据集上显著超越现有方法。
2025-09-08 cs.AI cs.LG
Learning Robust Reward Machines from Noisy Labels
Imperial College London(伦敦帝国学院);University of Brescia(布雷西亚大学);Cardiff University(卡迪夫大学)
本文提出PROB-IRM方法,结合鲁棒归纳逻辑编程与贝叶斯后验置信度,从含噪声轨迹中学习奖励机,通过RM与策略交替学习及概率奖励塑形加速训练,使智能体性能接近手工RM的水平。
2025-03-21 cs.AI cs.LG
Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels
Nanjing University of Science and Technology(南京理工大学);JD Explore Academy(京东探索研究院);Nankai University(南开大学)
深度神经网络(DNN)的记忆效应在最近的标签噪声学习方法中起着关键作用。为了利用这种效果,基于模型预测的方法被广泛采用,其目的是在学习的早期阶段利用DNN的输出来纠正噪声标签。然而,我们观察到模型在标签预测过程中会出错,导致性能不理想。相比之下,在学习的早期阶段产生的特征表现出更好的鲁棒性。受这一观察的启发,在本文中,我们提出了一种新的基于特征嵌入的标签噪声深度学习方法,称为LabEl NoiseDilution(LEND)。具体来说,我们首先根据当前嵌入的特征计算一个相似性矩阵,以捕获训练数据的局部结构。然后,由错误标记的数据携带的噪声监督信号被附近正确标记的信号(\textit{i.e.},标签噪声稀释)淹没,其有效性由特征嵌入的固有鲁棒性保证。最后,稀释标签的训练数据进一步用于训练鲁棒分类器。从经验上讲,我们进行了广泛的实验合成和现实世界的噪声数据集比较我们的LEND与几个代表性的强大的学习方法。实验结果验证了LEND算法的有效性。
2022-06-27 cs.AI cs.LG
Robust Handwriting Recognition with Limited and Noisy Data
Carnegie Mellon University(卡内基梅隆大学);The Boeing Company(波音公司)
尽管计算机视觉领域的深度学习已经出现,但一般的手写识别问题还远未解决。大多数现有的方法集中在手写数据集,有明确的书面文本和仔细分割的标签。在本文中,我们专注于从维护日志中学习手写字符,这是一个数据非常有限和嘈杂的约束设置。我们把问题分解为两个连续的阶段,分别是分词和词识别,并利用数据增强技术对这两个阶段进行训练。与流行的场景文本检测和单词识别基线的广泛比较表明,我们的系统实现了较低的出错率,更适合处理嘈杂和困难的文档
2020-08-18 cs.CV cs.LG
Learning Adaptive Loss for Robust Learning with Noisy Labels
Xi’an Jiaotong University(西安交通大学);The Macau University of Science and Technology(澳门科技大学)
鲁棒损失最小化是处理噪声标签鲁棒学习问题的一个重要策略。然而,现有的鲁棒损失函数不可避免地涉及到超参数的人工调整或交叉验证,这使得它们很难在实际中得到普遍应用。此外,损失带来的非凸性以及复杂的网络结构使其容易陷入意想不到的解决方案,泛化能力差。针对上述问题,本文提出了一种自适应学习鲁棒损失函数超参数的元学习方法。具体而言,通过鲁棒损失超参数和网络参数之间的相互改进,在我们的方法,两者可以同时精细学习和协调,以获得具有良好的泛化能力的解决方案。将四种SOTA鲁棒损失函数引入到该算法中,并通过实验验证了该方法的有效性和通用性.
2020-02-16 cs.LG stat.ML
Temporal Calibrated Regularization for Robust Noisy Label Learning
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Peng Cheng Laboratory(鹏城实验室)
深度神经网络(DNN)在大规模良好注释数据集的帮助下在许多任务上取得了巨大成功。然而,标记大规模数据可能非常昂贵且容易出错,使得难以保证注释质量(即,具有噪声标签)。在这些带噪声的标记数据集上进行训练可能会不利地降低其泛化性能。现有的方法要么依赖于复杂的训练阶段划分,要么带来太多的计算,边际性能的改善。在本文中,我们提出了一种时间校准正则化(TCR),其中我们将原始标签和前一个时期的预测结合在一起,使DNN继承它以很少的开销学习的简单模式。我们对各种神经网络架构和数据集进行了广泛的实验,发现它始终增强了DNN对标签噪声的鲁棒性。
2020-07-01 cs.LG stat.ML
Normalized Loss Functions for Deep Learning with Noisy Labels
The University of Melbourne(墨尔本大学);Shanghai Jiao Tong University(上海交通大学)
鲁棒的损失函数对于在存在噪声(不正确)标签的情况下训练准确的深度神经网络(DNN)至关重要。它已被证明,常用的交叉熵(CE)损失是不鲁棒的噪声标签。虽然已经设计了新的损失函数,但是它们仅是部分鲁棒的。在本文中,我们从理论上表明,通过应用一个简单的归一化:任何损失都可以鲁棒噪声标签。然而,在实践中,仅仅是鲁棒性不足以使损失函数训练准确的DNN。通过研究几种鲁棒损失函数,我们发现它们存在欠拟合问题。为了解决这个问题,我们提出了一个框架,建立强大的损失函数称为主动被动损失(APL)。APL结合了两个强大的损失函数,相互促进对方。在基准数据集上的实验表明,由我们的APL框架创建的新损失函数家族可以持续大幅优于最先进的方法,特别是在大噪声率下,例如60%或80%的错误标签。
2020-06-24 cs.CV cs.LG stat.ML
Markov Decision Processes with Noisy State Observation
Stanford University(斯坦福大学)
针对马尔可夫决策过程中的噪声状态观测问题,提出二阶重复动作法和贝叶斯算法族两类噪声估计方法,经仿真验证有效,推进了噪声环境下强化学习的状态估计技术。
2023-12-13 cs.LG cs.SY eess.SY
On Symmetric Losses for Robust Policy Optimization with Noisy Preferences
The University of Tokyo, Japan(东京大学);RIKEN AIP, Japan(日本理化学研究所AIP)
针对人类偏好数据含噪声的问题,本文将奖励建模视为分类问题,提出利用对称损失实现鲁棒策略优化的SymPO方法,并从理论和实验上证明了其在噪声标签下仍能保持奖励保序性以促进策略改进。
2025-05-30 cs.AI cs.LG
An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
我们考虑在受到各种比例的噪声标签的影响时训练鲁棒和准确的深度神经网络(DNN)的问题。大规模数据集往往包含错误标记的样本,这些样本可能会被DNN记住,从而影响性能。通过适当的处理,可以减轻这种退化。需要考虑两个问题:如何区分干净样本和如何处理噪声样本。在本文中,我们提出了增强噪声鲁棒的K折交叉验证选择(E-NKCVS),以有效地从噪声数据中选择干净的样本,解决了第一个问题。对于第二个问题,我们为任何确定具有不确定或可能损坏的标签的样本创建新的伪标签。E-NKCVS为每个样本获得多个预测标签,这些标签的熵用于调整给予伪标签和给定标签的权重。理论分析和广泛的验证算法在噪声标签设置。我们评估我们的方法在各种图像和文本分类任务中的标签已手动损坏不同的噪声比。此外,还使用了两个大型的真实世界噪声数据集,Clothing-1 M和WebVision。经验表明,E-NKCVS对相当大比例的标签噪声具有高度耐受性,并且与最先进的方法相比具有一致的改进。特别是在噪声比更高的更困难的数据集上,我们可以实现比第二好模型的显着改进。此外,我们提出的方法可以很容易地集成到现有的DNN方法中,以提高其对标签噪声的鲁棒性。
2021-07-06 cs.CV cs.LG
LyAm: Robust Non-Convex Optimization for Stable Learning in Noisy Environments
Tarbiat Modares University(塔里亚特莫达雷斯大学);Shahid Beheshti University(沙希德贝赫沙迪大学);Institute for Cognitive and Brain Sciences(认知与脑科学研究所)
针对深度神经网络训练中噪声梯度与不稳定收敛的问题,提出结合Adam与Lyapunov稳定性机制的新型优化器LyAm,理论证明其非凸收敛性,并在CIFAR等数据集上验证了其优于现有方法的准确率与稳定性。
2025-07-15 cs.LG math.OC
Handling Noisy Labels for Robustly Learning from Self-Training Data for Low-Resource Sequence Labeling
Heidelberg University(海德堡大学);Aalto University(阿尔托大学);Saarland University(萨尔兰大学)
在本文中,我们解决的问题,有效地自我训练神经网络在低资源设置。自训练经常用于自动增加训练数据的量。然而,在低资源场景中,由于使用未标记数据的自标记创建的不可靠注释,它的效率较低。我们建议将自训练与自标记数据的噪声处理相结合。在组合的干净训练集和自标记数据上直接估计噪声可能导致干净数据的损坏,因此性能更差。因此,我们提出了清洁和嘈杂的标签神经网络,通过明确地分别对清洁和嘈杂的标签进行建模,同时对清洁和嘈杂的自标记数据进行训练。在我们对组块和NER的实验中,这种方法比基线更鲁棒。作为这种显式方法的补充,噪声也可以在辅助学习任务的帮助下隐式处理。对于这种补充方法,我们的方法比其他基线方法更有益,并且一起提供了最佳的整体性能。
2019-03-28 cs.CL cs.LG
Robust Learning on Noisy Graphs via Latent Space Constraints with External Knowledge
针对图神经网络在噪声边上的脆弱性,提出LSC-GNN,利用外部干净链接约束潜在空间,避免过拟合虚假边,在基准和异构图实验中优于现有方法。
2025-07-07 cs.AI cs.LG
Analysis of classifiers robust to noisy labels
我们探索当代强大的分类算法,以克服类相关的标签噪声:向前,重要性重新加权和T-修订。分类器在类条件随机标签噪声数据上进行训练和评估,而最终的测试数据是干净的。我们展示了估计转移矩阵的方法,以便在处理噪声数据时获得更好的分类器性能。我们将深度学习应用于三个数据集,并从头开始对CIFAR数据集进行端到端的未知噪声分析。对分类器的有效性和鲁棒性进行了分析,并以前一级准确率为标准,对每个实验的结果进行了比较和对比。
2021-06-01 cs.AI cs.CV cs.DS
Noisy Ostracods: A Fine-Grained, Imbalanced Real-World Dataset for Benchmarking Robust Machine Learning and Label Correction Methods
The University of Hong Kong(香港大学);The University of Tokyo(东京大学);Nanjing Institute of Geology and Palaeontology, CAS(中国科学院南京地质古生物研究所)
本文发布含复杂真实噪声、高度不平衡的介形虫细粒度分类数据集 Noisy Ostracods,并通过实验揭示现有鲁棒学习与噪声检测方法的局限,以推动抗噪声机器学习研究。
2024-12-03 cs.CV cs.LG
Robust Neural Machine Translation for Clean and Noisy Speech Transcripts
Amazon(亚马逊)
神经机器翻译模型已经被证明在训练和输入结构良好和标点符号的文本时可以实现高质量。不幸的是,在口语翻译中不满足后一条件,其中输入由自动语音识别(ASR)系统生成。在本文中,我们研究如何适应一个强大的NMT系统,使其强大的典型ASR错误。由于在我们的应用场景中,转录本可能由人类专家进行后期编辑,因此我们提出了适应策略来训练单个系统,该系统可以在不监督输入类型的情况下翻译干净或嘈杂的输入。我们在公共语音翻译数据集上的实验结果表明,在包括ASR成绩单在内的大量并行数据上调整模型对相同类型的测试数据是有益的,但在翻译干净的文本时会产生小的退化。适应相同数据的干净和有噪声的变体可以在两种输入类型上获得最佳结果。
2019-10-22 cs.CL cs.LG
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition
Microsoft(微软)
用于自动语音识别(ASR)的自监督学习(SSL)的目标是从大量未标记的语音中学习良好的语音表示以用于下游的ASR任务。然而,大多数SSL框架没有考虑噪声鲁棒性,这对现实世界的应用至关重要。在本文中,我们提出了wav 2 vec-Switch,一种通过对比学习将噪声鲁棒性编码到语音的上下文表示中的方法。具体来说,我们将原始噪声语音对同时输入wav 2 vec 2.0网络。除了现有的对比学习任务,我们切换的量化表示的原始和嘈杂的语音作为额外的预测目标。通过这样做,它强制网络对原始语音和噪声语音进行一致的预测,从而允许学习具有噪声鲁棒性的上下文表示。我们对合成和真实噪声数据的实验表明,我们的方法的有效性:它实现了2.9- 4.9%的相对字出错率(WER)减少对合成的噪声LibriSpeech数据,而不恶化的原始数据,和5.7%的CHiME-4真正的1通道噪声数据相比,数据增强基线,即使有一个强大的语言模型解码。我们在CHiME-4上的结果可以匹配甚至超过那些设计良好的语音增强组件。
2022-01-26 cs.CL cs.LG cs.SD
Towards Robust Deep Learning with Ensemble Networks and Noisy Layers
McMaster University(麦克马斯特大学);Ryerson University(瑞尔森大学);Vector Institute(向量研究所)
在本文中,我们提供了一种用于深度学习的方法,该方法可以在图像分类类型的网络中防止对抗性示例。该方法依赖于两种机制:1)以牺牲准确性为代价来增加鲁棒性的机制,以及2)提高准确性但并不总是增加鲁棒性的机制。我们表明,结合这两种机制的方法可以在保持准确性的同时提供对抗性示例的保护。我们制定潜在的攻击我们的方法与实验结果,以证明其有效性。我们还为我们的方法提供了鲁棒性保证以及对保证的解释。
2021-01-06 cs.CR cs.LG stat.ML
CrowdTeacher: Robust Co-teaching with Noisy Answers & Sample-specific Perturbations for Tabular Data
Emory University(埃默里大学)
具有地面实况标签的样本在许多领域中可能并不总是可用的。虽然已经探索了从众包标签中学习,但现有模型仍然可能在稀疏,不可靠或发散的注释中失败。协同教学方法已经显示出有希望的改进计算机视觉问题的噪声标签,采用两个分类器训练彼此的置信样本在每一批。受在训练过程中分离自信和不确定样本的想法的启发,我们将其扩展到众包问题。我们的模型CrowdTeacher使用的思想是,输入空间模型中的扰动可以提高分类器对噪声标签的鲁棒性。将众包注释视为噪声标记的来源,我们基于来自聚合注释的确定性来扰动样本。受干扰的样本被输入到协同教学算法中,该算法经过调整以适应较小的表格数据。我们展示了使用CrowdTeacher在各种标签密度设置下对合成和真实数据集的预测能力的提升。我们的实验表明,我们提出的方法击败基线建模个别注释,然后将它们结合起来,方法同时学习分类器和推断真理标签,并通过共同的真理推理方法与聚合标签的协同教学算法。
2021-03-31 cs.AI cs.LG
SIGUA: Forgetting May Make Learning with Noisy Labels More Robust
Hong Kong Baptist University(香港浸会大学);RIKEN(理化学研究所);AAII, University of Technology Sydney(悉尼科技大学人工智能研究所);Paradigm Inc. (Hong Kong)(第四范式(香港));University of Queensland(昆士兰大学);The University of Tokyo(东京大学)
给定带有噪声标签的数据,过度参数化的深度网络可以逐渐记住数据,并最终适应所有内容。尽管配备了对噪声标签的校正,但由于不期望的记忆,该领域的许多学习方法仍然遭受过拟合。在本文中,为了缓解这个问题,我们提出了随机集成梯度欠权上升(SIGUA):在一个小批量,我们采用梯度下降的好数据像往常一样,和学习率降低梯度上升坏数据;该建议是一个通用的方法,数据的好坏是w.r.t.给定基本学习方法的期望或不期望的记忆。从技术上讲,当目标相互冲突时,SIGUA会将优化拉回以进行泛化;从理论上讲,SIGUA表明忘记不需要的记忆可以加强需要的记忆。实验表明,SIGUA成功地鲁棒两个典型的基础学习方法,使他们的性能往往显着提高。
2020-10-16 cs.LG stat.ML
Robust Sparse Bayesian Learning Based on Minimum Error Entropy for Noisy High-Dimensional Brain Activity Decoding
Department of Computational Brain Imaging, ATR Neural Information Analysis Laboratories(计算脑成像部门,ATR神经信息分析实验室)
研究旨在构建鲁棒稀疏贝叶斯学习框架解决噪声高维脑电活动解码问题。基于最小误差熵学习准则,在广义贝叶斯范式下重构框架,所提算法在解码任务中性能更优且模式更具生理可解释性。
2026-07-07 cs.LG eess.SP
Robust Self-Training with Closed-loop Label Correction for Learning from Noisy Labels
本文提出一种基于解耦双层优化的自训练标签修正框架,通过分类器和神经修正函数的协同进化,在小规模干净数据基础上利用噪声后验模拟和中间特征转移真实知识,形成闭环反馈系统以防止误差放大,实验表明其在CIFAR和Clothing1M等数据集上具有更优性能。
2026-03-14 cs.AI cs.CV cs.LG
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);Biomedical Engineering, Rochester Institute of Technology(罗切斯特理工学院生物医学工程系)
本文提出结合LNL与主动学习的两阶段标签精炼框架,引入梯度方差采样少数类,在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
Mitigating Memorization of Noisy Labels by Clipping the Model Prediction
Southern University of Science and Technology(南方科技大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);RIKEN AIP(理化学研究所人工智能研究中心)
针对噪声标签下深度神经网络泛化性能差的问题,提出LogitClip方法通过钳制logit向量范数为损失引入上界,理论验证其耐噪性,实验证明可显著提升CE及多种常用鲁棒损失的噪声鲁棒性与泛化性能。
2023-06-13 cs.AI cs.LG
Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation
Arm Research(Arm研究院);Arizona State University(亚利桑那州立大学)
深度学习的成功引发了人们对计算机硬件设计的兴趣,以更好地满足神经网络推理的高要求。特别地,基于电子、光学或光子器件,模拟计算硬件已经被特别地用于加速神经网络,这可以很好地实现比传统数字电子器件更低的功耗。然而,这些提出的模拟加速器受到其物理组件产生的固有噪声的影响,这使得在深度神经网络上实现高精度具有挑战性。因此,为了在模拟加速器上成功部署,必须能够训练深度神经网络,使其对网络权重中的随机连续噪声具有鲁棒性,这在机器学习中是一个新的挑战。在本文中,我们提出了噪声神经网络的理解。我们概述了一个嘈杂的神经网络如何降低学习能力的结果,其输入和输出之间的互信息的损失。为了解决这个问题,我们建议在训练过程中使用知识蒸馏结合噪声注入来实现更具噪声鲁棒性的网络,这在不同的网络和数据集(包括ImageNet)上进行了实验验证。与之前的最佳尝试相比,我们的方法实现的模型具有高达两倍的噪声容限,这是使模拟硬件适用于深度学习的重要一步。
2020-01-14 cs.AI cs.AR cs.LG