Towards Robust Neural Networks via Random Self-ensemble
UC Davis（加州大学戴维斯分校）
最近的研究揭示了深度神经网络的脆弱性：一个人类无法察觉的小的对抗性扰动很容易使训练有素的深度神经网络错误分类。这使得在安全关键应用中应用神经网络变得不安全。本文结合{ \bf随机性}和{ \bf集成}这两个重要概念，提出了一种新的防御算法--随机自集成（RSE）。为了保护目标模型，RSE在神经网络中加入随机噪声层以防止基于梯度的强攻击，并在随机噪声上集成预测以稳定性能。我们证明了该算法等价于集成无限多个噪声模型$f_ε$而不需要任何额外的内存开销，并且基于噪声随机梯度下降的训练过程可以确保集成模型具有良好的预测能力.我们的算法显着优于以前的防御技术对真实数据集。以CIFAR-10为例，在VGG网络上（未攻击时预测准确率为92%），在一定的失真容限内，在强C &W攻击下，未保护模型的预测准确率下降到10%以下，以往最好的防御技术具有$48\%$的预测准确率，而我们的方法在同样的攻击水平下仍具有$86\%$的预测准确率。最后，我们的方法是简单的，易于集成到任何神经网络。
2018-08-01 cs.CR cs.LG stat.ML
Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles
Biophysics Graduate Program（生物物理学研究生项目）；Center for Brain Science（脑科学中心）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Kempner Institute for the Study of Natural and Artificial Intelligence（肯普纳自然与人工智能研究所）；Harvard University（哈佛大学）
发展了噪声最小二乘岭集成中特征装袋的理论，证明子采样会移动双下降峰值，并提出异质特征集成作为计算高效的缓解方法，揭示了子采样噪声放大与集成噪声降低之间的权衡。
2024-01-09 cond-mat.dis-nn cs.LG q-bio.NC
Certifying Joint Adversarial Robustness for Model Ensembles
University of Virginia（弗吉尼亚大学）
深度神经网络（DNN）通常容易受到对抗性样本的攻击。一些提出的防御方法部署了一个模型集合，希望尽管单个模型可能容易受到攻击，但对手将无法找到成功对抗集合的对抗性样本。根据集成的使用方式，攻击者可能需要找到一个对抗性的例子，成功地对抗集成中的所有或大多数模型。集成防御对强大对手的有效性取决于集成中模型的脆弱性空间是不相交的。我们认为，联合脆弱性的合奏模型，并提出了一种新的技术，用于证明合奏的联合鲁棒性，建立在以前的工作单模型的鲁棒性认证。我们评估了各种模型集成的鲁棒性，包括使用成本敏感鲁棒性训练的模型，以提高对集成模型作为对抗性示例防御的潜在有效性的理解。
2020-04-21 cs.CR cs.LG stat.ML
An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
我们考虑在受到各种比例的噪声标签的影响时训练鲁棒和准确的深度神经网络（DNN）的问题。大规模数据集往往包含错误标记的样本，这些样本可能会被DNN记住，从而影响性能。通过适当的处理，可以减轻这种退化。需要考虑两个问题：如何区分干净样本和如何处理噪声样本。在本文中，我们提出了增强噪声鲁棒的K折交叉验证选择（E-NKCVS），以有效地从噪声数据中选择干净的样本，解决了第一个问题。对于第二个问题，我们为任何确定具有不确定或可能损坏的标签的样本创建新的伪标签。E-NKCVS为每个样本获得多个预测标签，这些标签的熵用于调整给予伪标签和给定标签的权重。理论分析和广泛的验证算法在噪声标签设置。我们评估我们的方法在各种图像和文本分类任务中的标签已手动损坏不同的噪声比。此外，还使用了两个大型的真实世界噪声数据集，Clothing-1 M和WebVision。经验表明，E-NKCVS对相当大比例的标签噪声具有高度耐受性，并且与最先进的方法相比具有一致的改进。特别是在噪声比更高的更困难的数据集上，我们可以实现比第二好模型的显着改进。此外，我们提出的方法可以很容易地集成到现有的DNN方法中，以提高其对标签噪声的鲁棒性。
2021-07-06 cs.CV cs.LG
DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles
Duke University（杜克大学）；Radiance Technologies（辐射技术公司）
最近的研究发现，用于图像分类的CNN模型表现出重叠的对抗性漏洞：对抗攻击可以误导具有小扰动的CNN模型，这可以有效地在同一数据集上训练的不同模型之间进行转移。对抗性训练作为一种通用的鲁棒性改进技术，通过强制单个模型学习鲁棒特征来消除其脆弱性。这个过程很难，通常需要大容量的模型，并且在干净的数据准确性上有很大的损失。或者，提出集成方法来诱导具有不同输出的子模型对抗转移对抗性示例，使得集成对转移攻击具有鲁棒性，即使每个子模型单独地是非鲁棒的。在该过程中仅观察到小的清洁精度下降。然而，以前的集成训练方法在诱导这种多样性方面并不有效，因此在达到鲁棒集成方面无效。我们提出了DVERGE，它通过提取非鲁棒特征来隔离每个子模型中的对抗性漏洞，并使对抗性漏洞多样化，以诱导不同的输出来对抗转移攻击。新的多样性度量和训练过程，使DVERGE实现更高的鲁棒性对转移攻击相比，以前的集成方法，并使更多的子模型时，增加到集成的鲁棒性。该工作的代码可在https://github.com/zjysteven/DVERGE上获得
2020-10-18 cs.CR cs.LG stat.ML
NoisyMix: Boosting Model Robustness to Common Corruptions
University of Pittsburgh（匹兹堡大学）；Nordita, KTH（北欧理论物理研究所，瑞典皇家理工学院）；University of Toronto（多伦多大学）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）
对于许多现实世界的应用，获得稳定和鲁棒的统计性能比简单地实现最先进的预测测试精度更重要，因此神经网络的鲁棒性是一个越来越重要的话题。相关地，数据增强方案已经被示出为提高关于输入扰动和域移位的鲁棒性。受此启发，我们引入了NoisyMix，这是一种新型的训练方案，它可以提高稳定性，并利用输入和特征空间中的噪声增强来提高模型的鲁棒性和域内精度。NoisyMix生成的模型始终更加稳健，并提供了对类别成员概率的校准估计。我们在一系列基准数据集上展示了NoisyMix的好处，包括ImageNet-C，ImageNet-R和ImageNet-P。此外，我们还提供了理解NoisyMix的隐式正则化和鲁棒性的理论。
2022-05-23 cs.LG stat.ML
Adaptive Ensemble Selection for Noisy Labels on Tabular Data
针对表格数据中的噪声标签问题，提出一种数据为中心的元模型自适应集成选择方法，通过预测检测器权重来诊断数据质量并选择清洗策略，在受控噪声基准上达到与Confident Learning相当的性能。
2026-09-29 cs.LG
Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy Labels
Emory University（埃默里大学）；University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
在大规模数据上训练的深度学习模型在许多现实任务中取得了令人鼓舞的性能。与此同时，发布那些在敏感数据集（如医疗记录）上训练的模型可能会带来严重的隐私问题。为了解决这些问题，目前最先进的方法之一是教师集合的私人聚合，或PATE，它在保留模型的效用同时提供强大的隐私保证方面取得了可喜的成果。PATE将在敏感数据上训练的“教师模型”集合在一起，并通过教师投票的噪声聚合将知识转移到“学生”模型，以标记学生模型将在其上训练的未标记公共数据。然而，由于私人聚合，学生学习的知识或投票标签是噪声的。直接从噪声标签中学习可以显著影响学生模型的准确性。在本文中，我们提出了PATE++机制，它结合了当前先进的噪声标签训练机制与原有的PATE框架，以提高其准确性。为了有效地集成它们，开发了一种新的生成对抗网络（GANs）结构。此外，我们开发了一种新的噪声标签检测机制，用于半监督模型训练，以进一步提高学生模型在使用噪声标签进行训练时的性能。我们评估我们的方法上的时尚MNIST和SVHN显示在所有措施上的改进，对原来的PATE。
2022-11-03 cs.CR cs.LG
A Simple yet Effective Baseline for Robust Deep Learning with Noisy Labels
Tsinghua University（清华大学）；Google Cloud AI（谷歌云人工智能）
最近，深度神经网络已经显示出它们记忆训练数据的能力，即使带有噪声标签，这会损害泛化性能。为了缓解这个问题，我们提供了一个简单但有效的基线方法，即使在严重的噪声下，该方法对噪声标签也具有鲁棒性。我们的目标涉及一个方差正则化项，该项隐含地惩罚整个训练集（包括带有噪音标签的数据）上的神经网络的雅可比范数，这鼓励泛化并防止对损坏的标签的过拟合。在合成生成的错误标签和现实的大规模噪声数据集上的实验表明，我们的方法实现了最先进的性能，对严重噪声具有很高的容忍度。
2019-09-27 cs.LG stat.ML
Generative Ensemble Regression: Learning Particle Dynamics from Observations of Ensembles with Physics-Informed Deep Generative Models
Brown University（布朗大学）；Massachusetts Institute of Technology（麻省理工学院）；Pacific Northwest National Laboratory（西北太平洋国家实验室）
提出了一种通过观测离散和稀疏时刻的粒子系综来推断控制随机常微分方程（SODE）的新方法，即，多个“快照”。单个时刻的粒子坐标（可能有噪声或截断）记录在每个快照中，但在快照中不成对。通过训练一个生成“假”样本路径的物理生成模型，我们的目标是用概率测度空间中的曲线拟合观察到的粒子系综分布，该曲线是从推断的粒子动力学中推导出来的。我们采用不同的指标来量化分布之间的差异，例如，切片Wasserstein距离和生成对抗网络（GANs）中的对抗损失。我们把这种方法称为生成的“集合回归”（GER），类似于经典的“点回归”，在那里我们通过在欧几里得空间中执行回归来推断动态。我们说明GER通过学习的漂移和扩散项的粒子系综与布朗运动和Levy过程的SODE高达100维。我们还讨论了如何处理噪声或截断观测的情况。除了由独立粒子组成的系统，我们还通过构造物理信息的损失函数来处理具有未知相互作用势参数的非局部相互作用粒子系统。最后，我们调查的情况下，成对的观察，并讨论如何减少在这种情况下，通过证明收敛定理，提供理论支持的维数。
2021-03-21 cs.LG stat.ML
Noisy-Input Entropy Search for Efficient Robust Bayesian Optimization
Bosch Center for Artificial Intelligence（博世人工智能中心）；ETH Zürich（苏黎世联邦理工学院）
我们考虑的稳健优化问题内的良好建立的贝叶斯优化（BO）框架。虽然BO本质上对目标函数的噪声评估是鲁棒的，但标准方法不考虑输入参数的不确定性的情况。在本文中，我们提出了噪声输入熵搜索（NES），一种新的信息理论的采集功能，旨在找到鲁棒的最优输入和测量噪声的问题。NES基于一个关键的认识，即在许多情况下，鲁棒目标可以建模为高斯过程，但不能直接观察到。我们评估NES的优化文献和工程的几个基准问题。结果表明，NES可靠地找到强大的最优，优于现有的方法，从文献中的所有基准。
2020-02-07 cs.LG stat.ML
Where Does the Robustness Come from? A Study of the Transformation-based Ensemble Defence
Nanyang Technological University（南洋理工大学）；Huawei International（华为国际）
本文旨在深入研究基于变换的集成防御方法在图像分类中的有效性及其原因。实验表明，它们可以提高对规避攻击的鲁棒性，但很少有分析的原因。特别是，不清楚鲁棒性的改善是变换还是集成的结果。在本文中，我们设计了两个自适应攻击，以更好地评估基于转换的集成防御。我们通过实验表明：1）在经过不同可逆变换的数据记录上训练的模型之间存在对抗性示例的可移植性; 2）通过基于变换的集成获得的鲁棒性是有限的; 3）这种有限的鲁棒性主要来自不可逆变换，而不是多个模型的集成;以及4）盲目地增加基于变换的系综中子模型的数量不会带来额外的鲁棒性增益。
2020-10-08 cs.AI cs.CR cs.LG
Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness
Georgia Institute of Technology（佐治亚理工学院）
包围学习是一种集成多个DNN学习器以提高单个学习器的预测性能的方法。当集合预测的误差更均匀地分布时，多样性更大。更大的多样性与集合精度的增加高度相关。多样性优化集成学习的另一个有吸引力的特性是它对欺骗的鲁棒性：对抗性扰动攻击可以误导一个DNN模型进行错误分类，但可能无法始终如一地欺骗其他集成DNN成员。在本文中，我们首先概述了集成多样性的概念，并在DNN分类器的背景下研究了三种类型的集成多样性。然后，我们描述了一组集成多样性措施，一套算法，用于创建多样性集成和执行集成共识（投票或学习），通过战略性地结合各个成员的输出生成高精度集成输出。本文最后讨论了一组公开的问题，在量化集成多样性的鲁棒深度学习。
2019-08-29 cs.LG stat.ML
Voting based ensemble improves robustness of defensive models
Department of Computer Science, University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）
发展对抗性扰动的鲁棒模型一直是一个活跃的研究领域，并且已经提出了许多算法来训练个体鲁棒模型。利用这些预训练的鲁棒模型，我们的目标是研究是否有可能创建一个集成来进一步提高鲁棒性。以前的几次尝试通过集成软标签预测来解决这个问题，并且根据最新的攻击方法已经证明是脆弱的。在本文中，我们证明了如果鲁棒训练损失足够多样化，则简单的基于硬标签的投票集成可以提高每个模型的鲁棒误差。此外，给定一个健壮的模型池，我们开发了一种原则性的方法来选择要集成的模型。最后，为了验证改进的鲁棒性，我们进行了大量的实验，研究如何攻击基于投票的集成和开发几个新的白盒攻击。在CIFAR-10数据集上，通过集成几个最先进的预训练防御模型，我们的方法可以实现59.8%的鲁棒准确率，优于所有现有的防御模型，而无需使用额外的数据。
2020-11-28 cs.CR cs.CV cs.LG
Robust Graph Embedding with Noisy Link Weights
Kyoto University（京都大学）；RIKEN Center for Artificial Intelligence Project (AIP)（理化学研究所人工智能项目中心）
我们提出了$β$ -图嵌入鲁棒学习特征向量的数据向量和噪声链接权重。一个新引入的经验矩$β$ -分数减少污染的影响，并鲁棒地测量潜在的正确的预期权重的链接和指定的生成模型之间的差异。所提出的方法是计算易处理的，我们采用了一个小批量为基础的有效的随机算法，并证明该算法局部最小化的经验矩$β$得分。我们在合成和真实世界的数据集上进行数值实验。
2019-02-22 cs.LG stat.ML
Robust Ordinal VAE: Employing Noisy Pairwise Comparisons for Disentanglement
University of Pittsburgh（匹兹堡大学）
Locatello等人（2018）的最新研究表明，需要电感偏置来解开变分自编码器（VAE）中的感兴趣因素。出于现实世界中的问题，我们提出了一个设置，这样的偏见是通过提供成对的顺序实例之间的比较，根据所需的因素被解开。例如，医生根据患者疾病的严重程度对患者进行比较，所需的因素是疾病严重程度的定量水平。在实际应用中，成对比较通常是有噪声的。我们的方法，鲁棒有序VAE（ROVAE），采用了嘈杂的成对顺序比较的解纠缠任务。我们在ROVAE中引入非负随机变量，使得它可以自动确定每个成对顺序比较是否可信，并且忽略噪声比较。实验结果表明，ROVAE优于现有的方法，是更强大的噪声成对比较在基准数据集和现实世界的应用。
2019-10-14 cs.LG stat.ML
Adversarial-Based Knowledge Distillation for Multi-Model Ensemble and Noisy Data Refinement
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Shanghai University of Finance and Economics（上海财经大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
类属图像识别是计算机视觉中一个基本而又十分重要的视觉问题。这项任务的主要挑战之一在于，单个图像通常内部有多个对象，而标签仍然是一个热点，另一个是嘈杂的，有时在人类注释时会丢失标签。在本文中，我们专注于解决这些挑战伴随着两个不同的图像识别问题：多模型集成和噪声数据识别与一个统一的框架。众所周知，通常表现最好的深度神经模型是多个基本级别网络的集合，因为它可以减轻数据集中包含的变化或噪声。不幸的是，存储这么多网络所需的空间以及在运行时执行它们所需的时间禁止它们在测试集很大的应用中使用（例如，ImageNet）。在本文中，我们提出了一种将大型复杂的训练集合压缩到单个网络中的方法，其中来自各种训练的深度神经网络（DNN）的知识被提取并转移到单个DNN。为了从不同的训练（教师）模型中提取不同的知识，我们建议使用基于对抗的学习策略，在该策略中，我们定义了一个分块训练损失来指导和优化预定义的学生网络，以恢复教师模型中的知识，并促进学习网络同时区分教师和学生特征。在CIFAR-10/100、SVHN、ImageNet和iMaterialist Challenge Dataset上的大量实验证明了我们的MEAL方法的有效性。在ImageNet上，我们基于ResNet-50的MEAL实现了top-1/5 21.79%/5.99%的val误差，比原始模型高出2.06%/1.14%。在iMaterialis…
2019-08-22 cs.CV cs.LG
CARE: Ensemble Adversarial Robustness Evaluation Against Adaptive Attackers for Security Applications
针对网络安全中集成防御能否抵御自适应攻击缺乏综合评估平台的问题，本文提出通用CARE平台以系统评估集成对抗攻击与防御。
2024-01-20 cs.CR cs.LG
Coresets for Robust Training of Neural Networks against Noisy Labels
University of California Los Angeles（加州大学洛杉矶分校）；Stanford University（斯坦福大学）
现代神经网络有能力过拟合在现实世界的数据集中经常发现的噪声标签。虽然已经取得了很大的进展，现有的技术是有限的，在提供理论保证的神经网络的性能与噪声标签。在这里，我们提出了一种新的方法，该方法具有强大的理论保证，可以对使用噪声标签训练的深度网络进行鲁棒训练。我们的方法背后的关键思想是选择干净的数据点，提供一个近似低秩雅可比矩阵的加权子集（coresets）。然后，我们证明了梯度下降适用于子集不过拟合嘈杂的标签。我们广泛的实验证实了我们的理论，并证明在我们的子集上训练的深度网络与现有技术相比具有显著优越的性能，例如，在CIFAR-10上，80%噪声标签的准确性提高6%，在迷你Webvision上的准确性提高7%。
2020-11-15 cs.LG stat.ML
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；AItrics
大规模数据集可能包含相当大比例的噪声（不正确）类标签，并且众所周知，现代深度神经网络（DNN）很难从这种噪声训练数据集进行泛化。为了缓解这个问题，我们提出了一种新的推理方法，称为鲁棒生成分类器（RoG），适用于任何有区别的（例如，softmax）在噪声数据集上预训练的神经分类器。特别是，我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器，以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数，我们显着提高了分类精度，而无需重新训练深度模型，也无需改变其架构。假设特征为高斯分布，我们证明了RoG在噪声标签下比基线更好地推广。最后，我们提出了RoG的集成版本，通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性，给出了通过多种训练技术优化的不同学习模型，以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
Noisy student-teacher training for robust keyword spotting
Google Inc.（谷歌公司）
我们提出了自训练与嘈杂的学生-教师的方法流关键字发现，可以利用大规模的未标记的数据和积极的数据增强。所提出的方法应用积极的数据增强（光谱增强）的学生和教师的输入，并利用未标记的数据在规模，这显着提高了学生的准确性，对具有挑战性的条件。当与带有硬标记数据的监督训练一起使用时，这种积极的增强通常会降低模型性能。实验表明，积极规范增强基线监督训练方法降低准确性，而提出的自我训练与嘈杂的学生-教师培训提高了一些困难的条件测试集的准确性高达60%。
2021-06-03 cs.LG stat.ML
Robustness and Reliability When Training With Noisy Labels
Linköping University（林雪平大学）
为监督学习标记数据可能是昂贵和耗时的，并且在大型数据集中引入标签噪声的风险迫在眉睫。当使用严格适当的损失来训练灵活的判别模型时，这种噪声将不可避免地使解决方案朝向噪声标签上的条件分布移动。尽管如此，虽然深度神经网络已被证明能够拟合随机标签，但正则化和鲁棒损失函数的使用凭经验减轻了标签噪声的影响。然而，此类观察结果涉及准确性的鲁棒性，如果可靠的不确定性量化至关重要，则这是不够的。我们证明了这一点，通过分析的条件分布的属性在噪声标签的输入相关的噪声模型。此外，我们评估了一组鲁棒的损失函数，其特征在于噪声不敏感，渐近风险最小化。我们发现，严格适当的和强大的损失函数都提供渐近鲁棒性的准确性，但都不能保证最终的模型是校准。此外，即使使用鲁棒损失函数，过拟合在实践中也是一个问题。有了这些结果，我们的目标是解释观察到的鲁棒性常见的训练实践，如早期停止，标签噪声。此外，我们的目标是鼓励开发新的噪声鲁棒算法，不仅保持准确性，但也确保可靠性。
2022-05-12 cs.LG stat.ML
RELF: Robust Regression Extended with Ensemble Loss Function
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
包围技术是一种强大的方法，它将几个弱学习器组合起来，构建一个更强的学习器。集成技术作为一种元学习框架，可以很容易地应用到许多机器学习方法中。受集成技术的启发，本文提出了一种适用于简单回归量的集成损失函数。然后，我们提出了一个半二次学习算法，以找到参数的回归和最佳的权重与每个损失函数。此外，我们表明，我们提出的损失函数是强大的噪声环境中。对于一类特殊的损失函数，我们表明，我们提出的合奏损失函数是贝叶斯一致的和强大的。几个数据集上的实验评估表明，我们提出的集成损失函数显着提高了性能的一个简单的回归相比，国家的最先进的方法。
2018-10-25 cs.LG stat.ML
Mitigating the Impact of Noisy Edges on Graph-Based Algorithms via Adversarial Robustness Evaluation
JD Logistics（京东物流）
针对图构建中噪声边影响图基算法的问题，提出谱对抗鲁棒性评估方法，识别鲁棒点并仅用其执行算法，实验证明该方法大幅优于现有去噪方法。
2024-11-26 cs.CR cs.CV cs.LG
Improving Adversarial Robustness via Promoting Ensemble Diversity
Tsinghua University（清华大学）；Tsinghua-Fuzhou Institute for Data Technology（清华-福州数据技术研究院）
虽然深度神经网络在各种任务上取得了重大进展，通常通过模型集成来增强，但现有的高性能模型可能容易受到对抗攻击的攻击。许多努力已经致力于增强个体网络的鲁棒性，然后构建简单的系综，例如，通过直接平均输出，忽略了网络之间的相互作用。本文提出了一种新的方法，探索个体网络之间的相互作用，以提高集成模型的鲁棒性。从技术上讲，我们将对抗环境中的集成多样性定义为个体成员的非最大预测之间的多样性，并提出了一种自适应多样性促进（ADP）正则化器来鼓励多样性，通过使对抗示例难以在个体成员之间传输，从而使集成具有更好的全局鲁棒性。我们的方法是计算效率和兼容的防御方法作用于个别网络。各种数据集上的实证结果验证了我们的方法可以提高对抗鲁棒性，同时保持正常示例的最新准确性。
2019-05-29 cs.LG stat.ML
Robust Optimization for Fairness with Noisy Protected Groups
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
机器学习的许多现有公平标准涉及在受保护的群体（如种族或性别）之间均衡一些度量。然而，试图审计或执行这种基于群体的标准的从业人员很容易面临嘈杂或有偏见的受保护群体信息的问题。首先，我们研究天真地依赖于嘈杂的保护组标签的后果：我们提供了一个上界的公平性侵犯的真实组G时，公平性标准是满足嘈杂的组$\hat{G}$。其次，我们介绍了两种新的方法，使用强大的优化，不像单纯的方法，只依赖于$\hat{G}$，保证满足公平性标准的真正的保护组G，同时最小化的训练目标。我们提供了理论保证，这样的方法收敛到一个最佳的可行解。使用两个案例研究，我们经验表明，强大的方法实现更好的真实组公平性保证比天真的方法。
2020-11-10 cs.LG stat.ML
Enhancing Certifiable Robustness via a Deep Model Ensemble
UCLA（加州大学洛杉矶分校）
我们提出了一种算法，通过最佳加权每个基础模型来增强深度模型集成的认证鲁棒性。不同于以往的作品使用合奏经验提高鲁棒性，我们的算法是基于优化的神经网络的保证鲁棒性证书。我们提出的集成框架与认证的鲁棒性，RobBoost，制定了最佳的模型选择和加权任务作为一个优化问题的分类利润的下限，这可以有效地解决使用坐标下降。实验表明，我们的算法可以形成一个更强大的合奏比天真地平均所有可用的模型使用鲁棒训练的MNIST或CIFAR基础模型。此外，我们的集合通常在干净（未扰动）数据上具有更好的准确性。RobBoost使我们能够通过创建已认证模型的集合来进一步提高认证的鲁棒性和准确性。
2019-10-31 cs.CV cs.LG stat.ML
On $\ell_p$-norm Robustness of Ensemble Stumps and Trees
Tsinghua University（清华大学）；UCLA（加利福尼亚大学洛杉矶分校）；MIT（麻省理工学院）
近年来的研究表明，树和树的集成模型容易受到小的输入扰动的影响，因此对这些模型的鲁棒性验证和防御成为一个重要的研究问题。然而，由于决策树的结构，其中每个节点纯粹基于一个特征值进行决策，所有以前的工作只考虑$\ell_\infty$范数扰动。为了研究相对于一般$\ell_p$范数扰动的鲁棒性，必须考虑不同特征上的扰动之间的相关性，这是以前的算法没有处理的。在本文中，我们研究的问题，鲁棒性验证和认证防御方面的一般$\ell_p$范数扰动的集成决策树和树。对于集成树桩的鲁棒性验证，我们证明了完整的验证是NP-完全的$p\in(0, \infty)$，而多项式时间的算法存在的$p=0$或$\infty$。对于$p\in(0, \infty)$，我们开发了一个有效的动态规划为基础的算法的声音验证合奏树桩。对于集成树，我们将以前的多级鲁棒性验证算法推广到$\ell_p$范数。我们证明了第一个认证的防御方法，训练集成树桩和树的$\ell_p$规范扰动，并验证其有效性经验上的真实数据集。
2020-09-29 cs.LG stat.ML
Improved Robustness Against Adaptive Attacks With Ensembles and Error-Correcting Output Codes
Institute Intelligence and Data (IID), Université Laval（拉瓦尔大学智能与数据研究所（IID））；Mila（米拉研究所）
神经网络集成已经在对抗鲁棒性的背景下被广泛研究，并且大多数基于集成的方法仍然容易受到自适应攻击。在本文中，我们研究的鲁棒性的纠错输出码（ECOC）集成，通过结构的改进和集成多样性的促进。我们对自适应攻击进行了全面的鲁棒性评估，并研究了集成多样性和鲁棒性之间的关系。我们的研究结果表明，与卷积神经网络（CNN）的常规集成相比，ECOC集成对对抗鲁棒性的好处，并显示了为什么以前实现的鲁棒性是有限的。我们还提出了一种针对ECOC集成的对抗性训练方法，可以进一步提高对自适应攻击的鲁棒性。
2023-03-04 cs.LG
Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels
University of Technology Sydney（悉尼科技大学）；RIKEN（理化学研究所）；Stanford University（斯坦福大学）；University of Tokyo（东京大学）；Paradigm Inc.（第四范式公司）
带噪声标签的深度学习实际上具有挑战性，因为深度模型的容量非常高，以至于它们迟早可以在训练过程中完全记住这些噪声标签。尽管如此，最近对深度神经网络记忆效果的研究表明，它们会首先记忆干净标签的训练数据，然后是有噪声标签的数据。因此，在本文中，我们提出了一种新的深度学习范式，称为Co-teaching，用于对抗噪声标签。也就是说，我们同时训练两个深度神经网络，并让它们在每个小批量中相互教导：首先，每个网络前馈所有数据并选择一些可能干净标签的数据;其次，两个网络相互交流该小批量中的哪些数据应该用于训练;最后，每个网络反向传播其对等网络选择的数据并更新自己。在有噪声版本的MNIST、CIFAR-10和CIFAR-100上的实验结果表明，在训练的深度模型的鲁棒性方面，协同教学远远优于最先进的方法。
2018-10-30 cs.LG stat.ML
LOTOS: Layer-wise Orthogonalization for Training Robust Ensembles
UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对Lipschitz连续性会提升集成模型内对抗样本可迁移率的问题，提出逐层正交化训练范式LOTOS，通过仿射层top-k子空间正交化提升集成鲁棒性，在CIFAR-10上黑盒攻击下ResNet-18集成鲁棒准确率提升6个百分点，结合现有最优方法可再提升10.7个百分点。
2024-10-07 cs.LG stat.ML
Robust Imitation Learning from Noisy Demonstrations
RIKEN（日本理化学研究所）；University of Tokyo（东京大学）
从噪声中进行鲁棒学习是模仿学习中的一个实际而又极具挑战性的问题。在本文中，我们首先从理论上证明了鲁棒模仿学习可以通过优化对称损失的分类风险来实现。基于这一理论发现，我们提出了一种新的模仿学习方法，通过有效地结合伪标记和协同训练来优化分类风险。与现有的方法不同，我们的方法不需要额外的标签或严格的假设噪声分布。连续控制基准上的实验结果表明，我们的方法是更强大的国家的最先进的方法相比。
2021-02-19 cs.AI cs.LG stat.ML
Evaluating Ensemble Robustness Against Adversarial Attacks
University of Toronto（多伦多大学）
对抗性样本是为了欺骗神经网络而产生的轻微扰动输入，已知会在模型之间转移;对一个模型有效的对手通常会欺骗另一个模型。这种可转移性的概念带来了严重的安全问题，因为它导致在黑盒设置中攻击模型的可能性，在此期间，目标模型的内部参数是未知的。在本文中，我们试图分析和最小化的对手之间的模型集成的可转移性。为此，我们引入了一个基于梯度的度量，来衡量集成的组成模型如何有效地合作，以减少针对集成本身的对抗性示例的空间。此外，我们还证明了这种措施可以在训练过程中使用，以增加集成对对抗性示例的鲁棒性。
2020-05-12 cs.LG stat.ML
Learning Adaptive Loss for Robust Learning with Noisy Labels
Xi’an Jiaotong University（西安交通大学）；The Macau University of Science and Technology（澳门科技大学）
鲁棒损失最小化是处理噪声标签鲁棒学习问题的一个重要策略。然而，现有的鲁棒损失函数不可避免地涉及到超参数的人工调整或交叉验证，这使得它们很难在实际中得到普遍应用。此外，损失带来的非凸性以及复杂的网络结构使其容易陷入意想不到的解决方案，泛化能力差。针对上述问题，本文提出了一种自适应学习鲁棒损失函数超参数的元学习方法。具体而言，通过鲁棒损失超参数和网络参数之间的相互改进，在我们的方法，两者可以同时精细学习和协调，以获得具有良好的泛化能力的解决方案。将四种SOTA鲁棒损失函数引入到该算法中，并通过实验验证了该方法的有效性和通用性.
2020-02-16 cs.LG stat.ML
Robustness Verification for Classifier Ensembles
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；University of Antwerp（安特卫普大学）；TNO（荷兰应用科学研究组织）；Leiden University（莱顿大学）
我们给出了一个形式化验证过程，以决定分类器集成是否对任意随机攻击具有鲁棒性。这种攻击由一组确定性攻击和在这组上的分布组成。鲁棒性检查问题包括评估，给定一组分类器和一个标记的数据集，是否存在一个随机攻击，导致一定的预期损失对所有分类器。我们显示的NP-硬度的问题，并提供了一个上限的攻击，足以形成一个最佳的随机攻击的数量。这些结果提供了一种有效的方法来推理分类器集成的鲁棒性。我们提供SMT和MILP编码来计算最优的随机攻击或证明没有攻击引起一定的预期损失。在后一种情况下，分类器集成可证明是鲁棒的。我们的原型实现验证了为图像分类任务训练的多个神经网络集成。使用MILP编码的实验结果是有前途的可扩展性和我们的验证过程的一般适用性。
2020-07-09 cs.LG stat.ML
How Does a Neural Network's Architecture Impact Its Robustness to Noisy Labels?
University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）
噪声标签在大型真实世界数据集中是不可避免的。在这项工作中，我们探索了一个以前研究不足的领域-网络的架构如何影响其对噪声标签的鲁棒性。我们提供了一个正式的框架连接网络的鲁棒性，其架构和目标/噪声函数之间的对齐。我们的框架通过其表示中的预测能力来衡量网络的鲁棒性-使用一小组干净标签在学习的表示上训练线性模型的测试性能。我们假设，如果网络的架构与目标函数比噪声更一致，则网络对噪声标签更鲁棒。为了支持我们的假设，我们提供了各种神经网络架构和不同领域的理论和经验证据。我们还发现，当网络与目标函数很好地对齐时，其表示的预测能力可以在测试准确性方面改善最先进的（SOTA）噪声标签训练方法，甚至优于使用干净标签的复杂方法。
2021-11-28 cs.CV cs.LG stat.ML
Temporal Calibrated Regularization for Robust Noisy Label Learning
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
深度神经网络（DNN）在大规模良好注释数据集的帮助下在许多任务上取得了巨大成功。然而，标记大规模数据可能非常昂贵且容易出错，使得难以保证注释质量（即，具有噪声标签）。在这些带噪声的标记数据集上进行训练可能会不利地降低其泛化性能。现有的方法要么依赖于复杂的训练阶段划分，要么带来太多的计算，边际性能的改善。在本文中，我们提出了一种时间校准正则化（TCR），其中我们将原始标签和前一个时期的预测结合在一起，使DNN继承它以很少的开销学习的简单模式。我们对各种神经网络架构和数据集进行了广泛的实验，发现它始终增强了DNN对标签噪声的鲁棒性。
2020-07-01 cs.LG stat.ML
SELF: Learning to Filter Noisy Labels with Self-Ensembling
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Freiburg（弗莱堡大学）；Bosch GmbH（博世有限公司）；Bosch Research, Bosch GmbH（博世有限公司博世研究院）；Bosch Center for AI, Bosch GmbH（博世有限公司博世人工智能中心）
深度神经网络（DNN）已经被证明在使用噪声标签训练足够长的时间时会过度拟合数据集。为了克服这个问题，我们提出了一种简单有效的方法自集成标签过滤（SELF），逐步过滤出错误的标签在训练过程中。我们的方法通过逐渐允许仅从潜在的无噪（干净）标签进行监督并停止在过滤后的有噪标签上学习来提高任务性能。对于过滤，我们使用不同训练时期的网络输出形成整个训练数据集的预测运行平均值。我们发现，这些集成估计在整个训练过程中比最近训练时期的网络单一估计更准确地识别不一致的预测。虽然过滤后的样本被完全从监督训练损失中删除，但我们通过半监督学习在无监督损失中动态地利用它们。我们证明了这种方法对各种图像分类任务下的对称和非对称标签噪声和不同的噪声比的积极影响。它在不同数据集上的噪声感知学习方面的表现远远优于以前的所有工作，并且可以应用于广泛的网络架构。
2019-10-04 cs.CV cs.LG stat.ML
Streaming algorithms for evaluating noisy judges on unlabeled data -- binary classification
Data Engines（数据引擎公司）；Real Chemistry（Real Chemistry公司）
本文提出两个基于独立误差假设的代数评估器，用于在未标记数据上流式评估噪声二分类集成，并通过构造曲面和代数失败模式筛选近似独立的集成，实现高精度标签普遍性与准确率估计。
2023-09-08 cs.LG math.AG stat.ML
Normalized Loss Functions for Deep Learning with Noisy Labels
The University of Melbourne（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）
鲁棒的损失函数对于在存在噪声（不正确）标签的情况下训练准确的深度神经网络（DNN）至关重要。它已被证明，常用的交叉熵（CE）损失是不鲁棒的噪声标签。虽然已经设计了新的损失函数，但是它们仅是部分鲁棒的。在本文中，我们从理论上表明，通过应用一个简单的归一化：任何损失都可以鲁棒噪声标签。然而，在实践中，仅仅是鲁棒性不足以使损失函数训练准确的DNN。通过研究几种鲁棒损失函数，我们发现它们存在欠拟合问题。为了解决这个问题，我们提出了一个框架，建立强大的损失函数称为主动被动损失（APL）。APL结合了两个强大的损失函数，相互促进对方。在基准数据集上的实验表明，由我们的APL框架创建的新损失函数家族可以持续大幅优于最先进的方法，特别是在大噪声率下，例如60%或80%的错误标签。
2020-06-24 cs.CV cs.LG stat.ML
Ensemble-in-One: Learning Ensemble within Random Gated Networks for Enhanced Adversarial Robustness
Tsinghua University（清华大学）
对抗攻击给现代深度学习系统带来了很高的安全风险。对抗性训练可以通过抑制非鲁棒性特征来显著增强神经网络模型的鲁棒性。然而，这些模型在干净的数据上往往会遭受显著的准确性损失。包围训练方法已经成为防御对抗攻击的有前途的解决方案，它通过使子模型之间的漏洞多样化，同时保持与标准训练相当的准确性。然而，现有的集成方法的可扩展性差，由于快速增加的复杂性时，包括更多的子模型在集成。此外，在现实世界的应用中，由于紧张的硬件资源预算和延迟要求，很难部署具有多个子模型的集成。在这项工作中，我们提出了集成在一个（EIO），一个简单而有效的方法来训练一个集成在一个随机门控网络（RGN）。EIO通过用多路径随机门控块（RGBs）替换参数化层来构建RGN，从而增强了原始模型。通过使RGN内的众多路径的脆弱性多样化，可以实现更好的鲁棒性。由于EIO网络中的路径随着网络深度呈指数级增长，因此它提供了高可扩展性。我们的实验表明，EIO始终优于以前的集成训练方法，甚至更少的计算开销。
2021-03-27 cs.CR cs.CV cs.LG
iPINNER: An Iterative Physics-Informed Neural Network with Ensemble Kalman Filter
School of Electrical and Computer Engineering（电气与计算机工程学院）；Purdue University（普渡大学）；Department of Mathematics（数学系）；Department of Mathematics and School of Mechanical Engineering（数学系和机械工程学院）
iPINNER通过集合卡尔曼滤波和NSGA-III优化，提升PINNs在正向和逆问题中处理噪声数据和缺失物理的鲁棒性和准确性。
2025-12-12 cs.AI cs.LG
On the Certified Robustness for Ensemble Models and Beyond
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Peking University（北京大学）
最近的研究表明，深度神经网络（DNN）容易受到对抗性示例的影响，这些示例旨在通过添加小幅度的扰动来误导DNN。为了防御此类攻击，针对单个ML模型，已经广泛研究了经验和理论防御方法。在这项工作中，我们的目标是分析和提供集成ML模型的认证鲁棒性，以及不同集成协议的鲁棒性的充分和必要条件。虽然集成模型比单一模型更强大的经验，令人惊讶的是，我们发现，在认证的鲁棒性方面的标准集成模型相比，一个单一的模型只实现边际改善。因此，为了探索保证提供可证明的鲁棒集成ML模型的条件，我们首先证明了在模型平滑假设下，多样化的梯度和大的置信度是可证明的鲁棒集成模型的充分必要条件。然后，我们提供了有界模型平滑分析的基础上提出的合奏前平滑策略。我们还证明了在温和的条件下，集成模型总是可以达到比单基模型更高的认证鲁棒性。受理论研究结果的启发，我们提出了轻量级的多样性正则化训练（DRT）来训练可证明鲁棒的集成ML模型。大量的实验表明，我们的DRT增强集成可以始终实现比现有的单个和集成ML模型更高的认证鲁棒性，在MNIST，CIFAR-10和ImageNet数据集上展示了最先进的认证L2鲁棒性。
2022-04-21 cs.AI cs.CR cs.CV
The Dynamic of Consensus in Deep Networks and the Identification of Noisy Labels
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
深度神经网络具有令人难以置信的容量和可表达性，并且似乎可以记住任何训练集。这在存在噪声标签的情况下进行训练时引入了一个问题，因为在训练结束时，噪声示例无法与干净示例区分开。最近的研究利用了这样一个事实来应对这一挑战，即深度网络似乎比嘈杂的例子更早地记住干净的例子。在这里，我们报告了一个新的经验结果：对于每个例子，当观察网络集合中每个模型记忆的时间时，在噪声例子中看到的多样性远远大于干净的例子。我们利用这一观察结果，开发了一种新的方法，噪声标签过滤。该方法是基于数据的统计，它捕捉干净和嘈杂的数据之间的集成学习动态的差异。我们在三个任务上测试我们的方法：（i）噪声量估计;（ii）噪声过滤;（iii）监督分类。我们表明，我们的方法使用各种数据集，噪声模型和噪声水平在所有三个任务中都优于现有基线。除了提高性能外，我们的方法还有另外两个优点。(i)简单性，这意味着没有引入额外的超参数。(ii)我们的方法是模块化的：它不以端到端的方式工作，因此可以用于清理数据集以备将来使用。
2022-10-02 cs.AI cs.LG
Jacobian Ensembles Improve Robustness Trade-offs to Adversarial Attacks
Imperial College London（帝国理工学院）；DataSpartan
深度神经网络已经成为我们软件基础设施的一个组成部分，并被部署在许多广泛使用的安全关键应用程序中。然而，它们集成到许多系统中也带来了以通用对抗性扰动（UAP）形式的测试时间攻击的脆弱性。UAP是一类扰动，当应用于任何输入时会导致模型误分类。虽然有一个正在进行的努力，以保护模型免受这些对抗攻击，它往往是难以调和的权衡模型的准确性和鲁棒性的对抗攻击。雅可比正则化已被证明可以提高模型对UAP的鲁棒性，而模型集成已被广泛采用，以提高预测性能和模型鲁棒性。在这项工作中，我们提出了一种新的方法，雅可比集成-雅可比正则化和模型集成的组合，以显着提高对不稳定性，同时保持或提高模型的准确性。我们的研究结果表明，雅可比集成实现了以前看不到的准确性和鲁棒性水平，大大提高了以前的方法，往往倾向于只对准确性或鲁棒性倾斜。
2022-04-19 cs.CR cs.CV cs.LG
RoLNiP: Robust Learning Using Noisy Pairwise Comparisons
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
本文提出了一种鲁棒的方法，从噪声成对比较学习。我们提出了损失函数上的充分条件，在该条件下，风险最小化框架对两两相似的不相似数据中的噪声具有鲁棒性。我们的方法不需要在均匀噪声的情况下的噪声率的知识。在条件噪声的情况下，所提出的方法取决于噪声率。对于这种情况下，我们提供了一个可证明正确的方法来估计噪声率。因此，我们提出了一种端到端的方法来学习鲁棒分类器在这种情况下。我们的实验表明，所提出的方法RoLNiP优于强大的国家的最先进的方法进行学习与嘈杂的成对比较。
2023-03-04 cs.AI cs.LG
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook（脸书）
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现，与没有不确定性估计的神经网络相比，认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能，我们专注于Monte Carlo Dropout（MCDropout），并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究，本文深入研究了噪声标签设置下MCDropout的三个方面：1.功效：了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性：通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性：与确定性神经网络相比，研究MCDropout的网络支持。我们的研究结果表明，MCDropout进一步稀疏化和正则化的确定性神经网络，从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；VIVO AI Lab（vivo人工智能实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
对于类条件标签噪声下的多类分类，我们证明了准确性度量本身可以是鲁棒的。我们将这一发现的灵感具体化在两个重要方面：训练和验证，我们用这些来解决带噪声标签学习中的关键问题。对于训练，我们表明，在足够多的噪声样本上最大限度地提高训练精度会产生近似最优的分类器。对于验证，我们证明了噪声验证集是可靠的，解决了超参数调整和早期停止等场景中模型选择的关键需求。在此之前，使用噪声验证样本的模型选择在理论上并不合理。我们验证了我们的理论结果和额外的索赔与广泛的实验。我们展示了用噪声标签训练的模型的特征，这是由我们的理论结果激发的，并通过展示一个名为噪声最佳教师和学生（NTS）的框架的令人印象深刻的性能来验证噪声验证集的实用性。我们的代码被释放了。
2020-12-08 cs.LG
Robust Reinforcement Learning in POMDPs with Incomplete and Noisy Observations
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在现实世界的场景中，具有连续控制的强化学习的观测数据通常是有噪声的，并且其中一部分可能随着时间的推移而动态丢失，这违反了许多当前为此开发的方法的假设。在部分可观测马尔可夫决策过程（POMDP）的框架内，采用基于模型的方法，利用新提出的具有局部逼近的替代损失函数，从不完全和噪声观测中估计过渡模型，并借助信念估算学习策略和价值函数.对于后者的目的，生成模型的构建和无缝地纳入POMDP的信念更新过程，这使得强大的执行，即使在显着的不完整性和噪声。所提出的方法的有效性进行了验证的基准任务的集合，表明我们的方法优于几个比较的方法在各种具有挑战性的情况下。
2019-02-15 cs.AI cs.LG stat.ML
SoTTA: Robust Test-Time Adaptation on Noisy Data Streams
Nokia Bell Labs（诺基亚贝尔实验室）；KAIST（韩国科学技术院）
针对测试时自适应在噪声数据流下的脆弱性，提出SoTTA算法，通过高置信度均匀类采样和熵-锐度最小化分别增强输入与参数鲁棒性，在噪声场景下优于现有方法。
2023-10-16 cs.LG
Symmetric Cross Entropy for Robust Learning with Noisy Labels
JD AI（京东人工智能）；The University of Melbourne（墨尔本大学）；Cainiao AI（菜鸟人工智能）；Shanghai Jiao Tong University（上海交通大学）
在存在噪声标签的情况下训练准确的深度神经网络（DNN）是一项重要且具有挑战性的任务。虽然已经提出了许多方法来学习嘈杂的标签，许多开放的问题仍然存在。在本文中，我们证明了使用交叉熵（CE）的DNN学习在某些类（“简单”类）上表现出对噪声标签的过度拟合，但更令人惊讶的是，它在其他一些类（“困难”类）上也存在显著的学习不足。直觉上，CE需要一个额外的术语来促进硬类的学习，更重要的是，这个术语应该是噪声容忍的，以避免过度拟合到噪声标签。受对称KL发散的启发，我们提出了\textbf{Symmetric cross entropy Learning}（SL）的方法，用噪声鲁棒的反向交叉熵（RCE）对称地提升CE。我们提出的SL方法同时解决了在存在噪声标签的情况下CE的学习不足和过拟合问题。我们提供了SL的理论分析，并在一系列基准和真实世界的数据集上实证显示，SL优于最先进的方法。我们还表明，SL可以很容易地纳入现有的方法，以进一步提高其性能。
2019-08-16 cs.CV cs.LG stat.ML
Reduced-Lead ECG Classifier Model Trained with DivideMix and Model Ensemble
AMI inc（AMI公司）；Kumamoto University（熊本大学）
从减导联心电图（ECG）数据中自动诊断多种心脏异常具有挑战性。其中一个原因是难以从标准12导联数据中定义标签。由于噪声标签问题，缩减导联ECG数据通常不具有相同的心脏异常特征。因此，在减少导联和12导联ECG数据之间的注释标签中存在不一致。为了解决这个问题，我们提出了基于深度神经网络（DNN）的ECG分类器模型，该模型结合了DivideMix和随机加权平均（SWA）。DivideMix通过使用两个单独的模型来细化噪声标签。除了DivideMix之外，我们还使用了一种模型集成技术SWA，该技术也专注于噪声标签问题，以增强DivideMix生成的模型的效果。我们的分类器（ami_kagoshima）分别在12导联、6导联、4导联、3导联和2导联版本的隐藏测试集上获得了0.49、0.47、0.48、0.47和0.47的分数（在39个团队中分别排名第9、第10、第10、第11和第10）。我们在10倍交叉验证上获得了0.701、0.686、0.693、0.693和0.685的分数，在隐藏验证集上获得了0.623、0.593、0.606、0.612和0.601的分数。
2021-09-24 cs.LG
Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation
Arm Research（Arm研究院）；Arizona State University（亚利桑那州立大学）
深度学习的成功引发了人们对计算机硬件设计的兴趣，以更好地满足神经网络推理的高要求。特别地，基于电子、光学或光子器件，模拟计算硬件已经被特别地用于加速神经网络，这可以很好地实现比传统数字电子器件更低的功耗。然而，这些提出的模拟加速器受到其物理组件产生的固有噪声的影响，这使得在深度神经网络上实现高精度具有挑战性。因此，为了在模拟加速器上成功部署，必须能够训练深度神经网络，使其对网络权重中的随机连续噪声具有鲁棒性，这在机器学习中是一个新的挑战。在本文中，我们提出了噪声神经网络的理解。我们概述了一个嘈杂的神经网络如何降低学习能力的结果，其输入和输出之间的互信息的损失。为了解决这个问题，我们建议在训练过程中使用知识蒸馏结合噪声注入来实现更具噪声鲁棒性的网络，这在不同的网络和数据集（包括ImageNet）上进行了实验验证。与之前的最佳尝试相比，我们的方法实现的模型具有高达两倍的噪声容限，这是使模拟硬件适用于深度学习的重要一步。
2020-01-14 cs.AI cs.AR cs.LG
On the Perils of Cascading Robust Classifiers
Carnegie Mellon University（卡内基梅隆大学）；NASA Ames（美国国家航空航天局艾姆斯研究中心）
集成可证明鲁棒的神经网络是提高神经模型\emph{certified robust accuracy}性能的一种很有前途的方法。黑盒集成假设在预测过程中只对组成模型（及其鲁棒性证明）进行查询访问，由于其模块化结构而特别有吸引力。级联集成是黑盒集成的一个流行实例，在实践中似乎可以提高认证的鲁棒精度。然而，我们表明，级联合奏使用的鲁棒性验证是不健全的。也就是说，当级联系综在输入$x$（相对于$ε$）处被证明为局部鲁棒时，在以$x$为中心的$ε$球中可以存在输入$x'$，使得级联在$x'$处的预测不同于$x$，并且因此系综不是局部鲁棒的。我们的理论研究结果伴随着实证结果，进一步证明了这种不健全。我们提出了\emph{cascade attack}（CasA），一种针对级联集成的对抗攻击，并表明：（1）存在高达88%的样本的对抗输入，其中集成声称是可证明的鲁棒性和准确性;（2）当我们的攻击下级联集成声称在97%的测试集上是可证明的鲁棒性和准确性时，其准确性低至11%。我们的工作揭示了级联可证明的鲁棒模型的一个关键陷阱，表明级联的看似有益的策略实际上可能会损害所产生的合奏的鲁棒性。我们的代码可在\url{https://github.com/TristaChi/ensembleKW}上获得。
2022-10-19 cs.LG
