Improving the Robustness and Generalization of Deep Neural Network with Confidence Threshold Reduction
Xi’an Jiaotong University(西安交通大学);Qingdao University(青岛大学)
深度神经网络很容易受到难以察觉的扰动的攻击。对抗性训练(AT)是目前提高模型对对抗性样本鲁棒性的最有效方法。然而,由于对抗训练解决了最小值-最大值问题,与自然训练相比,鲁棒性和泛化是矛盾的,即,模型鲁棒性的提高会降低模型的泛化能力。为了解决这个问题,在本文中,一个新的概念,即置信阈值(CT),被引入和降低的置信阈值,称为置信阈值降低(CTR),被证明可以提高模型的泛化和鲁棒性。具体地,为了减少用于自然训练的CT(即,对于使用CTR的自然训练),我们提出了由交叉熵损失项和正交项组成的掩模引导的发散损失函数(MDL)。理论和实证分析表明,MDL损失提高了模型的鲁棒性和泛化能力的自然训练的同时。然而,使用CTR的自然训练的模型鲁棒性改进与对抗训练的模型鲁棒性改进不可比较。因此,对于对抗训练,我们提出了一个标准差损失函数(STD),它最小化错误类别的概率差异,通过集成到对抗训练的损失函数中来降低CT。理论和实证分析表明,基于STD的损失函数在保证自然精度不变或略有提高的基础上,进一步提高了逆向训练模型的鲁棒性。
2022-07-12 cs.CV cs.LG
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University(西南交通大学)
卷积神经网络(CNN)在图像分类任务中已经实现了超越人类水平的准确性,并广泛应用于现实世界的环境中。然而,CNN显示出对抗性扰动的脆弱性,这些扰动是精心设计的噪声,旨在误导分类模型。为了抵御对抗性扰动,提出了对抗性训练的GAN(AT GAN),以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中,以去除模糊梯度,这可能导致在防御对抗性扰动时产生错误的感觉,并且在现有的基于GAN的对抗性防御方法中常见。此外,ATGAN采用图像到图像生成器作为数据增强,以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明,该方法不依赖于模糊梯度,并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
NavInfo Europe(四维图新欧洲)
与深度神经网络相比,人类对虚假相关性和琐碎线索(如纹理)的依赖更少,深度神经网络具有更好的泛化性和鲁棒性。它可以归因于先验知识或大脑中存在的高级认知归纳偏见。因此,向神经网络引入有意义的归纳偏差可以帮助学习更多的通用和高级表示,并减轻一些缺点。我们提出InBiaseD来提取归纳偏差,并为神经网络带来形状感知。我们的方法包括一个偏差对齐目标,该目标强制网络学习更通用的表示,这些表示不太容易受到数据中意外线索的影响,从而提高泛化性能。InBiaseD不太容易受到捷径学习的影响,并且还表现出较低的纹理偏差。更好的表示也有助于提高对对抗攻击的鲁棒性,因此我们将InBiaseD无缝地插入到现有的对抗训练方案中,以显示泛化和鲁棒性之间更好的权衡。
2022-06-12 cs.AI cs.CV cs.LG
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
在海量数据和计算资源重要进展的推动下,新的深度学习系统在大量应用中取得了出色的成果。然而,我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而,为了解决神经网络的脆弱性,对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中,我们对深度学习中的对抗鲁棒性领域进行了深入的回顾,并对其主要概念进行了完整的介绍。但是,与对抗鲁棒性的主流悲观观点相反,我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系,并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外,我们还展示了对抗鲁棒性的广泛适用性,概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习,并为他们提供直观的工具和见解,了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Out of Distribution Detection, Generalization, and Robustness Triangle with Maximum Probability Theorem
Currus AI(Currus人工智能公司);Northwestern University(西北大学)
最大概率框架是人工智能领域的一个新的理论发展,它以最大概率定理为基础,旨在形式化地定义概率模型,指导目标函数的开发和概率模型的正则化。MPT使用模型对随机变量假设的概率分布来提供模型概率的上限。我们将MPT应用于计算机视觉中具有挑战性的分布外(OOD)检测问题,方法是将MPT作为CNN及其基于能量的变体训练中的正则化方案。我们在1080个具有不同超参数的训练模型上证明了所提出方法的有效性,并得出结论,基于MPT的正则化策略除了在CIFAR10,CIFAR100和MNIST数据集上增强OOD性能外,还稳定和提高了基础模型的泛化和鲁棒性。
2022-09-06 cs.LG stat.ML
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations
National Yang Ming Chiao Tung University(阳明交通大学);IBM Research(IBM研究院)
研究神经网络中权重扰动的敏感性及其对模型性能(包括泛化和鲁棒性)的影响是一个活跃的研究课题,因为它涉及到广泛的机器学习任务,如模型压缩,泛化差距评估和对抗攻击。本文对前馈神经网络在两两类间隔下的鲁棒性及其在权值扰动下的推广行为进行了第一次积分研究和分析。我们进一步设计了一个新的理论驱动的损失函数,用于训练可推广和鲁棒的神经网络对权重扰动。最后通过实验验证了理论分析的正确性。我们的研究结果为表征神经网络对权重扰动的泛化性和鲁棒性提供了基本的见解。
2021-12-17 cs.LG
Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness
University of Southern California(南加州大学)
针对神经网络简单性偏差导致OOD泛化差的问题,提出通过正则化条件互信息鼓励模型使用多样特征,从而提升OOD泛化、子群鲁棒性和公平性,并辅以理论分析。
2023-10-09 cs.LG stat.ML
The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks
UC Davis(加州大学戴维斯分校);TTI-Chicago(芝加哥丰田技术学院);Hebrew University(希伯来大学);UC Berkeley(加州大学伯克利分校);Google(谷歌)
在这项工作中,我们研究了梯度流的隐式偏差对ReLU网络中的泛化和对抗鲁棒性的影响。我们专注于数据由聚类组成并且聚类均值之间的相关性很小的设置,并表明在双层ReLU网络中,梯度流偏向于泛化良好的解决方案,但非常容易受到对抗性示例的影响。我们的结果甚至在网络的参数比训练样本多得多的情况下也成立。尽管潜在的有害过拟合在这样的overparameterized设置,我们证明了梯度流的隐式偏差防止it.However,隐式偏差也会导致非鲁棒的解决方案(易受小对抗$\ell_2$扰动),即使强大的网络,适合的数据存在。
2023-10-31 cs.LG stat.ML
MEAT: Median-Ensemble Adversarial Training for Improving Robustness and Generalization
Fujian Province Key Laboratory of Information Security(福建省信息安全重点实验室);College of Computer Science and Big Data, Fuzhou University(福州大学计算机与大数据学院);Yuan Ze University(元智大学)
针对自集成对抗训练中权重异常导致的鲁棒过拟合问题,提出基于历史模型权重中位数的MEAT方法,可有效缓解过拟合、提升AutoAttack下的鲁棒性,且能与多数防御方法结合增强效果。
2024-06-20 cs.CV cs.LG
Robustness, Privacy, and Generalization of Adversarial Training
University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
对抗性训练可以大大增强深度神经网络的鲁棒性,以抵抗对抗攻击。然而,一些工作表明,对抗性训练可能包括隐私保护和泛化能力。本文从理论和实证两个方面建立并量化了对抗训练中的隐私-鲁棒性权衡和泛化-鲁棒性权衡。我们首先定义了一个概念,{ \it robustized intensity}来衡量对抗训练算法的鲁棒性。该度量可以通过渐近一致的经验估计器{ \it经验鲁棒强度}来经验地近似。基于鲁棒强度,我们证明了:(1)对抗训练是$(\varepsilon, δ)$ -差分隐私的,其中差分隐私的大小与鲁棒强度呈正相关;(2)对抗训练的泛化误差可以由$\mathcal O(\sqrt{\log N}/N)$平均界和$\mathcal O(1/\sqrt{N})$高概率界来上界,这两个界都与鲁棒强度呈正相关.此外,我们的泛化边界不显式依赖于参数大小,这在深度学习中会非常大。在标准数据集CIFAR-10和CIFAR-100上的系统实验与我们的理论完全一致。源代码包可在\url{https://github.com/fshp971/RPG}上获得。
2020-12-25 cs.AI cs.CR cs.LG
Gentle Local Robustness implies Generalization
Hanoi University of Science and Technology(河内理工大学);VinBigdata Institute(VinBigdata研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文指出现有基于鲁棒性的误差界对Bayes最优分类器无效且无法收敛,提出了一类依赖模型且更紧的新界限,能随样本量增加收敛至最佳分类器真实误差,并在ImageNet预训练深度神经网络上验证了其非无效性。
2025-02-24 cs.LG stat.ML
Maximum-Entropy Adversarial Data Augmentation for Improved Generalization and Robustness
Rutgers University(罗格斯大学);Google Research(谷歌研究院);University of Delaware(特拉华大学)
对抗性数据增强已经显示出训练鲁棒的深度神经网络以应对不可预见的数据变化或损坏的前景。然而,很难定义反演算法来生成有效的虚拟目标分布,其中包含与源分布大不相同的“硬”对抗性扰动。在本文中,我们提出了一种新的和有效的正则化项对抗数据增强。我们从理论上推导出它的信息瓶颈原则,这导致在最大熵公式。直观地说,这个正则化项鼓励扰动底层源分布,以扩大当前模型的预测不确定性,因此生成的“硬”对抗性扰动可以提高模型在训练期间的鲁棒性。三个标准基准的实验结果表明,我们的方法始终优于现有的最先进的统计显着的利润率。
2020-12-18 cs.CV cs.LG
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization
City University of Hong Kong(香港城市大学);Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
近年来,预训练模型及其下游训练在深度学习研究和应用中的重要性日益增加。与此同时,对抗性示例的防御主要在简单分类任务的随机初始化训练的背景下进行了研究。为了更好地利用预训练模型在对抗性鲁棒性方面的潜力,本文重点关注对抗性预训练模型在各种分类任务中的微调。现有研究表明,由于鲁棒预训练模型已经学习了鲁棒特征提取器,因此关键问题是如何在学习下游任务时保持预训练模型的鲁棒性。我们研究了基于模型和基于数据的方法,发现这两种常见的方法不能同时达到提高泛化能力和对抗鲁棒性的目的。因此,我们提出了一种新的基于神经网络的方法,Two-WIng NormliSation(TIOR)微调框架,其由两个神经网络组成,其中一个神经网络将预训练数据的总体均值和方差保持在批量归一化层中。除了鲁棒的信息传递之外,由于标准批量归一化层中的权重范数与其梯度范数之间的关系被打破,TSTK在不损害训练稳定性的情况下提高了有效学习率,从而更快地逃离次优初始化并减轻鲁棒过拟合。最后,TALTH被证明是有效的广泛的图像分类数据集的泛化和鲁棒性。我们的代码可在https://github.com/ziquanliu/CVPR2023-TWINS上获得。
2023-03-20 cs.CV cs.LG
Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside(加州大学河滨分校)
在这项工作中,我们提出了一个框架来学习反馈控制政策,保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的,包含在状态控制输入对的数据集中,而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略,其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是,我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界(对抗性)的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析,并证明了我们的鲁棒反馈策略学习框架的有效性。最后,我们的研究结果表明,标称闭环性能和对抗性鲁棒性之间存在潜在的权衡,并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
Boosting Adversarial Robustness and Generalization with Dictionary Structure
North Carolina State University(北卡罗来纳州立大学)
本文提出弹性字典学习网络(EDLNets),通过引入结构先验显著提升深度学习模型的对抗鲁棒性与泛化能力,并在RobustBench上超越现有最先进方法。
2026-09-30 cs.CR cs.LG cs.NE
Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, CAS(中国科学院自动化研究所);Microsoft Research(微软研究院);City University of Hong Kong(香港城市大学)
本文提出鲁棒性关键微调(RiFT),通过模块鲁棒关键性度量识别非鲁棒关键模块并微调,再与对抗训练权重插值,在不牺牲对抗鲁棒性的前提下提升模型泛化能力约1.5%。
2023-08-01 cs.CV cs.LG
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University(乔治梅森大学);Clarkson University(克拉克森大学);Northeastern University(东北大学)
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而,我们证明了参数空间中的损失面与泛化没有明显的关系,特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化,我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后,我们提出了一个对抗鲁棒性指标,它可以评估神经网络的内在鲁棒性,而无需测试其准确性下的对抗攻击。在此基础上,我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下,我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Delving into High-Quality Synthetic Face Occlusion Segmentation Datasets
Nanyang Technological University(南洋理工大学)
本文对遮挡感知人脸分割的数据集进行了全面的分析,这是一项对许多下游应用至关重要的任务。这些数据集的收集和注释是耗时和劳动密集型的。虽然在合成数据生成方面已经做出了一些努力,但数据的自然方面仍然较少探索。在我们的研究中,我们提出了两种遮挡生成技术,自然遮挡生成(NatOcc),用于生成高质量的自然合成遮挡面;和随机遮挡生成(RandOcc),一种更通用的合成遮挡数据生成方法。我们经验表明,这两种方法的有效性和鲁棒性,即使是看不见的遮挡。为了便于模型评估,我们提出了两个高分辨率的真实世界的遮挡人脸数据集与细粒度的注释,RealOcc和RealOcc-Wild,具有仔细的对齐预处理和在野外设置的鲁棒性测试。我们进一步对新引入的细分基准进行全面分析,为未来探索提供见解。
2022-05-12 cs.CV cs.LG
Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training
NavInfo Europe(纳威信息欧洲);Eindhoven University of Technology(埃因霍温理工大学);TomTom(通腾导航);Wayve
针对对抗训练中标准泛化与鲁棒泛化的权衡问题,提出数据集与架构无关的CURE训练框架,通过梯度显著性准则选择性处理各层权重,改善权衡并缓解鲁棒过拟合,为相关研究提供新方向。
2024-01-26 cs.AI cs.CV cs.LG
The interplay of robustness and generalization in quantum machine learning
University of Stuttgart(斯图加特大学);Institute for Systems Theory and Automatic Control(系统理论与自动控制研究所);Institute for Computational Physics(计算物理学研究所)
本文研究变分量子模型中对抗鲁棒性与泛化的关联,利用依赖模型参数的 Lipschitz 界统一刻画二者,并提出基于正则化和可训练数据编码的训练方法,且在时间序列分析中验证其意义。
2025-06-10 cs.LG cs.SY eess.SY
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校自然科学学院)
本文提出利用LLM自动生成多样化对比集,并在SNLI上构建3000样本对比集,通过微调提升模型鲁棒性和泛化能力,为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
Improve Model Generalization and Robustness to Dataset Bias with Bias-regularized Learning and Domain-guided Augmentation
深度学习因生物医学大数据的出现而蓬勃发展。然而,在不同机构获得的医疗数据集具有由各种混杂因素引起的固有偏差,例如操作策略,机器协议,治疗偏好等。因此,在一个数据集上训练的模型,无论体积如何,都不能自信地用于其他数据集。在这项研究中,我们使用三个大规模的胸部X射线数据集研究了模型对数据集偏差的鲁棒性:首先,我们使用香草训练基线评估了数据集偏差;其次,我们提出了一种新的多源域泛化模型,方法是:(a)设计一个新的偏差正则化损失函数;(b)合成新数据进行域增强。我们发现,我们的模型在准确性和各种偏差测量方面显着优于基线和其他方法,而无需重新训练或微调。我们的方法普遍适用于其他生物医学数据,为大数据分析和应用提供了训练模型的新算法。演示培训代码是公开的。
2019-11-13 cs.CV cs.LG eess.IV
Adversarial and Random Transformations for Robust Domain Adaptation and Generalization
National Innovation Institute of Defense Technology(国防科技创新研究院)
数据增强已被广泛用于在训练深度神经网络时提高泛化能力。最近的工作表明,使用最坏情况下的转换或对抗增强策略可以显着提高准确性和鲁棒性。然而,由于图像变换的不可微性质,必须应用诸如强化学习或演化策略的搜索算法,这对于大规模问题在计算上是不实用的。在这项工作中,我们表明,通过简单地应用随机数据增强的一致性训练,可以获得领域自适应(DA)和泛化(DG)的最先进的结果。为了进一步提高对抗样本的准确性和鲁棒性,提出了一种基于空间Transformer网络的可微对抗数据增强方法。基于组合对抗和随机变换的方法在多个DA和DG基准数据集上的性能优于最先进的方法。此外,所提出的方法显示出良好的鲁棒性腐败,这也是常用的数据集上验证。
2022-11-13 cs.CV cs.LG
Linking convolutional kernel size to generalization bias in face analysis CNNs
Rice University(莱斯大学);Yale University(耶鲁大学);Houston University(休斯顿大学)
本文提出一个因果框架,通过干预卷积核大小这一架构超参数,研究其对人脸分析CNN在不同子群体上分布外泛化偏置的影响,发现即使数据集平衡,修改核大小也会显著改变特征频率内容并导致有偏泛化。
2023-12-03 cs.CV cs.LG stat.ME
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich(慕尼黑工业大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
端到端(几何)深度学习在近似解决组合优化问题方面取得了第一次成功。然而,在NP难/完全任务领域生成数据带来了实践和理论挑战,导致评估协议过于乐观。具体来说,大多数数据集只捕获一个更简单的子问题,并可能遭受虚假特征。我们通过研究对抗鲁棒性(一种局部泛化特性)来研究这些影响,以揭示硬的、特定于模型的实例和虚假特征。为此,我们推导出SAT和TSP的扰动模型。与其他应用程序不同,扰动模型是围绕主观的不可感知性概念设计的,我们的扰动模型是有效的和健全的,使我们能够确定扰动样本的真实标签,而无需求解器。令人惊讶的是,在这样的扰动下,一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在,我们经验表明,评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG
Robustness and Generalization via Generative Adversarial Training
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);Facebook AI(脸书人工智能实验室)
虽然深度神经网络在各种计算机视觉任务中取得了显著的成功,但它们往往无法推广到新的领域和输入图像的细微变化。已经提出了几种防御措施来提高对这些变化的鲁棒性。然而,目前的防御只能抵御训练中使用的特定攻击,并且模型通常容易受到其他输入变化的影响。此外,这些方法通常会降低模型在干净图像上的性能,并且不会推广到域外样本。在本文中,我们提出了生成式对抗训练,这种方法可以同时提高模型对测试集和域外样本的泛化能力,以及对看不见的对抗攻击的鲁棒性。而不是改变一个低级别的预定义的图像方面,我们生成一个频谱的低级别,中级和高级的变化使用生成模型与解开的潜在空间。使用这些示例进行对抗训练,通过观察训练期间的各种输入变化,使模型能够承受各种攻击。我们表明,我们的方法不仅提高了模型在干净图像和域外样本上的性能,而且使其对不可预见的攻击具有鲁棒性,并优于先前的工作。我们验证了我们的方法的有效性,通过展示各种任务,如分类,分割和目标检测的结果。
2021-09-06 cs.CR cs.CV cs.LG
Unexplored Faces of Robustness and Out-of-Distribution: Covariate Shifts in Environment and Sensor Domains
Seoul National University(首尔大学)
本文提出新数据集ImageNet-ES以模拟图像采集过程中的环境与传感器协变量偏移,发现现有OOD检测方法难以应对此类真实偏移,并证明通过学习该变化及控制相机传感器可显著提升模型鲁棒性且不增加模型规模。
2024-04-25 cs.AI cs.CV
Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing
Beijing University of Posts and Telecommunications(北京邮电大学);Kuaishou Technology(快手科技);University of Oulu(奥卢大学)
随着各种呈现攻击的不断出现,广义人脸反欺骗(FAS)受到越来越多的关注。大多数现有的方法实现领域泛化(DG)的完整表示。然而,不同的图像统计可能具有FAS任务的独特属性。在这项工作中,我们将完整的表示分为内容和样式。提出了一种新的混洗风格组装网络(SSAN),提取和重组不同的内容和风格特征的风格化的特征空间。然后,为了获得一个广义的表示,对比学习策略的发展,强调活跃相关的风格信息,而抑制特定领域的。最后,在推理过程中使用正确集合的表示来区分真实和欺骗。另一方面,尽管表现不错,但由于数据量和分布的差异,学术界和工业界之间仍然存在差距。因此,一个新的大规模的基准FAS建立进一步评估算法的性能在现实中。现有的和建议的基准定性和定量的结果表明,我们的方法的有效性。这些代码将在https://github.com/wangzhuo2019/SSAN上提供。
2022-03-18 cs.CV
Understanding Adversarial Robustness Through Loss Landscape Geometries
UnifyID;Stanford University(斯坦福大学)
在深度学习中对解释和改进泛化的追求引起了正则化技术以及损失表面几何的可视化技术的努力。后者与社区中流行的直觉有关,即平坦的局部最优值会导致较低的泛化误差。在本文中,我们利用最先进的“过滤器归一化”技术的损失表面可视化定性地了解使用对抗性训练数据增强作为显式正则化技术的选择的后果。令我们惊讶的是,我们发现这种经常部署的对抗增强技术实际上并没有导致“更平坦”的损失景观,这需要重新思考对抗训练泛化以及泛化和损失景观几何之间的关系。
2019-07-22 cs.CR cs.LG stat.ML
Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study
Helmut Schmidt University(赫尔穆特·施密特大学)
本研究针对深度学习模型在信息物理系统(CPS)中应用的鲁棒性不足问题,以模拟三容水箱系统为新基准,测试了多种DL架构对扰动、分布外样本及数据增强的响应,发现特定架构与训练技术表现更优,为现实CPS的可靠DL模型开发提供参考。
2023-06-13 cs.AI cs.LG
Generalized but not Robust? Comparing the Effects of Data Modification Methods on Out-of-Domain Generalization and Adversarial Robustness
Arizona State University(亚利桑那州立大学)
在自然语言处理和计算机视觉文献中,已经提出了通过额外的训练数据集、数据增强、去偏置和数据集过滤来进行数据修改,作为推广到域外(OOD)输入的有效解决方案。然而,数据修改对对抗鲁棒性的影响仍然不清楚。在这项工作中,我们对常见的数据修改策略进行了全面的研究,不仅评估了它们的域内和OOD性能,还评估了它们的对抗鲁棒性(AR)。我们还提出了一个二维合成数据集上的结果,以可视化每种方法对训练分布的影响。这项工作是一项实证研究,旨在了解推广到看不见的领域和防御对抗性扰动之间的关系。我们的研究结果表明,更多的数据(通过额外的数据集或数据增强)有利于OOD准确性和AR。然而,数据过滤(以前被证明可以提高自然语言推理的OOD准确性)会损害其他任务(如问答和图像分类)的OOD准确性。我们从我们的实验中提供见解,为未来的工作提供信息。
2022-03-15 cs.AI cs.CL cs.CV
Rehearsal-Free Domain Continual Face Anti-Spoofing: Generalize More and Forget Less
人脸反欺骗(FAS)是近年来在持续学习环境下研究的一个新领域,其中FAS模型在遇到新领域的数据后会不断进化。然而,现有的方法需要额外的重放缓冲区来存储先前的数据用于排练,这在先前的数据由于隐私问题而不可用时变得不可行。本文提出了FAS领域持续学习(DCL)的第一种免排练方法,该方法同时处理灾难性遗忘和不可见的领域泛化问题。为了更好地推广到未知领域,我们设计了动态中心差分卷积适配器(DCDCA),以适应视觉Transformer(ViT)模型在持续学习会议。为了减少在不使用先前数据的情况下对先前领域的遗忘,我们提出了代理原型对比正则化(PPCR)来约束从代理原型中使用先前领域知识的持续学习。模拟实际的DCL场景,我们设计了两个新的协议,评估的泛化和抗遗忘性能。大量的实验结果表明,我们提出的方法可以提高泛化性能在未知领域和减轻灾难性遗忘的以前的知识。代码和协议很快就会发布。
2023-03-16 cs.CV
Evaluating and Improving the Robustness of Speech Command Recognition Models to Noise and Distribution Shifts
本研究探究音频语音命令识别模型中分布内与分布外准确率的关联,通过基准测试不同神经架构,用公平性与鲁棒性指标量化噪声影响,发现噪声感知训练可在部分配置下提升模型鲁棒性。
2025-07-30 cs.LG
Incorporating Supervised Domain Generalization into Data Augmentation
NTT Software Innovation Center(NTT软件创新中心)
针对数据增强训练轮次多、计算资源需求大的问题,将其视为监督域泛化,引入对比语义对齐损失,以插件形式提升了典型数据增强方法的鲁棒性与训练效率。
2023-10-02 cs.CV
Revisiting DeepFool: generalization and improvement
EPFL(洛桑联邦理工学院);Imperial College(帝国理工学院);Apple(苹果公司)
针对现有最小$\u2113_2$对抗扰动鲁棒性评估方法成本高或精度低的问题,本文提出DeepFool攻击的泛化改进方法,在有效性和计算效率上更优,可用于大模型鲁棒性评估和对抗训练以实现SOTA鲁棒性。
2024-12-08 cs.CR cs.LG cs.NA
Vision transformers in domain adaptation and domain generalization: a study of robustness
University of Victoria(维多利亚大学)
本文综述了视觉Transformer在域适应和域泛化场景中的部署,将其分为特征级、实例级等适应方法及多域学习等泛化策略,并提供了综合分类表格,突显其在处理分布偏移中的鲁棒性与多功能性。
2024-10-15 cs.AI cs.CV
Towards Trustworthy Unsupervised Domain Adaptation: A Representation Learning Perspective for Enhancing Robustness, Discrimination, and Generalization
College of Computer Science and Big Data, Fuzhou University(福州大学计算机与大数据学院)
针对现有鲁棒无监督域适应方法仅关注生成更强对抗样本、忽略从样本中有效学习的问题,本文从表示学习视角出发,基于互信息理论提出MIRoUDA算法及双模型框架,兼具鲁棒性、判别性与泛化性,实验效果大幅超越现有最优水平。
2024-06-19 cs.CV
FACE: Few-shot Adapter with Cross-view Fusion for Cross-subject EEG Emotion Recognition
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室)
针对跨被试脑电情绪识别中被试差异大和过拟合问题,提出少样本适配器与跨视角融合方法FACE,通过动态多视角融合和元学习增强适配器,在三个基准上取得领先泛化性能。
2026-11-13 cs.AI cs.CV eess.IV
Pretrained Transformers Improve Out-of-Distribution Robustness
UC Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);University of Chicago(芝加哥大学)
虽然预训练的Transformers(如BERT)在分布内示例上实现了高精度,但它们是否可以推广到新的分布?我们通过构建一个新的鲁棒性基准与现实的分布偏移,系统地测量了七个NLP数据集的分布外(OOD)泛化。我们测量了以前模型的泛化,包括词袋模型,ConvNets和LSTM,我们表明预训练的Transformers的性能下降幅度要小得多。预训练的Transformers在检测异常或OOD示例方面也更有效,而许多以前的模型通常比偶然性更差。我们研究了哪些因素影响鲁棒性,发现较大的模型不一定更鲁棒,蒸馏可能是有害的,更多样化的预训练数据可以增强鲁棒性。最后,我们展示了未来的工作可以提高OOD的鲁棒性。
2020-04-16 cs.CL cs.LG
FACESEC: A Fine-grained Robustness Evaluation Framework for Face Recognition Systems
Washington University in St. Louis(圣路易斯华盛顿大学);NEC Laboratories America(NEC美国实验室);University of Connecticut(康涅狄格大学)
我们提出了FACESEC,一个框架,用于细粒度的鲁棒性评估的人脸识别系统。FACESEC评估是沿着对抗建模的四个维度进行的:扰动的性质(例如,像素级或面部附件)、攻击者的系统知识(关于训练数据和学习架构)、目标(躲避或模仿)和能力(针对单个输入或跨这些输入的集合定制)。我们使用FACESEC研究五个人脸识别系统在封闭集和开放集的设置,并评估国家的最先进的方法来抵御物理上可实现的攻击。我们发现,准确的神经结构的知识是显着更重要的比知识的训练数据在黑盒攻击。此外,我们观察到,在不同类型的攻击下,开集人脸识别系统比闭集系统更容易受到攻击。然而,针对其他威胁模型变体的攻击的功效似乎高度依赖于扰动的性质和神经网络架构。例如,涉及对抗性面具的攻击通常更有效,即使是对抗性训练的模型,ArcFace架构往往比其他架构更强大。
2021-04-08 cs.CV cs.LG
Quadruplet Loss For Improving the Robustness to Face Morphing Attacks
本文提出一种新颖的四元组损失函数,通过特定采样人脸四元组并结合变形图像训练网络,有效提升人脸识别系统对变形攻击的鲁棒性。
2024-02-22 cs.CV
Validation and generalization of pixel-wise relevance in convolutional neural networks trained for face classification
Stanford University(斯坦福大学)
在科学、治理和更广泛的社会中,越来越多地使用卷积神经网络进行人脸识别,这就迫切需要能够显示这些“黑匣子”决策是如何做出的方法。为了对人类可解释和有用,这种方法应该以一种对输入数据中的随机初始化或虚假相关性鲁棒的方式传达模型的学习分类策略。为此,我们应用分层相关传播(LRP)的分解像素属性方法来解决几类VGG-16模型的决策,这些模型是为人脸识别而训练的。然后,我们量化了这些相关性度量如何随关键模型参数而变化,并在这些参数之间进行推广,例如预训练数据集(ImageNet或VGGFace),微调任务(性别或身份分类)以及模型权重的随机初始化。使用基于相关性的图像掩蔽,我们发现用于人脸分类的相关性地图在随机初始化中通常是稳定的,并且可以在微调任务中推广。然而,在预训练数据集上的泛化能力明显较低,这表明ImageNet和VGGFace训练的模型对人脸信息的采样方式不同,即使它们实现了极高的分类性能。对模型之间的相关性图进行细粒度分析,发现了泛化中的不对称性,这些不对称性指向了选择参数的特定好处,并表明有可能找到一组重要的人脸图像像素,这些像素可以驱动卷积神经网络和任务之间的决策。最后,我们评估了模型决策权重与人类相似性度量的关系,为解释人类和机器之间的人脸识别决策提供了一个新的框架。
2020-06-16 cs.CV cs.LG stat.ML
On the Robustness of Face Recognition Algorithms Against Attacks and Bias
IIIT-Delhi(德里印度理工学院);IIT-Jodhpur(焦特布尔印度理工学院)
人脸识别算法已经表现出非常高的识别性能,这表明其适用于现实世界的应用。尽管提高了准确性,这些算法对攻击和偏见的鲁棒性受到了挑战。本文总结了人脸识别算法的鲁棒性受到挑战的不同方式,这可能严重影响其预期的工作。已经讨论了不同类型的攻击,例如物理呈现攻击、伪装/化妆、数字对抗攻击和使用GANs的变形/篡改。我们还讨论了偏见对人脸识别模型的影响,并展示了年龄和性别变化等因素会影响现代算法的性能。本文还提出了这些挑战的潜在原因和一些未来的研究方向,以提高人脸识别模型的鲁棒性。
2020-02-07 cs.CV
Sparsity and Robustness in Face Recognition
本报告涉及使用稀疏信号表示和稀疏错误校正的自动人脸识别技术。最近对这些技术的兴趣大部分来自Wright等人(2009)的论文“Robust Face Recognition via Sparse Representation”,其示出了在某些技术条件下,如何可以将面部识别问题转换为在训练图像和各个像素的图像的“字典”方面寻求给定输入面部图像的稀疏表示的问题。在这份报告中,我们试图澄清一些经常遇到的问题,这项工作,特别是使用稀疏表示技术的人脸识别的有效性。
2011-11-03 cs.CV
Robustness Disparities in Face Detection
University of Maryland(马里兰大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在过去的十年里,面部分析系统已经被大公司部署,并受到学者和活动家的批评。许多现有的算法审计检查这些系统在面部分析系统的后期元素上的性能,如面部识别和年龄,情感或感知性别预测;然而,从公平的角度来看,这些系统的核心组件:面部检测,有时称为面部定位。由于人脸检测是人脸分析系统中的先决条件,因此我们在人脸检测中观察到的偏见将流向下游的其他组件,如面部识别和情感预测。此外,没有先前的工作集中在这些系统在各种扰动和腐败下的鲁棒性上,这就留下了各种人如何受到这些现象影响的问题。我们提出了第一个详细的人脸检测系统的基准,特别是研究商业和学术模型的噪声鲁棒性。我们使用标准和最近发布的学术面部数据集来定量分析面部检测鲁棒性的趋势。在所有的数据集和系统中,我们通常发现,个人照片谁是$\textit{masculine presenting}$,$\textit{older}$,$\textit{darker skin type}$,或有$\textit{dim lighting}$更容易受到错误比他们的同行在其他身份。
2022-11-29 cs.AI cs.CV cs.CY
Towards Assessing and Characterizing the Semantic Robustness of Face Recognition
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Center for Research and Formation in Artificial Intelligence Universidad de los Andes(安第斯大学人工智能研究与培训中心);Facebook Reality Labs(脸书现实实验室)
深度神经网络(DNN)缺乏对输入的不可感知扰动的鲁棒性。基于DNN的人脸识别模型(FRM)继承了这个漏洞。我们提出了一种方法,用于评估和表征FRM对语义扰动的鲁棒性。我们的方法导致FRM故障设计的对抗攻击,寻找身份保护的修改的面孔。特别是,给定一张脸,我们的攻击会找到人脸的身份保留变体,使得FRM无法识别属于同一身份的图像。我们通过StyleGAN潜在空间中的方向和幅度约束扰动来对这些身份保持语义修改进行建模。我们进一步提出的FRM的语义鲁棒性的特征,通过统计描述的扰动,诱导FRM故障。最后,我们结合我们的方法与认证技术,从而提供(一)理论保证的性能FRM,及(二)FRM如何可以模拟的概念,面对身份的正式描述。
2022-02-10 cs.CV
Robustness Implies Generalization via Data-Dependent Generalization Bounds
National University of Singapore(新加坡国立大学);Harvard University(哈佛大学);University of Colorado Boulder(科罗拉多大学博尔德分校);New York University(纽约大学)
本文证明了鲁棒性意味着通过数据依赖的泛化界的泛化。其结果是,鲁棒性和泛化被证明是紧密相连的数据依赖的方式。我们的边界在两个方向上改进了以前的边界,以解决自2010年以来几乎没有发展的开放问题。一是减少对覆盖数的依赖。二是去除对假设空间的依赖。我们给出了几个例子,包括lasso和深度学习的例子,在这些例子中,我们的界限是可以证明的。对真实世界数据和理论模型的实验表明,在各种情况下,近指数的改善。为了实现这些改进,我们不需要对未知分布进行额外的假设;相反,我们只包含训练样本的可观察和可计算属性。一个关键的技术创新是一个改进的浓度范围的多项式随机变量,是独立的利益超出了鲁棒性和推广。
2022-08-03 cs.AI cs.CV cs.LG
MorphGuard: Morph Specific Margin Loss for Enhancing Robustness to Face Morphing Attacks
Institute of Systems and Robotics, University of Coimbra(系统与机器人研究所,科英布拉大学);Portuguese Mint and Official Printing Office (INCM)(葡萄牙造币局和官方印刷局)
本文提出MorphGuard,通过双分支分类策略处理人脸融合图像标注歧义并引入融合特定边际损失,从而提升人脸识别系统对人脸融合攻击的防御鲁棒性。
2025-05-15 cs.CV
Robustness Analysis of Face Obscuration
Purdue University(普渡大学)
执法部门和大众媒体需要面部模糊来保证隐私。在模糊或编辑技术未能完全删除所有可识别痕迹的情况下共享敏感内容可能会导致许多法律和社会问题。因此,我们需要能够系统地测量给定技术的面部遮挡性能。在本文中,我们提出了八个遮蔽技术的有效性进行衡量。我们通过在三种情况下攻击编辑的面部来做到这一点:模糊的面部识别,验证和重建。威胁建模也被认为是提供一个脆弱性分析,为每一个研究的遮蔽技术。基于我们的评估,我们表明,基于k-相同的方法是最有效的。
2019-10-15 cs.CV
SVM-based Multiview Face Recognition by Generalization of Discriminant Analysis
Dr. B. C. Roy Engineering College(Dr. B. C. Roy 工程学院);National Institute of Technology Rourkela(鲁尔克拉国家理工学院);Jadavpur University(jadavpur 大学);Indian Institute of Technology Kanpur(坎普尔印度理工学院)
利用多视角人脸进行身份认证是机器视觉中一个很有价值的问题。由于特征空间中的非线性表示,多视图面具有困难。本文说明了LDA的推广的典型协变量的形式,人脸识别多视角人脸的可用性。在所提出的工作中,Gabor滤波器组被用来提取人脸特征,其特征在于空间频率,空间位置和方向。Gabor人脸表示捕捉了由于光照、姿态和面部表情变化而经常发生的大量人脸实例的变化。卷积的Gabor滤波器组旋转的轮廓视图的人脸图像产生的Gabor面与高维特征向量。然后对Gabor面采用典型协变量,将高维特征空间降维为低维子空间。最后,支持向量机的训练与规范的子空间,包含减少的功能集和执行识别任务。该系统与UMIST人脸数据库进行了评估。实验结果表明,该系统具有较高的识别率和鲁棒性。
2010-01-23 cs.CV cs.LG
Ensemble Robustness and Generalization of Stochastic Deep Learning Algorithms
National University of Singapore(新加坡国立大学);Technion(以色列理工学院)
为什么深度学习算法的泛化能力如此之好,这个问题吸引了越来越多的研究兴趣。然而,大多数成熟的方法,如假设容量、稳定性或稀疏性,都没有提供完整的解释(Zhang et al.,2016; Kawaguchi等人,2017年)的报告。在这项工作中,我们专注于鲁棒性方法(Xu & Mannor,2012),即,如果假设的误差不会由于其训练样本的扰动而改变太多,那么它也将很好地推广。由于大多数深度学习算法是随机的(例如,随机梯度下降,Dropout和Bayes-by-backprop),我们重新审视了Xu & Mannor的鲁棒性论点,并引入了一种新的方法,系综鲁棒性,它涉及假设种群的鲁棒性。通过集成鲁棒性的镜头,我们揭示了一个随机学习算法可以推广,只要它的对抗性扰动的敏感性是有界的平均训练样本。此外,算法可能对一些对抗性示例敏感(Goodfellow等人,2015年,但仍然很好。为了支持我们的主张,我们为不同的深度学习算法和不同的网络架构提供了广泛的模拟,这些算法和网络架构在集成鲁棒性和泛化能力之间表现出很强的相关性。
2017-11-05 cs.CV cs.LG stat.ML
Improving Identity-Robustness for Face Models
The University of Iowa(爱荷华大学);Netflix(奈飞)
本文提出一种无需身份标注的人脸模型身份鲁棒性提升方法,通过人脸识别嵌入向量作为身份代理,并利用条件逆密度(CID)对稀有样本加权,有效提升了模型训练鲁棒性、整体性能及对数据偏差的鲁棒性。
2023-06-29 cs.AI cs.CV cs.DS
AugRmixAT: A Data Processing and Training Method for Improving Multiple Robustness and Generalization Performance
Nanjing University(南京大学)
深度神经网络功能强大,但也有缺点,如对对抗性样本、噪声、模糊、遮挡等敏感,此外,确保深度神经网络模型的可靠性和鲁棒性对于其在安全关键领域的应用至关重要。许多以前的工作已经提出,以提高特定的鲁棒性。然而,我们发现,特定的鲁棒性往往是在牺牲额外的鲁棒性或泛化能力的神经网络模型的改善。特别是,对抗性训练方法在提高对抗性鲁棒性时,会显着损害未扰动数据的泛化性能。本文提出了一种新的数据处理和训练方法AugRmixAT,它可以同时提高神经网络模型的泛化能力和多重鲁棒性。最后,我们在CIFAR-10/100和Tiny-ImageNet数据集上验证了AugRmixAT的有效性。实验结果表明,AugRmixAT在提高模型泛化性能的同时,增强了模型的白盒鲁棒性、黑盒鲁棒性、常见腐败鲁棒性和部分遮挡鲁棒性.
2022-07-21 cs.CV
SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所 IGD);Technical University of Darmstadt(达姆施塔特工业大学)
人脸图像质量是影响人脸识别系统性能的重要因素。人脸质量评估的目的是估计人脸图像的识别适合性。以前的工作提出了监督的解决方案,需要人工或人类标记的质量值。然而,这两种标记机制都容易出错,因为它们不依赖于对质量的明确定义,并且可能不知道所使用的人脸识别系统的最佳特征。为了避免使用不准确的质量标签,我们提出了一种新的概念来衡量人脸质量的基础上任意的人脸识别模型。通过确定从人脸模型的随机子网络生成的嵌入变化,估计样本表示的鲁棒性,从而估计其质量。实验进行了跨数据库的评估设置在三个公开的数据库。我们将我们提出的解决方案与来自学术界和工业界的六种最先进的方法进行了比较。结果表明,我们的无监督解决方案优于所有其他方法在大多数调查的情况下。与以前的作品相比,所提出的解决方案在所有情况下表现出稳定的性能。利用部署的人脸识别模型进行人脸质量评估方法,完全避免了训练阶段,并大大优于所有基线方法。我们的解决方案可以很容易地集成到当前的人脸识别系统中,并可以修改为人脸识别以外的其他任务。
2020-03-20 cs.CV