Understanding Grokking Through A Robustness Viewpoint
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Qing Yuan Research Institute（清源研究院）
该研究从鲁棒性视角解析grokking顿悟泛化现象，证明l₂权重范数是其充分条件，提出扰动法加速泛化，还基于鲁棒性与信息论提出可预测grokking的新指标。
2024-02-02 cs.AI cs.LG
Unveiling the Non-Monotonic Effect of Privacy on Generalization under Byzantine Robustness
本文研究分布式学习中拜占庭鲁棒性、本地差分隐私与泛化误差之间的关系，发现隐私对泛化的影响是非单调的：强隐私下增加隐私降低泛化误差，弱隐私下则相反。
2026-07-03 cs.CR cs.LG stat.ML
Robustness to Augmentations as a Generalization metric
PES University（PES大学）
泛化是模型在未知领域进行预测的能力，是机器学习中的一项基本任务。几个推广界，理论和经验已经提出，但他们不提供紧bounds.In这项工作中，我们提出了一个简单而有效的方法来预测模型的推广性能，使用的概念，模型是强大的增广比那些没有更普遍。我们用几种增强和增强的组合进行实验，以检查模型的泛化能力。我们还提供了所提出的方法背后的详细动机。所提出的泛化度量是基于增加输入后模型输出的变化来计算的。该方法是NeurIPS竞赛中关于深度学习中预测泛化的第一个亚军解决方案。
2021-01-16 cs.CV cs.LG
On the Robustness and Generalization of Deep Learning Driven Full Waveform Inversion
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
数据驱动方法已被证明是解决复杂科学问题的一种有前途的技术。全波形反演（FWI）通常被概括为图像到图像的翻译任务，这促使使用深度神经网络作为端到端解决方案。尽管使用合成数据进行训练，但深度学习驱动的FWI在使用足够的真实数据进行评估时预计会表现良好。在本文中，我们通过以下问题来研究这些性质：这些深度神经网络的鲁棒性如何？它们如何推广？对于鲁棒性，我们证明了从干净和嘈杂的数据的预测之间的偏差的上界。此外，我们证明了噪声水平和额外的增益损失之间的相互作用。对于推广，我们证明了一个基于范数的泛化误差上界通过一个稳定的推广框架。在地震FWI数据集上的实验结果与理论结果相吻合，有助于更好地理解将深度学习用于复杂的科学应用。
2021-11-28 cs.LG eess.SP
Distributional Robustness Bounds Generalization Errors
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）；Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）
本文研究贝叶斯、分布鲁棒优化和正则化三大框架的联系，提出鲁棒性度量概念，证明贝叶斯方法在PAC意义下分布鲁棒且正则化方法等价于贝叶斯方法，从而以新视角统一解释了这些模型泛化误差更小的原因。
2024-03-25 cs.LG stat.ML
Generalization Bounds on Optimal Control for Transformer Training and Wasserstein Distributional Robustness
Bilkent University（比尔肯特大学）
该研究推导了Transformer训练的有限样本泛化界，通过将训练问题转化为马尔可夫控制问题，结合量化模型与Wasserstein分布鲁棒优化，建立了Transformer泛化与分布鲁棒控制的关联。
2026-07-31 cs.LG math.OC
Generalization Bounds for Noisy Iterative Algorithms Using Properties of Additive Noise Channels
Harvard University（哈佛大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在不同的数据分布情况下，通过不同的优化算法训练的机器学习模型可以表现出不同的泛化行为。在本文中，我们分析了噪声迭代算法训练的模型的泛化。我们推导出分布相关的泛化界连接噪声迭代算法的通信和信息理论中发现的加性噪声信道。我们的泛化界揭示了几个应用程序，包括差分私有随机梯度下降（DP-SGD），联邦学习和随机梯度朗之万动力学（SGLD）。我们通过数值实验证明了我们的边界，表明它们可以帮助理解最近的经验观察的泛化现象的神经网络。
2022-12-27 cs.IT cs.LG math.IT
Formulating Robustness Against Unforeseen Attacks
Princeton University（普林斯顿大学）
对抗性训练等对抗性示例的现有防御通常假设对手将符合特定或已知的威胁模型，例如固定预算内的$\ell_p$扰动。在本文中，我们专注于的情况下，有一个不匹配的威胁模型假设的防御在训练过程中，在测试时的对手的实际能力。我们提出这样一个问题：如果学习器针对特定的“源”威胁模型进行训练，那么在测试期间，我们何时可以期望鲁棒性推广到更强的未知“目标”威胁模型？我们的主要贡献是正式定义了不可预见的对手的学习和泛化问题，这有助于我们从已知对手的传统角度来推理对抗风险的增加。应用我们的框架，我们推导出一个泛化范围，它将源和目标威胁模型之间的泛化差距与特征提取器的变化联系起来，该特征提取器测量给定威胁模型中提取的特征之间的预期最大差异。基于我们的泛化范围，我们提出了变化正则化（VR），它减少了训练过程中特征提取器在源威胁模型中的变化。我们根据经验证明，使用VR可以提高测试时对不可预见攻击的泛化能力，并将VR与感知对抗训练相结合（Laidlaw et al.，2021）在不可预见的攻击上实现了最先进的鲁棒性。我们的代码可在https://github.com/inspire-group/variation-regularization上公开获取。
2022-09-29 cs.LG
Ensemble Robustness and Generalization of Stochastic Deep Learning Algorithms
National University of Singapore（新加坡国立大学）；Technion（以色列理工学院）
为什么深度学习算法的泛化能力如此之好，这个问题吸引了越来越多的研究兴趣。然而，大多数成熟的方法，如假设容量、稳定性或稀疏性，都没有提供完整的解释（Zhang et al.，2016; Kawaguchi等人，2017年）的报告。在这项工作中，我们专注于鲁棒性方法（Xu & Mannor，2012），即，如果假设的误差不会由于其训练样本的扰动而改变太多，那么它也将很好地推广。由于大多数深度学习算法是随机的（例如，随机梯度下降，Dropout和Bayes-by-backprop），我们重新审视了Xu & Mannor的鲁棒性论点，并引入了一种新的方法，系综鲁棒性，它涉及假设种群的鲁棒性。通过集成鲁棒性的镜头，我们揭示了一个随机学习算法可以推广，只要它的对抗性扰动的敏感性是有界的平均训练样本。此外，算法可能对一些对抗性示例敏感（Goodfellow等人，2015年，但仍然很好。为了支持我们的主张，我们为不同的深度学习算法和不同的网络架构提供了广泛的模拟，这些算法和网络架构在集成鲁棒性和泛化能力之间表现出很强的相关性。
2017-11-05 cs.CV cs.LG stat.ML
Understanding Generalization in Quantum Machine Learning with Margins
Department of Statistics and Data Science（统计与数据科学系）；Yonsei University（延世大学）；Department of Applied Statistics（应用统计学系）
本文提出基于边距的泛化界限，通过量子信息理论与经典-量子混合方法提升量子机器学习的泛化能力。
2024-11-11 cs.LG quant-ph
How Learning Dynamics Drive Adversarially Robust Generalization?
CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心）
本文通过动力学系统分析，揭示对抗训练中鲁棒过拟合的机理，并提出PAC-Bayesian框架进行理论证明，同时探讨对抗扰动对泛化性能的影响。
2026-07-09 cs.LG
Convexity of Optimization Curves: Local Sharp Thresholds, Robustness Impossibility, and New Counterexamples
Telecom SudParis
本文研究一阶方法优化曲线的凸性，确定梯度下降在凸光滑函数上凸性的紧步长阈值，并揭示连续与离散动力学的联系。
2025-09-10 cs.LG math.OC
Generalization and Robustness of the Tilted Empirical Risk
The Alan Turing Institute（阿兰·图灵研究所）；University of Cambridge（剑桥大学）；University of Chicago（芝加哥大学）；Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）
本文研究负倾斜下倾斜经验风险TER的泛化与鲁棒性，给出无界损失且仅有界(1+ε)阶矩时的泛化界及异常值和分布偏移保证，并通过实验验证。
2025-06-07 cs.IT cs.LG math.IT
Loss factorization, weakly supervised learning and label noise robustness
Australian National University（澳大利亚国立大学）；NICTA（国家信息与通信技术研究院）；École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学与科学研究所）
我们证明了经验风险的最知名的损失函数因素到一个线性项聚合的所有标签与一个长期的标签是免费的，并可以进一步表示的损失的总和。这甚至适用于非光滑、非凸损失和任何RKHS。第一项是一个（核）平均算子-这项工作的焦点量-我们的特点是标签的充分统计。结果收紧已知的泛化范围，并揭示了新的光对他们的解释。因子分解在弱监督学习中有直接的应用。特别是，我们证明了算法，如SGD和近端方法可以适应以最小的努力来处理弱监督，一旦平均算子估计。我们将这一想法应用于非对称噪声标签的学习，连接和扩展先前的工作。此外，我们发现，大多数损失享有的数据依赖（平均算子）形式的噪声鲁棒性，与已知的负面结果。
2016-02-09 cs.LG stat.ML
Non-Vacuous Generalization Bounds at the ImageNet Scale: A PAC-Bayesian Compression Approach
Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
现代神经网络是高度过参数化的，具有显著过拟合训练数据的能力。尽管如此，这些网络在实践中通常具有很好的泛化能力。人们还观察到，经过训练的网络通常可以被“压缩”为更小的表示。本文的目的是将这两个经验观察联系起来。我们的主要技术成果是压缩网络的压缩大小的基础上的泛化界。结合现成的压缩算法，该边界导致最先进的泛化保证;特别是，我们为应用于ImageNet分类问题的现实架构提供了第一个非空泛化保证。作为连接压缩和泛化的额外证据，我们证明了倾向于过拟合的模型的可压缩性是有限的：我们建立了预期可压缩性的绝对限制，作为预期泛化误差的函数，其中预期是随机选择的训练样本。经验结果表明，过度拟合的增加意味着描述训练网络所需的比特数增加。
2019-02-25 cs.LG stat.ML
Connecting Interpretability and Robustness in Decision Trees through Separation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
最近的研究已经认识到可解释性和鲁棒性作为可信分类的基本属性。奇怪的是，鲁棒性和可解释性之间的联系是经验性的，但其背后的理论推理仍然难以捉摸。在本文中，我们严格调查这种联系。具体来说，我们专注于解释使用决策树和鲁棒性$l_{\infty}$扰动。以前的作品定义的概念，$r$ -分离的鲁棒性的充分条件。我们证明了树的大小的上限和下限的情况下，数据是$r$分离。然后，我们表明，一个更严格的约束的大小是可能的，当数据是线性分离的。我们提供的第一个算法的鲁棒性，可解释性和准确性的背景下，决策树的可证明的保证。实验证实，我们的算法产生的分类器，是可解释的和强大的，并具有较高的准确性。实验代码可在https://github.com/yangarbiter/interpretable-robust-trees上获得。
2021-02-14 cs.LG stat.ML
Robust Generalization via $α$-Mutual Information
EPFL（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
这项工作的目的是提供边界连接两个概率测量同一事件使用雷尼$α$ -分歧和Sibson的$α$ -互信息，分别推广的Kullback-Leibler分歧和香农的互信息。当所考虑的两个概率度量是联合分布和边际的相应乘积（代表统计独立情景）时，可以找到感兴趣的特定情况。在这种情况下，检索使用Sibson的$α-$互信息的界限，将涉及最大泄漏的结果扩展到一般字母表。这些结果具有广泛的应用，从限制学习算法的泛化误差到自适应数据分析的更一般的框架，只要所使用的发散和/或信息度量服从于这样的分析（{ \it，}对后处理和自适应合成具有鲁棒性）。相对于高概率事件的泛化误差的界限，但相应的预期泛化误差的界限也检索。
2020-01-14 cs.IT cs.LG math.IT
Connecting Domains and Contrasting Samples: A Ladder for Domain Generalization
UIUC（伊利诺伊大学 Urbana-Champaign 分校）；HKBU（香港理工大学）
针对直接使用对比学习反而损害域泛化的问题，本文提出 DCCL，通过跨域正样本、强增强、模型锚定和生成式变换损失增强类内连通性，并在五个基准上取得最优性能。
2025-10-19 cs.CV cs.LG
I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in Large Language and Reasoning Models
IBM Research – Zurich（IBM瑞士研究中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出符号基准I-RAVEN-X，通过增加操作数复杂度、属性范围和感知不确定性，评估大语言模型与大推理模型在类比与数学推理上的泛化与鲁棒性，发现LRMs表现更优但仍难以应对不确定性推理。
2025-10-31 cs.AI cs.LG
SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montreal（蒙特利尔综合理工学院）
节能的深度神经网络（DNN）加速器容易出现非理想性，从而在推理时降低DNN性能。为了减轻这种退化，现有方法通常在训练期间向DNN权重添加扰动，以模拟噪声硬件上的推理。然而，这通常需要了解目标硬件，并导致DNN性能和鲁棒性之间的权衡，降低前者以提高后者。在这项工作中，我们证明了通过优化损失值和损失锐度来应用锐度感知训练，可以显着提高推理时对噪声硬件的鲁棒性，而无需依赖于对目标硬件的任何假设。特别是，我们提出了一种新的自适应锐度感知方法，条件的最坏情况下的扰动，一个给定的权重不仅在其幅度，但也对范围的重量分布。这是通过执行由离群值最小化缩放的锐度感知最小化（SAMSON）来实现的。我们的方法在无噪声机制的模型泛化性能和噪声环境中的鲁棒性方面都优于现有的锐度感知训练方法，如在几种架构和数据集上测量的那样。
2023-03-21 cs.AI cs.LG
Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study
Helmut Schmidt University（赫尔穆特·施密特大学）
本研究针对深度学习模型在信息物理系统（CPS）中应用的鲁棒性不足问题，以模拟三容水箱系统为新基准，测试了多种DL架构对扰动、分布外样本及数据增强的响应，发现特定架构与训练技术表现更优，为现实CPS的可靠DL模型开发提供参考。
2023-06-13 cs.AI cs.LG
Robustness and Generalization for Metric Learning
University of Southern California（南加州大学）；Laboratoire Hubert Curien UMR CNRS 5516（于贝尔·居里安实验室（法国国家科学研究中心联合实验室 5516））；Université Jean Monnet（让·莫奈大学）
度量学习在过去的十年里引起了人们的极大兴趣，但是这种方法的泛化能力还没有得到深入的研究。在本文中，我们介绍了算法鲁棒性的概念（以前由徐和Mannor介绍），可用于推导度量学习的泛化界。我们进一步表明，一个弱的鲁棒性的概念实际上是一个度量学习算法推广的充分必要条件。为了说明所提出的框架的适用性，我们推导出一个大的家庭现有的度量学习算法，包括一些稀疏的配方，不包括以前的结果的泛化结果。
2014-09-29 cs.AI cs.LG stat.ML
InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
NavInfo Europe（四维图新欧洲）
与深度神经网络相比，人类对虚假相关性和琐碎线索（如纹理）的依赖更少，深度神经网络具有更好的泛化性和鲁棒性。它可以归因于先验知识或大脑中存在的高级认知归纳偏见。因此，向神经网络引入有意义的归纳偏差可以帮助学习更多的通用和高级表示，并减轻一些缺点。我们提出InBiaseD来提取归纳偏差，并为神经网络带来形状感知。我们的方法包括一个偏差对齐目标，该目标强制网络学习更通用的表示，这些表示不太容易受到数据中意外线索的影响，从而提高泛化性能。InBiaseD不太容易受到捷径学习的影响，并且还表现出较低的纹理偏差。更好的表示也有助于提高对对抗攻击的鲁棒性，因此我们将InBiaseD无缝地插入到现有的对抗训练方案中，以显示泛化和鲁棒性之间更好的权衡。
2022-06-12 cs.AI cs.CV cs.LG
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations
National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）
研究神经网络中权重扰动的敏感性及其对模型性能（包括泛化和鲁棒性）的影响是一个活跃的研究课题，因为它涉及到广泛的机器学习任务，如模型压缩，泛化差距评估和对抗攻击。本文对前馈神经网络在两两类间隔下的鲁棒性及其在权值扰动下的推广行为进行了第一次积分研究和分析。我们进一步设计了一个新的理论驱动的损失函数，用于训练可推广和鲁棒的神经网络对权重扰动。最后通过实验验证了理论分析的正确性。我们的研究结果为表征神经网络对权重扰动的泛化性和鲁棒性提供了基本的见解。
2021-12-17 cs.LG
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校自然科学学院）
本文提出利用LLM自动生成多样化对比集，并在SNLI上构建3000样本对比集，通过微调提升模型鲁棒性和泛化能力，为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
Federated Learning for Generalization, Robustness, Fairness: A Survey and Benchmark
Wuhan University（武汉大学）；Hong Kong University of Science and Technology（香港科技大学）
该综述系统梳理了联邦学习在泛化性、鲁棒性和公平性三方面的研究进展，并基于多个数据集进行基准测试，同时提供公开平台以持续追踪领域发展。
2023-11-12 cs.AI cs.LG
Connecting Low-Loss Subspace for Personalized Federated Learning
Ulsan National Institute of Science and Technology（蔚山科学技术院）；Kakao Enterprise（Kakao企业）
由于客户端之间统计异质性的诅咒，采用个性化的联邦学习方法已成为成功部署基于联邦学习的服务的必要选择。在个性化技术的不同分支中，基于模型混合的个性化方法是优选的，因为作为联邦学习的结果，每个客户端具有其自己的个性化模型。它通常需要一个本地模型和一个联邦模型，但这种方法要么局限于部分参数交换，要么需要额外的本地更新，每一个都是无助的新客户端和客户端的计算能力的负担。由于已经发现在两个或多个独立的深度网络之间存在包含不同低损失解决方案的连接子空间，我们将这个有趣的特性与基于模型混合的个性化联邦学习方法相结合，以提高个性化的性能。我们提出了SuperFed，一种个性化的联邦学习方法，该方法在权重空间中引入局部和联邦模型的最优值之间的显式连接，以相互提升。通过在多个基准数据集上的大量实验，我们证明了我们的方法在个性化性能和对现实服务中可能出现的问题场景的鲁棒性方面都取得了一致的收益。
2022-08-11 cs.AI cs.LG
How Does Mixup Help With Robustness and Generalization?
Rutgers University（罗格斯大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
Mixup是一种流行的数据增强技术，基于对示例及其标签进行凸组合。这种简单的技术已被证明可以大大提高训练模型的鲁棒性和泛化能力。然而，人们并不清楚为什么会出现这种改善。在本文中，我们提供了理论分析来证明如何在训练中使用Mixup有助于模型的鲁棒性和泛化。对于鲁棒性，我们证明了最小化混淆损失对应于近似最小化对抗损失的上限。这解释了为什么通过混合训练获得的模型对几种对抗攻击（如快速梯度符号方法（FGSM））表现出鲁棒性。为了推广，我们证明了Mixup增强对应于一种特定类型的数据自适应正则化，可以减少过拟合。我们的分析为理解Mixup提供了新的见解和框架。
2021-03-17 cs.LG stat.ML
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）；Northeastern University（东北大学）
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而，我们证明了参数空间中的损失面与泛化没有明显的关系，特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化，我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后，我们提出了一个对抗鲁棒性指标，它可以评估神经网络的内在鲁棒性，而无需测试其准确性下的对抗攻击。在此基础上，我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下，我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
Robustness, Privacy, and Generalization of Adversarial Training
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
对抗性训练可以大大增强深度神经网络的鲁棒性，以抵抗对抗攻击。然而，一些工作表明，对抗性训练可能包括隐私保护和泛化能力。本文从理论和实证两个方面建立并量化了对抗训练中的隐私-鲁棒性权衡和泛化-鲁棒性权衡。我们首先定义了一个概念，{ \it robustized intensity}来衡量对抗训练算法的鲁棒性。该度量可以通过渐近一致的经验估计器{ \it经验鲁棒强度}来经验地近似。基于鲁棒强度，我们证明了：（1）对抗训练是$(\varepsilon, δ)$ -差分隐私的，其中差分隐私的大小与鲁棒强度呈正相关;（2）对抗训练的泛化误差可以由$\mathcal O(\sqrt{\log N}/N)$平均界和$\mathcal O(1/\sqrt{N})$高概率界来上界，这两个界都与鲁棒强度呈正相关.此外，我们的泛化边界不显式依赖于参数大小，这在深度学习中会非常大。在标准数据集CIFAR-10和CIFAR-100上的系统实验与我们的理论完全一致。源代码包可在\url{https://github.com/fshp971/RPG}上获得。
2020-12-25 cs.AI cs.CR cs.LG
Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training
NavInfo Europe（纳威信息欧洲）；Eindhoven University of Technology（埃因霍温理工大学）；TomTom（通腾导航）；Wayve
针对对抗训练中标准泛化与鲁棒泛化的权衡问题，提出数据集与架构无关的CURE训练框架，通过梯度显著性准则选择性处理各层权重，改善权衡并缓解鲁棒过拟合，为相关研究提供新方向。
2024-01-26 cs.AI cs.CV cs.LG
Towards Unraveling and Improving Generalization in World Models
University of California, Davis（加州大学戴维斯分校）；Google（谷歌）
本文通过随机微分方程框架分析世界模型中潜在表示误差对泛化的影响，发现零漂移误差可作隐式正则化，并提出Jacobian正则化以缓解非零漂移误差，从而提升训练稳定性、收敛速度和长时程预测精度。
2024-12-31 cs.AI cs.LG
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出，稳健和准确的模型都是不可能的，即，对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系，我们假设一个底层的，低维的数据流形，并表明：1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形，即，流形上对抗的例子，存在; 3.流形上对抗性示例是泛化误差，并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而，不同的模型（架构，培训策略等）可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张，我们提出了广泛的实验合成数据（与已知的流形），以及EMNIST，时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Understanding Generalization, Robustness, and Interpretability in Low-Capacity Neural Networks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文通过MNIST难度递增的二分类任务研究低容量神经网络，发现泛化所需最小容量随任务复杂度扩展，训练网络可剪枝至95%稀疏度仍保持性能，且过参数化能提升对输入损坏的鲁棒性。
2025-07-22 cs.AI cs.CV cs.LG
Improving the Robustness and Generalization of Deep Neural Network with Confidence Threshold Reduction
Xi’an Jiaotong University（西安交通大学）；Qingdao University（青岛大学）
深度神经网络很容易受到难以察觉的扰动的攻击。对抗性训练（AT）是目前提高模型对对抗性样本鲁棒性的最有效方法。然而，由于对抗训练解决了最小值-最大值问题，与自然训练相比，鲁棒性和泛化是矛盾的，即，模型鲁棒性的提高会降低模型的泛化能力。为了解决这个问题，在本文中，一个新的概念，即置信阈值（CT），被引入和降低的置信阈值，称为置信阈值降低（CTR），被证明可以提高模型的泛化和鲁棒性。具体地，为了减少用于自然训练的CT（即，对于使用CTR的自然训练），我们提出了由交叉熵损失项和正交项组成的掩模引导的发散损失函数（MDL）。理论和实证分析表明，MDL损失提高了模型的鲁棒性和泛化能力的自然训练的同时。然而，使用CTR的自然训练的模型鲁棒性改进与对抗训练的模型鲁棒性改进不可比较。因此，对于对抗训练，我们提出了一个标准差损失函数（STD），它最小化错误类别的概率差异，通过集成到对抗训练的损失函数中来降低CT。理论和实证分析表明，基于STD的损失函数在保证自然精度不变或略有提高的基础上，进一步提高了逆向训练模型的鲁棒性。
2022-07-12 cs.CV cs.LG
Improving Global Adversarial Robustness Generalization With Adversarially Trained GAN
Southwest Jiaotong University（西南交通大学）
卷积神经网络（CNN）在图像分类任务中已经实现了超越人类水平的准确性，并广泛应用于现实世界的环境中。然而，CNN显示出对抗性扰动的脆弱性，这些扰动是精心设计的噪声，旨在误导分类模型。为了抵御对抗性扰动，提出了对抗性训练的GAN（AT GAN），以提高通过对抗性训练的最新CNN的对抗性鲁棒性泛化能力。ATGAN将对抗性训练结合到标准GAN训练过程中，以去除模糊梯度，这可能导致在防御对抗性扰动时产生错误的感觉，并且在现有的基于GAN的对抗性防御方法中常见。此外，ATGAN采用图像到图像生成器作为数据增强，以增加对抗训练中对抗鲁棒性泛化所需的样本复杂度。在MNIST SVHN和CIFAR-10数据集上的实验结果表明，该方法不依赖于模糊梯度，并且比对抗训练的最先进CNN具有更好的全局对抗鲁棒性泛化性能。
2021-03-08 cs.CV cs.LG
Key Principles of Graph Machine Learning: Representation, Robustness, and Generalization
Institut Polytechnique de Paris（巴黎理工学院）；École Polytechnique（巴黎综合理工学院）；CentraleSupélec（中央理工-高等电力学院）；Télécom Paris（巴黎高等电信学院）；Università di Pisa（比萨大学）；INRIA（法国国家信息与自动化研究所）
本研究通过开发基于图位移算子的表示学习技术、图数据增强方法和鲁棒化GNNs，探讨图机器学习中表示、鲁棒性和泛化的关键原则。
2026-02-01 cs.LG
Boosting Adversarial Robustness and Generalization with Dictionary Structure
North Carolina State University（北卡罗来纳州立大学）
本文提出弹性字典学习网络（EDLNets），通过引入结构先验显著提升深度学习模型的对抗鲁棒性与泛化能力，并在RobustBench上超越现有最先进方法。
2026-09-30 cs.CR cs.LG cs.NE
Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach
College of Computing, Mohammed VI Polytechnic University（计算学院、摩洛哥穆莱·易斯·本·阿卜杜勒阿齐兹理工学院）；CID Development（CID开发公司）
本文提出基于增长界矩阵的正则化技术，提升LSTM、S4和CNN在词替换攻击下的鲁棒性，同时改善干净文本泛化，实验显示对抗鲁棒性最高提升8.8%。
2025-07-14 cs.AI cs.CL cs.LG
Improving Generalization and Robustness in Offline Reinforcement Learning via Boundary-Aware Data Augmentation
Tongji University（同济大学）
针对离线强化学习在分布内泛化与鲁棒性不足的问题，提出边界感知数据增强（BADA）方法，通过相邻状态构建插值边界生成合成数据，在多个基准上取得最优性能。
2026-09-18 cs.LG
Affine Variational Autoencoders: An Efficient Approach for Improving Generalization and Robustness to Distribution Shift
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在这项研究中，我们提出了仿射变分自编码器（AVAE），一个变种的变分自编码器（VAE），旨在提高鲁棒性，克服VAE无法推广到分布移位的仿射扰动的形式。通过优化仿射变换以最大化ELBO，所提出的AVAE将输入变换为训练分布，而不需要增加模型复杂度来对仿射变换的完整分布进行建模。此外，我们还引入了一个训练过程，通过学习训练分布的子集来创建一个有效的模型，并使用AVAE来提高测试时分布偏移的泛化能力和鲁棒性。仿射扰动实验表明，所提出的AVAE显着提高了泛化能力和鲁棒性的仿射扰动形式的分布移位，而不增加模型的复杂性。
2019-05-13 cs.CV cs.LG cs.NE
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness
Technical University of Munich（慕尼黑工业大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
端到端（几何）深度学习在近似解决组合优化问题方面取得了第一次成功。然而，在NP难/完全任务领域生成数据带来了实践和理论挑战，导致评估协议过于乐观。具体来说，大多数数据集只捕获一个更简单的子问题，并可能遭受虚假特征。我们通过研究对抗鲁棒性（一种局部泛化特性）来研究这些影响，以揭示硬的、特定于模型的实例和虚假特征。为此，我们推导出SAT和TSP的扰动模型。与其他应用程序不同，扰动模型是围绕主观的不可感知性概念设计的，我们的扰动模型是有效的和健全的，使我们能够确定扰动样本的真实标签，而无需求解器。令人惊讶的是，在这样的扰动下，一个足够有表现力的神经求解器不会受到监督学习中常见的准确性-鲁棒性权衡的限制。虽然这样强大的求解器存在，我们经验表明，评估神经求解器不概括以及w.r.t.问题实例的小扰动。
2022-03-21 cs.LG
Interpolation for Robust Learning: Data Augmentation on Wasserstein Geodesics
Carnegie Mellon University（卡内基梅隆大学）；AT&T Chief Data Office（AT&T首席数据办公室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
该研究提出基于Wasserstein测地线插值的数据增强与正则化方法，结合理论保证，在四个数据集上有效提升了模型的可认证与经验鲁棒性，提供了鲁棒学习新视角与可复用策略。
2023-08-28 cs.LG stat.ML
Understanding Domain Generalization: A Noise Robustness Perspective
National University of Singapore（新加坡国立大学）
本文从标签噪声视角探究域泛化算法优于经验风险最小化的原因，发现DG算法具有隐式噪声鲁棒性，但真实基准上其性能优势并不明显。
2024-03-18 cs.CV cs.LG
The interplay of robustness and generalization in quantum machine learning
University of Stuttgart（斯图加特大学）；Institute for Systems Theory and Automatic Control（系统理论与自动控制研究所）；Institute for Computational Physics（计算物理学研究所）
本文研究变分量子模型中对抗鲁棒性与泛化的关联，利用依赖模型参数的 Lipschitz 界统一刻画二者，并提出基于正则化和可训练数据编码的训练方法，且在时间序列分析中验证其意义。
2025-06-10 cs.LG cs.SY eess.SY
Out of Distribution Detection, Generalization, and Robustness Triangle with Maximum Probability Theorem
Currus AI（Currus人工智能公司）；Northwestern University（西北大学）
最大概率框架是人工智能领域的一个新的理论发展，它以最大概率定理为基础，旨在形式化地定义概率模型，指导目标函数的开发和概率模型的正则化。MPT使用模型对随机变量假设的概率分布来提供模型概率的上限。我们将MPT应用于计算机视觉中具有挑战性的分布外（OOD）检测问题，方法是将MPT作为CNN及其基于能量的变体训练中的正则化方案。我们在1080个具有不同超参数的训练模型上证明了所提出方法的有效性，并得出结论，基于MPT的正则化策略除了在CIFAR10，CIFAR100和MNIST数据集上增强OOD性能外，还稳定和提高了基础模型的泛化和鲁棒性。
2022-09-06 cs.LG stat.ML
Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models
Kyushu University（九州大学）；IBM Research（IBM研究院）
该研究提出用k*分布直接分析视觉模型潜在空间的概念聚类情况，发现泛化性、鲁棒性提升与概念分布拆分程度降低正相关，为视觉模型潜在空间的解读与对比提供了新方法。
2024-08-17 cs.AI cs.CV cs.LG
Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside（加州大学河滨分校）
在这项工作中，我们提出了一个框架来学习反馈控制政策，保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的，包含在状态控制输入对的数据集中，而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略，其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是，我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界（对抗性）的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析，并证明了我们的鲁棒反馈策略学习框架的有效性。最后，我们的研究结果表明，标称闭环性能和对抗性鲁棒性之间存在潜在的权衡，并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness
University of Southern California（南加州大学）
针对神经网络简单性偏差导致OOD泛化差的问题，提出通过正则化条件互信息鼓励模型使用多样特征，从而提升OOD泛化、子群鲁棒性和公平性，并辅以理论分析。
2023-10-09 cs.LG stat.ML
Evaluating and Improving the Robustness of Speech Command Recognition Models to Noise and Distribution Shifts
本研究探究音频语音命令识别模型中分布内与分布外准确率的关联，通过基准测试不同神经架构，用公平性与鲁棒性指标量化噪声影响，发现噪声感知训练可在部分配置下提升模型鲁棒性。
2025-07-30 cs.LG
The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks
UC Davis（加州大学戴维斯分校）；TTI-Chicago（芝加哥丰田技术学院）；Hebrew University（希伯来大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
在这项工作中，我们研究了梯度流的隐式偏差对ReLU网络中的泛化和对抗鲁棒性的影响。我们专注于数据由聚类组成并且聚类均值之间的相关性很小的设置，并表明在双层ReLU网络中，梯度流偏向于泛化良好的解决方案，但非常容易受到对抗性示例的影响。我们的结果甚至在网络的参数比训练样本多得多的情况下也成立。尽管潜在的有害过拟合在这样的overparameterized设置，我们证明了梯度流的隐式偏差防止it.However，隐式偏差也会导致非鲁棒的解决方案（易受小对抗$\ell_2$扰动），即使强大的网络，适合的数据存在。
2023-10-31 cs.LG stat.ML
Robustness and Generalization in Quantum Reinforcement Learning via Lipschitz Regularization
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuit IIS（弗劳恩霍夫集成电路研究所（弗劳恩霍夫IIS））；Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学模式识别实验室）；University of Stuttgart（斯图加特大学）
本文针对量子强化学习策略的鲁棒性与泛化问题，利用 Lipschitz 界提出正则化量子策略梯度算法 RegQPG，并结合课程学习减少训练失败，数值实验验证了其有效性。
2024-10-28 cs.LG quant-ph
RegMix: Adversarial Mutual and Generalization Regularization for Enhancing DNN Robustness
School of Computing Newcastle University（计算学院新castle大学）
本文针对对抗训练中MSE正则化导致的过度均匀优化问题，提出加权对抗互正则化和对抗泛化正则化两种策略，显著提升模型对抗鲁棒性。
2025-10-06 cs.CV cs.LG
Generalized but not Robust? Comparing the Effects of Data Modification Methods on Out-of-Domain Generalization and Adversarial Robustness
Arizona State University（亚利桑那州立大学）
在自然语言处理和计算机视觉文献中，已经提出了通过额外的训练数据集、数据增强、去偏置和数据集过滤来进行数据修改，作为推广到域外（OOD）输入的有效解决方案。然而，数据修改对对抗鲁棒性的影响仍然不清楚。在这项工作中，我们对常见的数据修改策略进行了全面的研究，不仅评估了它们的域内和OOD性能，还评估了它们的对抗鲁棒性（AR）。我们还提出了一个二维合成数据集上的结果，以可视化每种方法对训练分布的影响。这项工作是一项实证研究，旨在了解推广到看不见的领域和防御对抗性扰动之间的关系。我们的研究结果表明，更多的数据（通过额外的数据集或数据增强）有利于OOD准确性和AR。然而，数据过滤（以前被证明可以提高自然语言推理的OOD准确性）会损害其他任务（如问答和图像分类）的OOD准确性。我们从我们的实验中提供见解，为未来的工作提供信息。
2022-03-15 cs.AI cs.CL cs.CV
