Provably Minimally-Distorted Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
在现实世界中，安全关键系统中部署神经网络的能力受到对抗性示例的严重限制：网络错误分类的轻微扰动输入。近年来，已经提出了几种技术来提高对抗性示例的鲁棒性，但其中大多数技术很快就被证明容易受到未来攻击的影响。例如，在ICLR 2018上接受的论文中，超过一半的防御已经被打破。我们建议通过形式化验证技术来解决这个难题。我们展示了如何构造可证明的最小失真对抗性示例：给定任意神经网络和输入样本，我们可以构造我们证明具有最小失真的对抗性示例。使用这种方法，我们证明了最近的ICLR防御提案之一，对抗性再训练，可证明成功地将构建对抗性示例所需的失真增加了4.2倍。
2018-02-20 cs.AI cs.CR cs.LG
Provably Robust Boosted Decision Stumps and Trees against Adversarial Attacks
University of Tübingen（图宾根大学）
对抗性鲁棒性问题已经被广泛地研究了神经网络。然而，对于提升的决策树和决策树，几乎没有结果，即使它们由于其准确性，可解释性和效率而在实践中广泛使用（例如XGBoost）。我们在本文中表明，对于提升决策树桩的\textit{exact}最小-最大鲁棒损失和测试错误的$l_\infty$攻击可以计算在$O(T\log T)$时间每输入，其中$T$是决策树桩的数量和集成的最佳更新步骤可以在$O(n^2\,T\log T)$，其中$n$是数据点的数量。对于提升树，我们展示了如何有效地计算和优化鲁棒损失的上限，这导致了MNIST（$ε_\infty=0.3$为12.5%），FMNIST（$ε_\infty=0.1$为23.2%）和CIFAR-10（$ε_\infty=8/255$为74.7%）上提升树的最先进的鲁棒测试误差。此外，我们实现的鲁棒测试错误率与可证明鲁棒的卷积网络相比具有竞争力。我们所有实验的代码都可以在www.example.com上找到。
2019-10-30 cs.CR cs.LG stat.ML
A New Family of Neural Networks Provably Resistant to Adversarial Attacks
University of California, Santa Cruz（加州大学圣克鲁兹分校）
对抗攻击向输入特征添加扰动，意图改变由机器学习系统产生的分类。小的扰动可以产生对抗性的例子，这些例子被错误分类，尽管它们与未扰动的输入几乎无法区分。用标准神经网络技术训练的分类器非常容易受到对抗性示例的影响，允许对手创建他们选择的错误分类。我们引入了一种新型的网络单元，称为MWD（最大加权距离）单元，具有内置的抵抗对抗攻击。这些单位是高度非线性的，我们开发了有效训练它们所需的技术。我们表明，通过网络传播扰动效应的简单区间技术能够有效地计算鲁棒性（即，准确性保证）的MWD网络下的任何扰动，包括对抗攻击。MWD网络对输入扰动的鲁棒性明显高于ReLU网络。在置换不变MNIST上，当测试示例可以被输入范围的20%扰动时，MWD网络可证明保持83%以上的准确度，而ReLU网络的准确度下降到5%以下。MWD网络的可证明精度甚至优于在对抗性示例的帮助下训练的ReLU网络的观测精度。在没有对抗攻击的情况下，MWD网络与sigmoid网络的性能相当，准确性仅略低于ReLU网络。
2019-02-01 cs.CR cs.LG cs.NE
Contract And Conquer: How to Provably Compute Adversarial Examples for a Black-Box Model?
本文提出CAC方法，通过知识蒸馏和搜索空间收缩，在固定迭代次数内证明性地计算黑盒模型的对抗性示例，并在ImageNet数据集上优于现有方法。
2026-03-12 cs.AI cs.LG
Provably Adversarially Robust Nearest Prototype Classifiers
University of Tübingen（图宾根大学）
最近原型分类器（NPC）为每个输入点分配相对于所选距离度量的最近原型的标签。NPC的一个直接优势是决策是可解释的。以前的工作可以提供最小的对抗扰动的下限时，使用相同的$\ell_p$距离的NPC的$\ell_p$的威胁模型。在本文中，我们提供了一个完整的讨论的复杂性时，使用$\ell_p$ -距离决策和$\ell_q$ -威胁模型认证$p,q \in \{1,2,\infty\}$。特别是，我们提供了可扩展的算法时，使用$\ell_2$距离和改进的下界在其他情况下的最小对抗扰动的\emph{exact}计算。使用有效的改进下界，我们训练我们的可证明对抗鲁棒NPC（PNPC），MNIST有更好的$\ell_2$ -鲁棒性保证比神经网络。此外，我们展示了我们的知识的第一个认证结果w.r.t. LPIPS感知度量，其被认为是比$\ell_p$球更现实的图像分类威胁模型。我们的PNPC在CIFAR 10上具有比在（Laidlaw等人，2021年）。代码可以在我们的仓库中找到。
2022-07-14 cs.LG
Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文从特征学习理论角度证明标准训练偏向学习非鲁棒特征从而产生对抗样本，而对抗训练可证明增强鲁棒特征学习并抑制非鲁棒特征学习，并在MNIST、CIFAR10和SVHN上验证了理论结论。
2025-02-07 cs.LG
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Google Research, Brain Team（谷歌研究院大脑团队）；Northwestern University（西北大学）
结构方程模型（SEM）广泛应用于从经济学到心理学的科学领域，以揭示所考虑的复杂系统的因果关系并估计感兴趣的结构参数。我们研究了一类广义SEM中的估计，其中感兴趣的对象被定义为线性算子方程的解。我们制定的线性算子方程作为一个最小-最大的游戏，其中两个球员参数的神经网络（NN），并学习这些神经网络的参数使用随机梯度下降。我们考虑了具有ReLU激活函数的2层和多层NN，并证明了在过参数化制度下的全局收敛性，其中神经元的数量是发散的。结果建立使用技术从在线学习和局部线性化的神经网络，并提高在几个方面的当前国家的最先进的。对于第一次，我们提供了一个易于处理的估计过程，SEM的基础上，神经网络证明收敛，而不需要样本分裂。
2020-10-20 cs.LG stat.ML
MultiGuard: Provably Robust Multi-label Classification against Adversarial Examples
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Huazhong University of Science and Technology（华中科技大学）；Duke University（杜克大学）
多标签分类，它预测一组标签的输入，有许多应用。然而，最近的多项研究表明，多标签分类容易受到对抗性样本的影响。特别是，攻击者可以通过添加精心制作的，人类无法感知的扰动来操纵多标签分类器预测的标签。现有的可证明防御多类分类实现次优可证明的鲁棒性保证时，推广到多标签分类。在这项工作中，我们提出了MultiGuard，这是第一个针对多标签分类对抗性示例的可证明鲁棒防御。我们的MultiGuard利用随机平滑，这是最先进的技术来构建可证明的鲁棒分类器。具体来说，给定任意多标签分类器，我们的MultiGuard通过向输入添加随机噪声来构建平滑的多标签分类器。在这项工作中，我们考虑各向同性高斯噪声。我们的主要理论贡献是，我们证明了一定数量的地面真值标签的输入是可证明的标签集由我们的MultiGuard预测时，加入到输入的对抗扰动的$\ell_2$ -范数是有界的。此外，我们设计了一个算法来计算我们的可证明的鲁棒性保证。经验上，我们评估我们的MultiGuard VOC 2007年，MS-COCO和NUS-WIDE基准数据集。我们的代码可从以下网址获得：\url{https://github.com/quwenjie/MultiGuard}
2022-10-03 cs.CR cs.LG
RetrievalGuard: Provably Robust 1-Nearest Neighbor Image Retrieval
University of Pittsburgh（匹兹堡大学）；University of Waterloo（滑铁卢大学）
最近的研究工作表明，图像检索模型容易受到对抗攻击，其中稍微修改的测试输入可能导致有问题的检索结果。在本文中，我们的目标是设计一个可证明鲁棒的图像检索模型，保持最重要的评价指标Recall@1不变的对抗扰动。我们提出了第一个1-最近邻（NN）图像检索算法，RetrievalGuard，这是证明强大的对抗性扰动内的$\ell_2$球的可计算半径。面临的挑战是设计一个可证明的鲁棒算法，考虑到1-NN搜索和嵌入空间的高维性质。在理论上，给出了一个基本的检索模型和一个查询样本，通过仔细分析高维嵌入空间中的1-NN搜索过程，建立了一个平滑的检索模型。我们表明，平滑的检索模型有界Lipschitz常数，因此检索分数是不变的$\ell_2$对抗扰动。图像检索任务的实验验证了我们的RetrievalGuard方法的鲁棒性。
2022-06-17 cs.IR cs.LG
PatchGuard: A Provably Robust Defense against Adversarial Patches via Small Receptive Fields and Masking
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
局部对抗补丁旨在通过任意修改图像的受限区域内的像素来诱导机器学习模型中的误分类。这种攻击可以在物理世界中通过将对抗补丁附加到要被错误分类的对象来实现，并且防御这种攻击是一个未解决的/开放的问题。在本文中，我们提出了一个名为PatchGuard的通用防御框架，它可以实现高可证明的鲁棒性，同时保持对本地化对抗补丁的高准确性。PatchGuard的基石涉及使用具有小感受野的CNN来限制被对抗补丁破坏的特征数量。给定有界数量的损坏特征，设计对抗性补丁防御的问题简化为设计安全特征聚合机制的问题。为此，我们提出了我们强大的掩蔽防御，鲁棒地检测和掩蔽损坏的功能，以恢复正确的预测。值得注意的是，我们可以证明我们的防御对我们的威胁模型中的任何对手的鲁棒性。我们对ImageNet，ImageNet（ImageNet的10类子集）和CIFAR-10数据集的广泛评估表明，我们的防御在可证明的鲁棒准确性和干净准确性方面都达到了最先进的性能。
2021-03-31 cs.CR cs.CV cs.LG
Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach
University of Iowa（爱荷华大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种基于率失真信息论的可证明无敌的强化学习对抗攻击，通过随机扰动观测使智能体获得零或有限信息，并推导了奖励遗憾下界，验证了对多种算法的影响。
2025-10-15 cs.AI cs.LG
Model Mimic Attack: Knowledge Distillation for Provably Transferable Adversarial Examples
Research Center for Trusted Artificial Intelligence（可信人工智能研究中心）；Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所）；Moscow Institute of Physics and Technology (National Research University)（莫斯科物理技术学院（国立研究型大学））；AIRI（AIRI（人工智能研究所））
本文提出模型模仿攻击，通过知识蒸馏迭代训练学生模型实现可迁移黑盒对抗攻击，并首次证明在有限迭代内可保证找到针对教师模型的对抗样本。
2024-10-21 cs.AI cs.LG
Provably Cost-Sensitive Adversarial Defense via Randomized Smoothing
CISPA Helmholtz Center for Information Security（信息安全研究中心赫尔姆霍茨中心）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对不同误分类危害不等的现实场景，论文基于随机化平滑提出成本敏感认证半径、紧致证书算法及不损失准确率的鲁棒训练方法，并在多个基准上验证其有效性。
2025-06-10 cs.CR cs.LG
Gradient Methods Provably Converge to Non-Robust Networks
TTI Chicago（芝加哥丰田技术研究所）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Weizmann Institute of Science（魏茨曼科学研究所）
尽管进行了大量的研究，但仍然不清楚为什么神经网络如此容易受到对抗性样本的影响。在这项工作中，我们确定了自然环境，其中使用梯度流训练的深度$2$ ReLU网络可证明是非鲁棒的（易受小的对抗性$\ell_2$扰动的影响），即使正确分类训练数据集的鲁棒网络存在。也许令人惊讶的是，我们证明了众所周知的隐式偏差对利润最大化诱导非鲁棒网络的偏见，通过证明每个网络满足KKT条件的最大利润问题是非鲁棒的。
2022-10-04 cs.LG
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen（图宾根大学）
近年来，已经提出了几种对抗攻击和防御。通常，当使用更复杂的攻击时，看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来，我们表明，他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal，它增强了$l_1$和$l_\infty$扰动的鲁棒性，并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
Provably Convergent Data-Driven Convex-Nonconvex Regularization
University of Cambridge（剑桥大学）；California Institute of Technology（加州理工学院）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
针对深度学习正则化逆问题缺乏可证明保证的问题，提出输入弱凸神经网络结构，将学习型对抗正则化适配到凸-非凸框架，实现可证明收敛且解决了以往方法的数值问题。
2023-11-02 cs.CV cs.LG stat.ML
Provably and Practically Efficient Adversarial Imitation Learning with General Function Approximation
Nanjing University（南京大学）
针对现有对抗模仿学习（AIL）理论研究场景受限、算法复杂难落地的问题，提出基于优化的OPT-AIL方法，通过奖励函数在线优化与Q值函数乐观正则贝尔曼误差最小化，实现通用函数逼近下可证明的多项式复杂度，且实际易部署，性能超越现有深度AIL方法。
2024-11-01 cs.LG
Training Provably Robust Models by Polyhedral Envelope Regularization
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
训练可认证的神经网络使人们能够获得对对抗攻击具有鲁棒性保证的模型。在这项工作中，我们引入了一个框架，通过多面体包络将输入数据附近的无对手区域绑定，从而产生更细粒度的认证鲁棒性。我们进一步引入多面体包络正则化（PER），以鼓励更大的多面体包络，从而提高模型的可证明鲁棒性。我们证明了我们的框架的灵活性和有效性的标准基准，它适用于不同的架构和一般的激活函数的网络。与现有的方法相比，PER具有非常小的计算开销和更好的鲁棒性保证，而不会过度正则化的模型。
2021-09-20 cs.LG stat.ML
Provably Efficient Generative Adversarial Imitation Learning for Online and Offline Setting with Linear Function Approximation
University of Science and Technology of China（中国科学技术大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）
在生成对抗模仿学习（GAIL）中，智能体的目标是从专家演示中学习策略，使得其性能在某个预定义的奖励集上不能与专家策略区分开。在本文中，我们研究了GAIL在在线和离线设置与线性函数近似，其中的过渡和奖励函数是线性的特征映射。除了专家演示之外，在在线设置中，代理可以与环境交互，而在离线设置中，代理仅访问由先前收集的附加数据集。针对在线GAIL，我们提出了一种乐观生成式对抗策略优化算法（OGAP），并证明了OGAP实现了$\widetilde{\mathcal{O}}(H^2 d^{3/2}K^{1/2}+KH^{3/2}dN_1^{-1/2})$遗憾.这里，$N_1$表示专家演示的轨迹的数量，$d$是特征维度，并且$K$是情节的数量。对于离线GAIL，我们提出了一个悲观生成对抗策略优化算法（PGAP）。对于任意的附加数据集，我们得到了PGAP的最优性差距，实现了附加数据集利用率的极大极小下界。假设在额外的数据集上有足够的覆盖率，我们证明了PGAP实现了$\widetilde{\mathcal{O}}(H^{2}dK^{-1/2} +H^2d^{3/2}N_2^{-1/2}+H^{3/2}dN_1^{-1/2} \ )$最优性差距。这里，$N_2$表示具有足够覆盖的附加数据集的轨迹的数量。
2021-08-19 cs.AI cs.LG math.OC
Fast Training of Provably Robust Neural Networks by SingleProp
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research（MIT-IBM沃森人工智能实验室，IBM研究院）
最近的工作开发了几种具有认证保证的保护神经网络免受对抗攻击的方法。然而，由于在训练期间使用认证，这些技术可能在计算上是昂贵的。我们开发了一种新的正则化，这是更有效的比现有的认证防御，只需要一个额外的前向传播通过网络，并可以用于训练网络具有类似的认证精度。通过对MNIST和CIFAR-10的实验，我们证明了与最先进的认证防御相比，训练速度和认证准确性的提高。
2021-02-01 cs.LG stat.ML
Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
现代神经网络通常在过参数化状态下训练，其中模型的参数远远超过训练数据的大小。这样的神经网络原则上具有（过）拟合包括纯噪声的任何标签集合的能力。尽管如此，有些矛盾的是，通过一阶方法训练的神经网络模型仍然可以很好地预测尚未看到的测试数据。本文将进一步揭开这一现象的神秘面纱。在丰富的数据集模型下，我们证明了梯度下降对恒定分数的标签上的噪声/腐败具有可证明的鲁棒性，尽管过度参数化。特别是，我们证明：（i）在最初的几次迭代中，更新仍然在初始化附近的梯度下降只适合正确的标签，基本上忽略了嘈杂的标签。(ii)为了开始过拟合到噪声标签，网络必须偏离初始化相当远，这只能在更多的迭代之后发生。总之，这些结果表明，具有早期停止的梯度下降可证明对标签噪声具有鲁棒性，并揭示了深度网络的经验鲁棒性以及通常采用的防止过度拟合的算法。
2019-07-03 cs.LG stat.ML
Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense
University of Adelaide（阿德莱德大学）
本文针对贝叶斯神经网络对抗训练中的模式坍缩问题，提出防止模式坍缩并引入信息增益目标以约束对抗风险，在CIFAR-10和STL-10上实现最高20%的鲁棒性提升。
2023-12-01 cs.CR cs.CV cs.LG
Provably Robust Blackbox Optimization for Reinforcement Learning
Google Brain Robotics（谷歌大脑机器人团队）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
最近，强化学习（RL）社区对无衍生优化（DFO）和“进化策略”（ES）的兴趣激增，越来越多的证据表明它们可以与机器人技术中政策优化问题的最新方法相媲美。然而，众所周知，DFO方法具有过高的采样复杂度。它们也可能对噪声奖励和随机动态非常敏感。在本文中，我们提出了一类新的算法，称为鲁棒黑箱优化（RBO）。值得注意的是，即使所有测量值中多达$23\%$被任意损坏，RBO也可以证明将梯度恢复到高精度。RBO依赖于使用鲁棒回归方法来学习梯度流，以实现偏离策略的更新。在几个MuJoCo机器人控制任务中，当所有其他RL方法在对抗性噪声存在下崩溃时，RBO能够有效地训练策略。我们还表明，RBO可以应用于腿运动任务，包括路径跟踪四足机器人。
2019-07-08 cs.LG stat.ML
Non-Adversarial Imitation Learning Provably Free of Compounding Errors: The Value Flow Mechanism
National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文证明IQ-Learn等价于行为克隆，存在复合误差，并提出基于Bellman约束的Dual Q-DM方法，通过价值流传播实现非对抗模仿学习，理论上消除复合误差。
2026-06-23 cs.LG
Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing
University of California Riverside（加州大学河滨分校）
在这项工作中，我们提出了一个基于图的学习框架，训练模型具有可证明的鲁棒性对抗扰动。与基于正则化的方法相比，我们将对抗性鲁棒学习问题表示为具有Lipschitz约束的损失最小化问题，并表明相关拉格朗日量的鞍点由具有加权Laplace算子的泊松方程表征。此外，拉普拉斯算子的权重由Lipschitz约束的拉格朗日乘子给出，该拉格朗日乘子调节极小化器对扰动的敏感性。然后，我们设计了一个可证明的强大的训练计划，使用基于图的离散化的输入空间和原始对偶算法收敛到拉格朗日的鞍点。我们的分析在具有约束强制加权的椭圆算子和对抗学习之间建立了一种新的联系。我们还研究了补充问题，提高鲁棒性的极小与利润率的损失，制定为损失约束的Lipschitz常数最小化问题。我们提出了一种技术，以获得鲁棒极小，并通过一系列的梯度$p$ -范数最小化问题接近Lipschitz常数最小化评估基本Lipschitz下界。最后，我们的研究结果表明，对于一个理想的标称性能，存在一个基本的下限对抗扰动的敏感性，仅取决于损失函数和数据分布，并在鲁棒性的改善超出这个界限只能在牺牲标称性能。我们的训练方案可证明达到这些界限下的性能和鲁棒性的约束。
2020-10-22 cs.LG cs.SY eess.SY
Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对对抗模仿学习（AIL）需大量在线交互的问题，提出基于奖励塑形分析的理论框架，设计策略-奖励联合预训练方法CoPT-AIL，首次从理论上证明预训练能提升AIL的模仿性能。
2026-06-23 cs.LG
Provable defenses against adversarial examples via the convex outer adversarial polytope
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
我们提出了一种方法来学习基于ReLU的深度分类器，这些分类器可证明对训练数据上的范数有界对抗性扰动具有鲁棒性。对于以前看不见的例子，该方法保证检测所有对抗性例子，尽管它也可能标记一些非对抗性例子。其基本思想是考虑一个凸外近似的激活可达到通过一个范数有界扰动，我们开发了一个强大的优化过程，最大限度地减少了最坏情况下的损失在这个外部区域（通过线性规划）。至关重要的是，我们证明了这个线性规划的对偶问题可以表示为一个类似于反向传播网络的深度网络，从而产生非常有效的优化方法，可以保证鲁棒损失的界限。最终的结果是，通过对原始网络进行稍微修改后的版本（尽管可能具有更大的批量大小）执行更多的向前和向后传递，我们可以学习一个分类器，该分类器对任何范数有界的对抗攻击都具有可证明的鲁棒性。我们说明了一些任务的方法，以训练具有强大的对抗性保证的分类器（例如，对于MNIST，我们产生了一个卷积分类器，对于任何对抗攻击，具有小于$ε= 0.1$的有界$\ell_\infty$范数，可证明具有小于5.8%的测试误差），论文中所有实验的代码可在https://github.com/locuslab/convex_adversarial上获得。
2018-06-08 cs.AI cs.LG math.OC
Provably Robust Detection of Out-of-distribution Data (almost) for free
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
机器学习在安全关键系统中的应用需要对不确定性进行可靠的评估。然而，已知深度神经网络对分布外（OOD）数据产生高度过度自信的预测。即使被训练为对OOD数据不自信，人们仍然可以对抗性地操纵OOD数据，使得分类器再次为操纵的样本分配高置信度。我们发现，两个以前公布的防御可以打破更好的适应攻击，突出了OOD数据的鲁棒性保证的重要性。由于这项任务的现有方法是很难训练，并显着限制精度，我们构建了一个分类器，可以同时实现可证明的对抗强大的OOD检测和高清洁精度。此外，通过稍微修改分类器的架构，我们的方法可证明避免了标准神经网络的渐近过度自信问题。我们为所有实验提供代码。
2022-10-18 cs.AI cs.CV cs.LG
Provably Efficient Imitation Learning from Observation Alone
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Aurora Innovation（Aurora创新公司）
我们研究了大规模MDP中的模仿学习。虽然大多数IL算法依赖于专家直接向学习者提供动作，但在这种情况下，专家只提供观察序列。我们设计了一个新的无模型算法ILFO，前向对抗模仿学习（FAIL），它学习一系列的时间依赖的政策，通过最小化的积分概率度量之间的观察分布的专家政策和学习者。FAIL是ILFO设置中第一个可证明有效的算法，它学习了一个接近最优的策略，其中所有相关参数都是多项式的，但与唯一观测的数量无关。由此产生的理论将可证明的样本有效学习算法的领域扩展到现有结果之外，现有结果通常仅考虑表格式强化学习设置或需要访问接近最佳重置分布的设置。我们还调查了在基于模型的设置失败的扩展。最后，我们展示了FAIL在多个OpenAI Gym控制任务上的有效性。
2019-06-11 cs.LG stat.ML
PROSAC: Provably Safe Certification for Machine Learning Models under Adversarial Attacks
University College London（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出PROSAC框架，通过假设检验和贝叶斯优化为机器学习模型提供对抗攻击下的可证明安全认证，并实验证明ViT和大型模型更具鲁棒性。
2024-12-17 cs.CR cs.LG
A Provably Correct and Robust Algorithm for Convolutive Nonnegative Matrix Factorization
Stanford University（斯坦福大学）；Université de Mons（蒙斯大学）
在本文中，我们提出了一个可证明正确的算法卷积非负矩阵分解（CNMF）的分离性假设。CNMF是非负矩阵分解（NMF）的卷积变体，其作为具有附加序列结构的NMF起作用。该模型在许多应用中是有用的，例如音频声源分离和神经序列识别。虽然已经提出了一些启发式算法来解决CNMF，但据我们所知，还没有开发出可证明正确的算法。我们提出了一种算法，利用CNMF的NMF模型的基础上，利用现有的算法可分离NMF证明找到一个解决方案在一定条件下。我们的方法保证在低噪声设置的解决方案，并运行在多项式时间。我们说明了它的有效性合成数据集，并在唱歌的鸟的音频序列。
2019-11-13 cs.LG math.OC stat.ML
Certifying Some Distributional Robustness with Principled Adversarial Training
Stanford University（斯坦福大学）；Istituto Italiano di Tecnologia（意大利理工学院）
神经网络容易受到对抗性样本的攻击，研究人员提出了许多启发式攻击和防御机制。我们通过分布式鲁棒优化的原则镜头来解决这个问题，这保证了在对抗性输入扰动下的性能。通过考虑一个拉格朗日惩罚公式扰动的基础数据分布在一个Wasserstein球，我们提供了一个训练过程，增加模型参数更新与最坏情况下的扰动训练数据。对于平滑损失，我们的程序可证明达到中等水平的鲁棒性，相对于经验风险最小化，计算或统计成本很小。此外，我们的统计保证使我们能够有效地证明种群损失的鲁棒性。对于不可察觉的扰动，我们的方法匹配或优于启发式方法。
2020-05-01 cs.LG stat.ML
Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer
Northwestern University（西北大学）；Stanford University（斯坦福大学）；ByteDance Inc.（字节跳动公司）
针对RLHF中奖励模型不完美导致的过度优化问题，提出正则化偏好优化（RPO）算法，融合DPO与SFT损失缓解分布偏移和偏好不确定性，理论可证且实证优于DPO基线。
2024-12-04 cs.AI cs.LG stat.ML
Provably Efficient Adversarial Imitation Learning with Unknown Transitions
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对转移未知场景下对抗模仿学习理论基础不足的问题，本文构建无奖励探索与AIL的关联框架，提出MB-TAIL算法，实现了极小极大最优专家样本复杂度与更优的交互复杂度，并验证了其在函数近似场景下的泛化能力。
2023-06-11 cs.LG
Online Robustness Training for Deep Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在深度强化学习（RL）中，对抗攻击可以欺骗代理进入不想要的状态并中断训练。我们提出了一个名为Robust Student-DQN（RS-DQN）的系统，该系统允许与Q网络一起进行在线鲁棒性训练，同时保持竞争性能。我们表明，RS-DQN可以与（i）最先进的对抗训练和（ii）可证明的鲁棒训练相结合，以获得在训练和评估期间对强攻击具有弹性的代理。
2019-11-22 cs.LG stat.ML
PointGuard: Provably Robust 3D Point Cloud Classification
Duke University（杜克大学）
3D点云分类具有许多安全关键型应用，例如自动驾驶和机器人抓取。然而，几项研究表明，它容易受到对抗攻击。特别是，攻击者可以通过仔细修改、添加和/或删除少量点来使分类器预测3D点云的不正确标签。随机平滑是构建可证明鲁棒的2D图像分类器的最先进技术。然而，当应用于3D点云分类时，随机平滑只能证明对逆向修改点的鲁棒性。在这项工作中，我们提出了PointGuard，第一个防御，具有可证明的鲁棒性保证对抗修改，添加和/或删除点。具体来说，给定一个3D点云和一个任意的点云分类器，我们的PointGuard首先创建多个二次采样点云，每个点云包含原始点云中点的随机子集;然后我们的PointGuard预测原始点云的标签，作为点云分类器预测的二次采样点云标签中的多数票。我们的第一个主要的理论贡献是，我们证明PointGuard预测相同的标签为3D点云时，adversarially修改，添加和/或删除的点的数量是有界的。我们的第二个主要的理论贡献是，我们证明了我们的导出边界的紧密性时，没有假设的点云分类器。此外，我们设计了一个有效的算法来计算我们的认证的鲁棒性保证。我们还在ModelNet 40和ScanNet基准数据集上对PointGuard进行了经验评估。
2021-07-02 cs.CR cs.CV cs.LG
Deep Learning is Provably Robust to Symmetric Label Noise
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
深度神经网络（DNN）能够完美地拟合训练数据，包括记忆噪声数据。人们普遍认为，死记硬背不利于概括。因此，许多最近的作品提出缓解策略，以避免嘈杂的数据或正确的记忆。在这项工作中，我们退一步问一个问题：深度学习是否可以在没有任何缓解的情况下对大量标签噪声保持鲁棒性？我们为对称标签噪声的情况提供了肯定的答案：我们发现某些DNN，包括欠参数化和过参数化模型，可以容忍高达信息论阈值的大规模对称标签噪声。通过诉诸经典统计理论和DNN的普遍一致性，我们证明了对于多类分类，如果标签噪声概率小于$\frac{K-1}{K}$，其中$K \ge 2$是类的数量，则在对称标签噪声下训练的$L_1$一致DNN分类器可以渐近地实现贝叶斯最优性。我们的研究结果表明，对称标签噪声，没有缓解是必要的$L_1$ -相合估计量。我们推测，对于一般的标签噪声，利用噪声数据的缓解策略将优于那些忽略噪声数据的策略。
2022-10-26 cs.LG stat.ML
A Geometric Perspective on the Transferability of Adversarial Directions
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
最先进的机器学习模型经常对以对抗方式扰动的输入进行错误分类。针对给定输入和特定分类器生成的对抗性扰动通常似乎对其他输入甚至不同的分类器有效。换句话说，对抗性扰动似乎在不同的输入、模型甚至不同的神经网络架构之间转移。在这项工作中，我们证明了在线性分类器和双层ReLU网络的背景下，可以证明存在同时引起许多分类器和数据点对抗性扰动的方向。我们证明了这些“可转移的对抗方向”对于给定集合的线性分离器是保证存在的，并且对于在来自相同分布的独立集合上训练的线性分类器将以很高的概率存在。我们将我们的结果扩展到大类的双层ReLU网络。我们进一步表明，ReLU网络的对抗方向转移到线性分类器，而相反的方向不需要保持，这表明更复杂模型的对抗扰动更有可能转移到其他分类器。我们通过经验验证了我们的发现，即使是更深层次的ReLU网络。
2018-11-08 cs.LG stat.ML
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Adversarial Robustness is at Odds with Lazy Training
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，随机神经网络存在对抗性的例子[Daniely和Schacham，2020]，并且这些例子可以使用梯度上升的单步的来找到[Bubeck等人，2021年]。在这项工作中，我们将这项工作扩展到神经网络的“懒惰训练”-深度学习理论中的一个主导模型，其中神经网络可证明是有效学习的。我们发现，过度参数化的神经网络，保证推广良好，并享有强大的计算保证仍然容易受到攻击产生的梯度上升的单步的。
2022-10-17 cs.CR cs.LG stat.ML
DetectorGuard: Provably Securing Object Detectors against Localized Patch Hiding Attacks
Princeton University（普林斯顿大学）
最先进的对象检测器容易受到局部补丁隐藏攻击，其中对手引入一个小的对抗补丁，使检测器错过显著对象的检测。补丁攻击者可以通过打印并将对抗补丁附加到受害者对象来执行物理世界攻击。在本文中，我们提出DetectorGuard作为第一个通用框架，用于构建可证明鲁棒的对象检测器，以对抗局部补丁隐藏攻击。DetectorGuard的灵感来自于鲁棒图像分类研究的最新进展;我们问：我们能适应鲁棒的图像分类器来进行鲁棒的目标检测吗？不幸的是，由于它们的任务差异，从鲁棒图像分类器天真地适配的对象检测器1）在对抗设置中可能不一定是鲁棒的，或者2）甚至在干净设置中保持不错的性能。为了建立一个高性能的鲁棒对象检测器，我们提出了一个对象解释策略：我们适应一个强大的图像分类器来预测对象的每个图像位置，然后解释每个对象使用传统的对象检测器预测的边界框。如果所有对象都得到了很好的解释，我们就输出传统对象检测器做出的预测;否则，我们就发出攻击警报。值得注意的是，1）在对抗环境中，我们正式证明了DetectorGuard对认证对象的端到端鲁棒性，即，它要么检测对象，要么触发警报，以防止我们的威胁模型中的任何补丁隐藏攻击者; 2）在干净的设置中，我们具有与最先进的对象检测器几乎相同的性能。我们对PASCAL VOC，MS COCO和KITTI数据集的评估进一步证明了DetectorGuard以可忽略的成本（<1%）实现了对…
2021-10-26 cs.CR cs.CV cs.LG
Adversarially Robust Estimate and Risk Analysis in Linear Regression
Purdue University（普渡大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
对抗鲁棒学习旨在设计对输入变量的小对抗扰动具有鲁棒性的算法。除了现有的对抗性样本预测性能的研究，我们的目标是了解对抗性鲁棒估计的统计特性，并在线性回归模型的设置中分析对抗性风险。通过发现统计极小极大收敛速度的对抗稳健估计，我们强调了纳入模型信息的重要性，例如，sparsity稀疏，in adversarially对立robust鲁棒learning学习.此外，我们揭示了对抗和标准估计的显式连接，并提出了一个简单的两阶段对抗学习框架，该框架有助于利用模型结构信息来提高对抗鲁棒性。在理论上，证明了对抗稳健估计的相合性，并给出了对抗稳健估计的Bahadur表示，以便于统计推断。无论是低维或稀疏的情况下，建议的估计收敛在一个尖锐的速度。此外，我们的理论证实了对抗鲁棒学习中的两个现象：对抗鲁棒性损害泛化，未标记数据有助于提高泛化。最后，我们进行了数值模拟来验证我们的理论。
2020-12-18 cs.LG stat.ML
Finding Mixed Nash Equilibria of Generative Adversarial Networks
本文从混合纳什均衡（NE）的角度重新审视生成对抗网络（GANs）的训练目标。受经典prox方法的启发，我们通过无限维两人博弈为GANs开发了一种新的算法框架，并证明了混合NE的严格收敛速度，解决了长期存在的问题，即一般GANs不存在可证明收敛的算法。然后，我们提出了一个原则性的程序，以减少我们的新的prox方法简单的采样例程，导致实际有效的算法。最后，我们提供的实验证据表明，我们的方法在速度和质量方面都优于寻求纯策略均衡的方法，例如SGD、Adam和RMSProp。
2018-10-23 cs.GT cs.LG stat.ML
AI Models Can Provably Hide Arbitrary Capabilities
Contramont Research（康特拉蒙研究机构）；University of Oxford（牛津大学）；ACS Research（ACS研究机构）
该研究构造后门攻击，利用数字保险箱技术在AI模型中隐藏任意计算，证明基于触发的能力审计存在局限性，发布模型以支持防御改进。
2026-10-15 cs.CR cs.LG
The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Google Research, Mountain View（谷歌研究院（山景城））
我们研究了在分布无关的PAC模型中半空间的对抗鲁棒正确学习的计算复杂性，重点是$L_p$扰动。我们给出了一个计算效率高的学习算法和一个几乎匹配的计算硬度的结果，这个问题。我们的研究结果的一个有趣的含义是，$L_{\infty}$扰动的情况下，可证明计算困难的情况下$2 \leq p < \infty$。
2020-07-30 cs.CC cs.DS cs.LG
Stochastic Linear Bandits Robust to Adversarial Attacks
ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
我们考虑了一个随机线性强盗问题，其中奖励不仅受到随机噪声的影响，而且受到适当预算$C$（即，跨时间范围的腐败幅度之和的上限）。我们提供了两种变体的鲁棒相位消除算法，一个知道$C$，一个不知道。这两个变种，以达到接近最佳的遗憾，在非腐败的情况下$C = 0$，而招致额外的附加条款分别具有线性和二次依赖于$C$一般。我们提出了算法独立的下界表明，这些添加剂的条款是接近最优的。此外，在上下文环境中，我们重新审视了不同的上下文设置，并表明，一个简单的贪婪算法是可证明的强大的接近最佳的添加剂遗憾的长期，尽管没有执行明确的探索，不知道$C$。
2020-10-27 cs.LG stat.ML
Denoised Smoothing: A Provable Defense for Pretrained Classifiers
Microsoft Research（微软研究院）；CMU（卡内基梅隆大学）
我们提出了一种可证明地防御任何预训练的图像分类器对$\ell_p$对抗攻击的方法。例如，这种方法允许公共视觉API提供商和用户将预先训练的非鲁棒分类服务无缝转换为可证明的鲁棒分类服务。通过在任何现成的图像分类器之前添加一个定制训练的去噪器并使用随机平滑，我们有效地创建了一个新的分类器，该分类器保证对对抗性示例具有$\ell_p$鲁棒性，而无需修改预训练的分类器。我们的方法适用于预训练分类器的白盒和黑盒设置。我们将这种防御称为去噪平滑，并通过在ImageNet和CIFAR-10上的大量实验证明了其有效性。最后，我们使用我们的方法来证明Azure，Google，AWS和ClarifAI图像分类API。我们复制论文中所有实验的代码可以在https://github.com/microsoft/denoised-smoothing上找到。
2020-09-21 cs.CR cs.CV cs.LG
An Online Learning Approach to Generative Adversarial Networks
ETH Zürich（苏黎世联邦理工学院）
我们考虑用生成对抗网络（GAN）训练生成模型的问题。虽然GANs可以精确地模拟复杂的分布，但由于困难的极大极小优化问题导致的不稳定性，它们很难训练。在本文中，我们将训练GANs的问题视为在零和游戏中找到混合策略。基于在线学习的思想，我们提出了一种名为Chekhov GAN 1的新训练方法。在理论方面，我们证明了我们的方法可证明收敛到半浅GAN架构的平衡，即架构中的网络是一个单层网络和发电机是任意的。在实践方面，我们开发了一个有效的启发式指导我们的理论结果，我们适用于常用的深GAN架构。在几个现实世界的任务，我们的方法表现出改进的稳定性和性能相比，标准的GAN训练。
2017-06-10 cs.LG stat.ML
Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
University of Maryland（马里兰大学）
以前的工作对抗强大的神经网络图像分类需要大的训练集和计算昂贵的训练过程。另一方面，少样本学习方法非常容易受到对抗性样本的影响。我们工作的目标是生成在Few-Shot分类任务中表现良好的网络，同时对对抗性示例具有鲁棒性。我们开发了一种算法，称为对抗查询（AQ），用于产生对抗性强大的元学习者，我们彻底调查了对抗性脆弱性的原因。此外，我们的方法在Few-Shot图像分类任务（如Mini-ImageNet和CIFAR-FS）上的鲁棒性能远远优于鲁棒的迁移学习。
2020-10-15 cs.LG stat.ML
Malign Overfitting: Interpolation Can Provably Preclude Invariance
Johns Hopkins University（约翰斯·霍普金斯大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
本文从理论上证明在过参数化下任何插值学习规则都无法满足不变性，并提出可证明不变的非插值分类算法，在模拟数据与Waterbirds数据集上验证了理论。
2024-07-03 cs.LG stat.ML
Amortised and provably-robust simulation-based inference
Aalto University（阿alto大学）；University College London（伦敦大学学院）
本文提出一种基于广义贝叶斯推断和神经近似的摊还方法，实现可证明稳健于异常值的高效推断，无需马尔可夫链蒙特卡洛采样。
2026-02-17 cs.LG stat.CO stat.ME
FLEA: Provably Robust Fair Multisource Learning from Unreliable Training Data
IST Austria（奥地利科学技术研究所）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；ETH Department of Computer Science（苏黎世联邦理工学院计算机科学系）
公平感知学习的目标是构建分类器，不仅可以做出准确的预测，而且不会歧视特定的群体。它是机器学习的一个快速发展的领域，具有深远的社会影响。然而，现有的公平学习方法容易受到训练数据中的意外或恶意伪像的影响，这可能导致它们在不知不觉中产生不公平的分类器。在这项工作中，我们解决了公平学习的问题，从不可靠的训练数据在强大的multisbrands设置，其中可用的训练数据来自多个来源，其中一小部分可能不代表真实的数据分布。我们引入了FLEA，这是一种基于过滤的算法，可以识别和抑制那些如果用于训练会对公平性或准确性产生负面影响的数据源。因此，FLEA不是先前的公平性感知学习方法的替代品，而是一种增强，使它们中的任何一种对不可靠的训练数据都是鲁棒的。我们通过在多个数据集上进行的各种实验证明了我们方法的有效性。此外，我们正式证明-有足够的数据- FLEA保护学习者免受腐败，只要受影响的数据源的比例小于一半。我们的源代码和文档可以在https://github.com/ISTAustria-CVML/FLEA上找到。
2023-01-11 cs.LG stat.ML
