Certifying Robustness via Topological Representations
KTH Royal Institute of Technology（KTH皇家理工学院）；University of Southampton（南安普顿大学）；University of Trento（特伦托大学）；RISE Research Institutes of Sweden（瑞典RISE研究院）
提出一种从持续图学习几何表示的神经网络，利用可控利普希茨稳定性证明对抗鲁棒性，并在ORBIT5K数据集上验证。
2025-01-18 cs.CG cs.LG stat.ML
Relaxing Local Robustness
Carnegie Mellon University（卡内基梅隆大学）
可证明的局部鲁棒性严格排除了小范数对抗性示例，作为解决深度学习中安全问题的一种手段，已经受到了极大的关注。然而，对于一些分类问题，局部鲁棒性不是一个自然的目标，即使在存在对手的情况下;例如，如果图像包含两类主题，则图像的正确标签可以被认为是任意的，因此在它们之间强制严格分离是不必要的。在这项工作中，我们介绍了两个宽松的安全属性的分类器，解决这个问题：（1）宽松的top-k鲁棒性，它作为top-k准确性的模拟;（2）亲和鲁棒性，它指定哪些标签集必须由鲁棒性裕度分离，以及哪些可以是$ε$ -接近$\ell_p$空间。我们展示了如何构建模型，可以有效地对每个放松的鲁棒性属性进行认证，并且相对于标准的梯度下降，训练的开销非常小。最后，我们通过实验证明，这些放松的变体的鲁棒性非常适合几个重要的分类问题，导致较低的拒绝率和较高的认证精度比可以获得认证时，“标准”的本地鲁棒性。
2021-06-11 cs.LG
Certifying Data-Bias Robustness in Linear Regression
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
由于人为错误和社会偏见，数据集通常包含不准确性，这些不准确性可能会影响在此类数据集上训练的模型的结果。我们提出了一种技术，用于证明线性回归模型是否对训练数据集中的标签偏差具有逐点鲁棒性，即，对训练数据集标签的有界扰动是否会导致模型改变测试点的预测。我们展示了如何解决这个问题，正是为个别测试点，并提供了一个近似的，但更可扩展的方法，不需要预先知道的测试点。我们广泛地评估了这两种技术，发现线性模型-回归和分类-通常显示出高水平的偏差鲁棒性。然而，我们也发现了偏差鲁棒性方面的差距，例如某些数据集上某些偏差假设的高水平非鲁棒性。总的来说，我们的方法可以作为何时信任或质疑模型输出的指南。
2022-06-07 cs.LG
Towards Assessment of Randomized Smoothing Mechanisms for Certifying Adversarial Robustness
University of Toronto（多伦多大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
作为一种经过认证的防御技术，随机平滑由于其对大型数据集和神经网络的可扩展性而受到相当大的关注。然而，几个重要的问题仍然没有答案，如（i）高斯机制是否是一个适当的选择，用于证明$\ell_2$ -范数鲁棒性，以及（ii）是否有一个适当的随机化（平滑）机制，以证明$\ell_\infty$ -范数鲁棒性。为了阐明这些问题，我们认为，主要的困难是如何评估每个随机机制的适当性。在本文中，我们提出了一个通用的框架，连接现有的框架在\cite{lecuyer2018certified, li2019certified}，评估随机机制。在我们的框架下，对于一个可以证明一定程度的鲁棒性的随机机制，我们定义其所需的加性噪声的大小作为评估其适当性的度量。我们还证明了这个度量的$\ell_2$规范和$\ell_\infty$规范的情况下，作为评估的标准的下限。基于我们的框架，我们通过比较这些机制所需的加性噪声的大小和下限（标准）来评估高斯和指数机制。我们首先得出结论，高斯机制确实是一个适当的选择，以证明$\ell_2$ -范数的鲁棒性。令人惊讶的是，我们表明，高斯机制也是一个适当的选择，用于证明$\ell_\infty$规范的鲁棒性，而不是指数机制。最后，我们将我们的框架推广到任何$p\geq2$的$\ell_p$ -范数。我们的理论研究结果通过CIFAR 10和ImageNet的评估得到了验证。
2020-06-07 cs.CR cs.LG stat.ML
CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing
针对大语言模型易受对抗攻击问题，提出CluCERT框架，通过聚类引导去噪平滑认证其鲁棒性。引入语义聚类过滤器，结合细化模块和快速同义词替换策略，提升效率，实验证明该方法在鲁棒性边界和计算效率上优于现有方法。
2026-07-17 cs.AI cs.LG
On Certifying Robustness against Backdoor Attacks via Randomized Smoothing
Duke University（杜克大学）
后门攻击是对深度神经网络（DNN）的严重安全威胁。我们设想，就像对抗性的例子一样，后门攻击将是一场猫捉老鼠的游戏，即，开发了新的经验防御来防御后门攻击，但是它们很快就被强适应性后门攻击打破。为了防止这种猫捉老鼠的游戏，我们采取了第一步，对后门攻击认证防御。具体来说，在这项工作中，我们研究的可行性和有效性，证明对后门攻击使用最近的技术称为随机平滑的鲁棒性。随机平滑最初是为了证明对抗性样本的鲁棒性而开发的。我们推广了随机平滑来抵御后门攻击。我们的研究结果表明，使用随机平滑证明对后门攻击的鲁棒性的理论可行性。然而，我们也发现，现有的随机平滑方法在抵御后门攻击的有效性有限，这突出了新的理论和方法的需求，以证明对后门攻击的鲁棒性。
2020-07-20 cs.CR cs.LG
Certifying Global Robustness for Deep Neural Networks
Northwestern University（西北大学）；Meta
本文提出一种基于PAC验证框架的深度神经网络全局鲁棒性评估与验证方法，利用概率程序刻画输入区域，引入累积鲁棒性曲线，并结合多级分裂与回归分析显著降低执行时间，有效为对抗训练找到罕见反例。
2024-05-31 cs.AI cs.LG
Certifying Language Model Robustness with Fuzzed Randomized Smoothing: An Efficient Defense Against Backdoor Attacks
City University of Hong Kong（香港城市大学）；Huawei（华为）；The Chinese University of Hong Kong（香港中文大学）
针对预训练语言模型面临的文本后门攻击及现有防御的局限，提出模糊随机平滑（FRS）方法，结合软件鲁棒性认证与双阶段参数平滑，无需污染数据即可高效认证鲁棒性，理论与实验验证其优于现有方法。
2025-02-09 cs.AI cs.LG
CROP: Certifying Robust Policies for Reinforcement Learning through Functional Smoothing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Washington University in St. Louis（圣路易斯华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
随着强化学习（RL）取得巨大成功，甚至被应用于自动驾驶汽车等安全关键领域，人们已经进行了一系列实证研究，以提高其对对抗攻击的鲁棒性。然而，如何证明其鲁棒性与理论保证仍然是一个挑战。在本文中，我们提出了第一个统一的框架CROP（认证RL的鲁棒政策），提供行动和奖励水平的鲁棒性认证。特别是，我们提出了两个鲁棒性认证标准：每状态动作的鲁棒性和累积奖励的下限。然后，我们开发了一个本地平滑算法的政策来自Q函数，以保证沿轨迹采取的行动的鲁棒性，我们还开发了一个全球平滑算法，用于证明有限时域累积奖励的下限，以及一种新的本地平滑算法进行自适应搜索，以获得更严格的奖励认证。从经验上讲，我们应用CROP来评估几种现有的经验鲁棒RL算法，包括对抗训练和不同的鲁棒正则化，在四个环境中（两个代表性的Atari游戏，高速公路和CartPole）。此外，通过评估这些算法对对抗攻击，我们证明了我们的认证往往是紧。所有实验结果可在网站https://crop-leaderboard.github.io上获得。
2022-03-16 cs.LG
CNN-Cert: An Efficient Framework for Certifying Robustness of Convolutional Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）
由于深度神经网络的成功及其对对抗性扰动的意外脆弱性，神经网络分类器的鲁棒性引起了极大的兴趣和关注。虽然找到神经网络（具有ReLU激活）的最小对抗失真已被证明是NP完全问题，但获得最小失真的非平凡下界作为可证明的鲁棒性保证是可能的。然而，大多数以前的工作只关注简单的全连接层（多层感知器），并且仅限于ReLU激活。这促使我们提出一个通用而有效的框架CNN-Cert，它能够证明一般卷积神经网络的鲁棒性。我们的框架是通用的--我们可以处理各种架构，包括卷积层、最大池化层、批量归一化层、残差块以及通用激活函数;我们的方法是有效的--通过利用卷积层的特殊结构，与最先进的认证算法相比，我们实现了高达17倍和11倍的加速（例如Fast-Lin，CROWN）和366倍的加速比双LP方法，而我们的算法获得类似甚至更好的验证边界。此外，CNN-Cert还推广了最先进的算法，例如Fast-Lin和CROWN。我们通过大量的实验证明，我们的方法优于国家的最先进的下限为基础的认证算法的约束质量和速度。
2018-11-29 cs.CR cs.LG stat.ML
Is Multi-Distribution Learning as Easy as PAC Learning: Sharp Rates with Bounded Label Noise
MIT（麻省理工学院）
该研究探讨了多分布学习在有界标签噪声下的样本复杂性，发现其速率与k/ε²成比例，揭示了多源学习中的基本限制。
2026-02-24 cs.LG stat.ML
Certifying Robustness to Programmable Data Bias in Decision Trees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
由于社会不平等、人类偏见、少数群体代表性不足等原因，数据集可能会有偏见。我们的目标是证明由学习算法生成的模型对潜在的数据集偏见具有逐点鲁棒性。这是一个具有挑战性的问题：它需要为大量甚至无限数量的数据集学习模型，以确保它们都产生相同的预测。由于模型的可解释性，我们专注于决策树学习。我们的方法允许以编程方式指定跨各种维度的偏差模型（例如，少数群体数据缺失）、构成偏见类型以及针对特定群体的偏见。为了证明鲁棒性，我们使用了一种新的符号技术来评估大量或无限数量的数据集上的决策树学习器，证明每个数据集对特定测试点产生相同的预测。我们评估我们的方法在公平文献中常用的数据集上，并证明我们的方法在一系列偏差模型上的可行性。
2021-10-08 cs.CY cs.LG
Certifying Adapters: Enabling and Enhancing the Certification of Classifier Adversarial Robustness
University of Connecticut（康涅狄格大学）；Baidu USA（百度美国）
本文提出认证适配器框架（CAF），在不重新训练大型模型的情况下，利用预训练特征提取器实现并增强分类器的对抗鲁棒性认证，显著提升多个半径下的认证准确率。
2024-05-25 cs.CR cs.CV cs.LG
On Certifying Non-uniform Bound against Adversarial Attacks
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
本文研究了神经网络模型的鲁棒性认证问题，其目标是在数据点周围找到尽可能大的无竞争区域。在现有的方法，寻求区域边界均匀沿所有输入功能，我们考虑非均匀的边界，并使用它来研究神经网络模型的决策边界。我们制定我们的目标作为一个非线性约束的优化问题。然后，提出了一个适用于一般前馈神经网络的框架，以约束输出logits，使松弛问题可以通过增广拉格朗日方法来解决。我们的实验表明，非均匀边界比均匀边界具有更大的体积，并且非均匀边界的几何相似性给出了输入特征鲁棒性的定量的、数据不可知的度量。此外，与正常模型相比，鲁棒模型具有更大的非一致边界和更好的可解释性。
2019-07-12 cs.LG stat.ML
Keeping up with dynamic attackers: Certifying robustness to adaptive online data poisoning
University of Washington（华盛顿大学）；Northeastern University（东北大学）；ServiceNow Research（ServiceNow研究院）
针对在线动态数据投毒攻击，提出计算认证界的框架并设计鲁棒学习算法，在均值估计和二分类问题上验证有效性。
2025-02-23 cs.LG
Certifying Robustness of Graph Convolutional Networks for Node Perturbation with Polyhedra Abstract Interpretation
本文提出基于多面体抽象解释的GCN鲁棒性认证方法，通过提供紧密的上下界提升鲁棒性界紧致性和认证效率，并在训练过程中增强GCN的鲁棒性。
2025-12-15 cs.FL cs.LG
Certifying Ensembles: A General Certification Theory with S-Lipschitzness
University of Oxford（牛津大学）；ETH Zürich（苏黎世联邦理工学院）
针对集成模型可认证鲁棒性缺乏理论理解的问题，本文提出 S-Lipschitz 分类器以推广 Lipschitz 连续性，并给出集成相较成员分类器更鲁棒或更不鲁棒的精确条件。
2023-04-25 cs.LG
PROVEN: Certifying Robustness of Neural Networks with a Probabilistic Approach
MIT（麻省理工学院）；IBM Research（IBM研究）；Skoltech（斯科尔科沃科学技术研究院）
随着深度神经网络为众多机器学习任务提供最先进的机器学习模型，量化这些模型的鲁棒性已成为重要的研究领域。然而，大多数研究文献仅仅关注\textit{worst-case}设置，其中神经网络的输入被约束在$\ell_p$球内的噪声扰动;并且已经提出了几种算法来基于这种最坏情况分析计算经认证的最小对抗失真的下限。在本文中，我们解决了这些限制，并扩展到一个\textit{probabilistic}设置的加性噪声可以遵循一个给定的分布特征的方法。我们提出了一个新的概率框架，证明可以用统计保证概率地验证神经网络--即，PROVEN证明了在给定输入的任何受约束的$\ell_p$范数扰动下，分类器的前1预测不能改变的概率。重要的是，我们证明了基于当前最先进的神经网络鲁棒性验证框架可以获得封闭形式的概率证书。因此，PROVEN提供的概率证书很自然，并且在从现有方法（如Fast-Lin，CROWN和CNN-Cert）中获得最坏情况下的认证下限时几乎没有开销。在小型和大型MNIST和CIFAR神经网络模型上的实验表明，与CROWN提供的最坏情况鲁棒性证书相比，我们的概率方法可以在鲁棒性认证中实现高达约$75\%$的改进，至少具有$99.99\%$置信度。
2019-01-07 cs.CR cs.LG stat.ML
Certifying Out-of-Domain Generalization for Blackbox Functions
ETH Zurich（苏黎世联邦理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在分布鲁棒性的保护伞下，证明有界数据分布漂移下模型性能的鲁棒性最近引起了人们的广泛兴趣。然而，现有技术要么对模型类和可以被证明的损失函数做出强假设，例如通过梯度的Lipschitz连续性表示的平滑度，要么需要解决复杂的优化问题。因此，这些技术的更广泛应用目前受到其可扩展性和灵活性的限制-这些技术通常无法扩展到具有现代深度神经网络的大规模数据集，或者无法处理可能不平滑的损失函数，例如0-1损失。研究了黑盒模型和有界损失函数的分布鲁棒性证明问题，提出了一种基于Hellinger距离的分布鲁棒性证明框架.我们的认证技术可扩展到ImageNet规模的数据集、复杂模型和各种损失函数。然后，我们将重点放在一个特定的应用程序，使这种可扩展性和灵活性，即，验证大型神经网络的领域泛化和准确度和AUC等损失函数。我们在许多数据集上通过实验验证了我们的认证方法，从ImageNet到较小的分类任务，在ImageNet中，我们提供了第一个非空认证的领域泛化，在较小的分类任务中，我们能够与最先进的方法进行比较，并表明我们的方法表现得更好。
2022-07-30 cs.LG
On the Robustness of Decision Tree Learning under Label Noise
Microsoft India (R & D) Pvt. Ltd., Bangalore（微软印度研发私人有限公司（班加罗尔））；Indian Institute of Science, Bangalore（印度科学理工学院（班加罗尔））
在大多数实际的分类器学习问题中，训练数据受到标签噪声的影响。因此，理解学习算法对这种标签噪声的鲁棒性是很重要的。本文从理论上分析了许多流行的决策树算法在大样本情况下对对称标签噪声具有鲁棒性。我们还提出了一些样本复杂性的结果，提供了一些界限的样本大小的鲁棒性，以保持高概率。通过大量的模拟，我们说明了这种鲁棒性。
2016-08-26 cs.LG
A Novel Noise Injection-based Training Scheme for Better Model Robustness
University of Rochester（罗切斯特大学）；Peking University（北京大学）；Huaru Tech（华如科技）；HUST（华中科技大学）
本文提出一种基于噪声注入的训练方案，通过似然比梯度估计和近似方法提升脉冲神经网络的对抗鲁棒性与分类准确率，并在MNIST和Fashion-MNIST上验证其优于传统梯度训练方法。
2023-05-29 cs.LG
Towards Certifying L-infinity Robustness using Neural Networks with L-inf-dist Neurons
Peking University（北京大学）；Princeton University（普林斯顿大学）；Zhongguancun Haihua Institute for Frontier Information Technology（中关村海华前沿信息技术研究院）；Microsoft Research（微软研究院）
众所周知，标准神经网络即使具有高分类精度，也容易受到小的$\ell_\infty$ -范数有界对抗扰动的影响。虽然已经进行了许多尝试，但大多数以前的工作只能提供对特定攻击方法的防御的经验验证，或者只能在有限的场景中开发模型鲁棒性的认证保证。在本文中，我们寻求一种新的方法来开发一个理论上有原则的神经网络，内在地抵抗$\ell_\infty$扰动。特别是，我们设计了一种新的神经元，使用$\ell_\infty$ -距离作为其基本操作（我们称之为$\ell_\infty$ -dist神经元），并表明，任何神经网络构造的$\ell_\infty$ -dist神经元（称为$\ell_{\infty}$ -dist网络）自然是一个1-Lipschitz函数关于$\ell_\infty$ -norm。这直接提供了基于预测输出裕度的认证鲁棒性的严格保证。然后，我们证明了这样的网络有足够的表达能力，以近似任何1-Lipschitz函数具有强大的泛化保证。我们还提供了一个整体的训练策略，可以大大减轻优化的困难。实验结果表明，使用$\ell_{\infty}$ -dist网作为基本构建块，我们在常用数据集上始终达到最先进的性能：MNIST（$ε=0.3$）上的认证准确率为93.09%，CIFAR-10（$ε=8/255$）为35.42%，TinyImageNet（$ε=1/255$）为16.31%。
2021-06-14 cs.AI cs.CR cs.LG
Improving Noise Robustness through Abstractions and its Impact on Machine Learning
Sano - Centre for Computational Personalised Medicine（Sano个性化计算医学中心）
本文提出利用数据抽象带来的信息损失减轻噪声影响，并在数值数据二分类任务中比较原始与抽象数据训练的神经网络，证明抽象可提升噪声鲁棒性。
2024-06-12 cs.AI cs.LG
COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Amazon AWS AI（亚马逊AWS人工智能部门）
随着强化学习（RL）在各种任务中取得了接近人类水平的性能，其鲁棒性引起了人们的极大关注。虽然大量的研究已经探索了RL中的测试时间（逃避）攻击和相应的防御，但其对训练时间（中毒）攻击的鲁棒性仍然没有得到很大的回答。在这项工作中，我们专注于证明离线RL在存在中毒攻击的情况下的鲁棒性，其中训练轨迹的子集可以被任意操纵。我们提出了第一个认证框架，COPA，认证的中毒轨迹，可以容忍不同的认证标准的数量。鉴于强化学习的复杂结构，我们提出了两个认证标准：每状态动作稳定性和累积奖励界。为了进一步提高认证，我们提出了新的分区和聚合协议，训练强大的政策。我们进一步证明了所提出的一些认证方法在理论上是严格的，有些是NP完全问题。我们利用COPA对三种不同算法训练的强化学习环境进行了认证，并得出结论：（1）所提出的鲁棒聚合协议（如时间聚合）可以显著提高认证效率;（2）我们对每个状态的动作稳定性和累积奖励界的认证是有效和严格的;（3）不同的训练算法和训练环境的认证结果不同，这说明它们具有内在的鲁棒性。所有实验结果可在https://copa-leaderboard.github.io上获得。
2022-03-16 cs.CR cs.LG
Certifying Model Accuracy under Distribution Shifts
University of Maryland（马里兰大学）
本文提出在有界 Wasserstein 分布偏移下认证模型准确率的随机化框架，支持逐样本变化的扰动预算，并用于自然图像变换、对抗分布偏移及不可学习投毒数据集的性能下界证明。
2023-07-16 cs.LG
COMMIT: Certifying Robustness of Multi-Sensor Fusion Systems against Semantic Attacks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
本文提出首个面向多传感器融合系统语义攻击的鲁棒性认证框架 COMMIT，通过各向异性随机平滑、网格分割和高效认证算法，在 CARLA 上验证其相较单模态模型最高可提升 48.39%。
2024-03-04 cs.CR cs.CV cs.LG
Is Certifying $\ell_p$ Robustness Still Worthwhile?
Carnegie Mellon University（卡内基梅隆大学）；Center for AI Safety（人工智能安全中心）；NASA Ames（美国国家航空航天局艾姆斯研究中心）；Truera
本文重新审视认证 $\ell_p$ 鲁棒性的价值，论证局部鲁棒性认证具有实际意义，$\ell_p$ 威胁模型是安全关键应用的最低要求，且认证可解决攻击猫鼠游戏，并可能不存在准确性、鲁棒性与可认证性之间的根本权衡。
2023-10-13 cs.LG
An Overview and Prospective Outlook on Robust Training and Certification of Machine Learning Models
University of California, Berkeley（加州大学伯克利分校）
在这篇讨论论文中，我们综述了最近围绕机器学习模型鲁棒性的研究。随着学习算法在数据驱动控制系统中变得越来越流行，必须确保其对数据不确定性的鲁棒性，以便维持可靠的安全关键操作。我们首先回顾这种鲁棒性的常见形式，然后讨论用于训练鲁棒机器学习模型的流行和最先进的技术，以及可证明证明这种鲁棒性的方法。从这个统一的强大的机器学习，我们确定和讨论在该领域的未来研究的紧迫方向。
2022-09-27 cs.LG math.OC stat.ML
Certifying Robustness of Learning-Based Keypoint Detection and Pose Estimation Methods
Carnegie Mellon University（卡内基梅隆大学）；The Boeing Company（波音公司）
本文首次提出将基于关键点的6D位姿估计局部鲁棒性认证转化为神经网络分类验证问题，通过凸包输入规范、模型改造和误差阈值分配实现系统级认证，并在真实扰动上验证了框架的可靠性与完备性。
2024-07-31 cs.CV cs.LG cs.RO
Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks
Washington University in Saint Louis（圣路易斯华盛顿大学）
函数逼近使得强化学习（RL）技术在具有高维输入（如图像）的环境中以端到端的方式应用取得了显着进展，将这些输入直接映射到低级控制。尽管如此，这些已经被证明容易受到小的对抗性输入扰动的影响。因此，出现了许多用于提高或证明端到端RL对对抗性扰动的鲁棒性的方法，重点是累积奖励。然而，在对抗性场景中，最关键的往往是违反基本属性，如安全性，而不是将安全性与效率相结合的整体回报。此外，诸如安全性之类的属性只能相对于真实状态来定义，而不是端到端策略的高维原始输入。为了解开名义效率和对抗安全性，我们在确定性部分可观察马尔可夫决策过程（POMDPs）中使用RL，目标是在安全约束下最大化累积奖励。然后，我们提出了一个部分监督的强化学习（PSRL）框架，该框架利用了一个额外的假设，即POMDP的真实状态在训练时已知。我们提出了在对抗性输入扰动下验证PSRL策略安全性的第一种方法，以及直接使用PSRL的两种对抗性训练方法。我们的实验证明了所提出的方法在对抗环境中认证安全性的有效性，以及PSRL框架与对抗训练相结合在提高认证安全性同时保持高名义奖励和高质量真实状态预测方面的价值。
2022-12-28 cs.AI cs.LG
Towards Poisoning Robustness Certification for Natural Language Generation
Department of Computing, Imperial College London, London, UK（计算系，伦敦帝国学院，伦敦，英国）
本文提出TPA算法，通过计算最小中毒预算认证自然语言生成的有效性和稳定性，为安全关键应用提供可证明的鲁棒性保障。
2026-02-10 cs.LG
Semantic Robustness Certification for Vision-Language Models
School of Computing \& Information Systems, University of Melbourne, Australia
提出首个无需额外数据即可认证视觉语言模型在语义层面（如形状、大小、风格）鲁棒性的框架，通过文本提示作为语义代理并量化决策边界，确保预测类别在语义变换下不变。
2026-06-18 cs.CV cs.LG
Abstract Gradient Training: A Unified Certification Framework for Data Poisoning, Unlearning, and Differential Privacy
Imperial College London（帝国理工学院伦敦校区）；The Alan Turing Institute（艾伦·图灵研究所）
针对训练数据扰动验证不足的问题，本工作提出抽象梯度训练（AGT）统一框架，通过界定参数可达集，为数据投毒、机器遗忘和差分隐私场景下的模型鲁棒性提供形式化验证方法。
2025-11-12 cs.LG
Certifying Lower Bounds for Risk-Sensitive Reinforcement Learning under Adversarial State Perturbations
University of Houston（休斯顿大学）
本文针对风险敏感强化学习，在对抗状态扰动下通过凸优化和phi散度松弛推导认证下界，实验表明风险厌恶训练提升下界，但过度风险厌恶会降低性能。
2026-09-11 cs.LG math.OC
Incremental Randomized Smoothing Certification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMware Research（威睿研究院）
针对随机平滑鲁棒性认证计算成本高、修改后模型需从头重认证的问题，提出首个增量认证方法IRS，通过复用原模型认证结果以极少样本认证近似模型，保持鲁棒性的同时最高提速3倍。
2024-04-11 cs.CR cs.LG cs.PL
NLP Verification: Towards a General Methodology for Certifying Robustness
Heriot-Watt University（赫瑞瓦特大学）；University of Southampton（南安普顿大学）；University of Birmingham（伯明翰大学）；University of Western Australia（西澳大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文针对NLP模型形式化验证缺乏通用方法论的问题，提出分析嵌入间隙的通用框架及量化方法，并给出利用更精确几何语义相似度估计来训练和验证神经网络的通用方法。
2025-01-24 cs.AI cs.CL cs.LG
RouteGuard: Certifying Routing Gain in LLM Multi-Agent Systems When Complementarity Is Not Enough
University of Miami（迈阿密大学）；Google（谷歌公司）
针对LLM多智能体路由的部署问题，提出RouteGuard框架，通过分解增益、结合Le Cam下界等实现认证，在两个基准中验证了其有效性。
2026-08-11 cs.LG stat.ML
Certified Robustness to Programmable Transformations in LSTMs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
用于自然语言处理的深度神经网络在面对对抗性示例时是脆弱的--小的输入扰动，如同义词替换或单词重复，会导致神经网络改变其预测。我们提出了一种验证LSTM（以及LSTM的扩展）的鲁棒性和可以有效验证的训练模型的方法。我们的方法可以证明的鲁棒性，以编程方式定义的字符串变换的语言难以处理的大扰动空间。我们的评估表明，（1）我们的方法可以训练模型，更强大的字符串转换的组合比使用现有技术产生的模型;（2）我们的方法可以显示出高认证精度的结果模型。
2021-09-07 cs.LG
[Re] Double Sampling Randomized Smoothing
Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）
本文复现了双采样随机平滑（DSRS）框架，通过引入额外平滑分布改进神经网络对抗性扰动的鲁棒性认证，并在MNIST和CIFAR-10上验证了其能认证更大鲁棒半径的有效性。
2023-06-27 cs.CR cs.LG math.ST
Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers
University of Maryland, College Park（马里兰大学帕克分校）
凸松弛对于训练和验证神经网络对抗范数有界对抗攻击是有效的，但它们在可验证和经验鲁棒性之间留下了很大的差距。原则上，如果松弛问题的解对于原始非凸问题是可行的，则凸松弛可以提供紧边界。我们提出了两个正则化，可用于训练神经网络，产生更严格的凸松弛边界的鲁棒性。在我们所有的实验中，提出的正则化器比非正则化基线具有更高的认证准确性。
2020-02-22 cs.LG stat.ML
Robustness Verification of Polynomial Neural Networks
本文通过度量代数几何方法研究神经网络的鲁棒性验证，针对多项式神经网络，通过计算到代数决策边界距离来认证鲁棒半径，并引入参数判别来检测ED度下降的参数值，最终通过实验展示决策边界具有更小的ED度。
2026-04-17 cs.LG math.AG stat.ML
Robustness Certification of Generative Models
ETH Zurich（苏黎世联邦理工学院）
生成神经网络可用于通过潜在空间插值指定图像之间的连续变换。然而，证明由图像流形中的结果路径捕获的所有图像满足给定属性可能非常具有挑战性。这是因为这个集合是高度非凸的，阻碍了现有的可扩展鲁棒性分析方法，这些方法通常基于凸松弛。我们提出了一种可扩展的认证方法，它成功地验证了涉及生成模型和分类器的非平凡规范。ApproxLine可以通过捕获神经网络激活向量的无限非凸集合或这些集合上的分布来提供可靠的确定性和概率性保证。我们表明，近似线是实际有用的，可以验证有趣的插值网络的潜在空间。
2020-04-30 cs.CR cs.LG cs.PL
Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming
University of Pennsylvania（宾夕法尼亚大学）
证明神经网络对输入不确定性和对抗性攻击的安全性或鲁棒性是安全机器学习和控制领域的一个新兴挑战。为了提供这样的保证，当神经网络的输入在有界集内变化时，必须能够限制神经网络的输出。在本文中，我们提出了一个半定规划（SDP）框架来解决这个问题的前馈神经网络与一般的激活函数和输入不确定性集。我们的主要思想是抽象激活函数的各种属性（例如，单调性、有界斜率、有界值和跨层重复）与二次约束的形式主义。然后，我们分析了抽象网络的安全性通过S-过程和半定规划。我们的框架跨越保守性和计算效率之间的权衡，并适用于安全验证以外的问题。我们通过各种大小的数值问题实例来评估我们的方法的性能。
2021-09-15 cs.LG math.OC
FoSeRL: Formal Sequential Robustness Certification for Reinforcement Learning Policies
LMU Munich（慕尼黑大学）；TUM（慕尼黑工业大学）；Masaryk University（马萨里克大学）；CU Boulder（科罗拉多大学博尔德分校）
FoSeRL提出一种无需修改策略、基于可重置模拟器的框架，通过时间相关屏障条件认证强化学习策略在稀疏动作攻击下的回报损失上限，并在多个环境中验证了其有效性。
2026-10-06 cs.LG
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
本文研究了量化神经网络的训练和认证问题。量化是一种通过使用低位整数运算运行神经网络来使其更有效的技术，因此在工业中通常采用。最近的工作表明，已经被验证为鲁棒的浮点神经网络在量化后可能变得容易受到对抗攻击，并且量化表示的认证是保证鲁棒性所必需的。在这项工作中，我们提出了量化感知区间界限传播（QA-IBP），一种新的方法来训练强大的QNN。受到非量化网络鲁棒学习进步的启发，我们的训练算法计算实际网络抽象表示的梯度。与现有方法不同，我们的方法可以处理QNN的离散语义。基于QA-IBP，我们还开发了一个完整的验证过程，用于验证QNN的对抗鲁棒性，保证终止并产生正确的答案。与现有的方法相比，我们的验证过程的关键优势是，它完全运行在GPU或其他加速器设备上。我们通过实验证明，我们的方法显着优于现有的方法，并建立了新的最先进的训练和认证的QNN的鲁棒性。
2022-11-29 cs.LG
Certifying Some Distributional Fairness with Subpopulation Decomposition
UIUC（伊利诺伊大学厄巴纳-香槟分校）；ETH Zurich（苏黎世联邦理工学院）；UC Santa Cruz（加州大学圣克鲁兹分校）
人们已经做出了广泛的努力来理解和提高基于观测指标的机器学习模型的公平性，特别是在医疗保险、教育和招聘决策等高风险领域。然而，考虑到ML模型的端到端性能，缺乏经过认证的公平性。在本文中，我们首先将在给定数据分布上训练的ML模型的认证公平性表示为基于公平性约束分布上的模型性能损失界限的优化问题，该公平性约束分布与训练分布在有界分布距离内。然后，我们提出了一个通用的公平性认证框架，并实例化它的敏感转移和一般转移的情况。特别是，我们建议通过将原始数据分布分解为分析子群体并证明子问题的凸性来解决优化问题。我们评估了我们认证的公平性在六个真实世界的数据集，并表明我们的认证是紧在敏感的转移情况下，并提供一般转移下的非平凡的认证。我们的框架是灵活的，以整合额外的非偏度约束，我们表明，它提供了更严格的认证在不同的现实世界的情况下。我们还比较了我们的认证公平性约束与适应现有的分布鲁棒性约束的高斯数据，并证明我们的方法是显着更紧密。
2022-11-18 cs.CY cs.LG
DeepBern-Nets: Taming the Complexity of Certifying Neural Networks using Bernstein Polynomial Activations and Precise Bound Propagation
University of California, Irvine（加州大学欧文分校）
本文提出 DeepBern-Nets，利用 Bernstein 多项式替代 ReLU 激活函数，并设计 Bern-IBP 算法高效计算输出紧密边界，显著提升了大规模神经网络形式化认证的可扩展性与准确率。
2023-05-22 cs.LG
Scaling Polyhedral Neural Network Verification on GPUs
ETH Zurich（苏黎世联邦理工学院）；VMware Research（威睿研究）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
验证神经网络对对抗攻击的鲁棒性对于它们在自动驾驶和医疗诊断等安全关键系统中的可靠采用至关重要。不幸的是，最先进的验证器要么无法扩展到更大的网络，要么太不精确而无法证明其鲁棒性，从而限制了它们的实际采用。在这项工作中，我们引入了GPUPoly，这是一个可扩展的验证器，可以证明比以前更大的深度神经网络的鲁棒性。GPUPoly背后的关键技术见解是设计用于GPU上神经网络验证的自定义、合理的多面体算法。我们的算法利用了GPU的并行性和底层验证任务的固有稀疏性。GPUPoly可扩展到大型网络：例如，它可以在大约34.5 ms内证明1M神经元，34层深度残差网络的鲁棒性。我们相信GPUPoly是朝着现实世界神经网络的实际验证迈出的有希望的一步。
2021-05-18 cs.LG stat.ML
Certifying Guidance & Control Networks: Uncertainty Propagation to an Event Manifold
Advanced Concepts Team, European Space Research and Technology Centre (ESTEC)（欧洲空间研究与技术中心（ESTEC）先进概念团队）；Surrey Space Centre, University of Surrey（萨里大学萨里空间中心）；ESA/ESOC（欧洲空间局欧洲空间操作中心）
该研究针对制导与控制网络在事件流形上开展不确定性传播，通过解析推导终端条件、应用柯西-阿达马定理与矩生成函数实现鲁棒性分析，为该领域神经网络认证提供了增强工具。
2024-09-30 cs.LG cs.SY eess.SY
CR-UTP: Certified Robustness against Universal Text Perturbations on Large Language Models
University of Central Florida（中佛罗里达大学）
本文研究语言模型对通用文本扰动（UTP）的认证鲁棒性问题，提出优越提示搜索与集成技术，在大量掩盖下维持高认证准确率，首次实现针对UTP和ISTP的最先进认证效果。
2024-06-05 cs.CL cs.CR cs.LG
Adversarial Robustness Toolbox v1.0.0
IBM Research（IBM研究院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学校）
对抗鲁棒性测试（ART）是一个Python库，支持开发人员和研究人员保护机器学习模型（深度神经网络，梯度提升决策树，支持向量机，随机森林，逻辑回归，高斯过程，决策树，Scikit-learn Pipelines等）。对抗对抗性威胁，并有助于使AI系统更加安全和值得信赖。机器学习模型容易受到对抗性示例的影响，这些示例是输入（图像，文本，表格数据等）。故意修改以通过机器学习模型产生期望的响应。ART提供了构建和部署防御的工具，并使用对抗攻击对其进行测试。防御机器学习模型涉及通过预处理输入、使用对抗样本增强训练数据以及利用运行时检测方法来标记可能已被对手修改的任何输入等方法来认证和验证模型鲁棒性和模型强化。ART中实现的攻击允许针对机器学习模型创建对抗攻击，这是使用最先进的威胁模型测试防御所需的。支持的机器学习库包括TensorFlow（v1和v2）、Keras、PyTorch、MXNet、Scikit-learn、XGBoost、LightGBM、CatBoost和GPy。ART的源代码在https://github.com/IBM/adversarial-robustness-toolbox上以MIT许可证发布。该版本包括代码示例、带教程的笔记本和文档（http：adversarial-robustness-toolbox.readthedocs.io）。
2019-11-15 cs.LG stat.ML
Scalable Quantitative Verification For Deep Neural Networks
National University of Singapore（新加坡国立大学）
尽管深度神经网络（DNN）在功能上取得了成功，但它们的可信度仍然是一个关键的公开挑战。为了应对这一挑战，已经提出了测试和验证技术。但这些现有技术要么为大型网络提供可扩展性，要么提供正式的保证，而不是两者兼而有之。在本文中，我们提出了一个可扩展的深度神经网络定量验证框架，即，一种测试驱动的方法，它具有满足所需概率属性的正式保证。我们的技术进行了足够的测试，直到一个正式的概率属性的合理性可以证明。它可以用来证明确定性和随机化DNN的属性。我们在一个名为PROVERO的工具中实现了我们的方法，并将其应用于DNN的对抗鲁棒性认证。在这种情况下，我们首先展示了一种新的攻击不可知的鲁棒性措施，它提供了一种替代纯粹的基于攻击的方法来评估鲁棒性今天报道。其次，PROVERO为大型DNN提供了鲁棒性证书，现有的最先进的验证工具无法产生结论性结果。我们的工作为验证现实世界的深度神经网络捕获的分布属性铺平了道路，具有可证明的保证，即使测试人员只能黑盒访问神经网络。
2021-03-23 cs.LG stat.ML
Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More
Technical University of Munich（慕尼黑工业大学）
现有的技术用于证明离散数据的模型的鲁棒性，或者只适用于一小类模型，或者是以效率或紧密性为代价的一般性技术。此外，他们不占稀疏的输入，我们的研究结果表明，往往是必不可少的获得非平凡的保证。我们提出了一个模型不可知的证书的基础上的随机平滑框架，它包含了早期的工作，是紧密的，高效的，和稀疏意识。它的计算复杂性不依赖于离散类别的数量或输入的维度（例如图的大小），使其具有高度的可扩展性。我们展示了我们的方法在各种模型，数据集和任务上的有效性-特别强调了它在图神经网络中的应用。到目前为止，由于离散和非独立同分布，获得GNN的可证明保证一直很困难。图表数据的性质。我们的方法可以证明任何GNN，并处理对图结构和节点属性的扰动。
2023-02-27 cs.CR cs.LG cs.SI
Provable Adversarial Robustness for Group Equivariant Tasks: Graphs, Point Clouds, Molecules, and More
Technical University of Munich（慕尼黑工业大学）；Department of Computer Science & Munich Data Science Institute（计算机科学系与慕尼黑数据科学研究所）
本文首次提出考虑任务等变性的对抗鲁棒性概念，并通过匹配模型等变性与传统认证、以及提出保持等变性的随机平滑框架和首个图编辑距离证书，实现了对图、点云、分子等任务的架构无关可证明鲁棒性。
2024-01-15 cs.CR cs.LG stat.ML
