Higher-Order Certification for Randomized Smoothing
MIT（麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM Watson人工智能实验室，IBM研究）
随机平滑是最近提出的一种对抗对抗攻击的防御方法，它对$\ell_2$扰动具有SOTA可证明的鲁棒性。许多出版物已经通过使用不同的平滑措施将保证扩展到其他度量，例如$\ell_1$或$\ell_\infty$。虽然目前的框架已被证明可以产生接近最优的$\ell_p$半径，总的安全区域认证的目前的框架可以是任意小的最佳相比。在这项工作中，我们提出了一个框架，以提高这些平滑分类器的认证安全区域，而不改变底层的平滑方案。理论贡献如下：1）通过将证明半径的计算转化为一类函数上的嵌套优化问题，推广了随机光滑的证明。2)我们提供了一种方法来计算认证的安全区域使用$0^{th}$顺序和$1^{st}$顺序信息的高斯平滑分类。我们还提供了一个框架，概括了使用高阶信息的认证计算。3)我们设计了有效的，高置信度的一阶信息的相关统计量的估计。结合理论贡献2）和3），使我们能够证明安全区，显着大于目前的方法提供的。在CIFAR10和Imagenet数据集上，通过我们的方法认证的新区域在一般$\ell_1$认证半径和用于颜色空间攻击的$\ell_2$认证半径上实现了显着改进（$\ell_2$限于1个通道），同时还在一般$\ell_2$认证半径上实现了较小的改进。我们的框架还可以提供一种方法来规避当前不可能的结果，实现更高幅度的认证半径，而不需要使用数据相关的平滑技术。
2020-10-13 cs.LG stat.ML
Adaptive Randomized Smoothing: Certified Adversarial Robustness for Multi-Step Defences
University of British Columbia（不列颠哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
提出ARS方法，利用 $f$-差分隐私认证多步防御的自适应组合，通过高维输入依赖掩码提升模型对有界 $L_{\infty}$ 对抗样本的鲁棒性，在多个基准上显著提升了准确率。
2025-07-10 cs.CR cs.LG
Wasserstein Smoothing: Certified Robustness against Wasserstein Adversarial Attacks
University of Maryland, College Park（马里兰大学帕克分校）
在过去的几年中，针对图像分类问题，提出了几种基于不同威胁模型的对抗攻击方法。大多数现有的防御考虑的是样本扰动具有有界Lp范数的可加威胁模型。然而，在非加性威胁模型下，这些防御可能容易受到对抗攻击的攻击。基于非加性威胁模型的攻击方法的一个例子是Wong等人（2019）提出的Wasserstein对抗攻击，其中图像与其对抗示例之间的距离由其归一化像素强度之间的Wasserstein度量（“推土机距离”）确定。到目前为止，还没有针对此类攻击的可证明的防御。在这项工作中，我们提出了第一个防御认证的鲁棒性对Wasserstein对抗攻击使用随机平滑。我们通过考虑图像之间的可能流的空间，并表示这个空间，使得图像之间的Wasserstein距离的上限是由L_1距离在这个流空间中，开发这个证书。然后，我们可以将现有的随机平滑证书应用于L_1度量。在MNIST和CIFAR-10数据集中，我们发现我们提出的防御也是实际有效的，与未受保护的模型相比，在Wasserstein对抗攻击下显着提高了准确性。
2019-10-23 cs.LG stat.ML
Bridging the Theoretical Gap in Randomized Smoothing
Foxstream（福克斯崔姆）；Université Paris-Dauphine（巴黎多芬大学）；PSL（巴黎文理大学）；ESPCI PSL（巴黎文理大学物理与化学工业学院）
本文提出利用Lipschitz连续性和更少保守的置信区间计算方法来弥合随机平滑中理论认证鲁棒性与经验鲁棒准确率之间的差距，并通过实验验证其能提高鲁棒准确率。
2025-04-08 cs.LG stat.ML
Consistency Regularization for Certified Robustness of Smoothed Classifiers
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近的随机平滑技术已经表明，最坏情况（对抗性）$\ell_2$鲁棒性可以通过“平滑”分类器而被转换为平均情况高斯鲁棒性，即，通过考虑高斯噪声上的平均预测。在这种范式中，人们应该重新思考对抗鲁棒性的概念，即分类器在噪声观测下的泛化能力。我们发现，平滑分类器的准确性和认证的鲁棒性之间的权衡，可以大大控制通过简单地正则化的预测一致性噪声。这种关系使我们能够设计一个鲁棒的训练目标，而无需近似不存在的平滑分类器，例如，通过软平滑。我们在各种深度神经网络架构和数据集下的实验表明，“认证”的$\ell_2$ -鲁棒性可以通过所提出的正则化得到显着提高，甚至可以实现更好或与最先进的方法相当的结果，并且训练成本和超参数显着减少。
2021-01-08 cs.LG stat.ML
Feature-Space Smoothing: Certified Robustness of Deep Representations
Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（快速-丰富目标搜索实验室，电气电子工程学院，南洋理工大学，新加坡）；Pengcheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）
本文提出了一种特征空间平滑（FS）框架，通过在特征表示层面提供认证鲁棒性，以解决深度学习模型对恶意输入的脆弱性问题，核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界，并引入高斯平滑增强器（GSB）提升编码器的高斯鲁棒性得分，从而提升模型的鲁棒性并保持下游任务性能。
2026-10-26 cs.CV cs.LG
(Certified!!) Adversarial Robustness for Free!
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们展示了如何通过完全依赖现成的预训练模型来实现对2范数有界扰动的最先进的认证对抗鲁棒性。为此，我们通过结合预训练的去噪扩散概率模型和标准的高精度分类器，实例化了Salman等人2020年的去噪平滑方法。这使我们能够在对抗性扰动约束下在ImageNet上证明71%的准确率，该扰动约束在0.5的2-范数范围内，比使用任何方法的先前认证SoTA提高了14个百分点，或者比去噪平滑提高了30个百分点。我们只使用预先训练的扩散模型和图像分类器获得这些结果，而不需要任何微调或重新训练的模型参数。
2023-03-06 cs.CR cs.LG
Towards Bridging the gap between Empirical and Certified Robustness against Adversarial Examples
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）
目前最先进的对抗性示例的防御方法通常集中在提高经验或认证的鲁棒性。其中，对抗性训练（AT）模型可以对对抗性示例进行经验性的最先进防御，而不会为大型分类器或高维输入提供任何鲁棒性保证。相比之下，现有的基于随机平滑的模型实现了最先进的认证鲁棒性，同时显着降低了对抗性示例的经验鲁棒性。在本文中，我们提出了一种新的方法，称为\emph{Certification through Adaptation}，在推理过程中将AT模型转换为随机平滑分类器，为$\ell_2$范数提供认证的鲁棒性，而不影响其对对抗攻击的经验鲁棒性。我们还提出了\emph{Auto-Noise}技术，有效地近似适当的噪声水平，灵活地证明使用随机平滑技术的测试示例。我们提出的\emph{Certification through Adaptation}与\emph{Auto-Noise}技术实现了一个\textit{average certified radius (ACR) scores}高达$1.102$和$1.148$分别为CIFAR-10和ImageNet数据集使用AT模型，而不影响其经验的鲁棒性或良性的准确性。因此，我们的论文是通过使用相同的分类器来实现对抗性示例的经验和认证鲁棒性之间的差距。
2022-07-30 cs.AI cs.LG
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
Foxstream（福克斯崔姆公司）；Miles Team, LAMSADE, Université Paris-Dauphine, PSL University（迈尔斯团队、兰萨德实验室、巴黎多芬大学、PSL大学）；ECE, New York University（纽约大学电气与计算机工程系）；ESPCI PSL（巴黎高等物理化工学院 PSL大学）
本文提出一种增强随机平滑的方法，通过利用Lipschitz常数与方差-间隔权衡，结合Bernstein不等式和增强Lipschitz界，显著提升认证精度，并支持零样本使用预训练模型。
2024-03-18 cs.LG stat.ML
Diffusion Denoised Smoothing for Certified and Adversarial Robust Out-Of-Distribution Detection
Fraunhofer Institute for Cognitive Systems IKS（弗劳恩霍夫认知系统研究所IKS）
本文提出扩散去噪平滑方法，在不依赖网络架构和额外训练的情况下认证OOD检测的ℓ₂鲁棒性，并提升对抗攻击检测性能，在CIFAR10/100上指标平均提升约13%/5%。
2023-08-10 cs.AI cs.CV cs.LG
Certified $\ell_2$ Attribution Robustness via Uniformly Smoothed Attributions
School of Computer Science and Engineering（计算机科学与工程学院）；Nanyang Technological University（南洋理工大学）
本文提出均匀平滑归因方法，为 $\ell_2$ 扰动下的归因余弦相似度提供可证明下界，并在三个数据集上验证其跨架构与训练方案的防御效果。
2024-05-10 cs.LG
Higher-Order Certified Robustness for Regression
研究回归的对抗鲁棒性问题，提出新颖框架，推导以预测为中心的证书保证稳定性与可计算性，通过纳入均值、方差和梯度构建证书，在MNIST旋转任务中利用梯度信息得到更严格的鲁棒性证书。
2026-07-08 cs.LG stat.ML
Enhancing Certified Robustness via Smoothed Weighted Ensembling
Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；National School of Development, Peking University（北京大学国家发展研究院）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Institute for Artificial Inteligence, Peking University（北京大学人工智能研究所）
随机平滑已经实现了针对$l_2$范数对抗攻击的最先进的认证鲁棒性。然而，如何找到最佳的随机平滑基分类器，这是没有完全解决。在这项工作中，我们采用了平滑加权集成（SHELL）计划，以提高随机平滑分类器的性能。我们展示了集成的一般性，SHELL可以帮助实现最佳的认证鲁棒性。理论分析证明，在较弱的假设条件下，通过训练可以得到最优的Synth模型.我们还开发了一个自适应预测算法，以减少预测和认证成本的SSTAR模型。大量的实验表明，Sunday模型的性能大大优于其相应候选模型的上包络。此外，使用几个小模型构建的Sunday模型可以实现与单个大模型相当的性能，并显着减少训练时间。
2021-02-23 cs.CR cs.LG stat.ML
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University（浙江大学）；University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出Text-CRS框架，基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证，并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
Treatment of Statistical Estimation Problems in Randomized Smoothing for Adversarial Robustness
Tübingen AI center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
本文针对随机平滑认证中的统计估计问题，提出基于置信序列的估计方法，在保持统计保证的同时降低样本复杂度，并引入随机化Clopper-Pearson区间以增强证书强度。
2025-01-20 cs.LG stat.ML
Deterministic Certification to Adversarial Attacks via Bernstein Polynomial Approximation
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
随机平滑建立了最先进的可证明的鲁棒性对$\ell_2$范数对抗攻击具有高概率。然而，引入的高斯数据增强导致自然精度的严重下降。我们提出了一个问题，“是否有可能在不随机化的情况下构建一个平滑的分类器，同时保持自然的准确性？".我们发现答案肯定是肯定的。我们研究如何将任何分类器转换为基于流行而优雅的数学工具Bernstein多项式的认证的鲁棒分类器。我们的方法为决策边界平滑提供了一种确定性算法。我们还介绍了一个独特的方法，通过数值解的非线性方程组的范数无关的认证的鲁棒性。理论分析和实验结果表明，该方法在分类器平滑和鲁棒性认证方面具有良好的应用前景。
2020-11-28 cs.CR cs.LG
(De)Randomized Smoothing for Certifiable Defense against Patch Attacks
University of Maryland（马里兰大学）
图像上的补丁对抗攻击（攻击者可以扭曲有界大小区域内的像素）是一种重要的威胁模型，因为它们为物理对抗攻击提供了定量模型。在本文中，我们介绍了一个可证明的防御补丁攻击，保证对于给定的图像和补丁攻击的大小，没有补丁对抗的例子存在。我们的方法涉及到广泛的随机平滑鲁棒性计划，提供高置信度的概率鲁棒性证书。通过利用补丁攻击比一般稀疏攻击更受约束的事实，我们得到了有意义的大鲁棒性证书。此外，与基于平滑的针对L_p和稀疏攻击的防御方法相比，我们针对补丁攻击的防御方法是去随机化的，从而产生改进的确定性证书。与Chiang等人（2020）提出的现有补丁认证方法相比，该方法依赖于区间边界传播，我们的方法可以更快地训练，在CIFAR-10上实现高清洁和认证的鲁棒准确性，并提供ImageNet规模的证书。例如，对于CIFAR-10上的5 × 5补丁攻击，我们的方法实现了高达约57.6%的认证准确率（分类器的清洁准确率约为83.8%），而现有方法的认证准确率最多为30.3%（分类器的清洁准确率约为47.8%）。我们的研究结果有效地建立了一个新的最先进的可认证防御CIFAR-10和ImageNet上的补丁攻击。代码可在https://github.com/alevine0/patchSmoothing上获得。
2021-01-08 cs.CV cs.LG stat.ML
Certifying Adapters: Enabling and Enhancing the Certification of Classifier Adversarial Robustness
University of Connecticut（康涅狄格大学）；Baidu USA（百度美国）
本文提出认证适配器框架（CAF），在不重新训练大型模型的情况下，利用预训练特征提取器实现并增强分类器的对抗鲁棒性认证，显著提升多个半径下的认证准确率。
2024-05-25 cs.CR cs.CV cs.LG
Randomized Smoothing of All Shapes and Sizes
Microsoft Research AI（微软研究院人工智能）
随机平滑是当前最先进的防御方法，对$\ell_2$对抗攻击具有可证明的鲁棒性。许多作品已经设计了新的随机平滑计划的其他指标，如$\ell_1$或$\ell_\infty$，但是，大量的努力，需要得到这样的新的保证。这就引出了一个问题：我们能找到随机平滑的一般理论吗？我们提出了一个新的框架来设计和分析随机平滑方案，并在实践中验证了其有效性。我们的理论贡献是：（1）我们表明，对于一个适当的“最佳”的概念，任何“好”的范数的最佳平滑分布的水平集由范数的 * 武尔夫晶体 *;（2）我们提出了两个新的和互补的方法，推导出可证明的鲁棒半径的任何平滑分布;和，（3）我们通过理论的 * 巴拿赫空间cotypes* 显示当前的随机平滑技术的基本限制。通过结合（1）和（2），我们显著提高了标准数据集上$\ell_1$的最新认证准确度。同时，我们使用（3）表明，只有标签统计下的随机输入扰动，随机平滑不能达到非平凡的认证精度对$\ell_p$ -范数$Ω(\min(1, d^{\frac{1}{p} - \frac{1}{2}}))$的扰动，当输入维数$d$大。我们在github.com/tonyduan/rs4a中提供代码。
2020-07-23 cs.CV cs.LG cs.NE
Towards Strong Certified Defense with Universal Asymmetric Randomization
University of Connecticut（康涅狄格大学）；Cisco Research（思科研究）；Illinois Institute of Technology（伊利诺伊理工学院）
提出UCAN通用非对称随机化技术，将各向同性噪声转为各向异性，增强任意随机平滑方法，在多个数据集上认证准确率大幅提升。
2025-10-22 cs.CR cs.LG
Provably Cost-Sensitive Adversarial Defense via Randomized Smoothing
CISPA Helmholtz Center for Information Security（信息安全研究中心赫尔姆霍茨中心）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对不同误分类危害不等的现实场景，论文基于随机化平滑提出成本敏感认证半径、紧致证书算法及不损失准确率的鲁棒训练方法，并在多个基准上验证其有效性。
2025-06-10 cs.CR cs.LG
Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院（KAIST））；Korea University（高丽大学）
提出FT-CADIS微调方案，利用分类器置信度识别去噪平滑中的幻觉图像，仅用有益图像微调少量参数，显著提升了现成模型在各种基准下的认证对抗鲁棒性。
2024-11-15 cs.AI cs.CR cs.CV
CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing
针对大语言模型易受对抗攻击问题，提出CluCERT框架，通过聚类引导去噪平滑认证其鲁棒性。引入语义聚类过滤器，结合细化模块和快速同义词替换策略，提升效率，实验证明该方法在鲁棒性边界和计算效率上优于现有方法。
2026-07-17 cs.AI cs.LG
UniCR: Universally Approximated Certified Robustness via Randomized Smoothing
University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
我们研究了机器学习分类器对对抗性扰动的认证鲁棒性。特别是，我们提出了第一个普遍近似认证的鲁棒性（UniCR）框架，它可以近似的鲁棒性认证的任何输入对任何分类器对任何$\ell_p$扰动与噪声产生的任何连续概率分布。与最先进的认证防御相比，UniCR提供了许多显著的好处：（1）第一个通用的鲁棒性认证框架，适用于上述4个“任何”;（2）自动鲁棒性认证，避免了逐个案例的分析，（3）认证鲁棒性的紧密性验证，以及（4）随机平滑所使用的噪声分布的最优性验证。我们进行了大量的实验来验证UniCR的上述优点以及UniCR相对于最先进的认证防御$\ell_p$扰动的优势。
2022-07-10 cs.LG
CR-UTP: Certified Robustness against Universal Text Perturbations on Large Language Models
University of Central Florida（中佛罗里达大学）
本文研究语言模型对通用文本扰动（UTP）的认证鲁棒性问题，提出优越提示搜索与集成技术，在大量掩盖下维持高认证准确率，首次实现针对UTP和ISTP的最先进认证效果。
2024-06-05 cs.CL cs.CR cs.LG
Certified Robustness via Randomized Smoothing over Multiplicative Parameters of Input Transformations
Huawei Moscow Research Center（华为莫斯科研究中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Nuro, Inc.（Nuro公司）
目前，提供鲁棒性证书的最流行的方法是随机平滑，其中输入通过某种概率分布进行平滑。我们提出了一种新的方法来随机平滑乘法参数。使用这种方法，我们构造证明强大的分类器相对于伽马校正扰动和比较的结果与分类器通过其他平滑分布（高斯，拉普拉斯，均匀）。实验表明，非对称瑞利分布允许获得更好的证书的扰动参数的某些值。据我们所知，这是第一个关于认证的稳健性对乘法伽玛校正变换和第一个研究随机平滑的非对称分布的影响。
2022-08-16 cs.LG
MACER: Attack-free and Scalable Robust Training via Maximizing Certified Radius
Peking University（北京大学）；Google（谷歌）
对抗性训练是学习鲁棒模型的最流行的方法之一，但通常依赖于攻击并且时间昂贵。在本文中，我们提出了MACER算法，该算法在不使用对抗训练的情况下学习鲁棒模型，但性能优于所有现有的可证明l2防御。最近的工作表明，随机平滑可以用来提供一个认证的l2半径平滑分类器，和我们的算法训练证明强大的平滑分类器通过最大化认证半径（MACER）。无攻击特性使MACER更快地进行训练，更容易优化。在我们的实验中，我们证明了我们的方法可以应用于各种数据集上的现代深度神经网络，包括Cifar-10，ImageNet，MNIST和SVHN。对于所有任务，MACER比最先进的对抗训练算法花费更少的训练时间，并且学习的模型实现了更大的平均认证半径。
2022-03-14 cs.CR cs.LG stat.ML
RS-Reg: Probabilistic and Robust Certified Regression Through Randomized Smoothing
University of Melbourne（墨尔本大学）
该研究提出RS-Reg方法，将随机平滑扩展至回归任务，通过概率灵活定义鲁棒性，推导了无约束及有界输出回归模型的输入扰动可认证上界，仿真验证了理论结果并揭示了平均平滑函数的优劣势。
2024-05-14 cs.LG
Variational Randomized Smoothing for Sample-Wise Adversarial Robustness
Mitsubishi Electric Corporation（三菱电机株式会社）；Mitsubishi Electric Research Laboratories（三菱电机研究所）
本文提出变分随机平滑框架，通过为每个样本选择合适噪声水平，增强模型对对抗攻击的鲁棒性，并验证了经验与认证鲁棒性。
2024-07-16 cs.AI cs.CR cs.LG
Randomized Smoothing under Attack: How Good is it in Pratice?
Univ. Rennes, Inria, CNRS IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心雷恩计算机科学与随机系统研究所）
随机平滑是一个最近和著名的解决方案，以证明任何分类器的鲁棒性。虽然它确实提供了一个理论上的鲁棒性对对抗攻击，目前的分类器的维数必须强加蒙特卡罗方法，其在实践中的应用。本文质疑随机平滑作为防御的有效性，对最先进的黑盒攻击。这是一个新颖的观点，因为以前的研究工作认为认证是毫无疑问的保证。我们首先正式强调理论认证和分类器攻击实践之间的不匹配。然后，我们执行攻击随机平滑作为防御。我们的主要观察结果是，在RS的设置中有一个主要的不匹配，以获得高认证的鲁棒性，或者在击败黑盒攻击的同时保持分类器的准确性。
2022-04-28 cs.AI cs.CR cs.LG
Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework
Mila（米拉）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Peking University（北京大学）
随机化分类器已被证明是一种很有前途的方法，可以在深度学习中实现针对对抗攻击的认证鲁棒性。然而，大多数现有方法仅利用高斯平滑噪声并且仅对$\ell_2$扰动起作用。我们从统一的函数优化角度提出了一个具有非高斯噪声的对抗性认证的一般框架，并针对更一般的攻击类型。我们的新框架允许我们通过设计平滑分布来确定准确性和鲁棒性之间的关键权衡，帮助设计新的非高斯平滑分布族，这些分布族可以更有效地用于不同的$\ell_p$设置，包括$\ell_1$，$\ell_2$和$\ell_\infty$攻击。我们提出的方法实现了更好的认证结果比以前的作品，并提供了一个新的视角随机平滑认证。
2020-10-20 cs.CR cs.LG math.OC
CEAR: Certified Ensemble Adversarial Robustness in DNNs
University of California, Berkeley（加州大学伯克利分校）
提出CEAR方法，通过混合经验与认证防御机制，利用高斯噪声和温度混淆梯度与logits，并扩展随机平滑以验证集成分类器的鲁棒性，在多个数据集上取得更优的认证准确率和鲁棒半径。
2026-05-31 cs.AI cs.LG
Adversarially Robust Kernel Smoothing
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Weierstrass Institute（魏尔斯特拉斯研究所）；InstaDeep Ltd.（InstaDeep公司）
提出了一种结合核平滑和鲁棒优化的可扩展鲁棒学习算法。我们的方法是出于凸分析的角度分布鲁棒优化的基础上概率度量，如Wasserstein距离和最大均值差异。我们采用凸分析中的上卷积积分算子，形成一个新的函数用于增强鲁棒性。我们的方法形式简单，适用于一般损失函数和机器学习模型。利用与最佳运输的连接，我们证明了理论保证认证的鲁棒性下分布偏移。此外，我们报告了使用一般机器学习模型（如深度神经网络）的实验，以证明基于Wasserstein距离的最先进的可验证鲁棒学习算法的竞争性能。
2022-02-19 cs.LG math.OC stat.ML
[Re] Double Sampling Randomized Smoothing
Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）
本文复现了双采样随机平滑（DSRS）框架，通过引入额外平滑分布改进神经网络对抗性扰动的鲁棒性认证，并在MNIST和CIFAR-10上验证了其能认证更大鲁棒半径的有效性。
2023-06-27 cs.CR cs.LG math.ST
Certified Robustness to Clean-Label Poisoning Using Diffusion Denoising
本文提出一种基于扩散去噪模型的认证防御方法，用于抵御干净标签投毒攻击，在七种攻击下将成功率降至0-16%且几乎不影响测试准确率，优于现有对策。
2025-06-02 cs.CR cs.CV cs.LG
Certified Adversarial Robustness Within Multiple Perturbation Bounds
Indian Institute of Science（印度科学学院）
本文提出融合多噪声分布认证的新方案，并设计训练噪声分布与正则化训练，在相同干净准确率下同时提升 ℓ1 和 ℓ2 界的 ACR。
2023-04-20 cs.CV cs.LG
Randomized Smoothing Meets Vision-Language Models
National Technical University of Athens（希腊雅典国家技术大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CSX-AI（CSX-AI公司）；Carl von Ossietzky University of Oldenburg（奥尔登堡卡尔·冯·奥西特齐大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文通过将生成输出映射为预言机分类任务，使随机平滑可应用于视觉-语言模型，并推导出样本数量与认证鲁棒性半径之间的缩放定律，显著降低了认证所需样本量。
2025-09-19 cs.LG
Confidence-aware Training of Smoothed Classifiers for Certified Robustness
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
任何分类器都可以在高斯噪声下被“平滑”，以构建可证明对$\ell_2$ -对抗性扰动（即，通过随机平滑来平均其对噪声的预测。在平滑分类器下，准确性和（对抗性）鲁棒性之间的基本权衡已经在文献中得到很好的证明：即，增加用于输入的分类器的鲁棒性可能以降低用于某些其它输入的准确度为代价。在本文中，我们提出了一个简单的训练方法，利用这种权衡来获得强大的平滑分类器，特别是通过对训练样本的鲁棒性进行样本控制。我们通过使用“高斯噪声下的准确性”作为输入的对抗鲁棒性的易于计算的代理，使这种控制变得可行。具体来说，我们根据这个代理来区分训练目标，以过滤掉不太可能从最坏情况（对抗性）目标中受益的样本。我们的实验表明，所提出的方法，尽管其简单性，始终表现出改进的认证的鲁棒性后，国家的最先进的训练方法。有些令人惊讶的是，我们发现这些改进甚至对于其他鲁棒性概念也存在，例如，各种常见的腐败行为
2022-12-20 cs.AI cs.LG
Tight Second-Order Certificates for Randomized Smoothing
University of Maryland（马里兰大学）
随机平滑是一种提供针对对抗攻击的鲁棒性保证的流行方法：随机平滑函数具有通用的类Lipschitz边界，允许轻松计算鲁棒性证书。在这项工作中，我们证明了高斯随机平滑也存在一个普适的类曲率界：给定平滑函数的精确值和梯度，我们计算一个点到其最近的对抗样本的距离的下界，称为二阶平滑（SoS）鲁棒性证书。除了证明这种新的证书的正确性，我们表明，SoS证书是可实现的，因此紧。有趣的是，我们证明了使用梯度范数的附加信息在认证的鲁棒性方面的最大可实现的好处相对较小：因为我们的边界很紧，这是一个基本的负面结果。如果我们考虑梯度范数的估计误差，我们已经开发了一个估计器，则SoS证书的增益进一步减小。因此，我们还开发了高斯平滑的一个变种，称为高斯偶极子平滑，它提供了类似的边界随机平滑梯度信息，但大大提高了样本效率。这使我们能够在CIFAR-10和ImageNet等高维数据集上实现（略微）改进的鲁棒性证书。代码可在https://github.com/alevine0/smoothing_second_order上获得。
2020-12-15 cs.LG stat.ML
Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations
针对紧凸松弛在认证训练中表现不佳的问题，本文提出应用高斯损失平滑（GLS）方法，通过零阶和一阶优化算法变体有效缓解了损失表面不连续等问题，显著提升了可认证鲁棒神经网络的训练效果。
2025-07-15 cs.LG
DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers
Indian Institute of Science（印度科学学院）
使用随机平滑的认证防御是一种流行的技术，可以为深度神经网络提供针对l2对抗攻击的鲁棒性保证。现有的作品使用这种技术来证明安全的预训练的非鲁棒模型，通过训练一个自定义的降噪网络的整个训练数据。然而，由于诸如高传输成本和数据的专有性质之类的约束，对训练集的访问可能被限制为少数数据样本。因此，我们提出了一个新的问题“如何使用少量训练样本来证明预训练模型的鲁棒性”。我们观察到，直接使用现有技术在有限的样本上训练自定义去噪器会产生较差的认证。为了克服这一点，我们提出的方法（DE-CROP）生成对应于每个训练样本的类边界和插值样本，确保预训练分类器的特征空间具有高度多样性。我们训练去噪器通过最大化在分类器的logit空间中生成的样本的去噪输出和原始训练样本之间的相似性。我们还执行分布水平匹配使用域平均值和最大平均差异，产生进一步的好处。在白盒设置中，我们在多个基准数据集上的基线上获得了显着的改进，并且在具有挑战性的黑盒设置下也报告了类似的性能。
2022-10-17 cs.CV cs.LG
Filtered Randomized Smoothing: A New Defense for Robust Modulation Classification
University of Arizona（亚利桑那大学）
针对基于DNN的调制分类器易受对抗攻击、现有防御方法准确率损失大的问题，提出结合频谱滤波与随机平滑的FRS防御方法，在RadioML数据集上准确率显著优于AT和RS等现有方案。
2024-10-08 cs.CR cs.IT cs.LG
Certified Robustness for Deep Equilibrium Models via Serialized Random Smoothing
North Carolina State University（北卡罗来纳州立大学）；The University of Arizona（亚利桑那大学）
本文提出序列化随机平滑（SRS）方法，首次为深度平衡模型（DEQs）提供随机平滑认证防御，利用历史信息加速认证最高达7倍，同时保持认证精度。
2024-11-01 cs.AI cs.LG
KAN-Robust-Bench: A Benchmark for Evaluating the Robustness of Kolmogorov-Arnold Networks
University of New Brunswick（新不伦瑞克大学）
该研究构建KAN-Robust-Bench基准，探究KAN模型在FGSM等规避攻击下的鲁棒性，给出随机平滑等方法的数学基础，以寻找最优防御策略与架构。
2026-08-25 cs.AI cs.LG
Integrating uncertainty quantification into randomized smoothing based robustness guarantees
Ruhr University Bochum（鲁尔大学波鸿分校）；Heinrich-Heine-University Düsseldorf（海因里希·海涅杜塞尔多夫大学）；University of Cambridge（剑桥大学）
本文将高不确定性时弃权（不执行）的分类器纳入随机平滑框架，提出两类不确定性感知认证半径，并在 CIFAR10 上验证其鲁棒性与 OOD 检测收益。
2024-10-27 cs.CR cs.LG stat.ML
Laplace-Bridged Randomized Smoothing for Fast Certified Robustness
Department of Computer Science, Old Dominion University, Norfolk, VA, USA（旧 Dominion 大学计算机科学系）；Department of Mathematical Sciences, University of Texas at El Paso, El Paso, TX, USA（德克萨斯理工大学数学科学系）；School of Cybersecurity, Old Dominion University, Norfolk, VA, USA（旧 Dominion 大学网络安全学院）
本文提出Laplace-Bridged Smoothing (LBS)，通过低维概率空间替代高维输入空间蒙特卡洛采样，提升随机平滑的鲁棒性保证并降低认证成本，实验证明其在边缘设备上的高效性。
2026-04-27 cs.LG
CPR: Causal Physiological Representation Learning for Robust ECG Analysis under Distribution Shifts
Faculty of Innovation Engineering, Macau University of Science and Technology, Macau, China（创新工程学院，澳门科技大学，澳门，中国）；Shenzhen University of Advanced Technology, Shenzhen, China（深圳先进技术大学，深圳，中国）
CPR通过因果生理表示学习，在对抗扰动下提升ECG分析的鲁棒性和效率
2025-12-31 cs.LG eess.SP
Certified Defense via Latent Space Randomized Smoothing with Orthogonal Encoders
Technical University of Munich（慕尼黑工业大学）；University of Maryland, College Park（马里兰大学帕克分校）
随机平滑（RS），作为为数不多的可证明的防御方法之一，在防御$\ell_2$ -范数对抗性扰动方面表现出了巨大的有效性和可扩展性。然而，在RS评估所需的MC采样的成本是高的，计算昂贵。为了解决这个问题，我们研究了在网络的潜在空间中执行随机平滑和建立鲁棒认证的可能性，从而可以大幅降低计算中涉及的张量的整体维度。为此，我们提出了潜在空间随机平滑。另一个重要的方面是，我们使用正交模块，其Lipschitz属性是已知的免费的设计，传播认证的半径估计在潜在的空间回到输入空间，提供有效的可认证的区域的测试样本在输入空间。在CIFAR 10和ImageNet上的实验表明，我们的方法具有竞争力的认证鲁棒性，但在测试阶段的效率有显着提高。
2021-08-01 cs.CR cs.LG
Certified Robustness under Heterogeneous Perturbations via Hybrid Randomized Smoothing
Department of Computer Science, School of Computing, Institute of Science Tokyo, Tokyo, Japan（东京科学研究所计算机科学系）；College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算机与数据科学学院）；PSL University, Paris, France（巴黎高等师范学院）
本文提出统一的混合随机平滑框架，针对混合离散-连续输入，基于可解析的Neyman-Pearson联合最坏情况问题，提供闭式一维证书，扩展了高斯和离散随机平滑，应用于多模态安全过滤。
2026-05-13 cs.LG
Enhanced Estimation Techniques for Certified Radii in Randomized Smoothing
本文提出随机平滑中认证半径的增强估计方法，通过更紧的半径界限和适用于离散与连续域的先进算法，在CIFAR-10和ImageNet上显著提升认证准确率，并分析了超参数影响，为更高效认证和未来理论研究奠定基础。
2025-03-11 cs.LG stat.ML
Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing
Duke University（杜克大学）
众所周知，分类器容易受到对抗性扰动的影响。为了抵御对抗性扰动，已经推导出各种经过认证的鲁棒性结果。然而，现有的认证鲁棒性仅限于前1预测。在许多现实世界的应用中，顶级$k$预测更相关。在这项工作中，我们的目标是获得认证的鲁棒性顶部$k$预测。特别是，我们认证的鲁棒性是基于随机平滑，它通过向输入示例添加噪声将任何分类器转换为新的分类器。我们采用随机平滑，因为它是可扩展的大规模神经网络和适用于任何分类器。当使用高斯噪声的随机平滑时，我们推导出在顶$k$预测的$\ell_2$范数中的紧鲁棒性。我们发现，推广认证的鲁棒性从顶部1到顶部$k$预测面临着重大的技术挑战。我们还在CIFAR 10和ImageNet上对我们的方法进行了经验评估。例如，当对抗扰动的$\ell_2$范数小于0.5（=127/255）时，我们的方法可以获得具有62.8\%的认证前5名准确度的ImageNet分类器。我们的代码可在以下网址公开获取：\url{https://github.com/jjy1994/Certify_Topk}。
2019-12-20 cs.CR cs.LG stat.ML
Certified Adversarial Defenses Meet Out-of-Distribution Corruptions: Benchmarking Robustness and Simple Baselines
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Michigan（密歇根大学）；Tulane University（杜兰大学）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）
认证的鲁棒性保证衡量模型对测试时攻击的鲁棒性，并可以评估模型在现实世界中部署的准备情况。在这项工作中，我们批判性地研究了当最先进的可证明的鲁棒模型遇到分布外（OOD）数据时，基于随机平滑的认证方法的对抗鲁棒性保证如何变化。我们的分析表明，这些模型对低频OOD数据（如与天气相关的损坏）存在以前未知的脆弱性，使这些模型不适合在野外部署。为了缓解这个问题，我们提出了一种新的数据增强计划，FourierMix，产生增强，以提高频谱覆盖的训练数据。此外，我们提出了一个新的正则化，鼓励一致的预测噪声扰动的增强数据，以提高平滑模型的质量。我们发现，FourierMix增强有助于消除光谱偏差的证明强大的模型，使他们能够实现显着更好的鲁棒性保证一系列的OOD基准。我们的评估还揭示了当前OOD基准在突出模型的光谱偏差方面的无能。为此，我们提出了一个全面的基准套件，包含腐败从不同地区的频谱域。对使用流行的增强方法训练的模型进行评估，突出了它们的频谱偏差，并确定了FourierMix训练模型在整个频谱上OOD偏移下实现更好的认证鲁棒性保证的优越性。
2021-12-01 cs.AI cs.CR cs.LG
TPC: Transformation-Specific Smoothing for Point Cloud Models
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校（UIUC））
本文提出TPC框架，针对点云模型语义变换攻击，分类3D变换并制定认证策略，显著提升鲁棒性认证准确率。
2023-05-06 cs.CV cs.LG
Certifying Confidence via Randomized Smoothing
University of Maryland（马里兰大学）
随机平滑已被证明提供了良好的认证的鲁棒性保证高维分类问题。它使用在平滑分布下预测输入点周围的前两个最可能的类的概率来生成分类器预测的认证半径。然而，大多数平滑方法没有给我们任何关于底层分类器（例如，深度神经网络）进行预测。在这项工作中，我们提出了一种方法来生成认证半径的平滑分类器的预测置信度。我们考虑两个概念量化的信心：一类的平均预测得分和利润率的平均预测得分的一类超过另一个。我们修改的内曼-皮尔逊引理（随机平滑的关键定理），设计一个程序来计算认证半径的置信度保证保持在一定的阈值以上。我们在CIFAR-10和ImageNet数据集上的实验结果表明，使用关于置信度分数分布的信息可以使我们获得比忽略它更好的认证半径。因此，我们证明了输入点处关于基础分类器的额外信息可以帮助提高平滑分类器的认证保证。实验代码可在www.example.com上获得。
2020-10-22 cs.LG stat.ML
