Deterministic Certification to Adversarial Attacks via Bernstein Polynomial Approximation
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
随机平滑建立了最先进的可证明的鲁棒性对$\ell_2$范数对抗攻击具有高概率。然而，引入的高斯数据增强导致自然精度的严重下降。我们提出了一个问题，“是否有可能在不随机化的情况下构建一个平滑的分类器，同时保持自然的准确性？".我们发现答案肯定是肯定的。我们研究如何将任何分类器转换为基于流行而优雅的数学工具Bernstein多项式的认证的鲁棒分类器。我们的方法为决策边界平滑提供了一种确定性算法。我们还介绍了一个独特的方法，通过数值解的非线性方程组的范数无关的认证的鲁棒性。理论分析和实验结果表明，该方法在分类器平滑和鲁棒性认证方面具有良好的应用前景。
2020-11-28 cs.CR cs.LG
Provably Robust Deep Learning via Adversarially Trained Smoothed Classifiers
Microsoft Research AI（微软研究院人工智能部门）
最近的工作已经显示了随机平滑作为用于构建基于神经网络的分类器的可扩展技术的有效性，所述基于神经网络的分类器可证明对$\ell_2$范数对抗性扰动是鲁棒的。在本文中，我们采用对抗训练来提高随机平滑的性能。我们为平滑分类器设计了一种自适应攻击，并展示了这种攻击如何用于对抗性训练环境，以提高平滑分类器的可证明鲁棒性。我们通过大量的实验证明，我们的方法在ImageNet和CIFAR-10上始终优于所有现有的可证明的$\ell_2$ -鲁棒分类器，为可证明的$\ell_2$ -防御建立了最先进的技术。此外，我们发现预训练和半监督学习进一步提高了逆向训练的平滑分类器。我们的代码和训练模型可以在http://github.com/Hadisalman/smoothing-adversarial上找到。
2020-01-10 cs.CR cs.LG stat.ML
Promoting Robustness of Randomized Smoothing: Two Cost-Effective Approaches
AWS AI Labs（亚马逊人工智能实验室）；UC San Diego（加利福尼亚大学圣迭戈分校）；Washington State University（华盛顿州立大学）；IBM Research（IBM研究院）
提出AdvMacer训练法和EsbRS后处理法两种经济方法，提升随机平滑分类器的可证明鲁棒性，同时保持干净性能，前者训练快3倍，后者基于模型集成优化认证。
2023-10-11 cs.LG
Improved, Deterministic Smoothing for L_1 Certified Robustness
University of Maryland, College Park（马里兰大学帕克分校）
随机平滑是一种用于计算深度分类器针对对抗攻击的样本相关鲁棒性保证的通用技术。针对L_1对抗攻击的随机平滑的先前工作使用加性平滑噪声并且提供概率鲁棒性保证。在这项工作中，我们提出了一种非加性和确定性平滑方法，分裂噪声的确定性平滑（DSSN）。为了开发DSSN，我们首先开发SSN，这是一种随机方法，它涉及通过首先随机分割输入空间然后返回输入样本所占据的细分中心的表示来生成每个噪声平滑样本。与均匀加性平滑相比，SSN认证不要求随机噪声分量是独立的。因此，可以仅在一个维度上有效地进行平滑，并且因此可以针对量化数据（例如，图像）。据我们所知，这是第一个为基于范数的对抗性威胁模型提供确定性“随机平滑”的工作，同时允许任意分类器（即，深度模型）用作基本分类器，而不需要指数数量的平滑样本。在CIFAR-10和ImageNet数据集上，与以前的工作相比，我们提供了更大的L_1鲁棒性证书，建立了一个新的最先进的技术。我们方法的确定性也导致了更快的证书计算。代码可在：https://github.com/alevine0/smoothingSplittingNoise
2021-06-11 cs.LG
Accelerated Smoothing: A Scalable Approach to Randomized Smoothing
Indian Institute of Technology, Roorkee（印度鲁基工学院）
提出基于代理神经网络的随机平滑方法，替代蒙特卡洛采样以提升计算效率和可扩展性，并显著加速鲁棒半径认证过程。
2025-03-31 cs.LG
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
Foxstream（福克斯崔姆公司）；Miles Team, LAMSADE, Université Paris-Dauphine, PSL University（迈尔斯团队、兰萨德实验室、巴黎多芬大学、PSL大学）；ECE, New York University（纽约大学电气与计算机工程系）；ESPCI PSL（巴黎高等物理化工学院 PSL大学）
本文提出一种增强随机平滑的方法，通过利用Lipschitz常数与方差-间隔权衡，结合Bernstein不等式和增强Lipschitz界，显著提升认证精度，并支持零样本使用预训练模型。
2024-03-18 cs.LG stat.ML
Detection as Regression: Certified Object Detection by Median Smoothing
University of Maryland（马里兰大学）
尽管物体探测器容易受到对抗攻击的攻击，但迄今为止，人们知道的防御措施很少。虽然对抗训练可以提高图像分类器的经验鲁棒性，但直接扩展到目标检测是非常昂贵的。这项工作的动机是最近的进展，认证分类随机平滑。我们首先提出了一个减少从目标检测回归问题。然后，为了使认证回归，标准均值平滑失败，我们提出了中值平滑，这是独立的利益。我们获得了针对$\ell_2$有界攻击的目标检测的第一个模型不可知、免训练和认证防御。论文中所有实验的代码都可以在http://github.com/Ping-C/CertifiedObjectDetection上找到。
2022-02-25 cs.CR cs.CV cs.LG
Understanding Noise-Augmented Training for Randomized Smoothing
Johns Hopkins University（约翰斯·霍普金斯大学）
本文从理论上分析随机平滑中噪声增强训练对鲁棒分类器风险的影响，证明其益处非普遍存在，并刻画了能获益的分布条件，实验验证于CIFAR-10和MNIST。
2023-05-08 cs.AI cs.LG
Classifier-head Informed Feature Masking and Prototype-based Logit Smoothing for Out-of-Distribution Detection
本文提出一种后验OOD检测方法，通过分类器头权重引导的特征掩码和基于原型余弦相似度的对数平滑，抑制OOD数据特征激活并扩大ID与OOD分数差距，在多个基准上取得最先进性能。
2023-10-27 cs.CV
Consistency Regularization for Certified Robustness of Smoothed Classifiers
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近的随机平滑技术已经表明，最坏情况（对抗性）$\ell_2$鲁棒性可以通过“平滑”分类器而被转换为平均情况高斯鲁棒性，即，通过考虑高斯噪声上的平均预测。在这种范式中，人们应该重新思考对抗鲁棒性的概念，即分类器在噪声观测下的泛化能力。我们发现，平滑分类器的准确性和认证的鲁棒性之间的权衡，可以大大控制通过简单地正则化的预测一致性噪声。这种关系使我们能够设计一个鲁棒的训练目标，而无需近似不存在的平滑分类器，例如，通过软平滑。我们在各种深度神经网络架构和数据集下的实验表明，“认证”的$\ell_2$ -鲁棒性可以通过所提出的正则化得到显着提高，甚至可以实现更好或与最先进的方法相当的结果，并且训练成本和超参数显着减少。
2021-01-08 cs.LG stat.ML
Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off
University of California, Berkeley（加州大学伯克利分校）
针对深度神经分类器中准确率与对抗鲁棒性的权衡问题，提出混合标准与鲁棒模型输出概率的方法，无需额外训练即可显著改善权衡，并在鲁棒性可证明时提供理论保证。
2024-06-03 cs.CV cs.LG
Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院（KAIST））；Korea University（高丽大学）
提出FT-CADIS微调方案，利用分类器置信度识别去噪平滑中的幻觉图像，仅用有益图像微调少量参数，显著提升了现成模型在各种基准下的认证对抗鲁棒性。
2024-11-15 cs.AI cs.CR cs.CV
RSC-SNN: Exploring the Trade-off Between Adversarial Robustness and Accuracy in Spiking Neural Networks via Randomized Smoothing Coding
Chongqing University（重庆大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Xi’an Jiaotong University（西安交通大学）；Software Security Technology Company Ltd（软件安全技术有限公司）
本工作在理论上证明SNN的对抗鲁棒性源于Poisson coding，并提出随机平滑编码（RSC）方法分析准确性与鲁棒性的权衡，RSC-SNN在大规模ImageNet上取得了超越ANN的最先进鲁棒性结果。
2024-07-29 cs.CV
Filtered Randomized Smoothing: A New Defense for Robust Modulation Classification
University of Arizona（亚利桑那大学）
针对基于DNN的调制分类器易受对抗攻击、现有防御方法准确率损失大的问题，提出结合频谱滤波与随机平滑的FRS防御方法，在RadioML数据集上准确率显著优于AT和RS等现有方案。
2024-10-08 cs.CR cs.IT cs.LG
Rethinking Randomized Smoothing from the Perspective of Scalability
IIT Roorkee（鲁尔基印度理工学院）；MFS DSAI
本文从可扩展性视角系统综述随机平滑及其衍生方法的理论保证、实证效果与扩展挑战，为基于认证的对抗鲁棒防御提供梳理。
2024-10-24 cs.CR cs.LG stat.ML
Random Smoothing Might be Unable to Certify $\ell_\infty$ Robustness for High-Dimensional Images
TTIC（丰田技术研究所芝加哥分校）；University of Pennsylvania（宾夕法尼亚大学）
我们展示了随机平滑的硬度结果，以实现认证的对抗性鲁棒性对攻击的$\ell_p$球的半径$ε$时，$p>2$。尽管对于使用高斯分布的$\ell_2$情况，已经很好地理解了随机平滑，但是关于对于$p>2$情况起作用的噪声分布的存在，仍有许多未知。Cohen等人（2019）将其作为一个开放性问题提出，其中包括许多重要的范例，例如$\ell_\infty$威胁模型。在这项工作中，我们表明，任何噪声分布$\mathcal{D}$在$\mathbb{R}^d$，提供$\ell_p$鲁棒性的所有基本分类器与$p>2$必须满足$\mathbb{E}η_i^2=Ω(d^{1-2/p}ε^2(1-δ)/δ^2)$为99%的功能（像素）的矢量$η\sim\mathcal{D}$，其中$ε$是强大的半径和$δ$是得分最高的类和亚军之间的得分差距。因此，对于像素值以$[0,255]$为界的高维图像，所需的噪声最终将主导图像中的有用信息，从而导致平凡的平滑分类器。
2020-03-05 cs.CR cs.LG stat.ML
Integrating uncertainty quantification into randomized smoothing based robustness guarantees
Ruhr University Bochum（鲁尔大学波鸿分校）；Heinrich-Heine-University Düsseldorf（海因里希·海涅杜塞尔多夫大学）；University of Cambridge（剑桥大学）
本文将高不确定性时弃权（不执行）的分类器纳入随机平滑框架，提出两类不确定性感知认证半径，并在 CIFAR10 上验证其鲁棒性与 OOD 检测收益。
2024-10-27 cs.CR cs.LG stat.ML
PointGuard: Provably Robust 3D Point Cloud Classification
Duke University（杜克大学）
3D点云分类具有许多安全关键型应用，例如自动驾驶和机器人抓取。然而，几项研究表明，它容易受到对抗攻击。特别是，攻击者可以通过仔细修改、添加和/或删除少量点来使分类器预测3D点云的不正确标签。随机平滑是构建可证明鲁棒的2D图像分类器的最先进技术。然而，当应用于3D点云分类时，随机平滑只能证明对逆向修改点的鲁棒性。在这项工作中，我们提出了PointGuard，第一个防御，具有可证明的鲁棒性保证对抗修改，添加和/或删除点。具体来说，给定一个3D点云和一个任意的点云分类器，我们的PointGuard首先创建多个二次采样点云，每个点云包含原始点云中点的随机子集;然后我们的PointGuard预测原始点云的标签，作为点云分类器预测的二次采样点云标签中的多数票。我们的第一个主要的理论贡献是，我们证明PointGuard预测相同的标签为3D点云时，adversarially修改，添加和/或删除的点的数量是有界的。我们的第二个主要的理论贡献是，我们证明了我们的导出边界的紧密性时，没有假设的点云分类器。此外，我们设计了一个有效的算法来计算我们的认证的鲁棒性保证。我们还在ModelNet 40和ScanNet基准数据集上对PointGuard进行了经验评估。
2021-07-02 cs.CR cs.CV cs.LG
RUSH: Robust Contrastive Learning via Randomized Smoothing
最近，对抗性训练已被纳入自监督对比预训练中，以增强标签效率和令人兴奋的对抗性鲁棒性。然而，这种鲁棒性是以昂贵的对抗性训练为代价的。在本文中，我们展示了一个令人惊讶的事实，即对比预训练与鲁棒性有一个有趣而隐含的联系，这种预训练表示的自然鲁棒性使我们能够设计一个强大的鲁棒算法来对抗对抗攻击，RUSH，它结合了标准的对比预训练和随机平滑。它提高了标准准确性和鲁棒准确性，并与对抗训练相比显着降低了训练成本。我们使用广泛的实证研究来表明，在一阶攻击下，所提出的RUSH在常见基准（CIFAR-10，CIFAR-100和STL-10）上的表现优于对抗训练的鲁棒分类器。特别是，在CIFAR-10上大小为8/255 PGD攻击的$\ell_{\infty}$范数扰动下，我们使用ResNet-18作为主干的模型达到了77.8%的鲁棒准确率和87.9%的标准准确率。与最先进的技术相比，我们的工作在鲁棒精度方面提高了15%以上，在标准精度方面略有提高。
2022-10-30 cs.CR cs.CV cs.LG
Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework
Mila（米拉）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Peking University（北京大学）
随机化分类器已被证明是一种很有前途的方法，可以在深度学习中实现针对对抗攻击的认证鲁棒性。然而，大多数现有方法仅利用高斯平滑噪声并且仅对$\ell_2$扰动起作用。我们从统一的函数优化角度提出了一个具有非高斯噪声的对抗性认证的一般框架，并针对更一般的攻击类型。我们的新框架允许我们通过设计平滑分布来确定准确性和鲁棒性之间的关键权衡，帮助设计新的非高斯平滑分布族，这些分布族可以更有效地用于不同的$\ell_p$设置，包括$\ell_1$，$\ell_2$和$\ell_\infty$攻击。我们提出的方法实现了更好的认证结果比以前的作品，并提供了一个新的视角随机平滑认证。
2020-10-20 cs.CR cs.LG math.OC
(De)Randomized Smoothing for Certifiable Defense against Patch Attacks
University of Maryland（马里兰大学）
图像上的补丁对抗攻击（攻击者可以扭曲有界大小区域内的像素）是一种重要的威胁模型，因为它们为物理对抗攻击提供了定量模型。在本文中，我们介绍了一个可证明的防御补丁攻击，保证对于给定的图像和补丁攻击的大小，没有补丁对抗的例子存在。我们的方法涉及到广泛的随机平滑鲁棒性计划，提供高置信度的概率鲁棒性证书。通过利用补丁攻击比一般稀疏攻击更受约束的事实，我们得到了有意义的大鲁棒性证书。此外，与基于平滑的针对L_p和稀疏攻击的防御方法相比，我们针对补丁攻击的防御方法是去随机化的，从而产生改进的确定性证书。与Chiang等人（2020）提出的现有补丁认证方法相比，该方法依赖于区间边界传播，我们的方法可以更快地训练，在CIFAR-10上实现高清洁和认证的鲁棒准确性，并提供ImageNet规模的证书。例如，对于CIFAR-10上的5 × 5补丁攻击，我们的方法实现了高达约57.6%的认证准确率（分类器的清洁准确率约为83.8%），而现有方法的认证准确率最多为30.3%（分类器的清洁准确率约为47.8%）。我们的研究结果有效地建立了一个新的最先进的可认证防御CIFAR-10和ImageNet上的补丁攻击。代码可在https://github.com/alevine0/patchSmoothing上获得。
2021-01-08 cs.CV cs.LG stat.ML
(Certified!!) Adversarial Robustness for Free!
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们展示了如何通过完全依赖现成的预训练模型来实现对2范数有界扰动的最先进的认证对抗鲁棒性。为此，我们通过结合预训练的去噪扩散概率模型和标准的高精度分类器，实例化了Salman等人2020年的去噪平滑方法。这使我们能够在对抗性扰动约束下在ImageNet上证明71%的准确率，该扰动约束在0.5的2-范数范围内，比使用任何方法的先前认证SoTA提高了14个百分点，或者比去噪平滑提高了30个百分点。我们只使用预先训练的扩散模型和图像分类器获得这些结果，而不需要任何微调或重新训练的模型参数。
2023-03-06 cs.CR cs.LG
Provable Robust Classification via Learned Smoothed Densities
NNAISENSE, Inc.（NNAISENSE公司）；Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校雷德伍德理论神经科学中心）
平滑分类器和高斯核的概率密度函数似乎无关，但在这项工作中，它们统一的鲁棒分类问题。关键的构建块是近似的随机变量$Y=X+N(0,σ^2 I_d)$的$\textit{energy function}$与神经网络，我们使用它来制定的问题，强大的分类方面的$\widehat{x}(Y)$，$\textit{Bayes estimator}$的$X$给定的噪声测量$Y$。我们在$\textit{randomized smoothing}$的框架内引入了$\textit{empirical Bayes smoothed classifiers}$，并从理论上研究了两类线性分类器，其中我们表明可以提高其鲁棒性以上$\textit{the margin}$。我们测试MNIST的理论，我们表明，与学习平滑的能量函数和线性分类器，我们可以实现可证明的$\ell_2$强大的准确性，是有竞争力的经验防御。这种设置可以通过$\textit{learning}$经验贝叶斯平滑分类器进行对抗训练来显着改进，并且在MNIST上，我们表明我们可以在一定半径范围内实现比最先进的经验防御更高的可证明的鲁棒精度。我们讨论了一些基本的挑战，随机平滑的几何解释的基础上，由于浓度的高斯在高维，我们完成了一个建议，使用步行跳跃采样，本身基于学习平滑密度，强大的分类文件。
2020-05-09 cs.LG math.OC stat.ML
Sensitivity as a Double-Edged Sword: A Trade-off Between Discriminability and Adversarial Robustness
University of California, Berkeley（加州大学伯克利分校）
本文发现全连接分类器的高敏感性带来判别性但也导致脆弱性，而ℓ2距离分类器的不敏感性带来鲁棒性但限制性能，为此提出基于混合原型混合框架的ℓ2重分类器，通过融合稳定原型和动态原型实现判别性与鲁棒性的平衡，并设计混合替代攻击评估协议。
2026-06-01 cs.CV cs.LG
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland（马里兰大学）
对抗性训练是对抗对抗攻击的最强防御之一，但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中，我们探索了对抗性训练提高分类器鲁棒性的机制，并表明这些机制可以使用简单的正则化方法有效地模仿，包括标签平滑和logit挤压。值得注意的是，使用这些简单的正则化方法与高斯噪声注入相结合，我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
Higher-Order Certification for Randomized Smoothing
MIT（麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM Watson人工智能实验室，IBM研究）
随机平滑是最近提出的一种对抗对抗攻击的防御方法，它对$\ell_2$扰动具有SOTA可证明的鲁棒性。许多出版物已经通过使用不同的平滑措施将保证扩展到其他度量，例如$\ell_1$或$\ell_\infty$。虽然目前的框架已被证明可以产生接近最优的$\ell_p$半径，总的安全区域认证的目前的框架可以是任意小的最佳相比。在这项工作中，我们提出了一个框架，以提高这些平滑分类器的认证安全区域，而不改变底层的平滑方案。理论贡献如下：1）通过将证明半径的计算转化为一类函数上的嵌套优化问题，推广了随机光滑的证明。2)我们提供了一种方法来计算认证的安全区域使用$0^{th}$顺序和$1^{st}$顺序信息的高斯平滑分类。我们还提供了一个框架，概括了使用高阶信息的认证计算。3)我们设计了有效的，高置信度的一阶信息的相关统计量的估计。结合理论贡献2）和3），使我们能够证明安全区，显着大于目前的方法提供的。在CIFAR10和Imagenet数据集上，通过我们的方法认证的新区域在一般$\ell_1$认证半径和用于颜色空间攻击的$\ell_2$认证半径上实现了显着改进（$\ell_2$限于1个通道），同时还在一般$\ell_2$认证半径上实现了较小的改进。我们的框架还可以提供一种方法来规避当前不可能的结果，实现更高幅度的认证半径，而不需要使用数据相关的平滑技术。
2020-10-13 cs.LG stat.ML
Are Perceptually-Aligned Gradients a General Property of Robust Classifiers?
Carnegie Mellon University（卡内基梅隆大学）
对于标准的卷积神经网络，优化输入像素以最大化某些目标类别的得分通常会产生原始图像的颗粒状版本。然而，Santurkar等人（2019）证明，对于经过逆向训练的神经网络，这种优化会产生与目标类惊人相似的图像。在本文中，我们表明，这些“感知对齐梯度”也发生在随机平滑，另一种手段，构建对抗强大的分类。我们的研究结果支持的假设，感知对齐的梯度可能是一个强大的分类器的一般属性。我们希望我们的研究结果将激发旨在解释感知对齐梯度和对抗鲁棒性之间联系的研究。
2019-10-23 cs.CV cs.LG stat.ML
Adversarial Robustness May Be at Odds With Simplicity
Harvard University（哈佛大学）
机器学习中的当前技术到目前为止还不能学习对对抗性扰动鲁棒的分类器。然而，即使在存在随机扰动的情况下，它们也能够以非常高的精度学习非鲁棒分类器。为了解释这一差距，我们强调的假设，$\textit{robust classification may require more complex classifiers (i.e. more capacity) than standard classification.}$在这篇文章中，我们表明，这一假设确实是可能的，通过给出几个理论的分类任务和“简单”的分类器集的例子，其中：（1）存在一个简单的分类器具有高标准的准确性，并在随机$\ell_\infty$噪声下的高精度。(2)任何简单的分类器都不是鲁棒的：在$\ell_\infty$扰动的情况下，它必须具有高对抗损失。(3)鲁棒分类是可能的，但仅使用更复杂的分类器（在一些示例中，指数地更复杂）。此外，$\textit{there is a quantitative trade-off between robustness and standard accuracy among simple classifiers.}$这表明了对这种现象的另一种解释，这种现象出现在实践中：权衡可能不是因为分类任务固有地需要这样的权衡（如[Tsipras-Santurkar-Engstrom-Turner-Ma…
2019-01-02 cs.CC cs.LG stat.ML
Hidden Cost of Randomized Smoothing
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
现代机器学习模型的脆弱性引起了学术界和公众的极大关注。虽然人们对制作对抗攻击作为衡量神经网络鲁棒性的一种方法或设计最坏情况下的分析鲁棒性验证有很大的兴趣，但很少有方法可以同时享有可扩展性和鲁棒性保证。作为这些尝试的替代方案，随机平滑采用不同的预测规则，使统计鲁棒性参数可以轻松扩展到大型网络。然而，在本文中，我们指出了当前随机平滑工作流程的副作用。具体来说，我们阐明并证明了两个主要观点：1）平滑分类器的决策边界会缩小，导致类间准确性的差异; 2）在训练过程中应用噪声增强并不一定解决由于学习目标不一致而导致的缩小问题。
2021-03-12 cs.LG stat.ML
Analyzing Accuracy Loss in Randomized Smoothing Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
机器学习（ML）算法的最新进展，特别是深度神经网络（DNN），在包括人脸和语音识别在内的多项任务上取得了显着的成功（有时超过人类水平的性能）。然而，ML算法容易受到\emph{adversarial attacks}的攻击，例如测试时间、训练时间和后门攻击。在测试时攻击中，对手制作对抗性示例，这些示例是人类无法感知的精心制作的扰动，当添加到输入示例时，迫使机器学习模型对给定的输入示例进行错误分类。在关键环境中部署ML算法时，例如信息安全和自动驾驶，对抗性示例是一个问题。研究人员对此做出了大量的防御措施。一种有希望的防御方法是\emph{randomized smoothing}，其中通过向我们希望分类的输入示例添加随机噪声来平滑分类器的预测。本文从理论和实证两个方面对随机平滑进行了探讨。我们研究了随机平滑对可行假设空间的影响，并表明对于某些噪音水平，可行的假设集会因平滑而缩小，这给出了平滑后自然准确度下降的一个原因。为了执行我们的分析，我们引入了一个随机平滑模型，该模型抽象了具体细节，例如噪声的确切分布。我们用大量的实验来补充我们的理论结果。
2020-03-03 cs.LG stat.ML
Towards Bridging the gap between Empirical and Certified Robustness against Adversarial Examples
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）
目前最先进的对抗性示例的防御方法通常集中在提高经验或认证的鲁棒性。其中，对抗性训练（AT）模型可以对对抗性示例进行经验性的最先进防御，而不会为大型分类器或高维输入提供任何鲁棒性保证。相比之下，现有的基于随机平滑的模型实现了最先进的认证鲁棒性，同时显着降低了对抗性示例的经验鲁棒性。在本文中，我们提出了一种新的方法，称为\emph{Certification through Adaptation}，在推理过程中将AT模型转换为随机平滑分类器，为$\ell_2$范数提供认证的鲁棒性，而不影响其对对抗攻击的经验鲁棒性。我们还提出了\emph{Auto-Noise}技术，有效地近似适当的噪声水平，灵活地证明使用随机平滑技术的测试示例。我们提出的\emph{Certification through Adaptation}与\emph{Auto-Noise}技术实现了一个\textit{average certified radius (ACR) scores}高达$1.102$和$1.148$分别为CIFAR-10和ImageNet数据集使用AT模型，而不影响其经验的鲁棒性或良性的准确性。因此，我们的论文是通过使用相同的分类器来实现对抗性示例的经验和认证鲁棒性之间的差距。
2022-07-30 cs.AI cs.LG
FedLAS: Feature-Modulated Bidirectional Label Smoothing for Neural Network Calibration
The University of Melbourne（墨尔本大学）
提出FedLAS算法，通过特征范数置信度指标和双向校准门控模块，动态调整每个样本的标签平滑程度，同时解决过自信和欠自信问题，提升神经网络校准性能。
2026-06-26 cs.AI cs.CV cs.LG
Certified Adversarial Robustness via Partition-based Randomized Smoothing
Sharif University of Technology（谢里夫理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出基于像素划分的随机平滑（PPRS）方法，通过改善加性高斯噪声下图像可见性来提升神经网络置信度，从而增大认证预测的鲁棒性半径，显著提升了模型的认证准确性和稳定性。
2024-09-20 cs.AI cs.LG
Enhancing Certified Robustness via Smoothed Weighted Ensembling
Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；National School of Development, Peking University（北京大学国家发展研究院）；Beijing International Center for Mathematical Research（北京国际数学研究中心）；Institute for Artificial Inteligence, Peking University（北京大学人工智能研究所）
随机平滑已经实现了针对$l_2$范数对抗攻击的最先进的认证鲁棒性。然而，如何找到最佳的随机平滑基分类器，这是没有完全解决。在这项工作中，我们采用了平滑加权集成（SHELL）计划，以提高随机平滑分类器的性能。我们展示了集成的一般性，SHELL可以帮助实现最佳的认证鲁棒性。理论分析证明，在较弱的假设条件下，通过训练可以得到最优的Synth模型.我们还开发了一个自适应预测算法，以减少预测和认证成本的SSTAR模型。大量的实验表明，Sunday模型的性能大大优于其相应候选模型的上包络。此外，使用几个小模型构建的Sunday模型可以实现与单个大模型相当的性能，并显着减少训练时间。
2021-02-23 cs.CR cs.LG stat.ML
SAT: Improving Adversarial Training via Curriculum-Based Loss Smoothing
University of California, Berkeley（加州大学伯克利分校）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
对抗训练（AT）已经成为训练健壮网络的热门选择。然而，它倾向于牺牲干净的准确性，有利于鲁棒性，并遭受大的泛化误差。为了解决这些问题，我们提出了平滑对抗训练（SAT），由我们对损失Hessian的特征谱的分析指导。我们发现，课程学习，一个方案，强调开始“容易”，并逐步增加对“困难”的培训，平滑的对抗性损失的景观，为一个适当选择的难度度量。我们提出了一个一般的配方课程学习在对抗设置，并提出了两个难度度量的基础上的最大海森特征值（H-SAT）和软最大概率（P-SA）。我们证明，即使在大的扰动范数下，SAT也能稳定网络训练，并使网络能够以比AT更好的精确度与鲁棒性权衡曲线运行。与AT、TRADES和其他基线相比，这导致了清洁准确性和鲁棒性的显著提高。为了突出一些结果，与AT相比，我们的最佳模型在CIFAR-100上分别将正常和鲁棒精度提高了6%和1%。在Imagenette上，ImageNet的十类子集，我们的模型在正常和鲁棒准确度上分别比AT高出23%和3%。
2021-11-08 cs.CR cs.LG stat.ML
The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification
Sharif University of Technology（谢里夫理工大学）
与标准模型相比，对抗性训练往往会导致模型在自然（未受干扰）示例上的准确性较低。这可以归因于算法缺陷或训练数据分布的基本属性，其允许最佳标准和对抗分类器的不同解决方案。在这项工作中，我们专注于后一种情况下的二进制高斯混合分类问题。与早期的工作不同，我们的目标是推导出最佳贝叶斯和对抗分类器之间的自然准确性差距，并研究不同分布参数的影响，即类质心，类比例和协方差矩阵之间的分离，对推导出的差距。我们表明，在某些条件下，最佳对抗分类器的自然误差，以及差距，局部最小化时，类是平衡的，矛盾的贝叶斯分类器的性能，其中完美的平衡导致最差的准确性。此外，我们表明，与$\ell_\infty$有界扰动和$ε$的对抗预算，这个差距是$Θ(ε^2)$的最坏情况下的参数，这对于适当的小$ε$表明理论上的可能性，实现强大的分类器，接近完美的精度，这是很少反映在实际算法。
2021-07-01 cs.AI cs.LG
Treatment of Statistical Estimation Problems in Randomized Smoothing for Adversarial Robustness
Tübingen AI center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
本文针对随机平滑认证中的统计估计问题，提出基于置信序列的估计方法，在保持统计保证的同时降低样本复杂度，并引入随机化Clopper-Pearson区间以增强证书强度。
2025-01-20 cs.LG stat.ML
Diffusion Denoised Smoothing for Certified and Adversarial Robust Out-Of-Distribution Detection
Fraunhofer Institute for Cognitive Systems IKS（弗劳恩霍夫认知系统研究所IKS）
本文提出扩散去噪平滑方法，在不依赖网络架构和额外训练的情况下认证OOD检测的ℓ₂鲁棒性，并提升对抗攻击检测性能，在CIFAR10/100上指标平均提升约13%/5%。
2023-08-10 cs.AI cs.CV cs.LG
Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness
Cornell University（康奈尔大学）；Alibaba Group Inc.（阿里巴巴集团）
最近，通过各向同性高斯扰动平滑基于深度神经网络的分类器被证明是一种有效且可扩展的方式，可以提供最先进的概率鲁棒性保证，以对抗$\ell_2$范数有界的对抗性扰动。然而，如何训练一个良好的基础分类器，是准确的和强大的平滑时，还没有得到充分的研究。在这项工作中，我们得到了一个新的正则化的风险，其中正则化可以自适应地鼓励平滑对应的准确性和鲁棒性时，训练的基础分类。它是计算效率高，可以与其他经验防御方法并行实施。我们讨论了如何在标准（非对抗性）和对抗性训练计划下实现它。同时，我们还设计了一个新的认证算法，它可以利用正则化效应提供更严格的鲁棒性下限，保持高概率。我们广泛的实验证明了CIFAR-10和ImageNet数据集上提出的训练和认证方法的有效性。
2020-02-17 cs.LG stat.ML
Efficient Robust Training via Backward Smoothing
Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Corporation（微软公司）；University of California, Los Angeles（加州大学洛杉矶分校）；Tsinghua University（清华大学）
对抗性训练是迄今为止防御对抗性示例的最有效策略。然而，由于在每个训练步骤中的迭代对抗攻击，它遭受高计算成本。最近的研究表明，可以通过执行随机初始化的单步攻击来实现快速对抗训练。然而，这种方法在稳定性和模型鲁棒性方面仍然落后于最先进的对抗训练算法。在这项工作中，我们对快速对抗训练有了新的理解，将随机初始化视为执行随机平滑，以更好地优化内部最大化问题。在此基础上，提出了一种新的初始化策略，即后向平滑，以进一步提高单步鲁棒训练方法的稳定性和模型鲁棒性。在多个基准测试上的实验表明，我们的方法实现了与原始TRADES方法相似的模型鲁棒性，同时使用更少的训练时间（在相同的训练时间表下，$\sim$提高了3倍）。
2021-12-30 cs.AI cs.LG stat.ML
Confidence-aware Training of Smoothed Classifiers for Certified Robustness
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
任何分类器都可以在高斯噪声下被“平滑”，以构建可证明对$\ell_2$ -对抗性扰动（即，通过随机平滑来平均其对噪声的预测。在平滑分类器下，准确性和（对抗性）鲁棒性之间的基本权衡已经在文献中得到很好的证明：即，增加用于输入的分类器的鲁棒性可能以降低用于某些其它输入的准确度为代价。在本文中，我们提出了一个简单的训练方法，利用这种权衡来获得强大的平滑分类器，特别是通过对训练样本的鲁棒性进行样本控制。我们通过使用“高斯噪声下的准确性”作为输入的对抗鲁棒性的易于计算的代理，使这种控制变得可行。具体来说，我们根据这个代理来区分训练目标，以过滤掉不太可能从最坏情况（对抗性）目标中受益的样本。我们的实验表明，所提出的方法，尽管其简单性，始终表现出改进的认证的鲁棒性后，国家的最先进的训练方法。有些令人惊讶的是，我们发现这些改进甚至对于其他鲁棒性概念也存在，例如，各种常见的腐败行为
2022-12-20 cs.AI cs.LG
Network Classifiers With Output Smoothing
EPFL（洛桑联邦理工学院）；American University of Beirut（贝鲁特美国大学）
这项工作介绍了两种策略，训练网络分类器与异构代理。一种策略促进全局平滑的图形和第二个策略促进局部平滑的邻域。假设特征大小可以从一个代理到另一个代理而变化，一些代理观察到的属性不足以自己做出可靠的决策。因此，与邻国的合作是必要的。然而，由于特征维度在代理之间是不同的，因此它们的分类器维度也将是不同的。这意味着合作不能依赖于组合分类器参数。相反，我们建议平滑分类器的输出，即预测的标签。通过这样做，描述网络分类器演化的动态变得比通常更具挑战性，因为分类器参数最终也会出现在正则化项中。我们通过计算机模拟来说明性能。
2019-10-30 cs.AI cs.LG cs.MA
Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
我们经常在健壮的机器学习中看到不期望的权衡，其中分布外（OOD）准确性与分布内（ID）准确性不一致：与通过ERM训练的标准分类器相比，通过专门技术（如去除虚假特征）获得的健壮分类器通常具有更好的OOD但更差的ID准确性。在本文中，我们发现ID校准的集成-在仅对ID数据进行校准后，我们简单地集成标准和鲁棒模型-在ID和OOD准确性方面优于现有技术（基于自我训练）。在11个自然分布偏移数据集上，ID校准的集成获得了两个世界中最好的：强大的ID准确性和OOD准确性。我们分析了这种方法在程式化的设置，并确定了两个重要的条件，合奏，以及执行ID和OOD：（1）我们需要校准的标准和鲁棒模型（ID数据，因为OOD数据是不可用的），（2）OOD没有相关的虚假特征。
2022-07-18 cs.LG stat.ML
Channel-Aware Adversarial Attacks Against Deep Learning-Based Wireless Signal Classifiers
University of Maryland（马里兰大学）；Intelligent Automation, a BlueHalo Company（Intelligent Automation（BlueHalo 旗下公司））；Virginia Tech（弗吉尼亚理工大学）
本文提出了针对基于深度学习的无线信号分类器的信道感知对抗攻击。有一种发射机，它发射具有不同调制类型的信号。在每个接收器处使用深度神经网络来将其空中接收信号分类为调制类型。同时，对手发送对抗性扰动（受到功率预算的影响）以欺骗接收器在将接收到的信号分类为发送信号和对抗性扰动的叠加时出错。首先，这些规避攻击失败时，不考虑设计对抗扰动的渠道。然后，现实的攻击，提出了考虑从对手到每个接收机的信道效应。在表明信道感知攻击是选择性的（即，它只影响其信道在扰动设计中被考虑的接收机），通过制作共同的对抗性扰动以同时欺骗不同接收机处的分类器来呈现广播对抗性攻击。调制分类器对空中对抗攻击的主要脆弱性通过考虑关于信道、发射机输入和分类器模型的不同水平的可用信息来显示。最后，一个认证的防御随机平滑的基础上，增加训练数据与噪声的调制分类器鲁棒对抗扰动。
2021-12-20 cs.LG cs.NI eess.SP
Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing
Duke University（杜克大学）
众所周知，分类器容易受到对抗性扰动的影响。为了抵御对抗性扰动，已经推导出各种经过认证的鲁棒性结果。然而，现有的认证鲁棒性仅限于前1预测。在许多现实世界的应用中，顶级$k$预测更相关。在这项工作中，我们的目标是获得认证的鲁棒性顶部$k$预测。特别是，我们认证的鲁棒性是基于随机平滑，它通过向输入示例添加噪声将任何分类器转换为新的分类器。我们采用随机平滑，因为它是可扩展的大规模神经网络和适用于任何分类器。当使用高斯噪声的随机平滑时，我们推导出在顶$k$预测的$\ell_2$范数中的紧鲁棒性。我们发现，推广认证的鲁棒性从顶部1到顶部$k$预测面临着重大的技术挑战。我们还在CIFAR 10和ImageNet上对我们的方法进行了经验评估。例如，当对抗扰动的$\ell_2$范数小于0.5（=127/255）时，我们的方法可以获得具有62.8\%的认证前5名准确度的ImageNet分类器。我们的代码可在以下网址公开获取：\url{https://github.com/jjy1994/Certify_Topk}。
2019-12-20 cs.CR cs.LG stat.ML
Boosting Randomized Smoothing with Variance Reduced Classifiers
ETH Zurich（苏黎世联邦理工学院）
随机平滑（RS）是一种很有前途的方法，用于通过在噪声下评估基础模型来获得鲁棒性证书。在这项工作中，我们：（i）从理论上激发为什么合奏是一个特别合适的选择作为RS的基础模型，和（ii）经验上确认这一选择，获得国家的最先进的结果，在多种设置。我们工作的关键见解是，在RS中引入的扰动上的集合方差的减少导致对给定输入的分类显著更一致。这又导致接近决策边界的样本的可认证半径显著增加。此外，我们引入了关键的优化，使高达55倍的减少样本复杂性的RS预定半径，从而大大降低了计算开销。在实验中，我们发现，只有3到10个分类器的集合在CIFAR10和ImageNet上的平均认证半径（ACR）方面始终提高了5%到21%，分别达到了0.86和1.11的最新ACR。我们在https://github.com/eth-sri/smoothing-ensembles上发布复制我们的结果所需的所有代码和模型。
2022-03-30 cs.AI cs.CV cs.LG
RS-Del: Edit Distance Robustness Certificates for Sequence Classifiers via Randomized Deletion
University of Melbourne（墨尔本大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出随机删除平滑机制 RS-Del，基于最长公共子序列证明离散序列分类器对编辑距离受限攻击的鲁棒性，并在 MalConv 恶意软件检测上实现半径128字节时91%的认证准确率。
2024-01-24 cs.CR cs.LG stat.ML
A Gift from Label Smoothing: Robust Training with Adaptive Label Smoothing via Auxiliary Classifier under Label Noise
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金宰澈人工智能研究生院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
由于深度神经网络很容易过拟合噪声标签，因此在噪声标签存在的情况下进行鲁棒训练正在成为现代深度学习中的重要挑战。虽然现有的方法在各个方向上解决了这个问题，但它们仍然产生不可预测的次优结果，因为它们依赖于由被噪声标签损坏的特征提取器估计的后验信息。Lipschitz正则化通过训练鲁棒的特征提取器成功地解决了这个问题，但它需要更长的训练时间和昂贵的计算。受此启发，我们提出了一种简单而有效的方法，称为ALASCA，它有效地提供了一个强大的标签噪声下的特征提取。ALASCA集成了两个关键成分：（1）自适应标签平滑，基于我们的理论分析，标签平滑隐含地诱导Lipschitz正则化，以及（2）辅助分类器，使中间Lipschitz正则化的实际应用可以忽略不计的计算。我们对ALASCA进行了广泛的实验，并将我们提出的方法与以前的噪声鲁棒方法在几个合成和真实世界的数据集上相结合。实验结果表明，我们的框架一致提高了鲁棒性的特征提取器和现有的基线与效率的性能。我们的代码可在https://github.com/jongwooko/ALASCA上获得。
2022-11-29 cs.AI cs.LG
Gaussian Smoothing in Saliency Maps: The Stability-Fidelity Trade-Off in Neural Network Interpretability
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文从算法稳定性角度理论证明并实验验证了Smooth-Grad中高斯平滑能提升基于梯度的显著性图对训练随机性的稳定性，但同时会降低其对原始Simple-Grad的保真度，揭示了稳定性-保真度权衡。
2025-03-11 cs.CV cs.LG
Certifying Confidence via Randomized Smoothing
University of Maryland（马里兰大学）
随机平滑已被证明提供了良好的认证的鲁棒性保证高维分类问题。它使用在平滑分布下预测输入点周围的前两个最可能的类的概率来生成分类器预测的认证半径。然而，大多数平滑方法没有给我们任何关于底层分类器（例如，深度神经网络）进行预测。在这项工作中，我们提出了一种方法来生成认证半径的平滑分类器的预测置信度。我们考虑两个概念量化的信心：一类的平均预测得分和利润率的平均预测得分的一类超过另一个。我们修改的内曼-皮尔逊引理（随机平滑的关键定理），设计一个程序来计算认证半径的置信度保证保持在一定的阈值以上。我们在CIFAR-10和ImageNet数据集上的实验结果表明，使用关于置信度分数分布的信息可以使我们获得比忽略它更好的认证半径。因此，我们证明了输入点处关于基础分类器的额外信息可以帮助提高平滑分类器的认证保证。实验代码可在www.example.com上获得。
2020-10-22 cs.LG stat.ML
Efficient Parameter Estimation for Bayesian Network Classifiers using Hierarchical Linear Smoothing
Faculty of Information Technology Monash University（信息技术学院莫纳什大学）
提出一种基于对数线性回归的分层线性平滑参数估计方法，使贝叶斯网络分类器在分类数据上性能优于HDP平滑且速度快数个数量级，保持与随机森林相媲美的竞争力。
2025-05-29 cs.LG stat.ML
Robustifying Diffusion-Denoised Smoothing Against Covariate Shift
Department of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电子与计算机工程系，德黑兰大学，德黑兰，伊朗）
本文针对去噪扩散模型引入的协变量偏移问题，提出一种新型对抗目标函数训练基础分类器，显著提升了 Diffusion Denoised Smoothing 在 MNIST、CIFAR-10 和 ImageNet 上对 l2 对抗扰动的认证准确率。
2025-09-13 cs.CV cs.LG
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
已知机器学习算法易受数据投毒攻击的影响，其中对手操纵训练数据以降低所得分类器的性能。在这项工作中，我们提出了一个统一的观点，随机平滑任意函数，我们利用这种新的特性，提出了一种新的策略，用于建立分类器，逐点可证明的鲁棒性一般数据投毒攻击。作为一个具体的实例，我们利用我们的框架来构建线性分类器，这些分类器对标签翻转的强变体具有鲁棒性，其中每个测试示例都是独立的。换句话说，对于每个测试点，我们的分类器都包括一个认证，即如果一些训练标签被反向改变，它的预测将是相同的。随机平滑以前已被用来保证-高概率-测试时的鲁棒性对抗操纵的输入到分类器，我们推导出一个变种，提供了一个确定性的，分析的界限，回避了传统上从抽样子程序的概率证书。此外，我们得到这些认证的界限，最小的额外的运行时复杂性超过标准分类，没有假设的训练或测试分布。我们将我们的结果推广到多类的情况下，提供了第一个多类分类算法，是证明标签翻转攻击的鲁棒性。
2020-08-11 cs.AI cs.CR cs.LG
Certified Robustness via Randomized Smoothing over Multiplicative Parameters of Input Transformations
Huawei Moscow Research Center（华为莫斯科研究中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Nuro, Inc.（Nuro公司）
目前，提供鲁棒性证书的最流行的方法是随机平滑，其中输入通过某种概率分布进行平滑。我们提出了一种新的方法来随机平滑乘法参数。使用这种方法，我们构造证明强大的分类器相对于伽马校正扰动和比较的结果与分类器通过其他平滑分布（高斯，拉普拉斯，均匀）。实验表明，非对称瑞利分布允许获得更好的证书的扰动参数的某些值。据我们所知，这是第一个关于认证的稳健性对乘法伽玛校正变换和第一个研究随机平滑的非对称分布的影响。
2022-08-16 cs.LG
