Certified Defense to Image Transformations via Randomized Smoothing
ETH Zurich（苏黎世联邦理工学院）
我们扩展随机平滑以覆盖参数化变换（例如，旋转，平移）并证明参数空间中的鲁棒性（例如，旋转角度）。这是特别具有挑战性的，因为插值和舍入效应意味着图像变换不合成，进而阻止了对扰动图像的直接认证（与使用$\ell^p$范数的认证不同）。我们通过引入三种不同类型的防御来应对这一挑战，每种防御都有不同的保证（启发式，分布式和个人），这些保证来自用于约束插值误差的方法。重要的是，我们展示了如何通过统计误差界或有效的在线图像变换逆计算来获得个人证书。我们在https://github.com/eth-sri/transformation-smoothing上提供了所有方法的实现。
2021-08-25 cs.CR cs.LG stat.ML
Certified Adversarial Robustness via Randomized Smoothing
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
我们展示了如何将任何在高斯噪声下分类良好的分类器变成一个新的分类器，该分类器在$\ell_2$规范下对对抗性扰动具有可证明的鲁棒性。这种“随机平滑”技术最近在文献中提出，但现有的保证是松散的。我们证明了严格的鲁棒性保证$\ell_2$规范平滑高斯噪声。我们使用随机平滑来获得ImageNet分类器，例如，在$\ell_2$范数小于0.5（=127/255）的对抗性扰动下，认证的前1精度为49%。在ImageNet上，除了平滑之外，没有任何认证的防御是可行的。在较小规模的数据集上，竞争性的认证$\ell_2$鲁棒性方法是可行的，平滑提供了更高的认证精度。我们强有力的实证结果表明，随机平滑是一个很有前途的方向，为未来的研究对抗性强的分类。代码和型号可在http://github.com/locuslab/smoothing上获得。
2019-06-15 cs.LG stat.ML
Variational Randomized Smoothing for Sample-Wise Adversarial Robustness
Mitsubishi Electric Corporation（三菱电机株式会社）；Mitsubishi Electric Research Laboratories（三菱电机研究所）
本文提出变分随机平滑框架，通过为每个样本选择合适噪声水平，增强模型对对抗攻击的鲁棒性，并验证了经验与认证鲁棒性。
2024-07-16 cs.AI cs.CR cs.LG
Sound Randomized Smoothing in Floating-Point Arithmetics
Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）
针对浮点精度导致随机平滑产生虚假鲁棒证书的问题，本文分析其隐含假设失效，并提出仅依赖公平硬币、速度与证书表现相匹配的可靠随机平滑方法。
2023-04-25 cs.CR cs.LG
On Certifying Robustness against Backdoor Attacks via Randomized Smoothing
Duke University（杜克大学）
后门攻击是对深度神经网络（DNN）的严重安全威胁。我们设想，就像对抗性的例子一样，后门攻击将是一场猫捉老鼠的游戏，即，开发了新的经验防御来防御后门攻击，但是它们很快就被强适应性后门攻击打破。为了防止这种猫捉老鼠的游戏，我们采取了第一步，对后门攻击认证防御。具体来说，在这项工作中，我们研究的可行性和有效性，证明对后门攻击使用最近的技术称为随机平滑的鲁棒性。随机平滑最初是为了证明对抗性样本的鲁棒性而开发的。我们推广了随机平滑来抵御后门攻击。我们的研究结果表明，使用随机平滑证明对后门攻击的鲁棒性的理论可行性。然而，我们也发现，现有的随机平滑方法在抵御后门攻击的有效性有限，这突出了新的理论和方法的需求，以证明对后门攻击的鲁棒性。
2020-07-20 cs.CR cs.LG
Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework
Mila（米拉）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Peking University（北京大学）
随机化分类器已被证明是一种很有前途的方法，可以在深度学习中实现针对对抗攻击的认证鲁棒性。然而，大多数现有方法仅利用高斯平滑噪声并且仅对$\ell_2$扰动起作用。我们从统一的函数优化角度提出了一个具有非高斯噪声的对抗性认证的一般框架，并针对更一般的攻击类型。我们的新框架允许我们通过设计平滑分布来确定准确性和鲁棒性之间的关键权衡，帮助设计新的非高斯平滑分布族，这些分布族可以更有效地用于不同的$\ell_p$设置，包括$\ell_1$，$\ell_2$和$\ell_\infty$攻击。我们提出的方法实现了更好的认证结果比以前的作品，并提供了一个新的视角随机平滑认证。
2020-10-20 cs.CR cs.LG math.OC
Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing
Duke University（杜克大学）
众所周知，分类器容易受到对抗性扰动的影响。为了抵御对抗性扰动，已经推导出各种经过认证的鲁棒性结果。然而，现有的认证鲁棒性仅限于前1预测。在许多现实世界的应用中，顶级$k$预测更相关。在这项工作中，我们的目标是获得认证的鲁棒性顶部$k$预测。特别是，我们认证的鲁棒性是基于随机平滑，它通过向输入示例添加噪声将任何分类器转换为新的分类器。我们采用随机平滑，因为它是可扩展的大规模神经网络和适用于任何分类器。当使用高斯噪声的随机平滑时，我们推导出在顶$k$预测的$\ell_2$范数中的紧鲁棒性。我们发现，推广认证的鲁棒性从顶部1到顶部$k$预测面临着重大的技术挑战。我们还在CIFAR 10和ImageNet上对我们的方法进行了经验评估。例如，当对抗扰动的$\ell_2$范数小于0.5（=127/255）时，我们的方法可以获得具有62.8\%的认证前5名准确度的ImageNet分类器。我们的代码可在以下网址公开获取：\url{https://github.com/jjy1994/Certify_Topk}。
2019-12-20 cs.CR cs.LG stat.ML
Extensions and limitations of randomized smoothing for robustness guarantees
University College London（伦敦大学学院）
随机平滑是一种在对抗性噪声下证明分类器对输入的决策是不变的方法，与其他认证方法相比具有吸引力的优势。它在黑盒中运行，因此认证不受分类器架构大小的限制。在这里，我们扩展了Li等人的工作。\cite{li2018second}，研究平滑措施之间的分歧的选择如何影响最终的鲁棒性保证，以及平滑措施本身的选择如何导致不同威胁模型的保证。为此，我们开发了一种方法来证明对任何$\ell_p$（$p\in\mathbb{N}_{>0}$）最小化对抗扰动的鲁棒性。然后，我们证明了一个负面的结果，即随机平滑遭受灾难的维数;作为$p$增加，有效半径周围的输入可以证明消失。
2020-06-07 cs.LG stat.ML
Analyzing Accuracy Loss in Randomized Smoothing Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
机器学习（ML）算法的最新进展，特别是深度神经网络（DNN），在包括人脸和语音识别在内的多项任务上取得了显着的成功（有时超过人类水平的性能）。然而，ML算法容易受到\emph{adversarial attacks}的攻击，例如测试时间、训练时间和后门攻击。在测试时攻击中，对手制作对抗性示例，这些示例是人类无法感知的精心制作的扰动，当添加到输入示例时，迫使机器学习模型对给定的输入示例进行错误分类。在关键环境中部署ML算法时，例如信息安全和自动驾驶，对抗性示例是一个问题。研究人员对此做出了大量的防御措施。一种有希望的防御方法是\emph{randomized smoothing}，其中通过向我们希望分类的输入示例添加随机噪声来平滑分类器的预测。本文从理论和实证两个方面对随机平滑进行了探讨。我们研究了随机平滑对可行假设空间的影响，并表明对于某些噪音水平，可行的假设集会因平滑而缩小，这给出了平滑后自然准确度下降的一个原因。为了执行我们的分析，我们引入了一个随机平滑模型，该模型抽象了具体细节，例如噪声的确切分布。我们用大量的实验来补充我们的理论结果。
2020-03-03 cs.LG stat.ML
RS-Del: Edit Distance Robustness Certificates for Sequence Classifiers via Randomized Deletion
University of Melbourne（墨尔本大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出随机删除平滑机制 RS-Del，基于最长公共子序列证明离散序列分类器对编辑距离受限攻击的鲁棒性，并在 MalConv 恶意软件检测上实现半径128字节时91%的认证准确率。
2024-01-24 cs.CR cs.LG stat.ML
Randomized Smoothing of All Shapes and Sizes
Microsoft Research AI（微软研究院人工智能）
随机平滑是当前最先进的防御方法，对$\ell_2$对抗攻击具有可证明的鲁棒性。许多作品已经设计了新的随机平滑计划的其他指标，如$\ell_1$或$\ell_\infty$，但是，大量的努力，需要得到这样的新的保证。这就引出了一个问题：我们能找到随机平滑的一般理论吗？我们提出了一个新的框架来设计和分析随机平滑方案，并在实践中验证了其有效性。我们的理论贡献是：（1）我们表明，对于一个适当的“最佳”的概念，任何“好”的范数的最佳平滑分布的水平集由范数的 * 武尔夫晶体 *;（2）我们提出了两个新的和互补的方法，推导出可证明的鲁棒半径的任何平滑分布;和，（3）我们通过理论的 * 巴拿赫空间cotypes* 显示当前的随机平滑技术的基本限制。通过结合（1）和（2），我们显著提高了标准数据集上$\ell_1$的最新认证准确度。同时，我们使用（3）表明，只有标签统计下的随机输入扰动，随机平滑不能达到非平凡的认证精度对$\ell_p$ -范数$Ω(\min(1, d^{\frac{1}{p} - \frac{1}{2}}))$的扰动，当输入维数$d$大。我们在github.com/tonyduan/rs4a中提供代码。
2020-07-23 cs.CV cs.LG cs.NE
Bridging the Theoretical Gap in Randomized Smoothing
Foxstream（福克斯崔姆）；Université Paris-Dauphine（巴黎多芬大学）；PSL（巴黎文理大学）；ESPCI PSL（巴黎文理大学物理与化学工业学院）
本文提出利用Lipschitz连续性和更少保守的置信区间计算方法来弥合随机平滑中理论认证鲁棒性与经验鲁棒准确率之间的差距，并通过实验验证其能提高鲁棒准确率。
2025-04-08 cs.LG stat.ML
Certified Defense via Latent Space Randomized Smoothing with Orthogonal Encoders
Technical University of Munich（慕尼黑工业大学）；University of Maryland, College Park（马里兰大学帕克分校）
随机平滑（RS），作为为数不多的可证明的防御方法之一，在防御$\ell_2$ -范数对抗性扰动方面表现出了巨大的有效性和可扩展性。然而，在RS评估所需的MC采样的成本是高的，计算昂贵。为了解决这个问题，我们研究了在网络的潜在空间中执行随机平滑和建立鲁棒认证的可能性，从而可以大幅降低计算中涉及的张量的整体维度。为此，我们提出了潜在空间随机平滑。另一个重要的方面是，我们使用正交模块，其Lipschitz属性是已知的免费的设计，传播认证的半径估计在潜在的空间回到输入空间，提供有效的可认证的区域的测试样本在输入空间。在CIFAR 10和ImageNet上的实验表明，我们的方法具有竞争力的认证鲁棒性，但在测试阶段的效率有显着提高。
2021-08-01 cs.CR cs.LG
Accelerated Smoothing: A Scalable Approach to Randomized Smoothing
Indian Institute of Technology, Roorkee（印度鲁基工学院）
提出基于代理神经网络的随机平滑方法，替代蒙特卡洛采样以提升计算效率和可扩展性，并显著加速鲁棒半径认证过程。
2025-03-31 cs.LG
Randomized Smoothing under Attack: How Good is it in Pratice?
Univ. Rennes, Inria, CNRS IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心雷恩计算机科学与随机系统研究所）
随机平滑是一个最近和著名的解决方案，以证明任何分类器的鲁棒性。虽然它确实提供了一个理论上的鲁棒性对对抗攻击，目前的分类器的维数必须强加蒙特卡罗方法，其在实践中的应用。本文质疑随机平滑作为防御的有效性，对最先进的黑盒攻击。这是一个新颖的观点，因为以前的研究工作认为认证是毫无疑问的保证。我们首先正式强调理论认证和分类器攻击实践之间的不匹配。然后，我们执行攻击随机平滑作为防御。我们的主要观察结果是，在RS的设置中有一个主要的不匹配，以获得高认证的鲁棒性，或者在击败黑盒攻击的同时保持分类器的准确性。
2022-04-28 cs.AI cs.CR cs.LG
Towards Assessment of Randomized Smoothing Mechanisms for Certifying Adversarial Robustness
University of Toronto（多伦多大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
作为一种经过认证的防御技术，随机平滑由于其对大型数据集和神经网络的可扩展性而受到相当大的关注。然而，几个重要的问题仍然没有答案，如（i）高斯机制是否是一个适当的选择，用于证明$\ell_2$ -范数鲁棒性，以及（ii）是否有一个适当的随机化（平滑）机制，以证明$\ell_\infty$ -范数鲁棒性。为了阐明这些问题，我们认为，主要的困难是如何评估每个随机机制的适当性。在本文中，我们提出了一个通用的框架，连接现有的框架在\cite{lecuyer2018certified, li2019certified}，评估随机机制。在我们的框架下，对于一个可以证明一定程度的鲁棒性的随机机制，我们定义其所需的加性噪声的大小作为评估其适当性的度量。我们还证明了这个度量的$\ell_2$规范和$\ell_\infty$规范的情况下，作为评估的标准的下限。基于我们的框架，我们通过比较这些机制所需的加性噪声的大小和下限（标准）来评估高斯和指数机制。我们首先得出结论，高斯机制确实是一个适当的选择，以证明$\ell_2$ -范数的鲁棒性。令人惊讶的是，我们表明，高斯机制也是一个适当的选择，用于证明$\ell_\infty$规范的鲁棒性，而不是指数机制。最后，我们将我们的框架推广到任何$p\geq2$的$\ell_p$ -范数。我们的理论研究结果通过CIFAR 10和ImageNet的评估得到了验证。
2020-06-07 cs.CR cs.LG stat.ML
Certified Robustness via Randomized Smoothing over Multiplicative Parameters of Input Transformations
Huawei Moscow Research Center（华为莫斯科研究中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Nuro, Inc.（Nuro公司）
目前，提供鲁棒性证书的最流行的方法是随机平滑，其中输入通过某种概率分布进行平滑。我们提出了一种新的方法来随机平滑乘法参数。使用这种方法，我们构造证明强大的分类器相对于伽马校正扰动和比较的结果与分类器通过其他平滑分布（高斯，拉普拉斯，均匀）。实验表明，非对称瑞利分布允许获得更好的证书的扰动参数的某些值。据我们所知，这是第一个关于认证的稳健性对乘法伽玛校正变换和第一个研究随机平滑的非对称分布的影响。
2022-08-16 cs.LG
Double Sampling Randomized Smoothing
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Peking University（北京大学）
已知神经网络（NN）易受对抗性扰动的影响，因此存在一系列旨在为NN提供鲁棒性认证的工作，例如随机平滑，其从特定分布中采样平滑噪声以认证平滑分类器的鲁棒性。然而，如先前的工作所示，随机平滑中的经认证的鲁棒半径受到大数据集缩放的影响（“维数灾难”）。为了克服这一障碍，我们提出了一个双采样随机平滑（DSRS）框架，它利用从一个额外的平滑分布的采样概率收紧以前的平滑分类器的鲁棒性认证。在理论上，我们证明了DSRS在较弱的假设下，可以证明$Θ(\sqrt d)$在$\ell_2$范数下的鲁棒半径，其中$d$是输入维数，这意味着DSRS可能能够打破随机平滑的维数灾难.我们实例化DSRS的广义家庭的高斯平滑，并提出了一个有效的和健全的计算方法的基础上定制的双重优化考虑采样误差。在MNIST、CIFAR-10和ImageNet上进行的大量实验验证了我们的理论，并表明DSRS在不同设置下始终比现有基线具有更大的鲁棒半径。代码可在https://github.com/llylly/DSRS上获得。
2023-01-31 cs.CR cs.LG math.ST
Adaptive Randomized Smoothing: Certified Adversarial Robustness for Multi-Step Defences
University of British Columbia（不列颠哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
提出ARS方法，利用 $f$-差分隐私认证多步防御的自适应组合，通过高维输入依赖掩码提升模型对有界 $L_{\infty}$ 对抗样本的鲁棒性，在多个基准上显著提升了准确率。
2025-07-10 cs.CR cs.LG
Adaptive Diffusion Denoised Smoothing : Certified Robustness via Randomized Smoothing with Differentially Private Guided Denoising Diffusion
University of British Columbia, Vancouver, Canada（不列颠哥伦比亚大学）；ServiceNow Research（ServiceNow研究）
本文提出Adaptive Diffusion Denoised Smoothing方法，将引导去噪扩散模型重解释为自适应GDP机制序列，通过GDP隐私过滤器分析端到端鲁棒性，在ImageNet上针对$\ell_2$威胁模型同时提升了认证与标准准确率。
2025-07-10 cs.CR cs.CV cs.LG
Certified Robustness under Heterogeneous Perturbations via Hybrid Randomized Smoothing
Department of Computer Science, School of Computing, Institute of Science Tokyo, Tokyo, Japan（东京科学研究所计算机科学系）；College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算机与数据科学学院）；PSL University, Paris, France（巴黎高等师范学院）
本文提出统一的混合随机平滑框架，针对混合离散-连续输入，基于可解析的Neyman-Pearson联合最坏情况问题，提供闭式一维证书，扩展了高斯和离散随机平滑，应用于多模态安全过滤。
2026-05-13 cs.LG
Certifying Confidence via Randomized Smoothing
University of Maryland（马里兰大学）
随机平滑已被证明提供了良好的认证的鲁棒性保证高维分类问题。它使用在平滑分布下预测输入点周围的前两个最可能的类的概率来生成分类器预测的认证半径。然而，大多数平滑方法没有给我们任何关于底层分类器（例如，深度神经网络）进行预测。在这项工作中，我们提出了一种方法来生成认证半径的平滑分类器的预测置信度。我们考虑两个概念量化的信心：一类的平均预测得分和利润率的平均预测得分的一类超过另一个。我们修改的内曼-皮尔逊引理（随机平滑的关键定理），设计一个程序来计算认证半径的置信度保证保持在一定的阈值以上。我们在CIFAR-10和ImageNet数据集上的实验结果表明，使用关于置信度分数分布的信息可以使我们获得比忽略它更好的认证半径。因此，我们证明了输入点处关于基础分类器的额外信息可以帮助提高平滑分类器的认证保证。实验代码可在www.example.com上获得。
2020-10-22 cs.LG stat.ML
Certified Robustness of Graph Classification against Topology Attack with Randomized Smoothing
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
图分类在各个领域都有实际应用。最近的研究表明，基于图的机器学习模型由于图数据的非独立同分布性质而特别容易受到对抗性扰动的影响。通过添加或删除图中的少量边，对手可以极大地改变由图分类模型预测的图标签。在这项工作中，我们提出了建立一个平滑的图分类模型与认证的鲁棒性保证。我们已经证明，所得到的图分类模型将输出相同的预测下的图$l_0$有界对抗扰动。我们还评估了我们的方法的有效性下的图卷积网络（GCN）的多类图分类模型。
2020-09-12 cs.CR cs.LG stat.ML
Hidden Cost of Randomized Smoothing
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
现代机器学习模型的脆弱性引起了学术界和公众的极大关注。虽然人们对制作对抗攻击作为衡量神经网络鲁棒性的一种方法或设计最坏情况下的分析鲁棒性验证有很大的兴趣，但很少有方法可以同时享有可扩展性和鲁棒性保证。作为这些尝试的替代方案，随机平滑采用不同的预测规则，使统计鲁棒性参数可以轻松扩展到大型网络。然而，在本文中，我们指出了当前随机平滑工作流程的副作用。具体来说，我们阐明并证明了两个主要观点：1）平滑分类器的决策边界会缩小，导致类间准确性的差异; 2）在训练过程中应用噪声增强并不一定解决由于学习目标不一致而导致的缩小问题。
2021-03-12 cs.LG stat.ML
Treatment of Statistical Estimation Problems in Randomized Smoothing for Adversarial Robustness
Tübingen AI center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
本文针对随机平滑认证中的统计估计问题，提出基于置信序列的估计方法，在保持统计保证的同时降低样本复杂度，并引入随机化Clopper-Pearson区间以增强证书强度。
2025-01-20 cs.LG stat.ML
Incremental Randomized Smoothing Certification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMware Research（威睿研究院）
针对随机平滑鲁棒性认证计算成本高、修改后模型需从头重认证的问题，提出首个增量认证方法IRS，通过复用原模型认证结果以极少样本认证近似模型，保持鲁棒性的同时最高提速3倍。
2024-04-11 cs.CR cs.LG cs.PL
(De)Randomized Smoothing for Certifiable Defense against Patch Attacks
University of Maryland（马里兰大学）
图像上的补丁对抗攻击（攻击者可以扭曲有界大小区域内的像素）是一种重要的威胁模型，因为它们为物理对抗攻击提供了定量模型。在本文中，我们介绍了一个可证明的防御补丁攻击，保证对于给定的图像和补丁攻击的大小，没有补丁对抗的例子存在。我们的方法涉及到广泛的随机平滑鲁棒性计划，提供高置信度的概率鲁棒性证书。通过利用补丁攻击比一般稀疏攻击更受约束的事实，我们得到了有意义的大鲁棒性证书。此外，与基于平滑的针对L_p和稀疏攻击的防御方法相比，我们针对补丁攻击的防御方法是去随机化的，从而产生改进的确定性证书。与Chiang等人（2020）提出的现有补丁认证方法相比，该方法依赖于区间边界传播，我们的方法可以更快地训练，在CIFAR-10上实现高清洁和认证的鲁棒准确性，并提供ImageNet规模的证书。例如，对于CIFAR-10上的5 × 5补丁攻击，我们的方法实现了高达约57.6%的认证准确率（分类器的清洁准确率约为83.8%），而现有方法的认证准确率最多为30.3%（分类器的清洁准确率约为47.8%）。我们的研究结果有效地建立了一个新的最先进的可认证防御CIFAR-10和ImageNet上的补丁攻击。代码可在https://github.com/alevine0/patchSmoothing上获得。
2021-01-08 cs.CV cs.LG stat.ML
Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness
University of Maryland, College Park（马里兰大学帕克分校）
随机平滑，只使用一个简单的各向同性高斯分布，已被证明可以产生良好的鲁棒性保证对$\ell_2$ -范数有界的对手。在这项工作中，我们表明，扩展平滑技术来抵御其他攻击模型可能是具有挑战性的，特别是在高维制度。特别是对于大量的i.i.d.~光滑分布，我们证明了最大的$\ell_p$ -半径，可以证明减少为$O(1/d^{\frac{1}{2} - \frac{1}{p}})$与尺寸$d$为$p > 2$。值得注意的是，对于$p \geq 2$，这种对$d$的依赖性并不比$\ell_p$半径的依赖性好，后者可以使用各向同性高斯平滑进行验证，本质上是在鲁棒性半径上设置了匹配下限。当被限制为{ \it广义}高斯平滑时，这两个界限可以被示出为在渐近意义上在彼此的恒定因子内，从而建立高斯平滑提供最佳可能结果，直到恒定因子，当$p \geq 2$时。我们目前的实验结果CIFAR验证我们的理论。对于其他的平滑分布，如均匀分布内的$\ell_1$或$\ell_\infty$ -范数球，我们显示的形式$O(1 / d)$和$O(1 / d^{1 - \frac{1}{p}})$的上界分别，有一个更糟糕的依赖于$d$。
2020-08-14 cs.LG stat.ML
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）
深度学习技术在广泛的任务中取得了卓越的性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的隐私信息。之前的差异化私有训练尝试，虽然提供了严格的隐私保证，但导致模型性能比非私有训练低得多。此外，同一训练算法的不同运行产生的模型具有很大的性能差异。为了解决这些问题，我们提出了DPlis--Differentially Private Learning wIth Smoothing。DPlis的核心思想是构造一个平滑的损失函数，该函数有利于位于损失景观的大平坦区域中的抗噪声模型。我们提供了理论依据的实用程序的改进DPlis。大量的实验也表明，DPlis可以有效地提高模型质量和训练稳定性在给定的隐私预算。
2021-06-20 cs.CR cs.LG stat.ML
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
Foxstream（福克斯崔姆公司）；Miles Team, LAMSADE, Université Paris-Dauphine, PSL University（迈尔斯团队、兰萨德实验室、巴黎多芬大学、PSL大学）；ECE, New York University（纽约大学电气与计算机工程系）；ESPCI PSL（巴黎高等物理化工学院 PSL大学）
本文提出一种增强随机平滑的方法，通过利用Lipschitz常数与方差-间隔权衡，结合Bernstein不等式和增强Lipschitz界，显著提升认证精度，并支持零样本使用预训练模型。
2024-03-18 cs.LG stat.ML
Promoting Robustness of Randomized Smoothing: Two Cost-Effective Approaches
AWS AI Labs（亚马逊人工智能实验室）；UC San Diego（加利福尼亚大学圣迭戈分校）；Washington State University（华盛顿州立大学）；IBM Research（IBM研究院）
提出AdvMacer训练法和EsbRS后处理法两种经济方法，提升随机平滑分类器的可证明鲁棒性，同时保持干净性能，前者训练快3倍，后者基于模型集成优化认证。
2023-10-11 cs.LG
Enhanced Estimation Techniques for Certified Radii in Randomized Smoothing
本文提出随机平滑中认证半径的增强估计方法，通过更紧的半径界限和适用于离散与连续域的先进算法，在CIFAR-10和ImageNet上显著提升认证准确率，并分析了超参数影响，为更高效认证和未来理论研究奠定基础。
2025-03-11 cs.LG stat.ML
[Re] Double Sampling Randomized Smoothing
Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）
本文复现了双采样随机平滑（DSRS）框架，通过引入额外平滑分布改进神经网络对抗性扰动的鲁棒性认证，并在MNIST和CIFAR-10上验证了其能认证更大鲁棒半径的有效性。
2023-06-27 cs.CR cs.LG math.ST
Certified Robustness to Label-Flipping Attacks via Randomized Smoothing
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
已知机器学习算法易受数据投毒攻击的影响，其中对手操纵训练数据以降低所得分类器的性能。在这项工作中，我们提出了一个统一的观点，随机平滑任意函数，我们利用这种新的特性，提出了一种新的策略，用于建立分类器，逐点可证明的鲁棒性一般数据投毒攻击。作为一个具体的实例，我们利用我们的框架来构建线性分类器，这些分类器对标签翻转的强变体具有鲁棒性，其中每个测试示例都是独立的。换句话说，对于每个测试点，我们的分类器都包括一个认证，即如果一些训练标签被反向改变，它的预测将是相同的。随机平滑以前已被用来保证-高概率-测试时的鲁棒性对抗操纵的输入到分类器，我们推导出一个变种，提供了一个确定性的，分析的界限，回避了传统上从抽样子程序的概率证书。此外，我们得到这些认证的界限，最小的额外的运行时复杂性超过标准分类，没有假设的训练或测试分布。我们将我们的结果推广到多类的情况下，提供了第一个多类分类算法，是证明标签翻转攻击的鲁棒性。
2020-08-11 cs.AI cs.CR cs.LG
Intriguing Properties of Input-dependent Randomized Smoothing
Institute of Science and Technology Austria（奥地利科学技术研究所）；Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）
该研究指出输入依赖型随机平滑缺乏形式化保证且受维数灾难影响，提出严格限制下可用的理论实践框架与方差函数设计，在CIFAR10、MNIST上验证其可缓解经典平滑部分问题。
2024-03-08 cs.AI cs.LG stat.ML
Hierarchical Randomized Smoothing
Technical University of Munich（慕尼黑工业大学）；University of Cologne（科隆大学）
针对攻击者仅扰动对象部分实体时的鲁棒性证明难题，提出 hierarchical randomized smoothing，仅在随机选择的实体子集上加噪，在保持高准确率的同时提供更强的鲁棒性保证。
2024-11-10 cs.AI cs.CV cs.LG
Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction
本文提出基于随机平滑的轨迹预测防御方法，通过实验验证其在提升模型鲁棒性的同时保持预测准确性。
2026-03-11 cs.LG
Localized Randomized Smoothing for Collective Robustness Certification
Technical University of Munich（慕尼黑工业大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
本文提出局部化随机平滑方法，通过按输入区域重要性调整扰动强度，为各类模型（尤其是软局部模型）提供更通用的集体鲁棒性认证，在图像分割和节点分类上同时提升准确率与证书强度。
2024-02-26 cs.CV cs.LG
Robust and Accurate -- Compositional Architectures for Randomized Smoothing
ETH Zurich（苏黎世联邦理工学院）
随机平滑（RS）被认为是最先进的方法，以获得具有挑战性的任务的可证明的鲁棒模型。然而，当前的RS方法大大降低了未扰动数据的标准准确性，严重限制了其在现实世界中的实用性。为了解决这一限制，我们提出了一个组合架构，ACES，可证明决定在每个样本的基础上是否使用平滑模型产生的预测与保证或更准确的标准模型没有保证。这与先前的方法相比，能够实现高标准精度和显著的可证明的鲁棒性。在ImageNet等具有挑战性的任务中，我们得到，例如，$80.0\%$自然准确度和$28.2\%$针对$r=1.0$的$\ell_2$扰动的可认证准确度。我们在https://github.com/eth-sri/aces上发布了我们的代码和模型。
2022-04-01 cs.AI cs.CR cs.LG
Scalable Certified Segmentation via Randomized Smoothing
ETH Zurich（苏黎世联邦理工学院）
提出了一种基于随机平滑的图像和点云分割认证方法。该方法利用一种新的可扩展算法进行预测和认证，该算法正确地考虑了确保统计保证所需的多个测试。我们的方法的关键是依赖于已建立的多重测试校正机制，以及放弃对单个像素或点进行分类的能力，同时仍然稳健地分割整体输入。我们对合成数据和具有挑战性的数据集（如Pascal Context、Cityscapes和ShapeNet）的实验评估表明，我们的算法可以首次在现实世界的分割任务中实现具有竞争力的准确性和认证保证。我们在https://github.com/eth-sri/segmentation-smoothing上提供了一个实现。
2022-07-27 cs.CV cs.LG
Higher-Order Certified Robustness for Regression
研究回归的对抗鲁棒性问题，提出新颖框架，推导以预测为中心的证书保证稳定性与可计算性，通过纳入均值、方差和梯度构建证书，在MNIST旋转任务中利用梯度信息得到更严格的鲁棒性证书。
2026-07-08 cs.LG stat.ML
AdaptDel: Adaptable Deletion Rate Randomized Smoothing for Certified Robustness
University of Melbourne（墨尔本大学）
针对序列分类任务中编辑距离扰动的认证鲁棒性问题，提出自适应删除率的AdaptDel方法，扩展随机平滑理论框架至可变删除率，在自然语言任务中认证区域中位数基数较最优方法提升多达30个数量级。
2025-11-12 cs.CL cs.CR cs.LG
DeformRS: Certifying Input Deformations with Randomized Smoothing
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
深度神经网络易受像素位移的向量场形式的输入变形以及其他参数化几何变形（例如平移、旋转等）的影响。不能在大型输入数据集上扩展到深度网络，或者2.只能证明特定类别的变形，例如仅旋转。我们重新制定的一般向量场和参数化变形的随机平滑设置的认证，并提出DeformRS-VF和DeformRS-Par，分别。我们的新公式可扩展到大型输入数据集上的大型网络。例如，DeformRS-Par可以证明丰富的变形，包括平移、旋转、缩放、仿射变形和其他视觉对齐的变形，例如由离散余弦变换基础参数化的变形。在MNIST、CIFAR 10和ImageNet上进行的大量实验表明，DeformRS-Par具有竞争力的性能，在ImageNet上的集合$[-10\degree,10\degree]$中实现了$39\%$的认证精度。
2021-12-19 cs.LG stat.ML
Projected Randomized Smoothing for Certified Adversarial Robustness
University of California, Berkeley（加州大学伯克利分校）
本文提出先将输入投影到数据流形低维近似再进行随机平滑的复合分类框架，在高维空间刻画认证区域并证明体积下界，实验显示其认证体积较现有方法提升多个数量级。
2023-09-25 cs.LG
GSmooth: Certified Robustness against Semantic Transformations via Generalized Randomized Smoothing
Tsinghua University（清华大学）；RealAI（瑞莱智慧）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute（清华大学-中国移动通信集团有限公司联合研究院）；Research Institute of Tsinghua University in Shenzhen（深圳清华大学研究院）
经过认证的防御，如随机平滑，已显示出建立可靠的机器学习系统对$\ell_p$ -范数有界攻击的承诺。然而，现有的方法不足以或无法证明地防御语义转换，特别是那些没有封闭形式的表达式（如散焦模糊和像素化），这在实践中更常见，往往不受限制。为了填补这一空白，我们提出了广义随机平滑（GSmooth），一个统一的理论框架，通过一种新的维度增强策略来证明对一般语义变换的鲁棒性。在GSmooth框架下，我们提出了一个可扩展的算法，该算法使用代理图像到图像网络来近似复杂的变换。代理模型为研究语义转换的性质和证明健壮性提供了一个强有力的工具。在多个数据集上的实验结果表明，我们的方法对多种语义转换和腐败的鲁棒性认证的有效性，这是无法实现的替代基线。
2022-06-29 cs.AI cs.CR cs.CV
Certified Neural Network Watermarks with Randomized Smoothing
University of Maryland, College Park（马里兰大学帕克分校）；Adobe Research（Adobe研究院）
数字水印是一种常用的保护数字图像、视频和音频创作者权利的策略。最近，水印方法已经扩展到深度学习模型--原则上，当对手试图复制模型时，水印应该被保留。然而，在实践中，水印往往可以被智能对手删除。几篇论文已经提出了水印方法，声称是经验上抵抗不同类型的删除攻击，但这些新技术往往失败，在面对新的或更好的调整对手。在本文中，我们提出了一种可认证的水印方法。使用Chiang等人提出的随机平滑技术，我们表明，我们的水印保证是不可移除的，除非模型参数被改变超过某个L2阈值。除了是可认证的，我们的水印也是经验上更强大的相比，以前的水印方法。我们的实验可以通过https://github.com/arpitbansal297/Certified_Watermarks上的代码复制
2022-07-16 cs.CR cs.LG
Data-Dependent Randomized Smoothing
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
随机平滑是一种最近的技术，在训练可证明鲁棒的深度神经网络方面实现了最先进的性能。虽然平滑分布族通常与用于认证的范数的选择有关，但这些分布的参数总是设置为独立于网络认证的输入数据的全局超参数。在这项工作中，我们重新高斯随机平滑，并表明，高斯分布的方差可以在每个输入进行优化，以最大限度地提高认证半径的建设顺利分类。由于数据依赖分类器不直接享有健全的认证与现有的方法，我们提出了一个内存增强的数据依赖平滑分类器，是可认证的建设。这种新方法是通用的，无参数，易于实现。事实上，我们表明，我们的数据依赖框架可以无缝地纳入3种随机平滑方法，从而提高一致的认证准确性。当这个框架用于这些方法的训练例程中，然后进行数据相关认证时，我们在CIFAR10和ImageNet上获得了9%和6%的认证精度，半径为0.5。
2022-07-05 cs.LG
Higher-Order Certification for Randomized Smoothing
MIT（麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM Watson人工智能实验室，IBM研究）
随机平滑是最近提出的一种对抗对抗攻击的防御方法，它对$\ell_2$扰动具有SOTA可证明的鲁棒性。许多出版物已经通过使用不同的平滑措施将保证扩展到其他度量，例如$\ell_1$或$\ell_\infty$。虽然目前的框架已被证明可以产生接近最优的$\ell_p$半径，总的安全区域认证的目前的框架可以是任意小的最佳相比。在这项工作中，我们提出了一个框架，以提高这些平滑分类器的认证安全区域，而不改变底层的平滑方案。理论贡献如下：1）通过将证明半径的计算转化为一类函数上的嵌套优化问题，推广了随机光滑的证明。2)我们提供了一种方法来计算认证的安全区域使用$0^{th}$顺序和$1^{st}$顺序信息的高斯平滑分类。我们还提供了一个框架，概括了使用高阶信息的认证计算。3)我们设计了有效的，高置信度的一阶信息的相关统计量的估计。结合理论贡献2）和3），使我们能够证明安全区，显着大于目前的方法提供的。在CIFAR10和Imagenet数据集上，通过我们的方法认证的新区域在一般$\ell_1$认证半径和用于颜色空间攻击的$\ell_2$认证半径上实现了显着改进（$\ell_2$限于1个通道），同时还在一般$\ell_2$认证半径上实现了较小的改进。我们的框架还可以提供一种方法来规避当前不可能的结果，实现更高幅度的认证半径，而不需要使用数据相关的平滑技术。
2020-10-13 cs.LG stat.ML
Riemannian data-dependent randomized smoothing for neural networks certification
Institut de Recherche Technologique SystemX（SystemX技术研究院）；Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）
神经网络的认证是一个重要而具有挑战性的问题，近年来一直吸引着机器学习社区的关注。在本文中，我们专注于随机平滑（RS），这被认为是最先进的方法，以获得可证明的鲁棒神经网络。特别地，最近引入的称为ANCER的新的数据依赖RS技术可以用于认证神经网络的每个输入数据附近的具有正交轴的椭圆。在这项工作中，我们注意到，ANCER是不恒定的旋转下的输入数据，并提出了一个新的旋转不变的提法，它可以证明椭圆没有约束的轴。我们的方法称为黎曼数据依赖随机平滑（RDDRS）依赖于协方差矩阵流形上的信息几何技术，并且可以根据我们在MNIST数据集上的实验来证明比ANCER更大的区域。
2022-09-13 cs.LG
(De-)Randomized Smoothing for Decision Stump Ensembles
ETH Zurich（苏黎世联邦理工学院）
基于树的模型被用于许多高风险的应用领域，如金融和医学，其中鲁棒性和可解释性至关重要。然而，与那些专注于神经网络的方法相比，用于改进和证明其鲁棒性的方法严重不足。针对这一重要挑战，我们提出了确定性平滑决策树桩合奏。虽然大多数先前的工作随机平滑的重点是评估任意的基础模型近似输入随机化，我们的工作的关键见解是，决策树桩合奏，使准确而有效的评估通过动态规划。重要的是，我们获得了确定性的鲁棒性证书，甚至联合在数字和分类功能，在现实世界中无处不在的设置。此外，我们推导出一个MLE最优的训练方法，在随机化下平滑的决策树桩，并提出了两个助推方法，以提高其可证明的鲁棒性。对计算机视觉和表格数据任务的广泛实验评估表明，我们的方法比最先进的基于树的模型产生更高的认证精度。我们在https://github.com/eth-sri/drs上发布所有代码和训练模型。
2022-11-14 cs.AI cs.CR cs.LG
RS-Reg: Probabilistic and Robust Certified Regression Through Randomized Smoothing
University of Melbourne（墨尔本大学）
该研究提出RS-Reg方法，将随机平滑扩展至回归任务，通过概率灵活定义鲁棒性，推导了无约束及有界输出回归模型的输入扰动可认证上界，仿真验证了理论结果并揭示了平均平滑函数的优劣势。
2024-05-14 cs.LG
Towards Evading the Limits of Randomized Smoothing: A Theoretical Analysis
EPFL（洛桑联邦理工学院）；Université Paris-Dauphine（巴黎多芬大学）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
随机平滑是对抗性示例的可证明防御的主要标准。然而，这种方法最近已被证明遭受重要的信息理论的限制。在本文中，我们认为，这些限制是不是内在的，而仅仅是目前的认证方法的副产品。我们首先表明，这些证书使用太少的分类信息，特别是盲目的局部曲率的决策边界。这导致严重的次优鲁棒性保证的问题的维度增加。然后，我们表明，理论上可以通过收集更多关于分类器的信息来绕过这个问题。更确切地说，我们表明，它是可能的近似任意精度的最佳证书，通过探测的决策边界与几个噪声分布。由于这一过程是在认证时而不是在测试时执行的，因此在提高证书质量的同时不会损失自然准确性。这一结果促进了分类器特定认证的进一步研究，并表明随机平滑仍然值得研究。虽然分类器特定的认证可能会导致更多的计算成本，我们也提供了一些理论上的见解，如何减轻它。
2022-06-03 cs.LG
Discrete Randomized Smoothing Meets Quantum Computing
School of Computation, Information & Technology, Technical Univ. of Munich（慕尼黑工业大学计算、信息与技术学院）；Fraunhofer Institute for Cognitive Systems IKS（弗劳恩霍夫认知系统研究所IKS）
本文提出将量子计算与离散随机平滑结合，利用叠加态编码扰动和量子振幅估计实现模型调用次数的二次方减少，并设计二进制威胁模型在图像、图和文本上验证方法。
2024-08-01 cs.LG quant-ph
Certified Robustness of Community Detection against Adversarial Structural Perturbation via Randomized Smoothing
Duke University（杜克大学）
社区发现是理解图结构的关键。然而，最近的一些研究表明，社区发现是脆弱的对抗性结构扰动。特别是，通过在图中添加或删除少量精心选择的边，攻击者可以操纵检测到的社区。然而，据我们所知，还没有研究证明社区发现对这种对抗性结构扰动的鲁棒性。在这项工作中，我们的目标是弥合这一差距。具体来说，我们开发了第一个经过认证的鲁棒性保证社区发现对抗性结构扰动。在给定任意社区发现方法的基础上，通过随机扰动图的结构，建立了一种新的平滑社区发现方法。我们从理论上表明，平滑的社区发现方法可证明组到同一个社区（或不同的社区）的节点的一个给定的任意集合时，由攻击者添加/删除的边缘的数量是有界的。此外，我们证明了我们的认证的鲁棒性是紧密的。我们还在多个真实世界的图形与地面真实社区上实证评估了我们的方法。
2020-09-15 cs.CR cs.LG cs.SI
