UniCR: Universally Approximated Certified Robustness via Randomized Smoothing
University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
我们研究了机器学习分类器对对抗性扰动的认证鲁棒性。特别是，我们提出了第一个普遍近似认证的鲁棒性（UniCR）框架，它可以近似的鲁棒性认证的任何输入对任何分类器对任何$\ell_p$扰动与噪声产生的任何连续概率分布。与最先进的认证防御相比，UniCR提供了许多显著的好处：（1）第一个通用的鲁棒性认证框架，适用于上述4个“任何”;（2）自动鲁棒性认证，避免了逐个案例的分析，（3）认证鲁棒性的紧密性验证，以及（4）随机平滑所使用的噪声分布的最优性验证。我们进行了大量的实验来验证UniCR的上述优点以及UniCR相对于最先进的认证防御$\ell_p$扰动的优势。
2022-07-10 cs.LG
Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
在存在噪声标签的情况下训练深度神经网络（DNN）是一项重要且具有挑战性的任务。概率模型由一个分类器和一个转移矩阵组成，描述了从真实标签到噪声标签的转换，是一种很有前途的方法。然而，目前的概率方法直接将转移矩阵应用于DNN，忽略了DNN对过拟合的敏感性，并取得了令人满意的性能，特别是在均匀噪声下。本文受标号平滑的启发，提出了一种新的方法，即使用平滑的转移矩阵来更新DNN，以限制DNN在概率建模中的过拟合。我们的方法被称为矩阵平滑。我们还实证表明，我们的方法不仅提高了概率建模的鲁棒性显着，但也得到了更好的估计的转移矩阵。
2020-03-26 cs.CV cs.LG
Generalizing Gaussian Smoothing for Random Search
Intel Labs（英特尔实验室）
高斯平滑（GS）是一种无导数优化（DFO）算法，它使用从标准正态分布中采样的当前参数的扰动来估计目标的梯度。我们将其推广到一个更大的分布族的采样扰动。基于对非凸函数的DFO分析，我们建议选择一个扰动分布，使梯度估计的均方误差（MSE）最小化。我们推导出三个这样的分布可证明小于高斯平滑的MSE。我们对线性回归、强化学习和DFO基准测试的三种抽样分布进行评估，以验证我们的说法。我们的建议改进GS具有相同的计算复杂性，通常是有竞争力的，往往优于引导ES和正交ES，两个计算更昂贵的算法，适应正态分布的扰动的协方差矩阵。
2022-11-27 cs.LG math.OC
RS-Reg: Probabilistic and Robust Certified Regression Through Randomized Smoothing
University of Melbourne（墨尔本大学）
该研究提出RS-Reg方法，将随机平滑扩展至回归任务，通过概率灵活定义鲁棒性，推导了无约束及有界输出回归模型的输入扰动可认证上界，仿真验证了理论结果并揭示了平均平滑函数的优劣势。
2024-05-14 cs.LG
Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing
Duke University（杜克大学）
众所周知，分类器容易受到对抗性扰动的影响。为了抵御对抗性扰动，已经推导出各种经过认证的鲁棒性结果。然而，现有的认证鲁棒性仅限于前1预测。在许多现实世界的应用中，顶级$k$预测更相关。在这项工作中，我们的目标是获得认证的鲁棒性顶部$k$预测。特别是，我们认证的鲁棒性是基于随机平滑，它通过向输入示例添加噪声将任何分类器转换为新的分类器。我们采用随机平滑，因为它是可扩展的大规模神经网络和适用于任何分类器。当使用高斯噪声的随机平滑时，我们推导出在顶$k$预测的$\ell_2$范数中的紧鲁棒性。我们发现，推广认证的鲁棒性从顶部1到顶部$k$预测面临着重大的技术挑战。我们还在CIFAR 10和ImageNet上对我们的方法进行了经验评估。例如，当对抗扰动的$\ell_2$范数小于0.5（=127/255）时，我们的方法可以获得具有62.8\%的认证前5名准确度的ImageNet分类器。我们的代码可在以下网址公开获取：\url{https://github.com/jjy1994/Certify_Topk}。
2019-12-20 cs.CR cs.LG stat.ML
Fighting Contextual Bandits with Stochastic Smoothing
我们引入了一个新的随机平滑的角度来研究对抗性上下文强盗问题。我们提出了一个通用的算法模板，代表随机扰动为基础的算法，并确定几个扰动分布，导致强遗憾界。利用光滑的思想，我们提供了一个$O(\sqrt{T})$零阶界的香草算法和$O(L^{*2/3}_{T})$一阶界的裁剪版本。当算法使用具有有界风险率的各种分布时，这些界限保持不变。我们的算法模板包括EXP4作为对应于Gumbel扰动的特殊情况。我们的遗憾界匹配现有的结果EXP4不依赖于算法的特定属性。
2019-06-11 cs.LG stat.ML
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大量的文献表明，基于学习的视觉感知模型是敏感的对抗性噪声，但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此，我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响，摄像机运动对机器人的感知。具体而言，我们提出了一种运动平滑技术，任意图像分类模型，其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证，使其适用于广泛的机器人应用。据我们所知，这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作，这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图，为整个房间，MetaRoom，介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验，以验证认证方法，通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内，该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性，在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
Certified Robustness of Community Detection against Adversarial Structural Perturbation via Randomized Smoothing
Duke University（杜克大学）
社区发现是理解图结构的关键。然而，最近的一些研究表明，社区发现是脆弱的对抗性结构扰动。特别是，通过在图中添加或删除少量精心选择的边，攻击者可以操纵检测到的社区。然而，据我们所知，还没有研究证明社区发现对这种对抗性结构扰动的鲁棒性。在这项工作中，我们的目标是弥合这一差距。具体来说，我们开发了第一个经过认证的鲁棒性保证社区发现对抗性结构扰动。在给定任意社区发现方法的基础上，通过随机扰动图的结构，建立了一种新的平滑社区发现方法。我们从理论上表明，平滑的社区发现方法可证明组到同一个社区（或不同的社区）的节点的一个给定的任意集合时，由攻击者添加/删除的边缘的数量是有界的。此外，我们证明了我们的认证的鲁棒性是紧密的。我们还在多个真实世界的图形与地面真实社区上实证评估了我们的方法。
2020-09-15 cs.CR cs.LG cs.SI
NCIS: Neural Contextual Iterative Smoothing for Purifying Adversarial Perturbations
Seoul National University（首尔大学）；NAVER Clova；NAVER AI Lab
我们提出了一种新的和有效的净化为基础的对抗性防御方法对预处理器盲白盒和黑盒攻击。我们的方法计算效率高，只对一般图像进行自监督学习训练，而不需要任何对抗训练或分类模型的再训练。我们首先展示了对抗性噪声的实证分析，定义为原始图像与其对抗性示例之间的残差，具有几乎为零的均值，对称分布。基于这一观察，我们提出了一个非常简单的迭代高斯平滑（GS），它可以有效地消除对抗性噪声，并实现相当高的鲁棒精度。为了进一步改进它，我们提出了神经上下文迭代平滑（NCIS），它以自监督的方式训练盲点网络（BSN），以重建原始图像的鉴别特征，该图像也被GS平滑。从我们使用四种分类模型在大规模ImageNet上进行的广泛实验中，我们证明了我们的方法在对抗大多数强净化器盲白盒和黑盒攻击时，既达到了有竞争力的标准准确率，又达到了最先进的鲁棒准确率。此外，我们提出了一个新的基准，用于评估基于商业图像分类API（如AWS，Azure，Clarifai和Google）的净化方法。我们通过基于集成传输的黑盒攻击生成对抗性示例，该攻击可以导致API的完全错误分类，并证明我们的方法可以用于提高API的对抗性鲁棒性。
2021-12-30 cs.CV cs.LG
Pixel-wise Smoothing for Certified Robustness against Camera Motion Perturbations
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）
提出在2D像素空间进行逐像素平滑的认证框架，避免3D相机运动采样，并以均匀划分界定投影误差，仅用30%投影帧即达到约80%认证准确率。
2024-03-03 cs.CV cs.LG cs.RO
Use Perturbations when Learning from Explanations
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
本文将MLX重构为鲁棒性问题，利用人类解释定义的低维流形生成扰动，从而减少对强模型平滑的依赖，并结合早期MLX方法在多个基准上取得最优性能。
2023-12-01 cs.LG
Robust Multi-Agent Path Finding under Observation Attacks: A Principled Adversarial-Plus-Smoothing Training Recipe
本文提出两种训练方法，使多智能体路径寻找在受扰观测下保持稳定，通过对抗训练和平滑项提升鲁棒性，实验显示在8x8地图上性能显著提升。
2026-05-12 cs.LG
Representation Matters in Randomized Smoothing for Audio Classification
University of California, Berkeley（加州大学伯克利分校）
研究随机平滑在音频分类中的表示问题，通过实验揭示预处理和表示选择对认证鲁棒性的影响，并提出报告规范。
2026-06-28 cs.LG cs.SD eess.AS
How smoothing the affinity matrix affects neighborhood preservation in t-SNE
Ghent University（根特大学）
本研究针对t-SNE的亲和矩阵，提出逐行幂变换方法，发现锐化可提升最近邻保持、平滑可提升中局部邻域保持，为优化t-SNE邻域保持提供了新视角。
2026-08-19 cs.CV cs.LG
Quadratic Advantage with Quantum Randomized Smoothing Applied to Time-Series Analysis
Fraunhofer Institute for Cognitive Systems IKS（弗劳恩霍夫认知系统研究所IKS）；Volkswagen Group Innovation, Volkswagen AG（大众汽车集团创新部（大众汽车股份公司））
本研究提出集成 Grover's algorithm 的量子随机平滑框架，采用基态编码和受约束的 $k$-distant Hamming weight 扰动，在时间序列分类任务中实现二次采样优势，使量子计算能高效扩展至经典方法无法企及的复杂任务。
2024-07-25 cs.AI cs.LG quant-ph
Certified Robustness of Graph Classification against Topology Attack with Randomized Smoothing
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
图分类在各个领域都有实际应用。最近的研究表明，基于图的机器学习模型由于图数据的非独立同分布性质而特别容易受到对抗性扰动的影响。通过添加或删除图中的少量边，对手可以极大地改变由图分类模型预测的图标签。在这项工作中，我们提出了建立一个平滑的图分类模型与认证的鲁棒性保证。我们已经证明，所得到的图分类模型将输出相同的预测下的图$l_0$有界对抗扰动。我们还评估了我们的方法的有效性下的图卷积网络（GCN）的多类图分类模型。
2020-09-12 cs.CR cs.LG stat.ML
Pixel-level Certified Explanations via Randomized Smoothing
Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所）；CISPA Helmhotz Center for Information Security（CISPA海德堡信息安全中心）
提出首个基于随机平滑的像素级认证框架，为任意黑盒归因方法提供鲁棒性保证，并通过稀疏化和平滑将任务转化为分割问题，实验验证了其鲁棒性、可解释性和忠实性。
2025-06-18 cs.AI cs.CV cs.LG
Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing
本文研究针对 $l_0$ 范数稀疏扰动的快速对抗训练，发现损失地貌崎岖导致灾难性过拟合，提出 Fast-LS-$l_0$ 方法结合软标签与权衡损失函数平滑损失地貌，克服过拟合并缩小单步与多步训练性能差距。
2025-10-31 cs.AI cs.LG
PRISMA: PRoximal Iterative SMoothing Algorithm
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Katholieke Universiteit Leuven（鲁汶大学）
受学习问题的启发，包括最大范数正则化矩阵完成和聚类，鲁棒PCA和稀疏逆协方差选择，我们提出了一种新的优化算法，用于最小化凸目标分解为三个部分：一个光滑的部分，一个简单的非光滑Lipschitz部分，和一个简单的非光滑非Lipschitz部分。我们使用的时变平滑策略，使我们能够获得保证，不依赖于事先知道的总迭代次数，也没有约束的域。
2012-11-18 cs.LG math.OC
Provably Cost-Sensitive Adversarial Defense via Randomized Smoothing
CISPA Helmholtz Center for Information Security（信息安全研究中心赫尔姆霍茨中心）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对不同误分类危害不等的现实场景，论文基于随机化平滑提出成本敏感认证半径、紧致证书算法及不损失准确率的鲁棒训练方法，并在多个基准上验证其有效性。
2025-06-10 cs.CR cs.LG
Maximum likelihood smoothing estimation in state-space models: An incomplete-information based approach
Victoria University of Wellington（惠灵顿维多利亚大学）
本文回顾了Rauch（1963，et al.1965）的经典工作，提出了一种新的基于不完全信息/数据的随机状态空间系统的极大似然（ML）平滑估计方法。引入了不完全数据的评分函数和条件观测信息矩阵，建立了它们的分布恒等式。利用这些恒等式，给出了ML平滑器$\widehat{x}_{k\vert n}^s =\argmax_{x_k} \log f(x_k,\widehat{x}_{k+1\vert n}^s, y_{0:n}\vertθ)$，$k\leq n-1$.结果表明，ML平滑器比ML状态估计器$x_k$具有更好的对数似然性和更小的标准误差，并具有$\widehat{x}_{n\vert n}^s=\widehat{x}_n$ .递归估计的EM梯度粒子算法，扩展了工作的\cite{Lange} ML平滑估计。该算法有一个显式的迭代更新，缺乏（\cite{Ramadan}）EM算法的平滑。一个序贯蒙特卡罗方法的评分函数和观察到的信息矩阵的估值。推导了估计误差协方差矩阵的递推公式，用于计算标准误差。在线性系统的情况下，该方法表明，Rauch-Tung-Striebel（RTS）平滑器是一个完全有效的平滑状态估计，其协方差矩阵符合Cramér-Rao下界，期望信息矩阵的逆。此外，RTS平滑器与具有较少协方差矩阵的卡尔曼滤波器一致。进行数值研究，确认的主要结果的准确性。
2023-03-29 cs.IT cs.LG cs.SY
Analyzing Accuracy Loss in Randomized Smoothing Defenses
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
机器学习（ML）算法的最新进展，特别是深度神经网络（DNN），在包括人脸和语音识别在内的多项任务上取得了显着的成功（有时超过人类水平的性能）。然而，ML算法容易受到\emph{adversarial attacks}的攻击，例如测试时间、训练时间和后门攻击。在测试时攻击中，对手制作对抗性示例，这些示例是人类无法感知的精心制作的扰动，当添加到输入示例时，迫使机器学习模型对给定的输入示例进行错误分类。在关键环境中部署ML算法时，例如信息安全和自动驾驶，对抗性示例是一个问题。研究人员对此做出了大量的防御措施。一种有希望的防御方法是\emph{randomized smoothing}，其中通过向我们希望分类的输入示例添加随机噪声来平滑分类器的预测。本文从理论和实证两个方面对随机平滑进行了探讨。我们研究了随机平滑对可行假设空间的影响，并表明对于某些噪音水平，可行的假设集会因平滑而缩小，这给出了平滑后自然准确度下降的一个原因。为了执行我们的分析，我们引入了一个随机平滑模型，该模型抽象了具体细节，例如噪声的确切分布。我们用大量的实验来补充我们的理论结果。
2020-03-03 cs.LG stat.ML
Hessian Based Smoothing Splines for Manifold Learning
Seoul National University（首尔国立大学）
我们提出了一个多维光滑样条算法的背景下，流形学习。基于Hessian矩阵的Frobenius范数，我们将薄板样条的弯曲能量罚函数推广到平坦流形的Sobolev空间上的二次形式。这导致了流形上光滑样条的自然定义，它在优化全局曲率惩罚的同时最小化平方误差。利用再生核Hilbert空间理论证明了该问题解的存在唯一性。最小值表示为双调和算子的格林函数和处处消失的海森函数的“线性”函数的组合。此外，我们利用Hessian Eigenmaps算法的Hessian估计过程来近似真实流形未知时的样条损失。这产生了一个特别简单的二次优化算法，用于平滑响应值，而无需拟合底层流形。给出了渐近误差和鲁棒性分析，以及样本外预测方法和应用的讨论。
2023-02-10 cs.LG stat.ML
Computation-Aware Kalman Filtering and Smoothing
Tübingen AI Center, University of Tübingen（蒂宾根人工智能中心，蒂宾根大学）；Columbia University（哥伦比亚大学）；University of Southampton（南安普顿大学）
针对高维高斯-马尔可夫模型中卡尔曼滤波与平滑的扩展性瓶颈，提出一种计算感知的无矩阵迭代概率数值方法，利用GPU加速实现计算成本与预测不确定性之间的可调权衡，并在大规模气候数据集上验证了其可扩展性。
2025-03-12 cs.LG cs.NA math.NA
(Certified!!) Adversarial Robustness for Free!
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们展示了如何通过完全依赖现成的预训练模型来实现对2范数有界扰动的最先进的认证对抗鲁棒性。为此，我们通过结合预训练的去噪扩散概率模型和标准的高精度分类器，实例化了Salman等人2020年的去噪平滑方法。这使我们能够在对抗性扰动约束下在ImageNet上证明71%的准确率，该扰动约束在0.5的2-范数范围内，比使用任何方法的先前认证SoTA提高了14个百分点，或者比去噪平滑提高了30个百分点。我们只使用预先训练的扩散模型和图像分类器获得这些结果，而不需要任何微调或重新训练的模型参数。
2023-03-06 cs.CR cs.LG
Clustered Randomized Smoothing for Stochastic Prediction Functions
Delft University of Technology（代尔夫特理工大学）；University of Stuttgart（斯图加特大学）；AI4I
本文针对随机多模态回归中随机平滑的模式崩溃问题，提出聚类α-平滑框架，在两个基准实验中较现有方法显著降低了Wasserstein距离与碰撞率。
2026-11-10 cs.LG cs.SY eess.SY
LASS: a simple assignment model with Laplacian smoothing
University of California, Merced（加州大学默塞德分校）
我们考虑的问题，学习软分配的$N$项目到$K$类别给定两个来源的信息：一个项目类别相似性矩阵，鼓励项目被分配到类别，他们是相似的（和不被分配到类别，他们是不相似的），和一个项目项目相似性矩阵，鼓励类似的项目有类似的分配。我们提出了一个简单的二次规划模型，捕捉这种直觉。我们给出了它的解决方案是唯一的必要条件，定义了一个样本外映射，并推导出一个简单，有效的训练算法的基础上交替方向法的乘数。该模型甚至可以从几个相似度值中预测合理的分配，并且可以被视为半监督学习的推广。当项目自然地属于多个类别时，例如当用关键字或带有标签的图片注释文档时，或者当类别具有未知的复杂相互关系（例如分层）时，它特别有用。
2014-05-23 cs.LG math.OC stat.ML
Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing
University of California Riverside（加州大学河滨分校）
在这项工作中，我们提出了一个基于图的学习框架，训练模型具有可证明的鲁棒性对抗扰动。与基于正则化的方法相比，我们将对抗性鲁棒学习问题表示为具有Lipschitz约束的损失最小化问题，并表明相关拉格朗日量的鞍点由具有加权Laplace算子的泊松方程表征。此外，拉普拉斯算子的权重由Lipschitz约束的拉格朗日乘子给出，该拉格朗日乘子调节极小化器对扰动的敏感性。然后，我们设计了一个可证明的强大的训练计划，使用基于图的离散化的输入空间和原始对偶算法收敛到拉格朗日的鞍点。我们的分析在具有约束强制加权的椭圆算子和对抗学习之间建立了一种新的联系。我们还研究了补充问题，提高鲁棒性的极小与利润率的损失，制定为损失约束的Lipschitz常数最小化问题。我们提出了一种技术，以获得鲁棒极小，并通过一系列的梯度$p$ -范数最小化问题接近Lipschitz常数最小化评估基本Lipschitz下界。最后，我们的研究结果表明，对于一个理想的标称性能，存在一个基本的下限对抗扰动的敏感性，仅取决于损失函数和数据分布，并在鲁棒性的改善超出这个界限只能在牺牲标称性能。我们的训练方案可证明达到这些界限下的性能和鲁棒性的约束。
2020-10-22 cs.LG cs.SY eess.SY
Graphon Estimation from Partially Observed Network Data
Indian Statistical Institute（印度统计研究所）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们考虑在没有观测到整个网络--只有一些重叠的子图--的情况下，估计由图子模型生成的网络的边概率矩阵。我们将Zhang等人（2017）的邻域平滑（NBS）算法扩展到这种缺失数据设置，并通过实验表明，对于各种各样的图子，扩展的NBS算法实现了比标准图子估计算法（如香草邻域平滑（NBS），通用奇异值阈值（USVT），块模型近似，矩阵完成，我们还表明，扩展的NBS算法是更强大的缺失数据。
2019-06-27 cs.LG stat.ME stat.ML
