Simple and Efficient Hard Label Black-box Adversarial Attacks in Low Query Budget Regimes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bosch Center for AI（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa人工智能）；Carnegie Mellon University（卡内基梅隆大学）
我们专注于黑盒对抗攻击的问题，其目的是仅基于仅限于输出标签~（硬标签）到查询数据输入的信息来生成深度学习模型的对抗性示例。提出了一种简单有效的基于贝叶斯优化的黑盒对抗攻击方法。通过在结构化的低维子空间中搜索对抗性示例，避免了BO在高维中的性能问题。我们通过评估$\ell_\infty$和$\ell_2$规范约束的非目标和目标硬标签黑盒攻击三个标准数据集- MNIST，CIFAR-10和ImageNet的有效性，证明了我们提出的攻击方法。与当前最先进的黑盒对抗攻击相比，我们提出的方法始终实现了2倍到10倍的攻击成功率，同时需要10倍到20倍的查询。
2021-06-11 cs.LG stat.ML
Variational Elliptical Processes
RISE Research Institutes of Sweden（瑞典RISE研究机构）；Uppsala University（乌普萨拉大学）；Ericsson Research（爱立信研究部）
本文提出 elliptical processes，一种包含 Gaussian 和 Student's t processes 的非参数概率模型，通过 spline normalizing flow 和变分推断实现，适用于大规模问题并在回归和分类中展现优势。
2023-11-21 cs.LG stat.ML
Extending Growth Mixture Models Using Continuous Non-Elliptical Distributions
生长混合模型（GARCH）结合了传统的随机效应生长建模和有限混合建模中的潜在轨迹类;因此，它们提供了一种处理受试者在其发展过程中未观察到的异质性的方法。具有高斯随机效应的甘精胰岛素在文献中占主导地位。当数据是不对称的和/或具有较重的尾部时，需要多个潜在类来捕获观察到的变量分布。因此，GMM连续非椭圆分布的建议，以捕捉偏态和较重的尾部数据集。具体地说，多元斜t分布和广义双曲分布被引入到推广的GSPILE。在扩展GARCH时，考虑了四种统计模型，它们具有不同的测量误差和随机效应分布。具有非椭圆分布的高斯分布的数学发展依赖于它们作为正态方差-均值混合的表达以及与广义逆高斯分布的结果关系。在使用模拟和真实数据说明具有非椭圆分布的GMM的性能之前，在期望最大化框架内概述了参数估计。
2017-11-14 stat.AP stat.CO stat.ME
An Imputation model by Dirichlet Process Mixture of Elliptical Copulas for Data of Mixed Type
基于Copula的方法为建立混合类型多元数据的缺失数据插补模型提供了一种灵活的方法。然而，Copula函数的选择是一个悬而未决的问题。我们考虑了贝叶斯非参数方法，通过使用无限混合的椭圆copula诱导的Dirichlet过程的混合物，以建立一个灵活的copula函数。采用切片采样算法对无限维参数空间进行采样。为了克服多峰分布中的混合问题，我们将有限混合模型中的先验并行调和方法推广到Dirichlet过程混合模型.使用模拟，我们证明了无限混合Copula模型提供了一个更好的整体拟合相比，他们的单组分同行，并执行更好地捕捉尾部依赖功能的数据。仿真结果进一步表明，我们提出的模型实现了更准确的填补，特别是对连续变量和更好的推理结果在一些分析模型。该模型被应用于澳大利亚急性中风患者的医疗数据集。
2019-10-12 stat.ME
EP-GIG Priors and Applications in Bayesian Sparse Learning
在本文中，我们提出了一个新的框架，稀疏诱导先验的建设。特别是，我们定义这样的先验混合指数幂分布与广义逆高斯密度（EP-GIG）。EP-GIG是广义双曲分布的一种变体，其特殊情况包括高斯尺度混合和拉普拉斯尺度混合。此外，拉普拉斯尺度的混合物可以subserve的贝叶斯框架稀疏学习与非凸惩罚。EP-GIG的密度可以明确表达。此外，相应的后验分布也遵循广义逆高斯分布。这些属性使我们的期望最大化算法贝叶斯稀疏学习。我们发现，这些算法承担一个有趣的相似之处，迭代重新加权$\ell_2$或$\ell_1$方法。此外，我们提出了两个扩展的分组变量选择和逻辑斯谛回归。
2012-04-19 stat.ML
Scalable magnetic resonance fingerprinting: Incremental inference of high dimensional elliptical mixtures from large data volumes
本研究提出一种增量算法，通过概率混合高维椭圆分布，高效处理大规模MRF数据，提升组织表征精度并降低计算成本。
2026-01-06 stat.AP
Population counts along elliptical habitat contours: hierarchical modelling using Poisson-lognormal mixtures with nonstationary spatial structure
生态学家经常解释种群空间分布的变化对环境特征的反应，但如果潜在的影响和空间和时间的相关性没有得到适当的解释，那么很难解开个体变量的影响。在这里，我们使用层次模型的基础上泊松对数正态混合，以了解空间变化的相对丰度（每标准化单位的努力计数）的黄鲈鱼，鲈鱼，最丰富的鱼类物种在圣皮埃尔湖，魁北克省，加拿大。该混合物采用了空间变化的环境协变量，代表当地的栖息地特征，和随机的时间和空间效应，捕捉未观察到的生态过程的影响。采样设计覆盖了湖的边缘，但没有覆盖湖的中心区域。我们适合空间广义线性混合模型的基础上三个不同的先验协方差结构的本地潜在的影响：一个单一的高斯过程（GP）的湖泊，一个GP在一个圆圈，和独立的GP为每个岸边。这些模型允许独立性、各向同性或非平稳空间效应。非平稳性处理使用两种不同的方法，几何各向异性，并列入协变量的潜在空间过程的相关结构。所提出的空间域的规范和选择的高斯过程先验的方法可能会被证明是有用的，在其他应用中，涉及沿不规则轮廓或在不连续的空间域的空间相关性。
2015-05-16 stat.AP
An Overview of Mixture Models
这篇论文被撤回了。随着统计理论和计算能力的进步，数据集为当今的问题提供了更多的见解。统计学家有越来越多的工具来解决这些问题，其中一些可以在混合建模领域实现。有大量的文献混合模型和这项工作试图提供一个总体概述的主题，包括相关问题和算法的讨论。读者可以希望获得广泛的理解混合建模的概念，并找到其中引用的参考文献作为下一阶段研究的宝贵资源。
2012-12-19 math.ST stat.TH
Lattice Climber Attack: Adversarial attacks for randomized mixtures of classifiers
LAMSADE, CNRS, Université Paris Dauphine - PSL（LAMSADE、CNRS、巴黎第十一大学-PSL）
针对现有攻击方法不适用于分类器随机混合模型的问题，本文提出具备有效性与极大性的lattice climber attack攻击方法，该方法在二元线性设置下有理论保证，且经实验验证性能优异。
2025-06-12 cs.LG
Adversarial attacks for mixtures of classifiers
LAMSADE（LAMSADE实验室）；CNRS（法国国家科学研究中心）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL）
针对现有攻击不适用于分类器混合模型的问题，本文提出攻击的有效性和最大性两个理想属性，设计了具备二元线性场景理论保证的lattice climber attack，经实验验证了其性能。
2023-07-20 cs.LG
Resisting Adversarial Attacks using Gaussian Mixture Variational Autoencoders
Max Planck Institute of Intelligent Systems（马克斯·普朗克智能系统研究所）；IBM Research AI（IBM研究院人工智能部门）
深度神经网络对对抗攻击的敏感性构成了一个重大的理论和实践挑战。所有强化分类器以抵御此类攻击的努力都取得了有限的成功。深度网络容易受到的两种不同类型的样本，“对抗样本”和“欺骗样本”，由于一起考虑时所带来的困难，到目前为止已经分别处理。在这项工作中，我们将展示如何在一个统一的框架下解决这两个问题。我们将一个判别模型与一个生成模型联系起来，使对抗性目标产生冲突。我们的模型具有变分自编码器的形式，在潜在向量上具有高斯混合先验。先验分布的每个混合分量对应于数据中的一个类。这使我们能够执行选择性分类，从而拒绝对抗样本而不是错误分类。我们的方法本质上也提供了一种在半监督场景中学习选择性分类器的方法，该方法可以抵抗对抗攻击。我们还展示了如何重新分类被拒绝的对抗样本。
2018-12-10 cs.CR cs.LG stat.ML
A BIC-based Mixture Model Defense against Data Poisoning Attacks on Classifiers
Pennsylvania State University（宾夕法尼亚州立大学）
数据投毒（DP）是一种有效的攻击，导致训练的分类器错误分类他们的输入。DP攻击通过隐蔽地将攻击样本注入训练集中来显著降低分类器的准确性。广泛适用于不同的分类器结构，在没有关于攻击者的强假设的情况下，本文提出了针对“错误通用”DP攻击的基于{ \it无监督}贝叶斯信息准则（BIC）的混合模型防御，其：1）解决了最具挑战性的{ \it embedded} DP场景，其中，如果存在DP，中毒样本是训练集的{ \it先验}未知子集，并且没有可用的干净验证集; 2）应用混合模型来很好地拟合潜在的多-模态类分布，并在混合成分的小子集内捕获中毒样本; 3）通过最小化在整个训练集上定义的BIC成本来联合识别中毒组件和样本，在分类器训练之前去除所识别的中毒数据。我们的实验结果，对各种分类器结构和基准数据集，证明了我们的防御的有效性和普遍性下的强大DP攻击，以及它的优越性比其他作品。
2022-05-12 cs.CR cs.LG
Robustifying $\ell_\infty$ Adversarial Training to the Union of Perturbation Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
经典的对抗训练（AT）框架被设计成针对单一攻击类型（通常是$\ell_\infty$范数有界扰动）实现高对抗准确度。最近的扩展在AT集中防御的工会多个扰动，但这种好处是在一个显着的代价（高达$10\times$）增加训练复杂性比单攻击$\ell_\infty$ AT。在这项工作中，我们扩展了广泛流行的单攻击$\ell_\infty$ AT框架的能力，以提供（$\ell_\infty, \ell_2, \ell_1$）扰动的工会的鲁棒性，同时保持其训练效率。我们的技术，被称为整形噪声增强处理（SNAP），利用了一个行之有效的副产品的单一攻击AT框架-减少曲率的决策边界的网络。SNAP在给定的深度网络上预先设置了一个成形的噪声增强层，其分布是使用任何标准的单次攻击AT与网络参数一起学习的。因此，SNAP将ResNet-18在CIFAR-10上对抗（$\ell_\infty, \ell_2, \ell_1$）扰动的联合的对抗准确性提高了14%到20%，用于四个最先进的（SOTA）单一攻击$\ell_\infty$ AT框架，并首次在ImageNet上建立了ResNet-50和ResNet-101的基准。
2021-06-11 cs.LG stat.ML
A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data
TerraNIS（TerraNIS公司）；University of Toulouse（图卢兹大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
针对含噪声和非高斯数据的缺失值插补问题，提出一种用于椭圆分布混合模型的新EM算法，通过简化为Angular Gaussian分布估计并利用多元t分布条件，实现了对异常值的鲁棒性和极具竞争力的插补性能。
2023-05-22 cs.LG stat.ML
Backdoor or Manipulation? Graph Mixture of Experts Can Defend Against Various Graph Adversarial Attacks
Xiamen University（厦门大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对图神经网络面临多种对抗攻击且现有防御单一的问题，本文利用混合专家架构，通过基于互信息的逻辑多样性损失和鲁棒性感知路由器，实现统一防御后门、边操纵和节点注入攻击，实验验证了其优越鲁棒性。
2025-10-17 cs.LG
Reverse Engineering $\ell_p$ attacks: A block-sparse optimization approach with recovery guarantees
Johns Hopkins University（约翰斯·霍普金斯大学）
基于深度神经网络的分类器已被证明容易受到对其输入的不可感知的扰动的影响，例如$\ell_p$有界范数对抗攻击。这促使许多防御方法的发展，然后打破了新的攻击，等等。本文侧重于逆向工程对抗攻击的不同，但相关的问题。具体来说，给定一个受攻击的信号，我们研究的条件下，人们可以确定攻击的类型（$\ell_1$，$\ell_2$或$\ell_\infty$）和恢复干净的信号。我们提出这个问题作为一个块稀疏恢复问题，其中信号和攻击都被假定为位于子空间的联合，其中包括每个类一个子空间和每个攻击类型一个子空间。我们推导出几何条件下的子空间，任何攻击的信号可以被分解为一个干净的信号加上攻击的总和。此外，通过确定包含信号和攻击的子空间，我们还可以对信号进行分类并确定攻击类型。数字和人脸分类实验证明了该方法的有效性。
2022-03-09 cs.LG
Adversarial defenses via a mixture of generators
Warsaw University of Technology（华沙工业大学）
尽管神经网络取得了巨大的成功，但对抗性示例仍然是深度学习系统的一个相对薄弱的特征。在构建更强大的对抗攻击和设计对抗对抗示例影响的方法方面都有相当大的努力。我们提出了一种通过混合生成器转换对抗输入数据的方法，以恢复被对抗攻击混淆的正确类。一组规范的图像用于通过潜在的多个攻击生成对抗性示例。这种变换后的图像由一组生成器处理，这些生成器作为一个整体进行逆向训练，以竞争反转初始变换。据我们所知，这是第一次使用基于混合的对抗训练系统作为防御机制。我们表明，它是可能的训练这样一个系统，没有监督，同时对多个对抗攻击。我们的系统能够恢复以前看不见的例子的类信息，既没有攻击，也没有MNIST数据集上的数据标签。结果表明，这种多攻击方法与在单攻击环境中测试的对抗性防御相比具有竞争力。
2021-10-05 cs.CR cs.LG
MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks
IBM Research Europe（IBM欧洲研究院）
本文提出MoJE防护栏架构，利用简单语言统计技术以低计算开销检测越狱攻击，实验显示可在不误伤良性提示的情况下识别90%的攻击。
2024-10-04 cs.AI cs.CR cs.LG
MAD-MAX: Modular And Diverse Malicious Attack MiXtures for Automated LLM Red Teaming
Univ. of Cambridge, Cambridge, UK.（剑桥大学）；IBM Research Europe, Dublin, Ireland（IBM欧洲研究院）
MAD-MAX提出模块化攻击策略混合方法，通过自动聚类与组合实现高成功率、高多样性的LLM越狱攻击，在GPT-4o和Gemini-Pro上ASR达97%，显著优于TAP，且查询次数更少。
2025-06-18 cs.LG
Robust Neural Networks using Randomized Adversarial Training
PSL, Université Paris-Dauphine, Miles Team（PSL，巴黎 Dauphine 大学，Miles 团队）；Wavestone；Facebook AI Research（Facebook 人工智能研究）；CEA, Université Paris-Saclay（法国原子能委员会，巴黎萨克雷大学）
本文解决了保护神经网络免受不同规范（特别是$\ell_\infty$和$\ell_2$有界对抗性示例）的对抗对抗攻击的问题。已经观察到，设计用于防止一种类型的攻击的防御机制通常提供针对另一种类型的较差性能。我们发现，$\ell_\infty$防御机制不能提供良好的保护，对$\ell_2$攻击，反之亦然，我们提供了理论和经验的见解，这种现象。然后，我们讨论了现有的防御机制相结合，以训练神经网络对这两种类型的攻击鲁棒的各种方式。我们的实验表明，这些新的防御机制提供了更好的保护时，攻击与规范。
2020-02-13 cs.LG stat.ML
Measuring the Transferability of $\ell_\infty$ Attacks by the $\ell_2$ Norm
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）
深度神经网络可能会被与原始样本存在细微差异的对抗性样本所愚弄。为了保持人眼无法察觉的差异，研究人员通过$\ell_\infty$规范来约束对抗性扰动，该规范现在通常用作标准来调整不同攻击的强度以进行公平比较。然而，我们提出，单独使用$\ell_\infty$规范是不足以衡量攻击强度，因为即使有一个固定的$\ell_\infty$距离，$\ell_2$距离也极大地影响模型之间的攻击转移。通过这一发现，我们对攻击机制有了更深入的了解，几种现有的方法更好地攻击黑盒模型，部分原因是它们以大$\ell_2$ 70%到130%的距离来制作扰动。由于更大的扰动自然会导致更好的可转移性，因此我们主张攻击的强度应该同时由$\ell_\infty$和$\ell_2$范数来测量。我们的建议得到了来自7种攻击，4种白盒模型和9种黑盒模型的ImageNet数据集的广泛实验的坚定支持。
2023-03-01 cs.CR cs.LG
VC dimension of ellipsoids
Tohoku University（东北大学）；Kyoto University（京都大学）
我们将建立d维椭球类的VC维数为（d^2+3d）/2，并且N分量d维高斯混合模型的最大似然估计导出VC维数至少为N（d^2+3d）/2的几何类。关键词：VC维;有限维椭球;高斯混合模型
2011-09-20 cs.LG math.CO stat.ML
Mixture GAN For Modulation Classification Resiliency Against Adversarial Attacks
University of Houston（休斯顿大学）
使用深度神经网络（DNN）方法的自动调制分类（AMC）优于传统分类技术，即使在存在挑战性的无线信道环境的情况下也是如此。然而，对抗攻击通过向无线信道注入精心设计的扰动而导致基于DNN的AMC的准确性损失。在本文中，我们提出了一种新的基于生成对抗网络（GAN）的对策方法，以保护基于DNN的AMC系统免受对抗攻击的例子。基于GAN的目标是在馈送到基于DNN的分类器之前消除对抗攻击示例。具体来说，我们已经展示了我们提出的防御GAN对快速梯度符号方法（FGSM）算法的弹性，该算法是最有效的攻击算法之一，可以制造扰动信号。现有的防御GAN已经被设计用于图像分类，并且在考虑上述通信系统的情况下不工作。因此，我们提出的对策方法部署GANs与混合的发电机，以克服模式崩溃的问题，在一个典型的GAN面临的无线电信号分类问题。仿真结果表明，我们提出的防御GAN的有效性，使它可以提高基于DNN的AMC下对抗攻击的准确性，约81%。
2022-05-29 cs.AI cs.LG cs.NI
Buffer Overflow in Mixture of Experts
Google DeepMind（谷歌DeepMind）
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞，恶意查询可影响同批次其他良性查询的输出，并通过概念验证攻击予以证实。
2024-02-08 cs.CR cs.LG
Tight Robustness Certification Through the Convex Hull of $\ell_0$ Attacks
本文提出通过ℓ₀攻击的凸包实现更紧的鲁棒性认证，改进了现有验证器的性能。
2026-03-07 cs.LG
Divided We Fall: Defending Against Adversarial Attacks via Soft-Gated Fractional Mixture-of-Experts with Randomized Adversarial Training
Trustworthy and Secure AI (TSAI) Lab, Faculty of Computer Science, University of New Brunswick（新不伦瑞克大学计算机科学学院可信与安全人工智能实验室）
本文提出基于混合专家架构的对抗训练模块，通过多个专家提升模型对白盒攻击的鲁棒性，优于现有MoE防御方法，推理成本较低。
2026-03-26 cs.LG
Provable Robustness Against a Union of $\ell_0$ Adversarial Attacks
University of Oregon（俄勒冈大学）；Qualtrics AI
本文提出特征分区聚合 FPA，通过在互不相交特征集上训练子模型并集成，为 ℓ0 规避、后门和投毒攻击并集提供可证明防御，且更快、认证半径更大。
2024-04-06 cs.LG
Multiple Perturbation Attack: Attack Pixelwise Under Different $\ell_p$-norms For Better Adversarial Performance
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
对抗性机器学习一直是一个主要的关注点，也是最近的热门话题，特别是随着深度神经网络在当前环境中的普遍使用。对抗攻击和防御通常被比作猫捉老鼠的游戏，其中防御者和攻击者随着时间的推移而演变。一方面，目标是开发强大而强大的深度网络，以抵抗恶意行为者。另一方面，为了实现这一目标，我们需要设计更强大的对抗攻击来挑战这些防御模型。大多数现有的攻击采用单个$\ell_p$距离（通常为$p\in\{1,2,\infty\}$）来定义接近度的概念，并执行相对于.该$p$ -范数以相同的方式更新对抗示例中的所有像素。这些$\ell_p$攻击各有优缺点;没有一种攻击可以成功突破同时针对多个$\ell_p$规范的防御模型。受这些观察的启发，我们提出了一种自然的方法：在像素级上组合各种$\ell_p$梯度投影，以实现联合对抗扰动。具体来说，我们学习如何扰动每个像素以最大化攻击性能，同时保持对抗性示例的整体视觉不可感知性。最后，通过使用标准化基准的各种实验，我们表明，我们的方法在最先进的防御机制中优于当前大多数强大的攻击，同时保持其在视觉上保持干净的能力。
2022-12-07 cs.CR cs.CV cs.LG
Towards Adversarial Robustness of Model-Level Mixture-of-Experts Architectures for Semantic Segmentation
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本研究评估了模型级混合专家架构在语义分割任务中的对抗鲁棒性，发现其比集成方法更有效地抵御白盒和迁移攻击，并提供了开源代码。
2024-12-16 cs.CV cs.LG
SQ Lower Bounds for Learning Mixtures of Linear Classifiers
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
本文研究高斯协变量下线性分类器混合模型的学习问题，提出了一个 SQ 下界，证明了已知算法在复杂度上基本是最优的，并引入了具有独立意义的球面设计新构造。
2023-10-18 cs.DS cs.LG math.ST
Stronger and Faster Wasserstein Adversarial Attacks
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
深度模型虽然非常灵活和准确，但令人惊讶的是，它很容易受到被称为对抗攻击的“微小的、难以察觉的”扰动。虽然大多数现有的攻击集中在测量扰动下的$\ell_p$度量，Wasserstein距离，它考虑了像素空间中的几何形状，长期以来一直被认为是一个合适的度量用于测量图像质量，最近上升为对抗攻击中的$\ell_p$度量的一个令人信服的替代品。然而，在Wasserstein度量下构造有效的攻击在计算上更具挑战性，并且需要更好的优化算法。我们以两种方式解决这一差距：（a）我们开发了一个精确而有效的投影算子，以实现更强的投影梯度攻击;（b）我们证明了配备合适的线性最小化预言机的Frank-Wolfe方法在Wasserstein约束下工作得非常快。我们的算法不仅收敛速度更快，而且还会产生更强的攻击。例如，我们将CIFAR-10上的残差网络的准确性降低到$3.4\%$，在半径为$0.005$的Wasserstein扰动球内，与使用先前基于\emph{approximate}投影算子的Wasserstein攻击的$65.6\%$相反。此外，在对抗性训练中使用我们更强的攻击可以显着提高对抗性训练模型的鲁棒性。
2020-08-06 cs.LG stat.ML
$σ$-zero: Gradient-based Optimization of $\ell_0$-norm Adversarial Examples
University of Genoa（热那亚大学）；University of Cagliari（卡利亚里大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）
提出名为 $σ$-zero 的新型 $\ell_0$-范数对抗攻击方法，利用可微近似和自适应投影算子实现基于梯度的优化，在多个数据集上无需繁琐调参即能高效找到最小扰动样本，性能优于现有稀疏攻击。
2025-03-06 cs.CR cs.CV cs.LG
Deep Adversarial Defense Against Multilevel-Lp Attacks
Illinois Institute of Technology（伊利诺伊理工学院）；University of Michigan（密歇根大学）
针对传统对抗训练仅能防御单一范数攻击的局限，提出高效鲁棒模式连通性（EMRC）方法，融合ℓ₁与ℓ∞范数对抗训练解，实现多ℓ_p范数攻击防御，在多个数据集与模型架构上性能优于现有方法。
2024-07-12 cs.AI cs.LG eess.SP
Physical Layer Anomaly Detection via Adaptive Gaussian Mixture Model
CY Cergy Paris Université（塞吉-蓬瓦兹大学）；ENSEA（国立电子与信息技术高级工程学院）；CNRS（法国国家科学研究中心）；Barkhausen Institut（巴克豪森研究所）
针对室内无线定位系统中攻击者与合法节点空间接近时的CSI欺骗攻击检测难题，提出自适应GMM检测框架，经实验验证其在对应数据集上的检测性能优于多种传统方法。
2026-10-13 cs.CR cs.LG
Adversarial Robustness Against the Union of Multiple Perturbation Models
IIT Delhi（印度理工学院德里分校）；Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
由于深度学习系统对对抗攻击的敏感性，在开发（经验上和可验证的）鲁棒分类器方面已经做了大量工作。虽然大多数工作都是针对单一类型的攻击进行防御，但最近的工作着眼于使用多个攻击的简单聚合来防御多个扰动模型。然而，这些方法可能难以调整，并且可能容易导致对各个扰动模型的鲁棒性的不平衡程度，从而导致联合上的次优最坏情况损失。在这项工作中，我们开发了一个自然的推广标准的基于PGD的程序，将多个扰动模型到一个单一的攻击，采取最坏的情况下，在所有最陡的下降方向。这种方法的优点是直接收敛在不同的扰动模型之间的权衡，最大限度地减少了工会的最坏情况下的性能。通过这种方法，我们能够训练标准体系结构，这些体系结构同时对$\ell_\infty$、$\ell_2$和$\ell_1$攻击具有鲁棒性，在MNIST和CIFAR10数据集上的性能优于过去的方法，并实现了47.0%的对抗准确度。（$\ell_\infty$，$\ell_2$，$\ell_1$）扰动，其半径=（0.03，0.5，12），改进了先前的方法，其实现了40.6%的准确度。
2020-07-28 cs.AI cs.LG stat.ML
Adversarial Risk Bounds for Neural Networks through Sparsity based Compression
Institute for Theoretical Information Technology（理论信息技术研究所）；RWTH Aachen University（亚琛工业大学）
神经网络已经被证明容易受到其输入的微小对抗性扰动的影响，特别是对于在$\ell_\infty$攻击下的高维数据。为了解决这个问题，已经采用了对抗训练等技术来获得在训练集上鲁棒的模型。然而，此类模型对对抗性扰动的鲁棒性可能无法推广到看不见的数据。为了研究鲁棒性如何推广，最近的工作假设输入具有有界$\ell_2$ -范数，以便在没有显式维度依赖的情况下约束$\ell_\infty$攻击的对抗风险。在这项工作中，我们专注于$\ell_\infty$攻击$\ell_\infty$有界的输入和证明基于边缘的界限。具体来说，我们使用基于压缩的方法，该方法依赖于有效压缩可调参数集，而不会扭曲对抗风险。为了实现这一点，我们将有效稀疏性和有效联合稀疏性的概念应用于神经网络的权重矩阵。这导致边界不显式依赖于输入维度，也不依赖于类的数量。我们的研究结果表明，具有近似稀疏权矩阵的神经网络不仅具有增强的鲁棒性，而且具有更好的泛化能力。
2019-06-03 cs.LG stat.ML
HopSkipJumpAttack: A Query-Efficient Decision-Based Attack
University of California, Berkeley（加州大学伯克利分校）；Voleon Group（沃伦集团）
对训练模型进行基于决策的对抗攻击的目标是仅基于观察目标模型返回的输出标签来生成对抗示例。我们开发HopSkipJumpAttack，一个家庭的算法的基础上，一种新的估计的梯度方向使用二进制信息在决策边界。建议的家庭包括无针对性和有针对性的攻击$\ell_2$和$\ell_\infty$相似性度量分别优化。理论分析所提出的算法和梯度方向估计。实验表明，HopSkipJumpAttack比Boundary Attack需要更少的模型查询。它还在攻击几种广泛使用的防御机制方面取得了竞争力。（HopSkipJumpAttack在之前的预印本版本中被命名为Boundary Attack++。
2020-04-28 cs.CR cs.LG math.OC
Generalization Properties of Adversarial Training for $\ell_0$-Bounded Adversarial Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文针对$\ell_0$有界对抗攻击，为截断分类器证明了分布无关的泛化界，通过新编码技术应对非线性和非凸挑战。
2024-02-05 cs.CR cs.LG
A principled approach for generating adversarial images under non-smooth dissimilarity metrics
McGill University（麦吉尔大学）
深度神经网络在现实世界的数据上表现良好，但容易受到对抗性扰动：输入的微小变化很容易导致错误分类。在这项工作中，我们提出了一种攻击方法，不仅用于由$\ell_p$规范测量扰动的情况下，但实际上任何敌对的相异性度量与封闭的近端形式。这包括但不限于$\ell_1, \ell_2$和$\ell_\infty$扰动; $\ell_0$计数“范数”（即，真稀疏）;以及总变差范数，其是测量局部像素变化的（非$\ell_p$）卷积相异性。我们的方法是最近的对抗攻击方法的自然扩展，并消除了度量的可微性要求。我们在MNIST、CIFAR 10和ImageNet-1 k数据集上演示了我们的算法ProxLogBarrier。我们考虑不设防和设防模型，并表明我们的算法很容易转移到各种数据集。我们观察到ProxLogBarrier优于许多专门针对$\ell_0$案例的现代对抗攻击。此外，通过改变图像的总变差，我们揭示了一类新的扰动，利用相邻像素信息。
2019-10-08 cs.CV cs.LG stat.ML
LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial Attack
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）；University of Western Australia（西澳大利亚大学）
我们提出了LSDAT，一个图像不可知的决策为基础的黑盒攻击，利用低秩和稀疏分解（LSD）显着减少查询的数量，并实现优越的愚弄率相比，最先进的基于决策的方法在给定的不可感知性约束。LSDAT在由输入样本的稀疏分量和对抗样本的稀疏分量形成的低维子空间中进行扰动，以获得查询效率。感兴趣的特定扰动通过遍历输入和对抗稀疏分量之间的路径来获得。提出了所提出的稀疏扰动是具有从输入样本到某个初始对抗样本的决策边界的最短路径的最对齐的稀疏扰动（最短路径的最佳稀疏近似，可能欺骗模型）。理论分析证明LSDAT的功能。与旨在提高查询效率的其他基于降维的技术（例如，基于FFT的技术）不同，LSD直接在图像像素域中工作以保证满足诸如稀疏性的非$\ell_2$约束。LSD提供了对查询数量的更好控制，并提供了计算效率，因为它只对输入和对抗图像执行一次稀疏分解以生成所有查询。我们证明$\ell_0$，$\ell_2$和$\ell_\infty$有界攻击与LSDAT证明其效率相比，基线决策为基础的攻击在不同的低查询预算的情况下，如实验中所述。
2021-03-22 cs.CV cs.LG stat.ML
Recovery of sparse linear classifiers from mixture of responses
Syracuse University（雪城大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在学习混合线性分类器的问题中，目标是从二进制响应序列中学习超平面的集合。每个响应都是用向量查询的结果，并指示从查询向量所属的集合中随机选择的超平面的一侧。该模型提供了一个丰富的表示异构数据的分类标签，只有在一些特殊的设置进行了研究。我们看一个迄今未研究的问题，查询复杂性的上限恢复所有的超平面，特别是当超平面是稀疏的情况下。该设置是被称为1位压缩感知的极端量化问题的自然概括。假设我们有一组$\ell$未知的$k$稀疏向量。我们可以用另一个向量$\boldsymbol{a}$查询这个集合，以获得$\boldsymbol{a}$与从$\ell$ -集合中随机选择的向量的内积的符号。多少次查询足以识别所有$\ell$未知向量？这个问题比基本的1比特压缩感测问题（即，$\ell=1$情况）和类似的回归问题（其中提供值而不是符号）。我们提供了严格的查询复杂性的结果（高效的算法）这个问题。
2020-12-24 cs.IT cs.LG math.IT
Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework
Mila（米拉）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Peking University（北京大学）
随机化分类器已被证明是一种很有前途的方法，可以在深度学习中实现针对对抗攻击的认证鲁棒性。然而，大多数现有方法仅利用高斯平滑噪声并且仅对$\ell_2$扰动起作用。我们从统一的函数优化角度提出了一个具有非高斯噪声的对抗性认证的一般框架，并针对更一般的攻击类型。我们的新框架允许我们通过设计平滑分布来确定准确性和鲁棒性之间的关键权衡，帮助设计新的非高斯平滑分布族，这些分布族可以更有效地用于不同的$\ell_p$设置，包括$\ell_1$，$\ell_2$和$\ell_\infty$攻击。我们提出的方法实现了更好的认证结果比以前的作品，并提供了一个新的视角随机平滑认证。
2020-10-20 cs.CR cs.LG math.OC
Adversarial Training and Robustness for Multiple Perturbations
Stanford University（斯坦福大学）
对抗性示例的防御，例如对抗性训练，通常针对单个扰动类型（例如，小$\ell_\infty$噪声）。对于其他扰动，这些防御措施不能提供任何保证，有时甚至会增加模型的脆弱性。我们的目的是了解这种鲁棒性权衡的原因，并训练模型，同时强大的多种扰动类型。我们证明了权衡不同类型的$\ell_p$有界和空间扰动的鲁棒性必须存在于一个自然和简单的统计设置。我们证实了我们的正式分析，证明类似的鲁棒性权衡MNIST和CIFAR10。建立在新的多扰动对抗训练方案，和一种新的有效的攻击，寻找$\ell_1$有界的对抗的例子，我们表明，没有模型训练对多个攻击实现鲁棒性的竞争力与每个攻击单独训练的模型。特别是，我们发现了MNIST上的一个有害的梯度掩蔽现象，它导致一阶$\ell_\infty, \ell_1$和$\ell_2$对手的对抗训练仅达到$50\%$的准确性。我们的研究结果质疑扩展对抗鲁棒性和对抗训练到多种扰动类型的可行性和计算可扩展性。
2019-10-18 cs.CR cs.LG stat.ML
There are No Bit Parts for Sign Bits in Black-Box Attacks
USA（美国 (USA)）
我们提出了一个黑盒对抗攻击算法，它设置了新的国家的最先进的模型规避率查询效率的$\ell_\infty$和$\ell_2$指标，只有损失的oracle访问模型是可用的。在两个公开的黑盒攻击挑战中，该算法实现了最高的规避率，超过了所有提交的攻击。类似的性能上观察到的模型是安全的替代模型攻击。对于在MNIST、CIFAR 10和IMAGENET数据集上训练的标准模型，在数据集和指标上取平均值，该算法的故障率降低了3.8倍，并且在每次攻击尝试10，000次查询的预算下，比当前最先进的攻击组合少了2.5倍的查询。值得注意的是，它不需要超参数调整或任何数据/时间相关的先验。该算法利用了一种新的方法，即基于符号而不是基于幅度的梯度估计。这将估计从连续转移到二进制黑盒优化。利用方向导数的三个性质，我们研究了对抗攻击的三种方法。这产生了一个优越的算法，打破了标准的MNIST模型，平均只使用12个查询！
2019-04-03 cs.CR cs.LG stat.ML
Optimization for Robustness Evaluation beyond $\ell_p$ Metrics
University of Minnesota（明尼苏达大学）；Queens College of the City University of New York（纽约城市大学皇后学院）
针对对抗攻击的深度学习模型的经验评估需要解决非平凡的约束优化问题。解决这些约束问题的流行算法依赖于投影梯度下降（PGD），并需要仔细调整多个超参数。此外，由于使用分析投影仪，PGD只能处理$\ell_1$、$\ell_2$和$\ell_\infty$攻击模型。在本文中，我们介绍了一种新的算法框架，融合了通用的约束优化求解器PyGRANSO，约束折叠（PWCF），增加可靠性和通用性的鲁棒性评估。PWCF 1）找到高质量的解决方案，而不需要精细的超参数调整，2）可以处理一般的攻击模型，例如，一般的$\ell_p$（$p \geq 0$）和感知攻击，这是基于PGD的算法无法实现的。
2022-11-14 cs.CV cs.LG eess.SP
Defending against Backdoor Attack on Deep Neural Networks
Xi’an Jiaotong University（西安交通大学）；Northeastern University（东北大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对深度神经网络的后门攻击，提出基于ℓ∞范数的神经元剪枝方法，有效降低攻击成功率并保持高分类准确率。
2025-03-26 cs.CR cs.LG
Routing-Aware Safety Alignment for Mixture-of-Experts Models
Department of XXX, University of YYY（YYY大学XXX系）；School of ZZZ, Institute of WWW（WWW学院ZZZ学院）
RASA通过针对性修复安全关键专家提升混合专家模型的安全性，有效防止路由绕过，实现高鲁棒性和跨攻击泛化能力。
2026-10-08 cs.AI cs.CR cs.LG
The Cost of Compression: Tight Quadratic Black-Box Attacks on Sketches for $\ell_2$ Norm Estimation
Google Research（谷歌研究）；Tel Aviv University（特拉维夫大学）
本文提出一种通用黑盒攻击，仅需 Õ(k^2) 次查询即可破坏任意线性草图的 ℓ2 范数估计，并证明该下界与已知上界紧密匹配，揭示压缩表示的根本脆弱性。
2025-09-21 cs.DS cs.LG
Effect of Ambient-Intrinsic Dimension Gap on Adversarial Vulnerability
Purdue University（普渡大学）；Michigan State University（密歇根州立大学）
本研究引入流形上和流形外对抗攻击概念，证明数据内在维度与环境维度的差距使2层ReLU网络更易受流形外对抗扰动影响，并给出了攻击强度与维度差距的显式关系。
2024-03-23 cs.CR cs.LG stat.ML
Adaptive Smoothness-weighted Adversarial Training for Multiple Perturbations with Its Stability Analysis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯AI实验室）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
对抗性训练（AT）已被证明是对抗性示例最有效的方法之一。虽然大多数现有的工作集中在AT与单一类型的扰动，$\ell_\infty$攻击），DNN正面临来自不同类型的对抗性示例的威胁。因此，提出了针对多个扰动的对抗训练（ATMP）来推广不同扰动类型（$\ell_1$，$\ell_2$和$\ell_\infty$范数有界扰动）的对抗鲁棒性。然而，由此产生的模型表现出不同的攻击之间的权衡。同时，ATMP缺乏理论分析，限制了它的进一步发展。在本文中，我们首先提供了ATMP的平滑性分析，并表明$\ell_1$，$\ell_2$，和$\ell_\infty$对手给不同的贡献，平滑的损失函数的ATMP。在此基础上，我们开发了基于稳定性的超额风险界限，并提出了针对多重扰动的自适应平滑加权对抗训练。从理论上讲，我们的算法产生更好的界限。实验结果表明，CIFAR10和CIFAR100算法在抵抗多重扰动混合攻击方面达到了最佳性能。
2022-10-02 cs.LG
Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions
EPFL（洛桑联邦理工学院）；King’s College London（伦敦国王学院）；École Normale Supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文研究高维下用任意凸损失与正则化的 ERM 学习一般 $K$ 高斯混合，证明 ERM 估计量的精确渐近性，并用于稀疏均值分类和多类最大间隔相变分析。
2021-12-14 cond-mat.dis-nn cs.LG stat.ML
Improved Image Wasserstein Attacks and Defenses
Microsoft Research（微软研究院）
本文修正了 Wasserstein 威胁模型定义中的缺陷，提出更强的攻击与防御方法，并指出现有模型难以防御现实扰动。
2023-05-09 cs.CR cs.LG stat.ML
Sharp analysis of EM for learning mixtures of pairwise differences
Georgia Institute of Technology（佐治亚理工学院）
针对成对比较设计下的对称线性回归混合模型，本文分析EM算法局部收敛性，证明其线性收敛并达到ℓ2范数下的信息论最优估计速率，同时指出随机初始化下收敛通常不成立。
2023-06-22 cs.LG math.ST stat.ML
Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation
Sapienza University of Rome（罗马第一大学）；University of Cagliari（卡利亚里大学）；University of Genoa（热那亚大学）
该研究指出对抗鲁棒性评估的现有问题，引入基于最小范数攻击综合池的统一评估框架，定义攻击前沿和防御前沿，将评估形式化为前沿逼近问题，构建攻击集成并提出防御最优性指数，在CIFAR-10和ImageNet上提供了更好的评估方法。
2026-07-23 cs.CR cs.LG
