High Dimensional Robust Sparse Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了一种新的-据我们所知，第一-高维稀疏回归算法的解释和/或响应变量的腐败的常数部分。我们的算法恢复真正的稀疏参数与次线性样本的复杂性，在存在一个恒定的分数的任意腐败。我们的主要贡献是一个强大的变种迭代硬持票。利用这一点，我们提供了精确的估计：当稀疏回归中的协方差矩阵是恒等的时，我们的误差保证接近信息理论最优。然后，我们处理未知结构协方差矩阵的鲁棒稀疏回归。我们提出了一种滤波算法，它包括一种新的随机离群值去除技术的强大的稀疏均值估计，可能是在其本身的权利感兴趣的：滤波算法是足够灵活的处理未知的协方差。此外，它是有序更有效的计算比椭球算法。使用次线性样本复杂度，我们的算法实现了最佳已知（和第一）的错误保证。我们证明了大规模稀疏回归问题的有效性与任意腐败。
2019-05-29 cs.LG math.ST stat.ML
A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运营研究与分析学院）
本文针对分布式学习中的对抗性损坏问题，提出基于惰性镜像下降的抗损坏分布式梯度下降算法，并通过优化步长调度加速收敛，在MNIST实验中得到验证。
2025-02-05 cs.IT cs.LG eess.SP
Near Optimal Private and Robust Linear Regression
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
本文研究了线性回归的正则统计估计问题，即由$n$ i.i.d.~ $(\varepsilon,δ)$下的示例-当某些响应变量被不利地破坏时的差分隐私。我们提出了一种流行的差分私有随机梯度下降（DP-SGD）算法的变体，该算法具有两个创新点：一个完整的批量梯度下降，以提高样本的复杂性和一个新的自适应裁剪，以保证鲁棒性。当没有对抗性腐败时，该算法改进了现有的最先进的方法，并实现了接近最优的样本复杂度。在标签损坏的情况下，这是第一个有效的线性回归算法，以保证$(\varepsilon,δ)$ -DP和鲁棒性。合成实验证实了我们的方法的优越性。
2023-01-30 cs.CR cs.LG math.ST
Improved Generalization Bounds for Adversarially Robust Learning
Ben-Gurion University（本-古里安大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑一个在对抗环境中的鲁棒学习模型。学习器获得未损坏的训练数据，并可以访问在测试期间可能受到对手影响的可能损坏。学习器的目标是构建一个强大的分类器，并将在未来的对抗性示例中进行测试。攻击者仅限于每个输入的$k$可能损坏。我们将学习者与对手的互动模型化为一个零和博弈。该模型与Schmidt et al.（2018）; Madry et al.（2017）的对抗性示例模型密切相关。我们的主要结果包括二进制和多类分类，以及实值的情况下（回归）的推广界。对于二元分类设置，我们都收紧了Feige et al.（2015）的泛化边界，并且还能够处理无限的假设类。对于任何$α> 0$，样本复杂度从$O(\frac{1}{ε^4}\log(\frac{|H|}δ))$提高到$O\big(\frac{1}{ε^2}(kVC(H)\log^{\frac{3}{2}+α}(kVC(H))+\log(\frac{1}δ)\big)$。此外，我们扩展的算法和推广范围从二进制的多类和实值的情况下。一路上，我们得到的结果脂肪粉碎尺寸和Rademacher复杂性的$k$倍最大的功能类，这些可能是独立的利益。对于二进制分类，Feige等人的算法。（2015）使用遗憾最小化算法和ERM oracle作为黑盒;我们将其适用于多类和回归设置。该算法为给定训练样本的参与者提供了接近最优的策略。
2022-07-01 cs.LG stat.ML
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University（密歇根州立大学）
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响，提出清洁和对抗Rademacher复杂性的理论框架，证明位置编码扩大了泛化差距，并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
Online Distributional Prediction via Latent Cluster Geometry Under Drift and Corruption
Indian Institute of Technology, Bombay（印度理工学院，孟买）
针对非平稳流中的在线分布预测问题，提出一种基于潜在簇几何的吉布斯准后验方法，通过可逆跳跃MCMC采样变维后验，并引入重启变体应对漂移，在亚线性腐败预算和运输代价下实现亚线性Wasserstein遗憾。
2026-10-26 cs.LG stat.ML
Better Algorithms for Stochastic Bandits with Adversarial Corruptions
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
研究了存在对抗性腐败的随机多武装土匪问题。我们提出了一个新的算法，这个问题的遗憾是近最佳的，大大提高了以前的工作。我们的算法对对抗性污染的程度是不可知的，并且可以容忍大量的腐败，几乎没有性能下降。
2019-03-28 cs.LG stat.ML
Stochastic Linear Optimization with Adversarial Corruption
Northwestern University（西北大学）
我们扩展了具有对抗性腐败的随机强盗模型（Lykouriset等人，2018）到随机线性优化问题（Dani等人，2008年）。我们的算法是不可知的腐败量所选择的自适应对手。该算法的遗憾只在腐败量中线性增加。我们的算法涉及使用Löwner-John的椭球进行探索，并将时间范围划分为具有指数增长大小的时期，以限制腐败的影响。
2019-09-04 cs.LG stat.ML
Density-Based Algorithms for Corruption-Robust Contextual Search and Convex Optimization
本文提出基于密度的算法，用于对抗性噪声下的上下文搜索与凸优化，改进了相关问题的遗憾界并提出了新的高效方法。
2026-01-01 cs.GT cs.LG
Unique properties of adversarially trained linear classifiers on Gaussian data
University College London（伦敦大学学院）
机器学习模型容易受到对抗性扰动的影响，当添加到输入时，可能会导致高置信度的错误分类。对抗性学习研究社区在理解对抗性扰动的根本原因方面取得了显着进展。然而，对于安全关键任务中的机器学习的部署，人们可能认为重要的是要解决的大多数问题涉及难以表征和研究的高维复杂流形。在简单问题上发展对抗性强的学习理论是很常见的，希望这些见解能转移到“现实世界的知识库”。在这项工作中，我们讨论了这种方法失败的设置。特别是，我们用线性分类器证明，在训练过程中，在任意对抗性腐败水平下，总是可以解决高斯数据的二进制分类问题，并且在CIFAR-10数据集上的非线性分类器中没有观察到这种特性。
2020-06-06 cs.CR cs.LG stat.ML
Improved Bounds for Private and Robust Alignment
本文从理论角度研究语言模型的私有和鲁棒对齐，通过建立离线与在线设置下的次优性差距上界，分析隐私与对抗性腐败的两种交互模式，并给出改进的界。
2026-06-26 cs.AI cs.LG
Improved Analysis of the Tsallis-INF Algorithm in Stochastically Constrained Adversarial Bandits and Stochastic Bandits with Adversarial Corruptions
University of Copenhagen（哥本哈根大学）
我们推导出Zimmert和Seldin（2021）的Tsallis-INF算法的改进遗憾界。我们表明，在对抗制度的$(Δ,C,T)$自约束的算法实现$\mathcal{O}\left(\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{\left(\sum_{i\neq i^*} \frac{1}{Δ_i}\right)^2}\right)+\sqrt{C\left(\sum_{i\neq i^*}\frac{1}{Δ_i}\right)\log_+\left(\frac{(K-1)T}{C\sum_{i\neq i^*}\frac{1}{Δ_i}}\right)}\right)$遗憾界，其中$T$是时间范围，$K$是武器的数量，$Δ_i$是次优差距，$i^*$是最好的手臂，$C$是腐败的幅度，和$\log_+(x) = \max\left(1,\log x\right)$。该制度包括随机土匪，随机约束对抗土匪，随机土匪与对抗腐败的特殊情况。此外，我们提供了一个一般性的分析，它允许实现同样的改进Tsallis-INF的泛化到其他设置以外的多武装土匪。
2021-09-13 cs.LG stat.ML
Regret Minimization in Bilateral Trade With Perturbed Markets
Politecnico di Milano（米兰理工大学）
研究在存在扰动的市场中，通过设计算法实现兼顾对抗性和随机性的懊悔最小化，提升交易收益。
2026-05-11 cs.GT cs.LG
On Optimal Robustness to Adversarial Corruption in Online Decision Problems
NEC Corporation（NEC公司）
本文考虑了两个基本的序贯决策问题：专家建议的预测问题和多臂强盗问题。我们专注于随机制度，对手可能会腐败的损失，我们调查什么水平的鲁棒性可以实现对抗性腐败。本文的主要贡献是表明，最佳的鲁棒性可以表示由腐败量的平方根依赖。更准确地说，我们表明，两类算法，任何时候对冲学习率下降和算法的二阶遗憾界，实现$O( \frac{\log N}Δ + \sqrt{ \frac{C \log N }Δ } )$ -遗憾，其中$N, Δ$，和$C$代表的专家，间隙参数，和腐败水平，分别。我们进一步提供了一个匹配的下限，这意味着这个遗憾界是紧到一个常数因子。对于多臂强盗问题，我们也提供了一个接近紧的下限对数因子。
2021-09-22 cs.LG stat.ML
Multi-Agent Stochastic Bandits Robust to Adversarial Corruptions
CICS, UMass Amherst（马萨诸塞大学阿默斯特分校CICS（计算机与信息科学学院））；CS, CityU（香港城市大学计算机科学系）
针对异构多智能体多臂老虎机中的对抗性攻击问题，提出一种鲁棒的协作学习算法，证明对手攻击仅引入加性遗憾项，并在退化场景下改进现有最优遗憾界。
2024-11-12 cs.LG stat.ML
Linear Contextual Bandits with Adversarial Corruptions
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究的线性上下文强盗问题中存在的对抗腐败，玩家和一个可能无限的决策集之间的相互作用被污染的对手，可以腐败的奖励高达腐败水平$C$衡量的总和，在每一轮的奖励上的最大变化。我们提出了一个方差感知算法，是自适应对抗污染的水平$C$。关键算法设计包括（1）观察数据的多级划分方案，（2）自适应腐败程度的置信度集级联，以及（3）可以利用低方差奖励的方差感知置信度集构造。我们进一步证明了该算法的遗憾是$\tilde{O}(C^2d\sqrt{\sum_{t = 1}^T σ_t^2} + C^2R\sqrt{dT})$，其中$d$是上下文向量的维数，$T$是轮数，$R$是噪声的范围，$σ_t^2,t=1\ldots,T$是瞬时奖励的方差.我们还证明了所提出的算法，这是依赖于实例，从而导致更好的性能良好的实际情况下，间隙相关的遗憾界。据我们所知，这是第一个方差感知的腐败鲁棒算法的上下文强盗。对合成数据的实验证实了我们的理论。
2021-10-25 cs.LG stat.ML
Nearly Optimal Algorithms for Linear Contextual Bandits with Adversarial Corruptions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
我们研究了存在对抗性腐败的线性上下文强盗问题，其中每一轮的奖励都被对手腐败，腐败水平（即，在范围上的损坏幅度的总和）是$C\geq 0$。在这种情况下，最著名的算法是有限的，因为它们要么是计算效率低，或需要一个强大的假设上的腐败，或他们的遗憾是至少$C$倍，比没有腐败的遗憾。在本文中，为了克服这些局限性，我们提出了一种新的算法的基础上的乐观原则，面对不确定性。我们算法的核心是加权岭回归，其中每个选择的动作的权重取决于其置信度达到某个阈值。我们发现，对于已知的$C$和未知的$C$的情况下，我们的算法与适当的选择超参数实现了遗憾，几乎匹配的下限。因此，我们的算法几乎是最佳的对数因子的两种情况下。值得注意的是，我们的算法实现了近最优的遗憾损坏和未损坏的情况下（$C=0$）同时。
2022-07-10 cs.LG stat.ML
Corruption-tolerant Algorithms for Generalized Linear Models
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了SVAM（Sequential Variance-Altered MLE），这是一个统一的框架，用于在训练数据中对抗性标签损坏的情况下学习广义线性模型。SVAM扩展到最小二乘回归、逻辑回归和伽玛回归等任务，而许多现有的关于标签损坏学习的工作仅关注最小二乘回归。SVAM是基于一种新的方差减少技术，可能是独立的利益和工程迭代求解加权MLE方差改变版本的GLM目标。SVAM提供了优于最先进的鲁棒回归的可证明模型恢复保证，即使在训练标签的恒定部分被反向损坏时。SVAM在经验上也优于几种现有的问题特定技术，用于稳健的回归和分类。SVAM代码可在www.example.com上获得
2022-12-11 cs.LG stat.ML
Robust Lipschitz Bandits to Adversarial Corruptions
University of California, Davis（加州大学戴维斯分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究对抗性扰动下的Lipschitz老虎机问题，提出首个在强弱两类对手下均能实现次线性遗憾的鲁棒算法，证明强对手场景下的最优性并通过实验验证有效性。
2023-10-08 cs.LG stat.ML
On the effectiveness of adversarial training against common corruptions
EPFL（洛桑联邦理工学院）
关于对常见腐败的鲁棒性的文献表明，对抗性训练是否可以提高这种情况下的性能没有达成共识。首先，我们表明，当使用适当选择的扰动半径时，$\ell_p$对抗训练可以作为一个强大的基线，以防止常见的腐败，提高准确性和校准。然后，我们解释了为什么对抗性训练比使用简单高斯噪声的数据增强表现更好，高斯噪声已被观察到是常见腐败的有意义的基线。与此相关，当高斯增强过拟合到用于训练的特定标准差时，我们识别出$σ$过拟合现象，这对常见的腐败准确性具有显著的不利影响。我们讨论了如何缓解这个问题，然后如何进一步提高$\ell_p$对抗训练，通过引入一个有效的放松对抗训练与学习感知图像补丁相似性的距离度量。通过在CIFAR-10和ImageNet-100上的实验，我们证明了我们的方法不仅提高了$\ell_p$对抗训练基线，而且通过AugMix、DeepAugment、ANT和SIN等数据增强方法获得了累积增益，从而在常见腐败问题上获得了最先进的性能。我们实验的代码可在https://github.com/tml-epfl/adv-training-corruptions上公开获得。
2022-01-04 cs.AI cs.CV cs.LG
A Jointly Efficient and Near-Optimal Algorithm for Heteroskedastic Generalized Linear Bandits with Adversarial Corruptions
Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院）
针对含对抗性破坏的异方差广义线性Bandits问题，提出HCW-GLB-OMD算法，结合在线镜像下降估计器与基于Hessian的置信权重，实现计算高效（每轮O(1)时空复杂度）和实例级极小化最优遗憾界。
2026-10-21 cs.LG stat.ML
Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption
The Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对基于模型的强化学习中的对抗性腐败，提出CR-OMLE和CR-PMLE算法，利用基于总变差的信息比作为MLE权重，实现在线和离线设置下的最优或近最优遗憾保证。
2024-07-20 cs.LG stat.ML
Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized Linear Models
Google Research（谷歌研究院）
研究了对抗性腐败下广义线性模型的学习问题。我们分析了一个经典的启发式称为迭代修剪最大似然估计，这是已知的是有效的标签腐败在实践中。在标签损坏的情况下，我们证明了这个简单的估计在广泛的广义线性模型，包括高斯回归，泊松回归和二项式回归上实现了极大极小近似最优风险。最后，我们将估计量扩展到更具挑战性的标签和协变量腐败设置，并证明了其鲁棒性和最优性。
2022-10-23 cs.LG stat.ML
Learning with Monotone Adversarial Corruptions
Aarhus University（奥胡斯大学）；Stanford University（斯坦福大学）；MIT（麻省理工学院）
研究单调对抗性损坏模型下标准机器学习算法的局限性，发现最优分类算法在该设置下表现次优，而基于一致收敛的算法保持性能。
2026-06-25 cs.DS cs.LG stat.ML
Robust and Computationally Efficient Linear Contextual Bandits under Adversarial Corruption and Heavy-Tailed Noise
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；The University of Tokyo（东京大学）
本文提出一种计算高效的算法，基于在线镜像下降，实现对对抗性破坏和重尾噪声的鲁棒性，解决了传统方法在计算效率和方差假设上的不足。
2026-03-16 cs.LG
Stochastic bandits robust to adversarial corruptions
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
我们引入了一个新的具有对抗性腐败的随机强盗模型，其目的是捕获大部分输入遵循随机模式但其中一部分可以对抗性地改变以欺骗算法的设置，例如，点击欺诈、虚假评论和垃圾邮件。该模型的目标是鼓励设计出（i）在混合对抗和随机模型中工作良好的强盗算法，以及（ii）当我们从完全随机模型转向完全对抗模型时，其性能会优雅地恶化。在我们的模型中，所有武器的奖励最初来自一个分布，然后由一个适应性的对手改变。我们提供了一个简单的算法，其性能优雅地降低与总腐败的对手注入的数据，测量的总和跨轮的最大的更改对手在该轮的数据，这总腐败表示为$C$。我们的算法提供了一个保证，保留最佳保证（直到对数项）如果输入是随机的并且其性能线性地下降到损坏量$C$，我们还提供了一个下界，表明如果算法在随机设置中实现最佳性能，则这种线性退化是必要的（下限甚至适用于已知的损坏量，这是我们的算法在没有额外对数的情况下实现最佳性能的特殊情况）。
2018-03-25 cs.DS cs.GT cs.LG
Online and Distributed Robust Regressions under Adversarial Data Corruption
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）
在当今的大数据时代，当考虑到数据集爆炸性增长的对抗性腐败时，鲁棒最小二乘回归成为一个更具挑战性的问题。传统的鲁棒方法可以处理噪声，但在应用于大型数据集时会遇到一些挑战，包括1）一次处理整个数据集的计算不可行性，2）存在异构分布的损坏，以及3）当数据无法完全加载时难以估计损坏。本文提出了在线和分布式鲁棒回归方法，这两种方法可以同时解决所有上述挑战。具体地说，分布式算法通过启发式硬阈值优化每个数据块的回归系数，并将所有估计值组合在分布式鲁棒合并中。此外，提出了一个在线版本的分布式算法，以增量更新现有的估计与新的传入数据。我们还证明了我们的算法受益于强大的鲁棒性保证回归系数恢复与一个恒定的上限的错误的国家的最先进的批处理方法。在人工数据集和真实数据集上的大量实验表明，我们的方法在有效性上优于现有方法，具有竞争力的效率。
2017-10-02 cs.DS cs.LG stat.ML
Cooperative Stochastic Multi-agent Multi-armed Bandits Robust to Adversarial Corruptions
University California San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们研究了在合作的多智能体设置，$V$代理与一个共同的$K$ -武装土匪问题，和每对代理可以相互通信，以加快学习过程中的对抗性腐败的随机土匪问题。在这个问题中，奖励是从所有代理和回合的分布中独立采样的，但它们可能会被对手破坏。我们的目标是最大限度地减少所有代理的总体遗憾和通信成本。我们首先表明，腐败的添加剂长期是不可避免的任何算法在这个问题。然后，我们提出了一个新的算法，是不可知的腐败程度。我们的算法不仅实现了近最佳的遗憾在随机设置，但也获得了遗憾与腐败的腐败设置中的附加项，同时保持有效的通信。该算法也适用于单代理腐败问题，并实现了一个高概率的遗憾，消除了腐败水平的乘法依赖$K$。我们对单药病例的结果解决了Gupta et al. [2019]的一个未决问题。
2021-06-08 cs.LG
Adversarial Parameter Defense by Multi-Step Risk Minimization
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
以前的研究表明DNN对对抗性示例的脆弱性，对抗性训练可以建立对抗性示例的防御。此外，最近的研究表明，深度神经网络也表现出对参数损坏的脆弱性。模型参数的易损性对于研究模型的鲁棒性和泛化能力具有重要的意义。在这项工作中，我们引入了参数腐败的概念，并提出利用损失变化指标来衡量损失盆地的平坦性和神经网络参数的参数鲁棒性。在此基础上，我们分析了参数腐败，并提出了多步对抗腐败算法。为了增强神经网络，我们提出了对抗性参数防御算法，最大限度地减少了多个对抗性参数损坏的平均风险。实验结果表明，该算法能提高神经网络的参数鲁棒性和准确性。
2022-04-14 cs.LG
Defending Against Image Corruptions Through Adversarial Augmentations
DeepMind
现代神经网络在图像分类方面表现出色，但它们仍然容易受到模糊、斑点噪声或雾等常见图像损坏的影响。最近专注于这个问题的方法，如AugMix和DeepAugment，引入了对图像损坏分布进行预期操作的防御。与此相反，$\ell_p$ -范数有界扰动的文献侧重于对最坏情况下的腐败的防御。在这项工作中，我们调和这两种方法，提出AdversarialAugment，一种技术，优化图像到图像模型的参数，以生成adversarially损坏的增强图像。我们从理论上激励我们的方法，并给出其理想化版本以及DeepAugment的一致性的充分条件。我们的分类器改进了CIFAR-10-C上预期进行的常见图像损坏基准测试的最新技术，并提高了CIFAR-10和ImageNet上针对$\ell_p$范数有界扰动的最坏情况性能。
2021-12-16 cs.CV cs.LG
Cascading Bandits Robust to Adversarial Corruptions
Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
针对级联老虎机受对抗性篡改（如点击欺诈）时性能下降的问题，提出CBAC问题并设计两种分别假设篡改水平已知和未知的鲁棒算法，理论证明其未受攻击时对数级遗憾、受攻击时遗憾随篡改水平线性增加，实验验证了鲁棒性。
2025-02-12 cs.LG
Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院印度分院）
本文研究了响应变量具有扰动的鲁棒线性回归问题。我们考虑了不经意的对手模型，对手在完全不知道数据的情况下破坏了一小部分响应。我们提供了一个几乎线性的时间估计，一致估计真实的回归向量，即使与腐败的$1-o(1)$分数。在这种情况下，现有的结果要么不能保证一致的估计，要么只能处理一小部分的腐败。我们还将我们的估计扩展到稳健的稀疏线性回归，并表明在这种情况下也有类似的保证。最后，我们将我们的估计应用于具有重尾噪声的线性回归问题，并表明即使噪声具有无界方差（例如，柯西分布），其中大多数现有的结果甚至不适用。我们的估计是基于一种新的变体的离群值去除通过硬阈值，其中阈值是自适应选择的，关键是依赖于随机性，以逃避坏的固定点的非凸硬阈值操作。
2019-03-19 cs.LG stat.ML
Robust Linear Dueling Bandits with Post-serving Context under Unknown Delays and Adversarial Corruptions
KAIST（韩国科学技术院）
针对同时存在服务后上下文、延迟反馈和对抗性破坏的易变环境，提出RCDP-UCB算法，通过预测服务后上下文和自适应加权策略，实现了延迟无关的遗憾上界，并揭示了破坏与延迟之间的加性成本结构。
2026-05-30 cs.LG
Effective and Robust Adversarial Training against Data and Label Corruptions
School of Information Technology & Electrical Engineering, the University of Queensland（昆士兰大学信息技术与电气工程学院）；School of Software, Shandong University（山东大学软件学院）
针对数据扰动与标签噪声共存问题，提出ERAT框架，通过混合对抗训练和类别重平衡的半监督样本选择提升模型鲁棒性，实验验证其优越性。
2024-05-07 cs.CV cs.LG
A Robust Phased Elimination Algorithm for Corruption-Tolerant Gaussian Process Bandits
ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
我们考虑一个未知的，连续的，昂贵的评价奖励函数的顺序优化，从嘈杂和adversarially损坏观察到的奖励。当破坏攻击受到适当的预算$C$和功能生活在再生核希尔伯特空间（RKHS），该问题可以被视为损坏的高斯过程（GP）的强盗优化。我们提出了一种新的强大的消除型算法，在历元运行，结合探索与不频繁的切换，选择一个小的子集的行动，并发挥每个动作的多个时刻。我们的算法，鲁棒GP阶段消除（RGP-PE），成功地平衡了对腐败的鲁棒性与探索和利用，使得其性能在存在（或不存在）对抗性腐败的情况下降低到最低限度。当$T$是样本数，$γ_T$是最大信息增益时，我们的遗憾界中的腐败相关项是$O(C γ_T^{3/2})$，对于几个通常考虑的内核，它比现有的$O(C \sqrt{T γ_T})$要严格得多。我们进行了第一次实证研究的鲁棒性在腐败的GP强盗设置，并表明，我们的算法是强大的对抗各种各样的攻击。
2022-03-28 cs.AI cs.LG stat.ML
Benchmarking Neural Network Robustness to Common Corruptions and Perturbations
University of California, Berkeley（加州大学伯克利分校）；Oregon State University（俄勒冈州立大学）
在本文中，我们建立了严格的基准图像分类器的鲁棒性。我们的第一个基准测试，ImageNet-C，验证并扩展了腐败鲁棒性主题，同时显示哪些分类器在安全关键型应用程序中更可取。然后，我们提出了一个新的数据集称为ImageNet-P，使研究人员能够基准分类器的鲁棒性常见的扰动。与最近的鲁棒性研究不同，这个基准测试评估了常见的腐败和扰动的性能，而不是最坏情况下的对抗性扰动。我们发现，从AlexNet分类器到ResNet分类器，相对腐败鲁棒性的变化可以忽略不计。之后，我们发现如何提高腐败和扰动鲁棒性。我们甚至发现，绕过对抗防御提供了大量的共同扰动鲁棒性。我们的基准可以帮助未来的工作对网络的强大概括。
2019-03-28 cs.CV cs.LG stat.ML
Towards Improving Robustness Against Common Corruptions in Object Detectors Using Adversarial Contrastive Learning
Laboratory of Intelligent Systems（智能系统实验室）
本文提出对抗对比学习框架，通过生成实例级对抗样本并优化对比损失，同时增强目标检测器对对抗攻击和常见损坏的鲁棒性，以提升安全关键应用中的可靠性。
2023-11-14 cs.AI cs.CV cs.LG
How Does Frequency Bias Affect the Robustness of Neural Image Classifiers against Common Corruption and Adversarial Perturbations?
Nanyang Technological University（南洋理工大学）；Agency for Science, Technology and Research（新加坡科技研究局）
模型鲁棒性对于机器学习模型在实际应用中的可靠部署至关重要。最近的研究表明，数据增强可能导致模型过度依赖低频域中的特征，从而牺牲低频损坏的性能，突出了频率和鲁棒性之间的联系。在这里，我们进一步通过其雅可比矩阵的镜头更直接地研究模型的频率偏差及其对模型鲁棒性的影响。为了实现这一点，我们提出了雅可比频率正则化模型的雅可比有一个更大的比例的低频分量。通过对四个图像数据集的实验，我们表明，将分类器偏向低（高）频分量可以带来针对高（低）频腐败和对抗性扰动的性能增益，尽管低（高）频腐败的性能有所折衷。我们的方法阐明了频率偏差和深度学习模型的鲁棒性之间更直接的联系。
2022-05-09 cs.CV cs.LG
Corruption-Robust Linear Bandits: Minimax Optimality and Gap-Dependent Misspecification
University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）；University of California Berkeley（加州大学伯克利分校）
本文系统研究线性老虎机中的奖励腐败问题，统一分析强腐败与弱腐败并刻画极小极大遗憾差距，同时通过通用归约和专门算法解决间隙依赖误设问题，首次将结果推广到强化学习中的线性 MDP。
2024-10-17 cs.LG stat.ML
Robust Distribution Learning with Local and Global Adversarial Corruptions
Cornell University（康奈尔大学）
研究对抗环境下同时存在局部和全局损坏的鲁棒分布学习问题，提出基于迹范数近似的高效有限样本算法以最小化多维投影下的 Wasserstein 距离，并应用于鲁棒随机优化以克服维数灾难。
2024-06-24 cs.LG stat.ML
A Near-optimal, Scalable and Parallelizable Framework for Stochastic Bandits Robust to Adversarial Corruptions and Beyond
MoE Engineering Research Center of Hardware/Software Co-design Technology and Application（硬件/软件协同设计技术与应用的MoE工程研究中心）；East China Normal University（东华大学）
本文提出了一种改进的随机老虎机框架BARBAT，通过消除K因子实现最优悔恨界，并扩展至多种设置，提升并行化能力与计算效率。
2026-01-02 cs.LG
Stress-Testing ML Pipelines with Adversarial Data Corruption
University of California, San Diego（加州大学圣地亚哥分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出因果启发的 SAVAGE 框架，通过双层优化系统发现能最大程度降低性能的结构化数据损坏模式，实验表明约5%的此类损坏即可严重削弱模型性能，为流水线压力测试和鲁棒性评估提供实用工具。
2025-06-02 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University（复旦大学智能医学信息研究所）
针对离线强化学习中数据腐败导致策略过度保守的问题，提出抗腐败优势加权回归（CAWR），通过鲁棒损失函数和优势优先经验回放过滤不良探索，在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Robust Decentralized Multi-armed Bandits: From Corruption-Resilience to Byzantine-Resilience
针对去中心化协作多智能体多臂老虎机易受对抗攻击的问题，提出鲁棒算法DeMABAR，可同时应对对抗损坏与拜占庭攻击场景，经理论分析和数值实验验证其鲁棒性与有效性。
2025-11-13 cs.LG
Certified Robust Neural Networks: Generalization and Corruption Resistance
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种新型分布鲁棒损失函数，通过整体鲁棒（HR）训练方法在理论上和实证上同时保证了对数据规避与投毒攻击的认证鲁棒性和泛化能力，有效缓解了对抗训练中的过拟合问题。
2023-05-18 cs.AI cs.LG stat.ML
RobustLDS: Learning linear dynamical systems under adversarial corruptions
Division of Mathematical Sciences, SPMS, NTU Singapore（南洋理工大学数学科学系，SPMS）
该研究针对对抗性污染下的线性动态系统学习问题，提出结合最小截平方松弛与交替最小化的估计量，以及利用异常值组稀疏性的估计量，推导了非渐近误差界并通过实验验证了有效性。
2026-10-09 cs.LG cs.SY eess.SY
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos（阿托斯公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管人工神经网络具有很好的性能，但对于大多数工业应用来说，它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制，以防止各种干扰，包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略，称为M-TLAT，旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法，称为目标标记对抗训练（TLAT）。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明，M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性，而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Variational Counterfactual Prediction under Runtime Domain Corruption
The University of Queensland（昆士兰大学）；Health and Wellbeing Queensland（昆士兰健康与福祉机构）；The University of Sydney（悉尼大学）
本文提出VEGAN模型，通过两阶段对抗域适应应对运行时域损坏，在基准数据集上提升个体治疗效果估计的泛化能力。
2023-06-23 cs.LG stat.ML
MimicGAN: Robust Projection onto Image Manifolds with Corruption Mimicking
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在过去的几年里，生成对抗网络（GANs）极大地提高了我们表示和参数化高维非线性图像流形的能力。因此，它们已被广泛应用于各种应用，从具有挑战性的逆问题（如图像完成）到异常检测和对抗性防御等问题。在许多这些应用程序中反复出现的主题是将图像观察投影到生成器推断的流形上的概念。在这种情况下，投影梯度下降（PGD）是最流行的方法，它基本上优化了一个潜在的向量，最大限度地减少生成的图像和给定的观察之间的差异。然而，PGD是一种脆弱的优化技术，当观察被破坏或甚至被少量扰动时，它无法识别正确的投影（或潜在向量）。这种损坏在现实世界中很常见，例如野外图像带有未知的作物，旋转，丢失像素或其他类型的非线性分布偏移，这些偏移会破坏当前的编码方法，使下游应用程序无法使用。为了解决这个问题，我们提出了腐败模仿-一个新的强大的投影技术，利用代理网络近似未知的腐败直接在测试时，而不需要额外的监督或数据增强。所提出的方法在各种腐败下比PGD和其他竞争方法更鲁棒，从而使GANs能够在现实世界的应用中更有效地使用。更重要的是，我们证明了我们的方法在几个基于GAN的应用程序中产生了最先进的性能-异常检测，领域自适应和对抗性防御，这些都受益于准确的投影。
2020-04-30 cs.CV cs.LG stat.ML
Constructing Adversarial Examples for Vertical Federated Learning: Optimal Client Corruption through Multi-Armed Bandit
HKUST（香港科技大学）；Southeast University（东南大学）；Shenzhen Research Institute of Big Data, CUHK(SZ)（香港中文大学（深圳）深圳大数据研究院）；HKUST(GZ)（香港科技大学（广州））
本文针对纵向联邦学习推理过程提出一种自适应客户端破坏攻击，将最优破坏模式选择建模为多臂老虎机问题，并设计E-TS算法高效识别最优客户端子集以提升攻击成功率。
2024-08-08 cs.CR cs.LG
Rank-Variance Scores for Importance Sampling and Data Pruning under Label Contamination
Department of Information Technology, Uppsala University（乌普萨拉大学信息科技系）；Science for Life Laboratory, Uppsala University（乌普萨拉大学生命科学实验室）
本文提出DR-IS方法，通过损失排名分歧来应对标签污染问题，证明了样本集中污染率的控制，并在实验中验证了其在高norm攻击下的鲁棒性。
2026-10-22 cs.LG
Adversarial Examples Are a Natural Consequence of Test Error in Noise
Google Brain（谷歌大脑）
在过去的几年里，对抗性示例的现象-欺骗训练过的机器学习模型的恶意构造的输入-已经引起了研究界的注意，特别是当对手仅限于对正确处理的输入进行小修改时。不那么令人惊讶的是，图像分类器在随机损坏的图像上也缺乏人类水平的性能，例如具有加性高斯噪声的图像。在本文中，我们提供了经验和理论证据，这是同一个潜在现象的两种表现形式，建立了对抗鲁棒性和腐败鲁棒性研究计划之间的密切联系。这表明，提高对抗性鲁棒性应该与在更普遍和现实的图像损坏情况下提高性能齐头并进。根据我们的研究结果，我们建议未来的对抗性防御考虑使用Imagenet-C等基准来评估其方法对分布偏移的鲁棒性。
2019-01-29 cs.CV cs.LG stat.ML
CorrGAN: Input Transformation Technique Against Natural Corruptions
UT Dallas（德克萨斯大学达拉斯分校）；Siemens Corporation, Technology（西门子公司技术部）
由于深度神经网络（DNN）在不同任务上的准确性不断提高，许多实时的系统都在使用DNN。这些DNN容易受到对抗性干扰和破坏。具体来说，雾、模糊、对比度等自然损坏会影响自动驾驶汽车中DNN的预测。在实时的中，需要检测这些损坏，并且还需要对损坏的输入进行去噪以正确地预测。在这项工作中，我们提出了CorrGAN方法，它可以生成良性输入时，提供了一个损坏的输入。在这个框架中，我们训练生成对抗网络（GAN）与新的中间输出为基础的损失函数。GAN可以对损坏的输入进行降噪并生成良性输入。通过实验，我们发现高达75.2%的错误分类输入可以通过使用CorrGAN的DNN正确分类。
2022-04-19 cs.CV cs.LG
Kalman Filtering with Adversarial Corruptions
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
在这里，我们重新审视线性二次估计的经典问题，即从噪声测量中估计线性动态系统的轨迹。著名的卡尔曼滤波器在测量噪声为高斯时给出了最优估计，但众所周知，当偏离此假设时，例如当噪声为重尾时，卡尔曼滤波器会崩溃。在实际中，许多特别的统计学被用来处理异常值。在一项开创性的工作中，Schick和Mitter在测量噪声是高斯的已知无穷小扰动时给出了可证明的保证，并提出了一个重要的问题，即对于大的未知扰动是否可以得到类似的保证。在这项工作中，我们给出了一个真正强大的过滤器：我们给出了第一个强有力的可证明的保证线性二次估计时，即使是一个常数部分的测量已被adversarially损坏。该框架可以对重尾甚至非平稳噪声过程进行建模。我们的算法鲁棒的卡尔曼滤波器的意义上说，它的竞争与最佳算法，知道的腐败的位置。我们的工作是在一个具有挑战性的贝叶斯设置，测量的数量规模与我们需要估计的复杂性。此外，在线性动力系统中，过去的信息会随着时间而衰减。我们开发了一套新的技术来鲁棒地提取跨不同时间步长和不同时间尺度的信息。
2021-11-11 cs.DS cs.LG cs.SY
