Boosting the Robustness-Accuracy Trade-off of SNNs by Robust Temporal Self-Ensemble
本文提出鲁棒时间自集成（RTE）训练框架，通过增强各时间子网络鲁棒性并降低对抗扰动跨时间迁移，显著改善脉冲神经网络的鲁棒性-精度权衡。
2025-08-15 cs.CV cs.LG
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Boosting Adversarial Robustness and Generalization with Dictionary Structure
North Carolina State University（北卡罗来纳州立大学）
本文提出弹性字典学习网络（EDLNets），通过引入结构先验显著提升深度学习模型的对抗鲁棒性与泛化能力，并在RobustBench上超越现有最先进方法。
2026-09-30 cs.CR cs.LG cs.NE
Boosting Robustness Verification of Semantic Feature Neighborhoods
Technion（以色列理工学院）
深度神经网络已被证明容易受到基于语义特征扰乱输入的对抗攻击的攻击。现有的鲁棒性分析器可以推理语义特征邻域，以增加网络的可靠性。然而，尽管这些技术取得了重大进展，但它们仍然难以扩展到深层网络和大型社区。在这项工作中，我们引入VeeP，一种主动学习方法，将验证过程分成一系列较小的验证步骤，每个步骤都提交给现有的鲁棒性分析器。关键思想是建立在先前的步骤上，以预测下一个最佳步骤。通过参数回归估计认证速度和灵敏度来预测最佳步骤。我们在MNIST，Fashion-MNIST，CIFAR-10和ImageNet上评估了VeeP，并表明它可以分析各种特征的邻域：亮度，对比度，色调，饱和度和亮度。我们发现，平均而言，给定90分钟的超时时间，VeeP在29分钟内验证了96%的最大可认证社区，而现有的分割方法平均在58分钟内验证了73%的最大可认证社区。
2022-09-12 cs.LG
Robust Boosting Forests with Richer Deep Feature Hierarchy
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种增强森林的鲁棒变体，用于各种对抗性防御方法，并将其应用于增强深度神经网络的鲁棒性。我们保留了深度网络的架构、权重和中间层特征，然后安装梯度提升森林，从深度网络的每一层中选择特征，并预测目标。为了训练每个决策树，我们提出了一种新的保守和贪婪的权衡，考虑较少的误预测，而不是纯增益函数，因此是次优和保守的。我们积极地增加树的深度，以弥补在更多特征中分裂的准确性，在增加树的深度时更加贪婪。我们提出了一个新的任务，三维人脸模型，其鲁棒性还没有仔细研究，尽管有很大的安全性和隐私问题的人脸分析。我们尝试了一种简单的攻击方法在纯卷积神经网络（CNN）的人脸形状估计，使其退化到只输出平均人脸形状与不可见的扰动。我们在人脸地标数据集上的保守贪婪提升森林（CGBF）在对抗攻击下比原始的纯深度学习方法有很大的改进。
2022-10-29 cs.CV cs.LG stat.AP
Boosting Fast Adversarial Training with Learnable Adversarial Initialization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc.（腾讯公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Sun Yat-sen University（中山大学）
对抗性训练（AT）已被证明是有效的，通过利用对抗性的例子进行训练，提高模型的鲁棒性。然而，大多数AT方法都面临着昂贵的时间和计算成本，在多个步骤中计算梯度生成对抗性的例子。为了提高训练效率，快速AT方法采用快速梯度符号法（FGSM），只需计算一次梯度。不幸的是，鲁棒性远远不能令人满意。一个原因可能来自初始化方式。现有的快速AT通常使用随机样本不可知初始化，这促进了效率，但阻碍了进一步的鲁棒性改进。到目前为止，快速AT中的初始化仍然没有被广泛探索。在本文中，我们使用样本相关的对抗初始化来提升快速AT，即，来自生成网络的输出，该生成网络以良性图像及其来自目标网络的梯度信息为条件。由于生成网络和目标网络在训练阶段联合优化，因此前者可以自适应地生成相对于后者的有效初始化，这促使鲁棒性逐渐提高。四个基准数据库上的实验评估表明，我们提出的方法比国家的最先进的快速AT方法的优越性，以及先进的多步AT方法的鲁棒性。该代码在https://github.com//jiaxiaojunQAQ//FGSM-SDI上发布。
2022-06-17 cs.CV cs.LG
Deep Boosting Robustness of DNN-based Image Watermarking via DBMark
Southern University of Science and Technology（南方科技大学）；Hunan University（湖南大学）；Changsha University of Science and Technology（长沙理工大学）
图像水印是一种将信息隐藏到图像中的技术，该图像可以承受失真，同时要求编码图像在感知上与原始图像相同。基于深度神经网络（DNN）的数字水印技术取得了令人瞩目的进展。在各种失真下具有更高的鲁棒性是数字图像水印技术的永恒追求。在本文中，我们提出了DBMARK，一种新的端到端数字图像水印框架，以深入提高基于DNN的图像水印的鲁棒性。关键的新颖性是可逆神经网络（INN）和有效的水印特征生成的协同作用。该框架通过有效的基于神经网络的消息处理器生成具有冗余和纠错能力的水印特征，并与INN强大的信息嵌入和提取能力相结合，实现了更高的鲁棒性和不可见性。神经网络强大的学习能力使消息处理器能够适应各种失真。此外，我们建议将水印信息嵌入到离散小波变换（DWT）域中，并设计低-低（LL）子带损失以增强不可见性。大量的实验结果表明，所提出的框架相比，国家的最先进的在各种失真，如辍学，裁剪，裁剪，高斯滤波器，JPEG压缩的优越性。
2022-11-16 cs.CR cs.CV
Hyper Adversarial Tuning for Boosting Adversarial Robustness of Pretrained Large Vision Models
Zhejiang University（浙江大学）；Shanghai Maritime University（上海海事大学）；Zhejiang Gongshang University（浙江工商大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
针对大视觉模型对抗训练成本高、现有鲁棒微调方法效果不及全参数微调的问题，提出超对抗调优方法HyperAT，通过超网络生成不同防御的LoRA并融合，高效提升模型对抗鲁棒性，达到新的SOTA。
2024-10-08 cs.CV
FullLoRA: Efficiently Boosting the Robustness of Pretrained Vision Transformers
Key Laboratory of AI Safety of CAS, Institute of Computing Technology, Chinese Academy of Sciences (CAS), Beijing 100190, China, and the University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院计算技术研究所人工智能安全重点实验室，中国科学院（CAS）及中国科学院大学，北京）
本文提出FullLoRA框架，通过集成可学习LNLoRA模块到ViT所有关键组件，以约5%参数实现与全量微调相当的对抗鲁棒性，高效解决标准训练模型的鲁棒性提升问题。
2025-06-23 cs.CV
RAMP: Boosting Adversarial Robustness Against Multiple $l_p$ Perturbations for Universal Robustness
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出训练框架 RAMP，通过 logit pairing loss 和梯度投影融合自然训练与对抗训练，有效缓解准确率与鲁棒性的权衡，显著提升了模型抵御多重 $l_p$ 扰动的联合准确率及未见攻击的通用鲁棒性。
2024-09-21 cs.CR cs.LG
Boosting Noise Robustness of Acoustic Model via Deep Adversarial Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Forestry University（北京林业大学）
在实际环境中，语音常常受到各种噪声和混响的干扰，严重影响了自动语音识别（ASR）系统的性能。为了缓解这个问题，最常见的方法是使用设计良好的语音增强方法作为ASR的前端。然而，对于这种方法，额外地消耗更复杂的流水线、更多的计算和甚至更高的硬件成本（麦克风阵列）。此外，语音增强会导致语音失真和训练不匹配。在本文中，我们提出了一种对抗性训练方法，以直接提高声学模型的噪声鲁棒性。具体而言，在训练阶段使用生成对抗网络（GAN）和基于神经网络的声学模型（AM）的联合组合方案。GAN用于通过尝试区分真实干净信号和生成信号的干扰器的引导，从噪声特征生成干净特征表示。生成器、自适应神经网络和自适应模型的联合优化集中了GAN和AM在语音识别中的优势。在CHiME-4上的系统实验表明，该方法显著提高了AM的噪声鲁棒性，在开发集和测试集上的平均相对出错率分别降低了23.38%和11.54%。
2018-05-02 cs.LG cs.SD eess.AS
Boosting Adversarial Training with Hypersphere Embedding
Tsinghua University（清华大学）；BNRist Center（北京信息科学与技术国家研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世机器学习联合中心）；THBI Lab（清华大学高等研究院）
对抗训练（AT）是深度学习模型抵御对抗攻击的最有效方法之一。在这项工作中，我们提倡将超球嵌入（HE）机制纳入AT过程中，通过将特征正则化到紧凑流形上，这构成了一个轻量级但有效的模块，以融入表示学习的强度。我们广泛的分析表明，AT和HE很好地耦合，从几个方面有利于对抗训练模型的鲁棒性。我们通过将HE嵌入到流行的AT框架（包括PGD-AT、ALP和TRADES）以及FreeAT和FastAT策略中，验证了HE的有效性和适应性。在实验中，我们在CIFAR-10和ImageNet数据集上评估了各种对抗攻击下的方法，这验证了集成HE可以始终如一地增强每个AT框架的模型鲁棒性，并且只需很少的额外计算。
2020-11-25 cs.CR cs.CV cs.LG
Building Robust Ensembles via Margin Boosting
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Waterloo（滑铁卢大学）；Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
在对抗鲁棒性的背景下，单个模型通常没有足够的能力来防御所有可能的对抗攻击，因此具有次优鲁棒性。因此，一个新兴的工作领域集中在学习神经网络的集合来防御对抗攻击。在这项工作中，我们采取原则性的方法来构建强大的合奏。我们认为这个问题的角度来看，利润率提高，并制定了一个学习的合奏与最大利润率的算法。通过对基准数据集的广泛实证评估，我们表明我们的算法不仅优于现有的集成技术，而且还优于以端到端方式训练的大型模型。我们的工作的一个重要副产品是边际最大化交叉熵（MCE）损失，这是一个更好的替代标准交叉熵（CE）损失。从经验上讲，我们表明，用我们的MCE损失替换最先进的对抗训练技术中的CE损失会导致显着的性能改善。
2022-06-07 cs.AI cs.CR cs.LG
SegPGD: An Effective and Efficient Adversarial Attack for Evaluating and Boosting Segmentation Robustness
University of Oxford（牛津大学）；University of Munich（慕尼黑大学）；The University of Hong Kong（香港大学）
本文提出高效分割对抗攻击 SegPGD，并通过收敛性分析证明其在相同迭代次数下优于 PGD，同时将其用于对抗训练以提升分割模型鲁棒性。
2023-08-14 cs.CV eess.IV
Boosting Transferability of Targeted Adversarial Examples via Hierarchical Generative Networks
RealAI（瑞莱智慧）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory（琶洲实验室）；Tsinghua University（清华大学）；Sea AI Lab（Sea人工智能实验室）
基于转移的对抗攻击可以在黑盒环境下评估模型的鲁棒性。几种方法已经证明了令人印象深刻的非靶向可转移性，然而，有效地产生靶向可转移性仍然具有挑战性。为此，我们开发了一个简单而有效的框架，应用分层生成网络来制作有针对性的基于转移的对抗性示例。特别是，我们有助于摊销的设计，以及适应多类有针对性的攻击。在ImageNet上进行的大量实验表明，我们的方法比现有方法显著提高了针对性黑盒攻击的成功率-它仅基于一个替代白盒模型对六个不同模型的平均成功率达到29.1%，这明显优于最先进的基于梯度的攻击方法。此外，所提出的方法也是更有效的超过一个数量级比基于梯度的方法。
2022-07-22 cs.AI cs.LG
Boosting Adversarial Training via Fisher-Rao Norm-based Regularization
University of Liverpool（利物浦大学）
本文利用Fisher-Rao范数分析模型复杂度并提出LOAT正则化框架，有效缓解了对抗训练中鲁棒性与准确性的权衡问题，显著提升了多种主流算法的性能。
2024-03-26 cs.CV cs.LG
You Only Need Half: Boosting Data Augmentation by Using Partial Content
School of Artificial Intelligence（人工智能学院）；Jilin University（吉林大学）
本文提出无参数数据增强方法 YONA，通过将图像一半替换为噪声并仅对另一半进行增强，减少冗余信息，在不增加计算成本的情况下提升神经网络鲁棒性和分类性能。
2024-05-05 cs.CV
AFD: Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对对抗微调中自然与对抗样本最后隐藏层特征差距增大的问题，本文提出AFD，通过特征解耦器分离并消除对抗样本的特定潜在特征，同时对齐干净特征，在三个基准上取得优于现有方法的鲁棒性。
2024-12-10 cs.AI cs.CV cs.LG
Boosting Adversarial Attacks with Momentum
Tsinghua Lab of Brain and Intelligence（清华大学脑与智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
深度神经网络容易受到对抗性示例的攻击，由于潜在的严重后果，这对这些算法构成了安全问题。对抗攻击是在部署深度学习模型之前评估其鲁棒性的重要替代。然而，现有的大多数对抗攻击只能欺骗黑盒模型，成功率很低。为了解决这个问题，我们提出了一个广泛的基于动量的迭代算法，以提高对抗攻击。通过将动量项集成到攻击的迭代过程中，我们的方法可以稳定更新方向，并在迭代过程中摆脱糟糕的局部最大值，从而产生更多可转移的对抗性示例。为了进一步提高黑箱攻击的成功率，我们将动量迭代算法应用于一组模型，并表明具有较强防御能力的对抗训练模型也容易受到我们的黑箱攻击。我们希望提出的方法能够作为评估各种深度模型和防御方法鲁棒性的基准。通过这种方法，我们在NIPS 2017年非目标对抗攻击和目标对抗攻击比赛中获得了第一名。
2018-03-22 cs.LG stat.ML
Fourier-Based Augmentations for Improved Robustness and Uncertainty Calibration
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
多样的数据增强策略是提高计算机视觉模型鲁棒性的自然方法，以应对数据分布中不可预见的变化。然而，定制这样的策略以使模型针对特定类别的腐败或攻击而不对其他类别的腐败造成实质性损失的能力仍然是难以捉摸的。在这项工作中，我们成功地强化了一个模型，以抵御基于傅立叶的攻击，同时在CIFAR-10-C和CIFAR-100-C数据集上产生优于AugMix的准确性和校准结果;对于一些高严重性的噪声和数字类型的损坏，分类误差降低了10个百分点以上。我们实现这一点，将傅立叶基扰动的AugMix图像增强框架。因此，我们证明了AugMix框架可以被定制为有效地针对特定的分布偏移，同时提高整体模型的鲁棒性。
2022-02-24 cs.CV cs.LG
RMB: Reward Model Boosting Mitigates Reward Hacking
提出奖励模型提升（RMB）方法，通过训练多样化奖励模型并学习轻量级聚合器，增强RLHF中奖励信号的鲁棒性，有效缓解奖励黑客问题并提升对齐性能。
2026-09-29 cs.LG
MTDeep: Boosting the Security of Deep Neural Nets Against Adversarial Attacks with Moving Target Defense
Arizona State University（亚利桑那州立大学）；IBM Research（IBM研究院）
目前的攻击方法可以使基于深度神经网络的最先进的分类系统对每个经过不利修改的测试示例进行错误分类。针对大范围此类攻击的一般防御策略的设计仍然是一个具有挑战性的问题。在本文中，我们从网络安全和多智能体系统领域汲取灵感，并提出利用移动目标防御（MTD）的概念来设计一种元防御，以“提高”深度神经网络（DNN）集成的鲁棒性，用于视觉分类任务，以抵御这种对抗攻击。为了对输入图像进行分类，通过将防御者（托管分类网络）与其（合法和恶意）用户之间的交互公式化为贝叶斯Stackelberg游戏（BSG），从这组网络中随机挑选一个经过训练的网络。我们的经验表明，这种方法MTDeep可以减少MNIST，FashionMNIST和ImageNet等各种数据集中扰动图像的错误分类，同时保持合法测试图像的高分类精度。然后，我们证明了我们的框架，作为第一个元防御技术，可以与任何现有的防御机制结合使用，以提供更多的弹性对抗对抗攻击，可以提供这些防御机制。最后，为了量化使用MTDeep时基于集成的分类系统的鲁棒性的增加，我们分析了一组DNN的属性，并引入了差分免疫的概念，该概念将攻击可转移性的概念形式化。
2019-08-03 cs.CR cs.GT cs.LG
Boosting Adversarial Attacks on Neural Networks with Better Optimizer
State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
卷积神经网络在图像识别任务中的表现优于人类，但它们仍然容易受到来自对抗性样本的攻击。由于这些数据是通过向正常图像添加难以察觉的噪声来制作的，因此它们的存在对深度学习系统构成了潜在的安全威胁。具有强大攻击性能的复杂对抗性示例也可以用作评估模型鲁棒性的工具。然而，对抗攻击的成功率可以在黑盒环境中进一步提高。因此，本研究将修正的Adam梯度下降演算法与迭代梯度攻击法结合。然后使用所提出的Adam迭代快速梯度方法来提高对抗性示例的可移植性。在ImageNet上的大量实验表明，该方法比现有的迭代法具有更高的攻击成功率。通过扩展我们的方法，我们在防御模型上实现了95.0%的最先进的攻击成功率。
2021-06-09 cs.CV
Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming
University of Pennsylvania（宾夕法尼亚大学）
证明神经网络对输入不确定性和对抗性攻击的安全性或鲁棒性是安全机器学习和控制领域的一个新兴挑战。为了提供这样的保证，当神经网络的输入在有界集内变化时，必须能够限制神经网络的输出。在本文中，我们提出了一个半定规划（SDP）框架来解决这个问题的前馈神经网络与一般的激活函数和输入不确定性集。我们的主要思想是抽象激活函数的各种属性（例如，单调性、有界斜率、有界值和跨层重复）与二次约束的形式主义。然后，我们分析了抽象网络的安全性通过S-过程和半定规划。我们的框架跨越保守性和计算效率之间的权衡，并适用于安全验证以外的问题。我们通过各种大小的数值问题实例来评估我们的方法的性能。
2021-09-15 cs.LG math.OC
An Adversarial Approach to Evaluating the Robustness of Event Identification Models
School of Electrical, Computer, and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
本文采用基于物理的模态分解提取特征，利用逻辑回归和梯度提升等可解释分类器区分负荷损失与发电损失，并在白盒和灰盒设置下通过对抗攻击评估其鲁棒性，发现逻辑回归更易受攻击。
2024-04-22 cs.CR cs.LG cs.SY
[Re] Boosting the Visual Interpretability of CLIP via Adversarial Fine-Tuning
University of Amsterdam（阿姆斯特丹大学）；student.uva.nl（阿姆斯特丹大学学生网络（注：此处为学生所属域名，实际机构为阿姆斯特丹大学））
本文复现ICLR 2025的CLIP对抗微调研究，提出带能量指向游戏损失的显著图引导正则化扩展，可提升定位指标且对零样本精度影响可控，重构代码库支持系统性实验。
2026-10-14 cs.CV
Clustering Effect of (Linearized) Adversarial Robust Models
Tsinghua University（清华大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
随着对抗性实例的研究，对抗性鲁棒性受到越来越多的关注。到目前为止，已有的工作表明，鲁棒模型不仅获得了对各种对抗攻击的鲁棒性，而且还提高了一些下游任务的性能。然而，对抗鲁棒性的潜在机制仍然不清楚。本文从线性分量的角度对对抗鲁棒性进行了解释，发现综合鲁棒模型存在一些统计性质。具体地说，鲁棒模型在其线性化的子网络上显示出明显的层次聚类效应，当去除或替换所有非线性分量（例如，批量归一化、最大池化或激活层）。基于这些观察，我们提出了一种对对抗鲁棒性的新理解，并将其应用于更多的任务，包括域自适应和鲁棒性增强。实验结果证明了该聚类策略的合理性和优越性。
2021-11-25 cs.LG
Curls & Whey: Boosting Black-Box Adversarial Attacks
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
基于深度神经网络的图像分类器受到对抗性样本的干扰。黑盒迭代攻击存在两个缺陷，即通过递增地调整每一步的噪声添加方向来生成对抗性样本。一方面，现有的迭代攻击沿梯度上升方向单调地添加噪声，导致生成的迭代轨迹缺乏多样性和适应性。另一方面，通过添加过多的噪声来执行对抗攻击是微不足道的，但是目前没有细化机制来挤压冗余噪声。在这项工作中，我们提出了Curls & Whey黑盒攻击来修复上述两个缺陷。在Curls迭代过程中，通过结合梯度上升和下降，我们将迭代轨迹“卷曲”起来，以将更多的多样性和可移植性集成到对抗性示例中。Curls迭代也验证了现有迭代攻击中的边际效应递减。乳清优化利用对抗扰动的鲁棒性，进一步挤压噪声的“乳清”。在Imagenet和Tiny-Imagenet上的大量实验表明，我们的方法在l2范数下实现了令人印象深刻的噪声幅度降低。Curls & Whey攻击也显示出对集成模型以及对抗训练模型的可移植性。此外，我们将攻击扩展到目标误分类，有效地降低了黑盒条件下目标攻击的难度。
2019-04-02 cs.CV
Enhancing Robustness of Neural Networks through Fourier Stabilization
Washington University in St. Louis（圣路易斯华盛顿大学）
尽管神经网络在诸如恶意软件检测的安全设置中取得了相当大的成功，但这样的模型已被证明易受规避攻击的影响，在规避攻击中，攻击者对输入进行轻微的改变（例如，恶意软件）以绕过检测。我们提出了一种新的方法，\emph{Fourier stabilization}，用于设计具有二进制输入的回避鲁棒神经网络。这种方法与其他形式的防御是互补的，它用使用傅立叶分析工具导出的鲁棒模拟来取代单个神经元的权重。在神经网络中稳定哪些神经元的选择，然后是一个组合优化问题，我们提出了几种方法来近似解决它。我们提供了一个正式的约束上的每神经元下降的准确性，由于傅立叶稳定，并实验证明了所提出的方法在提高鲁棒性的神经网络在几个检测设置的有效性。此外，我们还证明了我们的方法可以有效地与对抗训练相结合。
2021-06-08 cs.CR cs.LG
Boosting the Robustness Verification of DNN by Identifying the Achilles's Heel
National University of Defense Technology（国防科技大学）
深度神经网络（DNN）是一种广泛使用的深度学习技术。如何保证DNN系统的安全性是DNN研究和应用的关键问题。鲁棒性是DNN的重要安全属性。然而，现有的验证DNN的鲁棒性的工作是耗时的，并且难以扩展到大规模DNN。在本文中，我们提出了一种用于DNN鲁棒性验证的提升方法，旨在更早地找到反例。我们的观察是DNN的不同输入有不同的可能性存在反例，并且最大输出值和第二大输出值之间的差异很小的输入往往是DNN的阿基里斯之踵。我们已经实现了我们的方法，并将其应用于最先进的DNN验证工具Reluplex和四种DNN攻击方法。在两个基准上的实验结果表明了该方法的有效性。
2018-11-17 cs.CR cs.LG
Posterior Differential Regularization with f-divergence for Improving Model Robustness
Microsoft Research（微软研究院）；Ochanomizu University（御茶水女子大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们通过正则化来解决增强模型鲁棒性的问题。具体来说，我们专注于正则化干净和嘈杂的输入之间的模型后验差的方法。从理论上讲，我们在这个框架下提供了两种最新方法的连接，雅可比正则化和虚拟对抗训练。此外，我们将后验微分正则化推广到$f$ -发散族，并用雅可比矩阵描述了整个正则化框架。从经验上讲，我们系统地比较了这些正则化和标准的BERT训练在不同的任务集，以提供一个全面的概况，其对模型的域内和域外的领域泛化的影响。对于完全监督和半监督设置，我们的实验表明，正则化后验差分与$f$ -发散可以导致良好的改善模型的鲁棒性。特别是，通过适当的$f$ -发散，BERT-基础模型可以实现与BERT-大型模型相当的泛化，用于域内，对抗和域转移场景，这表明所提出的框架在提高NLP模型的模型泛化方面具有巨大的潜力。
2021-04-12 cs.CL cs.LG stat.ML
Second Order Optimization for Adversarial Robustness and Interpretability
Massachusetts Institute of Technology Lincoln Laboratory（麻省理工学院林肯实验室）；Artificial Intelligence Technology Group（人工智能技术组）；Homeland Sensors and Analytics Group（国土安全传感器与分析组）
深度神经网络很容易被称为对抗攻击的小扰动所欺骗。对抗性训练（AT）是一种旨在学习对此类攻击具有鲁棒性的特征的技术，被广泛认为是一种非常有效的防御方法。然而，随着网络大小和输入维度的增长，这种训练的计算成本可能是过高的。受鲁棒性和曲率之间关系的启发，我们提出了一种新的正则化器，它通过对对抗性损失的二次近似来结合一阶和二阶信息。最坏情况下的二次损失近似通过迭代方案。结果表明，在我们的正则化只使用一个单一的迭代实现更强的鲁棒性比以前的梯度和曲率正则化方案，避免梯度混淆，并与额外的迭代，实现强鲁棒性与显着较低的训练时间比AT。此外，它保留了AT的有趣方面，即网络学习与人类感知一致的特征。我们的实验表明，我们的方法产生更高质量的人类可解释的功能比其他几何正则化技术。然后，这些强大的功能用于为模型预测提供人性化的解释。
2020-09-10 cs.LG stat.ML
Boosting the Certified Robustness of L-infinity Distance Nets
Peking University（北京大学）；Microsoft Research（微软研究院）
最近，Zhang等人（2021）基于$\ell_\infty$-距离函数开发了一种新的神经网络架构，其构造自然具有经过认证的$\ell_\infty$鲁棒性。尽管有新颖的设计和理论基础，但到目前为止，该模型仅实现了与传统网络相当的性能。在本文中，我们做了以下两个贡献：$\mathrm{(i)}$我们证明，$\ell_\infty$距离网享有一个根本的优势，在认证的鲁棒性超过传统的网络（根据典型的认证方法）; $\mathrm{(ii)}$随着改进的训练过程中，我们能够显着提高认证的准确性$\ell_\infty$距离网。我们的训练方法在很大程度上解决了在以前的训练方案中出现的优化问题，特别是由于使用了称为$\ell_p$-松弛的关键技巧而导致的意想不到的大Lipschitz常数。我们的训练方法的核心是一个新的目标函数，它结合了缩放的交叉熵损失和剪切铰链损失与衰减的混合系数。实验结果表明，在CIFAR-10（$ε=8/255$）上，使用该训练策略，$\ell_\infty$-距离网的认证准确率可以从33.30%提高到40.06%，同时大大优于该领域的其他方法。我们的研究结果清楚地表明了$\ell_\infty$-距离网的有效性和潜力，认证的鲁棒性。代码可在www.example.com上获得。
2022-03-15 cs.AI cs.CV cs.LG
NoisyMix: Boosting Model Robustness to Common Corruptions
University of Pittsburgh（匹兹堡大学）；Nordita, KTH（北欧理论物理研究所，瑞典皇家理工学院）；University of Toronto（多伦多大学）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）
对于许多现实世界的应用，获得稳定和鲁棒的统计性能比简单地实现最先进的预测测试精度更重要，因此神经网络的鲁棒性是一个越来越重要的话题。相关地，数据增强方案已经被示出为提高关于输入扰动和域移位的鲁棒性。受此启发，我们引入了NoisyMix，这是一种新型的训练方案，它可以提高稳定性，并利用输入和特征空间中的噪声增强来提高模型的鲁棒性和域内精度。NoisyMix生成的模型始终更加稳健，并提供了对类别成员概率的校准估计。我们在一系列基准数据集上展示了NoisyMix的好处，包括ImageNet-C，ImageNet-R和ImageNet-P。此外，我们还提供了理解NoisyMix的隐式正则化和鲁棒性的理论。
2022-05-23 cs.LG stat.ML
Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble Model
Peking University（北京大学）
基于$\ell_\infty$ -dist神经元的具有$1$ -Lipschitz性质的神经网络在经过认证的$\ell_\infty$鲁棒性方面有理论保证。然而，由于网络训练的固有困难，以前工作的认证精度是有限的。在本文中，我们提出了两种方法来处理这些困难。针对基于$\ell_\infty$ -范数神经网络训练过程的特点，引入EMA方法对训练过程进行改进。考虑到训练算法的随机性，本文提出了一种基于训练基模型的集成方法，该基模型具有$1$ -Lipschitz性质，在小参数网络中性能得到显著改善。此外，对基于$1$ -Lipschitz性质的集成方法的鲁棒性进行了理论分析，保证了算法的有效性和稳定性。我们的代码可在https://github.com/Theia-4869/EMA-and-Ensemble-Lip-Networks上获得。
2021-07-01 cs.LG
Boosting Fairness and Robustness in Over-the-Air Federated Learning
Technische Universität Berlin（柏林工业大学）；Exzellenzcluster Science of Intelligence（科学智能卓越集群）
针对超5G场景下空中联邦学习的效率与公平鲁棒性需求，提出基于极小极大优化的算法，借上境图形式证明收敛性，无需复杂编解码重建信道系数，兼顾效率、隐私、公平性与鲁棒性。
2024-03-07 cs.CY cs.LG
Boosting Certified Robustness for Time Series Classification with Efficient Self-Ensemble
The University of Adelaide（阿德莱德大学）
针对时间序列分类中随机平滑认证鲁棒性不足的问题，提出自集成方法，通过降低分类边际方差提升置信度下界，认证更大鲁棒半径，兼顾效率并超越深度集成。
2024-09-19 cs.CR cs.LG stat.ML
Boosting Robustness in Preference-Based Reinforcement Learning with Dynamic Sparsity
University of Alberta（阿尔伯塔大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Luxembourg（卢森堡大学）；Alberta Machine Intelligence Institute（阿尔伯塔人工智能研究所）
本文提出首个结合动态稀疏训练的PbRL算法R2N，通过学习专注于任务相关特征的鲁棒奖励模型，在模拟机器人环境中显著超越现有稀疏训练和PbRL方法。
2025-07-03 cs.LG
DeepBooTS: Dual-Stream Residual Boosting for Drift-Resilient Time-Series Forecasting
DeepBooTS通过双流残差提升方法，提升时间序列预测的抗漂移鲁棒性，实验表明在多种数据集上性能提升显著。
2026-01-28 cs.AI cs.LG
Fast Calculation of Feature Contributions in Boosting Trees
Department of Epidemiology & Biostatistics University of California Irvine（流行病学与生物统计学系 加州大学伊文斯顿分校）
针对树模型中特征贡献的全局评估需求，提出Q-SHAP算法，将二次损失下Shapley值计算复杂度降至多项式时间，并提升特征特定R²估计的准确性与效率。
2025-05-26 cs.LG stat.ML
SPLBoost: An Improved Robust Boosting Algorithm Based on Self-paced Learning
Xi’an Jiaotong University（西安交通大学）
已知的是，提升可以被解释为使潜在的损失函数最小化的梯度下降技术。具体而言，传统AdaBoost最小化的潜在损失是指数损失，这被证明对随机噪声/离群值非常敏感。因此，几种Boosting算法，例如，LogitBoost和SavageBoost，已经被提出来通过用一些设计的鲁棒损失函数代替指数损失来提高AdaBoost的鲁棒性。在这项工作中，我们提出了一种新的方法来鲁棒AdaBoost，即，在Boosting框架中引入了自主学习（SPL）的鲁棒学习思想。具体来说，我们设计了一种新的基于SPL机制的鲁棒Boosting算法，即，SPLBoost，它可以通过稍微修改现成的Boosting包轻松实现。大量的实验和理论表征也进行了说明所提出的SPLBoost的优点。
2017-06-23 cs.CV cs.LG stat.ML
AID-Purifier: A Light Auxiliary Network for Boosting Adversarial Defense
Seoul National University（首尔大学）
我们提出了一个艾滋病净化器，可以通过净化输入来提高对抗训练网络的鲁棒性。AID-purifier是一个辅助网络，作为已经训练好的主分类器的附加组件。为了保持它的计算量，它被训练成一个具有二进制交叉熵损失的神经网络。为了从对抗性示例中获得额外的有用信息，架构设计与信息最大化原则密切相关，其中主分类网络的两层被输送到辅助网络。为了辅助纯化的迭代优化过程，使用AVmixup训练辅助网络。艾滋病净化器可以与其他净化器，如PixelDefend一起使用，以获得额外的增强。总体结果表明，性能最佳的对抗训练网络可以通过性能最佳的净化网络来增强，其中AID-purifier是一种具有竞争力的候选者，它轻便而强大。
2021-07-14 cs.AI cs.CV cs.LG
Boosting in the presence of outliers: adaptive classification with non-convex loss functions
University of California at San Diego（加州大学圣地亚哥分校）
本文研究了二进制分类问题的非凸损失函数的作用和效率。特别是，我们研究如何设计一个简单而有效的提升算法，是强大的离群数据。对特定非凸损失对预测准确性的作用的分析取决于损失梯度的递减尾部特性--损失有效适应外围数据的能力、损失的局部凸特性和污染数据的比例。为了有效地利用这些性质，我们提出了一个新的家庭的非凸损失命名为$γ$ -鲁棒损失。此外，我们提出了一个新的提升框架，{ \it Arch Boost}，旨在增强现有的工作，使其相应的分类算法是显着更适应未知的数据污染。随着Arch Boosting框架，非凸损失导致了一类新的boosting算法，称为自适应，鲁棒，boosting（ARB）。此外，我们提出了理论的例子，证明所提出的算法的鲁棒性。特别是，我们开发了一个新的故障点分析和一个新的影响函数分析，证明收益的鲁棒性。此外，我们提出了新的理论结果，仅基于局部曲率，这可能是用来建立统计和优化性能的建议拱提升算法与高度非凸损失函数。大量的数值计算被用来说明这些理论特性，并揭示了现有的提升方法的优势时，数据表现出一些离群值。
2015-10-05 cs.AI cs.LG math.ST
Boosting ASR Robustness via Test-Time Reinforcement Learning with Audio-Text Semantic Rewards
通过引入音频-文本语义奖励的测试时强化学习方法，提升ASR系统在嘈杂环境和多样口音下的鲁棒性与准确性。
2026-03-05 cs.AI cs.LG cs.SD
Tree Boosting Methods for Balanced andImbalanced Classification and their Robustness Over Time in Risk Assessment
Vodafone GmbH（沃达丰公司）；International University of Applied Sciences GmbH（国际应用科学大学）
本文评估XGBoost和Imbalance-XGBoost在不同数据规模和类别分布下的性能，提出结合超参数优化的树提升方法，在风险评估中显著优于基线，且对时间变化具有一定鲁棒性。
2025-04-25 cs.LG
Boosting Graph Robustness Against Backdoor Attacks: An Over-Similarity Perspective
Beijing University of Posts and Telecommunications（北京邮电大学）
针对图后门攻击中触发器与干净节点难以区分的问题，提出基于过度相似性检测的防御方法SimGuard，利用对比学习训练检测器分离触发器，在保持干净节点性能的同时有效防御多种后门攻击。
2026-06-09 cs.LG
Boosting Few-Pixel Robustness Verification via Covering Verification Designs
Technion（以色列理工学院）
本文提出 CoVerD，一种通过预测候选覆盖的块大小分布来选择覆盖验证设计的 $L_0$ 鲁棒性验证器，在不构造覆盖的情况下降低验证时间，实验显示平均加速达 5.1 倍并可扩展到更大的 $L_0$ $ε$-球。
2024-09-30 cs.LG cs.LO cs.PL
Boosting Cross-task Transferability of Adversarial Patches with Visual Relations
Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）
本文提出基于视觉关系的跨任务对抗补丁生成方法 VRAP，通过场景图结合目标识别欺骗与谓词关系消除来破坏视觉推理信息，显著提升对抗补丁在视觉问答和图像描述等推理任务上的黑盒可迁移性。
2023-04-11 cs.CR cs.CV cs.LG
Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping
Jiangxi Normal University（江西师范大学）；Xi’an Jiaotong University（西安交通大学）
Boosting是一种众所周知的用于提高机器学习中弱学习器的准确性的方法。然而，它的理论推广保证在文献中缺失。在本文中，我们提出了一个有效的提升方法与理论推广保证二进制分类。所提出的增强方法的三个关键成分是：a）在增强过程中的\textit{fully-corrective greedy}（FCG）更新，b）作为损失函数的可微分\textit{squared hinge}（也称为\textit{truncated quadratic}）函数，以及c）用于相关联的FCG优化的有效的交替方向乘法（ADMM）算法。所使用的平方铰链损失不仅继承了著名的铰链损失的鲁棒性与离群值的分类，但也带来了一些好处的计算实现和理论论证。在一定的稀疏性假设下，我们推导出所提出的boosting方法的${\cal O}((m/\log m)^{-1/4})$阶的快速学习率，如果施加一定的额外噪声假设，可以进一步改进为${\cal O}((m/\log m)^{-1/2})$，其中$m$是样本集的大小。这两种方法的学习率都是现有Boosting类分类方法推广效果最好的。此外，所提出的方法提供了一个有效的早期停止计划。一系列的玩具模拟和真实数据实验进行了验证发展的理论和证明所提出的方法的有效性。
2020-04-01 cs.LG math.ST stat.ML
Smoothly Giving up: Robustness for Simple Models
Arizona State University（亚利桑那州立大学）；Google Research（谷歌研究院）
对于可解释的并且具有降低的能量和计算成本的模型（例如，医疗保健分析和联邦学习）。训练这种模型的算法的示例包括逻辑回归和提升。然而，这些算法面临的一个挑战是，他们证明遭受标签噪声，这已被归因于经常使用的凸损失函数和更简单的假设类之间的联合相互作用，导致过于强调被放在离群值。在这项工作中，我们使用基于裕度的$α$ -损失，它不断调整之间的规范凸和准凸损失，强大的训练简单的模型。我们表明，$α$超参数顺利地引入非凸性，并提供了“放弃”嘈杂的训练样本的好处。我们还提供了用于增强的Long-Servedio数据集和用于逻辑回归的COVID-19调查数据集的结果，突出了我们在多个相关领域的方法的有效性。
2023-02-17 cs.IT cs.LG math.IT
Boosting Causal Additive Models
BMW Group（宝马集团）；TU Dortmund University（多特蒙德工业大学）；Research Center Trustworthy Data Science and Security (UA Ruhr)（可信数据科学与安全研究中心（UA Ruhr））
本文提出基于提升的加性结构方程模型学习方法，通过早停获得一致的因果顺序评分函数，并利用逐分量梯度下降扩展到高维场景，在模拟中表现出竞争力与超参数鲁棒性。
2024-01-12 cs.LG math.PR math.ST
Towards Robust ResNet: A Small Step but A Giant Leap
National University of Singapore（新加坡国立大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；IBM Research（IBM研究院）
本文提出了一种简单而有原则的方法来提高残差网络（ResNet）的鲁棒性，该方法的动机是动态系统的观点。也就是说，深度神经网络可以使用偏微分方程来解释，这自然会启发我们通过显式欧拉方法来表征ResNet。我们的分析研究表明，欧拉方法中的步长因子h能够控制ResNet在训练和泛化方面的鲁棒性。具体来说，我们证明了一个小的步长因子h可以有利于反向传播的训练鲁棒性;从正向传播的角度来看，一个小的h可以帮助模型泛化的鲁棒性。对视觉CIFAR-10和文本AG-NEWS数据集的全面实证评估证实，小h有助于训练和泛化鲁棒性。
2019-07-02 cs.CV cs.LG
Boosting Exploration in Multi-Task Reinforcement Learning using Adversarial Networks
Google Research（谷歌研究院）；Mila, Québec Artificial Intelligence Institute（Mila，魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；CIFAR（加拿大高等研究院）；IVADO（IVADO数据价值研究所）
近年来，强化学习（RL）取得了显著的进展。然而，传统训练方法的局限性越来越明显，特别是在元强化学习环境中，智能体面临着新的、看不见的任务。传统的训练方法在这种情况下很容易失败，因为它们需要更强的抗逆境能力。我们提出的多任务强化学习（MT-RL）对抗训练机制解决了RL中传统训练方法的局限性，特别是在代理面临新任务的元RL环境中。对抗性组件挑战智能体，迫使它在动态和不可预测的情况下提高决策能力。该组件的操作不依赖于手动干预或特定于领域的知识，使其成为一个高度通用的解决方案。在多个MT-RL环境中进行的实验表明，对抗性训练可以更好地探索和更深入地理解环境。MT-RL的对抗训练机制为RL代理的训练和开发提供了新的视角，是对该领域的宝贵贡献。
2023-02-06 cs.LG
Gradient-based Quadratic Multiform Separation
National Tsing Hua University（国立清华大学）
分类作为一种监督学习概念是机器学习的重要内容。它的目的是将一组数据分类到类中。目前常用的分类方法有k-近邻、随机森林、支持向量机等。他们各有利弊，没有一个人对各种问题都是不可战胜的。在这篇论文中，我们专注于二次多形式分离（QMS），这是Michael Fan等人最近提出的一种分类方法。它的概念新颖，数学结构丰富，损失函数的定义新颖，使其有别于现有的分类方法。受到QMS的启发，我们提出利用基于梯度的优化方法Adam来获得最小化QMS特定损失函数的分类器。此外，我们通过探索超参数和精度之间的关系，提供有关模型调整的建议。我们的实证结果表明，QMS表现得一样好，大多数分类方法的准确性。其卓越的性能几乎可以与赢得大型机器学习竞赛的梯度增强算法相媲美。
2021-10-26 cs.LG stat.ML
