Omni: Automated Ensemble with Unexpected Models against Adversarial Evasion Attack
North Carolina State University（北卡罗来纳州立大学）
背景：基于机器学习的安全检测模型在现代恶意软件和入侵检测系统中已经变得普遍。然而，以前的研究表明，这种模型容易受到对抗性逃避攻击。在这种类型的攻击中，输入（即，对抗性示例）是由智能恶意对手特别制作的，目的是被现有技术水平的模型错误分类（例如，深度神经网络）。一旦攻击者可以欺骗分类器，使其认为恶意输入实际上是良性的，他们就可以使基于机器学习的恶意软件或入侵检测系统失效。目标：通过集成模型的思想，帮助安全从业者和研究人员构建一个更强大的模型来对抗非自适应、白盒和非针对性的对抗性规避攻击。方法：我们提出了一种名为Omni的方法，其主要思想是探索创建“意外模型”集合的方法;即，模型的控制超参数有一个大的距离对手的目标模型的超参数，我们然后做一个优化的加权集成预测。测试结果：在对五种安全数据集（NSL-KDD，CIC-IDS-2017，CSE-CIC-IDS 2018，CICAnd-Mal 2017和Contagio PDF数据集）进行的五种类型的对抗性规避攻击（FGSM，BIM，JSMA，DeepFool和Carlini-Wagner）的研究中，我们发现与其他基线治疗方法相比，Omni是一种很有前途的对抗对抗攻击的防御策略。结论：当采用集成防御对抗性逃避攻击时，我们建议使用与攻击者的预期模型（即，目标模型）通过超参数优化等方法。
2021-10-12 cs.CR cs.LG
REVAMP: Automated Simulations of Adversarial Attacks on Arbitrary Objects in Realistic Scenes
Georgia Institute of Technology（佐治亚理工学院）
REVAMP是一个开源Python库，通过可微渲染和真实环境模拟，首次支持在数字领域内创建任意物体的对抗攻击场景并生成物理上合理的对抗性纹理。
2023-10-18 cs.CV cs.LG
AutoLoRa: A Parameter-Free Automated Robust Fine-Tuning Framework
National University of Singapore（新加坡国立大学）；University of Auckland（奥克兰大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所高级智能项目中心）
针对现有鲁棒微调中梯度方向发散、对超参数敏感的问题，提出基于LoRa分支解耦的AutoLoRa框架，搭配自动学习率与损失标度启发式策略，无需调参即可将预训练特征提取器转为下游任务的对抗鲁棒模型，取得SOTA结果。
2023-10-03 cs.CR cs.LG
A Simple Dynamic Learning Rate Tuning Algorithm For Automated Training of DNNs
IBM Research-India（IBM印度研究院）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research-USA（IBM美国研究院）
在图像数据集上训练神经网络通常需要大量的实验来找到最佳的学习率机制。特别是，对于对抗训练或训练新合成模型的情况，人们事先不知道最佳学习率方案。我们提出了一种用于确定学习率轨迹的自动算法，该算法适用于自然和对抗训练的数据集和模型，而不需要任何数据集/模型特定的调整。它是一种独立的、无参数的、自适应的方法，没有计算开销。我们从理论上讨论了算法的收敛性。我们经验验证我们的算法广泛。我们的研究结果表明，我们提出的方法\emph{consistently}实现了顶级的准确性相比，SOTA基线在文献中的自然以及对抗训练。
2019-10-25 cs.CV cs.LG stat.ML
Gender Bias and Universal Substitution Adversarial Attacks on Grammatical Error Correction Systems for Automated Assessment
University of Cambridge（剑桥大学）
语法错误纠正（GEC）系统执行序列到序列任务，其中包含语法错误的输入词序列由GEC系统纠正这些错误，以输出语法正确的词序列。随着深度学习方法的出现，自动化GEC系统变得越来越流行。例如，GEC系统通常用于英语学习者的语音翻译，作为评估和反馈的一种形式-这些功能强大的GEC系统可以用于自动测量候选人流利程度的一个方面。从候选人的输入句子（或文章）到GEC系统的语法校正的输出句子的\textit{edits}的计数指示候选人的语言能力，其中较少的编辑表明更好的流利性。因此，编辑的计数可以被视为\textit{fluency score}，其中零表示完美的流畅性。然而，尽管基于深度学习的GEC系统非常强大和准确，但它们容易受到对抗攻击的影响：对手可以在系统的输入处引入小的特定变化，从而在输出处引起大的不期望的变化。当考虑将GEC系统应用于自动语言评估时，对手的目的可能是通过对语法不正确的输入句子进行小的更改来欺骗，从而隐藏GEC系统的错误，这样就不会发现编辑，并且候选人被不公正地授予完美的流利度分数。这项工作研究了一个简单的通用替代对抗攻击，非英语母语的人可以实际上采用欺骗GEC系统用于评估。
2022-08-19 cs.CL cs.CY cs.LG
On the Adversarial Robustness of Causal Algorithmic Recourse
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
医疗追索权旨在为个人提供可操作的建议，以克服自动决策系统的不利分类结果。在理想的情况下，追索建议应该对寻求追索的个人特征中合理的小不确定性具有鲁棒性。在这项工作中，我们制定了对抗强大的追索权问题，并表明，追索权的方法，提供最低成本的追索权失败是强大的。然后，我们提出的方法生成对抗性强的追索权的线性和可微分类。最后，我们表明，正规化的决策分类器的行为局部线性，并更强烈地依赖于可操作的功能，有利于存在对抗性强的追索权。
2022-06-13 cs.LG
Adversarial Attacks on Machine Learning Systems for High-Frequency Trading
University of Maryland（马里兰大学）；Rice University（莱斯大学）
电子交易系统通常是完全自动化的，深度学习在这一领域越来越受到关注。然而，很少有人知道这些模型的鲁棒性。我们从对抗性机器学习的角度研究算法交易的估值模型。我们引入新的攻击特定于这个域的大小限制，最大限度地减少攻击成本。我们进一步讨论了如何将这些攻击作为一种分析工具来研究和评估金融模型的鲁棒性。最后，我们研究了现实的对抗攻击的可行性，在这种攻击中，对抗性交易者欺骗自动交易系统做出不准确的预测。
2021-10-29 cs.CR cs.LG q-fin.ST
A non-cooperative meta-modeling game for automated third-party calibrating, validating, and falsifying constitutive laws with parallelized adversarial attacks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Columbia University（哥伦比亚大学）
本构模型的评估，特别是对于高风险和高遗憾的工程应用，需要有效和严格的第三方校准，验证和证伪。虽然在开发验证模型的范例和标准程序方面作出了许多努力，但由于普遍采用的校准和验证过程具有顺序性、手工性和往往带有偏见的性质，因此可能会出现困难，从而减缓数据收集的速度，阻碍在发现新物理学方面取得进展，增加费用，并可能导致对拟议模型的可信度和适用范围的误解。这项工作试图引入博弈论和机器学习技术的概念，以克服许多现有的困难。我们引入了一个自动元建模游戏，其中两个相互竞争的AI代理系统地生成实验数据来校准给定的本构模型并探索其弱点，以通过竞争来改善实验设计和模型鲁棒性。两个智能体在没有人为干预的情况下，在对抗性强化学习框架中自动搜索元建模博弈的纳什均衡。通过将实验室实验的所有可能的设计选项捕获到单个决策树中，我们将实验的设计重新塑造为组合移动的游戏，可以通过两个竞争玩家的深度强化学习来解决。我们的对抗性框架模拟了研究人员之间理想化的科学合作和竞争，以更好地理解所学习的材料定律的应用范围，并防止传统的基于人工智能的第三方验证引起的误解。
2020-04-13 cs.AI cs.LG eess.SP
Auto-ART: Structured Literature Synthesis and Automated Adversarial Robustness Testing
Independent Researcher（独立研究者）
本文提出Auto-ART框架，通过结构化文献综合和自动化对抗鲁棒性测试，填补了领域内的知识空白，实现了多规范评估和合规性映射。
2026-04-22 cs.CR cs.LG
AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models
AutoAdv 提出了一种自动化多轮对抗性提示生成方法，通过策略性重写和优化配置，实现对大型语言模型的安全机制的高效攻击，揭示了其在有害内容生成上的高成功率。
2025-12-23 cs.CR cs.LG
Frequency-based Automated Modulation Classification in the Presence of Adversaries
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
自动调制分类（AMC）旨在通过自动预测无线RF信号的调制星座来提高拥挤的无线电频谱的效率。最近的工作已经证明了深度学习使用原始同相和正交（IQ）时间样本实现强大AMC性能的能力。然而，深度学习模型非常容易受到对抗性干扰的影响，这会导致智能预测模型以高置信度对接收到的样本进行错误分类。此外，对抗性干扰通常是可转移的，允许对手使用为特定分类网络设计的单个扰动来攻击多个深度学习模型。在这项工作中，我们提出了一种新的接收器架构，由能够承受可转移对抗性干扰的深度学习模型组成。具体来说，我们证明了针对时域特征训练的模型的对抗性攻击不容易转移到使用频域特征训练的模型。在这种能力下，我们证明了递归神经网络（RNN）的分类性能提高超过30%，卷积神经网络（CNN）的分类性能提高超过50%。我们进一步证明了我们的基于频率特征的分类模型，在没有攻击的情况下，准确率超过99%。
2021-02-19 cs.LG eess.SP
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO（联邦科学与工业研究组织数据61研究院）；Monash University（莫纳什大学）
本文研究分布式预测器的对抗鲁棒性，提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验，并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML
Robust Text CAPTCHAs Using Adversarial Examples
University of California Los Angeles（加州大学洛杉矶分校）；JD AI Research（京东人工智能研究院）；IBM Research（IBM研究院）
CAPTCHA（完全自动化的公共Truing测试，以区分计算机和人类）是一种广泛使用的技术，用于区分真实用户和自动用户，如机器人。然而，人工智能技术的进步削弱了许多CAPTCHA测试，并可能引发安全问题。在本文中，我们提出了一个用户友好的基于文本的CAPTCHA生成方法称为鲁棒文本CAPTCHA（RTC）。在第一阶段，前景和背景的随机采样的字体和背景图像，然后合成成可识别的伪对抗CAPTCHA构建。在第二阶段，我们设计并应用了一个高度可转移的对抗攻击文本验证码，以更好地阻止验证码求解器。我们的实验涵盖了全面的模型，包括浅层模型，如KNN，SVM和随机森林，各种深层神经网络和OCR模型。实验表明，我们的CAPTCHA具有低于百万分之一的失败率一般和高可用性。它们还可以抵御攻击者可能采用的各种防御技术，包括对抗性训练、数据预处理和手动标记。
2021-01-07 cs.CV cs.LG
Adversarial Attacks Against Deep Learning Systems for ICD-9 Code Assignment
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
ICD-9编码的手动注释是一个耗时且容易出错的过程。基于深度学习的系统解决了自动化ICD-9编码的问题，取得了有竞争力的性能。鉴于电子医疗记录的日益普及，这种自动化系统有望最终取代人类编码器。在这项工作中，我们研究了一个简单的基于打字的对抗攻击策略如何影响最先进的模型的性能，用于预测出院总结中前50个最常见的ICD-9代码。初步结果表明，恶意对手使用梯度信息可以制作特定的扰动，表现为常规的人类错别字，在出院摘要中不到3%的单词会显著影响基线模型的性能。
2020-09-29 cs.CL cs.CR cs.LG
Learning to Attack with Fewer Pixels: A Probabilistic Post-hoc Framework for Refining Arbitrary Dense Adversarial Attacks
Monash University（莫纳什大学）；Defence Science and Technology Group, Department of Defence（国防部国防科学技术集团）
据报道，深度神经网络图像分类器容易受到对抗性规避攻击的影响，这种攻击使用精心制作的图像来误导分类器。许多对抗攻击都属于密集攻击的范畴，它们通过扰动自然图像的所有像素来生成对抗样本。为了产生稀疏扰动，最近已经开发了稀疏攻击，其通常是通过用稀疏调节修改密集攻击的算法而得到的独立攻击，导致攻击效率降低。在本文中，我们将从不同的角度来解决这个问题。我们从密集攻击产生的扰动中选择最有效的扰动，基于这样一个事实，我们发现密集攻击产生的图像上的大量扰动可能对攻击分类器贡献不大。因此，我们提出了一个概率事后框架，细化给定的密集攻击，通过显着减少扰动像素的数量，但保持其攻击能力，训练与互信息最大化。在任意密集攻击下，该模型具有吸引人的兼容性，使其对抗图像更逼真，并且在更少的扰动下不易被检测到。此外，我们的框架执行对抗攻击比现有的稀疏攻击快得多。
2022-02-21 cs.CR cs.CV cs.LG
Adversarial Robustness Curves
Bielefeld University, Germany（德国比勒费尔德大学）
对抗性例子的存在导致人们对自动化系统产生的预测的信任存在相当大的不确定性。这种不确定性反过来又导致了在理解对抗鲁棒性方面的大量研究工作。在这项工作中，我们采取的第一步分离鲁棒性分析的鲁棒性阈值和范数的选择。我们提出的鲁棒性曲线作为一个更一般的观点的鲁棒性行为的模型，并调查在何种情况下，他们可以定性地依赖于所选择的规范。
2019-07-31 cs.LG stat.ML
Simple Post-Training Robustness Using Test Time Augmentations and Random Forest
Tel Aviv University（特拉维夫大学）
尽管深度神经网络（DNN）在许多现实任务上都取得了出色的性能，但它们极易受到对抗攻击的攻击。对抗这种攻击的一种主要防御方法是对抗性训练，这种技术通过将对抗性噪声引入其输入来训练DNN对对抗攻击具有鲁棒性。这个过程是有效的，但必须在培训阶段进行。在这项工作中，我们提出了增强随机森林（ARF），这是一种简单易用的策略，用于在不修改其权重的情况下对现有的预训练DNN进行鲁棒化。对于每个图像，我们通过应用不同的颜色，模糊，噪声和几何变换来生成随机测试时间增强。然后我们使用DNN的logits输出来训练一个简单的随机森林来预测真实的类标签。我们的方法实现了最先进的对抗鲁棒性的白盒和黑盒攻击的多样性与自然图像的分类最小的妥协。我们还针对许多自适应白盒攻击测试了ARF，当与对抗性训练相结合时，它显示出出色的结果。代码可在https://github.com/giladcohen/ARF上获得。
2021-11-25 cs.CV cs.LG
Adversarial robustness of amortized Bayesian inference
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
研究摊销贝叶斯推断的对抗鲁棒性，发现微小观测扰动会导致后验剧烈变化，提出基于Fisher信息惩罚的高效正则化方案以提升鲁棒性。
2023-05-24 cs.LG stat.ML
AutoBayes: Automated Bayesian Graph Exploration for Nuisance-Robust Inference
Northeastern University（东北大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
学习捕获任务相关特征但不受干扰变化影响的数据表示仍然是机器学习中的关键挑战。我们引入了一个自动贝叶斯推理框架，称为AutoBayes，它探索了连接分类器，编码器，解码器，估计器和对抗网络块的不同图形模型，以优化滋扰不变的机器学习管道。AutoBayes还支持学习分解表示，其中潜在变量被拆分为多个部分，以施加与滋扰变量和任务标签的各种关系。我们在几个公共数据集上对框架进行了基准测试，并分析了它在有/没有变分建模和对抗训练的情况下进行主题迁移学习的能力。我们展示了一个显着的性能改善与集成学习探索图形模型。
2020-11-30 cs.LG eess.SP stat.ML
Diagnostics for Deep Neural Networks with Automated Copy/Paste Attacks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对深度神经网络可解释监督难的问题，提出全自动发现复制/粘贴对抗攻击的SNAFUE方法，用其对ImageNet分类器红队测试，复现已有攻击并发现数百个新漏洞，全程无需人工参与。
2023-05-05 cs.AI cs.CR cs.LG
Quantification of Uncertainty with Adversarial Models
ELLIS Unit Linz（林茨ELLIS单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
提出QUAM方法通过识别积分下乘积较大的区域来更好地估计认知不确定性，其利用对抗模型在深度学习视觉任务中优于Deep Ensembles和MC dropout等现有方法。
2023-10-24 cs.LG stat.ML
GATSBI: Generative Adversarial Training for Simulation-Based Inference
University of Tübingen（图宾根大学）；TU Munich（慕尼黑工业大学）；Helmholtz Centre Hereon（亥姆霍兹Hereon中心）
基于仿真的推断（SBI）是指对随机模型的统计推断，我们可以为其生成样本，但不能计算似然性。像SBI算法一样，生成对抗网络（GANs）不需要显式的似然性。研究了SBI与GANs之间的关系，介绍了一种对抗SBI的方法GATSBI。GATSBI在对抗环境中重新制定变分目标，以学习隐式后验分布。与GATSBI的推断是摊销的观察，工程在高维后空间，并支持隐式先验。我们评估GATSBI的两个SBI基准问题和两个高维模拟器。在浅水水体表面的波传播模型，我们表明，GATSBI可以返回校准后的估计，即使在高维度。在相机光学模型上，它推断出一个高维度的后验，给出了一个隐式的先验，并表现得比一个国家的最先进的SBI方法。我们还展示了如何GATSBI可以扩展到执行顺序后验估计，专注于个人的意见。总的来说，GATSBI为利用GANs的进步在基于高维仿真的模型上执行贝叶斯推断提供了机会。
2022-03-12 cs.LG stat.ME stat.ML
Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods
University of California, Irvine（加州大学欧文分校）；Harvard University（哈佛大学）
随着机器学习黑匣子越来越多地被部署在医疗保健和刑事司法等领域，人们越来越重视构建以可解释的方式解释这些黑匣子的工具和技术。这些解释被领域专家用来诊断系统性错误和黑箱的潜在偏见。在本文中，我们证明了事后解释技术，依赖于输入扰动，如石灰和SHAP，是不可靠的。具体来说，我们提出了一种新的脚手架技术，通过允许敌对实体制作任意所需的解释，有效地隐藏了任何给定分类器的偏见。我们的方法可以用于支架任何偏见的分类器在这样一种方式，其预测的输入数据分布仍然存在偏见，但事后解释的支架分类器看起来无害。使用多个真实世界数据集（包括COMPAS）的广泛评估，我们展示了我们的框架制作的极端偏见（种族主义）分类器如何轻松地欺骗流行的解释技术，如LIME和SHAP，以生成不反映潜在偏见的无害解释。
2020-02-03 cs.AI cs.LG stat.ML
Adversarial Training for Aspect-Based Sentiment Analysis with BERT
University of Parma（帕尔马大学）
基于情感的情感分析（ABSA）处理情感及其目标的提取。为了帮助神经网络更好地泛化，为这项任务收集标记数据可能是费力和耗时的。作为替代方案，可以通过在嵌入空间中执行的对抗过程人工生成与真实世界示例相似的数据。虽然这些例子不是真实的句子，但它们已被证明是一种正则化方法，可以使神经网络更加鲁棒。在这项工作中，我们将Goodfellow et al.（2014）提出的对抗训练应用于Xu et al.（2019）提出的后训练BERT（BERT-PT）语言模型，用于情感分析中的Aspect Extraction和Aspect Sentiment Classification两个主要任务。在通过消融研究改进后训练的BERT的结果之后，我们提出了一种新的称为BERT对抗训练（BAT）的架构，以在ABSA中利用对抗训练。所提出的模型在这两个任务中都优于后训练的BERT。据我们所知，这是第一次在ABSA中应用对抗训练的研究。
2020-10-23 cs.CL cs.LG stat.ML
Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks
Shanghai Jiao Tong University（上海交通大学）；KU Leuven（鲁汶大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
基于分数的查询攻击（SQA）通过在数十个查询中制作对抗性扰动，仅使用模型的输出分数，对深度神经网络构成实际威胁。尽管如此，我们注意到，如果输出的损失趋势受到轻微干扰，SQA很容易被误导，从而变得不那么有效。根据这一思想，我们提出了一种新的防御，即攻击者的对抗攻击（AAA），混淆SQA对不正确的攻击方向，通过稍微修改输出logits。通过这种方式，（1）无论模型的最坏情况鲁棒性如何，都可以防止SQA;（2）原始模型预测几乎不会改变，即，不降低清洁精度;（3）同时可以改善置信度分数的校准。大量的实验提供了验证上述优点。例如，通过在CIFAR-10上设置$\ell_\infty=8/255$，我们提出的AAA帮助WideResNet-28在Square攻击（2500次查询）下获得80.59%的准确率，而最佳先验防御（即，对抗训练）仅达到67.44%。由于AAA攻击了SQA的一般贪婪策略，因此AAA相对于8种防御的优势可以在6个SQA下的8个CIFAR-10/ImageNet模型上一致地观察到，使用不同的攻击目标，边界，范数，损失和策略。此外，AAA校准更好，而不会损害准确性。我们的代码可在https://github.com/Sizhe-Chen/AAA上获得。
2022-12-16 cs.CR cs.LG
Bias Field Poses a Threat to DNN-based X-Ray Recognition
Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Teesside University（提赛德大学）
胸部X光在筛查和诊断包括COVID-19在内的许多肺部疾病中发挥着关键作用。最近，许多工作为胸部X射线图像构建深度神经网络（DNN），以实现肺部疾病的自动化和高效诊断。然而，在胸部X射线图像中普遍存在着由于医学图像采集过程不当而引起的偏场，而DNN对偏场的鲁棒性却很少被研究，这无疑对基于X射线的自动诊断系统构成了威胁。在本文中，我们研究了这个问题的基础上，最近的对抗攻击，并提出了一个全新的攻击，即，对抗性偏置场攻击，其中偏置场而不是加性噪声作为对抗性扰动来欺骗DNN。这种新的攻击提出了一个关键问题：如何局部调整偏置场，以实现高攻击成功率，同时保持其空间平滑性，以保证高的真实性。这两个目标相互矛盾，因此使攻击具有重大挑战性。为了克服这一挑战，我们提出了对抗-平滑偏置场攻击，它可以通过联合平滑和对抗约束来局部调整偏置场。因此，对抗性X射线图像不仅可以有效地欺骗DNN，而且还可以保持非常高的真实性。我们在具有强大DNN的真实胸部X射线数据集上验证了我们的方法，例如，ResNet 50、DenseNet 121和MobileNet，并在图像真实性和攻击可转移性方面对最新的攻击表现出不同的特性。我们的方法揭示了基于DNN的X射线自动诊断的潜在威胁，可以肯定有利于偏置场鲁棒自动诊断系统的发展。
2021-05-03 cs.CV cs.LG eess.IV
DeepFense: Online Accelerated Defense Against Adversarial Deep Learning
University of California San Diego（加州大学圣地亚哥分校）
对抗性深度学习（DL）的最新进展为恶意攻击开辟了一个基本上未被探索的领域，这些恶意攻击危及自主DL系统的完整性。随着DL在关键和时间敏感的应用中的广泛使用，包括无人驾驶汽车，无人机和视频监控系统，恶意输入的在线检测至关重要。我们提出了DeepFense，这是第一个端到端的自动化框架，可以同时实现DL模型的高效和安全执行。DeepFense将挫败对抗攻击的目标形式化为一个优化问题，最小化DL网络所覆盖的潜在特征空间中很少观察到的区域。为了解决上述最小化问题，训练一组互补但不相交的模块化冗余，以与受害者DL模型并行地验证输入样本的合法性。DeepFense利用硬件/软件/算法协同设计和自定义加速，在资源受限的环境中实现即时性能。所提出的对策是无监督的，这意味着没有对抗样本被利用来训练模块冗余。我们还提供了一个配套的API，以减少非经常性的工程成本，并确保自动适应各种平台。在FPGA和GPU上进行的广泛评估表明，在实现在线对抗样本检测的同时，性能提高了两个数量级。
2018-08-21 cs.CR cs.LG stat.ML
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
Veyon Solutions
研究评估了LLM越狱攻击成功率（ASR）的自动评判器（安全分类器与LLM评判）的可靠性，发现两者存在相反缺陷，且易受攻击，建议报告评判器的精确率和召回率并校正ASR。
2026-06-26 cs.CL cs.CR cs.LG
On the Robustness of Bayesian Neural Networks to Adversarial Attacks
University of Trieste（的里雅斯特大学）；TU Delft University（代尔夫特理工大学）；SISSA, International School of Advanced Studies（国际高等研究学院（SISSA））；University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
本文从过参数化极限下的攻击几何出发，证明BNN后验的损失期望梯度消失，从而对基于梯度的对抗攻击具有鲁棒性，并经多数据集实验验证其兼具高准确率与攻击鲁棒性。
2024-02-28 cs.AI cs.CR cs.LG
Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings
University College Dublin（都柏林大学学院）
深度神经网络在不同的判别分类任务中取得了成功，尽管它们的校准很差，通常会将高概率分配给错误分类的预测。潜在的后果可能会导致模型在实际应用中部署时的可信度和问责制，其中预测是根据其置信度评分进行评估的。现有的解决方案表明，通过将深度神经网络和贝叶斯推断相结合来量化模型对模糊数据点预测的不确定性，可以获得好处。在这项工作中，我们提出了验证和测试的有效性，基于似然模型的任务的分布检测（OoD）。在不同的数据集和指标中，我们发现贝叶斯深度学习模型在某些情况下的表现略优于传统的神经网络，并且在输入/输出分布类之间的重叠最小的情况下，即使是最好的模型在检测OoD数据时也会表现出AUC分数的降低。初步调查表明，由于初始化，架构或激活功能的选择偏见的潜在的固有作用。我们假设，神经网络对看不见的输入的敏感性可能是一个多因素的现象，产生于不同的建筑设计选择，往往被维度灾难放大。此外，我们还进行了一项研究，以发现对抗性噪声抵抗方法对分布内和分布外性能的影响，并研究贝叶斯深度学习器的对抗性噪声鲁棒性。
2020-10-03 cs.AI cs.IT cs.LG
Automated Synthesis and Adversarial Validation of Executable Causal Research Pipelines
研究聚焦自动化研究系统隐性失败问题，核心方法是提出ARA框架，集成多环节到统一管道，将自然语言问题转化为可执行代码并评估。主要贡献是改变失败模式，强调有效性优先的自动化科学系统评估应综合考量答案准确性及因果声明合理性。
2026-07-24 cs.LG
Automated Treatment Planning in Radiation Therapy using Generative Adversarial Networks
University of Toronto（多伦多大学）；Princess Margaret Cancer Centre（玛格丽特公主癌症中心）；York University（约克大学）
基于知识的计划（KBP）是一种放射治疗计划的自动化方法，涉及在将理想的治疗计划校正为可交付计划之前预测理想的治疗计划。我们提出了一种生成对抗网络（GAN）方法，用于预测理想的3D剂量分布，避免了先前的特定于站点的特征工程和预测计划的低维表示的范例。在口咽癌患者数据集上的实验表明，我们的方法在几个临床满意度标准和相似性指标上显着优于以前的方法。
2018-07-17 cs.LG physics.med-ph stat.ML
Adversarial Random Forest Classifier for Automated Game Design
University of Alberta（阿尔伯塔大学）
自主游戏设计，即通过算法生成游戏，一直是技术游戏研究领域的一个长期目标。然而，现有的自主游戏设计系统在很大程度上依赖于人类创作的游戏设计知识，如基于搜索的方法中的健身功能。在本文中，我们描述了一个实验，试图学习一个类似人类的适应度函数，以对抗的方式进行自主游戏设计。虽然我们的实验工作没有达到我们的预期，我们提出了我们的系统和结果的分析，我们希望将是有益的，未来的自主游戏设计研究。
2021-07-26 cs.AI cs.LG
Automated Detection System for Adversarial Examples with High-Frequency Noises Sieve
The Institute of Information Security（信息安全研究所）
深度神经网络正被应用于许多任务中，并取得了令人鼓舞的成果，而且往往达到了人类水平的性能。然而，深度神经网络容易受到被称为对抗性样本的精心设计的输入样本的影响。特别是，神经网络倾向于对人类无法感知的对抗性样本进行错误分类。本文介绍了一种新的检测系统，它可以自动检测深度神经网络上的对抗性示例。我们提出的系统可以在没有人为干预的情况下以端到端的方式区分敌对样本和良性图像。我们利用频域在对抗样本中的重要作用，并提出了一种检测恶意样本的方法。在两个标准基准数据集（MNIST和ImageNet）上进行评估时，我们的方法在许多设置中实现了99.7 - 100%的检出率。
2019-08-05 cs.CV cs.LG eess.IV
Automated Discovery of Adaptive Attacks on Adversarial Defenses
ETH Zürich（苏黎世联邦理工学院）；LatticeFlow（LatticeFlow公司）
对抗性防御的可靠评估是一项具有挑战性的任务，目前仅限于手动制造攻击的专家，这些攻击利用防御的内部工作原理或基于固定攻击集合的方法，其中没有一个可能对手头的特定防御有效。我们的关键观察是，自适应攻击是由可重用的构建块，可以在搜索空间中形式化，并用于自动发现未知防御的攻击。我们在24种对抗性防御上评估了我们的方法，并表明它优于AutoAttack，AutoAttack是目前最先进的对抗性防御可靠评估工具：我们的工具通过为10个模型生成3.0 - 50.8%的额外对抗性示例发现了更强的攻击，同时为其余模型获得了强度略强或相似的攻击。
2021-10-27 cs.CV cs.LG stat.ML
Robust Linear Dueling Bandits with Post-serving Context under Unknown Delays and Adversarial Corruptions
KAIST（韩国科学技术院）
针对同时存在服务后上下文、延迟反馈和对抗性破坏的易变环境，提出RCDP-UCB算法，通过预测服务后上下文和自适应加权策略，实现了延迟无关的遗憾上界，并揭示了破坏与延迟之间的加性成本结构。
2026-05-30 cs.LG
Evaluating Automated Driving Planner Robustness against Adversarial Influence
The MITRE Corporation（米特尔公司）
评估自动驾驶规划器的鲁棒性是一项关键且具有挑战性的任务。尽管评估车辆的方法已经很成熟，但它们还没有考虑到带有自动驾驶组件的车辆与敌对代理共享道路的现实。我们的方法基于概率信任模型，旨在帮助研究人员评估支持机器学习的规划者对对抗性影响的保护的鲁棒性。与对所有车辆使用相同的评估数据集来评估安全性的既定做法相比，我们认为对抗性评估从根本上需要一个寻求击败特定保护的过程。因此，我们建议，评估的基础上估计的困难，对手，以确定条件，有效地诱导不安全的行为。这种类型的推理需要关于威胁、保护和规划决策方面的精确陈述。我们证明了我们的方法，通过评估保护规划师依赖于基于摄像头的物体探测器。
2022-05-29 cs.AI cs.CR cs.LG
AGAN: Towards Automated Design of Generative Adversarial Networks
Baidu Research（百度研究院）
生成对抗网络（GANs）的最新进展显示出通过架构变化改善GAN训练的有希望的迹象。尽管取得了一些早期的成功，但目前GAN架构的设计需要人类的专业知识，艰苦的试错测试，并且经常从其图像分类对应物中汲取灵感。在本文中，我们提出了第一个神经架构搜索算法，深度生成模型的自动神经架构搜索，或缩写为AGAN，专门适用于GAN训练。对于CIFAR-10上的无监督图像生成任务，我们的算法在相同的正则化技术下找到了优于最先进模型的架构。对于有监督的任务，自动搜索的架构也实现了极具竞争力的性能，在分辨率$32\times32$上优于人类发明的最佳架构。此外，我们的经验表明，AGAN学习的模块可转移到其他图像生成任务，如STL-10。
2019-06-25 cs.AI cs.LG stat.ML
Harry Potter is Still Here! Probing Knowledge Leakage in Targeted Unlearned Large Language Models via Automated Adversarial Prompting
University of Science, VNU-HCM（越南国立大学胡志明市理科大学）；Indiana University（印第安纳大学）
提出LURK框架，通过自动生成对抗性后缀提示探测已遗忘LLM中隐藏的哈利·波特知识，揭示现有遗忘评估标准的漏洞，提供更严格的鲁棒性诊断工具。
2025-05-22 cs.AI cs.CL cs.CR
Adversarial Online Learning with Variable Plays in the Pursuit-Evasion Game: Theoretical Foundations and Application in Connected and Automated Vehicle Cybersecurity
University of Michigan（密歇根大学）
我们扩展的对抗性/非随机多播放多武装土匪（MPMAB）的情况下，武器的数量是可变的。这项工作的动机是这样一个事实，即分配给扫描不同的关键位置在一个相互连接的交通系统中的资源动态变化，随着时间的推移，并取决于环境。通过分别将恶意黑客和入侵监控系统建模为攻击者和防御者，我们将这两个玩家的问题描述为一个连续的追求-逃避游戏。我们推导出策略博弈的纳什均衡存在的条件。对于防守方，我们提供了一个基于指数加权的算法与次线性伪遗憾。我们进一步扩展我们的模型异构奖励的两个球员，并获得上下限的平均奖励的攻击者。我们提供了数值实验来证明可变臂发挥的有效性。
2021-10-26 cs.AI cs.LG
Pyramid Embedded Generative Adversarial Network for Automated Font Generation
Alibaba（阿里巴巴）
在本文中，我们研究了中文字体合成问题，并提出了一个金字塔嵌入式生成对抗网络（PEGAN）自动生成汉字图像。PEGAN由一个发电机和一个整流器组成。该生成器使用一个编码器-解码器结构，具有级联细化连接和镜像跳过连接。级联细化连接将下采样原始输入的多尺度金字塔嵌入到不同层的编码器特征图中，并且来自编码器的多尺度特征图连接到解码器中的对应特征图以进行镜像跳过连接。通过结合生成对抗损失、像素损失、类别损失和感知损失，生成器和训练器可以交替训练以合成字符图像。为了验证我们提出的PEGAN的有效性，我们首先建立一个评估集，其中的字符是根据其笔画数和使用频率选择，然后使用定性和定量指标来衡量我们的模型的性能与基线方法相比。实验结果证明了该模型的有效性，它显示了自动扩展小字体银行到完整的潜力。
2018-11-20 cs.CV cs.LG
Reliable Graph Neural Network Explanations Through Adversarial Training
Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
图神经网络（GNN）的解释在很大程度上是通过事后自省来促进的。虽然这被认为是成功的，但许多事后解释方法已被证明无法捕获模型的学习表示。由于这个问题，值得考虑如何训练模型，使其更适合事后分析。鉴于对抗训练在计算机视觉领域的成功，训练模型具有更可靠的表示，我们提出了一个类似的GNN训练范式，并分析了各自对模型解释的影响。在没有地面真值标签的情况下，我们还确定了解释方法如何通过新的度量标准利用模型的学习表示，并证明对抗性训练可以帮助更好地提取化学领域相关的见解。
2021-06-25 cs.LG
Adversarial Distillation of Bayesian Neural Network Posteriors
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
贝叶斯神经网络（BNN）允许我们以有原则的方式对不确定性进行推理。随机梯度朗之万动力学（SGLD）通过使用小批量从BNN后验中抽取样本来实现高效的BNN学习。然而，SGLD及其扩展需要存储模型参数的许多副本，这是一个潜在的高昂成本，特别是对于大型神经网络。我们提出了一个框架，对抗后验蒸馏，使用生成对抗网络（GAN）提取SGLD样本。在测试时，样本由GAN生成。我们表明，这种蒸馏框架在最近的BNN应用程序中，包括异常检测，主动学习和防御对抗攻击的性能没有损失。通过构造，我们的框架不仅提取了贝叶斯预测分布，而且提取了后验分布本身。这允许计算诸如近似模型方差之类的量，这在下游任务中很有用。据我们所知，这些是将基于MCMC的BNN应用于上述下游应用的第一个结果。
2018-06-27 cs.LG stat.ML
CreativeGAN: Editing Generative Adversarial Networks for Creative Design Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Universiti Teknologi PETRONAS（马来西亚石油科技大学）
现代机器学习技术，如深度神经网络，通过发现大数据中的模式并做出准确的预测，正在改变从图像识别到语言理解的许多学科。它们在合成新设计方面也取得了可喜的成果，这对于创造产品和实现创新至关重要。生成模型，包括生成对抗网络（GANs），已被证明是有效的设计综合与应用范围从产品设计到超材料设计。这些自动化计算设计方法可以支持人类设计师，他们通常通过使用经验和知识反复探索想法的耗时过程来创建设计。然而，在自动合成“创意”设计方面仍然存在挑战。然而，GAN模型无法生成独特的设计，这是创新的关键，也是基于AI的设计自动化应用的主要差距。本文提出了一种自动化的方法，命名为CreativeGAN，用于生成新颖的设计。它通过识别使设计独特的组件并修改GAN模型来实现这一点，以便更有可能生成具有识别出的独特组件的设计。该方法结合了最先进的新颖性检测，分割，新颖性本地化，重写和生成模型的创意设计合成。使用自行车设计的数据集，我们证明了该方法可以创建新的自行车设计与独特的框架和处理，并推广到广泛的设计罕见的新奇。我们的自动化方法不需要人为干预，并展示了一种重新思考创意设计合成和探索的方法。
2021-03-10 cs.LG
Garment Design with Generative Adversarial Networks
Northeastern University（东北大学）
设计师倾向于坚持一个特定的心理定势和沉重的情感投资在他们的初始想法往往阻碍他们的创新能力，在设计思维和构思过程。特别是在时尚行业，客户需求日益多样化，全球竞争激烈，上市时间缩短（又名，“快时尚”）进一步加剧了设计师面临的这一挑战。深度生成模型的最新进展为通过自动生成和/或编辑设计概念来克服设计师的认知障碍创造了新的可能性。本文探讨了生成对抗网络（GAN）的设计概念的自动属性级编辑的能力。具体来说，属性GAN（AttGAN）-一个生成模型证明成功的属性编辑的人脸-用于自动编辑的服装的视觉属性，并在一个大型的时尚数据集上进行测试。实验支持假设的潜力GAN的属性级编辑的设计概念，并强调几个关键的限制和研究问题，以解决在未来的工作。
2020-07-23 cs.CV cs.LG
Post-Hoc Explanations Fail to Achieve their Purpose in Adversarial Contexts
University of Tübingen（蒂宾根大学）
现有和计划中的立法规定了提供有关机器学习算法及其功能的信息的各种义务，通常被解释为“解释”的义务。许多研究人员建议使用事后解释算法来实现这一目的。在本文中，我们结合法律，哲学和技术参数表明，事后解释算法是不适合实现法律的目标。事实上，大多数要求解释的情况都是对抗性的，这意味着解释的提供者和接受者有相反的利益和动机，因此提供者可能会为了自己的目的而操纵解释。我们表明，这一根本冲突无法解决，因为高度的模糊性的事后解释在现实的应用场景。因此，事后解释算法不适合实现法律规范所固有的透明度目标。相反，有必要更明确地讨论“可解释性”义务所依据的目标，因为这些目标往往可以通过其他机制更好地实现。特别是鉴于目前正在就欧洲联盟《人工智能法》草案进行谈判，迫切需要就对抗性背景下的事后解释的潜力和局限性进行更公开和诚实的讨论。
2022-05-10 cs.AI cs.LG
Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation
IBM Research（IBM研究院）；Trinity College Dublin（都柏林大学）
本文提出PCAP方法，通过多身份对抗搜索发现真实攻击场景，提升模型鲁棒性，生成多样化防御数据集。
2026-05-12 cs.CR cs.LG
Reimagining City Configuration: Automated Urban Planning via Adversarial Learning
University of Central Florida（中佛罗里达大学）；The Chinese University of Hong Kong（香港中文大学）；Virginia Tech（弗吉尼亚理工大学）
城市规划是指设计土地使用配置的努力。有效的城市规划有助于减轻城市系统的运营和社会脆弱性，如高税收、犯罪、交通拥堵和事故、污染、抑郁和焦虑。由于城市系统的高度复杂性，这些任务大多由专业规划师完成。但是，人类规划者需要更长的时间。深度学习的最新进展促使我们提出这样的问题：机器是否可以像人类一样自动快速地计算土地使用配置，以便人类规划者最终能够根据特定需求调整机器生成的规划？为此，我们制定了自动化的城市规划问题，学习配置土地使用的任务，鉴于周围的空间环境。为了设置任务，我们定义了一个土地使用配置作为一个纬度通道张量，其中每个通道是一个类别的POI和一个条目的值是POI的数量。然后，我们的目标是提出一个对抗性学习框架，可以自动生成这样的张量为一个计划外的区域。特别是，我们首先通过使用地理和人类移动数据从空间图中学习表示来表征未规划区域周围区域的上下文。其次，我们将每个未规划区域及其周围的上下文表示组合为元组，并将所有元组分类为阳性（规划良好的区域）和阴性样本（规划不良的区域）。第三，我们开发了一种对抗性的土地使用配置方法，其中周围的上下文表示被馈送到生成器中以生成土地使用配置，并且学习器学习区分正样本和负样本。
2021-01-07 cs.AI cs.LG
Layered Unlearning for Adversarial Relearning
MIT（麻省理工学院）
针对训练后修改易被对抗性重学习绕过的问题，本文提出分层遗忘算法 LU，通过分阶段构建差异化抑制机制提升多种遗忘方法的鲁棒性。
2025-05-14 cs.LG
Fast Text-to-Audio Generation with Adversarial Post-Training
UC – San Diego（加州大学圣迭戈分校）；Stability AI；Arm
针对文本到音频系统推理延迟高的问题，提出不依赖蒸馏的ARC对抗后训练方法，结合对比判别器提升提示遵循度，适配Stable Audio Open后实现当前最快的文本到音频生成速度。
2025-05-20 cs.AI cs.LG cs.MM
RADIANCE: Radio-Frequency Adversarial Deep-learning Inference for Automated Network Coverage Estimation
University of Arizona（亚利桑那大学）
针对实地勘测获取射频覆盖图成本高、难实现的问题，提出基于GAN的RADIANCE方法，结合语义图、新型梯度损失函数与天线方向图合成室内射频图，多项指标表现优异。
2023-08-21 cs.LG cs.NI eess.SP
AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models
University of California, Berkeley（加州大学伯克利分校）
AutoAdv通过多轮自适应机制实现高成功率的对抗性提示攻击，揭示当前安全机制在多轮对话中的脆弱性。
2025-12-21 cs.AI cs.CL cs.CR
Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data
Janelia Research Campus（珍妮亚研究园区）；HHMI（霍华德·休斯医学研究所）
重要性加权自动编码器（IWAE）目标已被证明可以改善标准变分自动编码器（VAE）目标的生成模型的训练。在这里，我们得到的重要性加权扩展AVB和AAE。这些潜变量模型使用隐式定义的推理网络，其近似后验密度q_∞（z| x）不能直接评估，这是重要性加权的基本要素。我们使用对抗训练的重要性加权方法改进了潜变量模型的训练和推理，并推导出对抗生成模型训练标准和基于边际似然的方法之间的新理论联系。我们将这些方法应用于从钙成像数据推断尖峰神经活动的重要问题，这是神经科学中一个具有挑战性的后验推理问题，并表明对抗方法的后验样本优于VAE中使用的因子化后验。
2019-10-23 cs.LG eess.IV stat.ML
Diffusion Adversarial Post-Training for One-Step Video Generation
ByteDance Seed（字节跳动种子）
针对扩散模型迭代生成慢、现有图像单步蒸馏方法质量下降的问题，提出带架构与流程改进及近似R1正则的扩散对抗后训练APT方法，实现单步实时生成高清视频与媲美SOTA的单步图像生成。
2025-10-01 cs.AI cs.CV cs.LG
