Latent Adversarial Regularization for Offline Preference Optimization
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Siebel School of Computing（塞贝尔计算学院）；Data Science, University of Illinois at Urbana-Champaign（数据科学，伊利诺伊大学厄巴纳-香槟分校）
本文提出GANPO，通过潜在空间正则化提升语言模型的离线偏好优化性能，增强鲁棒性并减少计算开销。
2026-02-02 cs.AI cs.LG
The Consensus Trap: Collaborative Interleaved Generation to Defend against a Corrupted Majority
Carnegie Mellon University（卡内基梅隆大学）；Foundations of Cooperative AI Lab (FOCAL)（协作人工智能基础实验室（FOCAL））；Adelaide University（阿德莱德大学）
本文提出令牌级轮询协作方法，通过共享自回归上下文中的序列生成，解决多智能体系统中对抗性多数导致的响应级聚合失效问题，证明其在多种推理基准上具有鲁棒性。
2026-11-09 cs.AI cs.CL cs.MA
Boosting Imperceptibility of Stable Diffusion-based Adversarial Examples Generation with Momentum
Fordham University（福特汉姆大学）；Google（谷歌公司）；Florida International University（佛罗里达国际大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Cisco Research（思科研究院）
提出SD-MIAE框架，利用Stable Diffusion操纵token嵌入并引入动量优化对抗扰动，在保持视觉不可感知性和语义相似性的同时，将误分类率提升至79%，较SOTA提高35%。
2024-10-17 cs.CV cs.LG
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
NVIDIA Corporation（英伟达公司）；UC Berkeley（加州大学伯克利分校）
我们提出了一种使用条件生成对抗网络（条件GANs）从语义标签映射合成高分辨率照片级真实感图像的新方法。条件GANs已经实现了各种应用，但结果往往局限于低分辨率，而且还远远不现实。在这项工作中，我们生成了2048 x1024视觉上吸引人的结果，具有新颖的对抗性损失，以及新的多尺度生成器和多尺度架构。此外，我们扩展了我们的框架，交互式视觉操纵两个额外的功能。首先，我们将对象实例分割信息，这使得对象操作，如删除/添加对象和改变对象类别。第二，我们提出了一种方法，以产生不同的结果给出相同的输入，允许用户交互式地编辑对象的外观。人类意见研究表明，我们的方法显著优于现有方法，提高了深度图像合成和编辑的质量和分辨率。
2018-08-20 cs.CV cs.GR cs.LG
Assessing Neural Network Robustness via Adversarial Pivotal Tuning
University of Copenhagen（哥本哈根大学）；Pioneer Centre for AI（先锋人工智能中心）；KTH Stockholm（瑞典皇家理工学院）；Helmholtz AI（亥姆霍兹人工智能）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出Adversarial Pivotal Tuning (APT)方法，利用预训练生成器进行保留类别的语义图像操纵以欺骗分类器，揭示了现有鲁棒分类器的脆弱性并提出改进方法。
2024-01-06 cs.CR cs.CV cs.LG
Fooling Neural Network Interpretations via Adversarial Model Manipulation
Sungkyunkwan University（成均馆大学）
我们问神经网络解释方法是否可以通过对抗性模型操作来愚弄，这被定义为一个模型微调步骤，旨在从根本上改变解释而不损害原始模型的准确性，例如，VGG 19、ResNet 50和DenseNet 121。通过将解释结果直接纳入目标函数的惩罚项中进行微调，我们表明，最先进的基于显着图的解释器，例如，LRP，Grad-CAM和SimpleGrad可以很容易地被我们的模型操作所欺骗。我们提出了两种类型的愚弄，被动和主动，并证明这样的愚弄推广以及整个验证集以及转移到其他解释方法。我们的研究结果是通过视觉上显示被愚弄的解释和报告定量指标来衡量与原始解释的偏差来验证的。我们认为，神经网络解释方法相对于我们的对抗模型操作的稳定性是检查开发鲁棒和可靠的神经网络解释方法的重要标准。
2019-11-01 cs.AI cs.CV cs.LG
Efficient Policy Learning for Non-Stationary MDPs under Adversarial Manipulation
马尔可夫决策过程（MDP）是强化学习的流行模型。然而，其常用的静态动力学和奖励的假设是过于严格，并未能举行对抗，非平稳，或多智能体问题。我们研究了一个情节设置的参数MDP可以不同的情节。我们通过开发对抗强化学习（ARL）算法，将我们的MDP减少到一系列\emph{adversarial}强盗问题，来学习这种潜在对抗MDP的可靠策略。ARL实现了$O(\sqrt{SATH^3})$遗憾，这是最优的$S$，$A$，和$T$，其依赖于$H$是最好的（即使对于通常的平稳MDP）在现有的无模型的方法。
2019-08-21 cs.LG stat.ML
Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation
Department of Mathematics and Computer Science（数学与计算机科学系）；Saarland University（萨尔大学）
最近的工作表明，最先进的分类器是相当脆弱的，在这个意义上，一个小的对抗性的变化，原来具有高置信度正确分类的输入导致错误的分类再次具有高置信度。这引起了人们的担忧，这种分类器容易受到攻击，并质疑其在安全关键系统中的使用。在本文中，我们展示了第一次正式保证的鲁棒性的分类器给出特定于实例的下限的规范所需的输入操作改变分类器的决定。在此基础上，我们提出了Cross-Lipschitz正则化泛函。我们表明，使用这种形式的正则化核方法分别。神经网络提高了分类器的鲁棒性，而没有任何预测性能的损失。
2017-11-05 cs.AI cs.CV cs.LG
Defending Adversarial Attacks via Semantic Feature Manipulation
CSIRO（联邦科学与工业研究组织）；Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）
机器学习模型已经证明了对对抗攻击的脆弱性，更具体地说，是对对抗示例的错误分类。在本文中，我们提出了一个一次性的和攻击不可知的特征操作（FM）-防御，以可解释和有效的方式检测和净化对抗性示例。直觉是，正常图像的分类结果通常抵抗不显著的固有特征变化，例如，不同粗细的手写数字。相反，对抗性的例子对这种变化很敏感，因为扰动缺乏可转移性。为了能够操纵的功能，组合变分自编码器被应用于学习解开的潜在代码，揭示语义特征。通过改变和重构潜码得到的变形对分类变化的抵抗力用于检测可疑输入。此外，通过考虑类共享和类唯一特征，对combo-VAE进行了增强，以净化具有良好质量的对抗性示例。我们经验证明了检测的有效性和净化实例的质量。我们在三个数据集上的实验表明，FM-Defense可以检测到由不同的最先进的对抗攻击产生的几乎$100\%$的对抗示例。它实现了超过$99\%$的整体净化精度的可疑的情况下，关闭正常的例子的歧管。
2020-04-22 cs.CR cs.LG stat.ML
Generating Semantic Adversarial Examples via Feature Manipulation
CSIRO’s Data61（联邦科学与工业研究组织Data61）；Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）
深度神经网络对对抗攻击的脆弱性已经得到了广泛的证明（例如，对抗性示例攻击）。传统的攻击执行非结构化的逐像素扰动来欺骗分类器。另一种方法是在潜在空间中进行扰动。然而，由于缺乏可解释性和解纠缠，这种扰动很难控制。在本文中，我们提出了一个更实际的对抗攻击，通过设计结构化的扰动与语义。我们所提出的技术操纵图像的语义属性，通过解开潜在的代码。我们的技术背后的直觉是，类似领域的图像具有一些共同共享但与主题无关的语义属性，例如手写数字中线条的粗细，这些属性可以双向映射到解开的潜在代码。我们通过操纵这些潜在代码的单个或组合来生成对抗性扰动，并根据潜在代码的复杂性和重建图像的平滑性，提出了两种无监督的语义操纵方法：基于矢量的解纠缠表示和基于特征图的解纠缠表示。我们对真实世界的图像数据进行了广泛的实验评估，以证明我们对黑盒分类器的攻击能力。我们进一步证明了存在一个普遍的，图像不可知的语义对抗的例子。
2022-05-20 cs.CR cs.LG stat.ML
Universal Adversarial Perturbation for Text Classification
University of Maryland（马里兰大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
给定一个最先进的深度神经网络文本分类器，我们证明了一个通用的和非常小的扰动向量（在嵌入空间中）的存在，导致自然文本被错误分类的概率很高。与可以找到单个固定大小的对抗性扰动的图像不同，文本具有可变长度，因此我们将“通用性”定义为“令牌不可知”，其中单个扰动应用于每个令牌，从而在序列级别上产生灵活大小的不同扰动。我们提出了一种计算普遍对抗性扰动的算法，并表明最先进的深度神经网络非常容易受到这些扰动的影响，尽管它们保留了大部分令牌的邻近区域。我们还展示了如何使用这些对抗性扰动来生成对抗性文本样本。令人惊讶的普遍存在的“令牌不可知”对抗扰动可能揭示了文本分类器的重要属性。
2019-10-10 cs.CL cs.LG stat.ML
StealthRank: LLM Ranking Manipulation via Stealthy Prompt Optimization
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）
StealthRank提出基于能量优化与Langevin动力学的对抗攻击方法，生成隐蔽提示操纵LLM排名系统，在有效性和隐蔽性上超越现有基线，揭示关键漏洞。
2025-05-23 cs.AI cs.CL cs.IR
Mitigation of Policy Manipulation Attacks on Deep Q-Networks with Parameter-Space Noise
Kansas State University（堪萨斯州立大学）
最近的发展已经确定了深度强化学习对通过故意扰动输入（称为对抗性示例）的策略操纵攻击的脆弱性。在这项工作中，我们提出了一种基于在训练过程中向深度强化学习器的参数空间添加噪声来减轻此类攻击的技术。我们通过实验验证了参数空间噪声在降低对抗性示例的可转移性方面的效果，并展示了该技术在测试和训练时减轻白盒和黑盒攻击影响的良好性能。
2018-06-04 cs.CR cs.LG stat.ML
STRATA: Simple, Gradient-Free Attacks for Models of Code
MIT（麻省理工学院）
众所周知，神经网络容易受到输入中不可感知的扰动（称为对抗性示例）的影响，从而导致错误分类。与图像和自然语言领域相比，为源代码生成对抗性示例带来了额外的挑战，因为源代码扰动必须保留代码的功能意义。我们确定了一个惊人的令牌频率统计和学习令牌嵌入之间的关系：学习令牌嵌入的L2范数随着令牌的频率增加，除了最高频率的令牌。我们利用这种关系来构建一种简单而有效的无梯度方法，用于在代码模型上生成最先进的对抗性示例。我们的方法经验优于竞争的基于梯度的方法，更少的信息和更少的计算工作。
2021-08-19 cs.CR cs.LG stat.ML
Over-the-Air Adversarial Flickering Attacks against Video Recognition Networks
Technion Institute of Technology（以色列理工学院）；Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防务系统有限公司）；Nvidia Research（英伟达研究院）
用于视频分类的深度神经网络，就像图像分类网络一样，可能会受到对抗性操纵。图像分类器和视频分类器之间的主要区别在于后者通常使用视频中包含的时间信息。在这项工作中，我们提出了一个操纵方案，通过引入闪烁的时间扰动，在某些情况下，可能是不明显的人类观察者，是在现实世界中实现的欺骗视频分类。在演示了单个视频的动作分类操作后，我们推广了通用对抗扰动的过程，实现了高欺骗率。此外，我们推广了通用的扰动，并产生一个时间不变的扰动，它可以应用于视频不同步的扰动的输入。该攻击在几个目标模型上实现，并证明了攻击的可移植性。这些属性使我们能够弥合模拟环境和现实世界的应用程序之间的差距，将在本文中首次展示的空中闪烁攻击。
2021-06-04 cs.CR cs.CV cs.LG
Do Deep Minds Think Alike? Selective Adversarial Attacks for Fine-Grained Manipulation of Multiple Deep Neural Networks
University of Iowa（爱荷华大学）
最近的工作已经证明了针对单个机器学习系统的{ \it对抗示例}的存在。在本文中，我们提出了一个简单但基本的“选择性愚弄”问题：给定{ \it multiple}机器学习系统被分配来解决相同的分类问题，并采用相同的输入信号，是否有可能对输入信号构造一个扰动，以任意预定义的方式{ \it multiple}机器学习系统{ \it simultaneously}操纵这些输出？例如，是否有可能选择性地欺骗一组“敌人”机器学习系统，但不欺骗其他“朋友”机器学习系统？这个问题的答案取决于这些不同的机器学习系统在多大程度上“想得一样”。我们制定了一个新的优化问题的“选择性愚弄”的问题，并报告了一系列的实验MNIST数据集。我们从这些实验中的初步发现表明，它实际上是很容易选择性地同时操纵多个MNIST分类器，即使分类器在其架构，训练算法和训练数据集是相同的，除了随机初始化在训练过程中。这表明，两个名义上等价的机器学习系统实际上根本不“思考”，并为许多新的应用和更深入地理解深度神经网络的工作原理提供了可能性。
2020-03-26 cs.CV cs.LG eess.IV
