StateSwap: Probing Support-Elimination Hidden States in Multiple-Choice Questions
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Wuhan University of Science and Technology(武汉科技大学)
本研究针对大型语言模型在多项选择题不同框架下的答案不一致问题,提出双框架协议,通过交换[STATE]标记的残差流激活值,验证其与模型行为相关,还发现均值差引导方向的层内响应更具边界性。
2026-09-09 cs.AI cs.CL
Adversarial Robustness of Activation Steering in Large Language Models
Independent Researcher(独立研究员);Indiana University(印第安纳大学)
研究激活引导在对抗性文本扰动下的鲁棒性,发现所有方法、模型和设置中方向鲁棒性下降高达64%,置信度崩溃,层选择脆弱,揭示其结构性脆弱性。
2026-11-03 cs.AI cs.LG
Amnesia: Adversarial Semantic Layer Specific Activation Steering in Large Language Models
Honda Research Institute Europe(本田欧洲研究院)
本文提出Amnesia攻击,通过操纵transformer内部状态绕过开放式大语言模型的安全机制,展示其能生成有害内容而无需微调。研究强调了对开放式大语言模型安全性的迫切需求。
2026-03-17 cs.AI cs.CR cs.LG
Probing Latent Subspaces in LLM for AI Security: Identifying and Manipulating Adversarial States
本文通过提取LLM隐藏激活并利用降维与扰动向量,识别并操纵安全与越狱状态之间的潜在子空间转换,证明可在表示层面诱导越狱,为模型无关的主动防御提供新思路。
2025-07-04 cs.AI cs.CR cs.LG
Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
针对大语言模型推理时安全方法,发现提示时激活防御对预填充攻击存在结构性盲点,提出响应时间探测(线性探针)结合停止机制,将预填充攻击成功率降至0,并与AlphaSteer组合实现正交防御。
2026-11-10 cs.AI cs.CL cs.CR
From Human Cognition to Neural Activations: Probing the Computational Primitives of Spatial Reasoning in LLMs
School of Information Science, Beijing Language and Culture University(北京语言大学信息科学学院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
研究通过分析LLMs内部空间表示机制,发现其空间推理能力有限且依赖上下文,揭示了空间推理的计算原语及跨语言机制退化问题。
2026-03-27 cs.AI cs.CL
Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Tokyo Institute of Technology(东京工业大学)
提出一种实例级多模态木马攻击方法,通过双模态对抗学习在预训练模型中破坏特定神经元,建立恶意关联,高效适应微调模型,实验证明其高效、隐蔽且难以被传统防御缓解。
2024-03-17 cs.AI cs.CV
NeuroFilter: Activation-Based Guardrails for Privacy-Conscious LLM Agents
University of Virginia(弗吉尼亚大学)
提出基于激活探测的隐私过滤器,高效检测LLM智能体在单轮和多轮对话中的不当信息泄露,首次系统研究对话轨迹中的模型内部状态变化。
2026-10-14 cs.AI cs.CL cs.CR
Zero-Direction Probing: A Linear-Algebraic Framework for Deep Analysis of Large-Language-Model Drift
本文提出纯理论框架 ZDP,通过分析 transformer 激活的零空间及 Fisher 几何,在无任务标签下检测大语言模型漂移,并提供了严格的数学定理与测试保证。
2025-08-09 cs.AI cs.LG stat.ML
Cross-Layer Attention Probing for Fine-Grained Hallucination Detection
Robert Gordon University(罗伯特·戈登大学)
本文提出跨层注意力探测(CLAP)技术,通过处理LLM残差流激活实现细粒度幻觉检测,并基于此构建“先检测后缓解”策略以提升模型可靠性。
2026-10-19 cs.AI cs.CL
Talking Nonsense: Probing Large Language Models' Understanding of Adversarial Gibberish Inputs
Amazon AWS AI(亚马逊AWS人工智能);Stanford University(斯坦福大学)
本研究利用 Greedy Coordinate Gradient 优化器构造对抗性乱码提示(LM Babel),发现大型语言模型能据此生成连贯响应,且生成有害文本与良性文本难度相当,揭示了其在分布外提示上的对齐缺失。
2024-04-29 cs.AI cs.CL cs.LG
How Many Counterfactuals Does It Take? Probing VLM Hallucinations Through Circuits and Causal Effects
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
本文通过定义基于对数概率差异的因果影响度量,并利用电路发现技术,研究视觉语言模型幻觉输出的反事实鲁棒性,推导出检测不稳定所需的最小反事实样本数。
2026-06-07 cs.AI cs.LG
Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders
Universidad Autónoma de Occidente(西自治大学)
研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息,用自然语言自动编码器转化残差流激活,通过含30个提示的数据集进行研究,将激活可解释性与西班牙语变体偏差评估相联系。
2026-07-27 cs.AI cs.CL
Transferable Direct Prompt Injection via Activation-Guided MCMC Sampling
School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件学院);School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络安全学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院)
提出基于激活引导EBM和MCMC采样的无梯度黑盒提示注入攻击框架,实现跨模型高迁移性,ASR达49.6%,并揭示语义模式在漏洞利用中的关键作用。
2025-09-09 cs.AI
Causal Probing for Internal Visual Representations in Multimodal Large Language Models
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);Ant Group(蚂蚁集团)
研究通过激活引导框架系统干预四个视觉概念类别,揭示实体记忆局部化与抽象概念全局分布的差异,发现模型深度对复杂抽象概念编码至关重要,且反向引导揭示感知与生成之间的补偿机制。
2026-09-04 cs.AI
Mechanistic Interpretability with SAEs: Probing Religion, Violence, and Geography in Large Language Models
HTW Berlin University of Applied Sciences(柏林应用科学大学)
本文利用稀疏自编码器对五种大语言模型进行机制可解释性分析,发现各宗教内部表征一致性相近,但伊斯兰教更易关联暴力语言特征,而地理关联主要反映真实宗教人口分布,揭示了模型同时嵌入事实与文化刻板印象。
2025-09-22 cs.AI cs.CY cs.LG
Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving
University of Limerick(利默里克大学);Valeo Vision Systems, Ireland(爱尔兰瓦莱欧视觉系统);Department of Electronic and Computer Engineering(电子与计算机工程系)
本研究探讨了轻量视觉语言模型在自动驾驶中的视觉概念编码问题,发现某些概念显式编码而其他隐式编码,并识别出感知和认知两种失败模式。
2026-08-10 cs.AI cs.CV
SAFER: Probing Safety in Reward Models with Sparse Autoencoder
University of Science and Technology of China(中国科学技术大学)
SAFER通过稀疏自动编码器探索奖励模型的安全性,揭示可解释特征并改进安全性对齐。
2026-01-30 cs.AI cs.CL
What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness
研究针对预测微调的大语言模型校准和忠实性问题,通过在中间激活上训练表示池探测器,发现其校准效果更好,还能评估CoT忠实性、追踪行为变化等,证明探究内部表示可用于校准、审计和分类语言模型预测器及推理模型。
2026-07-10 cs.AI cs.CL
Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
Massachusetts Institute of Technology(麻省理工学院)
本研究通过四种挑战性机制下的LLM激活探测任务,检验稀疏自编码器是否优于基线,发现其虽偶有优势但无法持续超越,且简单基线即可达到类似效果,凸显了当前SAEs的局限与严格评估的必要性。
2025-02-23 cs.AI cs.LG
Steered LLM Activations are Non-Surjective
Johns Hopkins University(约翰霍普金斯大学)
研究探讨了激活引导是否能通过文本提示实现,证明引导行为在实际中无法通过提示复现,区分了白盒引导与黑盒提示的差异。
2026-05-07 cs.AI cs.LG
Learning a Generative Meta-Model of LLM Activations
本研究通过训练扩散模型学习大语言模型激活的分布,提出生成元模型以提升干预保真度和可解释性。
2026-02-06 cs.AI cs.CL cs.LG
Accuracy of TextFooler black box adversarial attacks on 01 loss sign activation neural network ensemble
New Jersey Institute of Technology(新泽西理工学院)
本研究探讨01损失符号激活神经网络对TextFooler黑盒文本对抗攻击的防御能力,发现在四个数据集上比sigmoid交叉熵和二值神经网络更难被攻击,并提出含新型全局池化的卷积变体显著提升对抗准确率,使TextFooler实际失效。
2024-02-12 cs.AI cs.CR cs.LG
Assessing the Influence of Different Types of Probing on Adversarial Decision-Making in a Deception Game
本文使用欺骗博弈和IBLT模型研究不同探测成本对对抗性决策的影响,发现探测成本变化对攻击比例无影响,但对探测比例有轻微影响。
2024-01-08 cs.CR
Your Network May Need to Be Rewritten: Network Adversarial Based on High-Dimensional Function Graph Decomposition
Shenzhen University(深圳大学);Alibaba Digital Media & Entertainment Group(阿里巴巴数字媒体与娱乐集团);Lanzhou University of Technology(兰州理工大学)
本文提出网络对抗方法及高维函数图分解(HD-FGD),通过构造具有相反导数性质的对抗激活函数并交替使用,替代传统MLP+激活函数模式,显著提升训练效率和预测精度。
2024-05-04 cs.AI cs.CR cs.LG
Double-Adversarial Activation Anomaly Detection: Adversarial Autoencoders are Anomaly Generators
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所)
提出DA3D方法,利用对抗自编码器仅从正常数据生成人工异常,将无监督异常检测转化为有监督任务,并以纯数据驱动方式超越现有最先进方法。
2024-01-14 cs.CR cs.LG
Enhancing Adversarial Defense by k-Winners-Take-All
Columbia University(哥伦比亚大学)
我们提出了一个简单的改变现有的神经网络结构,以更好地抵御基于梯度的对抗攻击。我们不使用流行的激活函数(如ReLU),而是提倡使用k-Winners-Take-All(k-WTA)激活,这是一种C 0不连续函数,它故意使神经网络模型在密集分布的输入数据点处的梯度无效。所提出的k-WTA激活可以很容易地用于几乎所有现有的网络和训练方法,没有显着的开销。我们的建议在理论上是合理的。我们分析了为什么k-WTA网络中的不连续性可以在很大程度上阻止基于梯度的对抗性样本搜索,以及为什么它们同时对网络训练无害。这一认识也得到了经验的支持。我们在通过训练方法优化的各种网络结构上测试k-WTA激活,无论是否是对抗性训练。在所有情况下,k-WTA网络在白盒攻击下的鲁棒性都优于传统网络。
2019-10-29 cs.AI cs.CR cs.DS
Adversarial Examples in Random Neural Networks with General Activations
Stanford University(斯坦福大学)
大量的实证工作证明了深度学习模型对对抗性示例缺乏鲁棒性。最近的理论工作证明,对抗性示例在具有次指数宽度和ReLU或平滑激活的双层网络以及具有次指数宽度的多层ReLU网络中无处不在。我们提出了相同类型的结果,没有限制的宽度和一般的局部Lipschitz连续激活。更确切地说,给定一个具有随机权重${\boldsymbol θ}$和特征向量${\boldsymbol x}$的神经网络$f(\,\cdot\,;{\boldsymbol θ})$,我们证明了沿着梯度$\nabla_{\boldsymbol x}f({\boldsymbol x};{\boldsymbol θ})$的方向可以以很高的概率找到一个对抗性的例子${\boldsymbol x}'$。我们的证明是基于高斯条件反射技术。而不是证明$f$是近似线性的${\boldsymbol x}$附近,我们的特点是联合分布的$f({\boldsymbol x};{\boldsymbol θ})$和$f({\boldsymbol x}';{\boldsymbol θ})$为${\boldsymbol x}' = {\boldsymbol x}-s({\boldsymbol x})\nabla_{\boldsymbol x}f({\boldsymbol x};{\boldsymbol θ})$。
2023-01-22 cs.CR cs.LG math.ST
Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation
University of Technology Sydney, Sydney, Australia(技术悉尼大学);School of Cyber Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院);Xi'an Jiaotong University, Xi'an, China(西安交通大学)
针对现有安全引导方法对未见越狱攻击泛化失败的问题,提出基于无监督潜在方向发现的双层对抗训练框架,通过外推拒绝态有害请求激活模拟多样越狱激活,并训练势诱导引导场实现零样本越狱防御。
2026-05-29 cs.CR cs.LG
Defend Deep Neural Networks Against Adversarial Examples via Fixed and Dynamic Quantized Activation Functions
University of Central Florida(中佛罗里达大学);JD AI Research(京东AI研究院);Tencent AI Lab(腾讯AI实验室)
最近的研究表明,深度神经网络(DNN)容易受到对抗攻击的攻击。为此,已经提出了许多试图提高DNN鲁棒性的防御方法。在一个独立但相关的领域,最近的工作已经探索将神经网络权重和激活函数压缩到低位宽,以压缩模型大小并降低计算复杂性。在这项工作中,我们发现,这两个不同的轨道,即追求网络的紧凑性和鲁棒性,可以合并为一个,并产生网络的两个优点。据我们所知,这是第一个使用激活函数的量化来防御对抗性示例的工作。我们还提出了训练强大的神经网络使用自适应量化技术的激活函数。我们提出的动态量化激活(DQA)是通过广泛的实验与MNIST和CIFAR-10数据集下不同的白盒攻击方法,包括FGSM,PGD和C & W攻击进行验证。此外,零阶优化和替代模型的黑箱攻击也被认为是在这项工作中。实验结果清楚地表明,使用所提出的DQA可以大大提高DNN的鲁棒性。
2019-12-18 cs.CR cs.CV cs.LG
Characterizing the Shape of Activation Space in Deep Neural Networks
University of Minnesota(明尼苏达大学);NASA Glenn Research Center(NASA格伦研究中心)
深度神经网络学习的表示很难解释,部分原因是它们的参数空间很大,以及它们的多层结构带来的复杂性。我们介绍了一种方法,用于计算持久的同源性的图形激活结构的神经网络,它提供了访问的任务相关的子结构激活整个网络为一个给定的输入。这种拓扑的角度提供了独特的见解,分布式表示编码的神经网络在其激活结构的形状。我们证明了这种方法的价值,通过展示一种替代的解释对抗性的例子的存在。通过研究跨多个架构和数据集的网络激活的拓扑,我们发现对抗性扰动不会像之前假设的那样添加针对对抗类的语义结构的激活。相反,对抗性示例可以解释为对原始图像引起的主导激活结构的改变,这表明深度网络学习的类表示在输入空间上是有问题的稀疏。
2019-05-30 cs.CR cs.LG stat.ML
Dual Graphs of Polyhedral Decompositions for the Detection of Adversarial Attacks
Colorado State University(科罗拉多州立大学)
以前的工作已经表明,具有整流线性单元(ReLU)激活函数的神经网络导致输入空间的凸多面体分解。这些分解可以用对偶图来表示,对偶图的顶点对应于多面体,而边对应于多面体共享一个刻面,这是汉明图的子图。本文阐述了如何利用对偶图来检测和分析数字图像背景下的对抗攻击。当图像通过包含ReLU节点的网络时,节点处的激发或非激发可以被编码为位($1$用于ReLU激活,$0$用于ReLU非激活)。所有位激活的序列用位向量标识图像,位向量在分解中用多面体标识图像,并且反过来用对偶图中的顶点标识图像。我们识别了非对抗性图像和对抗性图像之间的鉴别器ReLU位,并研究了这些鉴别器的集合如何集成投票以构建对抗性图像检测器。具体来说,我们使用预训练的ResNet-50架构来检查对抗图像的ReLU位向量及其非对抗对应物的相似性和差异。虽然本文的重点是对抗性数字图像,ResNet-50架构和ReLU激活函数,但我们的方法可以扩展到其他网络架构,激活函数和数据集类型。
2022-12-02 cs.CR cs.CV cs.LG
Scaling Laws for Adversarial Attacks on Language Model Activations
Google DeepMind(谷歌DeepMind)
本文研究针对语言模型激活的对抗攻击,发现可控目标 token 数与受控激活数呈线性缩放,并揭示输入/输出维度不匹配可能是攻击成因。
2023-12-05 cs.CL cs.CR cs.LG
Improving Interpretability via Regularization of Neural Activation Sensitivity
Ben-Gurion University of the Negev(本-古里安大学)
最先进的深度神经网络(DNN)在处理许多现实任务方面非常有效。然而,它们在关键任务环境中的广泛采用受到两个主要弱点的阻碍-它们对对抗攻击的敏感性和它们的不透明性。前者引起了人们对DNN在现实世界条件下的安全性和通用性的担忧,而后者则阻碍了用户对其输出的信任。在这项研究中,我们(1)研究了对抗鲁棒性对可解释性的影响,(2)提出了一种新的方法来提高DNN的可解释性,该方法基于神经激活敏感性的正则化。我们评估了使用我们的方法训练的模型与使用最先进的对抗鲁棒性技术训练的标准模型和模型的可解释性。我们的研究结果表明,对抗鲁棒模型优于标准模型,使用我们提出的方法训练的模型在可解释性方面甚至优于对抗鲁棒模型。
2022-11-16 cs.CR cs.CV cs.LG
A Primer on Multi-Neuron Relaxation-based Adversarial Robustness Certification
ETH Zürich(苏黎世联邦理工学院)
当深度神经网络部署在现实世界中时,对抗性示例的存在构成了真正的危险。量化此漏洞的首选策略是针对特定攻击算法评估模型。然而,这种方法本质上是有限的,因为它几乎没有说明模型对评估中未包括的更强大攻击的鲁棒性。我们开发了一个统一的数学框架来描述基于松弛的鲁棒性认证方法,该方法超越了特定于对手的鲁棒性评估,而是提供可证明的鲁棒性保证,以抵御任何对手的攻击。我们讨论了单神经元松弛所带来的基本限制,并展示了Singh等人(2019)最近的“k-ReLU”多神经元松弛框架如何通过利用神经元组之间的额外关系约束来获得更紧密的相关感知激活边界。具体来说,我们展示了如何额外的预激活界限可以映射到相应的激活后的界限,以及它们如何可以反过来被用来获得更严格的鲁棒性证书。我们还提出了一种直观的方式来可视化不同的基于松弛的认证方法。通过联合而不是单独地近似多个非线性,k-ReLU方法能够绕过单个神经元松弛所施加的凸障碍。
2021-06-06 cs.AI cs.CR cs.LG
Mathematical Analysis of Adversarial Attacks
Peking University(北京大学);UCLA(加州大学洛杉矶分校)
本文分析了快速梯度符号法(FGSM)和Carlini-Wagner的L2(CW-L2)攻击的功效。我们证明,在一定的范围内,非目标FGSM可以欺骗任何具有ReLU激活的卷积神经网络(CNN);目标FGSM可以误导任何具有ReLU激活的CNN,将任何给定的图像分类到任何指定的类别。对于一个特殊的两层神经网络:一个线性层,其次是softmax输出激活,我们表明,CW-L2攻击的目标和地面真理类之间的分类概率的比例增加。此外,我们提供了数值结果来验证我们所有的理论结果。
2018-11-25 cs.CR cs.LG stat.ML
Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);The University of Melbourne(墨尔本大学);Beijing Institute of Technology(北京理工大学);Hong Kong Baptist University(香港浸会大学)
本文提出期望扰动分数(EPS)统计量,通过向单样本添加多种噪声获取多视角信息,并基于扩散模型估计EPS,进而构建EPS-AD检测方法,以EPS-MMD度量样本差异,有效提升对抗样本检测性能。
2023-05-25 cs.CR cs.LG
Examining the Proximity of Adversarial Examples to Class Manifolds in Deep Networks
Faculty of Mathematics, Physics and Informatics(数学、物理与信息学院);Comenius University in Bratislava(布拉迪斯拉发夸美纽斯大学)
深度神经网络在多个领域取得了卓越的性能。然而,经过适当的训练,它们在对抗性示例(AE)方面存在固有的脆弱性。在这项工作中,我们揭示了内部表示的AE通过分析其激活的隐藏层。我们测试了各种类型的AE,每种AE都使用特定的规范约束,这会影响它们的视觉外观,并最终影响它们在训练网络中的行为。我们的结果在图像分类任务(MNIST和CIFAR-10)揭示了定性差异的个别类型的AE,比较其接近类特定的流形上的内部表示。我们提出了两种方法,可用于比较到类特定流形的距离,而不管整个网络的维度如何变化。使用这些方法,我们一致确认,一些对手不一定离开正确类的流形附近,甚至在神经网络的最后一个隐藏层。接下来,使用UMAP可视化技术,我们将类激活投影到2D空间。结果表明,个体AE的激活与测试集的激活纠缠在一起。然而,这并不适用于一组称为垃圾类的精心制作的输入。我们还证实了纠缠的adversarals与测试集数值使用软近邻损失。
2022-04-12 cs.CR cs.CV cs.LG
Identifying Audio Adversarial Examples via Anomalous Pattern Detection
IBM Research Africa(IBM 非洲研究院)
基于深度神经网络的音频处理模型容易受到对抗攻击的影响,即使对抗音频波形与良性样本的相似度达到99.9%。鉴于基于DNN的音频识别系统的广泛应用,检测敌对示例的存在具有高度的实际意义。通过在这些模型的激活空间中应用异常模式检测技术,我们表明,最近和当前最先进的对抗攻击中的2种对音频处理系统的攻击系统地导致某些节点子集的激活高于预期,我们可以检测到这些节点的AUC高达0.98,而对良性样本的性能没有下降。
2020-07-25 cs.CR cs.LG cs.SD
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要,因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性,并评估了潜在的防御。我们观察到,CNN架构中包含的瓶颈注意力模块(BAM)可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中,BAM增强的架构在推理过程中表现出更强的鲁棒性。最后,我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
Entropy-Based Non-Invasive Reliability Monitoring of Convolutional Neural Networks
Semarx Research Ltd.(Semarx 研究有限公司)
本文提出无需修改模型的 VGG-16 激活熵并行监控方法,利用早期卷积层 7% 的熵偏移检测对抗输入,达到 90% 准确率且误报、漏报均低于 20%。
2025-08-29 cs.AI cs.CR cs.CV
DoPa: A Comprehensive CNN Detection Methodology against Physical Adversarial Attacks
George Mason University(乔治梅森大学)
最近,卷积神经网络(CNN)表现出相当大的弱点,对抗攻击,可以很容易地被误导的对抗扰动。随着更积极的方法的提出,对抗攻击也可以应用于物理世界,导致各种CNN驱动的应用程序的实际问题。为了保证CNN的安全,对抗攻击检测被认为是最关键的方法。然而,现有的研究大多集中在表面模式上,仅仅寻找一种区分对抗性输入和自然输入的方法,而忽略了对CNN内在脆弱性的分析。因此,它们只能针对特定的物理对抗攻击,缺乏对不同攻击的预期通用性。为了解决这个问题,我们提出了DoPa --一种针对各种物理对抗攻击的全面的CNN检测方法。通过解释CNN的脆弱性,我们发现,非语义对抗扰动可以激活CNN与显着异常激活,甚至压倒其他语义输入模式的激活。因此,我们增加了一个自我验证阶段来分析不同的激活模式的语义,这改善了CNN的识别过程。我们将这样的检测方法应用到图像和音频CNN识别场景中。实验结果表明,DoPa对图像攻击的平均检测成功率为90%,对音频攻击的平均检测成功率为92%。公告:[ArXiv上的原始DoPa草案已被修改并提交给会议,而这篇简短的摘要仅在KDD 2019 AIoT研讨会上提交。
2019-08-28 cs.CR cs.CV cs.LG
Logically Consistent Adversarial Attacks for Soft Theorem Provers
Imperial College London(帝国理工学院);ByteDance(字节跳动)
人工智能社区最近的努力已经取得了令人印象深刻的成果,使用语言模型对自然语言句子进行“软定理证明“。我们提出了一个新的生成对抗框架,用于探测和提高这些模型的推理能力。该领域中的对抗攻击遭受逻辑不一致问题,由此对输入的扰动可能改变标签。我们的逻辑一致的对抗性攻击器LAVA通过将结构化生成过程与符号求解器相结合来解决这个问题,从而保证逻辑一致性。我们的框架成功地生成了对抗攻击,并识别了多个目标模型中常见的全局弱点。我们的分析揭示了这些模型的推理能力中的幼稚的逻辑学和漏洞,暴露了对逻辑程序下的逻辑演绎的不完全掌握。最后,除了有效地探测这些模型之外,我们还展示了对生成的样本进行训练可以提高目标模型的性能。
2022-04-29 cs.CL cs.CR cs.LG
Concept-based Adversarial Attacks: Tricking Humans and Classifiers Alike
University of Liechtenstein(列支敦士登大学)
我们建议通过修改上层编码语义上有意义的概念的激活来生成对抗样本。通过使用修改的激活来重建原始样本,原始样本被移向目标样本,产生对抗样本。人类可能(也应该)注意到原始样本和对抗样本之间的差异。根据攻击者提供的约束,对抗样本可能会表现出细微的差异,或者看起来像是来自另一个类的“伪造”样本。我们的方法和目标与涉及人类无法识别的单个像素扰动的常见攻击形成鲜明对比。我们的方法适用于,例如,输入的多阶段处理,人类和机器都参与决策,因为无形的扰动不会愚弄人类。我们的评估重点是深度神经网络。我们还展示了我们的对抗性例子在网络之间的可转移性。
2022-03-18 cs.CR cs.CV cs.LG
A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University(卡尔顿大学);Computer Engineering Carleton University Ottawa, Canada(计算机工程系卡尔顿大学渥太华加拿大);School of Information Technology Carleton University Ottawa, Canada(信息科技学院卡尔顿大学渥太华加拿大)
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络(DNN)基于网络入侵检测系统(NIDS),而无需额外显式防御。通过数千次实验,发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性,且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation
Rapid-Rich Object Search (ROSE) Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore(快速丰富目标搜索实验室,跨学科研究生项目,南洋理工大学,新加坡);PengCheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国);School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电气电子工程学院,南洋理工大学,新加坡);School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北航,北京,中国);College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
本文提出一种通过触发器激活的训练范式,使模型在干净数据上随机猜测、在带触发器数据上准确预测,从而增强对可迁移对抗样本的鲁棒性,并通过理论分析和联合优化提升防御效果。
2025-04-20 cs.CR cs.CV cs.LG
JumpReLU: A Retrofit Defense Strategy for Adversarial Attacks
ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
已经证明,非常简单的攻击可以欺骗高度复杂的神经网络架构。特别是,所谓的对抗性示例,由输入数据的扰动构成,这些扰动对人类来说很小或无法感知,但会导致不同的预测,这可能会在某些关键应用中导致巨大的风险。有鉴于此,人们在开发对抗性训练策略以提高模型鲁棒性方面做了大量工作。这些训练策略在人力和计算时间上都非常昂贵。为了补充这些方法,我们提出了一种非常简单和廉价的策略,可用于“改造”以前训练过的网络,以提高其对对抗攻击的弹性。更具体地说,我们提出了一个新的激活函数--JumpReLU--当在已经训练好的模型中代替ReLU时,它会导致预测准确性和鲁棒性之间的权衡。这种权衡是由跳跃大小控制的,跳跃大小是一个可以在验证阶段调整的超参数。我们的实证结果表明,这增加了模型的鲁棒性,防止对抗攻击的扰动水平大幅增加。这只需通过使用我们的JumpReLU激活函数改造现有网络即可实现,无需重新训练模型。此外,我们还证明了经过逆向训练的(鲁棒的)模型可以从改造中受益匪浅。
2019-04-07 cs.CR cs.CV
Incorporating Hidden Layer representation into Adversarial Attacks and Defences
Shenzhen University(深圳大学)
在本文中,我们提出了一种防御策略,以提高对抗性的鲁棒性,通过将隐藏层表示。这种防御策略的关键在于压缩或过滤包括对抗扰动的输入信息。这种防御策略可以看作是一种激活函数,适用于任何类型的神经网络。我们还从理论上证明了这种防御策略在一定条件下的有效性。此外,结合隐藏层表示,我们提出了三种类型的对抗攻击,分别产生三种类型的对抗例子。实验表明,该防御方法可以显著提高深度神经网络的对抗鲁棒性,即使不采用对抗训练,也能达到最先进的性能。
2022-06-23 cs.CR cs.LG
Backdoor Mitigation by Correcting the Distribution of Neural Activations
The Pennsylvania State University(宾夕法尼亚州立大学);Anomalee Inc.(Anomalee公司)
本文发现后门攻击会改变内部层激活分布,并提出利用逆向工程触发器校正该分布的训练后缓解方法,无需调整 DNN 参数即可提升防御与检测效果。
2023-08-18 cs.CR cs.LG
Defending Large Language Models Against Attacks With Residual Stream Activation Analysis
HiddenLayer(隐层公司);Oregon State University(俄勒冈州立大学)
本文提出一种基于 LLM 白盒访问和 transformer 层间残差流激活分析的创新防御策略,通过分析激活模式对攻击提示进行高准确率分类,并结合安全微调技术,有效提升了对对抗性输入的检测与缓解能力。
2025-04-02 cs.CR cs.LG
DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows
EPFL(洛桑联邦理工学院);Merantix Labs GmbH(Merantix实验室有限责任公司)
尽管最近做了很多工作,但检测计算机视觉模型的分布外(OOD)输入和对抗攻击(AA)仍然是一个挑战。在这项工作中,我们介绍了一种新的技术,DAAIN,检测OOD输入和AA图像分割在一个统一的设置。我们的方法监控神经网络的内部工作,并学习激活分布的密度估计。我们配备了一个分类头的密度估计,以区分正常和异常的输入。为了处理典型分割网络的高维激活空间,我们对它们进行子采样以获得均匀的空间和分层覆盖。子采样模式为每个监控模型选择一次,并对所有输入保持固定。由于攻击者既不能访问检测模型,也不能访问采样密钥,因此他们更难攻击分段网络,因为攻击不能通过检测器反向传播。我们使用在Cityscapes数据集上训练的ESPNet作为分割模型,仿射归一化流作为密度估计器,并使用蓝噪声来确保均匀采样,从而证明了我们方法的有效性。我们的模型可以在单个GPU上训练,使其计算效率和可部署性,而无需专门的加速器。
2021-05-30 cs.CR cs.CV cs.LG