Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.(拉斐尔先进防御系统有限公司)
在本文中,我们介绍了一种新的神经网络训练框架,通过将对比学习(CL)与对抗训练(AT)相结合,提高了模型对对抗攻击的对抗鲁棒性,同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性,将对抗性示例视为另一个正面示例,并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性,同时不断更新分类头,以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间,同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法,具有对抗特征的对比学习(CLAF),在该数据集上,它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
Mitigation of Policy Manipulation Attacks on Deep Q-Networks with Parameter-Space Noise
Kansas State University(堪萨斯州立大学)
最近的发展已经确定了深度强化学习对通过故意扰动输入(称为对抗性示例)的策略操纵攻击的脆弱性。在这项工作中,我们提出了一种基于在训练过程中向深度强化学习器的参数空间添加噪声来减轻此类攻击的技术。我们通过实验验证了参数空间噪声在降低对抗性示例的可转移性方面的效果,并展示了该技术在测试和训练时减轻白盒和黑盒攻击影响的良好性能。
2018-06-04 cs.CR cs.LG stat.ML
Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation
IBM Research(IBM研究院);Trinity College Dublin(都柏林大学)
本文提出PCAP方法,通过多身份对抗搜索发现真实攻击场景,提升模型鲁棒性,生成多样化防御数据集。
2026-05-12 cs.CR cs.LG
The Adversarial Security Mitigations of mmWave Beamforming Prediction Models using Defensive Distillation and Adversarial Retraining
Old Dominion University(欧道明大学);University of Stavanger(斯塔万格大学);Norwegian University of Science and Technology(挪威科技大学);eKare Inc.(eKare公司)
波束成形预测的安全方案的设计对于下一代无线网络(5G、6G及以后)至关重要。然而,关于在这些网络中使用深度学习算法来保护波束成形预测没有共识。本文提出了在6G无线网络中使用深度神经网络(DNN)进行波束成形预测的深度学习中的安全漏洞,该深度学习将波束成形预测视为多输出回归问题。研究表明,初始DNN模型对训练数据的对抗样本扰动敏感,容易受到快速梯度符号法(FGSM)、基本迭代法(BIM)、投影梯度下降法(PGD)和动量迭代法(MIM)等对抗攻击的攻击.该研究还提供了两种缓解方法,如对抗训练和防御蒸馏,用于针对毫米波(mmWave)波束成形预测中使用的基于人工智能(AI)的模型的对抗攻击。此外,所提出的方案可以用于由于训练数据中的对抗性示例而导致数据损坏的情况。实验结果表明,所提出的方法可以有效地保护DNN模型免受下一代无线网络中的对抗攻击。
2022-02-16 cs.AI cs.CR cs.LG
Backdoor Mitigation in Object Detection via Adversarial Fine-Tuning
Queensland University of Technology(昆士兰理工大学);CSIRO(联邦科学与工业研究组织)
本文提出一种面向目标检测的对抗性微调框架,有效缓解后门攻击,保留检测准确性,优于传统分类方法。
2026-05-07 cs.CR cs.CV
Comprehensive Survey on Adversarial Examples in Cybersecurity: Impacts, Challenges, and Mitigation Strategies
Virginia Tech(弗吉尼亚理工大学)
本文全面综述了对抗样本对网络安全应用的影响,系统分析生成方法、攻击效果与防御机制,旨在弥合对抗研究与实际安全应用间的差距,推动深度学习在网络安全中的稳健采用。
2024-12-16 cs.CR cs.LG
Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
该研究建立后门风险与对抗风险的关联,提出共享对抗性遗忘(SAU)方法,通过生成并遗忘共享对抗样本缓解后门效应,在多基准数据集和架构上实现了最优后门防御性能。
2023-07-20 cs.CR cs.LG
RAG-targeted Adversarial Attack on LLM-based Threat Detection and Mitigation Framework
Department of Computer Science(计算机科学系);Tennessee Tech University(田纳西科技大学);School of Interdisciplinary Informatics(跨学科信息学学院);University of Nebraska Omaha(内布拉斯加大学奥马哈分校)
针对基于LLM的物联网威胁检测与缓解框架,构建攻击描述数据集实施定向数据投毒攻击破坏其RAG知识库,测试发现微小扰动会降低模型性能,为提升框架对抗鲁棒性提供参考。
2025-11-09 cs.AI cs.CR
Evaluating the Vulnerability of ML-Based Ethereum Phishing Detectors to Single-Feature Adversarial Perturbations
本研究评估以太坊钓鱼检测模型对单特征对抗攻击的脆弱性,发现攻击影响因算法而异,并提出对抗训练与特征选择等缓解策略以增强鲁棒性。
2025-04-24 cs.CR
End-to-end Uncertainty-based Mitigation of Adversarial Attacks to Automated Lane Centering
Northwestern University(西北大学);University of California, Irvine(加利福尼亚大学欧文分校)
在高级驾驶辅助系统(ADAS)和自动驾驶车辆的开发中,基于深度神经网络(DNN)的机器学习技术已被广泛用于车辆感知。与传统方法相比,这些技术在平均感知准确度上提供了显着的改进,然而,已经被证明容易受到对抗攻击的影响,其中输入中的小扰动可能导致感知结果中的显着错误并导致系统故障。大多数解决这种对抗攻击的现有工作只关注传感和感知模块。在这项工作中,我们提出了一个端到端的方法,解决了整个感知,规划和控制模块的对抗攻击的影响。特别是,我们选择了一个目标ADAS应用,OpenPilot中的自动车道居中系统,量化了对抗攻击下的感知不确定性,并基于不确定性分析设计了相应的鲁棒规划和控制模块。我们使用公共数据集和生产级自动驾驶模拟器来评估我们提出的方法。实验结果表明,该方法能有效地减轻对抗攻击的影响,与原OpenPilot相比,性能提高了55%~ 90%.
2021-02-27 cs.CR cs.LG cs.RO
Adversarial Attacks and Mitigation for Anomaly Detectors of Cyber-Physical Systems
Singapore University of Technology and Design(新加坡科技设计大学);Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学)
关键基础设施中的网络物理系统(CPS)所面临的威胁促使人们研究多种攻击检测机制,包括基于神经网络模型的异常检测器。异常检测器的有效性可以通过对它们进行攻击测试来评估,但很少考虑对抗性攻击者专门设计的噪声来欺骗它们。虽然对抗攻击在图像和音频等领域得到了成功应用,但由于存在其他内置防御机制(如规则检查器(或不变检查器)),因此在CPS中实现起来要困难得多。在这项工作中,我们提出了一个对抗攻击,同时逃避异常检测器和规则检查的CPS。受现有基于梯度的方法的启发,我们的对抗攻击在传感器和执行器值上制造噪声,然后使用遗传算法优化后者,确保神经网络和规则检查系统都被欺骗。我们在两个真实世界的关键基础设施测试平台上实现了我们的方法,成功地将其检测器的分类准确率平均降低了50%以上,同时避免规则检查器的检测。最后,我们探讨这些攻击是否可以通过在对抗样本上训练检测器来减轻。
2021-05-22 cs.AI cs.CR cs.LG
Adversarial Attacks on Machine Learning in Embedded and IoT Platforms
机器学习(ML)算法越来越多地被集成到我们周围的嵌入式和物联网系统中,它们很容易受到对抗攻击的攻击。在资源有限的嵌入式平台上部署这些ML算法还需要使用模型压缩技术。这种模型压缩技术对ML对抗鲁棒性的影响是一个重要的新兴研究领域。本文概述了与嵌入式系统相关的对抗攻击和ML模型压缩技术。然后,我们描述的努力,试图了解对抗攻击和ML模型压缩之间的关系,然后讨论在这一领域的开放性问题。
2023-03-03 cs.AI cs.CR cs.LG
Mitigation of Camouflaged Adversarial Attacks in Autonomous Vehicles--A Case Study Using CARLA Simulator
Department of Computer Engineering Tennessee Technological University(计算机工程系田纳西技术大学);Department of Computer Science Tennessee Technological University(计算机科学系田纳西技术大学)
本文开发了针对自动驾驶汽车交通标志识别的摄像头伪装对抗攻击,通过修改停车标志纹理欺骗检测系统延迟自动刹车,并提出相应缓解策略,方法可推广至其他端到端训练的自主信息物理系统。
2025-02-03 cs.AI cs.CR cs.LG
Adversarial Defense in Cybersecurity: A Systematic Review of GANs for Threat Detection and Mitigation
本文系统综述2021年至2025年8月基于 GAN 的网络安全对抗防御,提出四维分类法并评估其成效、挑战与未来路线图。
2026-09-30 cs.AI cs.CR
Mitigating large adversarial perturbations on X-MAS (X minus Moving Averaged Samples)
Samsung Electronics System LSI Division(三星电子系统大规模集成电路部门)
我们提出了一种方案,通过从$X$ $+$ $ε$中减去估计的扰动$\hatε$并将$\hatε$添加到$X$ $-$ $ε$中,来减轻对抗性示例$X_{adv}$($=$ $X$ $\pm$ $ε$,$X$是良性样本)上的对抗性扰动$ε$。估计的扰动$\hatε$来自于$X_{adv}$与其移动平均结果$W_{avg}*X_{adv}$之间的差,其中$W_{avg}$是所有系数都为1的$N \times N$移动平均核。通常,图像的相邻样本彼此接近,因此我们可以让$X$ $\approx$ $W_{avg}*X$(以X-MAS[X减去移动平均样本]命名此关系)。通过这样做,我们可以使估计的扰动$\hatε$落在$ε$的范围内。该方案还被扩展为通过将减轻的对抗性示例$X_{adv}$ $\pm$ $\hatε$配置为要减轻的新的对抗性示例来进行多级减轻。通过将移动平均对抗样本$W_{avg} * X_{adv}$(如果$X$ $\approx$ $W_{avg}*X$,则其具有比$X_{adv}$更小的扰动)设置为多级缓解不能跨越的边界条件(即,减小的$ε$不能低于并且增大的$ε$不能超过),多级缓解使$X_{adv}$更接近于具有比原始未缓解扰动更小(即,缓解)的扰动的$X$。通过多级缓解,即使在具有大扰动的对抗性示例(即$ε$ $>$ $16$)中,我们也可以获得高预测精度。该方…
2020-01-23 cs.CR cs.CV cs.LG
Robust Intrusion Detection System with Explainable Artificial Intelligence
Ericsson Research(爱立信研究院);Ericsson Standards and Technology(爱立信标准与技术部门)
本文提出一种基于可解释人工智能(XAI)的对抗攻击检测与缓解策略,在O-RAN的RRC层实现零接触实时防御,并通过多场景测试验证其有效性。
2025-03-07 cs.CR cs.LG
Backdoor Mitigation by Correcting the Distribution of Neural Activations
The Pennsylvania State University(宾夕法尼亚州立大学);Anomalee Inc.(Anomalee公司)
本文发现后门攻击会改变内部层激活分布,并提出利用逆向工程触发器校正该分布的训练后缓解方法,无需调整 DNN 参数即可提升防御与检测效果。
2023-08-18 cs.CR cs.LG
An investigation of security controls and MITRE ATT\&CK techniques
攻击者在网络攻击中使用了大量的对抗性技术,以损害目标组织和系统的机密性、完整性和可用性。信息安全标准(如NIST、ISO/IEC)规定了数百种安全控制措施,组织可以强制执行这些措施,以保护和捍卫信息系统免受敌对技术的侵害。然而,同时实施所有可用的控制措施可能是不可行的,需要调查安全控制措施对网络攻击中使用的对抗性技术的缓解能力。这项研究的目标是帮助组织在安全控制方面做出明智的选择,通过调查当前网络攻击中使用的对抗性技术来抵御网络威胁。在这项研究中,我们调查了298个NIST SP 800 -53控件对669个网络犯罪组织和MITRE ATT\&CK框架中编目的恶意软件中使用的188种对抗性技术的缓解程度,这些技术基于控件和技术之间的现有映射。我们发现,基于映射,298个控件中只有101个能够减轻对抗性技术。然而,我们也发现53种对抗性技术不能被任何现有的控制措施所缓解,这些技术主要帮助对手绕过系统防御并发现目标系统信息。我们确定了一组20个关键控制,可以减轻134种对抗技术,平均可以减轻MITRE ATT\&CK中98%的编目对手使用的所有技术的72%。我们敦促那些没有实施任何控制措施的组织实施研究中确定的最高控制措施。
2022-11-11 cs.CR
Simple Perturbations Subvert Ethereum Phishing Transactions Detection: An Empirical Analysis
University of Central Florida(中佛罗里达大学)
本文通过实证分析揭示随机森林、决策树和K近邻等模型在以太坊钓鱼交易检测中对简单单特征对抗攻击的脆弱性,并评估对抗训练与增强特征选择等缓解策略对提升模型鲁棒性的效果。
2024-08-06 cs.CR cs.LG
Thwarting Code-Reuse and Side-Channel Attacks in Embedded Systems
本文提出SecDivCon组合编译器方法,将代码多样化与侧信道缓解相结合,在可控开销下同时抵御嵌入式设备中的代码重用攻击和侧信道攻击。
2023-08-07 cs.CR cs.PF
AI-Driven Security Alert Screening and Alert Fatigue Mitigation in Security Operations Centers: A Survey
National Institute of Information and Communications Technology(信息通信研究机构);Kobe University(神户大学)
本文综述了从2015年到2026年利用人工智能驱动的安全警报筛选和警报疲劳缓解方法,总结了四个阶段的工作流程分类,并指出了在操作验证、对抗鲁棒性、跨环境泛化和评估实践方面的持续差距。
2026-05-18 cs.CR
Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions
Northern Arizona University(北亚利桑那大学)
研究提出基于图像的提示注入攻击方法,通过视觉嵌入对抗性指令,成功操控多模态大语言模型输出,揭示了该攻击的有效性和潜在威胁。
2026-03-04 cs.AI cs.CR cs.CV
A Comprehensive Review of Adversarial Attacks on Machine Learning
本文综述了机器学习中的对抗攻击类型、技术及危害,利用ART库在自动驾驶等场景模拟攻击,并探讨了商业影响、缓解策略和未来方向,旨在推动更健壮、安全AI系统的发展。
2024-12-16 cs.CR
Operationalizing Cybersecurity Governance for Mitigation Planning with Attack-Path Modeling and Reinforcement Learning
University of Arkansas at Little Rock(阿肯色大学小石城分校);Bastazo, Inc.(Bastazo公司);University of Arkansas(阿肯色大学)
本文提出利用攻击路径建模和强化学习,将网络安全治理框架转化为可行的缓解决策,通过映射CSF成熟度评估到MITRE ATT&CK缓解能力,实现组织安全态势与对抗驱动的防御规划整合。
2026-05-10 cs.CR
Towards Adversarial Control Loops in Sensor Attacks: A Case Study to Control the Kinematics and Actuation of Embedded Systems
最近的作品调查了通过影响模拟传感器组件的声,光和电磁信号对传感器的攻击。这种攻击可能具有广泛的安全性,可靠性和安全性影响,因为许多类型的目标传感器也广泛用于关键过程控制,机器人,自动化和工业控制系统。虽然现有的工作提高了我们对从数字领域角度隐藏的物理级风险的理解,但在如何引导攻击以实现实时连续过程中的系统级控制方面存在差距。针对基于传感器的控制系统,提出了一种基于对抗控制环的实时攻击方法。我们研究了如何利用从物理域信号中提取的系统反馈来指导攻击。在攻击过程中,基于提取的反馈实时的调整注入信号,以对受注入扰动持续影响并对物理环境施加变化的受害者控制系统施加有针对性的影响。在我们的案例研究中,我们研究了如何在传感器-执行器系统上构建外部对抗控制系统,并演示了使用程序控制过程来操纵受害者系统而不访问其内部状态的攻击。
2022-03-15 cs.CR cs.SY eess.SY
Contamination Attacks and Mitigation in Multi-Party Machine Learning
Microsoft Research(微软研究院)
机器学习是数据饥渴型的;模型在训练中访问的数据越多,就越有可能在推理时表现良好。不同的参与方可能希望结合他们的本地数据,以获得在大型数据库上训练的模型的好处。我们考虑这样一种情况:各方可以访问在其联合数据上训练的模型,但看不到彼此的单独数据集。我们表明,在使用这种多方模型时需要小心,因为潜在的恶意方可以通过提供受污染的数据来污染模型。然后,我们展示了对抗性训练如何通过防止模型学习特定于个人数据的趋势来防御此类攻击,从而也保证了政党级别的成员隐私。
2019-01-08 cs.CR cs.LG
Security Assessment and Mitigation Strategies for Large Language Models: A Comprehensive Defensive Framework
School of Computing University of North Florida(北弗罗里达大学计算学院)
本文评估了大型语言模型在关键基础设施中的安全风险,提出了一种标准化的评估框架和多层次防御系统,通过测试五种主流模型对1万多个对抗性提示的响应,揭示了安全差异,并开发了高准确率的防御框架。
2026-03-17 cs.AI cs.CR
On the (Statistical) Detection of Adversarial Examples
CISPA, Saarland Informatics Campus(CISPA亥姆霍兹信息安全中心,萨尔兰信息学园区);Penn State University(宾夕法尼亚州立大学);MPI SWS(马克斯·普朗克软件系统研究所)
机器学习(ML)模型被应用于各种任务中,例如网络入侵检测或恶意软件分类。然而,这些模型容易受到一类被称为对抗性示例的恶意输入的影响。这些是被ML模型错误分类的轻微扰动输入。减少这些敌对性投入仍然是一个悬而未决的问题。作为理解对抗性示例的一步,我们表明它们不是来自与原始数据相同的分布,因此可以使用统计测试来检测。利用这些知识,我们引入了一种互补的方法来识别对抗性的特定输入。具体来说,我们用一个额外的输出来增强我们的ML模型,在这个输出中,模型被训练来对所有对抗性输入进行分类。我们使用多个数据集对多个对抗性示例制作方法(包括快速梯度符号和显着图方法)进行了评估。统计测试标记包含敌对输入的样本集,样本大小在10到100个数据点之间。此外,我们的增强模型要么以高准确度(> 80%)将对抗性示例检测为离群值,要么将对手的成本(增加的扰动)增加150%以上。通过这种方式,我们证明了对抗性示例的统计特性对其检测至关重要。
2017-10-17 cs.CR cs.LG stat.ML
Adversarial Exploitation of Policy Imitation
Kansas State University(堪萨斯州立大学)
本文研究了针对深度强化学习(DRL)策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性(例如,分类器)到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力,从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中,我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外,我们开发了概念验证攻击,利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念,缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
Distributed Energy Resources Cybersecurity Outlook: Vulnerabilities, Attacks, Impacts, and Mitigations
本研究针对现有DER网络安全研究的局限性,全面分析攻击者操控DER的能力与目标、漏洞转化为攻击的路径,并提出缓解策略与未来研究方向。
2023-10-02 cs.CR cs.SY eess.SY
AVA: Inconspicuous Attribute Variation-based Adversarial Attack bypassing DeepFake Detection
Shandong University(山东大学);City University of Hong Kong(香港城市大学)
本文提出 AVA 对抗攻击,通过高斯先验与语义判别器在属性潜在空间施加人类难察的语义变化,可绕过现有 DeepFake 检测防御,并在九种检测器及两个商用系统上取得高攻击成功率。
2023-12-14 cs.CR cs.CV
iCTGAN--An Attack Mitigation Technique for Random-vector Attack on Accelerometer-based Gait Authentication Systems
Haverford College(哈弗福德学院);Bucknell University(巴克内尔大学)
最近的一项研究表明,通常(香草)研究的基于加速度计的步态认证系统($v$ ABGait)的实现容易受到随机向量攻击。同一研究提出了一种beta噪声辅助实现($β$ ABGait)来减轻攻击。在本文中,我们使用三个基于加速度计的步态数据集评估随机向量攻击对$v$ ABGait和$β$ ABGait的有效性。此外,我们提出了$i$ ABGait,ABGait的替代实现,它使用了条件表格生成对抗网络。然后,我们评估$i$ ABGait的弹性对传统的零努力和随机向量攻击。结果表明,$i$ ABGait在合理的程度上减轻了随机向量攻击的影响,并且在大多数实验设置中优于$β$ ABGait。
2022-10-02 cs.CR cs.CV
Order-Disorder: Imitation Adversarial Attacks for Black-box Neural Ranking Models
Wuhan University(武汉大学);Alibaba Group(阿里巴巴集团);Indiana University Bloomington(印第安纳大学伯明顿分校);Northeastern University(东北大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出针对黑盒神经排序模型的模仿对抗攻击方法,通过训练排序模仿模型并生成带伪装的对抗触发器,以极少词元实现排序操纵,并验证其对多种SOTA模型的有效性。
2023-04-18 cs.CL cs.CR cs.IR
SDN-Based False Data Detection With Its Mitigation and Machine Learning Robustness for In-Vehicle Networks
University of South Florida(佛罗里达州立大学);ICNS Lab and Cyber Florida(ICNS实验室和Cyber Florida)
针对车载CAN网络制动相关ECU的虚假数据注入攻击,提出融合LSTM检测、对抗重训练与SDN流规则缓解的FDDMS,实现实时检测与鲁棒防御。
2025-06-06 cs.CR cs.LG
Using Anomaly Feature Vectors for Detecting, Classifying and Warning of Outlier Adversarial Examples
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
我们提出了DeClaW,一个系统,用于检测,分类和警告的对抗性输入的分类神经网络。与当前最先进的方法相比,在给定输入的情况下,检测输入是干净的还是敌对的,我们的目标是还识别对抗攻击的类型(例如,PGD,Carlini-Wagner或清洁)。为了实现这一点,我们提取的统计配置文件,我们术语异常特征向量,从一组潜在的功能。初步研究结果表明,AFV可以帮助区分几种类型的对抗攻击(例如,PGD与Carlini-Wagner),在CIFAR-10数据集上的准确率接近93%。结果打开了大门,使用AFV为基础的方法,探索不仅对抗攻击检测,但也分类的攻击类型,然后设计攻击特定的缓解策略。
2021-07-01 cs.CR cs.LG
Feature Selection via GANs (GANFS): Enhancing Machine Learning Models for DDoS Mitigation
School of Electrical and Computer Science University of Ottawa(电气与计算机科学学院 莱斯布里奇大学)
针对高维冗余流量下DDoS检测特征选择难题,提出基于生成对抗网络的GANFS方法,利用攻击流量训练判别器并通过扰动敏感性分析排序特征,在CIC-DDoS2019数据集上提升了分类准确率与计算效率。
2025-04-21 cs.AI cs.CR cs.LG
PatchBlock: A Lightweight Defense Against Adversarial Patches for Embedded EdgeAI Devices
eBRAIN Lab, Division of Engineering, New York University (NYU) Abu Dhabi, UAE(eBRAIN实验室,工程系,纽约大学(NYU)阿布扎赫德分校);DakAI, Dubai, UAE(DakAI,迪拜,阿联酋)
PatchBlock是一种轻量级防御方法,通过异常检测和降维技术有效检测并中和对抗性补丁,提升边缘AI设备的鲁棒性与效率。
2026-01-01 cs.AI cs.CR
Decode and Transfer: A New Steganalysis Technique via Conditional Generative Adversarial Networks
最近的工作(Baluja,2017)表明,使用一对深度编码器和解码器,可以实现将全尺寸的秘密图像嵌入到相同大小的容器图像中。该方法将秘密图像的信息分布在覆盖图像的所有颜色通道上,因此,使用常规方法难以发现秘密图像。在本文中,我们提出了一种新的隐写分析技术,实现完全恢复的隐写图像中嵌入的秘密。我们结合了一个深度神经网络来解码秘密图像的近似估计,然后是基于生成对抗网络的领域自适应技术,该技术将解码图像转换为具有人眼可见细节的高质量RGB图像。我们的隐写分析技术可以作为一个攻击模型,对任意的基于嵌入的数字水印或隐写算法的安全级别可以进行评估。此外,我们的方法可以被用作一个通用的框架来解码高质量的图像消息从一个嘈杂的观察编码的消息。
2019-01-28 cs.CR
Bitstream Collisions in Neural Image Compression via Adversarial Perturbations
Binghamton University(宾汉姆顿大学)
本研究揭示神经图像压缩存在比特流碰撞漏洞,通过白盒对抗攻击使语义不同图像产生相同压缩比特流,并分析原因及提出缓解方法。
2025-03-25 cs.AI cs.CR
Triggering Stealthy Feature Map Backdoors via Physical Fault Injection in Embedded Neural Networks
Radboud University Nijmegen(奈梅亨拉德堡德大学);Université Libre de Bruxelles(布鲁塞尔自由大学);University of Amsterdam(阿姆斯特丹大学)
研究通过物理故障注入对嵌入式神经网络发动攻击,提出跨层次攻击连接物理与算法层面。给出精确故障注入方法,实现端到端特征图级后门攻击,触发器仅在物理故障下激活,证明该攻击可突破现有防御,凸显新攻击向量及跨层防御需求。
2026-10-22 cs.CR
Towards Adversarial Malware Detection: Lessons Learned from PDF-based Attacks
恶意软件仍然是网络安全领域的一个主要威胁,这也是由于文件等感染媒介的广泛使用。这些感染载体向受害用户隐藏嵌入的恶意代码,便于使用社会工程技术感染他们的机器。研究表明,机器学习算法提供了针对此类威胁的有效检测机制,但在对抗环境中存在的军备竞赛最近对此类系统提出了挑战。在这项工作中,我们专注于嵌入在PDF文件中的恶意软件作为这样的军备竞赛的代表性案例。我们首先提供了一个全面的分类用于生成PDF恶意软件的不同方法,以及相应的基于学习的检测系统。然后,我们使用对抗性机器学习领域的成熟框架,对专门针对基于学习的PDF恶意软件检测器的威胁进行分类。该框架允许我们对基于学习的PDF恶意软件检测器的已知漏洞进行分类,并识别可能威胁此类系统的新型攻击,以及可以减轻此类威胁影响的潜在防御机制。最后,我们讨论了这些发现如何突出有前途的研究方向,以解决在对抗环境中设计强大的恶意软件检测器的更普遍的挑战。
2020-04-14 cs.CR
LocalAlign: Enabling Generalizable Prompt Injection Defense via Generation of Near-Target Adversarial Examples for Alignment Training
Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学)
LocalAlign通过生成接近正确响应但错误的对抗示例,提升提示注入防御的泛化能力,采用margin-aware对齐算法增强训练效果。
2026-10-26 cs.CR
Towards Secure MLOps: Surveying Attacks, Mitigation Strategies, and Research Challenges
The University of Alabama(阿拉巴马大学);Mississippi State University(密苏里州立大学)
本文系统分析了MLOps生态系统的安全威胁与缓解策略,强调了实施强大安全协议的重要性。
2026-01-27 cs.AI cs.CR
Edge-Based Detection and Localization of Adversarial Oscillatory Load Attacks Orchestrated By Compromised EV Charging Stations
在本文中,我们研究了一种基于边缘的方法,用于检测和定位利用电动汽车充电站对电网发起的协调振荡负载攻击。我们依赖于存在互连EVCS的电网的行为特征,同时结合网络和物理层特征来实现深度学习算法,以有效检测EVCS的振荡负载攻击。我们通过构建一个实时测试床来综合良性和恶意数据来评估所提出的检测方法,这些数据是通过分析近年来收集的真实EV充电数据而生成的。实验结果表明,采用卷积长短期记忆模型的方法可以获得最佳的分类精度(99.4\%)。此外,我们的分析结果揭示了这种检测机制对在不同级别的电动汽车充电生态系统中建立弹性的影响,同时允许电网运营商定位攻击并采取进一步的缓解措施。具体而言,我们设法分散振荡负载攻击的检测机制,并为以运营商为中心的机制创建一个有效的替代方案,以减轻针对电网的多运营商和MitM振荡负载攻击。最后,我们利用创建的测试床来评估分布式缓解技术,该技术可以部署在公共/私人充电站上,以平均振荡负载攻击的影响,同时允许电力系统在1秒内以最小的开销顺利恢复。
2023-02-24 cs.CR eess.SP
Machine Learning in Generation, Detection, and Mitigation of Cyberattacks in Smart Grid: A Survey
Florida International University(佛罗里达国际大学)
智能电网(SG)是一个复杂的网络物理系统,它利用现代网络和物理设备运行在最佳运行点。网络攻击是最先进系统的使用和发展所面临的主要威胁。SG的进步增加了广泛的技术,设备和工具,使系统更加可靠,高效和具有成本效益。尽管实现了这些目标,但由于网络的广泛实施,对抗攻击的威胁空间也扩大了。由于有前途的计算和推理能力,机器学习(ML)被用来利用和防御SG中的网络攻击,分别由攻击者和系统操作员。在本文中,我们通过回顾SG领域的最新研究,对网络攻击的生成、检测和缓解方案进行了全面总结。此外,我们总结了目前的研究在一个结构化的方式使用表格格式。在此基础上,提出了现有研究的不足之处和今后可能的研究方向。
2020-09-01 cs.CR cs.LG cs.SY
CLEANN: Accelerated Trojan Shield for Embedded Neural Networks
UC San Diego(加州大学圣迭戈分校)
我们提出了CLEANN,第一个端到端的框架,使嵌入式深度神经网络(DNN)应用程序的木马在线缓解。特洛伊木马攻击的工作原理是在训练时在DNN中注入后门;在推理过程中,特洛伊木马可以通过特定的后门触发器激活。CLEANN与之前的工作的区别在于其轻量级方法,该方法可以恢复特洛伊样本的地面实况类,而无需标记数据,模型再训练或对触发器或攻击的先验假设。我们利用字典学习和稀疏近似来表征良性数据的统计行为并识别特洛伊木马触发器。CLEANN是基于算法/硬件协同设计而设计的,并配备了专用硬件,以实现在资源受限的嵌入式平台上的高效实时执行。CLEANN对最先进的神经特洛伊木马攻击的概念验证评估在视觉基准测试中证明了其在攻击弹性和执行开销方面的竞争优势。
2020-09-04 cs.AR cs.CR cs.CV
A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation
College of IST(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一个形式化框架,通过分层方法整合实时监控、持续红队测试和对抗模拟,对生成式AI中潜在空间利用、多模态交叉攻击及反馈回路退化等新兴安全风险进行分类与动态缓解,为未来实证研究提供方法论和评估指标。
2024-10-15 cs.CR cs.LG
Autonomous AI-based Cybersecurity Framework for Critical Infrastructure: Real-Time Threat Mitigation
School of Computer Science and Technology(计算机科学与技术学院)
本文提出了一种基于AI的自主网络安全框架,用于实时检测和缓解关键基础设施中的网络威胁,以提升系统安全性和韧性。
2025-07-10 cs.AI cs.CR cs.ET
Evaluating the Robustness of Trigger Set-Based Watermarks Embedded in Deep Neural Networks
KAIST(韩国科学技术院);Columbia University(哥伦比亚大学)
基于触发集的水印方案已经获得了新兴的关注,因为它们提供了一种证明深度神经网络模型所有者的所有权的手段。在本文中,我们认为,国家的最先进的触发集为基础的水印算法没有达到其设计的目标,证明所有权。我们认为,这种受损的能力源于两个常见的实验缺陷,现有的研究实践中所承诺的水印算法的鲁棒性进行评估时:(1)不完整的对抗性评估和(2)忽视自适应攻击。我们进行了全面的对抗性评估的11个代表性的水印方案对现有的攻击,并证明这些水印方案中的每一个缺乏鲁棒性,对至少两个非自适应攻击。我们还提出了新的自适应攻击,利用对手的知识的基础水印算法的目标模型。我们证明了所提出的攻击有效地打破了所有的11个水印方案,从而使对手掩盖所有权的任何水印模型。我们鼓励后续研究在评估其水印方案的鲁棒性时考虑我们的指导方针,通过进行全面的对抗性评估,包括我们的自适应攻击,以证明水印鲁棒性的有意义的上限。
2023-01-19 cs.CR cs.LG
Why do universal adversarial attacks work on large language models?: Geometry might be the answer
Harvard University(哈佛大学)
本研究提出几何视角,解释基于梯度的通用对抗攻击为何对大型语言模型有效,通过攻击GPT-2发现触发器近似嵌入向量语义,为缓解攻击提供洞见。
2023-09-01 cs.CL cs.CR cs.LG
A Comprehensive Survey on the Security of Smart Grid: Challenges, Mitigations, and Future Research Opportunities
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of North Texas(北得克萨斯大学)
该综述全面梳理智能电网安全的系统架构、攻击向量(含协同攻击)、多类防御策略及研究挑战,展望了大语言模型应用、对抗性机器学习威胁等未来研究方向。
2024-07-10 cs.AI cs.CR
Adversarial Attacks are a Surprisingly Strong Baseline for Poisoning Few-Shot Meta-Learners
University of Cambridge(剑桥大学)
本文研究了部署的Few-Shot元学习系统的鲁棒性,当它们被馈送一个不可察觉的扰动Few-Shot数据集。我们攻击摊销的元学习者,这使我们能够精心设计输入的勾结集,这些输入被定制为在用作训练数据时欺骗系统的学习算法。联合制作的对抗性输入可能会协同操纵分类器,从而允许很难检测到的非常强大的数据中毒攻击。我们表明,在白盒设置中,这些攻击是非常成功的,可以导致目标模型的预测变得比机会更糟。然而,与一般对抗性示例的众所周知的可转移性相反,共谋集不能很好地转移到不同的分类器。我们探索两个假设来解释这一点:“过拟合”的攻击,和模型之间的不匹配的攻击产生的攻击和攻击转移。不管这些假设所提出的缓解策略如何,合谋输入的转移并不比以通常方式独立产生的对抗性输入更好。
2022-11-23 cs.CR cs.LG
Security Concerns on Machine Learning Solutions for 6G Networks in mmWave Beam Prediction
Simula Research Laboratory(西姆拉研究实验室);Norwegian University of Science and Technology(挪威科技大学);Old Dominion University(奥多明尼昂大学);Qatar University(卡塔尔大学)
6 G--第六代--是目前正在为无线通信系统开发的最新蜂窝技术。近年来,机器学习算法已广泛应用于医疗保健、交通、能源、自动驾驶汽车等各个领域。这些算法也被用于通信技术中,以改善系统在频谱使用、延迟和安全性方面的性能。随着机器学习技术的快速发展,特别是深度学习,在应用算法时考虑安全问题至关重要。虽然机器学习算法为6 G网络提供了显著的优势,但到目前为止,科学界通常忽略了人工智能(AI)模型的安全问题。然而,安全性也是AI算法的重要组成部分,这是因为AI模型本身可能会被攻击者毒害。本文提出了一种对抗性攻击的缓解方法,该方法针对使用对抗性学习的毫米波(mmWave)波束预测的拟议6 G机器学习模型。针对机器学习模型的对抗性攻击背后的主要思想是通过操纵用于6 G应用的训练深度学习模型来产生错误的结果,以进行毫米波波束预测。我们还介绍了对抗性学习缓解方法在具有快速梯度符号方法攻击的mmWave波束预测应用中用于6 G安全的性能。在攻击下,防御模型的均方误差(MSE)非常接近于未受攻击的非防御模型。
2021-07-23 cs.CR cs.LG eess.SP
Federated Anomaly Detection and Mitigation for EV Charging Forecasting Under Cyberattacks
ICT Convergence Research Center(信息通信融合研究中心);Kumoh National Institute of Technology(Kumoh国立技术学院);IT-Convergence Engineering(信息融合工程)
本文提出一种联邦学习框架,用于在遭受网络攻击时实现电动汽车充电预测中的异常检测与缓解,通过保护隐私、检测攻击并提升预测准确性。
2025-11-22 cs.CR cs.LG