Scalable Edge Blocking Algorithms for Defending Active Directory Style Attack Graphs
Active Directory(AD)是Windows域网络的默认安全管理系统。AD环境自然地描述了攻击图,其中节点表示计算机/帐户/安全组,并且边表示允许攻击者从一个节点获得对另一个节点的访问的现有访问/已知利用。受实际AD用例的启发,我们研究了一个攻击者和一个防御者之间的Stackelberg游戏。有多个入口节点供攻击者选择,并且有一个目标(域管理员)。每条边都有失败率。攻击者选择成功率最大的攻击路径。防守者可以阻挡有限数量的边(即,撤销访问)。防御者的目标是最小化攻击者的成功率。我们利用实际AD图的树状性来设计可扩展的算法。我们提出了两种新的方法,结合理论的固定参数分析和实际的优化技术。对于树宽度较小的图,我们提出了一个基于树分解的动态规划。然后,我们提出了一个通用的方法转换树分解为基础的动态程序的强化学习环境,这导致了一个随时算法,规模更好,但失去了最优性保证。对于具有少量非分裂路径的图(我们专门为AD图发明的参数),我们提出了一种核化技术,该技术可以显着缩小模型,然后通过混合整数规划来解决。实验上,我们的算法可以扩展到处理具有数万个节点的合成AD图。
2022-12-02 cs.CR cs.GT
Defending Hardware-based Malware Detectors against Adversarial Attacks
在物联网(IoT)时代,恶意软件在过去十年中呈指数级增长。传统的防病毒软件对现代复杂的恶意软件无效。为了应对这一挑战,研究人员提出了使用硬件性能计数器(HPC)的硬件辅助恶意软件检测(HMD)。HPC用于训练一组机器学习(ML)分类器,这些分类器又用于区分良性程序和恶意软件。最近,对抗攻击已经通过使用对抗样本预测器在HPC迹线中引入扰动来设计,以将程序错误分类为特定HPC。这些攻击的设计基本假设是攻击者知道HPC用于检测恶意软件。由于现代处理器由数百个HPC组成,因此仅限制其中几个用于恶意软件检测有助于攻击者。在本文中,我们提出了一个移动目标防御(MTD),这种对抗攻击通过设计多个ML分类器上训练不同的HPC集。MTD随机选择一个分类器;因此,使攻击者对HPC或应用的分类器数量感到困惑。我们已经开发了一个分析模型,证明了攻击者猜测MTD的完美HPC-分类器组合的概率非常低(对于具有20个HPC的系统,在$10^{-1864}$的范围内)。我们的实验结果证明,所提出的防御能够提高HPC痕迹的分类精度,这些痕迹通过对抗性样本生成器进行了修改,最高可达31.5%,几乎完美(99.4%)恢复了原始精度。
2020-07-26 cs.CR
An Adversarial Attack Defending System for Securing In-Vehicle Networks
University of South Florida(南佛罗里达大学)
在现代汽车中,有70多个电子控制单元(ECU)。对于车载网络,ECU通过遵循标准通信协议(例如控制器局域网(CAN))相互通信。但是,攻击者可以通过WLAN或蓝牙轻松访问车载网络,从而危及ECU。虽然有各种各样的深度学习(DL)方法被建议用于保护车载网络,但最近对对抗性示例的研究表明,攻击者可以很容易地欺骗DL模型。在这项研究中,我们进一步探索了车载网络中的对抗性示例。我们首先发现并实现了两个对抗攻击模型,它们对车载网络中使用的基于长短期记忆(LSTM)的检测模型有害。然后,我们提出了一个对抗攻击防御系统(AADS),用于保护车载网络。具体而言,我们专注于车载网络中与制动相关的ECU。我们的实验结果表明,对手可以很容易地攻击基于LSTM的检测模型的成功率超过98%,所提出的AADS实现了超过99%的准确率检测对抗攻击。
2020-08-29 cs.CR cs.LG
Defending against adversarial attacks by randomized diversification
University of Geneva(日内瓦大学)
机器学习系统对对抗攻击的脆弱性质疑它们在许多应用中的使用。在本文中,我们提出了一个随机多样化的防御策略。我们介绍了一个多通道的架构,在灰盒的情况下,假设架构的分类器和训练数据集是已知的攻击者。攻击者不仅可以访问秘密密钥和测试时系统的内部状态。防御者在多个通道中处理输入。每个通道基于在训练和测试阶段之间共享的秘密密钥在特殊变换域中引入其自己的随机化。这种基于变换的随机化与共享密钥为防御者保留了密钥定义的子空间中的梯度,但它防止了梯度反向传播和为攻击者创建各种旁路系统。多通道随机化的另一个好处是聚合融合了所有通道的软输出,从而提高了最终分数的可靠性。秘密密钥的共享为防御者创造了信息优势。实验评估表明,所提出的方法的鲁棒性增加了一些已知的国家的最先进的攻击。
2019-04-01 cs.CR cs.LG stat.ML
Defending Against Advanced Persistent Threats using Game-Theory
高级持续性威胁(APT)结合了从社会工程到技术漏洞等各种不同的攻击形式。APT的多样性和通常的隐蔽性使其成为当代实际系统安全的中心问题,因为关于攻击、当前系统状态或攻击者动机的信息通常是模糊的、不确定的,并且在许多情况下甚至是不可用的。博弈论是一种自然的方法来模拟攻击者和防御者之间的冲突,这项工作研究了一个广义的矩阵游戏类作为风险缓解工具的APT防御。与标准的博弈和决策理论不同,我们的模型是定制的,以捕捉和处理APT不可分割的全部不确定性,例如定性专家风险评估之间的分歧,未知的对抗性激励和当前系统状态的不确定性(就攻击者可能已经渗透到系统的保护壳有多深而言)。实际上,博弈论APT模型可以直接从拓扑脆弱性分析中推导出来,同时进行风险评估,因为它们是在ISO 31000系列等常见风险管理标准中完成的。从理论上讲,这些模型与经典博弈论模型相比具有不同的属性,其在这项工作中提出的技术解决方案可能具有独立的兴趣。
2022-05-02 cs.CR cs.GT
Mockingbird: Defending Against Deep-Learning-Based Website Fingerprinting Attacks with Adversarial Traces
Anomali Inc.(Anomali公司);Global Cybersecurity Institute, Rochester Institute of Technology(罗切斯特理工学院全球网络安全研究所)
网站指纹(WF)是一种流量分析攻击,使本地被动窃听者能够推断受害者的活动,即使流量受到VPN或Tor等匿名系统的保护。利用深度学习分类器,WF攻击者可以在Tor流量上获得超过98%的准确率。在本文中,我们探索了一种新的防御方法Mockingbird,它基于对抗性示例的思想,这些示例已被证明会破坏其他领域的机器学习分类器。由于攻击者得到设计和训练他的攻击分类器的基础上的防御,我们首先证明,在一个简单的技术生成对抗性的例子为基础的痕迹无法防止攻击者使用对抗性训练的强大的分类。然后,我们提出了Mockingbird,一种用于生成轨迹的技术,通过在可行轨迹的空间中随机移动而不是遵循更可预测的梯度来抵抗对抗性训练。该技术将对抗训练强化的最先进攻击的准确性从98%降低到42-58%,同时仅产生58%的带宽开销。攻击准确性通常低于最先进的防御,并且在考虑Top-2准确性时要低得多,同时产生较低的带宽开销。
2020-10-28 cs.CR cs.LG
Defending against Phishing Attacks: Taxonomy of Methods, Current Issues and Future Directions
互联网技术在今天如此普及,例如,从在线社交网络到网上银行,它使人们的生活变得更加舒适。由于互联网技术的发展,对系统和网络的安全威胁是无情的发明。其中一个严重的威胁是“网络钓鱼”,攻击者试图使用虚假的电子邮件或网站或两者来窃取用户的凭据。的确,工业界和学术界都在努力开发解决方案来对抗网络钓鱼威胁。因此,组织在网络钓鱼威胁预防中注意最终用户意识非常重要。因此,本文的目的是双重的。首先,我们将详细讨论网络钓鱼攻击的历史和攻击者的动机。然后,我们将提供各种类型的网络钓鱼攻击的分类。其次,我们将提供文献中提出的各种解决方案的分类,以保护用户免受网络钓鱼的基础上,在我们的分类识别的攻击。此外,我们还讨论了物联网(IoT)中网络钓鱼攻击的影响。最后,我们讨论了文献中仍然存在的各种问题和挑战,这些问题和挑战对于打击网络钓鱼威胁非常重要。
2017-05-27 cs.CR
MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models
Florida State University(佛罗里达州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出MISLEADER防御框架,通过将模型保护建模为双层优化问题,结合数据增强与异构蒸馏模型集成,在不依赖分布外样本假设的前提下同时保持模型效用并降低可提取性。
2025-06-03 cs.AI cs.CR
Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
New York University(纽约大学)
深度神经网络(DNN)在广泛的分类任务中提供出色的性能,但其训练需要大量的计算资源,并且通常外包给第三方。最近的研究表明,外包训练引入了一种风险,即恶意训练者将返回一个后门DNN,该DNN在大多数输入上表现正常,但在存在只有攻击者才知道的触发器时,会导致有针对性的错误分类或降低网络的准确性。在本文中,我们提供了第一个有效的防御后门攻击的DNN。我们实现了三个后门攻击从以前的工作,并使用它们来调查两个有前途的防御,修剪和微调。我们表明,两者本身都不足以抵御复杂的攻击者。然后,我们评估了精细修剪,修剪和微调的组合,并表明它成功地削弱甚至消除了后门,即,在某些情况下,将攻击成功率降低到0%,对于干净(非触发)输入,准确度仅下降0.4%。我们的工作为防御深度神经网络中的后门攻击迈出了第一步。
2018-05-30 cs.CR cs.LG
Minority Reports Defense: Defending Against Adversarial Patches
University of California, Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学)
深度学习图像分类容易受到对抗攻击的攻击,即使攻击者只改变了图像的一小部分。我们提出了一种防御补丁攻击的基础上部分遮挡周围的每个候选补丁位置的图像,使几个遮挡完全隐藏补丁。我们在CIFAR-10、Fashion MNIST和MNIST上证明,我们的防御可以针对一定规模的补丁攻击提供经过认证的安全性。
2020-04-28 cs.CR cs.CV cs.LG
MemGuard: Defending against Black-Box Membership Inference Attacks via Adversarial Examples
Duke University(杜克大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在成员推断攻击中,攻击者旨在推断数据样本是否在目标分类器的训练数据集中。具体地,给定对目标分类器的黑盒访问,攻击者训练二元分类器,该二元分类器将由目标分类器预测的数据样本的置信度得分向量作为输入,并预测数据样本是目标分类器的训练数据集的成员或非成员。成员推断攻击对训练数据集构成严重的隐私和安全威胁。大多数现有的防御措施在训练目标分类器时利用差分隐私或规则化目标分类器的训练过程。这些防御受到两个关键限制:1)它们没有置信度得分向量的正式效用损失保证,以及2)它们实现了次优的隐私效用权衡。在这项工作中,我们提出MemGuard,第一个防御正式效用损失保证黑盒成员推断攻击。MemGuard不会篡改目标分类器的训练过程,而是向目标分类器预测的每个置信度得分向量添加噪声。我们的关键观察是,攻击者使用分类器来预测成员或非成员,分类器容易受到对抗性示例的影响。基于观察结果,我们建议将精心制作的噪声向量添加到置信度得分向量中,将其转化为误导攻击者分类器的对抗性示例。我们在三个数据集上的实验结果表明,MemGuard可以有效地抵御成员推断攻击,并实现更好的隐私效用权衡比现有的防御。我们的工作是第一个显示对抗性的例子可以被用作防御机制,以抵御成员推断攻击。
2019-12-18 cs.CR cs.LG
CleanStack: A New Dual-Stack for Defending Against Stack-Based Memory Corruption Attacks
针对现有栈内存破坏防御机制的覆盖有限、开销高或兼容性差的问题,本文提出基于双栈隔离与随机化的CleanStack保护机制,在低开销下实现了全面高效的栈防护。
2025-03-21 cs.CR
The Heisenberg Defense: Proactively Defending SGX Enclaves against Page-Table-Based Side-Channel Attacks
保护模块架构(PMA)已经被提出来提供强大的隔离保证,即使在受损的系统之上。不幸的是,英特尔SGX -唯一公开的高端PMA -已被证明只能提供有限的隔离。控制不可信页表的攻击者可以通过观察其页访问模式来学习飞地秘密。在现实环境中加强现有的受保护模块架构以抵抗侧信道攻击是一项极其困难的任务,因为系统软件(管理程序、操作系统.)需要完全控制底层硬件大多数最先进的解决方案都提出了一种被动防御,可以监视攻击的迹象。不幸的是,这种方法无法检测到最新颖的攻击,遭受误报,并在检测到攻击时给安全区开发人员带来非常沉重的负担。我们提出海森堡,主动防御,提供完整的保护,对页表为基础的边通道。我们保证在{ \em任何}敏感信息泄露之前,将自动阻止或检测任何攻击。因此,海森堡总是可以安全地恢复飞地执行-即使攻击者仍然存在于系统中。我们提出了两个实现。Heisenberg-HW依赖于非常有限的硬件功能来防御基于页表的攻击。我们使用x86/SGX平台作为示例,但是当受保护模块架构被移植到不同的平台时,也可以应用相同的方法。Heisenberg-SW避免了这些硬件修改,可以很容易地应用。不幸的是,它依赖于英特尔transmittance同步扩展(TSX)可能会导致显着的性能开销在现实生活中的条件下。
2017-12-22 cs.CR
Defending Against Prompt Injection With a Few DefensiveTokens
本文提出 DefensiveToken,一种测试时防御方法,通过插入少量经安全优化的特殊令牌,在不显著降低模型效用的情况下抵御提示注入攻击,并支持安全与效用的灵活切换。
2025-08-25 cs.CR
Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment
University of Waterloo(滑铁卢大学);Zhejiang University(浙江大学);KTH Royal Institute of Technology(皇家理工学院)
提出RETA方法,通过基于用户任务的多目标强化学习训练防御器,利用思维链推理验证行动一致性,并采用字典学习多样性奖励生成对抗样本,在六种自适应攻击下平均攻击成功率低于4%。
2026-06-16 cs.AI cs.CR
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
Sharif University of Technology(伊朗谢里夫理工大学)
研究针对基于黑盒分数的对抗样本攻击的防御与攻击方法,提出随机对数缩放(RLS)防御可降低攻击成功率,还引入新型自适应攻击,证明一种非随机化黑盒防御易受攻击。
2026-07-17 cs.AI cs.CR cs.LG
AccFlow: Defending Against the Low-Rate TCP DoS Attack in Wireless Sensor Networks
由于无线传感器网络(WSN)的开放性,拒绝服务(DoS)成为资源受限传感器节点稳定性的最大威胁之一。在本文中,我们开发的AccFlow是一个增量式部署的软件定义网络为基础的协议,能够作为一种对策,对低速率的TCP拒绝服务攻击。AccFlow的主要思想是通过根据攻击流的丢失率丢弃它们的数据包来使攻击流对拥塞负责。丢失率越大,AccFlow丢弃数据包的力度就越大。通过大量的模拟,我们证明了AccFlow可以有效地抵御低速率的TCP拒绝服务攻击,即使攻击者改变他们的策略,在不同的规模和数据率的攻击。此外,虽然AccFlow的目的是解决低速率的TCP拒绝服务攻击,我们证明,AccFlow也可以有效地抵御一般的拒绝服务攻击,不依赖于TCP重传超时机制,但导致拒绝服务的合法用户不断耗尽网络资源。最后,我们考虑AccFlow的可扩展性及其在实际网络中的部署。
2019-03-15 cs.CR
Attacking and Defending Deep Reinforcement Learning Policies
最近的研究表明,深度强化学习(DRL)策略容易受到对抗攻击的攻击,这引起了人们对DRL在安全关键系统中应用的担忧。本文从鲁棒优化的角度出发,采用原则性的方法研究了DRL策略对对抗攻击的鲁棒性。在鲁棒优化的框架下,通过最小化策略的期望收益给出最优的对抗攻击,相应地,通过提高策略的最坏情况性能来实现良好的防御机制。考虑到攻击者通常无法访问训练环境,我们提出了一种贪婪攻击算法,该算法试图在不与环境交互的情况下最小化策略的预期收益,以及一种防御算法,该算法以最大-最小形式进行对抗性训练。在Atari游戏环境下的实验表明,与现有攻击算法相比,该攻击算法更有效,策略回报率更低;与现有防御算法相比,该防御算法对一系列对抗攻击(包括本文提出的攻击算法)具有更强的鲁棒性。
2022-05-16 cs.CR cs.LG
Defending against Model Extraction for GNNs with Model Reprogramming
University of Maryland, College Park(马里兰大学帕克分校);University of Central Florida(中佛罗里达大学)
针对图神经网络的模型提取攻击,提出主动防御框架GraphRP,通过结构感知门控机制构建动态结构防火墙,可显著降低攻击有效性且保留良性效用。
2026-08-13 cs.CR cs.IR cs.LG
Optimizing Investments in Cyber Hygiene for Protecting Healthcare Users
网络卫生措施通常被建议用于加强组织的安全态势,特别是用于防止针对人类元素的社会工程攻击。然而,相关建议通常对所有组织及其雇员都是相同的,而不管不同用户群体的风险性质和程度如何。在现有的网络安全投资模型的基础上,本文提出了一种用于网络卫生保障措施最佳选择的工具,我们称之为最佳保障措施工具。该模型结合了博弈论和组合优化,考虑到每个用户组被攻击的概率,每个组可访问的资产的价值,以及每个控制对于特定组的功效。该模型将间接成本视为员工在实施控制的情况下学习和培训所需的时间。利用博弈论的框架来支持背包优化问题,使我们能够最佳地选择保障措施的应用水平,最大限度地减少在安全投资预算内的总预期损害。我们在医疗保健领域的用例中评估OST。关键互联网安全控制组17,用于为医院的ICT、临床和管理人员实施安全意识和培训计划。我们比较了OST实现的战略对替代常识防御方法为三种不同类型的攻击者:纳什,加权和反。对于所有攻击者类型,纳什防御策略始终优于竞争策略,只有一个小例外,即纳什防御策略的表现至少与其他常识方法一样好。
2020-01-11 cs.CR
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Zhejiang Lab(之江实验室);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击,例如模型反演攻击和成员推断攻击,其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法,即净化框架,来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明,当净化器致力于一种攻击时,它自然会防御另一种攻击,这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如,它可以将隶属度推断精度降低高达15%,并将模型反演误差增加高达4倍。此外,它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
Using Covert Topological Information for Defense Against Malicious Attacks on DC State Estimation
准确的状态估计对保证电力系统安全高效运行至关重要。最近发现的对仪表测量的协调数据注入攻击可以绕过当前的安全系统,并将错误引入状态估计。减轻这种攻击的传统智慧是通过保护仪表测量以避免恶意注入。在本文中,我们提供了一种新的替代方案,以抵御虚假数据注入攻击,利用隐藏的电力网络拓扑信息。通过保持一组传输线的确切电抗不被攻击者发现,就不能发起虚假数据注入攻击来破坏任何一组状态变量。我们首先从攻击者的角度研究了执行注入攻击的必要条件。基于这些参数,我们将最优保护问题描述为一个图中的Steiner树问题,该问题以最小的代价保护状态变量。此外,我们还提出了一个混合的防御策略,共同考虑使用隐蔽的拓扑信息和安全的电表测量时,单独的方法是昂贵的或无法实现的保护目标。提出了一种混合整数线性规划(MILP)方法来求解最优混合防御策略.为了解决该问题的NP-困难性,进一步提出了一种基于剪枝的启发式算法,在多项式时间内得到近似解。在IEEE标准电力系统测试案例中验证了所提出的防御机制的优越性能。
2014-04-20 cs.CR
SafeReview: Defending LLM-based Review Systems Against Adversarial Hidden Prompts
CISPA;Westlake University(西交利物浦大学);Southern University of Science and Technology(南方科技大学);HKUST (Guangzhou)(香港科技大学(广州))
提出SafeReview,一种共进化对抗训练框架,通过联合训练生成器和防御者模型,增强基于LLM的同行评审系统对对抗性隐藏提示的鲁棒性。
2026-05-28 cs.CL cs.CR
Defending Adversarial Attacks by Correcting logits
Shanghai Jiao Tong University(上海交通大学);Noah’s Ark Lab, Huawei Inc.(华为诺亚方舟实验室)
生成和消除对抗性样本一直是深度学习领域一个有趣的话题。虽然之前的研究证实,对抗攻击通常很脆弱,并且可以通过图像级处理进行防御,但尚不清楚此类攻击如何干扰高级特征。我们从一个新的角度来研究这个问题,这个角度纯粹依赖于logits,softmax之前的类得分,来检测和防御对抗攻击。我们的防御者是一个双层网络,在一组干净和扰动的logits上训练,目标是恢复原始预测。在广泛的对抗攻击,我们的简单的方法显示出有希望的结果,在防御中具有相对较高的准确性,防御者可以转移到攻击者具有类似的属性。更重要的是,我们的防御者可以在图像数据不可用的情况下工作,并且具有很高的可解释性,特别是在语义层面。
2019-06-26 cs.CR cs.CV cs.LG
Defending Against Adversarial Attacks Using Random Forests
University of Central Florida(中佛罗里达大学);University of California, Los Angeles(加州大学洛杉矶分校);JD AI Research(京东AI研究院);Google(谷歌)
随着深度神经网络(DNN)变得越来越重要和流行,DNN的鲁棒性是互联网和物理世界安全的关键。不幸的是,最近的一些研究表明,很难与真实示例区分开来的对抗性示例可以很容易地欺骗DNN并操纵它们的预测。在观察到对抗性示例主要是通过基于梯度的方法生成的之后,在本文中,我们首先提出使用一种简单但非常有效的不可微混合模型,该模型结合了DNN和随机森林,而不是隐藏攻击者的梯度,以抵御攻击。我们的实验表明,我们的模型可以成功地和完全防御白盒攻击,具有较低的可移植性,并且对三种代表性的黑盒攻击具有很强的抵抗力;同时,我们的模型达到了与原始DNN相似的分类精度。最后,我们研究并提出了一个标准来定义在DNN中生长随机森林的位置。
2019-06-16 cs.CR cs.CV
Proof-of-Execution Memory: Defending LLM Agents Against Forged-Reasoning Attacks by Verifying What Actually Happened
Gyeongsang National University(庆尚国立大学)
该研究针对大语言模型智能体的伪造推理攻击,提出执行证明内存(PoEM)防御方案,通过维护防篡改的HMAC链式分类账验证实际执行步骤,使攻击成功率降至0%,且误报率极低、开销微小。
2026-08-18 cs.CR
Defending against the Label-flipping Attack in Federated Learning
Universitat Rovira i Virgili(罗维拉-威尔吉利大学)
联邦学习(FL)通过设计为参与的对等体提供自主性和隐私性,这些对等体合作构建机器学习(ML)模型,同时将其私有数据保存在其设备中。然而,同样的自治为恶意对等点打开了大门,通过进行无目标或有目标的中毒攻击来毒害模型。标签翻转(LF)攻击是一种有针对性的中毒攻击,其中攻击者通过翻转来自一个类的一些示例的标签(即,源类)到另一个(即,目标类)。不幸的是,这种攻击很容易执行,很难检测到,它对全局模型的性能产生了负面影响。针对LF的现有防御受到对对等体数据分布的假设的限制,并且/或者在高维模型中表现不佳。在本文中,我们深入研究了LF攻击行为,发现攻击者和诚实的对等体对源类示例的矛盾目标反映在输出层中源类和目标类神经元对应的参数梯度中,使这些梯度成为攻击检测的良好区分特征。因此,我们提出了一种新的防御,首先动态地提取这些梯度从同行的本地更新,然后聚类提取的梯度,分析产生的集群和过滤掉潜在的坏更新模型聚合之前。在三个数据集上的大量实证分析表明,无论数据分布或模型维数如何,所提出的防御方法都能有效地抵御LF攻击。此外,所提出的防御优于几个国家的最先进的防御,提供更低的测试误差,更高的整体准确性,更高的源类准确性,更低的攻击成功率,和更高的稳定性的源类准确性。
2022-07-05 cs.CR cs.LG
Defending Against Model Stealing Attacks with Adaptive Misinformation
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)容易受到模型窃取攻击的影响,这使得数据有限的对手在不了解训练数据集的情况下,仅通过使用黑盒查询访问来克隆目标模型的功能。这种攻击通常通过使用合成生成的或从代理数据集采样的输入来查询目标模型以构建标记数据集来执行。对手可以使用这个标记的数据集来训练克隆模型,从而实现与目标模型相当的分类精度。我们提出了“自适应错误信息”来抵御这种模型窃取攻击。我们发现,所有现有的模型窃取攻击总是查询目标模型与外的分布(OOD)的输入。通过选择性地发送OOD查询的错误预测,我们的防御大大降低了攻击者克隆模型的准确性(高达40%),同时对良性用户的准确性影响最小(<0.5%)。与现有的防御相比,我们的防御具有更好的安全性与准确性权衡,并产生最小的计算开销。
2019-11-16 cs.CR cs.LG stat.ML
DynaMarks: Defending Against Deep Learning Model Extraction Using Dynamic Watermarking
University of Maryland, College Park(马里兰大学帕克分校)
深度学习(DL)模型的功能可以通过模型提取来窃取,其中攻击者通过利用来自原始模型的预测API的响应来获得代理模型。在这项工作中,我们提出了一种新的水印技术,称为DynaMarks保护知识产权(IP)的DL模型对这种模型窃取攻击在一个黑盒设置。与现有的方法不同,DynaMarks不改变原始模型的训练过程,而是通过在推理运行时基于某些秘密参数动态改变原始模型预测API的输出响应,将水印嵌入到代理模型中。在Fashion MNIST、CIFAR-10和ImageNet数据集上的实验结果证明了DynaMarks方案对代理模型加水印的有效性,同时保留了部署在边缘设备中的原始模型的准确性。此外,我们还进行了实验,以评估DynaMarks对各种水印去除策略的鲁棒性,从而使DL模型所有者能够可靠地证明模型所有权。
2022-07-27 cs.CR cs.CV cs.LG
Defending Against Adversarial Denial-of-Service Data Poisoning Attacks
Fraunhofer AISEC(弗劳恩霍夫应用集成安全研究所);Technical University of Munich(慕尼黑工业大学)
数据投毒是针对机器学习和数据驱动技术的最相关的安全威胁之一。由于许多应用程序依赖于不可信的训练数据,攻击者可以轻松地制作恶意样本并将其注入训练数据集中,从而降低机器学习模型的性能。正如最近的工作所示,这种拒绝服务(DoS)数据投毒攻击非常有效。为了减轻这种威胁,我们提出了一种新的方法来检测DoS中毒的实例。在相关工作相比,我们偏离聚类和异常检测的方法,往往遭受灾难的维数和任意的异常阈值选择。相反,我们的防御是基于从训练数据中提取信息,以这样一种通用的方式,我们可以识别中毒样本的基础上存在的信息在未中毒的数据部分。我们评估了我们对两个DoS中毒攻击和七个数据集的防御,并发现它可靠地识别中毒的实例。与相关工作相比,我们的辩护将假阳性/假阴性率降低了至少50%,通常更多。
2021-11-30 cs.AI cs.CR
Defending SVMs against Poisoning Attacks: the Hardness and DBSCAN Approach
University of Science and Technology of China(中国科学技术大学)
对抗性机器学习近年来吸引了大量的关注。在投毒攻击中,攻击者可以向训练数据中注入少量特制样本,使决策边界严重偏离,从而导致意外的误分类。由于支持向量机(SVM)的重要性和广泛的应用,我们考虑防止中毒攻击的SVM在本文中。我们研究了两种常用的防御策略:设计鲁棒的SVM算法和数据净化。虽然以前已经提出了一些鲁棒的SVM算法,但它们中的大多数要么缺乏对抗弹性,要么依赖于对数据分布或攻击者行为的强假设。此外,对它们的复杂性的研究还相当有限。据我们所知,我们是第一个证明,即使是最简单的硬边缘单类SVM与离群值问题是NP完全的,并没有完全PTAS,除非P $=$ NP(这意味着它是很难实现一个甚至近似算法)。对于数据净化防御,我们将其与数据的内在维度联系起来;特别是,我们提供了一个采样定理,用于解释DBSCAN(作为一种基于密度的离群值去除方法)防御中毒攻击的有效性。在我们的实证实验中,我们比较了包括DBSCAN和鲁棒SVM方法在内的几种防御方法,并研究了固有维数和数据密度对其性能的影响。
2021-02-20 cs.CG cs.CR cs.LG
Defending Medical Image Diagnostics against Privacy Attacks using Generative Methods
Johns Hopkins University(约翰霍普金斯大学);Applied Physics Laboratory(应用物理实验室);University of Virginia(弗吉尼亚大学)
医学成像诊断中使用的机器学习(ML)模型可能容易受到各种隐私攻击,包括成员推断攻击,这会导致违反医疗数据使用法规,并威胁到其在临床中的有效部署。与最近在隐私感知ML方面的工作主要集中在模型更改和后处理步骤相比,我们在这里提出了一种新颖的补充方案,通过控制数据共享过程来增强医疗数据的安全性。我们开发和评估的隐私防御协议的基础上使用生成对抗网络(GAN),允许医疗数据源(如医院)提供一个外部代理(建模)的代理数据集合成的原始图像,使所得的诊断系统提供给模型消费者呈现弹性隐私攻击者。我们验证了所提出的用于糖尿病视网膜病变的视网膜诊断AI方法,该方法具有可能泄露私人信息的风险。为了将隐私倡导者和建模者的关注,我们引入了一个指标来评估隐私和实用性能相结合,并证明,使用这些新颖的和经典的指标,我们的方法,本身或与其他防御,提供最先进的(SOTA)性能防御隐私攻击。
2021-08-20 cs.CR cs.CV cs.CY
Purifier: Defending Data Inference Attacks via Transforming Confidence Scores
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Key Laboratory of Blockchain and Cyberspace Governance of Zhejiang Province(浙江省区块链与网络空间治理重点实验室);Jiaxing Research Institute, Zhejiang University(浙江大学嘉兴研究院);Zhengzhou Xinda Institute of Advanced Technology(郑州信大先进技术研究院);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击的影响,如成员推断攻击、对抗性模型反演攻击和属性推断攻击,攻击者可以从目标分类器预测的置信度中推断出有用的信息,如数据样本的成员关系、重构或敏感属性。在本文中,我们提出了一种方法,即净化器,以防止成员推断攻击。该方法对目标分类器预测的置信度向量进行变换,使提纯后的置信度在个体形状、统计分布和预测标签上无差别。实验结果表明,PURIFIER能够有效地防御成员推断攻击,性能优于以往的防御方法,且效用损失可以忽略不计。此外,我们进一步的实验表明,PURIFIER在防御对抗性模型反演攻击和属性推断攻击方面也是有效的。例如,在Facescrub530分类器上,反演误差提高了约4倍以上,并且当在我们的实验中部署PURIFIER时,属性推理准确率显著下降。
2022-12-01 cs.CR cs.LG
PlanGuard: Defending Agents against Indirect Prompt Injection via Planning-based Consistency Verification
Suzhou Research Institute of Shandong University(山东大学苏州研究院)
本文提出PlanGuard,一种基于上下文隔离的无训练防御框架,通过规划器生成有效动作集和分层验证机制,有效防御间接提示注入攻击,实验显示攻击成功率从72.8%降至0%。
2026-04-11 cs.CR
Defending with Errors: Approximate Computing for Robustness of Deep Neural Networks
机器学习架构,如卷积神经网络(CNN),容易受到对抗攻击的攻击:精心设计的输入迫使系统输出错误的标签。由于机器学习被部署在安全关键和安全敏感的领域,这种攻击可能会产生灾难性的安全和安全后果。在本文中,我们首次提出使用硬件支持的近似计算来提高机器学习分类器的鲁棒性。我们表明,成功的对抗攻击对准确的分类有差的可转移性的近似实现。令人惊讶的是,鲁棒性优势也适用于白盒攻击,其中攻击者可以不受限制地访问近似分类器实现:在这种情况下,我们表明需要更高水平的对抗性噪声来生成对抗性示例。此外,我们的近似计算模型在分类精度方面保持相同的水平,不需要重新训练,并降低了CNN的资源利用率和能耗。我们对一组强大的对抗攻击进行了广泛的实验;我们根据经验表明,所提出的实现大大提高了LeNet-5,Alexnet和VGG-11 CNN的鲁棒性,由于近似逻辑的简单性,能耗节省了高达50%的副产品。
2022-11-02 cs.CR
Defending SDN against packet injection attacks using deep learning
软件定义网络的(逻辑上)集中式架构使它们成为数据包注入攻击的容易目标。在这些攻击中,攻击者将恶意数据包注入SDN网络,以影响SDN控制器的服务和性能,并溢出SDN交换机的容量。此类攻击已被证明最终会实时停止网络功能,导致网络故障。在非SDN网络中检测和防御类似的拒绝服务攻击方面已经有了大量的工作,但是针对SDN的数据包注入攻击的检测和保护技术仍然处于起步阶段。此外,许多建议的解决方案已被证明是很容易绕过简单的修改攻击数据包或通过改变攻击配置文件。在本文中,我们开发了新的图卷积神经网络模型和算法,通过学习网络数据将网络节点/用户分组为安全类。我们从两个简单的类开始--参与可疑数据包注入攻击的节点和不参与攻击的节点。从这些类中,我们使用SDN网络中的分布式Ryu控制器将网络划分为具有不同安全策略的单独段。我们在仿真SDN上的实验表明,我们的检测解决方案优于替代方法,对各种类型(新旧)的注入攻击的检测准确率超过99%。更重要的是,我们的缓解解决方案保持了未受损节点的连续功能,同时实时隔离受损/可疑节点。所有的代码和数据都是公开的,以便于我们的结果的再现。
2023-01-20 cs.CR
ISSF: The Intelligent Security Service Framework for Cloud-Native Operation
针对AI增强下云原生攻防的动态安全问题,本文基于多智能体深度强化学习提出ISSF框架,建模环境与攻防行动,并支持智能安全服务的训练、发布、评估和定量基准测试。
2024-03-03 cs.CR
Advanced Trace Pattern For Computer Intrusion Discovery
基于恶意软件入侵的犯罪数量永远不会停止,因为恶意软件变体的数量正在急剧增长,互联网的使用正在全球范围内扩大。恶意代码很容易获得,并被用作非法达到其目的的武器之一。因此,在本研究中,不同的日志从不同的OSI层探索,以确定攻击者和受害者日志上留下的痕迹,以建立蠕虫跟踪模式,以抵御攻击,并帮助揭示真正的攻击者或受害者。针对本文的目的,重点介绍了恶意软件入侵和传统蠕虫即震荡波蠕虫变种。痕迹模式的概念是通过融合攻击者和受害者的视角而产生的。因此,本文的目的是提出一个通用的蠕虫跟踪模式的攻击者,受害者和多步骤(攻击者/受害者)的结合两个角度。这三种蠕虫追踪模式可以推广到警报关联和计算机取证等研究领域。
2010-06-23 cs.CR
Strategic Deflection: Defending LLMs from Logit Manipulation
International Artificial Intelligence Center of Morocco(摩洛哥国际人工智能中心);Mohammed VI Polytechnic University(摩洛哥穆莱·伊斯梅尔理工学院);AgriEdge;Sorbonne University, LIP6 - UMR 7606 CNRS(索邦大学,LIP6 - UMR 7606 CNRS)
针对logit级越狱攻击可绕过传统拒绝式防御的问题,提出Strategic Deflection防御方法,通过生成语义相近但无有害意图的回应消解攻击,在降低攻击成功率的同时保留良性查询性能,推动防御策略转向内容重定向。
2025-07-29 cs.AI cs.CL cs.CR
From Prompt Injection to Persistent Control: Defending Agentic Harness Against Trojan Backdoors
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 学院)
本文提出ClawTrojan基准测试揭示本地智能体框架中的多步木马攻击,并设计DASGuard防御方法,通过扫描控制文本、追溯来源并清除不可信控制内容,实现动态防御。
2026-05-29 cs.AI cs.CL cs.CR
Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds
Zhejiang University(浙江大学);Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学);OPPO Research Institute(OPPO研究院)
针对LLMs防御间接提示注入时的安全-效用权衡问题,提出AEGIS模型,通过指令敏感投影器与统一多层共识机制实现出色的攻击检测性能,缓解IPI攻击。
2026-08-25 cs.CR
Defending Against Data Reconstruction Attacks in Federated Learning: An Information Theory Approach
Tsinghua University(清华大学);Institute for Network Science and Cyberspace, Tsinghua University(清华大学网络科学与网络空间研究院);Beijing Institute of Technology(北京理工大学);Lenovo Research(联想研究院)
针对联邦学习中的数据重构攻击,本文建立基于联合互信息上界的信道模型,并提出限制每轮及总传输信息的算法,可与DP等技术结合,实验验证了隐私与训练效果。
2024-03-02 cs.CR cs.DC cs.LG
A Robust Mechanism for Defending Distributed Denial OF Service Attacks on Web Servers
分布式拒绝服务(DDoS)攻击已成为造成大规模有针对性的服务中断的流行手段,通常会持续很长一段时间。发起此类攻击的相对容易和低成本,加上目前任何可行的防御机制的不足,使其成为当今互联网社区的最大威胁之一。由于基于Web的应用程序的日益普及,导致在互联网上提供了几个关键的服务,它是必要的,以监测网络流量,以防止恶意攻击者耗尽网络的资源和拒绝服务的合法用户。本文首先简要讨论了目前存在的一些重要类型的DDoS攻击和一些现有的机制来对抗这些攻击。然后指出了目前现有防御机制的主要缺点,并提出了一种新的机制来保护Web服务器免受DDoS攻击。在所提出的机制中,持续监控服务器的入站流量,并立即检测入站流量中的任何异常上升。检测算法基于对服务器上的入站流量的统计分析和稳健的假设检验框架。对所提出的机制进行了仿真,结果表明,所提出的防御机制对DDoS攻击的有效性。
2011-03-17 cs.CR
Defending Label Inference Attacks in Split Learning under Regression Setting
Zhejiang University(浙江大学)
针对回归设置下 Split Learning 中基于梯度反演的标签推理攻击,提出 RLE 与自适应 MLE 标签扩展防御,在保持原任务性能的同时显著降低攻击效果。
2023-08-18 cs.CR cs.LG
Defending Against Prompt Injection with DataFilter
UC Berkeley(加州大学伯克利分校);KACST(沙特阿拉伯国王科学技术大学)
DataFilter通过在数据到达LLM前移除恶意指令,有效防御提示注入攻击,同时保持模型的效用。
2026-02-04 cs.CR
Reactivating Alignment: Defending LLMs from Jailbreaks via Intention-Aware Input-Output Matching
University of Technology Sydney(悉尼科技大学);Southeast University(东南大学)
提出SENTINEL,一种基于意图提取的生成时防御方法,利用输入-输出语义一致性检测并阻止越狱攻击,在HarmBench上将成功率降至约5%且过度拒绝率低。
2026-10-06 cs.AI cs.CR
Safety Anchor: Defending Harmful Fine-tuning via Geometric Bottlenecks
Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出安全瓶颈正则化(SBR),通过几何瓶颈层限制有害查询的隐藏状态,以对抗有害微调攻击,实验表明单个安全锚即可显著降低有害分数。
2026-05-08 cs.AI cs.CL cs.CR
Bad Data Injection Attack and Defense in Electricity Market using Game Theory Study
网络技术的应用提高了智能电网的监测和决策质量。这些网络技术容易受到恶意攻击,破坏它们可能会带来严重的技术和经济问题。本文详细说明了妥协的影响,每个测量的电价,使攻击者能够改变价格在所需的方向(增加或减少)。攻击者和防御者分别不可能攻击和防御所有测量。这种情况被建模为攻击者和防御者之间的零和博弈。游戏定义了攻击者和防御者分别喜欢攻击和防御不同测量的时间比例。基于PJM 5总线测试系统的仿真结果表明了所研究的博弈的有效性和性质。
2012-10-10 cs.CR cs.GT stat.AP
Defending Against Beta Poisoning Attacks in Machine Learning Models
Department of Computer Engineering Acıbadem University Istanbul, Turkiye(计算机工程系 阿克萨德梅大学 伊斯坦布尔,土耳其);Department of Computer Engineering Koç University Istanbul, Turkiye(计算机工程系 科大学 伊斯坦布尔,土耳其)
针对Beta投毒攻击,提出四种防御策略(KPB、NCC、CBD、MDT),基于投毒样本邻近性和均值中心特征,实验表明KPB和MDT达完美性能,CBD和NCC亦强效。
2025-08-02 cs.AI cs.CR
AIIPot: Adaptive Intelligent-Interaction Honeypot for IoT Devices
University of Dschang(德昌大学);University of Southampton(南安普顿大学);Air Force Research Laboratory(空军研究实验室);Combat Capabilities Development Command Army Research Laboratory(作战能力发展司令部陆军研究实验室)
物联网(IoT)的普及引发了人们对联网设备安全性的担忧。有必要开发合适且具有成本效益的方法来识别物联网设备中的漏洞,以便在攻击者抓住机会破坏它们之前解决它们。欺骗技术是改善物联网系统安全状况的重要方法。蜜罐是一种流行的欺骗技术,它模仿真实的交互方式,鼓励未经授权的用户(攻击者)发动攻击。由于物联网设备的数量和异构性,手动制作低交互和高交互蜜罐是负担不起的。这迫使研究人员寻求创新的方法来为物联网设备构建蜜罐。在本文中,我们提出了一种用于物联网设备的蜜罐,该蜜罐使用机器学习技术来自动学习并与攻击者交互。对所提出的模型的评估表明,我们的系统可以提高与攻击者的会话长度,并捕获物联网网络上的更多攻击。
2023-03-22 cs.CR cs.LG math.OC
Defending Network Intrusion Detection Systems Based on Graph Neural Networks Against Structural Adversarial Attacks
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);Vicomtech(维科姆科技)
本文提出基于对抗训练的防御框架,以E-GraphSAGE为基础GNN,在CTU-13和TON-IoT数据集上,增强了基于GNN的NIDS对抗结构性攻击的能力,同时保持了干净图上的检测性能。
2026-08-26 cs.CR
MemPot: Defending Against Memory Extraction Attack with Optimized Honeypots
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);Southern University of Science and technology(南方科技大学)
MemPot通过优化陷阱文档和理论验证,有效防御内存提取攻击,提升检测性能与效率。
2026-02-07 cs.AI cs.CL cs.CR
Ensemble Noise Simulation to Handle Uncertainty about Gradient-based Adversarial Attacks
Purdue University(普渡大学)
对神经网络的基于恶意的对抗攻击可以通过改变攻击算法对梯度的依赖程度、用于设计攻击的网络架构或两者来以各种方式进行设计。最近的工作主要集中在对攻击者的行为没有不确定性的情况下(即,攻击者被期望使用特定的网络体系结构来生成特定的攻击)。然而,如果不能保证攻击者会以某种方式行动,文献中就缺乏设计战略防御的方法。我们填补了这一空白,通过模拟攻击者的噪声扰动使用各种攻击算法的基础上梯度的各种分类。我们使用预处理去噪自动编码器(DAE)防御进行分析,该防御是用模拟噪声训练的。我们展示了显着的改进后的攻击精度,使用我们提出的合奏训练的防御,相比,没有努力处理不确定性的情况。
2020-01-26 cs.CR cs.LG stat.ML
Dormant: Defending against Pose-driven Human Image Animation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Nanyang Technological University(南洋理工大学)
针对姿态驱动人体图像动画的滥用风险,提出Dormant保护方法,通过优化扰动破坏外观特征提取和帧间连贯性,在8种方法、4个数据集及6个商业服务上优于6种基线方法。
2025-02-24 cs.AI cs.CR cs.CV