Attack and defense techniques in large language models: A survey and new perspectives
School of Computer Engineering, Jimei University, Xiamen, China(集美大学计算机工程学院);College of Science, Mathematics and Technology, Wenzhou-Kean University, Wenzhou, China(温州市凯恩大学科学、数学与技术学院);School of Smart Education, Jiangsu Normal University, Xuzhou, China(江苏师范大学智能教育学院)
本文系统综述了大型语言模型中的攻击与防御技术,将攻击分为对抗提示、优化攻击、模型窃取及应用攻击,并分析了基于预防和检测的防御策略,指出了自适应防御、可解释安全技术和标准化评估等开放性问题。
2025-05-02 cs.AI cs.CL cs.CR
Formalizing and Benchmarking Prompt Injection Attacks and Defenses
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
针对现有提示注入攻击研究局限于案例分析的问题,提出形式化攻击框架(涵盖现有攻击),设计组合新攻击,并在10个LLM和7个任务上系统评估5种攻击与10种防御,提供通用基准并公开平台。
2025-11-12 cs.AI cs.CL cs.CR
Learn to Disguise: Avoid Refusal Responses in LLM's Defense via a Multi-agent Attacker-Disguiser Game
College of Computer, National University of Defense Technology(国防科技大学计算机学院);School of Information Science and Technology, Guangdong University of Foreign Studies(广东外语外贸大学信息科学与技术学院);College of Science, National University of Defense Technology(国防科技大学理学院)
针对大模型拒绝式防御易被攻击者识别的问题,本文提出多智能体攻击者-伪装者博弈框架,通过博弈策略优化和课程学习隐藏防御意图,并可适配任意黑盒大模型。
2024-04-03 cs.AI cs.CL
Defense-to-Attack: Bypassing Weak Defenses Enables Stronger Jailbreaks in Vision-Language Models
Fudan University(复旦大学);City University of Hong Kong(香港城市大学)
提出 Defense2Attack 越狱方法,通过将弱防御模式纳入攻击流程指导越狱提示设计,在单次尝试中即优于需多次尝试的最先进攻击方法,显著提升了对视觉语言模型的攻击效果与效率。
2025-09-16 cs.AI cs.CV
SHIELD: An Auto-Healing Agentic Defense Framework for LLM Resource Exhaustion Attacks
The University of Sydney(悉尼大学);Western Sydney University(西部悉尼大学);University of New South Wales(新南威尔士大学);University of Wollongong(沃林戈大学)
SHIELD通过多代理自愈机制有效应对LLM资源耗尽攻击,整合语义检索、模式匹配和LLM推理,实现动态知识更新和防御优化。
2026-01-27 cs.AI cs.CR
Attacks on the neural network and defense methods
本文研究针对音频神经网络的白盒攻击与数据投毒,考察FGSM、PGD、CW等方法,并基于Art-IBM和advertorch库探讨防御手段及准确率表现。
2024-12-29 cs.AI cs.CR
PredCoin: Defense against Query-based Hard-label Attack
UT Dallas(德克萨斯大学达拉斯分校)
近年来,针对深度神经网络(DNN)提出了许多对抗攻击和防御方法。虽然它们中的大多数都处于白盒设置中,这是不切实际的,但一类新的基于查询的硬标签(QBHL)黑盒攻击对现实世界的应用构成了重大威胁(例如,Google Cloud、腾讯API)。到目前为止,还没有普遍的和实用的方法来防御这种攻击。本文提出并评估了PredCoin,这是一种实用且可推广的方法,可提供对QBHL攻击的鲁棒性。PredCoin毒化了梯度估计步骤,这是大多数QBHL攻击的重要组成部分。PredCoin成功识别了攻击者精心制作的梯度估计查询,并为输出引入了不确定性。大量的实验表明,PredCoin成功地抵御了四种最先进的QBHL攻击,同时保持了目标模型的整体准确性。PredCoin也被证明是强大和有效的,可以抵御几种防御感知攻击,这些攻击可能完全了解PredCoin的内部机制。
2021-02-04 cs.AI cs.CR
Adversarial Machine Learning: Attacks, Defenses, and Open Challenges
AI Solutions Architect Expertise in Scalable Web Systems, Database Architecture, API Development
本文针对AI系统易受输入或训练数据操纵的脆弱性,全面分析对抗性机器学习的规避与投毒攻击,形式化防御机制并探讨自适应威胁模型下的挑战,还指出认证稳健性等开放问题。
2025-02-08 cs.AI cs.CR
One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy
City University of Macau(澳门城市大学)
机器学习模型易受数据推断攻击,例如隶属推断和模型反演攻击。在这些类型的漏洞中,攻击者试图推断数据记录在数据集中的成员资格,甚至使用目标模型预测的置信度得分向量来重建该数据记录。然而,大多数现有的防御方法只能防止成员推断攻击。可以对抗这两种类型攻击的方法需要训练新的模型,这可能不是时间效率。在本文中,我们提出了一种差异化的私人防御方法,处理这两种类型的攻击,在一个时间效率的方式调整只有一个参数,隐私预算。其核心思想是修改和规范化的置信度向量的差分隐私机制,保护隐私和模糊的成员和重建的数据。此外,该方法可以保证向量中得分的顺序,以避免分类精度的任何损失。实验结果表明,该方法是一个有效的和及时的防御隶属度推断和模型反演攻击的准确性没有降低。
2022-03-13 cs.AI cs.CR
A Game-Theoretic Approach for AI-based Botnet Attack Defence
Massey University(梅西大学);University of Melbourne(墨尔本大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织 Data61)
新一代僵尸网络利用人工智能(AI)技术隐藏僵尸主机的身份和攻击意图,以避免检测。不幸的是,目前还没有一种评估工具能够评估现有防御策略对这种基于AI的僵尸网络攻击的有效性。在本文中,我们提出了一个序贯博弈论模型,能够分析僵尸网络攻击者和防御者可能使用的潜在策略的细节,以达到纳什均衡(NE)。效用函数是在攻击者以最小的攻击成本发动最大数量的DDoS攻击,而防御者以最小的防御成本利用最大数量的防御策略的假设下计算的。我们进行了数值分析的基础上,涉及不同的(模拟)云带大小的不同的攻击成功率值的防御策略。我们的实验结果证实,防御的成功在很大程度上取决于防御策略的数量,根据仔细评估的攻击率。
2021-12-04 cs.AI cs.CR
On the Susceptibility and Robustness of Time Series Models through Adversarial Attack and Defense
Michigan State University(密歇根州立大学)
在对抗攻击下,时间序列回归和分类是脆弱的。另一方面,对抗性防御可以使模型更具弹性。重要的是要评估不同的时间序列模型对攻击的脆弱性以及它们使用防御的恢复情况。在这项研究中,各种攻击的敏感性和鲁棒性使用的防御几个时间序列模型进行了研究。实验在七个时间序列模型上运行,具有三个对抗攻击和一个对抗防御。根据调查结果,所有模型,特别是GRU和RNN,似乎都很脆弱。LSTM和GRU也有更好的防御恢复。FGSM在攻击方面超过了竞争对手。PGD攻击比其他类型的攻击更难恢复。
2023-01-09 cs.AI cs.CR cs.LG
MagNet and "Efficient Defenses Against Adversarial Attacks" are Not Robust to Adversarial Examples
University of California, Berkeley(加州大学伯克利分校)
MagNet和“高效防御”“最近被提出来作为对抗性例子的辩护。我们发现,我们可以构建对抗性的例子,只需稍微增加失真就能击败这些防御。
2017-11-22 cs.AI cs.CR cs.LG
Progressive Defense Against Adversarial Attacks for Deep Learning as a Service in Internet of Things
Harbin Insititute of Technology(哈尔滨工业大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Harbin Insititute of Technology(ShenZhen)(哈尔滨工业大学(深圳));Macquaire University(麦考瑞大学);University of Technology Sydney(悉尼科技大学)
如今,深度学习作为一种服务可以部署在物联网(IoT)中,以提供智能服务和传感器数据处理。然而,最近的研究表明,一些深度神经网络(DNN)很容易通过向输入添加相对较小但对抗性的扰动而被误导(例如,输入图像中的像素突变)。保护DNN免受这些攻击的一个挑战是有效地识别和过滤掉敌对像素。具有良好鲁棒性的最先进的防御策略通常需要针对特定攻击进行额外的模型训练。为了在不损失一般性的情况下降低计算成本,我们提出了一种称为渐进防御对抗攻击(PDAAA)的防御策略,用于有效地过滤掉对抗性像素突变,这可能会误导神经网络走向错误的输出,而无需关于攻击类型的先验知识。我们在两个著名的数据集上评估了我们针对各种攻击方法的渐进式防御策略。实验结果表明,该方法在平均降低模型训练成本50%的同时,性能优于最先进的方法。
2020-10-15 cs.AI cs.CR
Attack-Defense Quantification Based On Game-Theory
随着网络攻防技术的发展,网络环境越来越复杂。由于缺乏对网络攻防行为更准确的量化评估,无法对网络安全态势做出准确的评估。针对这一情况,提出了一个攻防随机博弈模型(ADSGM),分析了不同防御机制的不同安全性,并给出了相应的效用计算方法。通过一个案例分析,展示了主动防御的影响和攻击暴露的风险,证明了本文方法对攻防行为量化的有效性。本文填补了在攻防措施定量评估方面的空白,使攻防定量评估更加全面、准确。
2019-02-27 cs.CR
Adversarial Learning Inspired Emerging Side-Channel Attacks and Defenses
对计算系统的脆弱性的不断发展的攻击需要新颖的防御策略来跟上更新的攻击。本报告讨论了以前关于侧信道攻击(SCA)以及针对缓存和物理邻近攻击的防御工作。然后,我们讨论了所提出的熵盾作为对定时SCA的防御,并解释了我们如何将其扩展到基于硬件的加密应用程序的实现,如“熵盾FPGA”。然后,我们讨论为什么我们要建立新的攻击,希望提出更好的防御策略。
2021-04-08 cs.CR
Mitigating Gradient-based Adversarial Attacks via Denoising and Compression
Purdue University(普渡大学)
对深度神经网络的基于恶意的对抗攻击构成了严重的威胁,因为它们可以通过向任何网络的测试数据添加不可察觉的扰动来部署,并且它们引入的风险无法通过网络的原始训练性能来评估。去噪和降维是两种不同的方法,已经被独立地研究来对抗这种攻击。虽然去噪提供了针对攻击的特定性质定制防御的能力,但降维提供了潜在地去除先前看不见的扰动的优势,同时减少了被防御网络的训练时间。我们提出的战略,结合这两种防御机制的优势。首先,我们提出了级联防御,其中包括去噪,然后降维。为了减少防御的训练时间,在性能上进行小的权衡,我们提出了隐藏层防御,它涉及将去噪自动编码器的编码器的输出馈送到网络中。此外,我们讨论了如何适应攻击这些防御可能会变得显着薄弱时,使用替代防御,或当没有使用防御。在这种情况下,我们提出了一个新的度量来评估防御措施的自适应攻击的敏感性修改的防御。最后,我们提出了一个指导方针,建立一个有序的剧目防御,又名。防御基础设施,在攻击策略不确定的情况下,适应有限的计算资源。
2021-04-03 cs.AI cs.CR cs.LG
DDoS Attack and Defense: Review of Some Traditional and Current Techniques
分布式拒绝服务(DDoS)攻击耗尽受害者的带宽或服务。传统的互联网架构容易受到DDoS攻击,并观察到一个持续的攻击和防御周期。本文综述了DDoS攻击的不同类型、技术及其对策。本文的意义在于涵盖了对抗DDoS攻击的许多方面,包括对该主题的新研究。我们调查不同的论文描述的防御方法对DDoS攻击的基础上熵的变化,流量异常参数,神经网络,设备级防御,僵尸网络流量识别和应用层DDoS防御。我们还讨论了一些传统的防御方法,如回溯和数据包过滤技术,以便读者可以识别传统和当前防御DDoS攻击技术之间的主要差异。在讨论对策之前,我们提到了传统和先进方案下DDoS的不同攻击类型,同时还提供了2012年第一季度DDoS趋势的一些信息。我们发现,应用层DDoS攻击具有对受害者产生更大影响的能力,因为它们是由合法的流量驱动的,因此很难识别和区分合法请求。因此,对这种攻击的改进防御的需要在研究中更加苛刻。本文中进行的研究可以帮助读者和研究人员认识到当前针对DDoS攻击的更好的防御技术,并根据本文中确定的未来挑战对该主题进行更多的研究。
2014-03-21 cs.CR
Attack as Defense: Characterizing Adversarial Examples using Robustness
ShanghaiTech University(上海科技大学);Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学)
作为一种新的编程范式,深度学习已经将其应用扩展到许多现实世界的问题。与此同时,基于深度学习的软件被发现容易受到对抗攻击的攻击。虽然已经提出了各种防御机制来提高深度学习软件的鲁棒性,但其中许多对于自适应攻击是无效的。在这项工作中,我们提出了一种新的特征,以区分敌对的例子从良性的观察,敌对的例子是显着不如良性的强大。由于现有的鲁棒性度量不能扩展到大型网络,我们提出了一种新的防御框架,命名为攻击防御(A2D),通过有效地评估一个例子的鲁棒性来检测敌对的例子。A2D使用攻击输入的成本进行鲁棒性评估,并将那些鲁棒性较低的示例识别为对抗性的,因为鲁棒性较低的示例更容易攻击。在MNIST,CIFAR10和ImageNet上的大量实验结果表明,A2D比最近有前途的方法更有效。我们还评估了我们对潜在自适应攻击的防御,并表明A2D在防御精心设计的自适应攻击方面是有效的,例如,攻击成功率在CIFAR10上下降到0%。
2021-03-13 cs.AI cs.CR cs.SE
Too Expensive to Attack: Enlarge the Attack Expense through Joint Defense at the Edge
分布式拒绝服务(DDoS)攻击对企业和个人都是有害的,因为人们严重依赖互联网。由于利润可观,黑客青睐DDoS作为网络安全武器来攻击受害者。更糟糕的是,边缘服务器更容易受到攻击。目前的解决方案缺乏对攻击者和防御者之间协作的代价的充分考虑。因此,我们重新审视DDoS攻击和防御,阐明双方的优势和劣势。我们进一步提出了一个联合防御框架,以击败攻击者所需的机器人和扩大攻击费用的显着增加。定量评估和实验评估表明,这种费用可能会激增数千倍。费用的暴涨导致严重损失的破解者,这阻止了进一步的攻击。
2021-07-03 cs.CR
Towards a Defense Against Federated Backdoor Attacks Under Continuous Training
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
在联邦学习(FL)中,后门攻击是危险且难以预防的,其中训练数据长时间来自不受信任的客户端。出现这些困难的原因是:(a)FL中的防御者无法访问原始训练数据,以及(b)我们发现的一种称为后门泄漏的新现象导致不断训练的模型最终由于防御机制中的累积错误而遭受后门。我们提出了影子学习,一个框架,用于抵御后门攻击在FL设置下的远程训练。影子学习并行训练两个模型:主干模型和影子模型。骨干是在没有任何防御机制的情况下训练的,以获得在主要任务上的良好表现。影子模型将恶意客户端的过滤与早期停止相结合,以控制攻击成功率,即使数据分布发生变化。我们从理论上激励我们的设计和实验表明,我们的框架显着提高现有的防御后门攻击。
2023-01-31 cs.AI cs.CR cs.LG
A Survey of Distributed Denial of Service Attacks and Defenses
分布式拒绝服务(DDoS)攻击是其中多个受损的计算机系统淹没目标的带宽和/或资源(诸如服务器、网站或其他网络资源)并导致针对目标资源的用户的拒绝服务的攻击。大量传入的消息、连接请求或格式错误的数据包会迫使目标系统减慢速度,甚至崩溃和关闭,从而拒绝向合法用户或系统提供服务。本文介绍了DDoS攻击的文献综述和常见的防御机制。它还提出了一个文献综述的防御低速率DDoS攻击,迄今尚未得到有效处理。
2020-08-04 cs.CR
Quantitative Questions on Attack-Defense Trees
攻防树是一种新的图形化安全建模和评估方法。该方法包括可视化,直观的树模型,其分析是由一个严格的数学形式主义的支持。该方法的直观和形式两部分都可用于攻防场景的定量分析。在实践中,我们使用直观的问题来询问我们感兴趣的场景的各个方面。形式上,一个计算过程,定义的属性域和自底向上的算法的帮助下,被施加到导出相应的数值。本文弥合了直观和正式的方式定量评估攻击-防御场景之间的差距。我们讨论如何正确地指定一个问题,以便它可以得到明确的回答。给定一个明确的问题,然后我们展示了如何得到一个适当的属性域,构成相应的正式模型。由于任何攻击树都是一个攻击-防御树,因此我们的分析也是攻击树方法的一个进步。
2012-10-30 cs.CR
Non-control-Data Attacks and Defenses: A review
本文综述了非控制数据攻击的分类、防御策略及未来研究方向,指出其破坏性与图灵完备性带来的安全威胁。
2025-03-27 cs.CR
AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens
本文通过依赖关系视角系统分析LLM越狱攻击与防御,提出AutoAttack、AutoDefense和AutoEvaluation三个自动化框架,并设计集成攻击与混合防御方法,实验证明其显著优于现有研究。
2024-06-06 cs.CR
DAG-Based Attack and Defense Modeling: Don't Miss the Forest for the Attack Trees
本文介绍了当前的攻击和防御建模方法,是基于有向无环图(DAG)的最新状态。DAG允许将复杂的情景分层分解为简单、易于理解和可量化的行动。基于威胁树和贝叶斯网络的方法是两种著名的安全建模方法。然而,目前有30多种基于DAG的方法,每种方法都有不同的特点和目标。本调查的目的是提出一个完整的概述图形化的攻击和防御建模技术的基础上DAG。这包括总结现有的方法,比较它们的功能,并提出了所描述的形式主义的分类。本文还支持根据用户需求选择适当的建模技术。
2013-03-29 cs.CR
A Systematic Evaluation of Transient Execution Attacks and Defenses
对包括Spectre和Meltdown在内的瞬态执行攻击的研究表明,异常或分支错误预测事件可能会在CPU的微体系结构状态中留下秘密相关的痕迹。这一发现导致了新的Spectre和Meltdown攻击变种的扩散,甚至更多的ad-hoc防御(例如,微码和软件补丁)。业界和学术界现在都在关注为已知问题找到有效的防御措施。然而,我们只有有限的洞察力,剩余的攻击面和完整的建议防御。在本文中,我们提出了一个系统化的瞬态执行攻击。我们的系统化揭示了6种(新的)暂时执行攻击,这些攻击一直被忽视,到目前为止还没有被调查过:2种新的可利用的Meltdown效应:Intel上的Meltdown-PK(保护密钥旁路)和Intel和AMD上的Meltdown-BND(边界检查旁路);以及4种新的Spectre mistraining策略。我们通过在3个主要CPU供应商(Intel,AMD,ARM)上的概念验证实现来评估分类树中的攻击。我们的系统化产生了一个更完整的图片的攻击面,并允许更系统的防御评估。通过这种系统性的评估,我们发现大多数防御,包括部署的防御,不能完全缓解所有的攻击变种。
2019-05-15 cs.CR
Too Expensive to Attack: A Joint Defense Framework to Mitigate Distributed Attacks for the Internet of Things Grid
分布式拒绝服务(DDoS)攻击对企业和个人都是有害的,因为我们严重依赖互联网。由于利润可观,黑客青睐DDoS作为攻击服务器、计算机、物联网设备甚至整个互联网的网络安全武器。目前许多检测和缓解解决方案都集中在对抗DDoS的特定技术上,而攻击费用和跨防御者协作没有引起足够的重视。在这种情况下,我们重新审视DDoS攻击和防御的攻击成本和双方的人口,提出了一个联合防御框架,在互联网服务提供商(ISP),企业,个人和第三方组织的网格(物联网网格)中产生更高的攻击费用。同时,防御者的成本在战斗中不会增加太多。攻击费用的飙升阻碍了利润驱动的攻击者有效地发动进一步的攻击。定量评估和实验评估加强了我们的框架的有效性。
2021-04-01 cs.CR
Defenses Against Multi-Sticker Physical Domain Attacks on Classifiers
Drexel University(德雷塞尔大学)
最近,物理领域的对抗攻击引起了机器学习界的高度关注。Eykholt等人提出的一种重要攻击可以通过在路标等物体上放置黑白贴纸来欺骗分类器。虽然这种攻击可能会对视觉分类器构成重大威胁,但目前还没有针对这种攻击的防御措施。在本文中,我们提出了新的防御方法,可以防止多标签攻击。我们提出的防御策略能够操作时,防御者有充分的,部分的,没有事先的信息的攻击。通过进行广泛的实验,我们表明,我们提出的防御可以优于现有的防御物理攻击时,提出了多贴纸攻击。
2021-01-26 cs.CR cs.CV
Numerical Evaluation of Cloud-Side Shuffling Defenses against DDoS Attacks on Proxied Multiserver Systems
我们考虑一个基于云的多服务器系统,这可能是基于云的,由一组副本应用程序服务器背后的一组代理(间接)服务器,直接与客户端在互联网上进行交互。我们提供云端主动式和被动式防御,以抵御可能针对此系统的DDoS攻击。DDoS攻击是地方性的,去年秋天发生了一些值得注意的攻击。容量攻击可能以代理为目标,而“低容量”攻击可能以副本为目标。在审查现有的和建议的防御,如改变代理IP地址(一个“移动目标”的技术,以打击僵尸网络的侦察阶段)和过载服务器的裂变,我们专注于评估防御的基础上洗牌客户端到服务器的分配,可以是主动和被动的DDoS攻击。我们的评估是基于一个二项分布模型,以及同意模拟和初步实验的原型,也描述。
2017-08-02 cs.CR
An Active Defense Mechanism for TCP SYN flooding attacks
对公共服务器的分布式拒绝服务攻击最近已经成为一个严重的问题。为了保证网络服务不会被中断,更有效的防御机制来防止恶意流量,特别是SYN洪水。检测SYN洪水流量的一个问题是服务器节点或防火墙无法区分正常TCP连接的SYN数据包和SYN洪水攻击的SYN数据包。另一个问题是单点防御(例如防火墙)缺乏处理攻击流量增加所需的可扩展性。我们设计了一种新的防御机制来检测SYN洪水攻击。首先,我们引入了一种机制,通过考虑到达流量的时间变化来更准确地检测SYN洪水流量。我们调查的统计数据的正常TCP SYN数据包和SYN洪水攻击数据包的到达率。然后,我们描述了一个新的检测机制,基于这些统计。通过跟踪驱动的方法,收到警报消息的防御节点可以识别合法流量,并通过委托SYN/ACK数据包阻止恶意流量。
2012-01-10 cs.CR
ADTool: Security Analysis with Attack-Defense Trees (Extended Version)
ADTool是一个免费的开源软件,使用攻击-防御树辅助图形建模和安全定量分析。ADTool的主要特点是易于创建、高效编辑和自下而上自动评估安全相关措施。该工具还支持使用攻击树、保护树和防御树,这些都是攻击-防御树的特定实例。
2013-06-11 cs.CR cs.GT
Attack--Defense Trees and Two-Player Binary Zero-Sum Extensive Form Games Are Equivalent - Technical Report with Proofs
攻击-防御树用于描述系统的安全弱点和可能的对策。本文明确了攻防树与博弈论之间的联系。我们表明,攻击-防御树和二进制零和两个球员广泛的形式游戏具有同等的表达能力时,考虑可满足性,在这个意义上说,他们可以转换成对方,同时保留他们的结果和他们的内部结构。
2011-05-04 cs.CR cs.GT
Remapped Cache Layout: Thwarting Cache-Based Side-Channel Attacks with a Hardware Defense
随着基于缓存的侧信道攻击成为严重的安全问题,各种防御措施已经被提出并部署在软件和硬件中。因此,对共同驻留在同一核心上的进程的基于高速缓存的侧信道攻击变得极其困难。大多数最近的攻击然后转移到最后一级缓存(LLC)。虽然缓存分区是目前最有前途的防御攻击滥用LLC,它是无效的,在挫败侧信道攻击,自动创建驱逐集或绕过用户地址空间布局随机化。事实上,这些攻击在当前的计算机系统中基本上是不设防的。我们提出了重映射缓存布局(\textsf{RCL})-一个纯硬件防御广泛的基于冲突的侧信道攻击。\textsf{RCL}混淆了从地址到缓存集的映射;因此,攻击者无法准确推断其数据在缓存中的位置,也无法使用缓存集来推断受害者的数据。据我们所知,这是挫败上述基本上不设防的侧信道攻击的第一道防线。\textsf{RCL}已在超标量处理器上实现,详细的评估结果表明,\textsf{RCL}在面积、频率和执行时间上仅产生很小的代价。
2022-11-11 cs.CR
Defense Against Prompt Injection Attack by Leveraging Attack Techniques
针对大语言模型面临的提示注入攻击漏洞,本文反转攻击思路,基于无需训练的攻击方法,通过重复攻击流程但使用原始输入指令构建防御方案,实验证明其效果优于现有同类防御方法,达到最优水平。
2025-08-02 cs.CR
Exploitation Techniques and Defenses for Data-Oriented Attacks
面向数据的攻击操纵非控制数据来改变程序的良性行为,而不破坏其控制流完整性。事实证明,即使存在控制流防御机制,这种攻击也会造成重大损害。然而,这些威胁尚未得到充分解决。在这篇SoK论文中,我们首先将面向数据的漏洞利用(包括面向数据的编程(DOP)攻击)映射到它们的假设/要求和攻击能力。我们还比较了已知的防御这些攻击,在方法,检测能力,开销和兼容性。然后,我们通过实验评估了基于英特尔处理器跟踪(PT)技术的检测方法的可行性。PT仅跟踪控制流,因此,通常认为对面向数据的安全性没有用处。然而,我们的工作表明,面向数据的攻击(特别是最近的DOP攻击)可能会在多个维度上对控制流行为产生副作用,这体现在PT跟踪中。基于此评估,我们讨论了构建可部署的面向数据的防御和开放的研究问题的挑战。
2019-03-25 cs.CR
Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks
UC Berkeley(加州大学伯克利分校);DeepMind
对抗攻击针对模型进行优化以击败防御。现有的防御是静态的,并且一旦训练就保持不变,即使攻击发生变化。我们认为,模型应该反击,并在测试时优化其对攻击的防御。我们提出了动态防御,以适应模型和测试过程中的输入,防御熵最小化(登特)。登特改变了测试,但没有训练,与现有的模型和训练时的防御兼容。Dent提高了对抗训练防御和名义训练模型对CIFAR-10/100和ImageNet上白盒、黑盒和自适应攻击的鲁棒性。特别是,在$ε_\infty$ = 8/255的CIFAR-10上,Dent对自动攻击的绝对防御提高了20+点。
2021-05-18 cs.CR cs.CV cs.LG
A Partial Break of the Honeypots Defense to Catch Adversarial Attacks
Google Brain(谷歌大脑)
最近的一项防御建议将“蜜罐”注入神经网络,以检测对抗攻击。我们通过将检测真阳性率降低到0%和检测AUC降低到0.02来打破这种防御的基线版本,保持原始的失真界限。原始论文的作者已经修改了CCS'20论文中的辩护,以减轻这种攻击。为了帮助进一步的研究,我们在https://nicholas.carlini.com/code/ccs_honeypot_break上发布了完整的2.5小时逐行扫描屏幕记录的攻击过程。
2020-09-23 cs.CR cs.LG
Internet-based Social Engineering Attacks, Defenses and Psychology: A Survey
社交工程攻击是一种主要的网络威胁,因为它们通常是攻击者闯入防御良好的网络、窃取受害者的凭据并造成经济损失的第一步。这个问题已经得到了应有的重视,许多出版物提出了针对它们的防御措施。尽管如此,情况并没有改善。在本文中,我们的目的是了解和解释这一现象,寻找问题的根源。为此,我们通过我们提出的一个独特的视角- { \em心理因素(PF)和技术(PT)}来研究攻击和防御的文献。我们发现攻击和防御之间存在很大的差异:攻击者通过利用PT故意利用PF,但防御很少考虑这些因素,更喜欢技术解决方案。这就解释了为什么现有的防御措施取得了有限的成功。这促使我们提出一个路线图,以更系统的方法来设计有效的防御社会工程攻击。
2022-08-01 cs.CR cs.HC
Boundary Defense Against Black-box Adversarial Attacks
黑盒对抗攻击通过使用重复查询的迭代优化来生成对抗样本。保护深度神经网络免受此类攻击一直是一个挑战。在本文中,我们提出了一种有效的边界防御(BD)方法,该方法通过利用对抗性优化通常需要分类边界上的样本来减轻黑盒攻击。我们的方法检测的边界样本的分类置信度低,并添加白高斯噪声,他们的logits。从理论上分析了该方法对深度网络分类精度的影响。实验结果表明,该方法能够可靠地抵御软、硬标签黑盒攻击。它优于一系列现有的防御方法。对于IMAGENET模型,当分类置信度小于0.3时,通过将标准差为0.1的零均值高斯白噪声添加到logits,防御将攻击成功率降低到几乎为0,同时将分类准确性降低限制在1%左右。
2022-01-31 cs.CR
Adversarial Attack and Defense on Point Sets
Shanghai Jiao Tong University(上海交通大学);Huawei Hisilicon(华为海思);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
3D点云数据在安全关键视觉任务中的实用性的出现(例如,ADAS)敦促研究人员更加关注3D表示和深度网络的鲁棒性。为此,我们开发了一个攻击和防御计划,致力于3D点云数据,防止3D点云操纵,以及追求噪声容忍的3D表示。通过逐点梯度扰动和对抗性点连接/分离,提出了一组新的3D点云攻击操作。然后,我们开发了一个灵活的扰动测量方案的三维点云数据检测潜在的攻击数据或噪声传感数据。值得注意的是,所提出的防御方法甚至可以有效地检测由直接针对防御的概念验证攻击生成的对抗性点云。针对对抗攻击在多个点云网络之间的可转移性问题,提出了一种动量增强的逐点梯度算法来提高攻击的可转移性.我们进一步分析了从对抗点云到网格CNN和逆的可转移性。在常见点云基准上的大量实验结果证明了所提出的3D攻击和防御框架的有效性。
2021-05-31 cs.AI cs.CR cs.CV
Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院)
近年来,已经提出了几种对抗对抗ML攻击的移动目标防御(MTD)。MTD声称通过定期改变防御的某些元素(例如循环配置)来增加攻击者进行攻击的难度。为了检验这些说法,我们首次研究了几种最新的MTD对应用于恶意软件检测领域的对抗性ML攻击的有效性。在不同的威胁模型下,我们证明了可转移性和查询攻击策略可以通过跨Android和Windows的现有和新颖的攻击策略来实现对这些防御的高水平规避。我们还表明,指纹识别和侦察是可能的,并演示了攻击者如何获得关键的防御超参数以及如何产生预测的信息。基于我们的研究结果,我们提出了关键的建议,为今后的工作,有效的MTD的对抗攻击在ML为基础的恶意软件检测。
2023-02-01 cs.CR cs.LG
The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections
OpenAI;Anthropic;Google DeepMind(谷歌DeepMind);HackAPrompt;Northeastern University(东北大学);ETH Zürich(苏黎世联邦理工学院);AI Sequrity Company(AI安全公司);MATS Main contributors(MATS主要贡献者)
本文指出当前语言模型防御评估存在缺陷,通过系统调整和扩展通用优化技术构建自适应攻击,成功绕过12种近期防御(成功率多超90%),证明未来防御工作必须考虑更强攻击才能可靠验证鲁棒性。
2025-10-10 cs.CR cs.LG
A Real-time Defense against Website Fingerprinting Attacks
像Tor这样的匿名系统容易受到网站指纹(WF)攻击,其中本地被动窃听者推断受害者的活动。目前基于深度学习分类器的WF攻击已经成功地克服了许多提出的防御。虽然最近利用对抗性示例的防御提供了希望,但这些对抗性示例只能在网络会话结束后计算,因此在实际设置中为用户提供的保护很少。我们提出了Dolos,一个实时的修改用户网络流量以成功规避WF攻击的系统。Dolos通过计算输入不可知的对抗补丁将虚拟数据包注入流量跟踪,这些补丁会破坏WF攻击中使用的深度学习分类器。然后应用补丁来实时的改变和保护用户流量。重要的是,这些补丁是由用户侧秘密参数化的,确保攻击者无法使用对抗训练来击败Dolos。我们通过实验证明,Dolos在各种设置下都能提供94%以上的保护,抵御最先进的WF攻击。与之前的防御相比,Dolos在更高的保护性能和更低的信息泄漏和带宽开销方面表现出色。最后,我们证明了Dolos对各种自适应对策的鲁棒性,以检测或破坏防御。
2021-02-08 cs.CR
Cloud-based DDoS Attacks and Defenses
安全性和可靠性在云计算环境中非常重要。如今,分布式拒绝服务(DDoS)攻击已成为互联网用户和云计算服务面临的最大威胁之一。DDoS攻击的目标是这些服务的资源,降低了它们提供网络基础设施最佳使用的能力。由于云计算的性质,与传统网络中使用的方法相比,用于预防或阻止DDoS攻击的方法有很大不同。本文研究了DDoS攻击对云资源的影响,并针对云环境中不同类型的DDoS攻击提出了实用的防御机制。
2015-11-27 cs.CR
A Survey on Federated Learning Poisoning Attacks and Defenses
本文针对联邦学习中客户端数据与本地训练不可见带来的安全风险,系统调研投毒攻击及相应防御的最先进方案,并指出未来研究方向。
2023-06-06 cs.CR
Measuring Information Leakage in Website Fingerprinting Attacks and Defenses
Tor提供针对本地或网络对手的低延迟匿名和未经审查的网络访问。由于设计选择最小化流量开销(并增加潜在用户池),Tor允许泄漏有关客户端连接的一些信息。使用这些信息(从中提取的特征)来推断用户访问的网站的攻击称为网站指纹(WF)攻击。我们开发了一种方法和工具来衡量网站泄露信息的数量。我们将此工具应用于从大量网站和WF防御机制中提取的一组全面的特征,使我们能够对WF攻击和防御进行更细粒度的观察。
2019-06-05 cs.CR
CASCADE Against Jailbreaks: Combination Across Stages with Controlled Attack-Defense Evaluation
School of Computing(计算学院);National University of Singapore(新加坡国立大学)
针对LLM越狱防御在不同流水线阶段部署不清的问题,首次系统研究阶段内与跨阶段的防御组合,在统一威胁模型下标准化评估,发现无单一防御最优,但精选组合可在最小化效用降级下显著提升安全性。
2026-09-21 cs.CL cs.CR
Adaptive Attacks Break Defenses Against Indirect Prompt Injection Attacks on LLM Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nirma University(尼尔玛大学)
本文评估了针对 LLM 智能体间接提示注入攻击的八种防御机制,发现自适应攻击能绕过所有防御并保持超 50% 成功率,揭示了现有防御的脆弱性,强调了引入自适应攻击评估的必要性。
2025-03-04 cs.CR cs.LG
RegulaTor: A Straightforward Website Fingerprinting Defense
本地被动攻击者使用网站指纹(WF)攻击,通过将发送给用户和由用户接收的数据包序列与先前记录的数据集进行比较,来确定加密互联网流量的目的地。因此,WF攻击是Tor等隐私增强技术特别关注的问题。作为回应,已经开发了各种WF防御,尽管它们往往会产生高带宽和延迟开销或需要额外的基础设施,从而使它们难以在实践中实现。一些轻量级的防御也已经提出;但是,它们对最近发布的WF攻击只达到中等的效果。在本文中,我们的目标是提出一个现实的和新颖的防御,RegulaTor,它利用常见的模式在Web浏览流量,以减少防御开销和当前WF攻击的准确性。在封闭世界环境中,RegulaTor将最先进的攻击Tik-Tok相对于类似防御的准确性从66%降低到25.4%。为了实现这一性能,它需要有限的延迟和带宽开销,比领先的中等开销防御少39.3%。在开放世界环境中,RegulaTor将精确调整的Tik-Tok攻击限制在.135的F分数,而最佳防御的F分数为.625。
2021-09-21 cs.CR
Dashed Line Defense: Plug-And-Play Defense Against Adaptive Score-Based Query Attacks
Harbin Institute of Technology(哈尔滨工业大学)
本文提出Dashed Line Defense,一种即插即用的后处理方法,有效抵御自适应分数查询攻击,通过引入损失与对抗强度的模糊性,阻止攻击者适应策略,提升模型安全性。
2026-02-09 cs.CR cs.LG
Backdoor-Powered Prompt Injection Attacks Nullify Defense Methods
National University of Singapore(新加坡国立大学);HKUST(香港科技大学)
本文提出后门驱动的提示注入攻击,通过污染监督微调样本植入触发器,使现有提示注入防御及指令层次技术失效,并构建基准验证其更强危害性。
2025-10-04 cs.CR
SHATTER: Control and Defense-Aware Attack Analytics for Activity-Driven Smart Home Systems
针对智能家居控制系统因虚假数据注入攻击而扩大的攻击面,提出一种控制与防御感知的新型攻击分析框架,能高效提取异常检测模型规则,并通过数据集和原型测试床验证其有效性。
2023-04-27 cs.CR
Replay Attacks and Defenses Against Cross-shard Consensus in Sharded Distributed Ledgers
我们提出了一系列针对分片分布式账本的重放攻击,目标是跨分片共识协议,例如最近提出的Chainspace和Omniledger。它们允许攻击者仅通过网络访问,以最小的努力双重花费或锁定资源。攻击者可以独立行动而不与任何节点勾结,即使所有节点都是诚实的,攻击也会成功;大多数攻击也可以在攻击周期内表现为故障。这些攻击对分片主导和客户端主导的跨分片共识方法都有效。最后,我们提出了Byzebra-一种新的跨分片共识协议,它对这些攻击具有免疫力。我们实现了一个原型的Byzantee和评估它在一个真正的基于云的测试平台上,显示我们的防御影响性能最小,整体性能超过以前的作品。
2020-09-01 cs.CR
Downscaling Attack and Defense: Turning What You See Back Into What You Get
Center for Security and Emerging Technology, Georgetown University(乔治敦大学安全与新兴技术中心);Georgetown University(乔治敦大学)
作为计算机视觉系统预处理的一部分,图像的嵌入易受攻击。可以创建图像,使得图像在机器视觉尺度下与其他尺度下完全不同,并且一些常见计算机视觉和机器学习系统的默认设置容易受到攻击。我们表明,防御是存在的,是微不足道的管理提供防御者意识到的威胁。这些攻击和防御有助于确立输入净化在机器学习中的作用。
2020-10-07 cs.AI cs.CR cs.CV