AI Agents Enable Adaptive Computer Worms
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Cambridge(剑桥大学);ServiceNow
本研究展示了AI代理能够生成针对每个目标的定制攻击策略,利用被感染机器上的大语言模型自我维持并传播,形成自持的AI驱动网络威胁。
2026-06-02 cs.AI cs.CR cs.LG
MAAC: Novel Alert Correlation Method To Detect Multi-step Attack
随着攻击方法的不断改进,出现了越来越多的分布式、复杂的、有针对性的攻击,攻击者采用组合攻击方法来达到攻击目的。高级网络攻击包括多个阶段,以实现最终目标。传统的入侵检测系统,如端点安全管理工具、防火墙和其他监控工具,在攻击过程中会生成大量警报。这些警报包括攻击线索,以及许多与攻击无关的误报。安全分析师需要分析大量的警报,从中找到有用的线索,并重构攻击场景。然而,大多数传统的安全监控工具无法将来自不同来源的警报关联起来,因此许多多步骤攻击仍然完全没有被注意到,需要安全分析师进行手动分析,就像大海捞针一样。我们提出了MAAC,一个多步攻击警报关联系统,它减少了重复警报,并结合基于警报语义和攻击阶段的多步攻击路径。对真实数据集的评估结果表明,MAAC能够有效地减少90%的警报,并从大量警报中发现攻击路径.
2021-10-25 cs.CR
Towards Reconstructing Multi-Step Cyber Attacks in Modern Cloud Environments with Tripwires
快速变化的云环境由高度互连的组件组成,很难保护。现有的解决方案通常试图将许多弱指标关联起来,以识别和重建多步网络攻击。由于这些指标之间缺乏真正的因果联系,管理员仍然有很多假阳性可以浏览。我们认为,如果以结构化和自动化的方式使用,网络欺骗可以提高攻击检测系统的精度,即,以所谓的绊网的形式,其最终跨越攻击图,这有助于攻击重建算法。本文提出了一个框架,结合网络欺骗,自动绊网注入和攻击图,这最终使我们能够在现代云环境中重建多步网络攻击的想法。
2020-09-25 cs.CR
An Effective Attack Scenario Construction Model based on Attack Steps and Stages Identification
网络入侵检测系统(NIDS)是一种检测入侵者攻击的网络安全技术。然而,它产生了大量的低级别警报,这使得分析困难,特别是构建攻击场景。通过警报关联(AC)构建攻击场景(ASC)对于揭示攻击策略的步骤和阶段非常重要,这些步骤和阶段需要启动以使攻击成功。在大多数现有的作品,警报相关的分类的基础上的因果关系的警报。然而,这些作品的缺点是由于原始警报的渗透而导致的错误和不完整的相关性的识别。为了解决这个问题,这项工作提出了一个有效的ASC模型来发现警报之间的完整关系。该模型使用DARPA 2000和ISCX 2012两种数据集进行了成功的实验。该模型的完整性和可靠性的测量,以评估整体的相关性的有效性。
2021-10-16 cs.CR
SEV-Step: A Single-Stepping Framework for AMD-SEV
本文提出针对 AMD-SEV 的 SEV-Step 框架,实现了可靠的虚拟机单步执行,提供页错误跟踪与缓存攻击原语,并首次证明 SEV 易受 Nemesis 式攻击,可提取指令信息。
2023-07-27 cs.CR
Towards a First Step to Understand the Cryptocurrency Stealing Attack on Ethereum
我们对以太坊上窃取加密货币的新攻击进行了首次系统研究。该攻击是由于以太坊节点中存在不受保护的JSON-RPC端点,攻击者可以利用这些端点将Ether和ERC20令牌转移到攻击者控制的帐户。本研究旨在揭示攻击,包括恶意行为和攻击者的利润。具体来说,我们首先设计并实现了一个蜜罐,可以捕获真实的攻击。然后,我们部署了蜜罐,并在六个月内报告了收集数据的结果。总的来说,我们的系统从1,072个不同的IP地址捕获了超过3.08亿个请求。我们进一步将攻击者分为36个组,拥有59个不同的以太坊账户。其中,34个团体的攻击者正在窃取以太币,而另外2个团体的目标是ERC20代币。进一步的行为分析表明,攻击者遵循三步模式来窃取以太币。此外,我们观察到一种有趣的交易类型,称为零气体交易,攻击者利用这种交易来窃取ERC20代币。最后,我们估计了攻击者的总体收益。为了吸引整个社区,捕获的攻击数据集在www.example.com上发布。
2019-07-30 cs.CR
On Holistic Multi-Step Cyberattack Detection via a Graph-based Correlation Approach
虽然通过信息和通信技术实现的配电网数字化带来了许多好处,但也增加了电网对严重网络攻击的脆弱性。与传统系统不同,对许多工业控制系统(如电网)的攻击通常发生在多个阶段,攻击者一次采取多个步骤来实现其目标。需要具有态势感知的检测机制来检测作为连贯攻击活动的一部分的精心策划的攻击步骤。为了提供检测和预防此类攻击的基础,本文讨论了多阶段网络攻击的检测与基于图的网络情报数据库和警报相关方法的帮助。具体来说,我们提出了一种方法来检测多阶段的攻击,利用异构数据形成一个知识库,并采用基于模型的相关方法生成的警报,以确定多阶段的网络攻击序列发生在网络中。我们调查所提出的方法的检测质量,通过使用一个面向未来的电网试点的多阶段网络攻击活动的案例研究。
2022-11-20 cs.CR
Colliding Message Pairs for 23 and 24-step SHA-512
最近,Indesteeege等人[1]在SAC '08上描述了对23和24步SHA-512的攻击。他们的攻击基于Nikolic和Biryukov的差分路径[2]。所报告的复杂度是对相应阶跃简化的SHA-512散列函数的$2^{44.9}$和$2^{53}$调用。他们为23步SHA-512提供了冲突消息对,但没有为24步SHA-512提供冲突消息对。在本文中,我们提供了23步SHA-512的冲突消息对和24步SHA-512的第一个冲突消息对。我们的攻击使用Sanadhya和Sarkar在ACISP '08 [3]中首次描述的差分路径。我们的攻击的复杂性是$2^{16.5}$和$2^{34.5}$调用各自的步骤减少SHA-512哈希函数。关于这些攻击的详细情况,将在本说明的扩展版中提供。
2008-09-01 cs.CR
Efficient Wu-Manber Pattern Matching Hardware for Intrusion and Malware Detection
网络入侵检测系统和防病毒软件在检测恶意网络流量和攻击(如拒绝服务和恶意软件)方面至关重要。每种攻击、蠕虫或病毒都有其独特的特征。基于特征的入侵检测和防病毒系统依赖于模式匹配来查找可能的攻击特征。模式匹配是一项非常复杂的任务,需要大量的时间、内存和计算资源。基于软件的入侵检测速度不够快,无法与高速网络和不断增加的攻击数量相匹配。在本文中,我们提出了一种专用的硬件Wu-Manber模式匹配算法。FPGA由于其大规模并行结构、可重编程逻辑和存储器资源而成为一个很好的选择。硬件设计采用Verilog语言,实现采用Xilinx ISE。为了进行评估,我们将使用Wireshark收集的网络流量跟踪与来自ClamAV病毒定义数据库的2500个签名进行了掺杂。实验结果表明,高速达到216 Mbps。此外,我们还评估时间、设备使用和功耗。
2020-03-01 cs.CR
Introducing a New Alert Data Set for Multi-Step Attack Analysis
针对现有IDS告警数据集过时、不可靠且难以复现的问题,本文发布了一个包含三个IDS、八次多步攻击执行和正常行为模拟的新告警数据集,并通过告警优先级排序、元告警生成和攻击图提取实验验证其价值。
2023-08-24 cs.CR
A First Step Towards Understanding Real-world Attacks on IoT Devices
随着物联网(IoT)设备的快速增长,必须主动了解它们面临的现实网络安全威胁。本文描述了我们建立蜜罐生态系统的初步努力,作为收集和分析针对物联网设备的真实攻击数据的手段。蜜罐产生有用见解的主要条件是让攻击者相信他们是人类和组织使用的真实系统。物联网设备在这方面提出了独特的挑战,由于各种各样的设备类型和物理连接性的性质。因此,我们创建了一个多阶段的方法来构建蜜罐生态系统,研究人员可以通过观察现实世界中攻击者的行为来逐渐提高低交互蜜罐在模拟物联网设备方面的复杂性。我们在内部和云中部署了蜜罐,并提供了相关的分析和审查基础设施,以确保这些蜜罐无法被轻易识别,并且看起来像是真实的系统。通过这样做,我们能够吸引越来越复杂的攻击数据。我们提出了这个蜜罐生态系统的设计和我们对攻击数据的观察。我们的数据显示,现实世界的攻击者正在明确地攻击物联网设备,一些捕获的活动似乎涉及直接的人类交互(而不是脚本化的自动活动)。我们还为物联网摄像头构建了一个低交互的蜜罐,称为Honeycamera,它向攻击者呈现看似真实的视频。这是我们朝着建立一个更全面的蜜罐生态系统迈出的第一步,这将使研究人员能够具体了解攻击者在物联网设备上的目标,以便更积极地保护它们。
2020-03-02 cs.CR
Towards Robust Multimodal Large Language Models Against Jailbreak Attacks
针对多模态大语言模型的越狱攻击问题,提出对抗训练框架SafeMLLM,通过对比嵌入攻击生成对抗扰动并更新模型参数以中和扰动影响,在六种模型和六种越狱方法上有效维持了鲁棒性能与效用。
2025-02-02 cs.CR
An Improved Two-Step Attack on Lattice-Based Cryptography: A Case Study of Kyber
本文提出一种针对Kyber的改进两步攻击,结合增强型相关功耗分析与格攻击,在ARM Cortex-M4上仅用最多15条功耗迹线、约9至10分钟即可恢复完整私钥。
2025-03-13 cs.CR
Detecting Complex Multi-step Attacks with Explainable Graph Neural Network
针对复杂多步攻击检测中真实攻击样本稀少、事件图动态异构及结果缺乏解释的问题,提出 Trace2Vec,结合样本增强、连续时间动态异构图神经网络与蒙特卡洛树搜索实现更优检测和解释。
2024-06-14 cs.CR
Bayesian Attack Model for Dynamic Risk Assessment
由于高级多步攻击的威胁,安全运营商在部署补救措施时通常很难完全覆盖所有漏洞。部署传感器来监测利用剩余漏洞的攻击是不够的,需要新的工具来评估与这些传感器产生的安全事件相关的风险。虽然攻击图被提出来表示信息系统中发生的已知多步攻击,但它们并不直接适用于动态风险评估。在本文中,我们提出了贝叶斯攻击模型(BAM),一个基于贝叶斯网络的拓扑攻击图的扩展,能够处理拓扑循环,使其适合于任何信息系统。对实际拓扑进行评估,以研究其概率参数的敏感性。
2016-06-29 cs.CR
STARE: Step-wise Temporal Alignment and Red-teaming Engine for Multi-modal Toxicity Attack
City University of Hong Kong(香港城市大学);ByteDance(字节跳动);Zhengzhou University(郑州大学)
STARE通过分步时间对齐和红队引擎,提升多模态毒性攻击的成功率,揭示优化诱导的相位对齐现象,为安全机制提供理论基础。
2026-05-07 cs.CR
A System Architecture for the Detection of Insider Attacks in Big Data Systems
在大数据系统中,基础设施使得大量数据远离用户托管。在这样的系统中,信息安全被认为是一个主要的挑战。从客户的角度来看,采用大数据系统的一个大风险是信任设计和拥有基础设施的提供商访问用户数据。然而,在文献中并没有太多关于检测内部攻击的内容。在这项工作中,我们提出了一个新的系统架构,其中内部攻击可以通过利用系统中的各个节点上的数据复制来检测。该系统使用两步攻击检测算法和安全通信协议来分析系统中执行的进程。第一步涉及为系统中的每个进程构造控制指令序列。第二步涉及在副本节点之间匹配这些指令序列。在实际的Hadoop和Spark测试中的初步实验表明,该系统只需要考虑20%的代码来分析程序,并产生3.28%的时间开销。由于其外在的工作流程,所提出的安全系统可以为任何大数据系统实现和构建。
2016-12-05 cs.CR
Defender Policy Evaluation and Resource Allocation Using MITRE ATT&CK Evaluations Data
防御持续时间和时间不确定的多步骤攻击迫使防御者做出无限期、始终持续、资源密集型的反应。为了有效地分配资源,防御者必须能够在不断分配资源的假设下分析多步攻击,以应对不确定的潜在未检测到的攻击流。为了实现这一目标,我们提出了一种新的方法,适用于一个游戏理论的方法来攻击,攻击者和防御者的数据来自MITRE的ATT&CK框架。完成攻击步骤的时间是从由攻击者和防御者的策略和能力确定的概率分布中得出的。这限制了攻击成功参数,并能够比较不同的防御者资源分配策略。通过近似的攻击者-防御者的游戏马尔可夫过程,我们代表的攻击者-防御者的相互作用,估计攻击成功的参数,确定攻击者和防御者的策略的影响,并最大限度地提高防御者的策略改进的机会,对一个不确定的攻击流。这种新颖的多步骤攻击的表示和分析使防御策略优化和资源分配,我们使用MITRE的APT 3 ATT&CK评估的数据来说明。
2021-07-08 cs.CR cs.GT
ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems
Computer Science New York University New York, USA(计算机科学 新 York 大学 新 York 美国);Cybersecurity University of Maryland, College Park MD, USA(网络安全 美国马里兰大学College Park分校 MD 美国);Carnegie Mellon University Pittsburgh, USA(卡内基梅隆大学 彭博 美国)
针对基于MCP的人工智能代理系统中现有防御无法可靠检测多步攻击的问题,提出ChainWatch框架,用六阶段杀伤链建模攻击进展,结合隐马尔可夫模型分类工具调用序列,能检测逃避传统机制的攻击链。
2026-07-23 cs.AI cs.CR
Incremental Adaptive Attack Synthesis
信息泄漏是现代软件系统中的一个重要问题。由于侧信道而导致的信息泄漏尤其难以检测和分析。在本文中,我们提出了自动合成的自适应侧信道攻击,恢复秘密值的技术。我们的攻击合成技术迭代地生成输入,当输入到访问秘密的代码时,基于侧信道观测结果揭示秘密的部分信息,减少每个攻击步骤中秘密的剩余不确定性。我们的方法是增量的,在每个攻击步骤中重用先前迭代的结果,以提高攻击合成的效率。我们使用符号执行来提取路径约束,基于自动机的模型计数来估计执行路径的概率,以及基于熵来最大化信息增益以最小化合成攻击步骤的数量的元算法。
2019-05-14 cs.CR cs.SE
Membership Inference Attacks against Diffusion Models
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
近年来,扩散模型作为创新的生成模型引起了人们的关注。在本文中,我们调查是否扩散模型是抵抗成员推断攻击,评估隐私泄漏的机器学习模型。我们主要从与作为常规模型的生成对抗网络(GAN)和扩散模型所特有的超参数(即,时间步长、采样步长和采样方差。我们进行了广泛的实验DDIM作为一个扩散模型和DCGAN作为GAN的CelebA和CIFAR-10数据集在白盒和黑盒设置,然后确认是否扩散模型是抵抗成员推断攻击的GAN。接下来,我们证明了时间步骤的影响是显着的,并且噪音时间表中的中间步骤最容易受到攻击。通过进一步分析,我们还发现了两个关键的见解。首先,我们确定DDIM是容易受到攻击的小样本量,而不是实现较低的FID。其次,超参数中的采样步骤对于抵抗攻击非常重要,而采样方差的影响非常有限。
2023-03-22 cs.CR cs.LG
STEP-GAN: A Step-by-Step Training for Multi Generator GANs with application to Cyber Security in Power Systems
在这项研究中,我们介绍了一种新的智能电网电力系统的无监督对策,基于生成对抗网络(GANs)。鉴于智能电网系统(SGS)在城市生活中的关键作用,其安全性尤为重要。然而,近年来,机器学习领域的进步引起了人们对这些系统遭受网络攻击的担忧。例如,城市基础设施最重要的组成部分之一的电力系统受到了对手的广泛攻击。攻击者使用虚假数据注入攻击(FDIA)破坏电力系统,从而破坏系统的可用性、完整性或机密原则。我们的模型模拟可能的攻击电力系统使用多个发电机在一步一步的相互作用,在训练阶段的一个干扰。因此,我们的系统对看不见的攻击具有鲁棒性。此外,该模型大大减少了基于GAN模型的众所周知的模式崩溃问题。我们的方法是通用的,它可以在广泛的一类分类任务。所提出的模型具有较低的计算复杂度,并优于基线系统约14%和41%的准确性方面的高度不平衡的公开可用的工业控制系统(ICS)网络攻击电力系统数据集。
2020-09-11 cs.CR cs.SY eess.SP
An Automated Framework for Extracting Reachable Attack Chains from Cyber Threat Intelligence Reports
Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东新型安全情报技术重点实验室);School of Computer Science and Technology(计算机科学与技术学院);Harbin Institute of Technology(哈尔滨工业大学);New Network Research Department(新网络研究部);Peng Cheng Laboratory(鹏城实验室);Great Bay University(大湾区大学)
该研究针对CTI报告非结构化无法用于自动化攻击路径推理的问题,提出将攻击步骤建模为含条件和行为的单元,经多阶段管道结合大语言模型提取并规范化,编译成规则推理,在数据集上有更好表现,能有效提取可达攻击链。
2026-07-23 cs.AI cs.CR
Digital and Physical Face Attacks: Reviewing and One Step Further
City University of Hong Kong(香港城市大学)
随着近五年来的快速发展,人脸认证已经成为最普遍的生物特征识别方法。由于高准确度的识别性能和用户友好的使用,自动人脸识别(AFR)已经在设备解锁,签到和金融支付等方面爆发出大量的实际应用。尽管人脸认证取得了巨大的成功,但各种人脸呈现攻击(FPA),如打印攻击,重放攻击和3D面具攻击,已经引起了紧迫的不信任问题。除了物理人脸攻击外,人脸视频/图像还容易受到恶意黑客发起的各种数字攻击技术的攻击,对公众造成潜在威胁。由于可以不受限制地访问大量的数字人脸图像/视频,并且公开了在互联网上流通的易于使用的人脸操纵工具,没有任何先前专业技能的非专家攻击者能够容易地创建复杂的假脸,从而导致许多危险的应用,例如金融欺诈,冒充和身份盗窃。本调查旨在通过对现有文献进行全面分析,并突出需要进一步关注的问题,以建立人脸法医学的完整性。在本文中,我们首先全面调查了物理和数字人脸攻击类型和数据集。然后,我们回顾了现有反击方法的最新和最先进的进展,并强调了它们目前的局限性。此外,我们概述了未来可能的研究方向,现有的和即将到来的挑战,在面对法医界。最后,讨论了物理和数字人脸攻击联合检测的必要性,这在以前的调查中从未被研究过。
2022-09-29 cs.CR cs.CV
Step-by-Step Reasoning Attack: Revealing 'Erased' Knowledge in Large Language Models
School of Computing(计算机学院);National University of Singapore(新加坡国立大学);Department of Electrical and Computer Engineering(电气与计算机工程系);College of Design and Engineering(设计与工程学院);RespAI Lab(RespAI实验室);School of Computer Engineering(计算机工程学院);Institute for Infocomm Research(信息与通信研究所);A*STAR
本研究提出基于逐步推理的黑盒攻击Sleek,揭示大型语言模型机器遗忘的漏洞,证明现有方法无法可靠擦除知识,并强调信息泄漏风险。
2025-06-14 cs.AI cs.CR
ATTACK2VEC: Leveraging Temporal Word Embeddings to Understand the Evolution of Cyberattacks
Symantec Research Labs(赛门铁克研究实验室);Boston University(波士顿大学)
尽管网络攻击的复杂性不断增加,但研究界仍然缺乏有效的工具来轻松监控和理解它们。特别地,需要这样的技术,其不仅能够跟踪某些恶意动作(诸如对特定漏洞的利用)在野外被利用的突出程度,而且(并且更重要的是)这些恶意动作如何作为更复杂的网络攻击中的攻击步骤而被考虑。在本文中,我们提出了ATTACK2VEC,一个系统,使用时间词嵌入来模拟攻击步骤是如何利用在野外,并跟踪它们如何演变。我们在两年时间内从商业入侵防御系统的客户收集的数十亿安全事件的数据集上测试ATTACK2VEC,并表明我们的方法在监控新攻击策略的出现以及标记攻击者经常一起使用的攻击步骤(例如,经常被一起利用的漏洞)。ATTACK2VEC为研究人员和从业人员提供了一个有用的工具,可以更好地了解网络攻击及其演变,并利用这些知识来提高态势感知和开发主动防御。
2019-05-29 cs.CR cs.LG
Multi-step domain adaptation by adversarial attack to $\mathcal{H} Δ\mathcal{H}$-divergence
ITMO University(圣彼得堡国立信息技术机械与光学大学);Artificial Intelligence Research Institute(人工智能研究所);Tubingen Universitat(图宾根大学)
对抗性例子可以在不同的模型之间转换。在我们的论文中,我们建议使用此属性的多步领域自适应。在无监督的领域自适应设置中,我们证明了用对抗性示例替换源域到$\mathcal{H} Δ\mathcal{H}$ -发散可以提高目标域上的源分类器精度。我们的方法可以连接到大多数领域自适应技术。我们进行了一系列实验,并在Digits和Digi-Home数据集上实现了准确性的提高。
2022-07-18 cs.CR cs.CV cs.LG
WITCHcraft: Efficient PGD attacks with random step size
University of Maryland, College Park(马里兰大学帕克分校);University of Siegen(锡根大学)
对神经网络的最先进的对抗攻击使用昂贵的迭代法和从不同初始点的大量随机重启。迭代FGSM为基础的方法没有重新启动权衡性能的计算效率,因为他们没有充分探索的图像空间,是高度敏感的步长的选择。我们提出了一个变种的投影梯度下降(PGD),使用随机步长来提高性能,而不诉诸昂贵的随机重新启动。我们的方法,宽迭代随机工艺(WITCHcraft),取得了优于经典的PGD攻击的CIFAR-10和MNIST数据集,但没有额外的计算成本的结果。这种对PGD的简单修改使得制作攻击更经济,这在对抗训练等需要实时的制作攻击的情况下很重要。
2019-11-18 cs.CR cs.CV cs.LG
INTARG: Informed Real-Time Adversarial Attack Generation for Time-Series Regression
San Diego State University(圣地亚哥州立大学);University of California, San Diego(加州大学圣地亚哥分校)
本文提出了一种在线有限缓冲设置下的时间序列回归对抗攻击框架,通过有信息的选择策略生成更有效的攻击,实验表明攻击效率提升显著。
2026-04-13 cs.CR cs.LG
Invariant Hopping Attacks on Block Ciphers
自20世纪70年代以来,分组密码被广泛使用。它们的迭代结构容易受到许多轮不变攻击,例如线性密码分析(LC)。下一步是研究非线性多项式不变量。95年的欧洲密码直到最近,研究人员发现这种攻击非常少,有些结果是不可能的。最后,最近的论文展示了如何为分组密码构造多项式不变攻击,然而许多这样的结果是2度的。本文提出了一种新的构造分组密码高次多项式不变攻击的增量方法。对一个密码设置的普通攻击将被转置,以表明在几个步骤中存在对更强密码的更高级攻击。关键的工具是操纵所谓的基本方程的根。示例是用旧的历史分组密码T-310构造的。
2020-02-08 cs.CR math.AC
DMS: Addressing Information Loss with More Steps for Pragmatic Adversarial Attacks
The University of Sydney(悉尼大学);Suzhou Yierq(苏州Yierq);The University of Malaya(马来亚大学)
本文针对对抗样本在数字存储中因非整数像素值信息损失导致攻击性能下降的问题,提出DMS算法,通过梯度上升整数化和积分梯度归因选择两种技术有效保持攻击完整性。
2024-06-09 cs.CR cs.LG
Algebraic Attack on the Alternating Step(r,s)Generator
交替步进(r,s)发生器(ASG(r,s))是A.坎索它由长度为l、m和n位的三个寄存器组成。第一个寄存器控制其他两个寄存器的时钟。其他两个寄存器被时钟控制r次(或不被时钟控制)(分别为s次或不计时),这取决于第一寄存器中的时钟控制位。特殊情况r=s=1是原始的和众所周知的交替步骤发生器。Kanso声称没有针对ASG(r,s)的有效攻击,因为r和s是保密的。本文提出了一种交替步生成器ASG模型,并对ASG(r,s)提出了一种新的有效的代数攻击,利用3(m+n)比特的输出序列来寻找秘密密钥,计算复杂度为O((m^2+n^2)*2^{l+1}+(2^{m-1})*m^3 +(2^{n-1})*n^3)计算复杂性.我们表明,这个系统是没有更安全的比原来的ASG,在相反的ASG(r,s)的构造器的要求。
2010-06-09 cs.CR cs.IT math.IT
TEAM: Temporal Adversarial Examples Attack Model against Network Intrusion Detection System Applied to RNN
School of Cyber Science and Engineering, Wuhan University(武汉大学网络安全学院)
提出针对RNN的时间对抗样本攻击模型TEAM,利用时间步关联和时间膨胀技术,显著提升NIDS在黑盒和白盒下的误判率,最高超过96.68%。
2024-09-19 cs.AI cs.CR
Targeted Attack on GPT-Neo for the SATML Language Model Data Extraction Challenge
Delft University of Technology(代尔夫特理工大学)
以前的工作表明,大语言模型容易受到所谓的数据提取攻击。这允许攻击者提取包含在训练数据中的样本,这具有巨大的隐私影响。数据抽取攻击的构造具有挑战性,目前的攻击效率相当低,并且在无目标攻击和记忆的提取能力方面存在显著差距。因此,提出了有针对性的攻击,其识别来自训练数据的给定样本是否可从模型中提取。在这项工作中,我们应用有针对性的数据提取攻击的SATML 2023语言模型训练数据提取挑战。我们采用两步走的方法。在第一步中,我们最大限度地提高了模型的召回率,并能够提取69%的样本的后缀。在第二步中,我们使用基于分类器的成员推断攻击的世代。我们的AutoSklearn分类器达到了0.841的精度。完整的方法在10%的假阳性率下达到了0.405的召回分数,比基线0.301提高了34%。
2023-02-13 cs.AI cs.CL cs.CR
"Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks
Nicolaus Copernicus University(哥白尼大学);UCSI University(UCSI大学)
本研究通过模拟企业中层晋升竞争场景的“道德化”多步越狱提示开展黑盒测试,发现多款主流大语言模型护栏可被绕过生成言语攻击内容,其中Claude 3.5 Sonnet抵抗性更强,同时公开了相关代码以保障研究客观性。
2025-03-20 cs.AI cs.CL cs.CR
CyberClear: A Benchmark for LLM Agent Systems on APT Attack Chain Provenance
Southeast University(东南大学);The Hong Kong Polytechnic University(香港理工大学);Zhongguancun Laboratory(中关村实验室)
提出CyberClear基准,评估大语言模型智能体从长上下文安全日志中重建APT攻击链的能力,并设计CyberProvenance框架,通过证据积累与执行验证提升多智能体系统溯源性能。
2026-09-29 cs.AI cs.CR
Making Every Step Effective: Jailbreaking Large Vision-Language Models Through Hierarchical KV Equalization
Southeast University(东南大学);University of California, Merced(加州大学默塞德分校);National University of Singapore(新加坡国立大学);Lancaster University(兰卡斯特大学);University of Queensland(昆士兰大学)
针对 LVLM 对抗越狱中优化步骤并非始终有效的问题,提出 HKVE 依据跨层注意力分布选择性接受梯度更新,在三个模型上显著提升成功率并降低迭代成本。
2025-03-14 cs.CR cs.CV
WebSentinel: Detecting and Localizing Prompt Injection Attacks for Web Agents
Duke University(杜克大学);UC Berkeley(加州大学伯克利分校)
WebSentinel通过两步方法有效检测和定位网页代理中的提示注入攻击,显著优于现有方法。
2026-02-03 cs.AI cs.CL cs.CR
AgentDrift: A Step-Labeled Benchmark of Injection-Hijacked LLM Agent Trajectories
Northern Arizona University(北亚利桑那大学)
AgentDrift是一个分步标注的基准,包含12,536条LLM智能体工具调用轨迹,逐步标记注入点与劫持步骤,用于检测间接提示注入攻击。
2026-09-09 cs.AI cs.CR cs.LG
Adaptive Reward-Poisoning Attacks against Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所(MPI-SWS))
在针对强化学习(RL)的奖励中毒攻击中,攻击者可以在每一步都将环境奖励$r_t$扰动为$r_t+δ_t$,目的是迫使RL代理学习恶意策略。我们分类这种攻击的无穷范数约束$δ_t$:我们提供了一个较低的阈值,低于该奖励中毒攻击是不可行的,RL被证明是安全的,我们提供了一个相应的上限阈值,高于该攻击是可行的。可行攻击可以进一步分类为非自适应攻击,其中$δ_t$仅取决于$(s_t,a_t, s_{t+1})$,或自适应攻击,其中$δ_t$进一步取决于RL代理在时间$t$的学习过程。非自适应攻击一直是先前工作的焦点。然而,我们表明,在温和的条件下,自适应攻击可以实现邪恶的政策在步骤多项式的状态空间大小$|S|$,而非自适应攻击需要指数步骤。我们提供了一个建设性的证明,一个快速自适应攻击策略达到多项式率。最后,我们表明,根据经验,攻击者可以使用最先进的深度RL技术找到有效的奖励中毒攻击。
2020-06-22 cs.AI cs.CR cs.LG
Adversarial Machine Learning at Scale
Google Brain(谷歌大脑);OpenAI
对抗性示例是设计用于欺骗机器学习模型的恶意输入。它们经常从一个模型转移到另一个模型,允许攻击者在不知道目标模型参数的情况下发动黑盒攻击。对抗性训练是在对抗性示例上显式训练模型的过程,以使其对攻击更具鲁棒性或减少其在干净输入上的测试错误。到目前为止,对抗训练主要应用于小问题。在这项研究中,我们将对抗训练应用于ImageNet。我们的贡献包括:(1)关于如何成功地将对抗性训练扩展到大型模型和数据集的建议,(2)观察到对抗性训练赋予单步攻击方法鲁棒性,(3)发现多步攻击方法比单步攻击方法的可转移性更低,因此单步攻击是安装黑盒攻击的最佳方法,以及(4)“标签泄漏”效应的解决方案,该效应导致对抗训练的模型在对抗示例上比在干净示例上表现得更好,因为对抗示例构建过程使用真实标签,并且模型可以学习在构建过程中利用标签。
2017-02-11 cs.CR cs.CV cs.LG
IP Leakage Attacks Targeting LLM-Based Multi-Agent Systems
The Hong Kong University of Science and Technology(香港科技大学)
该研究提出针对黑盒场景下基于LLM的多智能体系统的攻击框架MASLEAK,通过构造对抗查询提取系统架构、提示词等敏感知识产权信息,在合成及真实MAS应用上均取得高攻击成功率,并探讨了相关防御方向。
2025-06-17 cs.AI cs.CL cs.CR
Multi-step Jailbreaking Privacy Attacks on ChatGPT
Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Notre Dame(圣母大学)
随着大语言模型(LLM)的快速发展,许多下游NLP任务可以在适当的提示下得到很好的解决。尽管模型开发人员和研究人员在对话安全方面努力工作,以避免从LLM生成有害内容,但为了人类的利益而引导AI生成的内容(AIGC)仍然具有挑战性。由于强大的LLM正在吞噬来自各个领域的现有文本数据(例如,GPT-3是在45 TB的文本上训练的),人们自然会怀疑训练数据中是否包含了隐私信息,以及这些LLM及其下游应用会带来哪些隐私威胁。在本文中,我们研究了OpenAI的ChatGPT和ChatGPT增强的New Bing的隐私威胁,并表明应用程序集成的LLM可能会导致新的隐私威胁。为此,我们进行了广泛的实验来支持我们的主张,并讨论了LLM的隐私影响。
2023-11-01 cs.CL cs.CR
Prompt Injection 2.0: Hybrid AI Threats
Preamble, Inc.(Preamble公司)
本文分析 Prompt Injection 2.0 混合威胁,揭示提示注入与 XSS、CSRF 等 Web 漏洞结合如何绕过传统安全措施,并提出融合提示隔离、运行时安全与权限分离的架构方案。
2025-07-17 cs.AI cs.CR
STEP: Detecting Audio Backdoor Attacks via Stability-based Trigger Exposure Profiling
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学);National University of Singapore(新加坡国立大学)
本文提出STEP方法,通过分析触发器在语义破坏扰动下的异常稳定性与语义保持扰动下的异常脆弱性,实现无训练的音频后门检测,实验显示其在多个攻击场景中表现优异。
2026-03-18 cs.CR cs.LG cs.SD
Chain-of-Jailbreak Attack for Image Generation Models via Editing Step by Step
Renmin University of China(中国人民大学);Chinese University of Hong Kong(香港大学);Chinese University of Hong Kong, Shenzhen(香港大学(深圳));Johns Hopkins University(约翰霍普金斯大学);Tencent(腾讯);Hong Kong University of Science and Technology(香港科技大学)
本文提出 Chain-of-Jailbreak 攻击,通过将恶意查询分解为多个子查询并逐步编辑图像,成功绕过主流图像生成模型的安全防护,并构建 CoJ-Bench 数据集及 Think Twice Prompting 防御方法。
2025-06-03 cs.AI cs.CL cs.CR
Black-box Adversarial Attacks on Network-wide Multi-step Traffic State Prediction Models
University of Memphis(孟菲斯大学)
本研究针对全网多步交通状态预测深度学习模型的鲁棒性问题,提出黑盒对抗攻击框架,通过训练替代模型生成对抗信号,可使最优图神经网络模型精度最高降54%,而传统统计模型受影响极小或免疫。
2021-10-17 cs.AI cs.CR cs.LG
Enabling Efficient Attack Investigation via Human-in-the-Loop Security Analysis
University of California, Berkeley(加州大学伯克利分校)
本文提出Provexa防御系统,通过领域特定语言ProvQL和优化执行引擎,帮助分析员在大规模系统溯源数据中高效聚焦攻击相关部分,揭示多步攻击序列。
2025-07-21 cs.CL cs.CR cs.DB
From Prompt Injection to Persistent Control: Defending Agentic Harness Against Trojan Backdoors
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 学院)
本文提出ClawTrojan基准测试揭示本地智能体框架中的多步木马攻击,并设计DASGuard防御方法,通过扫描控制文本、追溯来源并清除不可信控制内容,实现动态防御。
2026-05-29 cs.AI cs.CL cs.CR
From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks
Tsinghua University(清华大学)
本研究发现大语言模型遗忘防御存在涟漪效应,即明确遗忘某类有害知识时会隐式遗忘关联有害知识,仅用100个训练样本即可将未见数据越狱攻击成功率从70%以上降至10%以下,并分析了泛化原因与局限。
2025-05-20 cs.CL cs.CR cs.LG
Ensemble Adversarial Training: Attacks and Defenses
Stanford University(斯坦福大学);Google Brain(谷歌大脑);Pennsylvania State University(宾夕法尼亚州立大学)
对抗性示例是被设计用于欺骗机器学习模型的扰动输入。对抗性训练将这些示例注入训练数据以提高鲁棒性。为了将这种技术扩展到大型数据集,使用快速单步方法制作扰动,该方法最大化模型损失的线性近似。我们证明了这种形式的对抗训练收敛到退化的全局最小值,其中数据点附近的小曲率伪影模糊了损失的线性近似。因此,模型学会了产生弱扰动,而不是防御强扰动。因此,我们发现对抗性训练仍然容易受到黑盒攻击,在这种攻击中,我们转移了在不设防的模型上计算的扰动,以及一种强大的新型单步攻击,这种攻击通过一个小的随机步骤来逃避输入数据的非光滑附近。我们进一步介绍了Ensemble Adversarial Training,这是一种通过从其他模型转移的扰动来增强训练数据的技术。在ImageNet上,Encourage Adversarial Training生成的模型对黑盒攻击具有很强的鲁棒性。特别是,我们最强大的模型赢得了NIPS 2017对抗性攻击防御竞赛的第一轮。然而,随后的工作发现,更复杂的黑盒攻击可以显着提高可转移性,并降低我们的模型的准确性。
2020-04-26 cs.CR cs.LG stat.ML
PolicyGuard: Towards Test-time and Step-level Adversary (Backdoor) Defense for Reinforcement Learning Agent
Computer Science, University of Maryland College Park, USA(计算机科学,马里兰大学学院市)
提出PolicyGuard,一种基于高斯过程后验方差的测试时步级后门防御方法,通过自适应伪轨迹计算单步不确定性,在七种RL游戏中达到平均AUROC 0.856和0.859。
2026-06-23 cs.AI cs.CR cs.LG
Multi-granular Adversarial Attacks against Black-box Neural Ranking Models
ICT, CAS(中国科学院信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
针对传统单粒度对抗排序攻击灵活性不足的问题,提出将多粒度攻击转化为序列决策过程,用双智能体强化学习实现黑盒神经排序模型的多粒度对抗攻击,在有效性和隐蔽性上均优于主流基线。
2024-04-11 cs.CR cs.IR cs.LG
Towards Model Co-evolution Across Self-Adaptation Steps for Combined Safety and Security Analysis
Ulm University(乌尔姆大学);University of Innsbruck(因斯布鲁克大学)
本文针对自适应系统在适应过程中暴露漏洞的问题,提出一种多模型建模方法,将系统、适应过程、安全危害与安全攻击统一组合为攻击-故障树,并通过模型转换实现协同演化,以支持组合安全与安全分析。
2023-09-18 cs.CR cs.FL cs.RO