Marlin: Knowledge-Driven Analysis of Provenance Graphs for Efficient and Robust Detection of Cyber Attacks
针对现有溯源图攻击检测优化策略易丢上下文、易被规避的问题,提出Marlin系统,通过嵌入攻击知识的查询图对齐与标签传播架构,在保留上下文的同时实现高效实时检测,在大规模数据集上验证了其高准确率与低误报率。
2024-07-10 cs.CR
Agentic AI for Autonomous Defense in Software Supply Chain Security: Beyond Provenance to Vulnerability Mitigation
Faculty of Computer and Information System(计算机与信息系统学院);Islamic University of Madinah(麦地那伊斯兰大学);Faculty of Computer Studies(计算机研究学院);Arab Open University-Bahrain(巴林阿拉伯开放大学)
本文提出基于代理AI的软件供应链安全框架,结合LLM推理、强化学习和多代理协调,实现主动漏洞缓解,提升检测准确率和响应效率。
2025-12-29 cs.AI cs.CR
ProGQL: A Provenance Graph Query System for Cyber Attack Investigation
Case Western Reserve University(凯斯西储大学)
针对现有溯源分析技术灵活性差且内存效率低的问题,提出ProGQL框架,通过领域特定图搜索语言与优化查询引擎结合系统审计事件与专家知识,实现高效增量图搜索,显著提升了攻击调查的可扩展性。
2025-10-29 cs.CR cs.DB
Provenance-based Intrusion Detection: Opportunities and Challenges
Harvard University(哈佛大学);University of Cambridge(剑桥大学)
本文探讨基于溯源的入侵检测方法,分析其在提升检测鲁棒性方面的潜力与面临的挑战,结合实际构建经验提供深入洞察。
2018-06-04 cs.CR cs.SY eess.SY
VectorSmuggle: Steganographic Exfiltration in Embedding Stores and a Cryptographic Provenance Defense
ThirdKey / Tarnover, LLC(ThirdKey / 塔诺弗公司)
本文研究了在嵌入式存储中通过简单扰动隐藏数据的隐写术攻击,提出VectorPin协议通过加密签名保障嵌入数据完整性,解决了嵌入式存储的溯源和完整性问题。
2026-05-13 cs.CR cs.IR cs.LG
Dashed Line Defense: Plug-And-Play Defense Against Adaptive Score-Based Query Attacks
Harbin Institute of Technology(哈尔滨工业大学)
本文提出Dashed Line Defense,一种即插即用的后处理方法,有效抵御自适应分数查询攻击,通过引入损失与对抗强度的模糊性,阻止攻击者适应策略,提升模型安全性。
2026-02-09 cs.CR cs.LG
DeepStage: Learning Autonomous Defense Policies Against Multi-Stage APT Campaigns
Department of Information Assurance, FPT University(信息保障系,FPT大学)
本文提出DeepStage框架,利用深度强化学习对抗多阶段APT攻击,通过融合主机溯源和网络 telemetry 构建统一溯源图,结合StageFinder进行攻击阶段估计,采用分层PPO算法实现自适应防御,实验显示其在真实企业环境中的有效性。
2026-03-17 cs.AI cs.CR cs.LG
Distributed Temporal Graph Learning with Provenance for APT Detection in Supply Chains
针对供应链中高级持续性威胁(APT)的实时检测问题,提出一种整合多源数据、构建动态溯源图并利用时序图学习进行实时检测的新方法,并模拟了自定义数据集。
2025-04-03 cs.CR cs.DC
Random Noise Defense Against Query-Based Black-Box Attacks
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室)
基于查询的黑盒攻击在实际应用中对机器学习模型造成了严重的威胁。在这项工作中,我们研究了一种轻量级的防御方法,称为随机噪声防御(RND),它添加适当的高斯噪声到每个查询。从理论上分析了RND算法对基于查询的黑盒攻击和相应的自适应攻击的有效性。我们的理论结果表明,RND的防御性能是由RND引起的噪声和攻击者的梯度估计或局部搜索添加的噪声之间的幅度比。大的幅度比导致RND更强的防御性能,这也是抵御自适应攻击的关键。基于我们的分析,我们进一步建议将RND与合理的高斯增强微调(RND-GF)相结合。它使RND能够向每个查询添加更大的噪声,同时保持干净的准确性,以在干净的准确性和防御性能之间获得更好的权衡。此外,RND可以灵活地与现有的防御方法相结合,以进一步提高对抗性鲁棒性,例如对抗性训练(AT)。在CIFAR-10和ImageNet上的大量实验验证了我们的理论发现以及RND和RND-GF的有效性。
2021-10-30 cs.CR cs.LG
ICL-EVADER: Zero-Query Black-Box Evasion Attacks on In-Context Learning and Their Defenses
University of Science and Technology of China(中国科学技术大学);Shandong University(山东大学);Monash University(蒙纳士大学)
ICL-Evader提出零查询黑盒对抗攻击方法,揭示ICL的脆弱性并提供防御方案。
2026-01-29 cs.CR
Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps
University of California, Berkeley(加州大学伯克利分校)
针对工具使用LLM代理,提出上下文碎片化解构(CFD)攻击,利用跨上下文工件来源鸿沟实现多步越狱,成功率提升高达28.3个百分点。
2026-06-08 cs.AI cs.CR
Preventing Machine Learning Poisoning Attacks Using Authentication and Provenance
最近的研究成功地证明了新型的数据投毒攻击。为了解决这个问题,一些研究人员提出了离线和在线数据投毒检测防御,其采用机器学习算法来识别此类攻击。在这项工作中,我们采取了不同的方法来防止数据投毒攻击,它依赖于基于密码的身份验证和出处,以确保用于训练机器学习模型的数据的完整性。同样的方法也用于防止软件中毒和模型中毒攻击。软件中毒攻击恶意地改变用于训练模型的一个或多个软件组件。一旦模型被训练,它也可以被保护免受模型中毒攻击,这些攻击试图通过修改其底层参数或结构来改变模型的预测。最后,如果评估集或测试集已被第二次数据投毒攻击修改,则还可以保护它们以提供证据。为了实现这些目标,我们提出了VAMP,它扩展了以前提出的AMP系统,该系统旨在保护媒体对象,如图像,视频文件或音频剪辑,机器学习设置。首先,我们提供了一个安全的机器学习系统的身份验证和出处的要求。接下来,我们将演示VAMP的清单如何满足这些要求,以保护机器学习系统的数据集、软件组件和模型。
2021-05-20 cs.CR
APT-MCL: An Adaptive APT Detection System Based on Multi-View Collaborative Provenance Graph Learning
APT-MCL通过多视图协同溯源图学习,解决APT检测中样本稀缺、标注困难和攻击多样性的挑战,提升跨场景检测能力。
2026-01-13 cs.CR
PARSE: Provenance-Aware Retrieval Sanitization for Professional Domain LLM Agents
Data Science Institute(数据科学研究所)
针对真实企业文档中提示注入攻击难以防御的问题,提出PARSE方法,通过分类句子注入可能性、提取结构化事实并验证一致性,将攻击成功率从25.4%降至15.6%,同时保持86.9%的实用性。
2026-09-15 cs.CL cs.CR
LogKernel A Threat Hunting Approach Based on Behaviour Provenance Graph and Graph Kernel Clustering
网络威胁搜寻是一个主动搜索过程,用于查找组织信息系统中的隐藏威胁。它是主动防御高级持续性威胁(APT)的重要组成部分。然而,目前大多数的威胁搜索方法都依赖于网络威胁情报(CTI),它可以发现已知的攻击,但无法发现CTI尚未披露的未知攻击。在本文中,我们提出了LogKernel,威胁狩猎方法的基础上图核聚类,可以有效地分离攻击行为的良性活动。LogKernel首先将系统审计日志抽象为行为起源图(BPG),然后使用图核将其嵌入到连续空间中进行聚类。特别是,我们设计了一种新的基于BPG的图核聚类方法,它可以捕获BPG的结构信息和丰富的标签信息。为了减少误报,LogKernel进一步量化了异常行为的威胁。我们评估LogKernel的恶意数据集,其中包括七个模拟的攻击场景和DAPRA CADETS数据集,其中包括四个攻击场景。实验结果表明,LogKernel算法能够在所有的攻击场景中进行搜索,并且与现有的方法相比,能够发现未知的攻击。
2022-08-18 cs.CR
MalProtect: Stateful Defense Against Adversarial Query Attacks in ML-based Malware Detection
King’s College London(伦敦国王学院);Universitat Politècnica de València(瓦伦西亚理工大学)
本文提出MalProtect,一种针对恶意软件检测领域对抗性查询攻击的有状态防御方法,通过多威胁指标检测攻击,将Android和Windows恶意软件的规避率降低80+%,优于现有防御。
2023-06-30 cs.CR cs.LG
Do Defenses Against LLM Extraction Work Across Attacks? A Lifecycle Benchmark of Black-Box Model Extraction
Florida State University(佛罗里达州立大学);Brigham Young University(杨百翰大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);State University of New York at Buffalo(纽约州立大学布法罗分校);Wake Forest University(维克森林大学);University of Georgia(佐治亚大学)
提出统一基准,覆盖六种攻击、十种防御及两种自适应攻击,控制配置以评估黑盒模型提取防御的有效性。
2026-10-08 cs.CR
LESS: Efficient Log Storage System Based on Learned Model and Minimum Attribute Tree
本文提出溯源图存储系统 LESS,通过将图结构与属性分离,分别采用机器学习方法和最小生成树进行存储,在 DARPA TC 数据集上相比 LEONARD 显著降低了存储时间、磁盘占用和内存使用,并大幅提升了查询速度。
2024-11-26 cs.CR
Mind the Gap: Detecting Black-box Adversarial Attacks in the Making through Query Update Analysis
本文提出通过查询更新相似性空间及 Delta Similarity 指标检测黑盒对抗噪声生成过程,并在含适应性攻击的 8 种攻击上验证其优于现有防御。
2025-03-16 cs.CR
Learning the APT Kill Chain: Temporal Reasoning over Provenance Data for Attack Stage Estimation
Technische Universität Chemnitz(开姆尼茨工业大学)
StageFinder通过融合溯源数据和时序学习,实现高精度的APT攻击阶段估计,宏F1分数达0.96,预测稳定性提升31%。
2026-03-08 cs.CR cs.NI
PredCoin: Defense against Query-based Hard-label Attack
UT Dallas(德克萨斯大学达拉斯分校)
近年来,针对深度神经网络(DNN)提出了许多对抗攻击和防御方法。虽然它们中的大多数都处于白盒设置中,这是不切实际的,但一类新的基于查询的硬标签(QBHL)黑盒攻击对现实世界的应用构成了重大威胁(例如,Google Cloud、腾讯API)。到目前为止,还没有普遍的和实用的方法来防御这种攻击。本文提出并评估了PredCoin,这是一种实用且可推广的方法,可提供对QBHL攻击的鲁棒性。PredCoin毒化了梯度估计步骤,这是大多数QBHL攻击的重要组成部分。PredCoin成功识别了攻击者精心制作的梯度估计查询,并为输出引入了不确定性。大量的实验表明,PredCoin成功地抵御了四种最先进的QBHL攻击,同时保持了目标模型的整体准确性。PredCoin也被证明是强大和有效的,可以抵御几种防御感知攻击,这些攻击可能完全了解PredCoin的内部机制。
2021-02-04 cs.AI cs.CR
IHOP: Improved Statistical Query Recovery against Searchable Symmetric Encryption through Quadratic Optimization
针对可搜索对称加密(SSE)方案的有效查询恢复攻击通常依赖于关于查询或数据集的辅助地面实况信息。在较弱的统计辅助信息假设下,查询恢复也是可能的,尽管基于统计的攻击实现较低的准确性,并且不被认为是严重的威胁。在这项工作中,我们提出了IHOP,一个基于算法的查询恢复攻击,制定查询恢复作为一个二次优化问题,并通过迭代线性分配问题的解决方案。我们进行了广泛的评估与五个真实的数据集,并表明,IHOP优于所有其他基于密码的查询恢复攻击在不同的参数和泄漏配置,包括客户端使用一些访问模式混淆防御的情况下。在某些情况下,我们的攻击达到了几乎完美的查询恢复精度。最后,我们在客户端查询相关的仅频率泄漏设置中使用IHOP,并表明我们的攻击可以利用查询依赖性,即使在最近由Grubbs等人提出的频率隐藏防御PANCAKE时,应用。我们的研究结果表明,统计查询恢复攻击构成了严重的威胁,隐私保护SSE计划。
2022-05-31 cs.CR
MisGUIDE : Defense Against Data-Free Deep Learning Model Extraction
本文提出MisGUIDE两步防御框架,通过识别OOD查询并施加概率性扰动响应来破坏对抗性样本生成,从而在保持真实查询准确率的同时有效抵御黑盒无数据模型克隆攻击。
2024-03-27 cs.CR
DEHYDRATOR: Enhancing Provenance Graph Storage via Hierarchical Encoding and Sequence Generation
针对溯源图存储开销高的问题,本文提出 Dehydrator 系统,通过字段映射编码、分层编码和深度神经网络支持批量查询,在超十亿条日志上实现存储空间降低 84.55%,并显著优于 PostgreSQL、Neo4j 和 Leonard。
2024-12-31 cs.CR
CICAPT-IIOT: A provenance-based APT attack dataset for IIoT environment
针对现有IIoT网络安全数据集缺少APT检测关键属性的问题,本文提出CICAPT-IIoT数据集,搭建测试平台复现20余种APT攻击技术及多个攻击阶段,整合多类日志与攻击信息,为APT检测研究提供支撑。
2024-07-15 cs.CR
The Shape of Ownership: Verifying LLM Provenance through Semantic Structures
School of Big Data & Software Engineering, Chongqing University(重庆大学大数据与软件工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
该研究针对LLM所有权验证难题,提出PROSE方法,通过语义结构实现黑盒场景下的高鲁棒性、高隐蔽性的模型出处验证,在多类模型上实现100%检测率且无假阳性。
2026-09-03 cs.CR
PIPES: Securing Agent Perception with Provenance and Priors
NVIDIA(英伟达)
该研究针对工具使用智能体感知易受状态篡改攻击的问题,提出PIPES防护方案,通过语义先验与来源筛选,大幅降低攻击成功率且保留良性效用。
2026-08-14 cs.AI cs.CR
Theoretically Principled Trade-off for Stateful Defenses against Query-Based Black-Box Attacks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Michigan(密歇根大学)
本研究针对有状态防御在攻击检测率与误报率之间的权衡问题,提供了理论刻画和特征提取器检测率上界,分析了其对黑盒攻击收敛性的影响,并通过多数据集实验验证了理论发现。
2023-07-30 cs.CR cs.LG
Stateful Defenses for Machine Learning Models Are Not Yet Secure Against Black-box Attacks
University of Michigan(密歇根大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对有状态防御模型依赖查询历史拦截相似黑盒查询的问题,提出两阶段 OARS 自适应攻击,推断并规避防御,将六种攻击在多个数据集上的成功率由近0%提升至近100%。
2023-09-26 cs.CR cs.LG
RADEP: A Resilient Adaptive Defense Framework Against Model Extraction Attacks
针对MLaaS模型提取攻击,提出多层防御框架RADEP,结合渐进对抗训练、恶意查询检测、自适应响应和所有权验证,显著降低提取成功率并保持高检测准确率。
2025-05-25 cs.CR
Prompt Control-Flow Integrity: A Priority-Aware Runtime Defense Against Prompt Injection in LLM Systems
University of Rajshahi(拉杰沙希大学);Marshall University(马歇尔大学);University of Aizu(会津大学)
本文提出Prompt Control-Flow Integrity,一种优先级感知的运行时防御机制,通过结构化组合系统、开发者、用户和检索文档片段来防范提示注入攻击,实现零误报率和低开销。
2026-03-19 cs.CR
Blacklight: Scalable Defense for Neural Networks against Query-Based Black-Box Attacks
University of Chicago(芝加哥大学)
众所周知,深度学习系统容易受到对抗性样本的攻击。特别是,基于查询的黑盒攻击不需要深度学习模型的知识,但可以通过提交查询和检查返回来计算网络上的对抗性示例。最近的工作在很大程度上提高了这些攻击的效率,证明了它们在当今ML即服务平台上的实用性。我们提出了Blacklight,一种新的防御基于查询的黑盒对抗攻击。驱动我们设计的基本见解是,为了计算对抗性示例,这些攻击在网络上执行迭代优化,在输入空间中产生高度相似的图像查询。Blacklight通过检测高度相似的查询来检测基于查询的黑盒攻击,使用基于概率内容指纹的高效相似性引擎。我们针对八种最先进的攻击,在各种模型和图像分类任务中评估了Blacklight。黑光灯识别他们所有人,往往只有少数查询后。通过拒绝所有检测到的查询,Blacklight可以阻止任何攻击完成,即使攻击者在帐户被禁止或查询被拒绝后仍坚持提交查询。Blacklight还可以抵抗几种强大的对策,包括在效率上接近白盒攻击的最佳黑盒攻击。最后,我们说明了Blacklight如何推广到其他领域,如文本分类。
2022-06-09 cs.CR cs.CV cs.LG
Towards the Universal Defense for Query-Based Audio Adversarial Attacks
Shandong University(山东大学);Quancheng Laboratory(泉城实验室)
针对基于查询的音频对抗攻击,本文利用连续相似查询特征提出基于音频指纹和记忆机制的过程级防御,可在四类攻击上以逾90%准确率识别攻击意图,并抵御两种自适应攻击。
2023-04-20 cs.CR cs.SD eess.AS
DeMark: A Query-Free Black-Box Attack on Deepfake Watermarking Defenses
UNSW Sydney(新南威尔士大学悉尼分校);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61)
DeMark通过利用潜在空间漏洞,对深度伪造水印防御方案发起无需查询的黑盒攻击,显著降低检测准确率并揭示现有防御方案的脆弱性。
2026-01-23 cs.AI cs.CR cs.CV
QueryAttack: Jailbreaking Aligned Large Language Models Using Structured Non-natural Query Language
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室);The Chinese University of Hong Kong(香港中文大学);Jilin University(吉林大学);Southwest University(西南大学);University of Electronic Science and Technology of China(电子科技大学);Shenzhen University(深圳大学)
本文提出QueryAttack框架,将恶意查询转化为结构化非自然语言以绕过LLM安全对齐,实验显示高攻击成功率并能越狱多种防御,且定制防御可将GPT-4-1106的ASR降低64%。
2025-05-26 cs.AI cs.CL cs.CR
Minos: A Multi-Agent Collaborative Framework for Provenance-Based Backward Tracking
Zhejiang University(浙江大学);Ningbo Key Laboratory of Quantum Software and Security(宁波量子软件与安全重点实验室);Hofstra University(霍夫斯特拉大学)
提出多智能体框架Minos,利用LLM驱动推理进行基于溯源的反向追踪,通过分层上下文管理、检索增强推理和有限状态机协调四个智能体,有效缓解依赖爆炸,在5个数据集上平均召回率0.92、精确率0.64,攻击子图压缩49%。
2026-07-02 cs.CR
SherAgent: Scaling Attack Investigation in the Wild via LLM-Empowered Iterative Query-Filter Backtracking
Zhejiang University(浙江大学);Tencent Security Keen Lab(腾讯科恩实验室);Hofstra University(霍夫斯特拉大学)
研究针对野外攻击调查中依赖爆炸和因果链碎片化问题。提出SherAgent系统,基于大语言模型,采用迭代“查询-过滤”回溯范式处理非结构化数据,克服相关问题。相比传统方法,提高调查成功率,且运行高效,减轻专家分析负担。
2026-07-13 cs.CR
Closing the Gap: Achieving Better Accuracy-Robustness Tradeoffs against Query-Based Attacks
NEC Labs Europe(NEC欧洲实验室)
本文提出仅在低置信度输入上激活随机噪声和随机图像变换等防御,以在测试阶段无训练地实现针对基于查询攻击的更好准确率-鲁棒性权衡。
2024-03-21 cs.CR cs.CV cs.LG
DNS Query Forgery: A Client-Side Defense Against Mobile App Traffic Profiling
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
针对加密场景下DNS查询泄露用户行为模式、易被流量画像攻击的问题,提出基于查询伪造的客户端隐私框架,经实验验证可在低开销下有效提升隐私保护效果。
2025-05-14 cs.CR cs.NI
Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking
Quantify Labs Ltd(Quantify实验室有限公司)
该研究针对智能体记忆投毒问题,测试了内容筛选和来源排序的防御效果,发现仅内容筛选无法抵御投毒,来源加权检索也存在局限,主张采用有限占用约束并发布了相关资源。
2026-08-24 cs.AI cs.CR
DeepXplain: XAI-Guided Autonomous Defense Against Multi-Stage APT Campaigns
本文提出DeepXplain框架,通过整合溯源图学习和统一XAI流程,提升APT防御的可解释性和有效性,实验显示F1分数和成功率显著提升。
2026-03-25 cs.AI cs.CR
Retrieval-Confused Generation is a Good Defender for Privacy Violation Attack of Large Language Models
China Agricultural University(中国农业大学)
本文提出一种基于大型语言模型检索混淆生成(RCG)的新型防御范式,通过改写用户评论构建干扰数据库并采用最不相关检索策略替换查询数据,高效隐蔽地防御隐私侵犯攻击,在多个数据集和模型上验证了其可行性与优越性。
2025-06-24 cs.AI cs.CR
AuthGuard-R: Safety-Compliant Mission Hijacking and Dual-Gate Defense for LLM-Controlled Robots
National Institute of Technology Warangal(瓦朗加尔国立理工学院)
针对LLM控制机器人可能被物理安全但违反用户授权任务劫持的问题,提出MissionPAIR攻击框架和AuthGuard-R双门防御授权层,通过形式化验证和实验证明其能有效阻止未授权动作。
2026-09-28 cs.CR cs.RO
A Framework for Understanding Model Extraction Attack and Defense
University of Minnesota(明尼苏达大学)
机器学习模型的隐私已经成为许多新兴的机器学习即服务应用中的重要问题,其中基于良好训练的模型的预测服务通过按查询付费提供给用户。缺乏防御机制可能会对服务器模型的隐私造成很高的风险,因为对手可以通过只查询几个“好”数据点来有效地窃取模型。服务器的防御和对手的攻击之间的相互作用不可避免地导致军备竞赛困境,这在对抗性机器学习中很常见。为了研究模型效用从一个良性的用户的观点和隐私从对手的观点之间的根本权衡,我们开发了新的指标来量化这种权衡,分析其理论性质,并开发了一个优化问题,以了解最佳的对抗攻击和防御策略。所发展的概念和理论符合关于隐私和效用之间“平衡”的实证研究结果。在优化方面,使我们的结果的关键因素是一个统一的表示的攻击-防御问题作为一个最小最大的双层问题。开发的结果将通过实例和实验证明。
2022-06-23 cs.CR cs.LG
LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense
该研究针对LLMs的提示注入攻击问题,提出轻量级防御方法LTBD,通过可学习分隔符编码信任边界,在保持模型参数不变的情况下,防御效果优于推理时防御,接近训练式防御,且对自适应攻击有效。
2026-10-09 cs.AI cs.CR
DREW : Towards Robust Data Provenance by Leveraging Error-Controlled Watermarking
University of Maryland(马里兰大学);Northeastern University(东北大学)
针对基于嵌入的数据溯源方法抗编辑鲁棒性不足的问题,提出融合纠错码与误差控制水印的DREW方法,通过聚类分簇检索提升准确率,在多个数据集和主流嵌入模型上最高可提升40%检索精度。
2024-06-20 cs.CR cs.CV
Securing AI Agents in Cyber-Physical Systems: A Survey of Environmental Interactions, Deepfake Threats, and Defenses
Binghamton University(宾汉姆顿大学)
本文综述了物理信息系统中AI代理的安全威胁,重点分析了环境交互、深度伪造攻击及MCP漏洞,并提出基于SENTINEL框架的防御策略与挑战。
2026-01-28 cs.CR cs.DC
ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection
Nanjing University(南京大学);Singapore Management University(新加坡管理大学)
研究针对LLM智能体的上下文感知提示注入攻击,提出AgentLure基准测试及ARGUS因果溯源审计器,通过构建溯源图等验证行动因果依据,在AgentLure上降低攻击成功率,提升安全-效用权衡表现。
2026-07-10 cs.CR cs.SE
Adaptive Defense Orchestration for RAG: A Sentinel-Strategist Architecture against Multi-Vector Attacks
University of Hyderabad(Hyderabad大学);Purdue University(普渡大学)
本文提出Sentinel-Strategist架构,通过动态选择防御措施,在RAG系统中有效降低安全与效用的权衡,减少成员推断泄漏并恢复检索效用。
2026-04-22 cs.AI cs.CR
PuriDefense: Randomized Local Implicit Adversarial Purification for Defending Black-box Query-based Attacks
City University of Hong Kong, Hong Kong(香港城市大学);Southeast University, China(东南大学)
针对黑盒查询式攻击威胁,提出高效防御机制PuriDefense,通过轻量级净化模型集合执行随机分块净化,在低推理成本下重建图像流形并引入随机性减缓攻击收敛,显著提升了模型鲁棒性。
2025-06-26 cs.AI cs.CR cs.CV
Monitoring-based Differential Privacy Mechanism Against Query-Flooding Parameter Duplication Attack
Xidian University(西安电子科技大学);Purdue University(普渡大学);Chinese Academic of Sciences(中国科学院)
由机器学习算法实现的公共智能服务容易受到模型窃取攻击的攻击,这些攻击可以通过公共查询窃取学习模型的机密信息。虽然有一些保护选项,如差分隐私(DP)和监控,这被认为是有前途的技术,以减轻这种攻击,我们仍然发现,漏洞仍然存在。在本文中,我们提出了一种自适应查询泛洪参数复制(QPD)攻击。攻击者可以通过黑盒访问来推断模型信息,并且没有任何模型参数或训练数据的先验知识。我们还开发了一种防御策略,使用DP称为基于监视的DP(MDP)对这种新的攻击。在MDP中,我们首先提出了一个新的实时模型提取状态评估方案称为监视器,以评估模型的情况。然后,我们设计了一种自适应地指导差分隐私预算分配的方法APBA。最后,所有基于DP的防御都可以根据Monitor的结果动态调整模型响应中添加的噪声量,有效地防御QPD攻击。此外,我们彻底评估和比较QPD攻击和MDP防御性能的真实世界模型与DP和监测保护。
2020-11-01 cs.CR cs.LG
Enabling Efficient Attack Investigation via Human-in-the-Loop Security Analysis
University of California, Berkeley(加州大学伯克利分校)
本文提出Provexa防御系统,通过领域特定语言ProvQL和优化执行引擎,帮助分析员在大规模系统溯源数据中高效聚焦攻击相关部分,揭示多步攻击序列。
2025-07-21 cs.CL cs.CR cs.DB
Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks
Shanghai Jiao Tong University(上海交通大学);KU Leuven(鲁汶大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
基于分数的查询攻击(SQA)通过在数十个查询中制作对抗性扰动,仅使用模型的输出分数,对深度神经网络构成实际威胁。尽管如此,我们注意到,如果输出的损失趋势受到轻微干扰,SQA很容易被误导,从而变得不那么有效。根据这一思想,我们提出了一种新的防御,即攻击者的对抗攻击(AAA),混淆SQA对不正确的攻击方向,通过稍微修改输出logits。通过这种方式,(1)无论模型的最坏情况鲁棒性如何,都可以防止SQA;(2)原始模型预测几乎不会改变,即,不降低清洁精度;(3)同时可以改善置信度分数的校准。大量的实验提供了验证上述优点。例如,通过在CIFAR-10上设置$\ell_\infty=8/255$,我们提出的AAA帮助WideResNet-28在Square攻击(2500次查询)下获得80.59%的准确率,而最佳先验防御(即,对抗训练)仅达到67.44%。由于AAA攻击了SQA的一般贪婪策略,因此AAA相对于8种防御的优势可以在6个SQA下的8个CIFAR-10/ImageNet模型上一致地观察到,使用不同的攻击目标,边界,范数,损失和策略。此外,AAA校准更好,而不会损害准确性。我们的代码可在https://github.com/Sizhe-Chen/AAA上获得。
2022-12-16 cs.CR cs.LG
Security of World-Model-Based Embodied AI: A Lifecycle of Threats, Defenses, and Evaluation
本综述针对基于世界模型的具身智能,梳理其生命周期内的各类安全威胁,提出分类法与评估协议,并从多维度构建防御体系,同时指出世界模型兼具安全护盾与安全错觉的双重属性。
2026-07-31 cs.AI cs.CR