From Sands to Mansions: Towards Automated Cyberattack Emulation with Classical Planning and Large Language Models
Northwestern University（西北大学）；Zhejiang University（浙江大学）；Hofstra University（霍夫斯特拉大学）
本文提出Aurora系统，结合经典规划与大语言模型，实现自动化网络攻击仿真，生成大规模数据集并验证其在入侵检测系统中的有效性。
2026-02-05 cs.CR
POMDPs Make Better Hackers: Accounting for Uncertainty in Penetration Testing
Core Security（Core Security公司）；ITBA（布宜诺斯艾利斯理工学院）；INRIA（法国国家信息与自动化研究所）；Saarland University（萨尔大学）
渗透测试是一种通过生成和执行可能的黑客攻击来评估网络安全的方法。这样做自动允许定期和系统的测试。一个关键问题是如何产生攻击。这自然被表述为不确定性下的规划，即，在不完全了解网络配置的情况下。以前的工作使用经典的规划，并需要昂贵的预处理减少这种不确定性的广泛应用的扫描方法。相比之下，我们在此模型的攻击规划问题的部分可观察马尔可夫决策过程（POMDP）。这允许对可用的知识进行推理，并智能地将扫描操作作为攻击的一部分。正如人们所预料的那样，这种精确的解决方案不具有可扩展性。我们设计了一种方法，依赖于POMDPs来找到对单个机器的良好攻击，然后将其组成对整个网络的攻击。这种分解尽可能地利用网络结构，（仅）在需要时进行有针对性的近似。评估这种方法在适当适应的工业测试套件，我们证明了它的有效性，在运行时和解决方案的质量。
2013-07-31 cs.AI cs.CR
Les POMDP font de meilleurs hackers: Tenir compte de l'incertitude dans les tests de penetration
Core Security；ITBA；INRIA（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；LORIA（洛林研究中心）；Saarland University（萨尔大学）
渗透测试是一种通过生成和执行可能的黑客攻击来评估网络安全的方法。这样做自动允许定期和系统的测试。一个关键问题是如何产生攻击。这自然被表述为不确定性下的规划，即，在不完全了解网络配置的情况下。以前的工作使用经典的规划，并需要昂贵的预处理减少这种不确定性的广泛应用的扫描方法。相比之下，我们在此模型的攻击规划问题的部分可观察马尔可夫决策过程（POMDP）。这允许对可用的知识进行推理，并智能地将扫描操作作为攻击的一部分。正如人们所预料的那样，这种精确的解决方案不具有可扩展性。我们设计了一种方法，依赖于POMDPs来找到对单个机器的良好攻击，然后将其组成对整个网络的攻击。这种分解尽可能地利用网络结构，（仅）在需要时进行有针对性的近似。评估这种方法在适当适应的工业测试套件，我们证明了它的有效性，在运行时和解决方案的质量。
2013-07-30 cs.AI cs.CR
SSD: A State-based Stealthy Backdoor Attack For Navigation System in UAV Route Planning
本文提出一种基于运动状态触发的隐蔽后门攻击方法 SSD，通过利用 UAV 非线性运动状态增强 GNSS 位置欺骗效果并降低速度检测概率，在三个先进检测器上保持 100% 隐蔽性的同时显著提高定位误差和航迹规划任务失败风险。
2025-03-12 cs.CR
Robust Adversarial Attacks Detection based on Explainable Deep Reinforcement Learning For UAV Guidance and Planning
City, University of London（伦敦城市大学）；Defence Science and Technology Laboratory (DSTL)（国防科学技术实验室（DSTL））
针对无人机对抗攻击，提出基于可解释深度强化学习的检测方法，利用DDPG-PER训练，并设计CNN和LSTM检测器，分别达到80%和91%准确率，实现实时防护。
2023-06-20 cs.AI cs.CR cs.LG
RedTWIZ: Diverse LLM Red Teaming via Adaptive Attack Planning
NOVA University of Lisbon（里斯本新大学）；NOVA LINCS（NOVA LINCS 实验室）
本文提出RedTWIZ框架，通过自适应分层攻击规划与多样化多轮越狱策略，系统评估并暴露LLM在AI辅助软件开发中的鲁棒性弱点，实验证明其能成功诱导先进LLM产生不安全输出。
2025-10-08 cs.CL cs.CR
Qualitative Planning in Imperfect Information Games with Active Sensing and Reactive Sensor Attacks: Cost of Unawareness
我们考虑的概率规划问题，代理（称为玩家1，或P1）可以联合计划的控制动作和传感器查询在传感器网络和攻击者（称为玩家2，或P2）可以对传感器进行攻击。我们使用一个正式的模型来模拟这样的对抗性交互--一个具有部分可控观测函数的可达性游戏。本文的主要贡献是评估P1的不知情的成本：假设P1误解的传感器故障的概率节点故障，由于不可靠的网络通信，和P2知道P1的误解，除了她的部分可观测性。然后，P2可以从哪些状态执行传感器攻击，以概率1确保P1将无法完成她的可达性任务，即使由于误解，P1认为她几乎可以肯定地完成她的任务。我们开发了一个算法来解决几乎肯定会赢的传感器攻击策略P1的观察为基础的战略。我们的攻击分析可用于无线通信网络中的攻击检测和网络物理系统的决策理论模型中可证明安全的攻击感知传感器分配的设计。
2021-05-02 cs.CR cs.FL cs.GT
Building Computer Network Attacks
Core Security Technologies（核心安全技术公司）
在这项工作中，我们通过引入概念工具（正式模型）来评估攻击的成本，描述网络战攻击所涉及的战区、目标、任务、行动、计划和资产，开始走上一条新的视角来观察网络战场景的道路。我们还描述了这个模型的两个应用程序：自主规划导致自动渗透测试，攻击模拟，允许系统管理员评估他的网络的漏洞。
2010-06-09 cs.AI cs.CR
Let the Bees Find the Weak Spots: A Path Planning Perspective on Multi-Turn Jailbreak Attacks against LLMs
本文将多轮越狱攻击抽象为路径规划问题，提出增强型人工蜂群算法ABC，通过协作搜索机制在大幅减少查询次数的同时，实现了90%以上的攻击成功率，有效降低了红队评估开销。
2025-11-05 cs.CL cs.CR
Penetration Testing == POMDP Solving?
Core Security Technologies（核心安全技术公司）；ITBA（布宜诺斯艾利斯技术学院）；INRIA（法国国家信息与自动化研究所）
渗透测试是一种通过生成和执行可能的攻击来评估网络安全的方法。这样做可以自动进行定期和系统的测试，而无需大量的人力。一个关键问题是如何产生攻击。这自然是一个规划问题。以前的工作（Lucangeli et al. 2010）使用经典规划，因此忽略了所有黑客特有的不完整知识。最近的工作（Sarraute等人，2011）为了扩展而做出了强有力的独立性假设，并且缺乏关于攻击规划问题实际上是什么的明确的正式概念。在这里，我们模型的部分可观察马尔可夫决策过程（POMDP）的问题。这是渗透测试在一个良好的研究形式主义的基础，突出了这个问题的性质的重要方面。POMDPs允许将信息收集建模为问题的一个组成部分，从而首次提供了一种智能地将扫描操作与实际利用混合在一起的方法。
2013-06-19 cs.AI cs.CR
Robust Backdoor Attacks against Deep Neural Networks in Real Physical World
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
深度神经网络（DNN）已被广泛部署在各种应用中。然而，许多研究表明，DNN是容易受到后门攻击。攻击者可以在目标DNN模型中创建一个隐藏的后门，并通过提交特定的后门实例来触发恶意行为。然而，现有的后门攻击研究大多集中在数字领域，而对真实物理世界中的后门攻击研究较少。受限于各种物理约束，后门攻击在真实物理世界中的性能会严重下降。本文提出了一种鲁棒的物理后门攻击方法PTB（physical transformations for backdoors），用于实现对真实物理世界中的深度学习模型的后门攻击。具体来说，在训练阶段，我们在每一轮模型训练中对这些注入的后门实例执行一系列物理变换，以模拟后门在现实世界中可能经历的各种变换，从而提高其物理鲁棒性。在最新的人脸识别模型上的实验结果表明，与不带PTB的后门攻击方法相比，该方法能够显著提高真实物理世界中的后门攻击性能.在各种复杂的物理条件下，通过仅注入非常小比例（0.5%）的后门实例，使用PTB方法对VGGFace进行物理后门攻击的攻击成功率为82%，而不使用所提出的PTB方法的后门攻击的攻击成功率低于11%。同时，目标DNN模型的正常性能没有受到影响。
2021-07-15 cs.AI cs.CR
Operationalizing Cybersecurity Governance for Mitigation Planning with Attack-Path Modeling and Reinforcement Learning
University of Arkansas at Little Rock（阿肯色大学小石城分校）；Bastazo, Inc.（Bastazo公司）；University of Arkansas（阿肯色大学）
本文提出利用攻击路径建模和强化学习，将网络安全治理框架转化为可行的缓解决策，通过映射CSF成熟度评估到MITRE ATT&CK缓解能力，实现组织安全态势与对抗驱动的防御规划整合。
2026-05-10 cs.CR
Stealthy Backdoor Attack to Real-world Models in Android Apps
Xi’an Jiaotong University（西安交通大学）
本文针对安卓应用中的真实深度学习模型，提出基于DNN隐写术生成不可感知且样本特定触发器的隐蔽后门攻击方法，在38,387个应用中提取的89个模型上验证其有效性，攻击成功率平均比DeepPayload高12.50%，同时保持模型正常性能。
2025-01-02 cs.AI cs.CR
Visual Exclusivity Attacks: Automatic Multimodal Red Teaming via Agentic Planning
本文提出视觉排斥攻击，通过多模态多轮代理规划框架MM-Plan，实现基于视觉内容的攻击，展示了对前沿模型的高攻击成功率，揭示了当前安全对齐的不足。
2026-02-05 cs.CR cs.CV cs.LG
When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院）
针对LLM智能体通过模型上下文协议（MCP）集成外部工具时面临的工具描述投毒（TDP）攻击，提出MCP-TDP安全基准，包含32个真实测试用例，评估8种主流LLM发现严重漏洞，并提出反应性自我纠正防御机制。
2026-05-22 cs.AI cs.CR
Applying recent secure element relay attack scenarios to the real world: Google Wallet Relay Attack
本报告解释了非接触式智能卡和安全元件上的中继攻击的最新发展。它进一步揭示了这些中继攻击如何应用于Google钱包。最后，它给出了一个成功尝试的组件和结果的概述中继EMV Mag-Stripe交易之间的谷歌钱包设备和外部卡模拟器通过无线网络。
2013-03-25 cs.CR
Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
对抗性攻击的目的是用对抗性的例子欺骗深度神经网络。在自然语言处理领域中，已经提出了各种文本对抗攻击模型，其在受害者模型的可访问性方面有所不同。其中，只需要受害者模型输出的攻击模型更适合真实世界的对抗性攻击情况。然而，这些模型为了获得高攻击性能，通常需要多次查询受害者模型，这在实践中既不高效也不可行。为了解决这个问题，我们提出了一个基于强化学习的攻击模型，它可以从攻击历史中学习，更有效地发动攻击。在实验中，我们通过攻击多个任务的基准数据集，包括情感分析，文本分类和自然语言推理的几个国家的最先进的模型来评估我们的模型。实验结果表明，我们的模型始终实现更好的攻击性能和更高的效率比最近提出的基线方法。我们还发现，我们的攻击模型可以带来更多的鲁棒性提高受害者模型的对抗训练。本文的所有代码和数据都将公开。
2020-09-19 cs.AI cs.CL cs.CR
APThreatHunter: An automated planning-based threat hunting framework
University of St Andrews（圣安德鲁斯大学）；NTRA（国家电信监管机构）；Adams State University（亚当斯州立大学）
APThreatHunter通过自动规划生成目标假设，提升网络威胁狩猎的自动化水平和效率。
2025-12-27 cs.CR
Safety Graph: When Safety Responses Become Attack Surfaces in Cyber-Physical Systems
Colorado State University（科罗拉多州立大学）
本研究提出安全图（SG）框架，统一攻击图等三种范式，将其编译为AI规划问题，通过田纳西-伊斯曼工厂仿真，发现安全响应诱导的横向移动，为IT-OT攻击建模提供新方法。
2026-10-12 cs.CR
ACE: A Security Architecture for LLM-Integrated App Systems
Northeastern University（东北大学）
本文提出ACE架构，通过分离规划阶段提升LLM集成应用系统的安全性和可用性，验证其在对抗性攻击中的有效性。
2025-09-10 cs.CR cs.LG
Social Engineering Attacks and Defenses in the Physical World vs. Cyberspace: A Contrast Study
社会工程攻击是一种同样适用于物理世界和网络空间的现象。物理世界中的这些攻击比网络空间中的对应攻击被研究的时间要长得多。这促使我们研究物理世界和网络空间中的社会工程攻击如何相互关联，包括它们的共同特征和独特特征。为此，我们提出了一种方法，将物理世界和网络空间中的社会工程攻击和防御统一到一个框架中，包括：（i）基于心理学原理的系统模型，用于描述这些攻击;（ii）这些攻击的系统化;以及（iii）对它们的防御系统化。我们的研究得出了一些见解，这些见解揭示了未来的研究方向，以充分防御网络空间中的社会工程攻击。
2022-03-09 cs.CR cs.HC
PlanGuard: Defending Agents against Indirect Prompt Injection via Planning-based Consistency Verification
Suzhou Research Institute of Shandong University（山东大学苏州研究院）
本文提出PlanGuard，一种基于上下文隔离的无训练防御框架，通过规划器生成有效动作集和分层验证机制，有效防御间接提示注入攻击，实验显示攻击成功率从72.8%降至0%。
2026-04-11 cs.CR
Optimal Planning for Enhancing the Resilience of Modern Distribution Systems Against Cyberattacks
针对智能电网配电层面因物联网设备集成产生的网络攻击脆弱性，本文分析高功率设备相关攻击的可行性与影响，提出基于分布式发电的预防性韧性策略，强调配电层面网络韧性规划的迫切性。
2025-08-26 cs.CR cs.SY eess.SY
Occluding the Solution Space: Planner-Agnostic Adversarial Attacks on Tolerance-Aware Manipulation
Guangzhou University（广州大学）；University of Science and Technology of China（中国科学技术大学）；Northwestern Polytechnical University（西北工业大学）
提出针对容错感知操纵的与规划器无关攻击框架，通过运动学占用热图刻画机器人能力，将攻击设为预算最大覆盖优化，实验表明该方法能可靠引发规划失败，优于基线。
2026-07-07 cs.CR cs.RO
Understanding the Effects of Real-World Behavior in Statistical Disclosure Attacks
高延迟匿名通信系统防止被动窃听者推断通信伙伴的确定性。然而，泄露攻击允许对手在通信持续时恢复用户的行为配置文件。了解系统参数如何影响用户的隐私免受此类攻击至关重要。该领域的早期工作分析了受控场景中的泄露攻击的性能，其中假设了有关用户行为的特定模型。在本文中，我们分析了最有效的披露攻击之一，最小二乘披露攻击，在现实的情况下，剖析精度。我们从不同性质的数据集生成真实的流量观测结果，发现在以前的工作中考虑的模型不适合这种现实的行为。我们放松了以前对用户行为的假设，并扩展了以前的性能分析，用真实数据验证了我们的结果，并对影响现实世界中用户保护的参数提供了新的见解。
2019-10-22 cs.CR
BACKRUNNER: Mitigating Smart Contract Attacks in the Real World
针对智能合约攻击抢跑保护易被绕过的问题，本文提出抢占式劫持与攻击后跑方法，并实现BACKRUNNER框架，在历史攻击和真实事件中挽救巨额资产。
2024-09-10 cs.CR
Heuristic Approach Towards Countermeasure Selection using Attack Graphs
选择一套最佳对策是一项具有挑战性的任务，涉及各种考虑和权衡，如优先考虑要减轻的风险和成本。绝大多数选择对策部署的研究都是基于有限的风险评估程序，该程序利用了通用漏洞评分系统（CVSS）。这种风险评估程序不一定考虑特定资产的先决条件和可利用性，无法区分内部和外部威胁行为者，并且不表达利用漏洞的后果以及攻击者的横向移动。其他研究采用了更广泛的风险评估程序，该程序依赖于人工工作和重复评估。然而，这些解决方案没有考虑网络拓扑，也没有指定部署对策的最佳位置，因此不太实用。在本文中，我们提出了一个启发式搜索方法选择最佳的对策部署在给定的预算限制。所提出的方法表示使用扩展的攻击图建模，考虑利用漏洞的先决条件和后果的系统的风险，检查攻击者的潜在的横向运动，并表示物理网络拓扑结构以及网络协议中的漏洞。此外，不同于以往的研究，利用攻击图的对策规划，所提出的方法不需要重新生成的攻击图在每个阶段的程序，这是计算量大，因此，它提供了一个更准确和实用的对策部署规划过程。
2019-06-26 cs.CR
Beyond Detection: Agentic Attack Synthesis and Simulation for Smart Contracts
Beijing Institute of Technology（北京理工大学）；University of Auckland（奥克兰大学）；Griffith University（格里菲斯大学）；Nanyang Technological University（南洋理工大学）
研究智能合约漏洞利用验证问题，提出KASS多智能体框架，将自动利用生成分解为多阶段并集成多种机制，在多类智能合约上评估，能成功生成可执行利用及结构化攻击计划，验证效果优于其他工具。
2026-07-20 cs.CR
Revisiting Physical-World Adversarial Attack on Traffic Sign Recognition: A Commercial Systems Perspective
University of California, Irvine（加利福尼亚大学欧文分校）；Drexel University（德雷塞尔大学）
本文首次针对商业交通标志识别系统开展大规模物理世界对抗攻击测量，发现现有学术攻击对部分商业系统功能可达100%成功率但不具普适性，提出新攻击指标并得出7项挑战过往结论的新发现。
2024-09-15 cs.CR cs.CV
Knowledge-Driven Multi-Turn Jailbreaking on Large Language Models
Southeast University（东南大学）；Nanyang Technological University（南洋理工大学）；OPPO Research Institute（OPPO研究院）
Mastermind通过动态知识库和分层规划架构，实现对大语言模型的高效多轮对抗攻击，显著提升攻击效果和防御韧性。
2026-01-09 cs.CR cs.LG
Physical-World Optical Adversarial Attacks on 3D Face Recognition
The Hong Kong Polytechnic University（香港理工大学）；Chongqing University（重庆大学）
2D人脸识别已被证明对于物理对抗攻击是不安全的。然而，很少有研究调查攻击真实世界3D人脸识别系统的可能性。最近提出的3D打印攻击无法在空中生成对抗点。在本文中，我们通过精心制作的光学噪声攻击三维人脸识别系统。我们将结构光3D扫描仪作为我们的攻击目标。端到端攻击算法被设计为通过固有的或附加的投影仪来生成3D人脸的对抗性照明，以在任意位置产生对抗性点。然而，面部反射是一个复杂的过程，因为皮肤是半透明的。为了将这个投影和捕获过程纳入优化循环，我们使用朗伯渲染模型对其进行建模，并使用SfSNet来估计最大值。此外，为了提高抵抗距离和角度变化的能力，同时保持扰动不明显，引入了3D变换不变损失和两种灵敏度图。实验在模拟和物理世界中进行。我们成功地攻击了基于点云和基于深度图像的3D人脸识别算法，同时比以前最先进的物理世界3D对抗攻击需要更少的扰动。
2022-11-13 cs.CR cs.CV eess.IV
Dirty Road Can Attack: Security of Deep Learning based Automated Lane Centering under Physical-World Attack
UC Irvine（加州大学欧文分校）；ByteDance（字节跳动）；Northeastern University（东北大学）
自动车道对中（ALC）系统如今非常方便且广泛部署，但也具有高度的安全性和安全性。在这项工作中，我们是第一个系统地研究最先进的基于深度学习的ALC系统在物理世界对抗攻击下的设计操作域中的安全性。我们制定了一个安全关键的攻击目标的问题，和一个新的和特定领域的攻击向量：肮脏的道路补丁。为了系统地生成攻击，我们采用了基于优化的方法，并克服了特定领域的设计挑战，例如由于攻击影响的车辆控制而导致的相机帧相互依赖性，以及车道检测模型缺乏目标函数设计。我们评估我们的攻击生产ALC使用80个场景，从现实世界的驾驶痕迹。结果表明，我们的攻击是非常有效的，超过97.5%的成功率和不到0.903秒的平均成功时间，这是大大低于平均司机的反应时间。这种攻击也被发现（1）对各种现实因素（如照明条件和视角）具有鲁棒性，（2）对不同的模型设计具有通用性，以及（3）从驾驶员的角度来看是隐形的。为了了解安全影响，我们在真实车辆中使用软件在环仿真和攻击跟踪注入进行实验。结果表明，我们的攻击在不同的场景下可以导致100%的碰撞率，包括在使用自动紧急制动等常见安全功能进行测试时。我们还评估和讨论防御。
2021-06-13 cs.CR cs.CV cs.LG
Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors
University of Maryland, College Park（马里兰大学帕克分校）；Facebook AI（Facebook 人工智能研究院）
我们对最先进的目标检测框架进行了对抗攻击的系统研究。使用标准的检测数据集，我们训练模式，抑制了一系列常用的检测器和检测器的合奏产生的对象分数。通过大量的实验，我们对白盒和黑盒设置下的对抗训练补丁的有效性进行了基准测试，并量化了数据集，对象类和检测器模型之间的攻击可转移性。最后，我们提出了一个详细的研究物理世界的攻击使用印刷海报和可穿戴的衣服，并严格量化的性能，这种攻击与不同的指标。
2020-07-22 cs.CR cs.CV cs.LG
T2I-Based Physical-World Appearance Attack against Traffic Sign Recognition Systems in Autonomous Driving
Xi’an Jiaotong University（西安交通大学）；University of California, Irvine（加州大学 Irvine 分校）；Nankai University（南开大学）；Wuhan University（武汉大学）
针对自动驾驶交通标志识别（TSR）系统易受物理世界对抗外观攻击但现有方法存在局限的问题，本文提出DiffSign框架，通过集成CLIP损失、掩码提示及风格定制方法提升攻击性能，在多真实条件下平均攻击成功率达83.3%。
2025-11-17 cs.CR cs.CV
Security of Deep Learning based Lane Keeping System under Physical-World Adversarial Attack
ByteDance AI Lab（字节跳动人工智能实验室）；Northeastern University（东北大学）
车道保持辅助系统（LKAS）是方便和广泛使用的今天，但也非常安全和安全的关键。在这项工作中，我们设计并实现了第一个系统化的方法来攻击现实世界中基于DNN的LKAS。我们确定肮脏的道路补丁作为一种新的和特定领域的威胁模型的实用性和隐蔽性。我们制定的攻击作为一个优化问题，并解决来自连续的相机帧的攻击之间的相互依赖性的挑战。我们在最先进的LKAS上评估了我们的方法，我们的初步结果表明，我们的攻击可以成功地使它在短短1.3秒内驶离车道边界。
2020-03-03 cs.CR cs.CV cs.LG
On adversarial patches: real-world attack on ArcFace-100 face recognition system
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Intelligent Systems Lab（智能系统实验室）；Huawei Moscow Research Center（华为莫斯科研究中心）
最近的工作表明，在数字域的对抗攻击的图像分类的脆弱性。然而，大多数攻击涉及向图像添加小扰动以欺骗分类器。不幸的是，这样的程序不能用于进行现实世界的攻击，在现实世界中，向照片添加对抗属性是一种更实用的方法。在本文中，我们研究了现实世界中的人脸识别系统的攻击问题。我们研究了最好的公共人脸识别系统之一，LResNet 100 E-IR与ArcFace损失的安全性，并提出了一种简单的方法来攻击它在物理世界中。该方法建议创建一个可以打印的对抗补丁，添加为面部属性并拍照;然后将具有这种属性的人的照片传递给分类器，使得分类器的识别类从正确的变为所需的。所提出的生成过程允许不仅在面部的不同区域（例如鼻子或前额）上，而且在一些可穿戴配件（例如眼镜）上投射对抗性补丁。
2020-04-01 cs.CR cs.CV cs.LG
Backdoor Attacks Against Deep Learning Systems in the Physical World
University of Chicago（芝加哥大学）
后门攻击将隐藏的恶意行为嵌入到深度学习模型中，仅激活并导致包含特定触发器的模型输入的错误分类。然而，现有的关于后门攻击和防御的工作主要集中在使用数字生成的模式作为触发器的数字攻击上。一个关键的问题仍然没有答案：后门攻击能否成功使用物理对象作为触发器，从而使它们成为现实世界中对深度学习系统的可信威胁？我们进行了详细的实证研究，以探索这个问题的面部识别，一个关键的深度学习任务。使用七个物理对象作为触发器，我们收集了一个自定义数据集的3205图像的10名志愿者，并使用它来研究物理后门攻击的可行性在各种现实世界的条件下。我们的研究揭示了两个关键发现。首先，物理后门攻击可以非常成功，如果它们被仔细配置以克服物理对象施加的约束。特别是，成功触发器的放置在很大程度上受到目标模型对关键面部特征的依赖性的限制。第二，当今针对（数字）后门的四种最先进的防御措施对物理后门无效，因为物理对象的使用打破了用于构建这些防御的核心假设。我们的研究证实，（物理）后门攻击不是一个假设的现象，而是对关键的分类任务构成了严重的现实威胁。我们需要新的、更强大的防御手段来抵御物理世界中的后门。
2021-09-07 cs.CR cs.CV cs.LG
