Policy Disruption in Reinforcement Learning:Adversarial Attack with Large Language Models and Critical State Identification
School of Cyber Science and Engineering(网络科学与工程学院)
针对强化学习对抗攻击依赖修改环境或策略的问题,提出利用LLM生成定制对抗奖励并结合关键状态识别的攻击框架,在不改变环境的情况下诱导目标策略次优决策,实验验证其优于现有方法。
2025-07-24 cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击,仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略,并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
POLAR: Policy-based Layerwise Reinforcement Learning Method for Stealthy Backdoor Attacks in Federated Learning
Columbia University(哥伦比亚大学);Shanghai Jiao Tong University(上海交通大学);Shanghai University of Electric Power(上海电力大学);National University of Singapore(新加坡国立大学);Stevens Institute of Technology(斯蒂文斯理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
针对联邦学习中现有后门关键层选择方法未考虑层间关联、易被检测的问题,提出采用伯努利采样的轻量分层强化学习方案POLAR,结合正则化约束保障隐蔽性,对抗6种SOTA防御时性能优于最新方法最高达40%。
2025-10-21 cs.LG
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research New York(微软纽约研究院)
我们研究了批量强化学习的安全威胁,并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器,它首先从批量数据集中估计动态和奖励,然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集,并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架,并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明,这两个实例化的结果在凸优化问题上的全局最优性是有保证的,并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation and Complexity Analysis
New York University(纽约大学)
Meta强化学习(meta RL)是元学习思想和强化学习(RL)的结合,它使智能体能够使用少量样本适应不同的任务。然而,这种基于采样的适应也使Meta RL容易受到对抗攻击的攻击。通过操纵Meta RL中采样过程的奖励反馈,攻击者可以误导Agent从训练经验中构建错误的知识,这会降低Agent在适应后处理不同任务时的性能。本文提供了一个博弈论的基础,了解这种类型的安全风险。特别是,我们正式定义的抽样攻击模型作为一个Stackelberg游戏之间的攻击者和代理,这产生了极大极小制定。它导致了两种在线攻击方案:间歇攻击和持续攻击,使攻击者能够学习最佳的采样攻击,定义的$ε$ -一阶平稳点,在$\mathcal{O}(ε^{-2})$迭代。这些攻击方案在不与环境进行额外交互的情况下同时自由地进行学习过程。通过用数值实验证实收敛结果,我们观察到攻击者的微小努力可以显着降低学习性能,并且极大极小方法也可以帮助增强Meta RL算法。
2023-03-08 cs.CR cs.LG
Multi-Task Federated Reinforcement Learning with Adversaries
Georgia Institute of Technology(佐治亚理工学院)
强化学习算法,就像任何其他机器学习算法一样,对对手构成严重威胁。对手可以操纵学习算法,导致非最优策略。在本文中,我们分析了多任务联合强化学习算法,其中多个合作代理在各种环境中试图最大化折扣收益之和,在对抗代理的存在下。针对常见的攻击方法不能保证对多任务联合强化学习进行成功攻击的问题,提出了一种具有更好攻击性能的自适应攻击方法。此外,我们修改了传统的联邦强化学习算法,以解决对手的问题,同样适用于没有对手。对不同的中小型强化学习问题的实验表明,该攻击方法优于其他一般攻击方法,并且在对抗代理存在的情况下,对联邦强化学习算法的改进能够实现接近最优的策略。
2021-03-11 cs.AI cs.LG
CS-GBA: A Critical Sample-based Gradient-guided Backdoor Attack for Offline Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);SJTU Paris Elite Institute of Technology(上海交通大学巴黎精英技术学院)
CS-GBA提出了一种基于关键样本的梯度引导后门攻击方法,通过优化攻击预算和隐蔽性,有效对抗安全约束算法。
2026-01-15 cs.LG
Attacking and Defending Deep Reinforcement Learning Policies
最近的研究表明,深度强化学习(DRL)策略容易受到对抗攻击的攻击,这引起了人们对DRL在安全关键系统中应用的担忧。本文从鲁棒优化的角度出发,采用原则性的方法研究了DRL策略对对抗攻击的鲁棒性。在鲁棒优化的框架下,通过最小化策略的期望收益给出最优的对抗攻击,相应地,通过提高策略的最坏情况性能来实现良好的防御机制。考虑到攻击者通常无法访问训练环境,我们提出了一种贪婪攻击算法,该算法试图在不与环境交互的情况下最小化策略的预期收益,以及一种防御算法,该算法以最大-最小形式进行对抗性训练。在Atari游戏环境下的实验表明,与现有攻击算法相比,该攻击算法更有效,策略回报率更低;与现有防御算法相比,该防御算法对一系列对抗攻击(包括本文提出的攻击算法)具有更强的鲁棒性。
2022-05-16 cs.CR cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno(内华达大学里诺分校)
众所周知,深度学习分类器天生容易受到有意扰动输入的操纵,称为对抗性示例。在这项工作中,我们建立了基于深度Q网络(DQN)的强化学习技术也容易受到对抗性输入扰动的影响,并验证了对抗性示例在不同DQN模型之间的可移植性。此外,我们提出了一种新的攻击类的基础上,这个漏洞,使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制,利用对抗性示例的可转移性来实现对DQN的策略诱导攻击,并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
Optimal Actuator Attacks on Autonomous Vehicles Using Reinforcement Learning
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学)
针对自动驾驶汽车(AVs)日益增长的攻击脆弱性问题,本文提出基于强化学习(RL)的最优隐蔽性执行器攻击方法,分析现有RL安全控制器局限性并通过仿真验证其有效性与高效性。
2025-02-11 cs.LG cs.RO
SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent Reinforcement Learning
Defence Science and Technology Group(国防科学技术集团);The University of Adelaide(阿德莱德大学)
多智能体强化学习(MARL)容易受到对抗性机器学习(AML)攻击,并且在可以用于现实世界的应用之前需要足够的防御。我们对针对MARL的执行时AML攻击的使用以及针对这些攻击的防御进行了调查。我们调查了AML在深度强化学习(DRL)和多智能体学习(MAL)中应用的相关工作,以告知我们对MARL的AML分析。我们提出了一个新的角度来理解实施AML攻击的方式,通过定义攻击向量。我们开发了两个新的框架,以解决当前建模框架中的差距,重点是针对MARL的AML攻击的手段和速度,并确定知识差距和未来的研究途径。
2023-01-11 cs.AI cs.CR cs.LG
Adversarial jamming attacks and defense strategies via adaptive deep reinforcement learning
Syracuse University(雪城大学)
随着深度强化学习(Deep Reinforcement Learning,DRL)在无线通信中应用的不断深入,基于DRL的无线通信策略对对抗性攻击的敏感性开始引起越来越多的关注。为了解决这种敏感性和减轻由此产生的安全问题,我们在本文中考虑受害者用户执行基于DRL的动态信道接入,和攻击者执行基于DRL的干扰攻击,以破坏受害者。因此,受害者和攻击者都是DRL代理,可以相互交互,重新训练他们的模型,并适应对手的策略。在这种情况下,我们首先开发了一个对抗性的干扰攻击策略,旨在最大限度地减少受害者的动态信道接入的决策的准确性。随后,我们设计的防御策略,对这样的攻击者,并提出了三种防御策略,即多样化的比例积分微分(PID)控制的防御,多样化的防御与模仿攻击者,防御通过正交的政策。我们设计这些策略,以最大限度地提高攻击受害者的准确性,并评估他们的表现。
2020-07-12 cs.LG eess.SP
Robust Deep Reinforcement Learning with Adversarial Attacks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了针对强化学习(RL)的对抗攻击,并在这些攻击的帮助下提高了深度强化学习算法(DRL)对参数不确定性的鲁棒性。我们发现,即使是一个天真的设计攻击成功地降低DRL算法的性能。我们进一步改进的攻击使用梯度信息的工程损失函数,导致性能进一步下降。然后在训练期间利用这些攻击来提高RL在鲁棒控制框架内的鲁棒性。我们表明,DRL算法(如深度双Q学习和深度确定性策略梯度)的这种对抗性训练导致RL基准测试(如Cart-pole,Mountain Car,Hopper和Half Cheetah环境)对参数变化的鲁棒性显着增加。
2017-12-11 cs.AI cs.LG cs.RO
Adversarial Attacks and Detection on Reinforcement Learning-Based Interactive Recommender Systems
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of Adelaide(阿德莱德大学)
对抗攻击对在早期阶段检测对抗攻击提出了重大挑战。我们提出了基于强化学习的交互式推荐系统的攻击不可知检测。我们首先制作对抗性示例以显示其不同的分布,然后通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后,我们研究了对抗性示例的攻击强度和频率,并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明,大多数对抗攻击都是有效的,攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外,我们的黑盒检测器训练与一个手工方法具有推广能力超过几个手工方法。
2020-06-14 cs.CR cs.IR cs.LG
Attacking Cooperative Multi-Agent Reinforcement Learning by Adversarial Minority Influence
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Institute of Data Space, Hefei Comprehensive National Science Center(合肥综合性国家科学中心数据空间研究院);Institute of Artificial Intelligence, Peking University(北京大学人工智能研究院);Nanyang Technological University(南洋理工大学)
针对合作型多智能体强化学习(c-MARL)在白盒攻击假设下的局限性,提出了一种实用的黑盒对抗攻击方法AMI,通过单个对抗智能体单方面误导多数受害者智能体形成最坏合作,首次实现了对真实机器人集群的成功攻击。
2024-07-30 cs.LG
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University(山东大学);The George Washington University(乔治·华盛顿大学)
本文提出一种去中心化强化学习中的协同后门攻击方法,将后门行为按状态空间分解到多个恶意智能体策略中,实现隐蔽注入,并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
Theoretical Corrections and the Leveraging of Reinforcement Learning to Enhance Triangle Attack
University of Connecticut(康涅狄格大学);Tufts University(塔夫茨大学);University of Minnesota(明尼苏达大学);Brandeis University(布兰迪斯大学);University of Rhode Island(罗德岛大学)
本文针对 Triangle Attack 的理论局限,提出结合强化学习的 TARL 攻击,在 ImageNet 和 CIFAR-10 上以一半查询次数达到相似或更优的攻击准确率。
2024-11-18 cs.CR cs.LG
Efficient Reward Poisoning Attacks on Online Deep Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出黑盒对抗性MDP奖励投毒框架,仅需篡改少量训练时间步即可使在线DRL智能体学到低性能策略,并通过理论与实验验证其在多种环境和算法上的有效性。
2023-07-15 cs.CR cs.LG
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS(马克斯·普朗克软件系统研究所)
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型,我们考虑攻击,最小限度地改变奖励,使攻击者的目标策略唯一最优下中毒的奖励,与最优差距指定的攻击参数。我们的目标是设计代理,对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励,同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架,用于获得最佳的防御策略,无论是当攻击参数是已知的和未知的。此外,我们表明,防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是,我们提供了以下界限相对于真实的,未中毒的,奖励:a)防御策略的预期回报的下限,以及b)这些防御策略与攻击者的目标策略相比是次优的上限。最后,我们通过说明我们的正式结果背后的直觉,并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
Optimal Attacks on Reinforcement Learning Policies
KTH Royal Institute of Technology(KTH皇家理工学院)
使用深度强化学习训练的控制策略最近被证明容易受到对抗攻击的攻击,即使对策略输入引入非常小的扰动。到目前为止,提出的攻击是使用反演算法设计的,并建立在现有的对抗性示例制作技术的基础上,这些技术用于在监督学习中欺骗分类器。相比之下,本文研究了设计最佳攻击的问题,这取决于一个明确定义的攻击者的目标,例如,最小化主代理的平均奖励当攻击者知道策略和系统动态以及奖励时,这种情况被称为白盒攻击,设计最佳攻击相当于解决马尔可夫决策过程。对于我们所说的黑盒攻击,即策略和系统都不知道,可以使用强化学习技术训练最佳攻击。通过数值实验,我们证明了我们的攻击与现有攻击(通常基于梯度方法)相比的效率。我们进一步量化了攻击的潜在影响,并建立了它与受到攻击的策略的平滑性的联系。平滑的策略自然不容易受到攻击(这解释了为什么Lipschitz策略在状态方面更具弹性)。最后,我们表明,从主代理的角度来看,系统的不确定性和攻击者可以建模为一个部分可观测的马尔可夫决策过程。我们实际上证明了使用针对POMDP定制的强化学习技术(例如使用递归神经网络)可以带来更有弹性的策略。
2019-07-31 cs.CR cs.LG stat.ML
Online Cyber-Attack Detection in Smart Grid: A Reinforcement Learning Approach
Columbia University(哥伦比亚大学)
网络攻击的早期检测对于智能电网的安全可靠运行至关重要。在文献中,离群点检测方案进行样本的样本决策和在线检测方案,需要完美的攻击模型已经提出。在本文中,我们制定了在线攻击/异常检测问题的部分可观察马尔可夫决策过程(POMDP)的问题,并提出了一个通用的鲁棒在线检测算法使用的框架无模型强化学习(RL)的POMDP。数值实验结果表明,该算法能够及时准确地检测出针对智能电网的网络攻击。
2018-09-14 cs.CR cs.LG stat.ML
FRAUD-RLA: A new reinforcement learning adversarial attack against credit card fraud detection
本文提出FRAUD-RLA攻击模型,通过强化学习绕过分类器,优化探索与利用平衡,以更少的知识实现有效欺诈检测攻击。
2025-02-04 cs.AI cs.LG
TrojDRL: Trojan Attacks on Deep Reinforcement Learning Agents
Boston University(波士顿大学);SRI International(斯坦福国际研究院)
最近的研究发现,作为神经网络实现的分类模型在训练时容易受到数据中毒和特洛伊木马攻击。在这项工作中,我们证明了这些训练时间漏洞扩展到深度强化学习(DRL)代理,并且可以被对手利用访问训练过程。特别是,我们专注于特洛伊木马攻击,增强功能的强化学习政策与隐藏的行为。我们证明了这种攻击可以通过微小的数据投毒(只有0.025%的训练数据)和带内奖励修改,不影响正常输入的奖励。与我们提出的攻击方法学习的政策执行无形中类似于良性的政策,但急剧恶化时,特洛伊木马在有针对性的和无针对性的设置触发。此外,我们表明,现有的木马防御机制的分类任务是无效的强化学习设置。
2019-03-01 cs.CR cs.LG stat.ML
BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Pennsylvania State University(宾夕法尼亚州立大学)
最近的研究证实了后门攻击在深度强化学习(RL)系统中的可行性。然而,现有的攻击需要能够任意修改代理的观察,限制了应用范围简单的RL系统,如雅达利游戏。在本文中,我们将后门攻击迁移到涉及多个代理的更复杂的RL系统中,并探索在不直接操纵代理观察的情况下触发后门的可能性。作为概念证明,我们证明了对手代理可以在两人竞争RL系统中通过自己的行动触发受害代理的后门。我们在四种竞争环境中对EPDOOORL进行原型设计和评估。结果显示,当后门被激活时,受害者的中奖率比未激活时下降了17%至37%。
2021-12-12 cs.CR cs.LG
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究,一方面有利于指导机器学习模型的开发,另一方面也有利于寻找有针对性的防御。然而,当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域:基于决策的攻击,仅基于观察目标模型的输出标签来生成对抗性扰动,仍然相对罕见,并且大多使用梯度估计策略。在这项工作中,我们提出了一个像素明智的决策为基础的攻击算法,发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习(DBAR)。实验结果表明,该方法具有更高的攻击成功率和更大的可移植性,优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Snooping Attacks on Deep Reinforcement Learning
Duke University(杜克大学)
对抗攻击暴露了最先进的机器学习模型中的一个重大安全漏洞。这些模型包括深度强化学习代理。现有的攻击强化学习代理的方法假设对手可以访问目标代理的学习参数或代理与之交互的环境。在这项工作中,我们提出了一类新的威胁模型,称为窥探威胁模型,这是强化学习所独有的。在这些窥探威胁模型中,对手没有能力与目标代理的环境进行交互,只能窃听代理和环境之间交换的动作和奖励信号。我们表明,在这些高度约束的威胁模型中运行的对手仍然可以通过在相关任务上训练代理模型并利用对抗性示例的可转移性来对目标代理发起毁灭性攻击。
2020-01-15 cs.CV cs.LG stat.ML
Top K Enhanced Reinforcement Learning Attacks on Heterogeneous Graph Node Classification
School of Electrical and Electronic Engineering(电子与电气工程学院);Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology (SIMTech)(新加坡制造技术研究所)
本文提出HeteroKRLAttack,一种结合强化学习与Top-K算法的异构图黑盒逃逸攻击方法,通过缩减动作空间高效破坏节点分类,并在多个数据集上验证了其攻击有效性。
2025-09-18 cs.AI cs.LG
Deep-Attack over the Deep Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);Nanyang Technological University(南洋理工大学)
最近的对抗攻击发展使得强化学习更加脆弱,并且存在不同的方法来部署针对它的攻击,其中关键是如何选择正确的攻击时机。一些工作试图设计一个攻击评估函数来选择临界点,如果该值大于某个阈值,将被攻击。这种方法使得在不考虑长期影响的情况下很难找到部署攻击的正确位置。此外,在袭击期间缺乏适当的评估指标。为了使攻击更加智能化,同时弥补现有的问题,我们提出了基于强化学习的攻击框架,同时从有效性和隐蔽性两个方面考虑,提出了一种新的评价攻击模型性能的指标。实验结果表明,我们提出的模型的有效性和我们提出的评价指标的优良性。此外,我们还验证了模型的可移植性,以及在对抗训练下的鲁棒性。
2022-05-02 cs.AI cs.CR cs.CY
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame(圣母大学)
近年来,许多合作分布式多智能体强化学习(MARL)算法已在文献中提出。在这项工作中,我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说,标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在离线多智能体强化学习(MARL)中,智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下,外源攻击者修改奖励数据集之前,代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略,同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同,我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡(MPDSE),保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明,攻击工作在各种MARL代理,包括不确定性意识的学习者,我们表现出线性规划,有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
Policy Teaching in Reinforcement Learning via Environment Poisoning Attacks
Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了强化学习的安全威胁,其中攻击者毒化学习环境以迫使代理执行攻击者选择的目标策略。作为一个受害者,我们考虑RL代理,其目标是找到一个政策,最大限度地提高奖励在无限地平线的问题设置。攻击者可以在训练时操纵学习环境中的奖励和过渡动态,并且有兴趣以隐身的方式这样做。我们提出了一个优化框架,找到一个最佳的隐身攻击不同的攻击成本的措施。我们提供了攻击成本的下限/上限,并在两种设置中实例化我们的攻击:(i)离线设置,其中代理在中毒的环境中进行规划,以及(ii)在线设置,其中代理正在学习带有中毒反馈的策略。我们的研究结果表明,攻击者可以很容易地在温和的条件下成功地教任何目标的政策,受害者和突出的重大安全威胁,强化学习代理在实践中。
2020-11-21 cs.AI cs.CR cs.LG
PGN: A perturbation generation network against deep reinforcement learning
Northwestern Polytechnical University(西北工业大学)
提出PGN生成模型,通过生成对抗样本攻击深度强化学习智能体,实现定向与非定向攻击,并引入动作一致性比率衡量隐蔽性,实验证明其攻击有效、隐蔽且速度快。
2023-12-20 cs.AI cs.LG
Adversarial Inception Backdoor Attacks against Reinforcement Learning
本文提出一种新型DRL后门攻击方法,通过在严格奖励约束下操纵训练数据中的观测与动作,首次在多个环境中实现100%攻击成功率且几乎不影响任务性能。
2025-06-02 cs.CR cs.LG
PNAct: Crafting Backdoor Attacks in Safe Reinforcement Learning
Tongji University(同济大学)
本文提出Safe RL领域首个同时利用正负动作样本植入后门的攻击框架PNAct,通过理论分析设计攻击算法,实验验证了安全强化学习面临的后门攻击风险与可行性。
2025-07-01 cs.AI cs.LG
A Reinforcement Learning Approach for GNSS Spoofing Attack Detection of Autonomous Vehicles
The University of Alabama(阿拉巴马大学)
弹性和鲁棒的定位,导航和定时(PNT)系统是自动驾驶车辆(AV)导航的必要条件。全球导航卫星系统提供基于卫星的PNT服务。然而,假卫星可以调节真实的GNSS信号,并且可以向AV发送错误的位置信息。因此,GNSS必须具有对与PNT接收器相关的欺骗攻击进行实时检测和反馈校正的能力,从而如果最终用户(在这种情况下为自主车辆)陷入任何妥协,则其将帮助最终用户安全地导航。本文旨在使用低成本的车载传感器数据开发一种基于深度强化学习(RL)的逐向欺骗攻击检测。我们利用本田驾驶数据集创建攻击和非攻击数据集,开发深度RL模型,并评估基于RL的攻击检测模型的性能。我们发现,RL模型的准确率范围从99.99%到100%,召回值为100%。然而,精确度范围为93.44%至100%,f1评分范围为96.61%至100%。总的来说,分析表明,RL模型是有效的轮流欺骗攻击检测。
2021-08-19 cs.LG eess.SP
SleeperNets: Universal Backdoor Poisoning Attacks Against Reinforcement Learning Agents
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院)
本文提出通用后门投毒攻击框架SleeperNets,通过关联攻击目标与最优策略求解并利用动态奖励投毒,在多个环境中显著提升攻击成功率且不影响正常性能。
2024-10-21 cs.CR cs.LG
Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);University of California, Riverside(加利福尼亚大学河滨分校);University of Connecticut(康涅狄格大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对深度强化学习的黑盒攻击,提出轨迹级可迁移对抗攻击,在CartPole-v1上跨模型和算法设置中优于每步攻击和随机噪声。
2026-10-14 cs.AI cs.LG
Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach
University of Iowa(爱荷华大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于率失真信息论的可证明无敌的强化学习对抗攻击,通过随机扰动观测使智能体获得零或有限信息,并推导了奖励遗憾下界,验证了对多种算法的影响。
2025-10-15 cs.AI cs.LG
Adversarial Attacks to Reward Machine-based Reinforcement Learning
DIPARTIMENTO DI INGEGNERIA DELL’INFORMAZIONE(信息工程系)
本论文首次分析基于奖励机的强化学习的安全性,提出并评估一类新型对抗攻击——致盲攻击,以揭示其脆弱性并推动后续研究。
2023-11-15 cs.AI cs.CR cs.LG
Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学)
对抗攻击,例如,输入和对抗样本的对抗性扰动对包括交互式推荐系统在内的机器学习和深度学习技术提出了重大挑战。这些技术的潜在嵌入空间使得对抗攻击难以在早期阶段检测到。因果关系研究的最新进展表明,反事实也可以被认为是生成来自不同分布的对抗样本作为训练样本的方法之一。我们建议在基于强化学习的交互式推荐系统上探索对抗性示例和攻击不可知检测。我们首先通过向输入中添加扰动并干预偶然因素来制作不同类型的对抗性示例。然后,我们通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后,我们研究了对抗性示例的攻击强度和频率,并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明,大多数对抗攻击都是有效的,攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外,我们的黑盒检测器训练与一个手工方法具有泛化能力超过其他几个手工方法。
2021-12-02 cs.IR cs.LG
Defending Observation Attacks in Deep Reinforcement Learning via Detection and Denoising
Purdue University(普渡大学);Rutgers University(罗格斯大学)
众所周知,使用深度强化学习(DRL)训练的神经网络策略容易受到对抗攻击的影响。在本文中,我们认为攻击表现为外部环境管理的观测空间的扰动。这些攻击已被证明会显著降低政策绩效。我们把注意力集中在训练有素的确定性和随机神经网络政策的背景下,连续控制基准受到四个研究充分的观察空间对抗攻击。为了抵御这些攻击,我们提出了一种新的防御策略,使用检测和去噪模式。与以前在对抗场景中采样数据的对抗训练方法不同,我们的解决方案不需要在受到攻击的环境中采样数据,从而大大降低了训练过程中的风险。详细的实验结果表明,我们的技术与最先进的对抗训练方法相当。
2022-06-14 cs.LG cs.RO cs.SY
Tactics of Adversarial Attack on Deep Reinforcement Learning Agents
National Tsing Hua University(国立清华大学);NVIDIA(英伟达)
我们介绍了两种策略来攻击使用对抗性示例的深度强化学习算法训练的代理,即策略定时攻击和附魔攻击。在策略定时攻击中,对手的目标是通过只在一个事件中的一小部分时间步上攻击代理来最小化代理的奖励。将攻击活动限制在此子集有助于防止代理检测到攻击。我们提出了一种新的方法来确定何时应该制作和应用对抗性示例。在附魔攻击中,对手的目的是引诱智能体到指定的目标状态。这是通过结合生成模型和规划算法来实现的:当生成模型预测未来状态时,规划算法生成用于引诱代理的首选动作序列。然后精心制作一系列对抗性示例,以诱使代理采取首选的行动序列。我们将这两种策略应用于由最先进的深度强化学习算法(包括DQN和A3C)训练的代理。在5个雅达利游戏中,我们的策略性定时攻击减少的奖励与统一攻击一样多(即,在每一个时间步攻击)通过攻击代理的频率降低4倍来实现。我们的附魔攻击以超过70%的成功率将代理引诱到指定的目标状态。视频可在http://yenchenlin.me/adversarial_attack_RL/上获得
2019-11-13 cs.CR cs.LG stat.ML
Reward Delay Attacks on Deep Reinforcement Learning
Washington University in St. Louis(圣路易斯华盛顿大学)
大多数强化学习算法隐含地假设强同步。我们提出了针对Q学习的新型攻击,通过将奖励信号延迟有限的时间段来利用这一假设所带来的漏洞。我们考虑两种类型的攻击目标:有针对性的攻击,其目的是使目标政策被学习,和无针对性的攻击,其目的只是为了诱导一个政策,低奖励。我们通过一系列的实验来评估所提出的攻击的有效性。我们的第一个观察是,当目标只是最小化奖励时,奖励延迟攻击非常有效。事实上,我们发现,即使是天真的基线奖励延迟攻击也非常成功地最小化奖励。另一方面,有针对性的攻击更具挑战性,尽管我们证明了所提出的方法在实现攻击者的目标方面仍然非常有效。此外,我们还引入了第二个威胁模型,该模型可以捕获最小的缓解措施,以确保奖励不会乱序使用。我们发现,这种缓解仍然不足以确保延迟攻击的鲁棒性,但保持奖励的顺序。
2022-09-08 cs.AI cs.CR cs.LG
Discover the Hidden Attack Path in Multi-domain Cyberspace Based on Reinforcement Learning
Army Engineering University of PLA(中国人民解放军陆军工程大学)
在这项工作中,我们提出了一种基于学习的方法来分析网络空间的安全配置。与以前的方法不同,我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是,当我们训练了更多的代理作为攻击者,我们的方法变得更好地发现隐藏的攻击路径以前的方法,特别是在多域网络空间。为了实现这些结果,我们提出发现攻击路径作为强化学习(RL)问题和训练代理发现多域网络空间攻击路径。为了使我们的强化学习策略能够发现更多隐藏的攻击路径和更短的攻击路径,我们在强化学习中引入了一个多域动作选择模块。我们的目标是通过我们提出的方法发现更多的隐藏攻击路径和更短的攻击路径,分析网络空间安全配置的弱点。最后,设计了一个模拟网络空间的实验环境对所提出的方法进行了验证,实验结果表明,与现有的基线方法相比,该方法能够发现更多的隐藏多域攻击路径和更短的攻击路径。
2021-04-15 cs.AI cs.CR cs.LG
Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所(MPI-SWS))
我们研究了针对强化学习(RL)的黑箱奖励中毒攻击,其中对手的目的是操纵奖励来误导一系列具有未知算法的RL代理,以在对手先验未知的环境中学习邪恶的策略。也就是说,我们的攻击对对手的先验知识做了最少的假设:它对环境或学习者没有初始知识,除了它执行的动作之外,它也没有观察到学习者的内部机制。我们设计了一种新的黑盒攻击,U2,可以证明达到接近匹配的性能,以最先进的白盒攻击,证明了奖励中毒的可行性,即使在最具挑战性的黑盒设置。
2021-02-16 cs.AI cs.CR cs.LG
Reinforcement Learning-Based Black-Box Model Inversion Attacks
KAIST(韩国科学技术院)
针对现有黑盒模型反演攻击无法保证在预定查询次数内完成且性能不及白盒攻击的局限,提出一种基于强化学习的方法,将潜在空间搜索形式化为MDP问题,利用生成图像的置信度作为奖励,成功实现了最先进的攻击性能并恢复目标模型私有信息。
2023-04-10 cs.CR cs.CV cs.LG
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”,在仅限制逐点与总体扰动且不知算法的条件下,可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
A Temporal-Pattern Backdoor Attack to Deep Reinforcement Learning
Northwestern Polytechnical University(西北工业大学);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);Academy of Industrial Internet, Shaanxi Branch of China United Network Communications Group Co., Ltd.(中国联合网络通信集团有限公司陕西省分公司工业互联网研究院)
深度强化学习(Deep Reinforcement Learning,DRL)在许多实际应用中取得了显著的成就。但是,由于遮挡和噪声传感器,这些现实世界的应用通常只能提供部分观察结果来做出决策。然而,部分状态可观测性可以用来隐藏后门的恶意行为。本文研究了DRL的时序特性,提出了一种新的时间模式后门攻击,其触发器是对一系列观测值的时间约束,而不是单个观测值,攻击效果可以保持在一个可控的持续时间内,而不是瞬间。我们验证了我们提出的后门攻击在云计算的一个典型的作业调度任务。大量的实验结果表明,我们的后门可以实现出色的有效性,隐蔽性和可持续性。我们后门的平均干净数据准确率和攻击成功率分别可以达到97.8%和97.5%。
2022-05-05 cs.AI cs.LG
Challenges and Countermeasures for Adversarial Attacks on Deep Reinforcement Learning
Information Technology University (ITU)(信息技术大学);Qatar University(卡塔尔大学);Hamad bin Khalifa University (HBKU)(哈马德·本·哈利法大学);University of Technology Sydney (UTS)(悉尼科技大学);Nanyang Technological University (NTU)(南洋理工大学)
深度强化学习(DRL)凭借其快速适应周围环境的出色能力,在现实世界中拥有众多应用。尽管DRL有很大的优势,但它容易受到对抗攻击的影响,这就妨碍了它在现实生活中的关键系统和应用中的使用(例如,智能电网、交通控制和自动驾驶汽车),除非其脆弱性得到解决和缓解。因此,本文提供了一个全面的调查,讨论新出现的攻击在基于DRL的系统和潜在的对策,以抵御这些攻击。我们首先介绍了关于DRL的一些基本背景,并介绍了对机器学习技术的新兴对抗攻击。然后,我们调查更多的细节,对手可以利用攻击DRL随着国家的最先进的对策,以防止这种攻击的漏洞。最后,我们强调了开放的问题和研究挑战,开发解决方案,以应对基于DRL的智能系统的攻击。
2021-09-08 cs.AI cs.CR cs.LG
Policy Teaching via Environment Poisoning: Training-time Adversarial Attacks against Reinforcement Learning
Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了强化学习的安全威胁,其中攻击者毒化学习环境以迫使代理执行攻击者选择的目标策略。作为一个受害者,我们认为RL代理的目标是找到一个政策,最大限度地提高平均奖励在未贴现的无限地平线的问题设置。攻击者可以在训练时操纵学习环境中的奖励或过渡动态,并且有兴趣以隐身的方式这样做。我们提出了一个优化框架,找到一个\emph{optimal stealthy attack}的不同措施的攻击成本。我们提供了充分的技术条件下,攻击是可行的,并提供上/下限的攻击成本。我们在两种设置中实例化我们的攻击:(i)代理在中毒环境中进行规划的\emph{offline}设置,以及(ii)代理使用带有中毒反馈的后悔最小化框架学习策略的\emph{online}设置。我们的研究结果表明,攻击者可以很容易地在温和的条件下成功地教任何目标的政策,受害者和突出的重大安全威胁,强化学习代理在实践中。
2020-08-19 cs.AI cs.CR cs.LG
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX(技术研究 institute SystemX)
本文综述了深度强化学习中的对抗攻击与训练方法,系统分类并比较其目标与机制,以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG
A Novel Bifurcation Method for Observation Perturbation Attacks on Reinforcement Learning Agents: Load Altering Attacks on a Cyber Physical Power System
本研究针对DRL智能体易受对抗观测扰动攻击的问题,提出带分岔层的组差分对数似然损失攻击方法,在智能能源系统中验证其高影响、低扰动、高隐蔽性,同时指出部分DRL架构及鲁棒训练可提升抗攻击能力。
2024-07-06 cs.CR cs.LG
Improving Robustness of Deep Reinforcement Learning Agents: Environment Attack based on the Critic Network
IRT SystemX(IRT SystemX 研究所);ISIR(智能系统与机器人研究所);Sorbonne University(索邦大学)
为了提高深度强化学习代理的策略鲁棒性,最近的一系列工作集中在产生环境干扰上。文献中产生有意义的环境扰动的现有方法是对抗性强化学习方法。这些方法将问题设置为主角代理和对手代理之间的双人游戏,主角代理学习在环境中执行任务,对手代理学习通过修改所考虑的环境来干扰主角。主角和对手都是用深度强化学习算法训练的。或者,我们在本文中建议建立基于梯度的对抗攻击,通常用于分类任务,例如,我们应用于主角的评论家网络,以识别环境的有效干扰。而不是学习攻击者的策略,这通常表现为非常复杂和不稳定,我们利用主角的批评网络的知识,在学习过程的每一步动态地复杂化任务。我们表明,我们的方法,而更快,更轻,导致显着更好的改善政策的鲁棒性比现有的方法的文献。
2022-10-03 cs.AI cs.LG
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University(霍华德大学)
对于不同的物联网(IoT)应用,连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战,物联网系统具有许多攻击向量,安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近,研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一,强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同,强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中,我们全面调查了针对不同物联网系统的不同类型的网络攻击,然后我们提出了强化学习和基于深度强化学习的安全解决方案,以打击不同物联网系统中的不同类型的攻击。此外,我们提出了用于保护CPS系统的强化学习(即,具有反馈和控制的物联网),如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文,读者可以更深入地了解使用强化学习的物联网安全攻击和对策,以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG