Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
众所周知，深度强化学习（RL）策略容易受到对其观察结果的对抗性扰动的影响，类似于分类器的对抗性示例。然而，攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑：是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体，从而创建对抗性的自然观察？我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏，对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者，但产生了看似随机和不协调的行为。我们发现，这些政策是更成功的高维环境中，并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Robust Deep Reinforcement Learning through Adversarial Loss
UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
最近的研究表明，深度强化学习代理很容易受到代理输入的小对抗干扰，这引起了人们对在现实世界中部署此类代理的担忧。为了解决这个问题，我们提出了RADIAL-RL，一个原则性的框架，训练强化学习代理，提高了对$l_p$ -范数有界对抗攻击的鲁棒性。我们的框架与流行的深度强化学习算法兼容，我们用深度Q学习，A3 C和PPO展示了它的性能。我们在三个深度RL基准测试（Atari，MuJoCo和ProcGen）上进行了实验，以显示我们的鲁棒训练算法的有效性。在针对不同强度的攻击进行测试时，我们的RADIAL-RL代理始终优于先前的方法，并且在训练时计算效率更高。此外，我们提出了一种新的评估方法，称为贪婪最坏情况奖励（GWC）来衡量深度RL代理的攻击不可知鲁棒性。我们表明，GWC可以有效地进行评估，是一个很好的估计下的最坏的可能序列的对抗攻击的奖励。用于我们实验的所有代码都可以在https://github.com/tuomaso/radial_rl_v2上获得。
2021-11-10 cs.AI cs.CR cs.LG
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Domain Adversarial Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；VU Amsterdam（阿姆斯特丹自由大学）
我们考虑强化学习中的泛化问题，其中观察的视觉方面可能不同，例如，当有不同的背景或对比度，亮度等变化时，我们假设我们的代理在训练期间只能访问MDP分布中的少数MDP。然后，在从分布中提取的新的未知测试域（例如，看不见的背景）上报告代理的性能。对于这个“zero-shot RL”任务，我们通过域对抗优化过程将学习到的表示强制执行到视觉域的不变性。我们的经验表明，这种方法可以实现一个显着的泛化改善新的看不见的领域。
2021-02-14 cs.AI cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
考虑从示例专家行为中学习策略，而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数，然后用强化学习从该成本函数中提取策略。这种方法是间接的，可能会很慢。我们提出了一个新的一般框架，直接从数据中提取的政策，就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比，从中我们得到了一个无模型的模仿学习算法，该算法在模仿大型高维环境中的复杂行为时，比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks
Washington University in Saint Louis（圣路易斯华盛顿大学）
函数逼近使得强化学习（RL）技术在具有高维输入（如图像）的环境中以端到端的方式应用取得了显着进展，将这些输入直接映射到低级控制。尽管如此，这些已经被证明容易受到小的对抗性输入扰动的影响。因此，出现了许多用于提高或证明端到端RL对对抗性扰动的鲁棒性的方法，重点是累积奖励。然而，在对抗性场景中，最关键的往往是违反基本属性，如安全性，而不是将安全性与效率相结合的整体回报。此外，诸如安全性之类的属性只能相对于真实状态来定义，而不是端到端策略的高维原始输入。为了解开名义效率和对抗安全性，我们在确定性部分可观察马尔可夫决策过程（POMDPs）中使用RL，目标是在安全约束下最大化累积奖励。然后，我们提出了一个部分监督的强化学习（PSRL）框架，该框架利用了一个额外的假设，即POMDP的真实状态在训练时已知。我们提出了在对抗性输入扰动下验证PSRL策略安全性的第一种方法，以及直接使用PSRL的两种对抗性训练方法。我们的实验证明了所提出的方法在对抗环境中认证安全性的有效性，以及PSRL框架与对抗训练相结合在提高认证安全性同时保持高名义奖励和高质量真实状态预测方面的价值。
2022-12-28 cs.AI cs.LG
RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning
Hightech-Agenda Bayern（巴伐利亚高科技议程）
提出RoAd-RL开源基准框架，统一策略、攻击、防御和鲁棒性指标，评估192种配置下DQN/PPO/SAC的鲁棒性，发现常用防御可能比攻击更有害。
2026-06-29 cs.AI cs.LG
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究，一方面有利于指导机器学习模型的开发，另一方面也有利于寻找有针对性的防御。然而，当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域：基于决策的攻击，仅基于观察目标模型的输出标签来生成对抗性扰动，仍然相对罕见，并且大多使用梯度估计策略。在这项工作中，我们提出了一个像素明智的决策为基础的攻击算法，发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习（DBAR）。实验结果表明，该方法具有更高的攻击成功率和更大的可移植性，优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning
School of Mathematical and Statistical Sciences（数学与统计学院）；Indian Institue of Technology Mandi（印度曼迪理工学院）
本研究提出基于重心的对抗逆强化学习框架BRaG，聚合多异构专家策略学习股票交易策略，在四大全球股市上表现优于经典交易规则及深度强化学习方法，风险特征更稳定。
2026-08-18 cs.LG stat.ML
Robust Reinforcement Learning on State Observations with Learned Optimal Adversary
UCLA（加州大学洛杉矶分校）；MIT（麻省理工学院）
我们研究了具有对抗扰动状态观测的强化学习（RL）的鲁棒性，这与许多对抗攻击对深度强化学习（DRL）的设置一致，并且对于在不可预测的感知噪声下推出真实世界的RL代理也很重要。在一个固定的代理策略下，我们证明了可以找到一个最佳的对手来扰动状态观测，这是保证获得最坏情况下的代理奖励。对于DRL设置，这导致了一种新的经验对抗攻击RL代理通过一个学习的对手，比以前的强得多。为了提高代理的鲁棒性，我们提出了一个框架的交替训练与学习对手（ATLA），使用策略梯度的最佳对抗攻击框架，在线训练对手与代理一起。此外，受状态对抗马尔可夫决策过程（SA-MDP）分析的启发，我们表明过去的状态和动作（历史）可以用于学习鲁棒代理，并且我们根据经验发现基于LSTM的策略在对抗下可以更加鲁棒。对一些连续控制环境的实证评估表明，ATLA在强大对手的情况下实现了最先进的性能。我们的代码可在https://github.com/huanzhang12/ATLA_robust_RL上获得。
2021-01-21 cs.AI cs.LG stat.ML
Continual Adversarial Reinforcement Learning (CARL) of False Data Injection detection: forgetting and explainability
National Renewable Energy Laboratory (NREL)（国家可再生能源实验室）；South Dakota State University（南达科他州立大学）
针对智能逆变器虚假数据注入攻击 (FDIA) 检测易受对抗样本攻击的问题，提出持续对抗强化学习 (CARL) 方法，将对抗样本纳入训练以提升检测可解释性，并采用联合训练策略解决灾难性遗忘问题。
2024-11-15 cs.AI cs.LG
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University（台湾大学）
在过去的几年里，深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括，并利用先前的经验更快地学习新技能。然而，目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识，并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法，这是一种流行的强化学习基准，并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Robust Deep Reinforcement Learning with Adversarial Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了针对强化学习（RL）的对抗攻击，并在这些攻击的帮助下提高了深度强化学习算法（DRL）对参数不确定性的鲁棒性。我们发现，即使是一个天真的设计攻击成功地降低DRL算法的性能。我们进一步改进的攻击使用梯度信息的工程损失函数，导致性能进一步下降。然后在训练期间利用这些攻击来提高RL在鲁棒控制框架内的鲁棒性。我们表明，DRL算法（如深度双Q学习和深度确定性策略梯度）的这种对抗性训练导致RL基准测试（如Cart-pole，Mountain Car，Hopper和Half Cheetah环境）对参数变化的鲁棒性显着增加。
2017-12-11 cs.AI cs.LG cs.RO
Provably Efficient Reinforcement Learning for Adversarial Restless Multi-Armed Bandits with Unknown Transitions and Bandit Feedback
Stony Brook University（石溪大学）
本文针对未知转移和老虎机反馈下的对抗性不安多臂老虎机问题，提出一种结合有偏对抗奖励估计器和低复杂度索引策略的强化学习算法，首次实现 $\tilde{\mathcal{O}}(H\sqrt{T})$ 遗憾界。
2024-05-02 cs.AI cs.LG stat.ML
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX（技术研究 institute SystemX）
本文综述了深度强化学习中的对抗攻击与训练方法，系统分类并比较其目标与机制，以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG
Adversarial Online Multi-Task Reinforcement Learning
University of Victoria（维多利亚大学）
我们考虑对抗性在线多任务强化学习设置，其中在每个$K$情节中，学习者被给予从$M$未知有限时域MDP模型的有限集合中获取的未知任务。学习者的目标是最大限度地减少其后悔相对于每个任务的最优策略。我们假设$\mathcal{M}$中的MDPs在$λ$ -可分性的概念下是很好分离的，并表明这个概念概括了许多以前工作中的任务可分性概念。我们证明了$Ω(K\sqrt{DSAH})$关于任何学习算法的遗憾的极小极大下界和$Ω(\frac{K}{λ^2})$关于样本复杂度的实例特定下界。我们使用一种新的构造称为2-JAO MDP证明的实例特定的下界。的下限补充多项式时间算法，获得$\tilde{O}(\frac{K}{λ^2})$样本的复杂性保证的聚类阶段和$\tilde{O}(\sqrt{MK})$遗憾保证的学习阶段，表明$K$和$\frac{1}{λ^2}$的依赖性是紧密的。
2023-01-11 cs.AI cs.LG stat.ML
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Robust Reinforcement Learning via Adversarial training with Langevin Dynamics
The Alan Turing Institute（艾伦·图灵研究所）；EPFL（洛桑联邦理工学院）；University of Basel（巴塞尔大学）
我们引入了一个采样的角度来解决具有挑战性的任务，训练强大的强化学习（RL）代理。利用强大的随机梯度Langevin动力学，我们提出了一种新的，可扩展的两人RL算法，这是一个抽样变量的两人策略梯度方法。我们的算法在几个MuJoCo环境中，在不同训练和测试条件下的泛化方面始终优于现有的基线。我们的实验还表明，即使对于完全忽略潜在环境变化的目标函数，与标准RL算法相比，我们的采样方法仍然具有很强的鲁棒性。
2020-11-05 cs.LG stat.ML
RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states
Tongji University（同济大学）
本文提出鲁棒平均场演员-评论家强化学习RoMFAC，通过结合策略梯度与动作损失函数并引入重复正则化，同时构建状态对抗随机博弈模型，有效抵御状态对抗扰动并保持无扰动环境下的竞争性能。
2023-05-31 cs.AI cs.LG
Continual Reinforcement Learning with Diversity Exploration and Adversarial Self-Correction
Monash University（莫纳什大学）；South China University of Technology（华南理工大学）
深度强化学习在物理控制、自动驾驶等连续控制领域取得了重大进展。然而，由于灾难性遗忘，对于强化模型来说，顺序地为每个任务学习策略是具有挑战性的。具体来说，模型在接受新任务训练时会忘记过去学到的知识。我们从两个角度考虑这一挑战：i）由于任务信息和奖励不高度相关，因此获取特定任务的技能是困难的; ii）在连续控制域中，从以前的经验中学习知识是困难的。在本文中，我们介绍了一个端到端的框架，即连续多样性对抗网络（CDAN）。我们首先开发了一种无监督的多样性探索方法，使用无监督的目标来学习特定于任务的技能。然后，我们提出了一种对抗性的自我纠正机制，通过利用过去的经验来学习知识。这两个学习过程大概是相互的。为了评估所提出的方法，我们提出了一个新的连续强化学习环境命名为连续蚂蚁迷宫（CAM）和一个新的度量标准，称为归一化最短距离（NSD）。实验结果证实了多样性探索和自校正的有效性。值得注意的是，我们的最终结果在NSD方面比基线高出18.35%，在平均奖励方面高出0.61。
2019-06-21 cs.AI cs.LG cs.RO
Robust Market Making via Adversarial Reinforcement Learning
University of Liverpool（利物浦大学）
我们证明了对抗强化学习（ARL）可以用来产生对对抗和自适应选择的市场条件具有鲁棒性的市场标记代理。为了应用ARL，我们将Avellaneda和Stoikov [2008]的单代理模型转化为做市商和对手之间的离散时间零和博弈。对手充当了其他市场参与者的代理人，这些参与者希望以做市商为代价获利。我们实证比较了两个传统的单代理RL代理与ARL，并表明我们的ARL方法导致：1）出现风险规避行为，没有约束或特定领域的惩罚; 2）在一组标准指标的性能显着改善，在测试环境中评估有或没有对手，以及; 3）提高鲁棒性模型的不确定性。我们的经验表明，我们的ARL方法一致收敛，我们证明了几种特殊情况下，我们收敛到一个简化的单阶段游戏中的纳什均衡的配置文件。
2020-07-08 cs.AI cs.LG q-fin.TR
Adversarial Attacks on Reinforcement Learning based Energy Management Systems of Extended Range Electric Delivery Vehicles
对抗样本首先在计算机视觉领域进行了研究：通过在原始输入图像中加入一些精心设计的“噪声"，使人类无法区分的扰动图像可以很容易地欺骗训练有素的分类器。近年来，研究人员还证明，对抗性示例可以误导深度强化学习（DRL）代理使用类似方法的图像输入来玩视频游戏。然而，尽管DRL在智能交通系统领域越来越受欢迎，但很少有研究调查对抗攻击对它们的影响，特别是对于不以图像作为输入的算法。在这项工作中，我们研究了几种快速生成对抗性示例的方法，以显着降低扩展范围电动运输车辆的训练有素的基于DRL的能量管理系统的性能。扰动输入是低维的状态表示，接近于由不同类型的范数量化的原始输入。我们的工作表明，要将DRL代理应用于现实世界的交通系统，应仔细考虑网络攻击形式的对抗性示例，特别是对于可能导致严重安全问题的应用程序。
2020-06-01 cs.LG stat.ML
Admissable: Training Reinforcement Learning Agents against Adversarial Missingness
Bielefeld University（比勒费尔德大学）
针对强化学习中的对抗性特征缺失问题，提出对抗训练算法，在MuJoCo三个基准环境上相比随机缺失基线显著提升鲁棒性。
2026-09-15 cs.LG
Detecting Adversarial Directions in Deep Reinforcement Learning to Make Robust Decisions
针对深度强化学习中观测维度增加导致的策略易受对抗攻击问题，提出基于策略损失局部二次逼近的对抗方向检测方法，具备理论依据与计算效率，在多种攻击场景下验证了有效性。
2023-06-09 cs.AI cs.CR cs.LG
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
本文提出区分DRL智能体漏洞来源的方法，并开发两种基于RL的定量基准测试技术，以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性，并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
Mitigating Adversarial Perturbations for Deep Reinforcement Learning via Vector Quantization
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）；Department of Artificial Intelligence, Korea University（高丽大学人工智能系）
针对强化学习智能体易受对抗扰动影响的问题，提出基于向量量化变体的输入变换防御方法，可缩减攻击空间、提升鲁棒性，且能与对抗训练结合，经多环境实验验证防御效果显著。
2024-10-04 cs.AI cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno（内华达大学里诺分校）
众所周知，深度学习分类器天生容易受到有意扰动输入的操纵，称为对抗性示例。在这项工作中，我们建立了基于深度Q网络（DQN）的强化学习技术也容易受到对抗性输入扰动的影响，并验证了对抗性示例在不同DQN模型之间的可移植性。此外，我们提出了一种新的攻击类的基础上，这个漏洞，使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制，利用对抗性示例的可转移性来实现对DQN的策略诱导攻击，并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
FRAUD-RLA: A new reinforcement learning adversarial attack against credit card fraud detection
本文提出FRAUD-RLA攻击模型，通过强化学习绕过分类器，优化探索与利用平衡，以更少的知识实现有效欺诈检测攻击。
2025-02-04 cs.AI cs.LG
Scale-free Adversarial Reinforcement Learning
Boston University（波士顿大学）
针对奖励/损失尺度未知的对抗 MDP，论文提出 SCB 通用框架，在对抗 MAB 中取得首个 minimax 最优期望遗憾与高概率遗憾界，并给出首个 $\tilde{\mathcal{O}}(\sqrt{T})$ 高概率遗憾保证的无尺度 RL 算法。
2024-03-01 cs.AI cs.LG
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
离线强化学习（RL）的目标是在没有进一步环境交互的情况下从记录的数据中找到性能策略。基于模型的算法，从数据集学习环境模型，并在该模型内执行保守的策略优化，已经成为解决这个问题的一种有前途的方法。在这项工作中，我们提出了鲁棒的基于模型的离线RL（RAMBO），这是一种基于模型的离线RL的新方法。我们制定的问题作为一个两个球员零和游戏对抗的环境模型。该模型经过训练，以最小化价值函数，同时仍然准确地预测数据集中的转换，迫使策略在数据集未覆盖的区域保守地采取行动。为了近似地解决两个玩家的游戏，我们在优化策略和对抗性地优化模型之间交替。我们解决的问题配方是理论上的基础，导致在一个可能近似正确（PAC）的性能保证和悲观的价值函数的下限在真实的环境中的价值函数。我们在广泛研究的离线RL基准测试中评估了我们的方法，并证明它优于现有的最先进的基线。
2022-10-11 cs.AI cs.LG
Adversarial Attacks to Reward Machine-based Reinforcement Learning
DIPARTIMENTO DI INGEGNERIA DELL’INFORMAZIONE（信息工程系）
本论文首次分析基于奖励机的强化学习的安全性，提出并评估一类新型对抗攻击——致盲攻击，以揭示其脆弱性并推动后续研究。
2023-11-15 cs.AI cs.CR cs.LG
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）
深度强化学习（RL）代理在其观察中容易受到对抗性噪声的影响，这可能会误导其策略并降低其性能。然而，对手可能不仅对减少奖励感兴趣，而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准，衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外，我们引入了一个模型检验方法，使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了（1）我们针对时态逻辑属性进行对抗攻击的指标的质量，以及（2）我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
Robust Deep Reinforcement Learning against Adversarial Behavior Manipulation
Institute of Science Tokyo（东京科学研究所）；University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所AIP）
本文提出了一种基于模仿学习的对抗性攻击方法，并通过时间折扣正则化提升强化学习对行为定向攻击的鲁棒性。
2026-02-17 cs.AI cs.LG
Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning
针对深度强化学习样本效率低、稀疏/延迟奖励场景下学习困难的问题，提出基于少量人类轨迹潜在相似性搜索的对抗估计方法，仅需5分钟人类经验即可加速基于反馈的DRL算法收敛，并有望支持极稀疏奖励场景下的学习。
2025-06-13 cs.AI cs.LG
SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent Reinforcement Learning
Defence Science and Technology Group（国防科学技术集团）；The University of Adelaide（阿德莱德大学）
多智能体强化学习（MARL）容易受到对抗性机器学习（AML）攻击，并且在可以用于现实世界的应用之前需要足够的防御。我们对针对MARL的执行时AML攻击的使用以及针对这些攻击的防御进行了调查。我们调查了AML在深度强化学习（DRL）和多智能体学习（MAL）中应用的相关工作，以告知我们对MARL的AML分析。我们提出了一个新的角度来理解实施AML攻击的方式，通过定义攻击向量。我们开发了两个新的框架，以解决当前建模框架中的差距，重点是针对MARL的AML攻击的手段和速度，并确定知识差距和未来的研究途径。
2023-01-11 cs.AI cs.CR cs.LG
Adversarial Reinforcement Learning for Observer Design in Autonomous Systems under Cyber Attacks
The Ohio State University（俄亥俄州立大学）
复杂的自主控制系统会受到传感器故障、网络攻击、传感器噪声、通信信道故障等的影响，这些都会在测量中引入误差。损坏的信息，如果用于决策，可能会导致性能下降。我们开发了一个框架，用于使用对抗性深度强化学习来设计对信息通道中的对抗性错误具有鲁棒性的观察者策略。我们进一步通过仿真研究表明，学习的观察策略表现得非常好，当对手的注入错误在某种意义上是有界的。我们在我们的研究中使用神经网络作为函数逼近器，并理解任何其他合适的函数逼近类都可以在我们的框架内使用。
2018-09-15 cs.CR cs.LG math.OC
Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对鲁棒对抗强化学习中的优化不稳定和价值估计退化问题，提出RACER框架，通过状态相关对抗目标和评论家一致性正则化，提升性能、鲁棒性与训练稳定性。
2026-09-24 cs.LG
Model-Based Reinforcement Learning with Adversarial Training for Online Recommendation
Tsinghua University（清华大学）；University of Virginia（弗吉尼亚大学）；Stony Brook University（石溪大学）
强化学习非常适合于推荐系统的策略优化。目前的解决方案主要集中在无模型方法，这需要与真实环境进行频繁的交互，因此在模型学习中是昂贵的。离线评估方法，例如重要性采样，可以缓解这种限制，但是通常需要大量的日志数据，并且在动作空间很大时不能很好地工作。在这项工作中，我们提出了一个基于模型的强化学习解决方案，该解决方案通过生成对抗网络为离线策略学习建模用户代理交互。为了减少学习模型和策略中的偏差，我们使用了一个评估器来评估生成数据的质量，并调整生成的奖励。我们的理论分析和实证评估表明，我们的解决方案的有效性，从离线和生成的数据学习政策。
2020-01-17 cs.IR cs.LG stat.ML
Adversarial Diffusion for Robust Reinforcement Learning
Division of Decision and Control Systems KTH, Royal Institute of Technology（决策与控制系统系 瑞典皇家理工学院）；Faculty of Computing and Data Sciences（计算与数据科学学院）
本文提出AD-RRL，通过对抗扩散方法提升强化学习在环境动态不确定性下的鲁棒性和性能。
2025-12-02 cs.AI cs.LG
Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations
UCLA（加州大学洛杉矶分校）；MIT（麻省理工学院）；NVIDIA（英伟达）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
深度强化学习（DRL）智能体通过观察来观察其状态，这些观察可能包含自然测量误差或对抗性噪声。由于观察结果偏离了真实状态，它们可能会误导智能体采取次优行动。一些工作已经通过对抗攻击显示了这种脆弱性，但是现有的在这种设置下提高DRL鲁棒性的方法成功有限并且缺乏理论原则。我们表明，天真地应用现有技术来提高分类任务的鲁棒性，如对抗训练，对许多RL任务是无效的。我们提出了状态对抗马尔可夫决策过程（SA-MDP）研究这个问题的基本性质，并开发了一个理论原则的政策正则化，可应用于一个大家庭的DRL算法，包括近端策略优化（PPO），深度确定性策略梯度（DDPG）和深度Q网络（DQN），离散和连续的动作控制问题。我们显着提高PPO，DDPG和DQN代理的鲁棒性下的一套强大的白盒对抗攻击，包括我们自己的新的攻击。此外，我们发现，一个强大的政策显着提高DRL的性能，即使在一些环境中没有对手。我们的代码可在https://github.com/chenhongge/StateAdvDRL上获得。
2021-07-14 cs.LG stat.ML
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要，因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性，并评估了潜在的防御。我们观察到，CNN架构中包含的瓶颈注意力模块（BAM）可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中，BAM增强的架构在推理过程中表现出更强的鲁棒性。最后，我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
UACER: An Uncertainty-Adaptive Critic Ensemble Framework for Robust Adversarial Reinforcement Learning
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
UACER通过多样化批评者集合和时间变化衰减不确定性机制，提升鲁棒对抗强化学习的稳定性与性能。
2026-01-23 cs.AI cs.LG
Generative Adversarial User Model for Reinforcement Learning Based Recommendation System
Ant Financial（蚂蚁集团）
将强化学习（RL）应用于推荐系统，既有很大的研究兴趣，也面临着许多挑战。在这种情况下，在线用户是环境;奖励函数和环境动态都没有明确定义，这使得RL的应用具有挑战性。在本文中，我们提出了一种新的基于基于模型的强化学习框架的推荐系统，我们开发了一个生成对抗网络，模仿用户的行为动力学和学习她的奖励函数。使用此用户模型作为模拟环境，我们开发了一种新的级联DQN算法，以获得一个组合的推荐策略，可以有效地处理大量的候选项目。在我们对真实数据的实验中，我们表明这种生成式对抗用户模型可以更好地解释用户行为，并且基于该模型的RL策略可以为用户带来更好的长期回报和更高的系统点击率。
2020-01-01 cs.IR cs.LG stat.ML
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach
University of Iowa（爱荷华大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种基于率失真信息论的可证明无敌的强化学习对抗攻击，通过随机扰动观测使智能体获得零或有限信息，并推导了奖励遗憾下界，验证了对多种算法的影响。
2025-10-15 cs.AI cs.LG
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation（微软公司）
针对预训练Transformer模型文本分类需大量标注数据的问题，提出READ方法，融合强化学习文本生成与半监督对抗学习，利用无标注数据生成多样合成文本提升泛化性，在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
探索是训练最优强化学习（RL）策略的关键，其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖，而不考虑可以学习的这种鉴别过程。在本文中，我们提出了一种称为生成对抗探索（GAEX）的新方法，通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索，其中生成器提供了状态的假样本，帮助机器人识别那些不太频繁访问的状态。因此，鼓励代理人访问那些州，而代理人不太有信心判断为访问过。GAEX易于实现，训练效率高。在我们的实验中，我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题，包括游戏冒险，蒙特祖玛的复仇和超级马里奥兄弟，没有进一步微调复杂的学习算法。据我们所知，这是第一个工作，采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
