Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而，一个已知的问题是，政策过度适应培训环境，可能无法避免罕见的灾难性事件，如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练，但这种方法只能防止常见情况。最近，鲁棒对抗强化学习（RARL）被开发出来，它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是，只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此，代理不考虑灾难性事件的概率（即，那些诱导异常大的负奖励），除非通过它们对预期目标的影响。在本文中，我们介绍了风险规避鲁棒对抗强化学习（RARARL），使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明，一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手，和经验大大减少崩溃相比，没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Using Collision Momentum in Deep Reinforcement Learning Based Adversarial Pedestrian Modeling
The Ohio State University（俄亥俄州立大学）
针对现有行人仿真算法难在极端场景挖掘自动驾驶短板的问题，提出一种专门针对碰撞的强化学习算法，可高效生成更严重碰撞，助力识别修正自动驾驶算法缺陷。
2023-06-13 cs.AI cs.LG cs.RO
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要，因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性，并评估了潜在的防御。我们观察到，CNN架构中包含的瓶颈注意力模块（BAM）可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中，BAM增强的架构在推理过程中表现出更强的鲁棒性。最后，我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
Wolfpack Adversarial Attack for Robust Multi-Agent Reinforcement Learning
Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea（人工智能研究生院，UNIST，韩国乌山）
本文提出狼群对抗攻击框架，用于对抗多智能体强化学习中的协同对抗攻击，并引入狼群-对抗学习框架来训练鲁棒的MARL策略以防御该攻击。
2025-06-18 cs.AI cs.CR cs.LG
Hierarchical Adversarially-Resilient Multi-Agent Reinforcement Learning for Cyber-Physical Systems Security
本文提出HAMARL框架，通过分层多智能体协调与对抗训练循环，有效应对信息物理系统中的自适应和零日攻击，显著提升攻击检测准确率与防御弹性。
2025-06-12 cs.AI cs.CR cs.LG
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
GraspARL: Dynamic Grasping via Adversarial Reinforcement Learning
Peking University（北京大学）
抓取移动物体，如皮带上的货物或活动物，是机器人技术中一项重要但具有挑战性的任务。传统的方法依赖于一组手动定义的对象运动模式进行训练，导致对看不见的对象轨迹的泛化能力差。在这项工作中，我们介绍了一个对抗性的强化学习框架的动态抓取，即GraspARL。具体来说。我们将动态抓取问题描述为一个“移动-抓取”博弈，机器人在移动者上拾取物体，而对手移动者则寻找一条路径逃离物体。因此，两个智能体进行最小-最大博弈，并通过强化学习进行训练。通过这种方式，移动器可以在训练时自动生成各种移动轨迹。用对抗性轨迹训练的机器人可以推广到各种运动模式。模拟器和现实世界的情况下的实证结果表明，我们的方法的有效性和良好的推广。
2022-03-14 cs.AI cs.RO
Robust Reinforcement Learning through Efficient Adversarial Herding
Duke University（杜克大学）
针对强化学习在环境扰动下性能下降的问题，提出基于对抗群的拓展双人博弈方法，高效近似内部优化并缓解过度悲观，在多个MuJoCo环境上验证其能生成更鲁棒的策略。
2023-06-12 cs.AI cs.LG cs.RO
Certified Adversarial Robustness for Deep Reinforcement Learning
Department of Aeronautics and Astronautics（航空航天系）；Massachusetts Institute of Technology（麻省理工学院）
基于深度神经网络的系统现在是许多机器人任务中最先进的技术，但如果没有对网络鲁棒性的正式保证，它们在安全关键领域的应用仍然是危险的。对传感器输入的小扰动（来自噪声或对抗性示例）通常足以改变基于网络的决策，这已经被证明会导致自动驾驶汽车转向迎面而来的交通。鉴于这些危险，已经开发了许多算法作为这些对抗性输入的防御机制，其中一些提供了正式的鲁棒性保证或证书。这项工作利用对认证对抗鲁棒性的研究，为深度强化学习算法开发在线认证防御。所提出的防御计算在执行过程中的状态动作值的保证下限，以确定和选择最佳的动作下，由于可能的对手或噪声在输入空间中的最坏情况下的偏差。该方法在深度Q网络策略上进行了演示，并在行人碰撞避免场景和经典控制任务中提高了对噪声和对手的鲁棒性。
2020-03-06 cs.AI cs.LG cs.RO
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究，一方面有利于指导机器学习模型的开发，另一方面也有利于寻找有针对性的防御。然而，当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域：基于决策的攻击，仅基于观察目标模型的输出标签来生成对抗性扰动，仍然相对罕见，并且大多使用梯度估计策略。在这项工作中，我们提出了一个像素明智的决策为基础的攻击算法，发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习（DBAR）。实验结果表明，该方法具有更高的攻击成功率和更大的可移植性，优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Domain Adversarial Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；VU Amsterdam（阿姆斯特丹自由大学）
我们考虑强化学习中的泛化问题，其中观察的视觉方面可能不同，例如，当有不同的背景或对比度，亮度等变化时，我们假设我们的代理在训练期间只能访问MDP分布中的少数MDP。然后，在从分布中提取的新的未知测试域（例如，看不见的背景）上报告代理的性能。对于这个“zero-shot RL”任务，我们通过域对抗优化过程将学习到的表示强制执行到视觉域的不变性。我们的经验表明，这种方法可以实现一个显着的泛化改善新的看不见的领域。
2021-02-14 cs.AI cs.LG
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks
The University of Hong Kong（香港大学）；Fudan University（复旦大学）；Xihua University（西华大学）；Southwest Jiaotong University（西南交通大学）；Tsinghua University（清华大学）
提出自适应梯度掩码强化（AGMR）攻击，通过动态识别关键状态维度并优化对抗策略，有效降低DRL智能体性能并增强其鲁棒性。
2025-03-26 cs.AI cs.LG cs.NI
Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
考虑从示例专家行为中学习策略，而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数，然后用强化学习从该成本函数中提取策略。这种方法是间接的，可能会很慢。我们提出了一个新的一般框架，直接从数据中提取的政策，就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比，从中我们得到了一个无模型的模仿学习算法，该算法在模仿大型高维环境中的复杂行为时，比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Interaction-Breaking Adversarial Learning Framework for Robust Multi-Agent Reinforcement Learning
Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea（人工智能研究生院，UNIST，乌山，韩国）
提出交互破坏对抗学习框架，从信息论角度构建攻击破坏智能体间交互，并训练智能体在干扰下可靠执行，提升鲁棒性。
2026-05-29 cs.AI cs.LG cs.MA
Admissable: Training Reinforcement Learning Agents against Adversarial Missingness
Bielefeld University（比勒费尔德大学）
针对强化学习中的对抗性特征缺失问题，提出对抗训练算法，在MuJoCo三个基准环境上相比随机缺失基线显著提升鲁棒性。
2026-09-15 cs.LG
Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
近年来，强化学习（RL）在高关节机器人系统的运动控制中表现出了优异的性能。这样的方法通常涉及繁琐的奖励函数调谐以实现期望的运动风格。诸如对抗运动先验的模仿学习方法旨在通过鼓励预定义的运动风格来减少这个问题。在这项工作中，我们提出了一种方法来增强基于对抗运动先验的RL的概念，以允许多种离散可切换的风格。我们表明，多种风格和技能可以同时学习，没有显着的性能差异，即使在结合运动数据的技能。我们的方法在几个真实世界的实验中验证了轮腿四足机器人显示技能从现有的RL控制器和轨迹优化，如躲避和行走，和新的技能，如四足和人形配置之间的切换。对于后一项技能，机器人需要站起来，在两个轮子上导航，然后坐下。而不是调整坐下来的运动，我们验证了站起来的运动的反向播放，帮助机器人发现可行的坐下的行为，并避免繁琐的奖励功能调整。
2022-03-23 cs.AI cs.LG cs.RO
Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks
Washington University in Saint Louis（圣路易斯华盛顿大学）
函数逼近使得强化学习（RL）技术在具有高维输入（如图像）的环境中以端到端的方式应用取得了显着进展，将这些输入直接映射到低级控制。尽管如此，这些已经被证明容易受到小的对抗性输入扰动的影响。因此，出现了许多用于提高或证明端到端RL对对抗性扰动的鲁棒性的方法，重点是累积奖励。然而，在对抗性场景中，最关键的往往是违反基本属性，如安全性，而不是将安全性与效率相结合的整体回报。此外，诸如安全性之类的属性只能相对于真实状态来定义，而不是端到端策略的高维原始输入。为了解开名义效率和对抗安全性，我们在确定性部分可观察马尔可夫决策过程（POMDPs）中使用RL，目标是在安全约束下最大化累积奖励。然后，我们提出了一个部分监督的强化学习（PSRL）框架，该框架利用了一个额外的假设，即POMDP的真实状态在训练时已知。我们提出了在对抗性输入扰动下验证PSRL策略安全性的第一种方法，以及直接使用PSRL的两种对抗性训练方法。我们的实验证明了所提出的方法在对抗环境中认证安全性的有效性，以及PSRL框架与对抗训练相结合在提高认证安全性同时保持高名义奖励和高质量真实状态预测方面的价值。
2022-12-28 cs.AI cs.LG
RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning
Hightech-Agenda Bayern（巴伐利亚高科技议程）
提出RoAd-RL开源基准框架，统一策略、攻击、防御和鲁棒性指标，评估192种配置下DQN/PPO/SAC的鲁棒性，发现常用防御可能比攻击更有害。
2026-06-29 cs.AI cs.LG
Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
众所周知，深度强化学习（RL）策略容易受到对其观察结果的对抗性扰动的影响，类似于分类器的对抗性示例。然而，攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑：是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体，从而创建对抗性的自然观察？我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏，对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者，但产生了看似随机和不协调的行为。我们发现，这些政策是更成功的高维环境中，并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
Continual Adversarial Reinforcement Learning (CARL) of False Data Injection detection: forgetting and explainability
National Renewable Energy Laboratory (NREL)（国家可再生能源实验室）；South Dakota State University（南达科他州立大学）
针对智能逆变器虚假数据注入攻击 (FDIA) 检测易受对抗样本攻击的问题，提出持续对抗强化学习 (CARL) 方法，将对抗样本纳入训练以提升检测可解释性，并采用联合训练策略解决灾难性遗忘问题。
2024-11-15 cs.AI cs.LG
Towards Robust Policy: Enhancing Offline Reinforcement Learning with Adversarial Attacks and Defenses
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对离线强化学习策略鲁棒性不足、易受观测扰动和攻击影响的问题，提出一种结合对抗攻击与防御的框架，通过训练时扰动观测并以防御为正则项增强策略，在D4RL基准上验证了防御的有效性。
2024-05-18 cs.AI cs.LG cs.RO
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
Robust Deep Reinforcement Learning Through Adversarial Attacks and Training : A Survey
Institut de Recherche Technologique SystemX（技术研究 institute SystemX）
本文综述了深度强化学习中的对抗攻击与训练方法，系统分类并比较其目标与机制，以提升模型对环境变化和扰动的鲁棒性。
2026-06-09 cs.AI cs.LG
Fault-Aware Robust Control via Adversarial Reinforcement Learning
Tsinghua University（清华大学）
与人类和动物相比，机器人在受损情况下的适应能力有限。然而，机器人损坏在现实世界的应用中普遍存在，特别是对于部署在极端环境中的机器人。机器人的脆弱性极大地限制了它们的广泛应用。我们提出了一个对抗性的强化学习框架，它显着提高了机器人的鲁棒性关节损伤的情况下，在操作任务和运动任务。在性能较差的关节损伤情况下，对智能体进行迭代训练。我们验证我们的算法上的三指机器人手和四足机器人。我们的算法只能在模拟中训练，并直接部署在真实机器人上，无需任何微调。它还证明了超过任意关节损伤案件的成功率。
2020-11-30 cs.LG cs.RO
Adversarial Reinforcement Learning Framework for Benchmarking Collision Avoidance Mechanisms in Autonomous Vehicles
随着人们对自主导航的兴趣的迅速增长，关于运动规划和避碰技术的研究机构已经享受到了新的建议和发展的加速速度。然而，新技术的复杂性及其安全要求使得目前的大部分基准框架不足，从而使有效的比较技术的需要没有得到解决。这项工作提出了一种基于深度强化学习的新框架，用于在处理最佳对抗代理的最坏情况下对碰撞避免机制的行为进行基准测试，该代理经过训练以将系统驱动到不安全状态。我们描述了这个框架的架构和流程作为一个基准的解决方案，并通过一个实际的案例研究，比较两个避碰机制的可靠性，在故意碰撞尝试证明其有效性。
2018-06-04 cs.AI cs.RO
Adversarial Search and Tracking with Multiagent Reinforcement Learning in Sparsely Observable Environment
Institute of Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所（IRIM））
针对稀疏可观测环境中对抗性逃避智能体的搜索与跟踪难题，提出结合可学习过滤模型估计对手位置的多智能体强化学习（MARL）框架，使探测率提升46%并超越所有基线方法。
2023-10-21 cs.AI cs.LG cs.RO
Continual Reinforcement Learning with Diversity Exploration and Adversarial Self-Correction
Monash University（莫纳什大学）；South China University of Technology（华南理工大学）
深度强化学习在物理控制、自动驾驶等连续控制领域取得了重大进展。然而，由于灾难性遗忘，对于强化模型来说，顺序地为每个任务学习策略是具有挑战性的。具体来说，模型在接受新任务训练时会忘记过去学到的知识。我们从两个角度考虑这一挑战：i）由于任务信息和奖励不高度相关，因此获取特定任务的技能是困难的; ii）在连续控制域中，从以前的经验中学习知识是困难的。在本文中，我们介绍了一个端到端的框架，即连续多样性对抗网络（CDAN）。我们首先开发了一种无监督的多样性探索方法，使用无监督的目标来学习特定于任务的技能。然后，我们提出了一种对抗性的自我纠正机制，通过利用过去的经验来学习知识。这两个学习过程大概是相互的。为了评估所提出的方法，我们提出了一个新的连续强化学习环境命名为连续蚂蚁迷宫（CAM）和一个新的度量标准，称为归一化最短距离（NSD）。实验结果证实了多样性探索和自校正的有效性。值得注意的是，我们的最终结果在NSD方面比基线高出18.35%，在平均奖励方面高出0.61。
2019-06-21 cs.AI cs.LG cs.RO
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Deep Adversarial Reinforcement Learning for Object Disentangling
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tampere University（坦佩雷大学）
深度学习与改进的训练技术和高计算能力相结合，导致了强化学习（RL）领域的最新进展，并成功地实现了机器人RL应用，如手操作。然而，大多数机器人RL依赖于众所周知的初始状态分布。然而，在现实世界的任务中，这些信息通常不可用。例如，当解开废弃物时，机器人的实际位置w.r.t.\对象可能与RL策略被训练的位置不匹配。为了解决这个问题，我们提出了一种新的对抗性强化学习（ARL）框架。ARL框架利用了一个对手，它被训练来引导原始的代理人，主角，挑战状态。我们共同训练主角和对手，让他们适应对手不断变化的政策。我们表明，我们的方法可以通过训练机器人控制的端到端系统来解决具有挑战性的物体解开任务，从训练推广到测试场景。KUKA LBR+ 7-DOF机器人手臂的实验表明，当从不同的初始状态开始时，我们的方法在解缠方面优于基线方法。
2021-03-17 cs.AI cs.LG cs.RO
A Scalable Reinforcement Learning Approach for Attack Allocation in Swarm to Swarm Engagement Problems
Istanbul Technical University（伊斯坦布尔技术大学）；Artificial Intelligence and Data Science Application and Research Center（人工智能与数据科学应用研究中心）
在这项工作中，我们提出了一个强化学习（RL）的框架，控制一个大规模的群体的密度从事对抗性群体攻击。虽然有大量的现有工作在应用人工智能方法来控制群体，分析两个敌对群体之间的相互作用是一个相当欠研究的领域。在这个主题中，大多数现有的工作都是通过对敌对群体的策略和动态做出严格的假设来制定策略。我们的主要贡献是制定的群到群的参与问题作为一个马尔可夫决策过程和RL算法的发展，可以计算参与策略，而不知道的战略/动态的敌对群。仿真结果表明，开发的框架可以处理各种各样的大规模的参与情况下，以有效的方式。
2022-10-15 cs.AI cs.LG cs.RO
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states
Tongji University（同济大学）
本文提出鲁棒平均场演员-评论家强化学习RoMFAC，通过结合策略梯度与动作损失函数并引入重复正则化，同时构建状态对抗随机博弈模型，有效抵御状态对抗扰动并保持无扰动环境下的竞争性能。
2023-05-31 cs.AI cs.LG
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）
深度强化学习（RL）代理在其观察中容易受到对抗性噪声的影响，这可能会误导其策略并降低其性能。然而，对手可能不仅对减少奖励感兴趣，而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准，衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外，我们引入了一个模型检验方法，使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了（1）我们针对时态逻辑属性进行对抗攻击的指标的质量，以及（2）我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
Adversarial Attacks to Reward Machine-based Reinforcement Learning
DIPARTIMENTO DI INGEGNERIA DELL’INFORMAZIONE（信息工程系）
本论文首次分析基于奖励机的强化学习的安全性，提出并评估一类新型对抗攻击——致盲攻击，以揭示其脆弱性并推动后续研究。
2023-11-15 cs.AI cs.CR cs.LG
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent Reinforcement Learning
Defence Science and Technology Group（国防科学技术集团）；The University of Adelaide（阿德莱德大学）
多智能体强化学习（MARL）容易受到对抗性机器学习（AML）攻击，并且在可以用于现实世界的应用之前需要足够的防御。我们对针对MARL的执行时AML攻击的使用以及针对这些攻击的防御进行了调查。我们调查了AML在深度强化学习（DRL）和多智能体学习（MAL）中应用的相关工作，以告知我们对MARL的AML分析。我们提出了一个新的角度来理解实施AML攻击的方式，通过定义攻击向量。我们开发了两个新的框架，以解决当前建模框架中的差距，重点是针对MARL的AML攻击的手段和速度，并确定知识差距和未来的研究途径。
2023-01-11 cs.AI cs.CR cs.LG
Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对鲁棒对抗强化学习中的优化不稳定和价值估计退化问题，提出RACER框架，通过状态相关对抗目标和评论家一致性正则化，提升性能、鲁棒性与训练稳定性。
2026-09-24 cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入，使强化学习能够扩展到非常复杂的领域，在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功，但这些新方法存在自身的问题，使它们往往不适用于现实世界的问题。数据效率的极度缺乏，加上巨大的差异和难以执行安全约束，是该领域三个最突出的问题之一。通常，从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型，以及支持强化学习设置的马尔可夫特性，在内部想象模块中对真实环境的动态进行建模。然后，来自想象的卷展用于在标准强化学习过程中人工模拟真实环境，以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明，该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验，从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation（微软公司）
针对预训练Transformer模型文本分类需大量标注数据的问题，提出READ方法，融合强化学习文本生成与半监督对抗学习，利用无标注数据生成多样合成文本提升泛化性，在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
Mitigating Adversarial Perturbations for Deep Reinforcement Learning via Vector Quantization
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）；Department of Artificial Intelligence, Korea University（高丽大学人工智能系）
针对强化学习智能体易受对抗扰动影响的问题，提出基于向量量化变体的输入变换防御方法，可缩减攻击空间、提升鲁棒性，且能与对抗训练结合，经多环境实验验证防御效果显著。
2024-10-04 cs.AI cs.LG
Robust Deep Reinforcement Learning through Adversarial Loss
UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
最近的研究表明，深度强化学习代理很容易受到代理输入的小对抗干扰，这引起了人们对在现实世界中部署此类代理的担忧。为了解决这个问题，我们提出了RADIAL-RL，一个原则性的框架，训练强化学习代理，提高了对$l_p$ -范数有界对抗攻击的鲁棒性。我们的框架与流行的深度强化学习算法兼容，我们用深度Q学习，A3 C和PPO展示了它的性能。我们在三个深度RL基准测试（Atari，MuJoCo和ProcGen）上进行了实验，以显示我们的鲁棒训练算法的有效性。在针对不同强度的攻击进行测试时，我们的RADIAL-RL代理始终优于先前的方法，并且在训练时计算效率更高。此外，我们提出了一种新的评估方法，称为贪婪最坏情况奖励（GWC）来衡量深度RL代理的攻击不可知鲁棒性。我们表明，GWC可以有效地进行评估，是一个很好的估计下的最坏的可能序列的对抗攻击的奖励。用于我们实验的所有代码都可以在https://github.com/tuomaso/radial_rl_v2上获得。
2021-11-10 cs.AI cs.CR cs.LG
Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
University of Nevada, Reno（内华达大学里诺分校）
众所周知，深度学习分类器天生容易受到有意扰动输入的操纵，称为对抗性示例。在这项工作中，我们建立了基于深度Q网络（DQN）的强化学习技术也容易受到对抗性输入扰动的影响，并验证了对抗性示例在不同DQN模型之间的可移植性。此外，我们提出了一种新的攻击类的基础上，这个漏洞，使政策操纵和诱导的学习过程中的DQNs。我们提出了一种攻击机制，利用对抗性示例的可转移性来实现对DQN的策略诱导攻击，并通过游戏学习场景的实验研究来证明其有效性和影响。
2017-01-16 cs.AI cs.LG
FRAUD-RLA: A new reinforcement learning adversarial attack against credit card fraud detection
本文提出FRAUD-RLA攻击模型，通过强化学习绕过分类器，优化探索与利用平衡，以更少的知识实现有效欺诈检测攻击。
2025-02-04 cs.AI cs.LG
Scale-free Adversarial Reinforcement Learning
Boston University（波士顿大学）
针对奖励/损失尺度未知的对抗 MDP，论文提出 SCB 通用框架，在对抗 MAB 中取得首个 minimax 最优期望遗憾与高概率遗憾界，并给出首个 $\tilde{\mathcal{O}}(\sqrt{T})$ 高概率遗憾保证的无尺度 RL 算法。
2024-03-01 cs.AI cs.LG
CRASH: Challenging Reinforcement-Learning Based Adversarial Scenarios For Safety Hardening
University of Virginia（弗吉尼亚大学）
本文提出CRASH这一对抗性深度强化学习框架，通过控制仿真中对抗性NPC智能体诱导自车碰撞以证伪其运动规划器，并结合安全强化方法迭代优化规划器，在双车道场景中实现超90%的碰撞诱导率且降低26%碰撞率，为AV安全测试提供新方案。
2024-11-26 cs.LG cs.RO
Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）；George Washington University（乔治华盛顿大学）
本文提出一种结合对抗逆强化学习与期望最大化的分层模仿学习算法，通过引入有向信息项和变分自编码器实现端到端策略学习，并在机器人控制任务中验证其优越性。
2023-05-26 cs.AI cs.LG cs.RO
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
离线强化学习（RL）的目标是在没有进一步环境交互的情况下从记录的数据中找到性能策略。基于模型的算法，从数据集学习环境模型，并在该模型内执行保守的策略优化，已经成为解决这个问题的一种有前途的方法。在这项工作中，我们提出了鲁棒的基于模型的离线RL（RAMBO），这是一种基于模型的离线RL的新方法。我们制定的问题作为一个两个球员零和游戏对抗的环境模型。该模型经过训练，以最小化价值函数，同时仍然准确地预测数据集中的转换，迫使策略在数据集未覆盖的区域保守地采取行动。为了近似地解决两个玩家的游戏，我们在优化策略和对抗性地优化模型之间交替。我们解决的问题配方是理论上的基础，导致在一个可能近似正确（PAC）的性能保证和悲观的价值函数的下限在真实的环境中的价值函数。我们在广泛研究的离线RL基准测试中评估了我们的方法，并证明它优于现有的最先进的基线。
2022-10-11 cs.AI cs.LG
Robust Deep Reinforcement Learning against Adversarial Behavior Manipulation
Institute of Science Tokyo（东京科学研究所）；University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所AIP）
本文提出了一种基于模仿学习的对抗性攻击方法，并通过时间折扣正则化提升强化学习对行为定向攻击的鲁棒性。
2026-02-17 cs.AI cs.LG
Search-Based Adversarial Estimates for Improving Sample Efficiency in Off-Policy Reinforcement Learning
针对深度强化学习样本效率低、稀疏/延迟奖励场景下学习困难的问题，提出基于少量人类轨迹潜在相似性搜索的对抗估计方法，仅需5分钟人类经验即可加速基于反馈的DRL算法收敛，并有望支持极稀疏奖励场景下的学习。
2025-06-13 cs.AI cs.LG
SPLASH! Sample-efficient Preference-based inverse reinforcement learning for Long-horizon Adversarial tasks from Suboptimal Hierarchical demonstrations
Boston University（波士顿大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；MIT Pavlab（麻省理工学院 Pavlab 实验室）；Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）；University of Maryland, College Park（马里兰大学学院公园分校）
提出SPLASH方法，通过次优分层演示学习解决长周期对抗任务的逆强化学习问题，并在模拟海上夺旗及无人艇虚实转换实验中显著优于现有技术。
2025-07-11 cs.LG cs.RO
