Reinforcement Learning for Linear Quadratic Control is Vulnerable Under Cost Manipulation
New York University（纽约大学）
在这项工作中，我们研究了欺骗的线性二次高斯（LQG）代理通过操纵成本信号。我们表明，一个小的伪造的成本参数只会导致有界的最优策略的变化。该界限与攻击者可以应用于成本参数的伪造量呈线性关系。我们提出了一个攻击模型，攻击者的目的是误导代理学习“邪恶”的政策，故意伪造的成本参数。我们制定的攻击的问题作为一个凸优化问题，并制定必要和充分条件来检查攻击者的目标的可扩展性。我们展示了两种类型的LQG学习器的对抗操作：批量RL学习器和另一种是自适应动态规划（ADP）学习器。我们的研究结果表明，只有2.296%的成本数据伪造，攻击者误导批量RL学习“邪恶”的政策，导致车辆的危险位置。攻击者还可以通过不断向学习者提供与实际成本信号接近的伪造成本信号，逐渐诱骗ADP学习者学习相同的“邪恶”政策。本文旨在提高人们对RL使能的控制系统所面临的安全威胁的认识。
2022-04-07 cs.AI cs.CR cs.LG
Verification-Guided Falsification for Safe RL via Explainable Abstraction and Risk-Aware Exploration
Iowa State University（爱荷华州立大学）；Wake Forest University（威克森林大学）；Indiana University（印第安纳大学）
本文提出融合可解释抽象、模型检验与风险引导证伪的混合框架，通过CAPS抽象和Storm验证安全规约，并利用风险估计优先搜索高风险区域，同时引入运行时安全防护层以缓解故障。
2025-06-04 cs.AI cs.LG
Tolerance of Reinforcement Learning Controllers against Deviations in Cyber Physical Systems
Carnegie Mellon University（卡内基梅隆大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Toyota InfoTech Labs（丰田信息技术实验室）
本文针对信息物理系统中强化学习控制器的容忍度问题，提出了基于信号时序逻辑的容忍度证伪问题，并设计了双层仿真分析框架与搜索启发式方法，有效发现导致系统违规的微小偏差。
2024-06-24 cs.AI cs.LO cs.RO
Fault-Aware Robust Control via Adversarial Reinforcement Learning
Tsinghua University（清华大学）
与人类和动物相比，机器人在受损情况下的适应能力有限。然而，机器人损坏在现实世界的应用中普遍存在，特别是对于部署在极端环境中的机器人。机器人的脆弱性极大地限制了它们的广泛应用。我们提出了一个对抗性的强化学习框架，它显着提高了机器人的鲁棒性关节损伤的情况下，在操作任务和运动任务。在性能较差的关节损伤情况下，对智能体进行迭代训练。我们验证我们的算法上的三指机器人手和四足机器人。我们的算法只能在模拟中训练，并直接部署在真实机器人上，无需任何微调。它还证明了超过任意关节损伤案件的成功率。
2020-11-30 cs.LG cs.RO
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Robust Deep Reinforcement Learning with Adversarial Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了针对强化学习（RL）的对抗攻击，并在这些攻击的帮助下提高了深度强化学习算法（DRL）对参数不确定性的鲁棒性。我们发现，即使是一个天真的设计攻击成功地降低DRL算法的性能。我们进一步改进的攻击使用梯度信息的工程损失函数，导致性能进一步下降。然后在训练期间利用这些攻击来提高RL在鲁棒控制框架内的鲁棒性。我们表明，DRL算法（如深度双Q学习和深度确定性策略梯度）的这种对抗性训练导致RL基准测试（如Cart-pole，Mountain Car，Hopper和Half Cheetah环境）对参数变化的鲁棒性显着增加。
2017-12-11 cs.AI cs.LG cs.RO
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
CRASH: Challenging Reinforcement-Learning Based Adversarial Scenarios For Safety Hardening
University of Virginia（弗吉尼亚大学）
本文提出CRASH这一对抗性深度强化学习框架，通过控制仿真中对抗性NPC智能体诱导自车碰撞以证伪其运动规划器，并结合安全强化方法迭代优化规划器，在双车道场景中实现超90%的碰撞诱导率且降低26%碰撞率，为AV安全测试提供新方案。
2024-11-26 cs.LG cs.RO
SPLASH! Sample-efficient Preference-based inverse reinforcement learning for Long-horizon Adversarial tasks from Suboptimal Hierarchical demonstrations
Boston University（波士顿大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；MIT Pavlab（麻省理工学院 Pavlab 实验室）；Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）；University of Maryland, College Park（马里兰大学学院公园分校）
提出SPLASH方法，通过次优分层演示学习解决长周期对抗任务的逆强化学习问题，并在模拟海上夺旗及无人艇虚实转换实验中显著优于现有技术。
2025-07-11 cs.LG cs.RO
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
CoachNet: An Adversarial Sampling Approach for Reinforcement Learning
Huawei Technologies Canada（华为加拿大技术公司）
尽管强化学习最近在游戏和机器人领域取得了成功，但它还没有广泛实用。样本效率和在罕见但具有挑战性的情况下不可靠的性能是两个主要障碍。从刻意练习实现专家级人类性能的有效性中汲取灵感，我们提出了一种新的对抗性抽样方法，该方法由名为“CoachNet”的失败预测器指导。CoachNet与代理一起在线训练，以预测失败的概率。然后，在随机采样过程中使用该概率来引导代理进行更具挑战性的事件。通过这种方式，而不是浪费时间在代理已经掌握的场景上，训练集中在代理的“弱点”上。我们提出了CoachNet的设计，解释其基本原理，并实证证明其有效性，提高样本效率和测试时间的鲁棒性，在常见的连续控制任务。
2021-01-07 cs.LG cs.RO
Dynamic Obstacle Avoidance with Bounded Rationality Adversarial Reinforcement Learning
Center for Artificial Intelligence and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
针对四足机器人在未知动态障碍环境中的鲁棒导航问题，提出 Hi-QARL 分层对抗强化学习方法，通过量子响应均衡约束对手理性并设置理性课程，在随机迷宫和 Unitree GO1 仿真中验证了鲁棒性。
2025-03-14 cs.LG cs.RO
Admissable: Training Reinforcement Learning Agents against Adversarial Missingness
Bielefeld University（比勒费尔德大学）
针对强化学习中的对抗性特征缺失问题，提出对抗训练算法，在MuJoCo三个基准环境上相比随机缺失基线显著提升鲁棒性。
2026-09-15 cs.LG
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
HARL-A: An Extensible Benchmark Framework for Heterogeneous Multi-Agent Adversarial Reinforcement Learning in IsaacLab
Utah State University（犹他州立大学）；US DEVCOM Army Research Laboratory（美国陆军研究实验室）
针对现有MARL研究多聚焦协作、对抗场景研究不足的问题，研究扩展IsaacLab框架，集成竞争性HAPPO算法，构建含异构非对称智能体的对抗环境，实现高保真仿真下的高效鲁棒对抗策略训练。
2026-10-07 cs.LG cs.RO
Adaptive perturbation adversarial training: based on reinforcement learning
Yunnan University（云南大学）
对抗性训练已经成为防御对抗性样本的主要方法。然而，由于许多缺点，它很难实际应用。对抗训练的缺点之一是它会降低正常样本的识别准确率。提出了自适应扰动对抗训练来缓解这个问题。它使用接近决策边界但不跨越决策边界的边缘对抗样本进行对抗训练，在保持模型鲁棒性的同时提高了模型识别的准确率。然而，搜索边际对抗样本会带来额外的计算成本。提出了一种基于强化学习的边缘对抗样本发现方法，并将其与最新的快速对抗训练技术相结合，有效地加快了训练过程，降低了训练成本。
2021-08-30 cs.AI cs.LG
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）
深度强化学习（RL）代理在其观察中容易受到对抗性噪声的影响，这可能会误导其策略并降低其性能。然而，对手可能不仅对减少奖励感兴趣，而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准，衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外，我们引入了一个模型检验方法，使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了（1）我们针对时态逻辑属性进行对抗攻击的指标的质量，以及（2）我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对鲁棒对抗强化学习中的优化不稳定和价值估计退化问题，提出RACER框架，通过状态相关对抗目标和评论家一致性正则化，提升性能、鲁棒性与训练稳定性。
2026-09-24 cs.LG
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而，一个已知的问题是，政策过度适应培训环境，可能无法避免罕见的灾难性事件，如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练，但这种方法只能防止常见情况。最近，鲁棒对抗强化学习（RARL）被开发出来，它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是，只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此，代理不考虑灾难性事件的概率（即，那些诱导异常大的负奖励），除非通过它们对预期目标的影响。在本文中，我们介绍了风险规避鲁棒对抗强化学习（RARARL），使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明，一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手，和经验大大减少崩溃相比，没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Nanyang Technological University（南洋理工大学）
Meta强化学习（MRL）使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中，我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习（MAML），并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络（GAN）。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要，因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性，并评估了潜在的防御。我们观察到，CNN架构中包含的瓶颈注意力模块（BAM）可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中，BAM增强的架构在推理过程中表现出更强的鲁棒性。最后，我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
Using Collision Momentum in Deep Reinforcement Learning Based Adversarial Pedestrian Modeling
The Ohio State University（俄亥俄州立大学）
针对现有行人仿真算法难在极端场景挖掘自动驾驶短板的问题，提出一种专门针对碰撞的强化学习算法，可高效生成更严重碰撞，助力识别修正自动驾驶算法缺陷。
2023-06-13 cs.AI cs.LG cs.RO
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Automatic Testing With Reusable Adversarial Agents
University of Southern California（南加州大学）；Toyota Research Institute（丰田研究院）
自动驾驶汽车和通用机器人等自主系统是在高度不确定和动态环境中运行的安全关键系统。我们提出了一个交互式的多代理框架，其中的系统设计被建模为自我代理和它的环境是由一些对抗（ado）代理建模。例如，自动驾驶汽车是一个自我代理，其行为受到行人，骑自行车者，交通灯，道路几何形状等ado代理的影响。给定自我代理正确行为的逻辑规范，以及一组编码合理对抗行为的约束，我们的框架将对抗性测试问题简化为合成控制器的问题，（受约束的）ADO代理，其导致EGO代理违反其规范。具体来说，我们探索使用表格和深度强化学习方法来合成对抗代理。我们表明，以这种方式训练的ado代理优于传统的伪造或测试技术，因为它们可以概括为自我代理和环境，不同于原来的自我代理。我们在自动驾驶汽车领域的两个真实案例研究中展示了我们的技术的有效性。
2021-07-05 cs.AI cs.LG cs.SY
Robust Deep Reinforcement Learning through Bootstrapped Opportunistic Curriculum
Washington University in St. Louis（圣路易斯华盛顿大学）
尽管深度强化学习取得了相当大的进展，但它已被证明非常容易受到状态观测的对抗性扰动。然而，最近试图提高强化学习的对抗鲁棒性的努力只能容忍非常小的扰动，并且随着扰动大小的增加而保持脆弱。我们提出了Bootstrapped强化对抗课程学习（BCL），一个新的灵活的对抗课程学习框架，强大的强化学习。我们的框架结合了两个想法：保守地引导每个课程阶段，从上一阶段的多次运行中获得最高质量的解决方案，并在课程中机会主义地向前跳。在我们的实验中，我们表明，建议的BCL框架，使学习的政策对抗性扰动的鲁棒性显着改善。最大的改进是Pong，我们的框架对高达25/255的扰动具有鲁棒性;相比之下，现有的最佳方法只能容忍高达5/255的对抗性噪声。我们的代码可在https://github.com/jlwu002/BCL上获取。
2023-01-10 cs.LG
Boosting Exploration in Multi-Task Reinforcement Learning using Adversarial Networks
Google Research（谷歌研究院）；Mila, Québec Artificial Intelligence Institute（Mila，魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；CIFAR（加拿大高等研究院）；IVADO（IVADO数据价值研究所）
近年来，强化学习（RL）取得了显著的进展。然而，传统训练方法的局限性越来越明显，特别是在元强化学习环境中，智能体面临着新的、看不见的任务。传统的训练方法在这种情况下很容易失败，因为它们需要更强的抗逆境能力。我们提出的多任务强化学习（MT-RL）对抗训练机制解决了RL中传统训练方法的局限性，特别是在代理面临新任务的元RL环境中。对抗性组件挑战智能体，迫使它在动态和不可预测的情况下提高决策能力。该组件的操作不依赖于手动干预或特定于领域的知识，使其成为一个高度通用的解决方案。在多个MT-RL环境中进行的实验表明，对抗性训练可以更好地探索和更深入地理解环境。MT-RL的对抗训练机制为RL代理的训练和开发提供了新的视角，是对该领域的宝贵贡献。
2023-02-06 cs.LG
RL-FAT: Reinforcement Learning for Fair Adversarial Training
University of Mannheim（曼海姆大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
针对对抗训练存在的类别鲁棒性失衡问题，提出受强化学习启发的RL-FAT框架，结合强化驱动自适应与公平强调正则化，在提升鲁棒性的同时大幅降低类别鲁棒性失衡。
2026-09-01 cs.LG
Robust Reinforcement Learning through Efficient Adversarial Herding
Duke University（杜克大学）
针对强化学习在环境扰动下性能下降的问题，提出基于对抗群的拓展双人博弈方法，高效近似内部优化并缓解过度悲观，在多个MuJoCo环境上验证其能生成更鲁棒的策略。
2023-06-12 cs.AI cs.LG cs.RO
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Certified Adversarial Robustness for Deep Reinforcement Learning
Department of Aeronautics and Astronautics（航空航天系）；Massachusetts Institute of Technology（麻省理工学院）
基于深度神经网络的系统现在是许多机器人任务中最先进的技术，但如果没有对网络鲁棒性的正式保证，它们在安全关键领域的应用仍然是危险的。对传感器输入的小扰动（来自噪声或对抗性示例）通常足以改变基于网络的决策，这已经被证明会导致自动驾驶汽车转向迎面而来的交通。鉴于这些危险，已经开发了许多算法作为这些对抗性输入的防御机制，其中一些提供了正式的鲁棒性保证或证书。这项工作利用对认证对抗鲁棒性的研究，为深度强化学习算法开发在线认证防御。所提出的防御计算在执行过程中的状态动作值的保证下限，以确定和选择最佳的动作下，由于可能的对手或噪声在输入空间中的最坏情况下的偏差。该方法在深度Q网络策略上进行了演示，并在行人碰撞避免场景和经典控制任务中提高了对噪声和对手的鲁棒性。
2020-03-06 cs.AI cs.LG cs.RO
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks
The University of Hong Kong（香港大学）；Fudan University（复旦大学）；Xihua University（西华大学）；Southwest Jiaotong University（西南交通大学）；Tsinghua University（清华大学）
提出自适应梯度掩码强化（AGMR）攻击，通过动态识别关键状态维度并优化对抗策略，有效降低DRL智能体性能并增强其鲁棒性。
2025-03-26 cs.AI cs.LG cs.NI
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；US Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
虽然对抗性模仿学习（AIL）算法最近在各种模仿学习基准测试中取得了最先进的结果，但目前还不清楚各种设计决策对性能的影响。为此，我们在这里提出了一个有组织的，模块化的框架，称为强化学习为基础的对抗性模仿学习（RAIL），包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点，我们创建了两个新的IfO（Imitation from Observation）算法，我们称之为SAIfO：基于SAC的对抗性模仿来自观察和SILEM（Skilling Feature Compensation for模仿学习with Embodiment Mismatch）。我们将在单独的技术报告中更深入地介绍SILEM。在本文中，我们专注于SAIfO，在OpenAI Gym的一系列运动任务上对其进行评估，并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
近年来，强化学习（RL）在高关节机器人系统的运动控制中表现出了优异的性能。这样的方法通常涉及繁琐的奖励函数调谐以实现期望的运动风格。诸如对抗运动先验的模仿学习方法旨在通过鼓励预定义的运动风格来减少这个问题。在这项工作中，我们提出了一种方法来增强基于对抗运动先验的RL的概念，以允许多种离散可切换的风格。我们表明，多种风格和技能可以同时学习，没有显着的性能差异，即使在结合运动数据的技能。我们的方法在几个真实世界的实验中验证了轮腿四足机器人显示技能从现有的RL控制器和轨迹优化，如躲避和行走，和新的技能，如四足和人形配置之间的切换。对于后一项技能，机器人需要站起来，在两个轮子上导航，然后坐下。而不是调整坐下来的运动，我们验证了站起来的运动的反向播放，帮助机器人发现可行的坐下的行为，并避免繁琐的奖励功能调整。
2022-03-23 cs.AI cs.LG cs.RO
Defending Observation Attacks in Deep Reinforcement Learning via Detection and Denoising
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
众所周知，使用深度强化学习（DRL）训练的神经网络策略容易受到对抗攻击的影响。在本文中，我们认为攻击表现为外部环境管理的观测空间的扰动。这些攻击已被证明会显著降低政策绩效。我们把注意力集中在训练有素的确定性和随机神经网络政策的背景下，连续控制基准受到四个研究充分的观察空间对抗攻击。为了抵御这些攻击，我们提出了一种新的防御策略，使用检测和去噪模式。与以前在对抗场景中采样数据的对抗训练方法不同，我们的解决方案不需要在受到攻击的环境中采样数据，从而大大降低了训练过程中的风险。详细的实验结果表明，我们的技术与最先进的对抗训练方法相当。
2022-06-14 cs.LG cs.RO cs.SY
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究，一方面有利于指导机器学习模型的开发，另一方面也有利于寻找有针对性的防御。然而，当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域：基于决策的攻击，仅基于观察目标模型的输出标签来生成对抗性扰动，仍然相对罕见，并且大多使用梯度估计策略。在这项工作中，我们提出了一个像素明智的决策为基础的攻击算法，发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习（DBAR）。实验结果表明，该方法具有更高的攻击成功率和更大的可移植性，优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Adversarial Reinforcement Learning in Dynamic Channel Access and Power Control
Syracuse University（雪城大学）
深度强化学习（DRL）近来已被用于在无线通信中执行高效的资源分配。在本文中，这样的DRL代理对抗攻击的脆弱性进行了研究。特别是，我们考虑多个DRL代理，在无线干扰信道中执行动态信道接入和功率控制。对于这些受害DRL代理，我们设计了一个干扰器，这也是一个DRL代理。我们提出了一种对抗性干扰攻击方案，利用监听阶段，显着降低用户的和速率。随后，我们开发了一个集成的政策防御策略，对这样的干扰攻击者重新加载模型（保存在重新训练），具有最小的过渡相关性。
2021-05-12 cs.IT cs.LG math.IT
Towards Robust Policy: Enhancing Offline Reinforcement Learning with Adversarial Attacks and Defenses
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对离线强化学习策略鲁棒性不足、易受观测扰动和攻击影响的问题，提出一种结合对抗攻击与防御的框架，通过训练时扰动观测并以防御为正则项增强策略，在D4RL基准上验证了防御的有效性。
2024-05-18 cs.AI cs.LG cs.RO
Adversarial Attacks and Detection on Reinforcement Learning-Based Interactive Recommender Systems
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；University of Adelaide（阿德莱德大学）
对抗攻击对在早期阶段检测对抗攻击提出了重大挑战。我们提出了基于强化学习的交互式推荐系统的攻击不可知检测。我们首先制作对抗性示例以显示其不同的分布，然后通过基于精心制作的数据的基于深度学习的分类器检测潜在的攻击来增强推荐系统。最后，我们研究了对抗性示例的攻击强度和频率，并使用多种制作方法在标准数据集上评估我们的模型。实验结果表明，大多数对抗攻击都是有效的，攻击强度和攻击频率对攻击性能都有影响。策略定时攻击仅需1/3 ~ 1/2的攻击频率就能达到相当的攻击性能。此外，我们的黑盒检测器训练与一个手工方法具有推广能力超过几个手工方法。
2020-06-14 cs.CR cs.IR cs.LG
Continual Reinforcement Learning with Diversity Exploration and Adversarial Self-Correction
Monash University（莫纳什大学）；South China University of Technology（华南理工大学）
深度强化学习在物理控制、自动驾驶等连续控制领域取得了重大进展。然而，由于灾难性遗忘，对于强化模型来说，顺序地为每个任务学习策略是具有挑战性的。具体来说，模型在接受新任务训练时会忘记过去学到的知识。我们从两个角度考虑这一挑战：i）由于任务信息和奖励不高度相关，因此获取特定任务的技能是困难的; ii）在连续控制域中，从以前的经验中学习知识是困难的。在本文中，我们介绍了一个端到端的框架，即连续多样性对抗网络（CDAN）。我们首先开发了一种无监督的多样性探索方法，使用无监督的目标来学习特定于任务的技能。然后，我们提出了一种对抗性的自我纠正机制，通过利用过去的经验来学习知识。这两个学习过程大概是相互的。为了评估所提出的方法，我们提出了一个新的连续强化学习环境命名为连续蚂蚁迷宫（CAM）和一个新的度量标准，称为归一化最短距离（NSD）。实验结果证实了多样性探索和自校正的有效性。值得注意的是，我们的最终结果在NSD方面比基线高出18.35%，在平均奖励方面高出0.61。
2019-06-21 cs.AI cs.LG cs.RO
Adversarial Search and Tracking with Multiagent Reinforcement Learning in Sparsely Observable Environment
Institute of Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所（IRIM））
针对稀疏可观测环境中对抗性逃避智能体的搜索与跟踪难题，提出结合可学习过滤模型估计对手位置的多智能体强化学习（MARL）框架，使探测率提升46%并超越所有基线方法。
2023-10-21 cs.AI cs.LG cs.RO
Domain Adversarial Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；VU Amsterdam（阿姆斯特丹自由大学）
我们考虑强化学习中的泛化问题，其中观察的视觉方面可能不同，例如，当有不同的背景或对比度，亮度等变化时，我们假设我们的代理在训练期间只能访问MDP分布中的少数MDP。然后，在从分布中提取的新的未知测试域（例如，看不见的背景）上报告代理的性能。对于这个“zero-shot RL”任务，我们通过域对抗优化过程将学习到的表示强制执行到视觉域的不变性。我们的经验表明，这种方法可以实现一个显着的泛化改善新的看不见的领域。
2021-02-14 cs.AI cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Deep Adversarial Reinforcement Learning for Object Disentangling
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tampere University（坦佩雷大学）
深度学习与改进的训练技术和高计算能力相结合，导致了强化学习（RL）领域的最新进展，并成功地实现了机器人RL应用，如手操作。然而，大多数机器人RL依赖于众所周知的初始状态分布。然而，在现实世界的任务中，这些信息通常不可用。例如，当解开废弃物时，机器人的实际位置w.r.t.\对象可能与RL策略被训练的位置不匹配。为了解决这个问题，我们提出了一种新的对抗性强化学习（ARL）框架。ARL框架利用了一个对手，它被训练来引导原始的代理人，主角，挑战状态。我们共同训练主角和对手，让他们适应对手不断变化的政策。我们表明，我们的方法可以通过训练机器人控制的端到端系统来解决具有挑战性的物体解开任务，从训练推广到测试场景。KUKA LBR+ 7-DOF机器人手臂的实验表明，当从不同的初始状态开始时，我们的方法在解缠方面优于基线方法。
2021-03-17 cs.AI cs.LG cs.RO
A Scalable Reinforcement Learning Approach for Attack Allocation in Swarm to Swarm Engagement Problems
Istanbul Technical University（伊斯坦布尔技术大学）；Artificial Intelligence and Data Science Application and Research Center（人工智能与数据科学应用研究中心）
在这项工作中，我们提出了一个强化学习（RL）的框架，控制一个大规模的群体的密度从事对抗性群体攻击。虽然有大量的现有工作在应用人工智能方法来控制群体，分析两个敌对群体之间的相互作用是一个相当欠研究的领域。在这个主题中，大多数现有的工作都是通过对敌对群体的策略和动态做出严格的假设来制定策略。我们的主要贡献是制定的群到群的参与问题作为一个马尔可夫决策过程和RL算法的发展，可以计算参与策略，而不知道的战略/动态的敌对群。仿真结果表明，开发的框架可以处理各种各样的大规模的参与情况下，以有效的方式。
2022-10-15 cs.AI cs.LG cs.RO
Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
众所周知，深度强化学习（RL）策略容易受到对其观察结果的对抗性扰动的影响，类似于分类器的对抗性示例。然而，攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑：是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体，从而创建对抗性的自然观察？我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏，对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者，但产生了看似随机和不协调的行为。我们发现，这些政策是更成功的高维环境中，并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
深度强化学习模型容易受到对抗攻击的攻击，这种攻击可以通过操纵受害者的观察来减少受害者的累积预期奖励。尽管以前的基于优化的方法在监督学习中生成对抗性噪声的效率很高，但这些方法可能无法实现最低的累积奖励，因为它们通常不探索环境动态。在本文中，我们提供了一个框架，以更好地理解现有的方法，通过重新制定的对抗攻击的强化学习在函数空间的问题。我们的重新制定产生一个最佳的对手在功能空间的目标攻击，击退他们通过一个通用的两阶段框架。在第一阶段，我们通过对环境进行黑客攻击来训练欺骗性策略，并发现一组轨迹，这些轨迹路由到最低奖励或最差情况的性能。接下来，对手通过扰乱观察来误导受害者模仿欺骗性政策。与现有的方法相比，我们从理论上表明，我们的对手是在适当的噪声水平下更强。大量的实验表明，我们的方法的优越性，在效率和有效性方面，实现国家的最先进的性能在Atari和MuJoCo环境。
2023-02-27 cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University（东北大学）；Zhejiang University（浙江大学）；Aalborg University（奥胡斯大学）
TCRL通过引入时序耦合对抗训练框架，解决传统方法在处理时序耦合扰动时的不足，提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks
Washington University in Saint Louis（圣路易斯华盛顿大学）
函数逼近使得强化学习（RL）技术在具有高维输入（如图像）的环境中以端到端的方式应用取得了显着进展，将这些输入直接映射到低级控制。尽管如此，这些已经被证明容易受到小的对抗性输入扰动的影响。因此，出现了许多用于提高或证明端到端RL对对抗性扰动的鲁棒性的方法，重点是累积奖励。然而，在对抗性场景中，最关键的往往是违反基本属性，如安全性，而不是将安全性与效率相结合的整体回报。此外，诸如安全性之类的属性只能相对于真实状态来定义，而不是端到端策略的高维原始输入。为了解开名义效率和对抗安全性，我们在确定性部分可观察马尔可夫决策过程（POMDPs）中使用RL，目标是在安全约束下最大化累积奖励。然后，我们提出了一个部分监督的强化学习（PSRL）框架，该框架利用了一个额外的假设，即POMDP的真实状态在训练时已知。我们提出了在对抗性输入扰动下验证PSRL策略安全性的第一种方法，以及直接使用PSRL的两种对抗性训练方法。我们的实验证明了所提出的方法在对抗环境中认证安全性的有效性，以及PSRL框架与对抗训练相结合在提高认证安全性同时保持高名义奖励和高质量真实状态预测方面的价值。
2022-12-28 cs.AI cs.LG
Policy Disruption in Reinforcement Learning:Adversarial Attack with Large Language Models and Critical State Identification
School of Cyber Science and Engineering（网络科学与工程学院）
针对强化学习对抗攻击依赖修改环境或策略的问题，提出利用LLM生成定制对抗奖励并结合关键状态识别的攻击框架，在不改变环境的情况下诱导目标策略次优决策，实验验证其优于现有方法。
2025-07-24 cs.LG
