Automated Adversary Emulation for Cyber-Physical Systems via Reinforcement Learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Michigan State University（密歇根州立大学）
Advertisement仿真是一种攻击性练习，它提供了对系统抵御网络攻击的能力的全面评估。然而，对手模拟通常是一个手动过程，这使得其成本高昂，难以在具有复杂动态，漏洞和操作不确定性的网络物理系统（CPS）中部署。在本文中，我们开发了一个自动化的，域感知的方法来模拟CPS的对手。我们制定了一个马尔可夫决策过程（MDP）模型，以确定一个最佳的攻击序列的混合攻击图与网络（离散）和物理（连续）组件和相关的物理动力学。我们应用基于模型和无模型强化学习（RL）的方法来解决离散连续MDP在一个易于处理的方式。作为基准，我们还开发了一个贪婪攻击算法，并将其与RL程序进行比较。我们总结了我们的研究结果，通过数值研究传感器欺骗攻击在建筑物中比较所提出的算法的性能和解决方案的质量。
2020-11-09 cs.LG cs.SY eess.SY
Robust off-policy Reinforcement Learning via Soft Constrained Adversary
Kyoto University（京都大学）；Honda R&D Corp.（本田研发公司）
本文针对离策略鲁棒强化学习中策略与最优对抗者相互依赖及扰动假设局限的问题，提出基于f-散度约束和先验分布知识的对抗框架，推导出两种攻击及鲁棒学习方法，并在样本高效离策略RL中验证了其优异性能。
2024-08-31 cs.AI cs.LG
Virtuously Safe Reinforcement Learning
EPFL（洛桑联邦理工学院）
我们表明，当第三方，对手，进入安全可中断的强化学习的两方设置（代理和操作员）的步骤，必须在极限内遵循最优策略的概率和逃避对手造成的危险情况的概率之间进行权衡。到目前为止，关于安全可中断代理的工作已经假设代理对其环境（没有对手）的完美感知，因此通过显式地寻求第一概率的值1，隐式地将第二概率设置为零。我们表明，（1）代理可以被中断和adversary-resilient，（2）中断可以是安全的，在这个意义上，代理本身不会寻求避免它。我们还解决了问题时，代理不去完全贪婪，即安全探索的限制问题。对干扰感知的恢复力、对极限的安全探索以及安全可中断性是我们称之为\emph{virtuously safe reinforcement learning}的三大支柱。
2018-05-29 cs.AI cs.GT cs.LG
Model-agnostic and Scalable Counterfactual Explanations via Reinforcement Learning
Seldon Technologies（Seldon科技公司）
反事实实例是一个强大的工具，可以获得对自动决策过程的有价值的见解，描述输入空间中必要的最小变化，以将预测改变为所需的目标。大多数以前的方法需要一个单独的，计算上昂贵的优化过程，每个实例，使他们不切实际的大量数据和高维数据。此外，这些方法通常限于机器学习模型的某些子类（例如，可微或基于树的模型）。在这项工作中，我们提出了一种深度强化学习方法，该方法将优化过程转换为端到端的可学习过程，使我们能够在单个向前传递中生成批量反事实实例。我们在真实数据上的实验表明，我们的方法i）是模型不可知的（不假设可微性），仅依赖于来自模型预测的反馈; ii）允许生成目标条件反事实实例; iii）允许对数值和分类属性进行灵活的特征范围约束，包括受保护特征的不变性（例如性别、种族）; iv）容易扩展到其他数据形式，例如图像。
2021-06-04 cs.LG stat.ML
On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑模型不可知元学习（MAML）方法的强化学习（RL）的问题，其目标是找到一个政策，使用数据从几个任务表示的马尔可夫决策过程（MDP），可以更新一步的随机策略梯度实现MDP。特别是，在MAML更新步骤中使用随机梯度对于RL问题至关重要，因为精确梯度的计算需要访问大量可能的轨迹。对于这个公式，我们提出了一个变体的MAML方法，命名为随机梯度Meta-强化学习（SG-MRL），并研究其收敛特性。我们推导出SG-MRL的迭代和样本复杂度，以找到$ε$ -一阶稳定点，据我们所知，这为模型不可知的Meta强化学习算法提供了第一个收敛保证。我们进一步展示了我们的结果如何扩展到的情况下，多个步骤的随机策略梯度方法在测试时使用。最后，我们在几个深度RL环境中实证比较了SG-MRL和MAML。
2021-11-17 cs.LG math.OC stat.ML
Taming the Adversary: A Cost-to-Disturbance Ratio Approach to Adversarial Reinforcement Learning
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电子工程学院）
本文提出MMDDPG框架，通过分数目标平衡任务性能与扰动幅度，以提升连续控制任务中对抗扰动的鲁棒性。
2026-09-21 cs.AI cs.LG
Snooping Attacks on Deep Reinforcement Learning
Duke University（杜克大学）
对抗攻击暴露了最先进的机器学习模型中的一个重大安全漏洞。这些模型包括深度强化学习代理。现有的攻击强化学习代理的方法假设对手可以访问目标代理的学习参数或代理与之交互的环境。在这项工作中，我们提出了一类新的威胁模型，称为窥探威胁模型，这是强化学习所独有的。在这些窥探威胁模型中，对手没有能力与目标代理的环境进行交互，只能窃听代理和环境之间交换的动作和奖励信号。我们表明，在这些高度约束的威胁模型中运行的对手仍然可以通过在相关任务上训练代理模型并利用对抗性示例的可转移性来对目标代理发起毁灭性攻击。
2020-01-15 cs.CV cs.LG stat.ML
Task-Agnostic Dynamics Priors for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；OpenAI；Princeton University（普林斯顿大学）
虽然基于模型的深度强化学习（RL）在样本效率和泛化方面前景广阔，但学习准确的动力学模型通常具有挑战性，并且需要与环境进行大量交互。各种各样的领域具有共享共同基础的动力学，如经典力学定律，这些定律很少被现有算法利用。事实上，人类不断地获取和使用这种动力学先验，以轻松地适应在新环境中的操作。在这项工作中，我们提出了一种方法来学习任务不可知的动态先验的视频，并将其纳入RL代理。我们的方法涉及在任务不可知的物理视频上预训练帧预测器，以初始化动态模型（并对其进行微调），用于看不见的目标环境。我们的帧预测架构SpatialNet专门用于捕获局部物理现象和相互作用。我们的方法允许更快的策略学习和收敛到更好的策略，在几个不同的环境中优于竞争对手的方法。我们还证明，将此之前允许更有效的环境之间的转移。
2019-07-11 cs.AI cs.LG stat.ML
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而，一个已知的问题是，政策过度适应培训环境，可能无法避免罕见的灾难性事件，如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练，但这种方法只能防止常见情况。最近，鲁棒对抗强化学习（RARL）被开发出来，它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是，只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此，代理不考虑灾难性事件的概率（即，那些诱导异常大的负奖励），除非通过它们对预期目标的影响。在本文中，我们介绍了风险规避鲁棒对抗强化学习（RARARL），使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明，一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手，和经验大大减少崩溃相比，没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Robust Market Making via Adversarial Reinforcement Learning
University of Liverpool（利物浦大学）
我们证明了对抗强化学习（ARL）可以用来产生对对抗和自适应选择的市场条件具有鲁棒性的市场标记代理。为了应用ARL，我们将Avellaneda和Stoikov [2008]的单代理模型转化为做市商和对手之间的离散时间零和博弈。对手充当了其他市场参与者的代理人，这些参与者希望以做市商为代价获利。我们实证比较了两个传统的单代理RL代理与ARL，并表明我们的ARL方法导致：1）出现风险规避行为，没有约束或特定领域的惩罚; 2）在一组标准指标的性能显着改善，在测试环境中评估有或没有对手，以及; 3）提高鲁棒性模型的不确定性。我们的经验表明，我们的ARL方法一致收敛，我们证明了几种特殊情况下，我们收敛到一个简化的单阶段游戏中的纳什均衡的配置文件。
2020-07-08 cs.AI cs.LG q-fin.TR
PolicyGuard: Towards Test-time and Step-level Adversary (Backdoor) Defense for Reinforcement Learning Agent
Computer Science, University of Maryland College Park, USA（计算机科学，马里兰大学学院市）
提出PolicyGuard，一种基于高斯过程后验方差的测试时步级后门防御方法，通过自适应伪轨迹计算单步不确定性，在七种RL游戏中达到平均AUROC 0.856和0.859。
2026-06-23 cs.AI cs.CR cs.LG
Task-agnostic Exploration in Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
有效探索是强化学习（RL）的主要挑战之一。大多数现有的样本有效的算法假设存在一个单一的奖励函数在探索。然而，在许多实际场景中，没有一个单一的潜在奖励函数来指导探索，例如，当智能体需要同时学习许多技能时，或者需要平衡多个相互冲突的目标时。为了解决这些挑战，我们提出了\textit{task-agnostic RL}框架：在探索阶段，代理首先通过探索MDP收集轨迹，而无需奖励函数的指导。探索后，它的目的是找到接近最优的政策$N$任务，给定的收集轨迹与\textit{sampled rewards}增强每个任务。我们提出了一个有效的任务不可知的RL算法，\textsc{UCBZero}，发现$ε$ -最优的政策$N$任意任务后，最多$\tilde O(\log(N)H^5SA/ε^2)$勘探情节。我们还提供了一个$Ω(\log (N)H^2SA/ε^2)$下限，表明$\log$依赖于$N$是不可避免的。此外，我们提供了一个$N$独立的样本复杂性界的\textsc{UCBZero}在统计上更容易的设置时，地面真理奖励函数是已知的。
2020-06-16 cs.AI cs.LG stat.ML
Composing Task-Agnostic Policies with Deep Reinforcement Learning
UC San Diego（加州大学圣地亚哥分校）；University of Washington（华盛顿大学）
解决具有挑战性的迁移学习问题的基本行为组合是构建智能机器的关键要素之一。到目前为止，已经有大量的工作学习特定于任务的政策或技能，但几乎没有关注组成必要的，任务不可知的技能，以找到解决新问题的方法。在本文中，我们提出了一种新的基于深度强化学习的技能转移和组合方法，该方法采用代理的原始策略来解决看不见的任务。我们评估我们的方法在困难的情况下，通过标准的强化学习（RL），甚至分层RL的训练策略是不可行的，或表现出高的样本复杂性。我们表明，我们的方法不仅将技能转移到新的问题设置，而且还解决了具有挑战性的环境，需要高数据效率的任务规划和运动控制。
2019-12-30 cs.AI cs.LG cs.RO
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Safe Reinforcement Learning with Dual Robustness
Tsinghua University（清华大学）
本文提出统一安全RL与鲁棒RL的系统框架，基于约束双人零和马尔可夫博弈设计双重策略迭代方案及DRAC算法，实现高性能与持久安全。
2023-09-13 cs.LG
Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research
Salesforce Research（Salesforce研究院）
本文提出领域无关框架WarpSci，通过消除CPU与GPU间的数据传输并在单个或多个GPU上并发执行数千个仿真，解决高维海量数据环境下强化学习的关键系统瓶颈，从而支持数据驱动的科学研究。
2024-08-01 cs.AI cs.LG
Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
深度强化学习模型容易受到对抗攻击的攻击，这种攻击可以通过操纵受害者的观察来减少受害者的累积预期奖励。尽管以前的基于优化的方法在监督学习中生成对抗性噪声的效率很高，但这些方法可能无法实现最低的累积奖励，因为它们通常不探索环境动态。在本文中，我们提供了一个框架，以更好地理解现有的方法，通过重新制定的对抗攻击的强化学习在函数空间的问题。我们的重新制定产生一个最佳的对手在功能空间的目标攻击，击退他们通过一个通用的两阶段框架。在第一阶段，我们通过对环境进行黑客攻击来训练欺骗性策略，并发现一组轨迹，这些轨迹路由到最低奖励或最差情况的性能。接下来，对手通过扰乱观察来误导受害者模仿欺骗性政策。与现有的方法相比，我们从理论上表明，我们的对手是在适当的噪声水平下更强。大量的实验表明，我们的方法的优越性，在效率和有效性方面，实现国家的最先进的性能在Atari和MuJoCo环境。
2023-02-27 cs.LG
Observed Adversaries in Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
在这项工作中，我们指出的问题，观察对手的深度政策。具体来说，最近的工作表明，深度强化学习容易受到对抗攻击的影响，其中观察到的对手在环境约束下采取行动，以调用自然但对抗的观察结果。这一设置与HRI特别相关，因为HRI相关的机器人预计将在其他智能体周围并与其他智能体一起执行任务。在这项工作中，我们证明了这种效应即使在低维观测中也会持续存在。我们进一步表明，这些对抗攻击转移受害者，这可能使恶意攻击者训练对手没有访问目标受害者。
2022-10-13 cs.HC cs.LG
Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning
ETH（苏黎世联邦理工学院）
在现实世界的任务中，强化学习（RL）代理经常会遇到在训练期间不存在的情况。为了确保可靠的性能，RL代理需要表现出对最坏情况的鲁棒性。强大的RL框架通过代理和对手之间的最坏情况优化来解决这一挑战。以前的鲁棒RL算法要么是样本效率低，缺乏鲁棒性保证，要么不能扩展到大问题。我们提出了鲁棒幻觉上置信RL（RH-UCRL）算法来可证明地解决这个问题，同时获得接近最佳的样本复杂度保证。RH-UCRL是一种基于基于模型的强化学习（MBRL）算法，它能有效区分认知和任意的不确定性，并在策略学习过程中有效探索代理和对手的决策空间。我们通过神经网络集成模型以及神经网络策略将RH-UCRL扩展到复杂任务。在实验中，我们证明了RH-UCRL在各种对抗环境中优于其他强大的深度RL算法。
2021-03-18 cs.AI cs.LG stat.ML
SAAC: Safe Reinforcement Learning as an Adversarial Game of Actor-Critics
Stanford University（斯坦福大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
尽管强化学习（RL）对于不确定性下的顺序决策问题是有效的，但它仍然无法在风险或安全是约束性约束的现实世界系统中蓬勃发展。在本文中，我们制定了RL问题的安全约束作为一个非零和游戏。虽然部署了最大熵RL，但这种提法导致了一个安全的对抗引导的软演员-评论家框架，称为SAAC。在SAAC中，对手的目标是打破安全约束，而RL代理的目标是最大化受约束的价值函数给定对手的政策。对代理人的价值函数的安全约束只表现为代理人和对手的政策之间的排斥项。与以前的方法不同，SAAC可以解决不同的安全标准，如安全探索，均值-方差风险敏感性，CVaR的一致性风险敏感性。我们说明了这些限制的对手的设计。然后，在这些变化中的每一个，我们表明代理区分自己从对手的不安全的行动，除了学习解决任务。最后，对于具有挑战性的连续控制任务，我们证明了SAAC实现更快的收敛速度，更好的效率，更少的故障，以满足安全约束比风险厌恶的分布式RL和风险中性的软演员批评算法。
2022-07-05 cs.AI cs.GT cs.LG
Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
我们研究了针对强化学习（RL）的黑箱奖励中毒攻击，其中对手的目的是操纵奖励来误导一系列具有未知算法的RL代理，以在对手先验未知的环境中学习邪恶的策略。也就是说，我们的攻击对对手的先验知识做了最少的假设：它对环境或学习者没有初始知识，除了它执行的动作之外，它也没有观察到学习者的内部机制。我们设计了一种新的黑盒攻击，U2，可以证明达到接近匹配的性能，以最先进的白盒攻击，证明了奖励中毒的可行性，即使在最具挑战性的黑盒设置。
2021-02-16 cs.AI cs.CR cs.LG
Agnostic Reinforcement Learning: Foundations and Algorithms
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田工业大学）
本文从学习理论视角系统研究不可知策略学习，在环境访问、覆盖条件和表示条件三个轴向上提出新算法并刻画性能界限，揭示了该方法的统计能力与局限。
2025-06-02 cs.AI cs.LG stat.ML
Robust Reinforcement Learning using Adversarial Populations
UC Berkeley（加州大学伯克利分校）；Institute of Transportation Studies（交通研究所）
强化学习（RL）是控制器设计的有效工具，但可能会遇到鲁棒性问题，当底层系统动态受到扰动时会发生灾难性故障。鲁棒RL公式通过将最坏情况的对抗性噪声添加到动态中并将噪声分布构造为零和极大极小博弈的解决方案来解决这个问题。然而，现有的工作学习解决方案的鲁棒RL制定主要集中在训练一个单一的RL代理对一个单一的对手。在这项工作中，我们证明，使用一个单一的对手并不总是产生鲁棒性的动态变化下的对手的标准参数化，由此产生的政策是高度利用新的对手。我们提出了一个基于人口的增强鲁棒RL制定，其中我们随机初始化一个人口的对手和样本的人口在训练过程中均匀。我们在机器人基准测试中实证验证了使用对抗性种群会导致更稳健的策略，从而也改善了分布外泛化。最后，我们证明了这种方法提供了可比的鲁棒性和泛化域随机化在这些基准，同时避免了无处不在的域随机化失败模式。
2020-09-22 cs.LG cs.MA cs.RO
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University（布朗大学）；AI Impacts；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议，使代理在复杂的环境中有效地学习，这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划，提供有效的，但专门的教学程序。在这项工作中，我们探讨协议程序，一个代理不可知的模式，人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中，而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法，如动作修剪，奖励塑造，并在模拟训练作为我们的模式的特殊情况下，并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Constrained Meta Agnostic Reinforcement Learning
KIT Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
针对元强化学习策略在现实应用中难平衡快速适配与环境约束的问题，提出融合元学习与约束优化的C-MAML方法，训练时纳入任务特定约束以生成更安全的初始参数，在不同复杂度轮式机器人模拟运动任务中验证了有效性与鲁棒性。
2024-06-20 cs.LG
Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology（麻省理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）被认为是一种潜在的改进现实世界自治系统的框架，它吸引了多个不同领域的关注。然而，在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中，我们专注于这个问题，审查和评估的研究工作，从域不可知论和特定领域的社区。一方面，我们提供了一个全面的总结DRL的挑战，并总结了不同的建议，以减轻他们，这有助于确定领域不可知论研究的五个差距。另一方面，从特定领域的角度来看，我们讨论了不同的成功案例，并讨论了为什么其他模型可能无法部署。最后，我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
Task-Agnostic Continual Reinforcement Learning: Gaining Insights and Overcoming Challenges
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Cleanlab；Seoul National University（首尔国立大学）；HEC Montréal（蒙特利尔高等商学院）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）；Amazon Web Services（亚马逊云科技）
本文研究了任务无关持续学习与多任务学习的性能差异，提出基于回放的循环强化学习（3RL）方法，在合成任务和Meta-World基准上验证其优势，发现3RL在高维度等挑战性设置中优于基线甚至多任务方法，并揭示任务无关方法在资源受限环境中的潜力。
2023-05-17 cs.LG
Style-Agnostic Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们提出了一种新的方法学习风格无关的表示使用风格迁移和对抗学习的强化学习框架。这里的风格是指与任务无关的细节，例如图像中背景的颜色，在不同风格的环境中推广学习到的策略仍然是一个挑战。专注于学习风格不可知的表示，我们的方法训练演员从固有的对抗风格扰动生成器生成的各种图像风格，它在演员和生成器之间进行最小-最大游戏，而不需要数据增强的专家知识或对抗训练的额外类标签。我们验证了我们的方法在Procgen和Distracting Control Suite基准测试中比最先进的方法具有竞争力或更好的性能，并进一步研究了从我们的模型中提取的特征，表明该模型更好地捕获了不变量，并且较少受到转换风格的干扰。该代码可在https://github.com/POSTECH-CVLab/style-agnostic-RL上获得。
2022-08-31 cs.CV cs.LG
Fundamental Limits of Man-in-the-Middle Attack Detection in Model-Free Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）
本文研究了基于学习的中间人攻击检测问题，改进了BDD框架，通过允许奖励函数依赖当前和后续状态来捕捉攻击引起的奖励变化，并证明了检测效率的最优性。
2026-04-01 cs.LG cs.SY eess.SY
Learning Generative Models with Goal-conditioned Reinforcement Learning
Inria（法国国家信息与自动化研究所）；ENS Lyon（里昂高等师范学院）
我们提出了一个新的，替代框架学习生成模型与目标条件强化学习。我们定义了两个代理，一个目标条件代理（GC-代理）和一个监督代理（S-代理）。给定一个用户输入的初始状态，GC代理学习重建训练集。在这种情况下，训练集中的元素就是目标。在训练过程中，S-agent学习模仿GC-agent，同时保持对目标的不可知性。在推理时，我们用S-代理生成新的样本。按照类似的路线，在变分自动编码器，我们推导出一个上界的负对数似然，包括重建项和GC-代理政策和（目标不可知的）S-代理政策之间的分歧。我们的经验表明，我们的方法是能够生成多样化和高质量的图像合成任务的样本。
2023-03-26 cs.LG stat.ML
Your Policy Regularizer is Secretly an Adversary
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；DeepMind（深度思维公司）
本文揭示了强化学习中策略正则化（如最大熵）的鲁棒性源于对假想对抗者选择的奖励函数最坏情况扰动的对冲，利用凸对偶刻画了KL和alpha-散度下的对抗扰动鲁棒集，并提供了泛化保证。
2022-07-08 cs.LG stat.ML
Agnostic System Identification for Model-Based Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
针对模型类可能不包含真实系统的不可知情况，提出一种利用无遗憾在线学习算法获得近优策略的迭代方法，并在离散和连续域上验证其有效性。
2012-07-03 cs.AI cs.LG cs.SY
Task-Agnostic Online Reinforcement Learning with an Infinite Mixture of Gaussian Processes
Carnegie Mellon University（卡内基梅隆大学）
在元学习和持续学习中，人们广泛地追求通过有限的经验来不断学习解决看不见的任务，但是这些学习具有有限的假设，例如可访问的任务分布、独立和相同分布的任务以及清晰的任务描述。然而，现实世界的物理任务经常违反这些假设，导致性能下降。本文提出了一种连续在线的基于基于模型的强化学习方法，该方法不需要预先训练来解决任务边界未知的任务不可知问题。我们维护一个混合专家模型来处理非平稳性，并用高斯过程来表示每种不同类型的动态，以有效地利用收集的数据和表达模型的不确定性。我们提出了一个过渡之前，占流数据的时间依赖性和更新的混合物在线通过顺序变分推理。我们的方法可靠地处理任务分布偏移生成新的模型，以前从未见过的动态和重用旧模型。在实验中，我们的方法在非平稳任务中优于其他方法，包括在不同驾驶场景中动态变化和决策的经典控制。
2020-11-30 cs.AI cs.LG cs.RO
Adversarial Search and Tracking with Multiagent Reinforcement Learning in Sparsely Observable Environment
Institute of Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所（IRIM））
针对稀疏可观测环境中对抗性逃避智能体的搜索与跟踪难题，提出结合可学习过滤模型估计对手位置的多智能体强化学习（MARL）框架，使探测率提升46%并超越所有基线方法。
2023-10-21 cs.AI cs.LG cs.RO
Provable Reward-Agnostic Preference-Based Reinforcement Learning
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
该研究提出奖励无关的基于偏好强化学习理论框架，先探索再收集人类反馈，降低了线性偏好模型下学习最优策略的反馈需求，还适配低秩MDP并提出动作反馈场景的高效查询算法，填补了理论与实践的空白。
2024-04-17 cs.AI cs.LG math.ST
The Role of Environment Access in Agnostic Reinforcement Learning
Microsoft Research（微软研究院）；TTIC（芝加哥丰田技术学院）；MIT（麻省理工学院）
本文研究不可知策略学习在何种环境访问条件下可行，证明局部模拟器和μ-reset设置下仍不可处理，但在Block MDP中同时具备两种复位访问时可通过策略仿真器实现统计可处理性。
2025-04-07 cs.AI cs.LG stat.ML
Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究混合强化学习设置，提出一种三阶段算法，在数据收集时无需奖励信息，通过单策略部分集中性概念指导离线与在线数据结合，在样本复杂度上超越纯离线和纯在线RL。
2023-05-17 cs.IT cs.LG math.IT
On the Foundation of Distributionally Robust Reinforcement Learning
Department of Industrial and Systems Engineering, University of Southern California（工业与系统工程系，南加州大学）；Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology（工业工程与决策分析，香港科技大学）；Management Science and Engineering, Stanford University（管理科学与工程，斯坦福大学）；Stern School of Business, New York University（斯特恩商学院，纽约大学）
针对训练与部署环境变化下的鲁棒策略需求，本文构建含决策者与对手多属性的RMDP框架，研究DPP存在性并给出反例与渐近最优策略，完善DRRL理论基础。
2025-08-24 cs.LG cs.SY eess.SY
Minimalistic Attacks: How Little it Takes to Fool a Deep Reinforcement Learning Policy
Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）；National University of Singapore（新加坡国立大学）
最近的研究表明，基于神经网络的策略很容易被对抗性的例子所欺骗。然而，虽然大多数先前的作品分析了假设白盒策略访问的每帧的每个像素的扰动的影响，但在本文中，我们对对手生成采取了更具限制性的观点-目的是揭示模型脆弱性的限制。特别地，我们通过定义三个关键设置来探索最小化攻击：（1）黑盒策略访问：其中攻击者只能访问输入（状态）和输出（行动概率）的RL策略;（2）分数状态对手：其中只有几个像素被扰动，极端情况下是一个单像素对手;和（3）战术机会攻击：其中只有重要帧被策略性地选择来攻击。我们制定的对抗攻击，容纳三个关键的设置，并探讨其效力的六个雅达利游戏，通过检查四个完全训练有素的国家的最先进的政策。例如，在Breakout中，我们惊讶地发现：（i）所有策略仅通过修改0.01%的输入状态就显示出显著的性能下降，并且（ii）DQN训练的策略完全被扰动欺骗，只有1%的帧。
2020-10-29 cs.AI cs.CV cs.LG
Variable-Agnostic Causal Exploration for Reinforcement Learning
Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所（A2I2））；Deakin University（迪肯大学）
提出VACERL框架，无需指定因果变量，通过注意力机制识别关键步骤并构建因果图引导探索，在稀疏奖励和噪声环境下显著提升强化学习智能体性能。
2024-07-17 cs.AI cs.LG
Stochastic Linear Optimization with Adversarial Corruption
Northwestern University（西北大学）
我们扩展了具有对抗性腐败的随机强盗模型（Lykouriset等人，2018）到随机线性优化问题（Dani等人，2008年）。我们的算法是不可知的腐败量所选择的自适应对手。该算法的遗憾只在腐败量中线性增加。我们的算法涉及使用Löwner-John的椭球进行探索，并将时间范围划分为具有指数增长大小的时期，以限制腐败的影响。
2019-09-04 cs.LG stat.ML
Robust Adversarial Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）；Google Research（谷歌研究院）
深度神经网络与快速模拟和改进的计算相结合，最近在强化学习（RL）领域取得了成功。然而，大多数当前基于RL的方法无法推广，因为：（a）仿真和真实世界之间的差距如此之大，以至于策略学习方法无法转移;（b）即使策略学习在真实世界中完成，数据稀缺也导致从训练到测试场景的推广失败（例如，由于不同的摩擦或物体质量）。受H ∞控制方法的启发，我们注意到，建模误差以及训练和测试场景中的差异都可以被视为系统中的额外力/干扰。本文提出了鲁棒对抗强化学习（RARL）的思想，在那里我们训练一个代理操作的存在下，不稳定的对手，施加干扰力的系统。联合训练的对手得到了加强-也就是说，它学会了一个最佳的不稳定政策。我们制定的策略学习作为一个零和，极大极小的目标函数。在多个环境（InvertedPendulum，HalfCheetah，Swimmer，Hopper和Walker 2d）中进行的大量实验最终证明，我们的方法（a）提高了训练稳定性;（b）对训练/测试条件的差异具有鲁棒性;以及c）即使在没有对手的情况下也优于基线。
2017-03-08 cs.AI cs.LG cs.MA
On the Robustness of Cooperative Multi-Agent Reinforcement Learning
University of Toronto（多伦多大学）；Harvard University（哈佛大学）；Vector Institute（向量研究所）
在合作多智能体强化学习（c-MARL）中，智能体学习作为一个团队合作地采取行动，以最大化团队的总回报。我们分析了C-MARL的鲁棒性对手能够攻击一个团队的代理人之一。通过操纵该代理的观察结果的能力，对手试图减少团队的总奖励。攻击c-MARL具有挑战性，原因有三：第一，很难估计团队奖励或他们如何受到代理错误预测的影响;第二，模型是不可微的;第三，特征空间是低维的。因此，我们引入了一种新颖的攻击。攻击者首先用强化学习训练策略网络，以找到它应该鼓励受害者代理采取的错误行动。然后，对手使用有针对性的对抗性例子来迫使受害者采取这一行动。我们的研究结果的StartCraft II多智能体基准测试表明，c-MARL团队是非常容易受到扰动施加到他们的代理人的意见之一。通过攻击单个代理，我们的攻击方法对整体团队奖励产生了非常负面的影响，将其从20减少到9.4。这导致球队的胜率从98.9%下降到0%。
2020-03-08 cs.CR cs.LG stat.ML
Low-Thrust Orbital Transfer using Dynamics-Agnostic Reinforcement Learning
University of Valladolid（巴利亚多利德大学）
小推力轨道设计和飞行控制仍然是新一代卫星运行中最具挑战性的两个课题。目前实施的大多数解决方案都是基于参考轨迹，导致燃料使用次优。其他解决方案基于需要定期更新的简单指导法律，增加了运营成本。尽管一些优化策略利用了人工智能方法，但迄今为止研究的所有方法都需要先前生成的数据或卫星动态的强大先验知识。本研究使用无模型强化学习训练一个小推力中等地球轨道卫星的约束近心点提高方案的代理。智能体不具有任何环境动力学的先验知识，这使得它不偏离经典的轨迹优化模式。然后，经过训练的代理用于设计轨迹，并在巡航期间自主控制卫星。仿真结果表明，动态不可知代理能够学习准最优制导律，并对环境动态的不确定性做出良好的响应。所获得的结果为强化学习在更复杂的场景、多卫星问题或在参考解决方案未知的环境中探索轨迹的使用打开了大门
2022-10-06 cs.AI cs.LG
Agnostic Reinforcement Learning with Low-Rank MDPs and Rich Observations
Cornell University（康奈尔大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
最近，关于可证明有效的强化学习（RL）在具有丰富观测空间的问题中取得了许多进展。然而，所有这些工作都有一个关于真实MDP的最优价值函数的强可实现性假设。这种可实现性假设往往过于强大，在实践中无法坚持。在这项工作中，我们考虑更现实的设置不可知RL丰富的观察空间和固定类的政策$Π$，可能不包含任何接近最优的政策。我们提供了一个算法，该设置的误差是有界的排名$d$的底层MDP。具体来说，我们的算法的样本复杂度界限为$\widetilde{O}\left((H^{4d} K^{3d} \log |Π|)/ε^2\right)$，其中$H$是剧集长度，$K$是动作数量，而$ε>0$是所需的次最优性。我们还提供了一个几乎匹配的下限，这个不可知的设置，表明指数依赖秩是不可避免的，没有进一步的假设。
2021-06-22 cs.AI cs.LG cs.SY
Continual Deep Reinforcement Learning with Task-Agnostic Policy Distillation
University of Southampton（南安普顿大学）；University of Hamburg（汉堡大学）
本文提出 TAPD 框架，通过无外部目标、最大化内在动机的任务无关探索与策略蒸馏，缓解持续深度强化学习中的遗忘、迁移、扩展和无标签问题。
2024-11-25 cs.LG
Optimal Uniform OPE and Model-based Offline Reinforcement Learning in Time-Homogeneous, Reward-Free and Task-Agnostic Settings
UC Santa Barbara（加州大学圣巴巴拉分校）
这项工作研究了离线政策评估（OPE）问题与基于模型的方法（情节MDP）的一致收敛的统计限制，并提供了一个统一的框架，以实现最佳的学习几个动机良好的离线任务。统一OPE $\sup_Π|Q^π-\hat{Q}^π|<ε$是比逐点OPE更强的度量，并且在$Π$包含所有策略（全局类）时确保离线学习。在本文中，我们建立了一个$Ω(H^2 S/d_mε^2)$下界（基于模型的家庭）的全球一致OPE和我们的主要结果建立了$\tilde{O}(H^2/d_mε^2)$的上界的\emph{local}一致收敛，适用于所有\emph{near-empirically optimal}政策的MDP与\emph{stationary}过渡。这里$d_m$是最小边际状态-动作概率。关键是，在实现最佳速率$\tilde{O}(H^2/d_mε^2)$的亮点是我们的设计\emph{singleton absorbing MDP}，这是一个新的尖锐的分析工具，与基于模型的方法。我们将这样一个基于模型的框架推广到新的设置：离线任务不可知和离线无奖励的最佳复杂度分别为$\tilde{O}(H^2\log(K)/d_mε^2)$（$K$是任务的数量）和$\tilde{O}(H^2S/d_mε^2)$。这些结果提供了一个统一的解决方案，同时解决不同的离线RL问题。
2021-06-24 cs.AI cs.LG stat.ML
Deceptive Reinforcement Learning Under Adversarial Manipulations on Cost Signals
New York University（纽约大学）
本文研究了基于代价信号的恶意篡改下的强化学习（RL），并引入了一个量化的攻击模型框架来理解RL的脆弱性。着重于$Q$ -学习，我们证明了$Q$ -学习算法收敛的隐形攻击和有界伪造成本信号。我们的特征之间的关系伪造的成本和$Q$ -因素，以及由学习代理，提供了基本的限制可行的进攻和防守动作的政策。我们提出了一个强大的区域内的对手永远无法实现有针对性的政策的成本。我们提供的伪造成本，可以误导代理人学习对手的青睐政策的条件。一个水库控制的数值案例研究显示了RL在基于学习的控制系统中的潜在危害，并证实了结果。
2019-08-16 cs.AI cs.LG math.OC
Understanding the Limits of Poisoning Attacks in Episodic Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；University of Virginia（弗吉尼亚大学）；University of Warwick（华威大学）
为了了解强化学习（RL）算法的安全威胁，本文研究了中毒攻击，以操纵\emph{any}顺序最优的学习算法在情节RL中的目标策略，并检查了两种自然类型的中毒攻击的潜在损害，即，\emph{reward}和\emph{action}的操作。我们发现攻击的效果主要取决于奖励是有界的还是无界的。在有界奖励设置中，我们证明了只有奖励操纵或只有动作操纵不能保证成功的攻击。然而，通过结合奖励和动作操纵，对手可以操纵任何顺序最优学习算法，以遵循具有$\tildeΘ(\sqrt{T})$总攻击成本的任何目标策略，这是顺序最优的，而不需要任何底层MDP的知识。相比之下，在无界奖励设置，我们表明，奖励操纵攻击是足够的对手成功地操纵任何顺序最优的学习算法，遵循任何有针对性的政策，使用$\tilde{O}(\sqrt{T})$量的污染。我们的研究结果揭示了关于中毒攻击可以或不能实现什么的有用见解，并将激励更多关于鲁棒RL算法设计的工作。
2022-08-29 cs.CR cs.LG stat.ML
Latent Plans for Task-Agnostic Offline Reinforcement Learning
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
日常任务的长视野，包括一系列的多个隐式子任务仍然是离线机器人控制的一个重大挑战。虽然许多现有方法旨在通过模仿和离线强化学习的变体来解决这种设置，但学习的行为通常很窄，并且通常难以达到可配置的长期目标。由于这两种范式具有互补的优势和劣势，我们提出了一种新的分层方法，结合了这两种方法的优势，从高维相机观察中学习任务不可知的长视野策略。具体地说，我们结合了一个低层次的政策，学习潜在的技能，通过模仿学习和高层次的政策，从离线强化学习技能链的潜在行为先验。在各种模拟和真实的机器人控制任务的实验表明，我们的配方能够产生以前看不见的技能组合，以达到暂时延长的目标，通过“缝合”在一起的潜在技能，通过目标链与一个数量级的性能改进后，国家的最先进的基线。我们甚至在现实世界中学习了25个不同操作任务的多任务可视化策略，其性能优于模仿学习和离线强化学习技术。
2022-09-19 cs.AI cs.CV cs.LG
When is Agnostic Reinforcement Learning Statistically Tractable?
MIT（麻省理工学院）；TTIC（丰田理工学院）
本文研究不可知PAC强化学习的统计可处理性，提出仅依赖策略类的跨度容量度量，证明其在生成模型下刻画可学习性，但在线访问下存在分离，并借助向日葵结构提出POPLER算法实现高效在线学习。
2023-10-09 cs.AI cs.LG math.ST
Corruption-Robust Offline Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
研究了离线强化学习中的对抗鲁棒性问题。给定由元组$(s, a, r, s')$组成的批处理数据集，允许攻击者任意修改元组的$ε$部分。从损坏的数据集，学习器的目标是鲁棒地识别一个接近最优的策略。我们首先表明，最坏情况下的$Ω(dε)$最优间隙是不可避免的线性MDP的尺寸$d$，即使对手只损坏的奖励元素在元组。这与鲁棒监督学习中的无量纲结果和腐败在线RL设置中最著名的下限形成对比。接下来，我们提出了强大的变种的最小二乘值迭代（LSVI）算法，利用强大的监督学习神谕，实现接近匹配的性能，在有和没有完整的数据覆盖的情况下。该算法需要$ε$的知识来设计在无覆盖情况下的悲观奖金。令人惊讶的是，在这种情况下，$ε$的知识是必要的，因为我们表明，自适应未知的$ε$是不可能的。这再次与最近的结果腐败鲁棒的在线RL，并暗示鲁棒的离线RL是一个严格困难的问题。
2021-06-11 cs.LG
Falsification-Based Robust Adversarial Reinforcement Learning
Technische Universität München（慕尼黑工业大学）
强化学习（RL）在解决各种顺序决策问题方面取得了巨大进展，例如机器人中的控制任务。由于策略过度拟合训练环境，RL方法往往无法推广到安全关键的测试场景。鲁棒对抗强化学习（RARL）以前被提出来训练一个对抗网络，施加干扰到一个系统，这提高了测试场景中的鲁棒性。然而，基于神经网络的对手的一个问题是，在不手工制作复杂的奖励信号的情况下集成系统要求是困难的。安全证伪方法允许人们找到一组初始条件和一个输入序列，使得系统违反在时序逻辑中制定的给定属性。在本文中，我们提出了基于证伪的RARL（FRARL）：这是第一个将时态逻辑证伪集成到对抗学习中以提高策略鲁棒性的通用框架。通过应用我们的证伪方法，我们不需要为对手构造额外的奖励函数。此外，我们评估我们的方法上的制动辅助系统和自适应巡航控制系统的自动驾驶汽车。我们的实验结果表明，与没有对手或对抗网络的训练相比，使用基于伪造的对手训练的策略更好地泛化，并且在测试场景中显示出更少的违反安全规范的行为。
2023-03-20 cs.FL cs.LG cs.RO
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research（微软研究院）；MPI-SWS（马克斯·普朗克软件系统研究所）；ETH Zurich（苏黎世联邦理工学院）
逆强化学习（IRL）使智能体能够通过观察（接近）最优策略的演示来学习复杂的行为。典型的假设是，学习者的目标是匹配教师的示范行为。在本文中，我们考虑的设置，学习者有自己的喜好，它另外考虑。例如，这些偏好可以捕获行为偏见，不匹配的世界观或物理约束。我们研究了两种教学方法：学习者不可知的教学，其中教师提供示范，从一个最佳的政策，忽略学习者的喜好，和学习者意识到的教学，其中教师占学习者的喜好。我们设计的学习者意识的教学算法，并表明显着的性能改善，可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
