A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求，强化学习器在约束设置，包括对结果的信心。我们表明，代理的信心在约束满足提供了一个有用的信号，在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
本文结合RL策略模型检查与共激活图分析，解释经过安全验证的深度强化学习策略的内部机制，并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University（康奈尔大学）
我们研究了自然随机策略的有效离策略评估，这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价，其中大多数工作考虑明确规定的政策的评价。至关重要的是，具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题，导致基于当前实践的政策，并提高政策在实践中的可实施性。与经典的情况下，一个预先指定的评估政策，评估自然随机政策时，效率界，衡量最佳可实现的估计误差，膨胀，因为评估政策本身是未知的。在本文中，我们推导出两种主要类型的自然随机政策：倾斜政策和修改的治疗政策的效率界。然后，我们提出了有效的非参数估计，在非常宽松的条件下达到效率界。这些也享有（部分）双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
Programmatically Interpretable Reinforcement Learning
Rice University（莱斯大学）；Google Brain（谷歌大脑）；Deepmind（深度思维）
我们提出了一个强化学习框架，称为程序可解释的强化学习（PIRL），旨在生成可解释和可验证的代理政策。与流行的深度强化学习（DRL）范式不同，它通过神经网络来表示策略，PIRL使用高级的、特定于领域的程序设计语言来表示策略。这种程序化策略的好处是比神经网络更容易解释，并且可以通过符号方法进行验证。我们提出了一种新的方法，称为神经导向程序搜索（NDPS），解决具有挑战性的非光滑优化问题，找到一个最大的奖励计划的政策。NDPS的工作原理是首先使用DRL学习神经策略网络，然后在编程策略上执行本地搜索，以最大限度地减少与这个神经“oracle”的距离。我们评估NDPS的任务，学习驾驶模拟汽车在TORCS赛车环境。我们证明，NDPS是能够发现人类可读的政策，通过一些显着的性能酒吧。我们还表明，PIRL政策可以有更平滑的轨迹，可以更容易地转移到训练过程中没有遇到的环境，比DRL发现相应的政策。
2019-04-10 cs.AI cs.LG cs.PL
Composing Task-Agnostic Policies with Deep Reinforcement Learning
UC San Diego（加州大学圣地亚哥分校）；University of Washington（华盛顿大学）
解决具有挑战性的迁移学习问题的基本行为组合是构建智能机器的关键要素之一。到目前为止，已经有大量的工作学习特定于任务的政策或技能，但几乎没有关注组成必要的，任务不可知的技能，以找到解决新问题的方法。在本文中，我们提出了一种新的基于深度强化学习的技能转移和组合方法，该方法采用代理的原始策略来解决看不见的任务。我们评估我们的方法在困难的情况下，通过标准的强化学习（RL），甚至分层RL的训练策略是不可行的，或表现出高的样本复杂性。我们表明，我们的方法不仅将技能转移到新的问题设置，而且还解决了具有挑战性的环境，需要高数据效率的任务规划和运动控制。
2019-12-30 cs.AI cs.LG cs.RO
Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
众所周知，深度强化学习（RL）策略容易受到对其观察结果的对抗性扰动的影响，类似于分类器的对抗性示例。然而，攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑：是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体，从而创建对抗性的自然观察？我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏，对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者，但产生了看似随机和不协调的行为。我们发现，这些政策是更成功的高维环境中，并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
本文提出区分DRL智能体漏洞来源的方法，并开发两种基于RL的定量基准测试技术，以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性，并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；ATHENE；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Hessian AI（黑森人工智能研究所）；DFKI（德国人工智能研究中心）
针对深度强化学习策略黑盒导致的目标错位问题，提出INTERPRETER快速蒸馏方法生成可解释可编辑的树程序，在多种任务上匹配基准性能，并能修正Atari游戏错位及解释农业策略。
2024-05-23 cs.AI cs.LG
Verified Probabilistic Policies for Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
深度强化学习是一种越来越流行的技术，用于合成策略以控制代理与其环境的交互。人们对正式验证这些策略是否正确并安全执行的兴趣也越来越大。在这一领域取得的进展是建立在现有工作的基础上，对深层神经网络和连续状态动力系统进行验证。在本文中，我们解决了验证深度强化学习的概率策略的问题，例如，用于解决对抗性环境，打破对称性和管理权衡。我们提出了一个抽象的方法，基于区间马尔可夫决策过程，产生概率保证政策的执行，目前的技术来建立和解决这些模型，使用抽象的解释，混合整数线性规划，基于熵的细化和概率模型检验。我们实现我们的方法，并说明其有效性的选择强化学习基准。
2022-06-01 cs.AI cs.LG cs.LO
Latent Space Policies for Hierarchical Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
我们解决了学习用于强化学习的分层深度神经网络策略的问题。与明确限制或削弱层次结构的较低层以迫使它们使用更高级别的调制信号的方法相反，我们框架中的每一层都经过训练以直接解决任务，但通过最大熵强化学习目标获得一系列不同的策略。每一层还增加了潜在的随机变量，这些变量是在该层的训练期间从先验分布中采样的。最大熵目标使得这些潜在变量被并入层的策略中，并且较高级别的层可以通过该潜在空间直接控制较低层的行为。此外，通过约束从潜变量到动作的映射是可逆的，更高层保留了完整的表达能力：高层和低层都不受其行为的约束。我们的实验评估表明，我们可以通过添加额外的层来提高单层策略在标准基准任务上的性能，并且我们的方法可以通过在针对简单低级别目标优化的高熵技能之上学习更高级别的策略来解决更复杂的稀疏奖励任务。
2018-09-03 cs.AI cs.LG stat.ML
A Genetic Fuzzy System for Interpretable and Parsimonious Reinforcement Learning Policies
The University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
针对传统学习分类器系统规则库庞大难解释的问题，提出基于多目标与协同协同进化的 Pittsburgh 遗传模糊系统 Fuzzy MoCoCo，在 Mountain Car 环境中演化出可解释、高性能且简约的强化学习策略。
2023-05-17 cs.AI cs.LG cs.NE
Disentangled Skill Embeddings for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们提出了一个新的多任务强化学习（MTRL）的框架。使用变分推理公式，我们学习的政策，概括了不断变化的动态和目标。由此产生的政策是参数化的共享参数，允许不同的动态和目标条件之间的转移，并通过任务特定的潜在空间嵌入，允许专业化特定的任务。我们展示了潜在空间如何使泛化到看不见的动态和目标条件。此外，配备了这种嵌入的策略可以作为分层强化学习的技能（或选项）空间。由于我们可以独立地改变任务动态和目标，我们将我们的框架命名为Disentangled Skill Embeddings（DSE）。
2019-06-21 cs.AI cs.LG stat.ML
Maximum Entropy Reinforcement Learning with Mixture Policies
Technion, Israel Institute of Technology（以色列理工学院）
混合模型是一种表达性的假设类，可以近似一组丰富的策略。然而，在最大熵（MaxEnt）框架中使用混合策略并不简单。混合模型的熵不等于其分量之和，在大多数情况下也没有封闭形式的表达式。因此，在MaxEnt算法中使用这样的策略需要构建混合熵的易处理的近似。在本文中，我们得到一个简单的，低方差混合熵估计。我们表明，它是密切相关的边际熵的总和。配备我们的熵估计，我们推导出一个算法的软演员批评（SAC）的混合策略的情况下，并评估它的一系列连续控制任务。
2021-03-18 cs.AI cs.LG
Gimitest: A Comprehensive Tool for Testing Reinforcement Learning Policies
Simula Research Laboratory（西莫拉研究实验室）
针对强化学习策略可靠性测试难的问题，提出综合框架并实现开源工具Gimitest，它支持多种gym框架，可修改集成组件，能在不同环境下测试单智能体和多智能体RL策略，展示了其有效性。
2026-07-09 cs.AI cs.LG cs.SE
Diverse Policies Converge in Reward-free Markov Decision Processe
Tsinghua University（清华大学）；Paradigm Inc.（第四范式公司）
针对现有多样性强化学习算法缺乏收敛性与效率理论支撑的问题，本文提出统一的研究框架，分析多样化策略训练的收敛性，提出可证明高效的算法，并通过数值实验验证有效性。
2023-08-23 cs.AI cs.LG
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies
University of California, Berkeley（加州大学伯克利分校）
我们是否可以使用强化学习来学习可以执行各种不同任务的通用策略，从而获得灵活且可重用的技能？上下文策略原则上提供了这种能力，但是上下文的表示决定了泛化和表达的程度。范畴语境排除了对全新任务的概括。以目标为条件的策略可以实现一些泛化，但不能捕获可能需要的所有任务。在本文中，我们提出了目标分布作为一个通用的和广泛适用的任务表示适合上下文的政策。目标分布是通用的，因为当配备适当的分布类时，它们可以表示任何基于状态的奖励函数，而分布类的特定选择允许我们权衡表达性和可学习性。我们开发了一种称为分布条件强化学习（DisCo RL）的离线策略算法来有效地学习这些策略。我们在各种机器人操作任务上评估了DisCo RL，发现它在需要推广到新目标分布的任务上的性能显着优于先前的方法。
2021-04-23 cs.AI cs.LG cs.RO
Multi-Agent Deep Reinforcement Learning with Adaptive Policies
University of Science and Technology of China（中国科学技术大学）
针对多智能体强化学习（RL）中的非平稳性问题，提出了一种新的解决方法。这违反了大多数单智能体RL方法的马尔可夫假设，是多智能体RL的关键挑战之一。为了解决这个问题，我们建议训练多个政策，为每个代理，并推迟执行时的最佳政策的选择。具体来说，我们模拟环境的非平稳性与一组有限的场景和训练政策适合每个场景。除了多个策略之外，每个代理还学习策略预测器，以确定哪个策略是最好的。通过这样做，每个代理都能够在环境变化时调整其策略，并且因此其他代理在执行期间更改其策略。我们在文献中为多智能体深度RL提出的各种常见基准问题上对我们的方法进行了经验评估。我们的实验结果表明，我们的算法训练的代理人有更好的适应性，在不断变化的环境中，并在所有测试环境中优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG cs.MA
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Learning Curriculum Policies for Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习中的课程学习是一种训练方法，其旨在通过首先对一系列简单任务进行训练并将所获得的知识转移到目标任务来加速对困难目标任务的学习。自动选择一系列这样的任务（即课程）是一个开放的问题，一直是最近在这一领域的工作的主题。在本文中，我们建立在最近的课程设计方法，制定课程排序问题作为一个马尔可夫决策过程。我们扩展了这个模型来处理多个迁移学习算法，并首次表明，这个MDP的课程政策可以从经验中学习。我们探索各种表示，使这成为可能，并评估我们的方法，学习课程政策的多个代理在两个不同的领域。结果表明，我们的方法产生的课程，可以训练代理执行目标任务的速度或速度比现有的方法。
2018-12-01 cs.AI cs.LG stat.ML
Interpretable Policies for Reinforcement Learning by Genetic Programming
Technical University of Munich, Department of Informatics（慕尼黑技术大学信息学院）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
本文提出基于模型驱动批量强化学习和遗传编程的GPRL方法，通过预存的默认状态-动作轨迹样本自动生成可解释的强化学习策略，实验表明其优于传统符号回归方法。
2018-04-04 cs.AI cs.NE cs.SY
Hysteresis-Based RL: Robustifying Reinforcement Learning-based Control Policies via Hybrid Control
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Eindhoven University of Technology（埃因霍温理工大学）
强化学习（RL）是一种很有前途的复杂系统控制方法。正如我们在两个控制问题中所示，使用近端策略优化（PPO）和深度Q网络（DQN）算法所导出的策略可能缺乏鲁棒性保证。出于这些问题，我们提出了一种新的混合算法，我们称之为基于滞后的RL（HyRL），增强了现有的RL算法滞后切换和两个阶段的学习。我们说明了它的属性在PPO和DQN失败的两个例子。
2022-04-01 cs.AI cs.LG cs.SY
Towards Interpretable Reinforcement Learning with Constrained Normalizing Flow Policies
Örebro University（厄勒布鲁大学）；IT University of Copenhagen（哥本哈根信息技术大学）
提出约束归一化流策略，通过解析构造可解释变换序列保证瞬时安全约束满足，实现构造即安全且更易学习的强化学习策略。
2024-05-02 cs.AI cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Alberta（阿尔伯塔大学）；Tübingen AI Center（图宾根人工智能中心）；ELLIS Institute（ELLIS研究所）；Technische Universität Braunschweig（不伦瑞克工业大学）
本文提出非线性因果模型约简框架，通过扰动策略动作并观察累积奖励变化，学习高层的简化因果模型来解释强化学习策略行为，并在合成和实际任务中验证其能揭示策略的行为模式、偏差与失败模式。
2025-07-20 cs.AI cs.LG stat.ML
PAC-Bayesian Reinforcement Learning Trains Generalizable Policies
Université Claude Bernard Lyon 1, LIRIS, UMR CNRS 5205, France（里尔一大学，LIRIS，法国CNRS 5205）
提出一种新的 PAC-Bayesian 泛化界，通过链的混合时间显式考虑数据中的马尔可夫依赖性，并基于此设计 PB-SAC 算法以优化该界指导探索，在连续控制任务中提供有意义的置信度证书且保持竞争性能。
2026-05-28 cs.AI cs.LG stat.ML
Developing cooperative policies for multi-stage reinforcement learning tasks
Queensland University of Technology（昆士兰科技大学）；Queensland Centre of Robotics（昆士兰机器人中心）
许多分层强化学习算法利用一系列独立的技能作为基础，以解决更高层次的推理任务。这些算法没有考虑使用合作技能而不是独立技能的价值。本文提出了一种协作竞争策略（CCP）方法，使连续的智能体能够协作解决长时间范围的多阶段任务。这种方法是通过修改每个代理的策略来最大化当前和下一个代理的批评来实现的。合作最大化的批评者允许每个代理采取行动，有利于其任务以及后续任务。在多房间迷宫域和孔操作域中使用这种方法，合作策略能够胜过一组天真的策略，在整个域中训练的单个代理，以及另一个顺序HRL算法。
2022-05-11 cs.AI cs.LG
Reinforcement Learning with Deep Energy-Based Policies
UC Berkeley（加州大学伯克利分校）；OpenAI；International Computer Science Institute（国际计算机科学研究所）
我们提出了一种方法来学习表达能量为基础的政策，连续的状态和行动，这是可行的，只有在表格域之前。我们应用我们的方法来学习最大熵策略，从而产生一种新的算法，称为软Q学习，通过玻尔兹曼分布表示最优策略。我们使用最近提出的摊销Stein变分梯度下降来学习一个随机采样网络，该网络近似于来自该分布的样本。所提出的算法的好处包括改进的探索和组合性，允许在任务之间转移技能，我们在游泳和步行机器人的模拟实验中证实了这一点。我们还与演员-评论家方法建立了联系，可以将其视为对相应的基于能量的模型进行近似推理。
2017-07-21 cs.AI cs.LG
Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Simula Research Laboratory（西穆拉研究院）
针对神经网络剪枝可能破坏强化学习策略安全性的问题，提出结合剪枝与模型检查的VERINTER方法，量化剪枝及神经连接对安全属性的影响，在维持剪枝策略安全性的同时提升可解释性，且在多场景验证有效。
2024-09-16 cs.LG
Clinician-in-the-Loop Decision Making: Reinforcement Learning with Near-Optimal Set-Valued Policies
University of Michigan（密歇根大学）；Michigan Medicine, University of Michigan（密歇根大学密歇根医学院）；Institute for Healthcare Policy & Innovation, University of Michigan（密歇根大学医疗政策与创新研究所）
标准的强化学习（RL）旨在找到一个最优策略，为每个状态确定最佳行动。然而，在医疗保健环境中，许多动作可以相对于奖励几乎等同（例如，生存）。我们考虑了另一个目标-学习集值策略，以捕获导致类似累积奖励的近似等价行为。我们提出了一个无模型算法的基础上的时间差异学习和一个近似贪婪的启发式动作选择。我们分析了所提出的算法的理论特性，提供最优性保证，并在模拟环境和实际临床任务上演示了我们的方法。经验上，该算法表现出良好的收敛性能，并发现有意义的近等价行动。我们的工作为临床医生/人在环决策提供了理论和实践基础，其中人类（例如，临床医生，患者）可以结合额外的知识（例如，副作用、患者偏好）。
2020-07-24 cs.AI cs.LG stat.ML
Representation of Reinforcement Learning Policies in Reproducing Kernel Hilbert Spaces
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Facebook AI Research（Facebook人工智能研究）；CIFAR AI chair（CIFAR人工智能主席职位）；DeepMind；Université de Montréal（蒙特利尔大学）
我们提出了一个一般的框架政策表示的强化学习任务。这个框架涉及到找到一个低维嵌入的再生核希尔伯特空间（RKHS）的政策。使用RKHS为基础的方法，使我们能够得到强有力的理论保证的预期回报的重建政策。这种保证在黑盒模型中通常是缺乏的，但在需要稳定性的任务中是非常可取的。我们在经典的RL域上进行了几个实验。结果表明，该策略可以鲁棒地嵌入到一个低维空间中，而嵌入的策略几乎不会导致收益减少。
2020-10-15 cs.LG stat.ML
Learning Relative Return Policies With Upside-Down Reinforcement Learning
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；Università della Svizzera italiana (USI)（瑞士意大利语区大学）；Scuola universitaria professionale della Svizzera italiana (SUPSI)（瑞士意大利语区应用科学大学）；ARAYA Inc.（ARAYA公司）；Imperial College London（伦敦帝国学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；NNAISENSE（NNAISENSE公司）
最近，人们对使用监督学习来解决强化学习问题的兴趣重新抬头。最近在这一领域的工作主要集中在学习命令条件下的政策。我们研究了这样一种方法的潜力-颠倒强化学习-与指定某些标量值和观察到的回报之间的期望关系的命令一起工作。我们表明，倒置强化学习可以学习执行这样的命令在线表强盗设置和CartPole与非线性函数逼近。通过这样做，我们展示了这一系列方法的力量，并为它们在更复杂的命令结构下的实际使用开辟了道路。
2022-05-10 cs.AI cs.LG
How to pick the domain randomization parameters for sim-to-real transfer of reinforcement learning policies?
University of California San Diego（加利福尼亚大学圣地亚哥分校）
最近，强化学习（RL）算法在从最小处理输入学习复杂行为方面取得了显着的成功。然而，这种成功大多局限于模拟。虽然在实际系统中直接应用RL算法取得了很大的成功，但RL算法在更复杂系统中的性能仍然受到RL算法相对数据效率低下的影响。域随机化是一个很有前途的研究方向，已经证明了使用RL算法控制真实机器人的令人印象深刻的结果。在高级别上，域随机化的工作原理是训练模拟中环境条件分布的策略。如果环境足够多样化，那么在这种分布上训练的策略将可以推广到现实世界。在域随机化中，人类指定的设计选择是模拟环境分布的形式和参数。目前还不清楚如何最好地选择这种分布的形式和参数，以前的工作使用手动调整的分布。这个扩展的抽象表明，分布的选择在现实世界中的训练策略的性能中起着重要作用，并且可以优化该分布的参数以最大化训练策略在现实世界中的性能
2019-03-28 cs.AI cs.LG stat.ML
Optimising Lockdown Policies for Epidemic Control using Reinforcement Learning
TCS Research（塔塔咨询服务研究院）；Microsoft Research（微软研究院）
在新型冠状病毒肺炎（COVID-19）疫情持续的背景下，多份报告和研究试图对该疾病的传播进行建模和预测。关于限制对健康和经济的损害的政策也有激烈的辩论。一方面，人口的健康和安全是大多数国家的主要考虑。另一方面，我们不能忽视全国范围内严格封锁可能造成的长期经济损害。在这篇工作论文中，我们提出了一种定量方法来计算单个城市或地区的封锁决策，同时平衡健康和经济因素。此外，这些政策是自动学习所提出的算法，作为疾病参数（传染性，妊娠期，症状持续时间，死亡概率）和人口特征（密度，运动倾向）的函数。我们考虑了现实的考虑因素，如不完美的封锁，并表明使用强化学习获得的政策是一个可行的量化方法对封锁。
2020-05-01 cs.AI cs.LG physics.soc-ph
Reinforcement Learning for Optimization of COVID-19 Mitigation policies
Sony AI（索尼人工智能）；Sapienza University of Rome（罗马大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
二零二零年，COVID-19病毒导致历史上最严重的全球大流行病之一。因此，世界各国政府都面临着保护公众健康的挑战，同时尽最大可能保持经济运行。流行病学模型提供了对这些类型疾病传播的深入了解，并预测可能的干预政策的效果。然而，迄今为止，即使是最受数据驱动的干预政策也依赖于统计学。在本文中，我们研究了如何使用强化学习（RL）来优化缓解政策，最大限度地减少经济影响，而不压倒医院的能力。我们的主要贡献是（1）一种新的基于代理的流行病模拟器，与传统的模型不同，它能够模拟社区中特定位置的人之间的细粒度交互;（2）一种基于RL的方法，用于优化该模拟器中的细粒度缓解策略。我们的研究结果验证了整体模拟器的行为和现实条件下的学习策略。
2020-10-20 cs.AI cs.CY cs.LG
PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies
Princeton University（普林斯顿大学）；University of British Columbia（英属哥伦比亚大学）
我们提出了一种新的强化学习为基础的框架PoBRL解决多文档摘要。PoBRL共同优化了高质量摘要所需的以下三个目标：重要性，相关性和长度。我们的策略将这种多目标优化分解为不同的子问题，这些子问题可以通过强化学习单独解决。然后，利用PoBRL，我们将每个学习到的策略混合在一起，以生成一个摘要，该摘要是原始输入的简洁而完整的表示。我们的实证分析显示了几个多文档数据集的最先进的性能。人工评估也表明，我们的方法产生高质量的输出。
2021-05-18 cs.AI
Improving Robustness via Risk Averse Distributional Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
阻碍强化学习在现实应用中取得成功的一个主要障碍是训练策略缺乏鲁棒性，无论是对模型不确定性还是外部干扰。当在模拟而不是真实世界环境中训练策略时，鲁棒性至关重要。在这项工作中，我们提出了一个风险意识的算法来学习强大的政策，以弥合模拟训练和现实世界的实现之间的差距。我们的算法是基于最近发现的分布式RL框架。我们将CVaR风险度量引入基于样本的分布式策略梯度（SDPG）中，学习风险规避策略，以实现对系统扰动的鲁棒性。我们验证了风险感知SDPG在多个环境中的鲁棒性。
2020-05-01 cs.LG stat.ML
Deep Reinforcement Learning for Inquiry Dialog Policies with Logical Formula Embeddings
NEC Data Science Research Laboratories（NEC数据科学研究实验室）；PKSHA Technology Inc.（PKSHA科技公司）
本文首次尝试使用深度强化学习（DRL）来学习查询对话系统（IDS）的策略。大多数IDS框架用逻辑公式表示对话状态和对话行为。为了使学习查询对话策略更有效，我们引入了一个基于递归神经网络的逻辑公式嵌入框架。实验结果表明，基于DRL和逻辑公式嵌入框架的查询对话策略的效果与现有的基于规则的查询对话策略的效果相当，甚至更好。
2017-08-02 cs.AI cs.CL
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences；Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略（GTP），通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹，并引入两种理论自适应方法，在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
Learning Fair Pareto-Optimal Policies in Multi-Objective Reinforcement Learning
针对多目标强化学习中固定用户偏好无法提供多样化策略的问题，提出基于广义基尼福利函数的多策略方法，学习公平帕累托最优策略集。
2026-06-17 cs.AI cs.LG
On the Convergence Theory of Meta Reinforcement Learning with Personalized Policies
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现代Meta强化学习（Meta-RL）方法主要是基于模型无关元学习开发的，其在任务之间执行策略梯度步骤以最大化策略性能。然而，Meta-RL中的梯度冲突问题仍然知之甚少，这可能会导致性能下降时，遇到不同的任务。为了解决这一问题，提出了一种新的个性化元强化学习（pMeta-RL）算法，该算法聚合特定于任务的个性化策略来更新用于所有任务的元策略，同时在元策略约束下保持个性化策略以最大化每个任务的平均回报。我们还提供了理论分析下的表格设置，这表明我们的pMeta-RL算法的收敛性。此外，我们将所提出的pMeta-RL算法扩展到基于软演员-评论家的深度网络版本，使其适用于连续控制任务。实验结果表明，该算法在Gym和MuJoCo上的性能优于其他Meta-RL算法。
2022-09-21 cs.AI cs.LG
Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies
Princeton University（普林斯顿大学）；Siemens Corporation, Corporate Technology（西门子公司企业技术部）
我们考虑的问题时，强化学习提供（1）基线控制策略和（2）一组约束，学习者必须满足。基线策略可以来自演示数据或教师代理，并且可以为学习提供有用的线索，但它也可能对于手头的任务是次优的，并且不能保证满足指定的约束，这些约束可能编码安全性，公平性或其他特定于应用的要求。为了安全地学习基线策略，我们提出了一种迭代策略优化算法，该算法在最大化任务的预期回报，最小化与基线策略的距离以及将策略投影到满足约束的集合之间交替。我们从理论上分析了我们的算法，并提供了一个有限时间收敛保证。在我们对五个不同的控制任务的实验中，我们的算法始终优于几个最先进的基线，实现了10倍的约束违规和40%的平均奖励。
2021-07-10 cs.AI cs.LG cs.RO
Direct Random Search for Fine Tuning of Deep Reinforcement Learning Policies
University of California, Santa Barbara（加州大学圣巴巴拉分校）
研究人员已经证明，深度强化学习（DRL）是一种强大的工具，可以找到在复杂机器人系统上表现良好的策略。然而，这些政策往往是不可预测的，可以诱导高度可变的行为时，只有略有不同的初始条件进行评估。训练考虑因素约束DRL算法设计，因为大多数算法在训练期间必须使用随机策略。然而，在部署过程中使用的最终策略可以并且经常是确定性的，在每一步都使用最大可能性操作（MLA）。在这项工作中，我们表明，直接随机搜索是非常有效的微调DRL政策，直接优化他们使用确定性推出。我们通过大量的强化学习环境来说明这一点，使用从不同算法获得的各种各样的策略。我们的研究结果表明，这种方法在我们测试的环境中产生更一致和更高性能的代理。此外，我们还演示了如何使用这种方法来扩展我们以前的工作，缩小深度神经网络（DNN）策略下运行的闭环系统的可达状态空间的维数。
2022-03-04 cs.LG cs.RO
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）
本文针对序列反事实解释中强化学习策略存在动作偏置的问题，提出利用分类器输出概率设计更具信息量的奖励函数，以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach
University of Toronto（多伦多大学）
在广泛应用的在线匹配问题的挑战在于，使不可撤销的分配，而未来的输入是不确定的。大多数基于理论的政策本质上都是短视或贪婪的。在匹配过程定期重复的实际应用程序中，可以利用底层数据分布来更好地做出决策。我们提出了一个端到端的强化学习框架，用于基于历史数据的试错来获得更好的匹配策略。我们设计了一组神经网络架构，设计功能表示，并经验评估他们在两个在线匹配问题：边加权在线二分匹配和在线子模块二分匹配。我们表明，大多数学习方法在四个合成和真实世界的数据集上的表现始终优于经典的基线算法。平均而言，我们提出的模型在各种合成和真实世界的数据集上将匹配质量提高了3- 10\ %。我们的代码可在https://github.com/lyeskhalil/CORL上公开获取。
2022-10-31 cs.AI cs.LG
Optimal Attacks on Reinforcement Learning Policies
KTH Royal Institute of Technology（KTH皇家理工学院）
使用深度强化学习训练的控制策略最近被证明容易受到对抗攻击的攻击，即使对策略输入引入非常小的扰动。到目前为止，提出的攻击是使用反演算法设计的，并建立在现有的对抗性示例制作技术的基础上，这些技术用于在监督学习中欺骗分类器。相比之下，本文研究了设计最佳攻击的问题，这取决于一个明确定义的攻击者的目标，例如，最小化主代理的平均奖励当攻击者知道策略和系统动态以及奖励时，这种情况被称为白盒攻击，设计最佳攻击相当于解决马尔可夫决策过程。对于我们所说的黑盒攻击，即策略和系统都不知道，可以使用强化学习技术训练最佳攻击。通过数值实验，我们证明了我们的攻击与现有攻击（通常基于梯度方法）相比的效率。我们进一步量化了攻击的潜在影响，并建立了它与受到攻击的策略的平滑性的联系。平滑的策略自然不容易受到攻击（这解释了为什么Lipschitz策略在状态方面更具弹性）。最后，我们表明，从主代理的角度来看，系统的不确定性和攻击者可以建模为一个部分可观测的马尔可夫决策过程。我们实际上证明了使用针对POMDP定制的强化学习技术（例如使用递归神经网络）可以带来更有弹性的策略。
2019-07-31 cs.CR cs.LG stat.ML
Composable Energy Policies for Reactive Motion Generation and Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；University of Washington（华盛顿大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
反应性运动生成问题通常通过将动作计算为策略的总和来解决。然而，这些策略是相互独立的，因此，当将它们的贡献加在一起时，它们可能会有冲突的行为。我们介绍了可组合能源政策（CEP），一个新的框架模块化反应运动生成。CEP通过对一组随机策略的乘积进行优化来计算控制动作。这种策略的产物将为满足所有组件的那些行动提供高概率，而为其他组件提供低概率。优化策略的产品避免了策略之间的冲突行为的有害影响，选择满足所有目标的行为。此外，我们表明CEP自然适应强化学习问题，使我们能够以分层的方式整合任何分布作为先验，从多峰分布到非光滑分布，并学习新的策略。
2021-05-11 cs.LG cs.RO
Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression
University College London（伦敦大学学院）
本文提出一种将神经网络强化学习策略蒸馏为GBMs、EBMs和符号回归等可解释模型的方法，结合DAgger算法解决分布偏移，在多种机器人步态上以极低交互成本实现高可解释性。
2024-03-21 cs.AI cs.LG cs.RO
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Centre for Autonomous Marine Operations and Systems (AMOS)（自主海洋作业与系统中心）
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类，以识别行为模式和次优决策，并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Wasserstein Unsupervised Reinforcement Learning
Tsinghua University（清华大学）
无监督强化学习旨在训练智能体在没有外部奖励的环境中学习少量策略或技能。这些预先训练好的策略在被赋予外部奖励时可以加速学习，也可以作为分层强化学习中的原始选项。传统的无监督技能发现方法通过向Agent提供一个潜在变量，并通过互信息（MI）最大化来释放其对Agent行为的授权。然而，通过基于MI的方法学习的策略不能充分地探索状态空间，尽管它们可以成功地彼此识别。因此，我们提出了一个新的框架Wasserstein无监督强化学习（WURL），我们直接最大化的状态分布的距离不同的政策。此外，我们克服了同时训练N（N >2）个策略的困难，并将整体奖励分摊到每一步。实验表明，我们的方法学习的策略优于基于MI的方法的Wasserstein距离的度量，同时保持高的可区分性。此外，WURL训练的智能体可以充分探索迷宫和MuJoCo任务中的状态空间，并且预先训练的策略可以通过分层学习应用于下游任务。
2021-10-15 cs.LG
Hierarchical Reinforcement Learning for Concurrent Discovery of Compound and Composable Policies
Istituto Italiano di Tecnologia（意大利技术研究院）；Università di Genova（热那亚大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
处理复杂任务的昂贵的强化学习（RL）的一个常见策略是将它们分解为一系列子任务，这些子任务通常更容易学习，并且可用于新问题。然而，当机器人学习这些子任务的策略时，常见的方法单独对待每个策略学习过程。因此，在通过策略组合处理复杂任务的学习过程之前，需要学习所有这些单独的（可组合的）策略。此外，这种单个策略的组合通常是顺序执行的，这不适合需要并发执行子任务的任务。在本文中，我们提出了一组组合高斯政策对应于这些子任务使用一组激活向量，从而在一个复杂的高斯政策，这是一个函数的手段和协方差矩阵的组合政策。此外，我们提出了一种算法，用于学习复合和组合政策在同一个学习过程中，利用从复合政策产生的政策外的数据。该算法建立在最大熵RL方法的基础上，有利于学习过程中的探索。实验结果表明，收集的经验与复合政策允许不仅要解决复杂的任务，但也获得有用的组合策略，成功地执行在其相应的子任务。
2019-08-01 cs.AI cs.LG cs.RO
