On Polynomial Sized MDP Succinct Policies
马尔可夫决策过程（Markov Decision Process，MDP）的策略根据当前状态以及可能的历史（过去的状态）确定要执行的下一个操作。当状态的数量很大时，通常使用简洁的表示来在减少的空间量中复杂地表示MDP和策略。本文分析了与简洁表示策略的规模有关的一些问题。也就是说，它示出，一些MDP的政策，只能表示在空间超多项式的大小的MDP，除非多项式层次崩溃。这一事实激发了对决定给定MDP是否具有给定大小和奖励的策略的问题的研究。由于MDP的一些算法通过找到价值函数的简洁表示来工作，因此还考虑了确定给定大小和奖励的价值函数的简洁表示的存在性的问题。
2011-06-24 cs.AI
Efficient Computation of Blackwell Optimal Policies using Rational Functions
IIT Bombay（印度理工学院孟买分校）
针对现有Blackwell最优（BO）策略计算算法存在的计算成本高或难以实现的问题，提出利用1附近有理函数排序的方法，为确定性MDPs提供首个强多项式时间算法，为一般MDPs提供首个亚指数时间算法，并推广策略迭代算法扩展上界。
2025-08-25 cs.AI
Reconciling Rewards with Predictive State Representations
Northeastern University（东北大学）
预测状态表示（PSR）是受控非马尔可夫观测序列的模型，其表现出相同的生成过程，而不依赖于潜在的潜在状态。在这方面，PSR与相应的POMDP无法区分。然而，众所周知，PSR忽略了奖励的概念，这破坏了PSR模型在控制、规划或强化学习方面的通用性。因此，我们描述了一个充分和必要的准确性条件，它决定了PSR是否能够准确地建模POMDP奖励，我们表明，即使不满足准确性条件，奖励也可以近似，我们发现，从一个著名的第三方存储库中获取的非平凡数量的POMDP不满足准确性条件。我们提出了奖励预测状态表示（R-PSRs），这是对PSRs的一种推广，它可以准确地对观测和奖励进行建模，并为R-PSRs开发了值迭代。我们发现，有一个最佳POMDP政策和最佳PSR政策来自近似奖励之间的不匹配。另一方面，最佳R-PSR策略与最佳POMDP策略完美匹配，重新确认R-PSR是准确的无状态观察和奖励生成模型。
2021-06-07 cs.AI cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Training Transition Policies via Distribution Matching for Complex Tasks
The Ohio State University（俄亥俄州立大学）
人类将新的复杂任务分解为更简单的任务，以利用先前学到的技能。类似地，分层强化学习试图利用简单任务的低层策略来解决复杂任务。然而，由于每个较低级别的策略引起不同的状态分布，因此从一个较低级别的策略转换到另一个较低级别的策略可能会由于意外的起始状态而失败。我们引入了过渡政策，通过产生与下一个政策所期望的相匹配的状态和动作的分布来平滑地连接较低级别的政策。训练过渡策略具有挑战性，因为自然奖励信号-下一个策略是否可以成功执行其子任务-是稀疏的。通过对抗性逆强化学习训练转换策略来匹配预期状态和动作的分布，我们避免了依赖基于任务的奖励。为了进一步提高性能，我们使用带有二进制动作空间的深度Q学习来确定何时从过渡策略切换到下一个预先训练的策略，并使用下一个子任务的成功或失败作为奖励。虽然奖励仍然稀疏，但由于简单的二元动作空间，问题不那么严重。我们展示了我们的方法，连续双足运动和手臂操作任务，需要不同的技能。我们表明，它平滑地连接较低级别的政策，实现更高的成功率比以前的方法，搜索成功的轨迹的基础上的奖励函数，但不匹配的状态分布。
2022-03-11 cs.AI cs.LG
Learning Fair Policies in Multiobjective (Deep) Reinforcement Learning with Average and Discounted Rewards
UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Department of Automation, Shanghai Jiao Tong University（上海交通大学自动化系）
由于自治系统的操作通常同时影响多个用户，因此其设计考虑公平性至关重要。与标准（深度）强化学习（RL）相比，我们研究了学习公平对待用户的策略的问题。在本文中，我们制定了这个新的RL问题，其中的目标函数，它编码的公平性，我们正式定义的概念，是优化的。对于这个问题，我们提供了一个理论上的讨论，我们检查的情况下，折扣奖励和平均奖励。在此分析中，我们特别得出一个新的结果，在标准RL设置，这是独立的利益：它指出了一个新的边界上的近似误差相对于最佳平均奖励的政策最优的折扣奖励。由于使用折扣奖励的学习通常更容易，因此本讨论进一步证明了通过学习折扣奖励的公平策略来找到平均奖励的公平策略。因此，我们描述了几种经典的深度强化学习算法如何适应我们的公平优化问题，并在三个不同的领域进行了广泛的实验来验证我们的方法。
2020-08-18 cs.AI cs.LG
Discovering a set of policies for the worst case reward
DeepMind
我们研究如何构建一组可以组合在一起的策略来解决一组强化学习任务的问题。每个任务都是一个不同的奖励函数，定义为已知特征的线性组合。我们考虑一类特定的政策组合，我们称之为集改进政策（SIP）：给定一组政策和一组任务，SIP是前者的任何组合，其性能至少与其成分在所有任务中一样好。我们专注于SIP的最保守的实例化，设置最大策略（SMP），所以我们的分析扩展到任何SIP。这包括已知的策略组合操作符，如广义策略改进。我们的主要贡献是一个政策迭代算法，建立了一套政策，以最大限度地提高最坏情况下的性能所产生的SMP的一组任务。该算法的工作原理是连续添加新的策略集。我们表明，所得到的SMP严格提高在每次迭代的最坏情况下的性能，该算法只停止时，不存在一个政策，导致性能提高。我们在网格世界和DeepMind控制套件的一组域上对我们的算法进行了经验评估。我们证实了我们的理论结果单调提高我们的算法的性能。有趣的是，我们还表明，经验的算法计算的政策集是不同的，导致不同的轨迹在网格世界和非常独特的运动技能的控制套件。
2021-12-10 cs.AI cs.LG
Offline Safe Policy Optimization From Heterogeneous Feedback
Shenzhen Institute of Advanced Technology (SIAT), CAS（深圳先进技术研究院（SIAT）、中国科学院）；Singapore Management University（新加坡管理学院）
本文提出PreSa方法，通过直接学习基于偏好和安全性的策略，解决离线安全强化学习中的性能下降问题。
2025-12-23 cs.AI
PoEM: Predicting RL Outcomes from Existing Policies
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
PoEM框架利用现有策略预测新奖励函数下的强化学习结果，无需额外RL训练，通过线性组合对数策略实现，并在文本和图像任务上验证有效。
2026-11-10 cs.AI cs.CL cs.CV
Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
具有稀疏奖励的强化学习是具有挑战性的，因为代理很少能够获得非零奖励，因此，参数化策略的基于梯度的优化可能是增量的且缓慢的。最近的研究表明，使用以前成功轨迹的记忆缓冲区可以产生更有效的策略。然而，现有的方法可能会过度利用过去的成功经验，这可能会鼓励代理采取次优和短视的行为。在这项工作中，而不是专注于良好的经验有限的多样性，我们建议学习一个自动调节的政策，以遵循和扩大不同的过去的轨迹从记忆缓冲区。我们的方法允许代理到达状态空间中的不同区域，并改进过去的轨迹以达到新的状态。我们的经验表明，我们的方法显着优于基于计数的探索方法（参数方法）和自我模仿学习（参数方法与非参数记忆）在各种复杂的任务与局部最优。特别是，在不使用专家演示或重置到任意状态的情况下，我们在50亿帧的情况下实现了最先进的分数，挑战Atari游戏，如Montezuma的复仇和陷阱。
2021-02-15 cs.AI cs.LG stat.ML
Contrastive Explanations for Comparing Preferences of Reinforcement Learning Agents
Trinity College Dublin（都柏林圣三一学院）；IBM Ireland（IBM爱尔兰公司）
在复杂任务中，奖励函数不是直接的，而是由一组目标组成，通过调整单个目标对奖励函数的影响，可以训练出多个强化学习（RL）策略，这些策略可以充分执行任务，但采用不同的策略。理解策略之间的差异对于用户在提供的策略之间进行选择是必要的，并且可以帮助开发人员理解从RL系统中的各种奖励函数和训练超参数中出现的不同行为。在这项工作中，我们比较的行为的两个政策培训相同的任务，但不同的偏好的目标。我们提出了一种方法来区分行为的差异，这些差异源于不同的能力，而这些能力是两个RL代理的相反偏好的结果。此外，我们只使用基于偏好的差异的数据，以生成关于代理人偏好的对比解释。最后，我们在自动驾驶任务上测试和评估了我们的方法，并比较了以安全为导向的策略和更喜欢速度的策略的行为。
2021-12-17 cs.AI
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning
Vector Institute（向量学院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习（RL）方法通常将奖励函数视为黑箱。因此，这些方法必须与环境广泛互动，以发现奖励和最佳策略。然而，在大多数RL应用程序中，用户必须对奖励函数进行编程，因此有机会使奖励函数可见-向RL代理显示奖励函数的代码，以便它可以利用函数的内部结构以更有效的方式学习最佳策略。在本文中，我们展示了如何通过两个步骤来实现这一想法。首先，我们提出了奖励机，一种有限状态机，它支持奖励函数的规范，同时暴露奖励函数的结构。然后，我们描述了利用此结构来支持学习的不同方法，包括自动奖励塑造、任务分解以及带有离策略学习的反事实推理。在不同任务和RL代理之间的表格和连续域上的实验显示了利用奖励结构在样本效率和所得政策的质量方面的好处。最后，由于是有限状态机的一种形式，奖励机具有正则语言的表达能力，并且因此支持循环、序列和条件，以及线性时间逻辑和非马尔可夫奖励规范的典型的时间扩展属性的表达。
2022-01-17 cs.AI cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Discovering Diverse Nearly Optimal Policies with Successor Features
DeepMind
对同一问题找到不同的解决方案是智力的一个关键方面，与创造力和适应新情况有关。在强化学习中，一组不同的策略可以用于探索、转移、层次和鲁棒性。我们提出了不同的连续政策，发现政策的继任者功能的空间是不同的方法，同时确保他们是接近最优的。我们正式的问题作为一个约束马尔可夫决策过程（CMDP）的目标是找到政策，最大限度地提高多样性，其特征在于一个内在的多样性奖励，同时保持接近最优的外在奖励的MDP。我们还分析了最近提出的鲁棒性和歧视性奖励的执行情况，发现它们对过程的初始化很敏感，并且可能会收敛到次优解。为了缓解这一问题，我们提出了新的明确多样性奖励，旨在最大限度地减少集合中政策的后继特征之间的相关性。我们比较了DeepMind控制套件中的不同多样性机制，发现我们提出的明确多样性类型对于发现不同的行为非常重要，例如不同的运动模式。
2022-01-04 cs.AI cs.LG stat.ML
Optimal Policies Tend to Seek Power
Oregon State University（俄勒冈州立大学）；Mississippi State University（密西西比州立大学）；UC Berkeley（加州大学伯克利分校）
一些研究人员推测，智能强化学习（RL）代理将被激励去寻求资源和权力来追求他们的目标。其他研究人员指出，强化学习智能体不需要像人类一样具有寻求权力的本能。为了澄清这一讨论，我们开发的最优政策的统计趋势的第一个正式的理论。在马尔可夫决策过程的背景下，我们证明了一定的环境对称性是足够的最优政策，往往寻求权力的环境。这些对称性存在于许多环境中，在这些环境中，代理可以被关闭或销毁。我们证明，在这些环境中，大多数奖励功能，使其最佳的寻求权力，保持一系列的选项，最大化平均奖励时，通过导航到更大的潜在终端状态。
2023-01-28 cs.AI
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
How Private Is Your RL Policy? An Inverse RL Based Analysis Framework
IIIT Hyderabad（海得拉巴国际信息技术研究所）
强化学习（RL）使智能体能够从头开始学习如何执行各种任务。在自动驾驶、推荐系统等领域，如果学习到的最佳强化学习策略记住了私人奖励的任何部分，可能会导致隐私泄露。我们研究了一组现有的差异化私有RL策略，这些策略来自于各种RL算法，如值迭代，深度Q网络和Vanilla近端策略优化。我们提出了一个新的隐私感知逆RL（PRIL）分析框架，执行奖励重建作为一个对抗攻击的私人政策，代理可能会部署。为此，我们引入了奖励重建攻击，其中我们试图使用逆RL算法从隐私保护策略中重建原始奖励。如果代理使用严格的私有策略，对手在重建原始奖励函数方面一定做得很差。使用这个框架，我们经验性地测试了不同复杂度的FrozenLake域的多个实例上的私有算法所提供的隐私保证的有效性。基于所进行的分析，我们推断出当前提供的隐私标准与保护RL中奖励功能所需的隐私标准之间存在差距。我们这样做，通过量化的程度，每个私人政策保护的奖励功能，通过测量原始和重建的奖励之间的距离。
2021-12-10 cs.AI cs.LG
OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）
OSIL通过非偏好轨迹推断安全策略，从离线演示中学习安全且奖励最大化的策略，优于基线方法。
2026-02-11 cs.AI cs.LG stat.ML
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）已经取得了显著的成就，但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题，人口引导新奇搜索（PNS）的并行学习方法，本文提出。在PNS中，种群被划分为多个子种群，每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略，并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导，同时，上传他们的政策，以首席代理。为了平衡探索和利用，每个首席代理都采用了新奇搜索（NS），以鼓励具有高新奇性的政策，同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性（TD 3）策略梯度算法。PNS的有效性，以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是，PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略，以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Joint Learning of Reward Machines and Policies in Environments with Partially Known Semantics
研究了由奖励机编码的任务的强化学习问题。该任务定义在环境中的一组属性上，称为原子命题，并由布尔变量表示。在文献中常用的一个不切实际的假设是，这些命题的真值是准确已知的。然而，在实际情况下，这些真值是不确定的，因为它们来自遭受不完美的传感器。与此同时，奖励机器可能很难明确建模，特别是当它们编码复杂任务时。我们开发了一个推理学习算法，该算法推断出一个奖励机器，该机器在学习如何执行任务的同时对底层任务进行编码，尽管命题的真值存在不确定性。为了解决这种不确定性，算法保持对原子命题真值的概率估计;它根据从环境探索中获得的新的感官测量来更新该估计。此外，该算法维护一个假设奖励机，它充当对要学习的任务进行编码的奖励机的估计。当智能体探索环境时，算法根据获得的奖励和原子命题真值的估计更新假设奖励机。最后，该算法使用Q学习过程的假设奖励机的状态，以确定完成任务的政策。我们证明了该算法成功地推断奖励机和渐近学习的政策，完成各自的任务。
2023-02-05 cs.AI cs.LG cs.SY
Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies
Tsinghua University（清华大学）；Yuanxing Robotics（元星机器人公司）；Pengcheng Laboratory（鹏城实验室）
提出无演示奖励学习范式，通过自举从稀疏任务结果学习成功概率，并引入RLER框架随策略进化调整奖励，显著提升机器人策略性能。
2026-09-29 cs.AI cs.LG cs.RO
Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
Beyond Rewards in Reinforcement Learning for Cyber Defence
University of Cambridge（剑桥大学）
本文研究了在网络安全防御中使用强化学习时，奖励函数结构对学习和策略行为的影响，通过比较稀疏和密集奖励函数，揭示了奖励、动作空间和子最优策略风险之间的复杂关系。
2026-06-03 cs.AI cs.LG
HypRL: Reinforcement Learning of Control Policies for Hyperproperties
Michigan State University（密歇根州立大学）
HYPRL是一个规范引导的强化学习框架，通过Skolem化和鲁棒性函数塑形奖励，学习满足HyperLTL超属性的控制策略，在多个基准上验证了其有效性和效率。
2025-10-24 cs.AI cs.LO
Pruning the Way to Reliable Policies: A Multi-Objective Deep Q-Learning Approach to Critical Care
University of California, Berkeley（加州大学伯克利分校）；University of California, San Francisco（加州大学旧金山分校）
针对医疗决策中稀疏奖励导致离线强化学习不稳定的问题，提出一种多目标深度Q-learning方法，通过动作剪枝整合频繁测量的生物标志物信号，在重症监护场景下显著提升了策略的可靠性。
2024-10-14 cs.AI cs.LG
Can Q-learning solve Multi Armed Bantids?
当一个强化学习（RL）方法必须通过只看收到的奖励来在几个可选策略之间做出决定时，它必须隐式地优化多臂强盗（MAB）问题。这就产生了一个问题：目前的RL算法能够解决MAB问题吗？在我们的实验中，我们表明，在某些情况下，它们无法解决基本的MAB问题，在许多常见情况下，它们很难解决：它们在训练过程中受到结果回归，对初始化敏感和高样本复杂性的影响。我们认为这源于政策之间的方差差异，这导致了两个问题：第一个问题是“无聊的政策陷阱”，其中每个政策都有不同的隐式探索取决于其奖励方差，并且由于其低隐式探索，因此不太可能留下无聊或低方差的政策。第二个问题是“操纵顾问”问题，其中在深度RL算法（如DQN或深度Actor Critic方法）中使用的值估计函数最大化估计精度而不是平均回报，并且在低方差策略中具有更好的损失，这导致网络收敛到次优策略。对人类的认知实验表明，噪音奖励信号可能会矛盾地提高表现。我们使用上述问题来解释这一点，声称人类和算法在决策中可能面临类似的挑战。受这一结果的启发，我们提出了自适应对称奖励噪声（ASRN）方法，通过该方法，我们意味着均衡不同策略的奖励方差，从而避免了这两个问题，而不影响环境的平均奖励行为。我们证明，ASRN计划可以显着改善的结果。
2021-10-21 cs.AI cs.LG
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH（奥地利技术研究所股份有限公司）；TU Wien（维也纳工业大学）
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中，我们介绍了一种新的，分层的，基于潜力的奖励成形方法（HPRS），用于定义有效的，多变量的奖励，为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求，并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造，我们表明，HPRS保持政策最优。我们的实验评估表明，HPRS的卓越能力，在捕捉预期的行为，从而在任务满意的政策，提高舒适度，并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性，以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Risk-averse Total-reward MDPs with ERM and EVaR
University of New Hampshire Durham, NH, USA（新罕布什尔大学）；HEC Paris（巴黎高等商学院）
本文研究了在ERM和EVaR风险度量下的风险规避总回报MDP问题，证明了平稳策略可优化该目标，提出了指数值迭代等计算最优策略的方法，并发现总回报准则在风险规避强化学习中优于折扣准则。
2024-12-18 cs.AI cs.LG
Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
训练一个高维的模拟代理与一个指定的奖励函数往往导致代理学习物理上不可行的策略，部署在现实世界中时是无效的。为了减轻这些不自然的行为，强化学习实践者经常利用复杂的奖励函数来鼓励物理上合理的行为。然而，创建手工设计的奖励通常需要繁琐的劳动密集型调优过程，这可能不容易在平台和任务之间推广。我们建议用从动作捕捉演示数据集学习的“风格奖励”来代替复杂的奖励函数。学习风格奖励可以与任意任务奖励组合，以训练使用自然策略执行任务的策略。这些自然策略也可以促进转移到现实世界。我们建立在对抗运动先验-一种来自计算机图形领域的方法，从参考运动的数据集编码风格奖励-来证明训练策略的对抗方法可以产生转移到真正的四足机器人的行为，而不需要复杂的奖励函数。我们还证明了一个有效的风格奖励可以从几秒钟的动作捕捉数据从德国牧羊犬收集，并导致节能的运动策略与自然的步态过渡。
2022-03-28 cs.AI cs.RO
Tiered Reward: Designing Rewards for Specification and Fast Learning of Desired Behavior
UC Berkeley（加州大学伯克利分校）；Brown University（布朗大学）
本文提出分层奖励结构，通过策略空间严格偏序表达行为偏好，并证明该奖励函数能诱导帕累托最优策略，同时在表格型和深度强化学习算法中实现快速学习。
2024-08-01 cs.AI cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Large Language Model-Based Reward Design for Deep Reinforcement Learning-Driven Autonomous Cyber Defense
本文提出利用大型语言模型设计奖励，以提升深度强化学习在自主网络防御中的效果。
2025-11-20 cs.AI cs.LG cs.MA
CaRL: Learning Scalable Planning Policies with Simple Rewards
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；NVIDIA Research（NVIDIA研究）
本文提出 CaRL，通过以路线完成度为核心的简单奖励设计替代复杂塑形奖励，使 PPO 能在大批量分布式训练下扩展至数亿样本，在 CARLA 和 nuPlan 自动驾驶规划基准上显著超越现有强化学习方法。
2025-08-20 cs.AI cs.LG cs.RO
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore（新加坡南洋理工大学）；Tel Aviv University（特拉维夫大学）
本文研究强化学习中LTL与$ω$-正则目标的关系，提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题，并证明可通过近似求解折扣求和问题渐近学习最优策略，解决了相关开放问题。
2024-10-16 cs.AI cs.LG
Semi-supervised reward learning for offline reinforcement learning
DeepMind（深度思维）
在离线强化学习（RL）中，使用记录的数据集来训练代理。这似乎是攻击现实生活中应用程序的最自然的途径，因为在医疗保健和机器人等领域，与环境的交互要么昂贵，要么不道德。训练代理通常需要奖励功能，但不幸的是，奖励很少在实践中，他们的工程是具有挑战性和费力。为了克服这一点，我们研究奖励学习的约束下，最大限度地减少人类奖励注释。我们考虑两种类型的监督：时间步长注释和演示。我们提出了半监督学习算法，从有限的注释中学习，并将未标记的数据。在我们对模拟机器人手臂的实验中，我们大大改进了行为克隆，并接近了地面真实奖励所实现的性能。我们进一步研究了奖励模型的质量与最终策略之间的关系。例如，我们注意到，奖励模型不需要完美才能产生有用的政策。
2020-12-12 cs.AI cs.LG cs.RO
Learning Safe Policies with Expert Guidance
McGill University（麦吉尔大学）
我们提出了一个框架，以确保安全的行为时，强化学习代理的奖励功能可能难以指定。为了做到这一点，我们依赖于专家政策的演示的存在，我们提供了一个理论框架的代理优化空间的奖励符合其现有的知识。我们提出了两种方法来解决由此产生的优化：一个精确的椭球为基础的方法和方法的精神，“跟随扰动领导者”算法。我们的实验证明了我们的算法在离散和连续问题的行为。经过训练的代理安全地避免具有潜在负面影响的状态，同时模仿专家在其他状态下的行为。
2018-11-21 cs.AI cs.LG stat.ML
Decoupled Reinforcement Learning to Stabilise Intrinsically-Motivated Exploration
University of Edinburgh（爱丁堡大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
内在奖励可以改善强化学习中的探索，但探索过程可能会受到非平稳奖励塑造和对超参数的强烈依赖所引起的不稳定性的影响。在这项工作中，我们引入了解耦RL（DeRL）作为一个通用框架，它为内在动机的探索和开发训练单独的策略。这种解耦允许DeRL利用探索的内在奖励的好处，同时展示改进的鲁棒性和样本效率。我们评估DeRL算法在两个稀疏奖励环境中具有多种类型的内在奖励。我们的研究结果表明，DeRL是更强大的变化规模和衰减率的内在奖励和收敛到相同的评估回报比内在动机的基线在更少的互动。最后，我们讨论了分布偏移的挑战，并表明发散约束调节器可以成功地减少勘探和开采政策的发散所造成的不稳定性。
2022-02-09 cs.AI cs.LG
Towards Interpretable Reinforcement Learning with Constrained Normalizing Flow Policies
Örebro University（厄勒布鲁大学）；IT University of Copenhagen（哥本哈根信息技术大学）
提出约束归一化流策略，通过解析构造可解释变换序列保证瞬时安全约束满足，实现构造即安全且更易学习的强化学习策略。
2024-05-02 cs.AI cs.LG
Deep Bayesian Reward Learning from Preferences
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯逆强化学习（IRL）方法是安全模仿学习的理想方法，因为它们允许学习代理推理奖励的不确定性和学习策略的安全性。然而，贝叶斯IRL是计算上棘手的高维问题，因为从后验的每个样本需要解决整个马尔可夫决策过程（MDP）。虽然存在非贝叶斯深度IRL方法，但这些方法通常推断奖励函数的点估计，从而排除了严格的安全性和不确定性分析。我们提出了贝叶斯奖励外推（B-REX），一个高效的，基于偏好的贝叶斯奖励学习算法，可扩展到高维，视觉控制任务。我们的方法使用继任者的功能表示和偏好的演示，有效地生成样本的后验分布的演示者的奖励函数，而不需要一个MDP求解器。使用后验样本，我们演示了如何在模仿学习设置中计算策略性能的高置信度界限，其中地面真实奖励函数是未知的。我们评估我们提出的方法学习玩雅达利游戏的任务，通过模仿学习从像素输入，没有访问游戏得分。我们证明了B-REX学习的模仿策略与最先进的深度模仿学习方法具有竞争力，该方法只学习奖励函数的点估计。此外，我们证明了通过B-REX生成的后验样本可以用于计算各种评估策略的高置信度性能界限。我们表明，高置信度的性能界限是有用的，准确地排名不同的评价政策时，奖励函数是未知的。我们还表明，高置信度的性能界限可能是有用的检测奖励投机。
2019-12-10 cs.AI cs.LG stat.ML
Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning
Stanford University（斯坦福大学）
提出无需重置的微调系统RoboFuME，结合校准离线强化学习与视觉语言模型构建奖励分类器，实现机器人自主在线微调并显著提升目标任务学习效率。
2023-10-23 cs.AI cs.LG cs.RO
CausalGDP: Causality-Guided Diffusion Policies for Reinforcement Learning
Department of Mechanical & Industrial Engineering, Northeastern University, Boston, MA, USA（机械与工业工程系，东北大学，波士顿，马萨诸塞州，美国）；Department of Civil and Environmental Engineering, Northeastern University, Boston, MA, USA（土木与环境工程系，东北大学，波士顿，马萨诸塞州，美国）
CausalGDP通过整合因果推理，提升基于扩散的强化学习策略在复杂高维控制任务中的性能。
2026-02-09 cs.AI cs.LG
Learning Diverse Policies with Soft Self-Generated Guidance
School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Zhongguancun Laboratory（中关村实验室）
本文提出一种利用多样化次优历史轨迹作为软引导的强化学习算法，结合策略改进与离线数据探索，并引入多样性度量，在稀疏奖励任务中显著提升探索能力并避免局部最优。
2024-02-07 cs.AI cs.LG
Repairing Reward Functions with Feedback to Mitigate Reward Hacking
Computer Science Department, Stanford University（计算机科学系， 斯坦福大学）；School of Informatics, The University of Edinburgh（信息学院， 埃迪索恩大学）
通过反馈修复奖励函数以缓解奖励黑客，提出PBRR方法，通过学习过渡依赖的修正项来改进代理奖励函数，从而在较少偏好下实现高性能策略。
2026-01-29 cs.AI cs.LG
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）
本文针对序列反事实解释中强化学习策略存在动作偏置的问题，提出利用分类器输出概率设计更具信息量的奖励函数，以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Learning in Sparse Rewards settings through Quality-Diversity algorithms
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；Softbank Robotics Europe（软银机器人欧洲公司）
在强化学习（RL）框架中，学习是通过奖励信号来引导的。这意味着在稀疏奖励的情况下，智能体必须专注于探索，以发现哪一个动作或一组动作导致奖励。RL特工通常会为此而挣扎。探索是质量多样性（QD）方法的重点。在这篇论文中，我们用这些算法，特别是新颖性搜索（NS）来解决稀疏奖励问题。这是一种只关注可能的策略行为的多样性的方法。论文的第一部分着重于学习一个空间的表示，在该空间中评估策略的多样性。在这方面，我们提出了TAXONS算法，一种通过AutoEncoder学习搜索空间的低维表示的方法。虽然有效，但TAXONS仍然需要关于何时捕获用于学习所述空间的观察的信息。为此，我们研究了多种方法，特别是签名变换，以编码有关整个观测轨迹的信息。论文接着介绍了SERENE算法，该算法可以有效地集中在搜索空间中感兴趣的部分。该方法通过两个交替步骤的方法将搜索空间的探索与奖励的利用分离。通过NS进行探索。然后，任何发现的奖励都通过发射器在本地进行利用。第三个也是最后一个贡献是将TAXONS和SERENE结合成一个方法：STAX。在这篇论文中，我们介绍的方法，降低稀疏奖励设置所需的先验信息量。这些贡献是一个有希望的一步，发展的方法，可以自主探索和找到高性能的政策，在各种稀疏的奖励设置。
2022-03-02 cs.AI cs.LG cs.NE
Text2Reward: Reward Shaping with Language Models for Reinforcement Learning
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanjing University（南京大学）；Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）
Text2Reward提出基于大语言模型的无数据框架，自动生成可解释的稠密奖励代码，在多个机器人任务上达到或超越专家奖励性能，并支持人类反馈迭代优化。
2024-05-25 cs.AI cs.CL cs.LG
Learning Navigation Behaviors End-to-End with AutoRL
Google AI（谷歌人工智能）
我们学习端到端点对点和路径跟踪导航行为，避免移动障碍物。这些策略接收噪声激光雷达观测结果并输出机器人线速度和角速度。这些策略在小型静态环境中使用AutoRL进行训练，AutoRL是一个围绕强化学习（RL）的进化自动化层，用于搜索深度RL奖励和具有大规模超参数优化的神经网络架构。AutoRL首先找到最大化任务完成的奖励，然后找到最大化所找到奖励的累积的神经网络架构。在模拟和机器人上的经验评估表明，AutoRL策略不会遭受困扰许多其他深度强化学习算法的灾难性遗忘，可以推广到新的环境和移动障碍物，对传感器，执行器和定位噪声具有鲁棒性，并且可以作为更大导航任务的鲁棒构建块。我们的路径跟踪和点对点策略在新环境中的成功率分别比比较方法高出23%和26%。视频网址：https://youtu.be/0UwkjpUEcbI
2019-02-01 cs.AI cs.LG cs.RO
Learning One Representation to Optimize All Rewards
Mila, University of Montreal（蒙特利尔大学Mila研究所）；Facebook Artificial Intelligence Research（Facebook人工智能研究部门）
我们介绍了一个无报酬马尔可夫决策过程的动态的前向-后向（FB）表示。它提供了明确的接近最优的政策，任何奖励指定的后验。在无监督阶段，我们使用与环境的无奖励交互，通过现成的深度学习方法和时间差（TD）学习来学习两种表示。在测试阶段，根据观察或明确的奖励描述（例如，目标状态）。该奖励的最优策略直接从这些表示中获得，没有规划。我们假设访问第一阶段的探索方案或重放缓冲区。相应的无监督损失是有原则的：如果训练是完美的，那么所获得的策略对于任何奖励函数都是可证明的最优策略。在不完美训练的情况下，次优性与无监督近似误差成正比。FB表示通过预测占用图学习状态和动作之间的长期关系，而不必像基于模型的方法那样合成状态。这是在任意黑盒随机环境中学习可控代理的一步。这种方法比较好的目标为导向的RL算法离散和连续的迷宫，基于像素的MsPacman，和FetchReach虚拟机器人arm. We还说明了代理如何能够立即适应新的任务超越目标为导向的RL。
2021-10-11 cs.AI cs.LG math.OC
Joint Goal and Strategy Inference across Heterogeneous Demonstrators via Reward Network Distillation
Georgia Institute of Technology（佐治亚理工学院）
强化学习（RL）作为学习如何做出决策的通用框架已经取得了巨大的成功。然而，这种成功依赖于RL专家对奖励函数的交互式手动调整。另一方面，逆强化学习（IRL）试图从容易获得的人类演示中学习奖励函数。然而，IRL有两个主要的局限性：1）奖励模糊性-有无限数量的可能的奖励函数可以解释专家的演示和2）异质性-人类专家采用不同的策略和偏好，这使得从多个演示者学习变得困难，因为演示者寻求最大化相同奖励的共同假设。在这项工作中，我们提出了一种方法，通过网络蒸馏联合推断任务目标和人类的策略偏好。这种方法使我们能够提取一个强大的任务奖励（解决奖励模糊性），并模拟每个策略的目标（处理异质性）。实验结果表明，该算法能较好地恢复任务奖励和策略奖励，并能模拟两个模拟任务和一个真实乒乓球任务中的策略。
2020-11-23 cs.AI cs.LG cs.RO
About Time: Model-free Reinforcement Learning with Timed Reward Machines
University of Liverpool（利物浦大学）
本文提出定时奖励机（TRMs）以解决传统奖励机在时间约束建模上的不足，通过无模型强化学习框架学习满足时间约束的最优策略，并在实验中验证其有效性。
2026-05-12 cs.AI cs.FL cs.LO
NoRML: No-Reward Meta Learning
Robotics at Google（谷歌机器人团队）
有效地适应新的环境和动态变化对于代理在现实世界中成功运作至关重要。基于强化学习（RL）的方法通常依赖于外部奖励反馈进行适应。然而，在许多情况下，这种奖励信号可能不容易用于目标任务，或者环境之间的差异可能是隐含的，并且只能从动态中观察到。为此，我们引入了一种方法，允许学习策略的自适应：无奖励元学习（NoRML）。NoRML扩展了RL的模型不可知元学习（MAML），并在MAML的微调步骤中使用环境的可观察动态而不是显式奖励函数。我们的方法具有比MAML更有表现力的更新步骤，同时保持MAML基于梯度的基础。此外，为了允许更有针对性的探索，我们实现了对MAML的扩展，该扩展有效地断开了元策略参数与微调策略参数的连接。我们首先在许多合成控制问题上研究了我们的方法，然后在常见的基准环境中验证了我们的方法，表明当任务之间的动态变化时，NoRML的性能优于MAML。
2019-03-04 cs.AI cs.LG cs.RO
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
