A Short Note on Soft-max and Policy Gradients in Bandits Problems
University of Manchester（曼彻斯特大学）
这是一个关于softmax在强盗问题中的李雅普诺夫函数参数的简短交流。在强化学习\cite{agarwal2019optimality,bhandari2019global,mei2020global}中，有许多优秀的论文使用微分方程进行策略梯度算法。我们给出了一个简短的论点，给出了一个遗憾界的软最大常微分方程的强盗问题。我们得出一个类似的结果，一个不同的策略梯度算法，再次强盗问题。对于这第二个算法，它是可能的，以证明在随机情况下的遗憾界\cite{DW20}。最后，我们总结了在推导策略梯度的随机后悔界方面的一些想法和问题。
2020-07-20 cs.LG stat.ML
Bayesian Policy Optimization for Model Uncertainty
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
解决不确定性对于自主系统稳健地适应现实世界至关重要。我们将模型不确定性问题表述为连续贝叶斯-自适应马尔可夫决策过程（BAMDP），其中代理在给定观测历史的情况下保持潜在模型参数的后验分布，并最大化其相对于此信念分布的预期长期回报。我们的算法，贝叶斯策略优化，建立在最近的策略优化算法，学习一个通用的政策，导航的勘探开发权衡，以最大限度地提高贝叶斯价值函数。为了解决连续潜在参数空间离散化的挑战，我们提出了一种新的策略网络架构，该架构独立于可观察状态对信念分布进行编码。我们的方法显着优于算法，解决模型的不确定性，而不显式推理的信念分布，是最先进的部分可观察马尔可夫决策过程求解器的竞争力。
2019-05-08 cs.LG cs.RO
BiCQL-ML: A Bi-Level Conservative Q-Learning Framework for Maximum Likelihood Inverse Reinforcement Learning
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）
BiCQL-ML通过双层框架联合优化奖励函数和保守Q函数，提升离线逆强化学习中的奖励恢复和下游策略性能。
2025-11-27 cs.LG cs.RO
Structural Return Maximization for Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
批量强化学习（RL）算法试图从设计者提供的一类策略中选择一个策略，给定一组固定的训练数据。选择的政策，最大限度地估计回报往往会导致过度拟合时，只有有限的数据是可用的，由于政策类的大小与可用的数据量。在这项工作中，我们专注于学习策略类，这些策略类的大小适合于可用的数据量。我们通过使用统计学习理论中的结构风险最小化原则来实现这一点，该原则使用拉德马赫复杂度来确定一个策略类，该策略类在给定可用数据的情况下最大化所选策略类中最佳策略的回报范围。与类似的批处理RL方法不同，我们的返回界只需要对真实系统进行非常弱的假设。
2014-05-12 cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
本文提出了分层强化学习的MAXQ方法的基础上分解的目标马尔可夫决策过程（MDP）到一个层次的较小的MDP和分解的价值函数的目标MDP到一个加法组合的价值函数的较小的MDP。本文定义了MAXQ层次结构，证明了其表示能力的形式化结果，并建立了安全使用状态抽象的五个条件。本文提出了一种在线无模型的学习算法MAXQ-Q，并证明了即使在存在五种状态抽象的情况下，它也以概率1收敛到一种称为递归最优策略的局部最优策略。本文通过三个领域的一系列实验对MAXQ表示和MAXQ-Q进行了评估，并通过实验表明MAXQ-Q（具有状态抽象）收敛到递归最优策略的速度比平坦Q学习快得多。MAXQ学习价值函数的表示的事实具有重要的益处：它使得可以通过类似于策略迭代的策略改进步骤的过程来计算和执行改进的非分层策略。本文通过实验证明了这种非分层执行的有效性。最后，本文的结论与相关工作的比较和层次强化学习的设计权衡的讨论。
1999-05-21 cs.LG
V-MPO: On-Policy Maximum a Posteriori Policy Optimization for Discrete and Continuous Control
深度强化学习在离散和连续控制领域的一些最成功的应用已经在策略设置中使用了策略梯度方法。然而，策略梯度可能遭受可能限制性能的大方差，并且在实践中需要仔细调整熵正则化以防止策略崩溃。作为策略梯度算法的替代方案，我们引入了V-MPO，最大后验策略优化（MPO）的策略适应，基于学习的状态-价值函数执行策略迭代。我们表明，V-MPO在多任务环境中超过了之前报告的Atari-57和DMLab-30基准套件的分数，并且在没有重要性加权、熵正则化或基于群体的超参数调整的情况下也能可靠地做到这一点。在个人DMLab和Atari水平上，所提出的算法可以实现比以前报告的分数高得多的分数。V-MPO也适用于高维连续动作空间的问题，我们在学习控制模拟人形机器人的背景下证明了这一点，其中来自全状态观测的自由度为22自由度，来自像素观测的自由度为56自由度，以及示例OpenAI Gym任务，其中V-MPO实现了比以前报告的更高的渐近分数。
2019-09-26 cs.AI cs.LG
Do You Need the Entropy Reward (in Practice)?
Horizon Robotics（地平线机器人（Horizon Robotics））
最大熵（MaxEnt）RL最大化原始任务奖励和熵奖励的组合。据信，熵对策略改进和策略评估施加的正则化共同有助于学习策略的良好探索、训练收敛和鲁棒性。本文通过对MaxEnt RL的流行代表软演员-评论家（SAC）进行各种消融研究，进一步研究熵作为内在奖励。我们的研究结果表明，在一般情况下，熵奖励应谨慎应用于政策评估。一方面，熵奖励，像任何其他内在奖励一样，如果管理不当，可能会掩盖主要任务奖励。我们确定了一些失败的情况下，特别是在情节马尔可夫决策过程（MDPs），它可能会导致政策过于乐观或悲观的熵奖励。另一方面，我们的大规模实证研究表明，在政策改进中单独使用熵正则化，比在政策改进和政策评估中使用熵正则化带来相当甚至更好的性能和鲁棒性。基于这些观察结果，我们建议将熵奖励标准化为零均值（SACZero），或者简单地将其从策略评估中删除（SACLite）以获得更好的实际结果。
2022-01-28 cs.AI cs.LG cs.RO
When Maximum Entropy Misleads Policy Optimization
本研究分析最大熵强化学习中鲁棒性与最优性的权衡，指出熵最大化虽提升探索与鲁棒性，但会误导策略优化导致需精确低熵策略的任务失败，并通过实验验证该效应，为平衡奖励设计与熵最大化提供参考。
2025-06-05 cs.AI cs.LG
Off-Policy Maximum Entropy RL with Future State and Action Visitation Measures
本文提出一种离策略最大熵RL方法，将内在奖励定义为未来状态-动作折扣分布的相对熵，并借助不动点学习算法实现良好覆盖与高性能控制。
2025-09-29 cs.LG stat.ML
Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification
University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所人工智能研究中心）
在强化学习领域，由于在现实世界中进行策略训练的成本和风险较高，因此在仿真环境中训练策略并将其转移到相应的现实环境中。然而，仿真环境并不能完美地模仿真实世界的环境，导致模型的错误设定。多项研究报告称，在现实环境中，政策绩效显著恶化。在这项研究中，我们专注于涉及一个模拟环境的不确定性参数和它们的可能值，称为不确定性参数集的设置方案。其目的是在不确定性参数集上优化最坏情况下的性能，以保证在相应的现实环境中的性能。为了获得优化策略，我们提出了一种称为最大-最小双延迟深度确定性策略梯度算法（M2 TD 3）的非策略行为者-评论家方法，该算法使用同步梯度上升下降方法解决了最大-最小优化问题。在多关节接触动力学（MuJoCo）环境中的实验表明，该方法表现出优于几个基线方法的最坏情况下的性能。
2023-01-11 cs.AI cs.LG
Bandit Submodular Maximization under Matroid Constraints: Learning Compressed Exchange Policy
Great Bay University（湾大大学）；Fuzhou University（福州大学）
该研究针对拟阵约束下的对抗博弈子模极大化问题，提出基于平衡分数交换的多项式时间算法，实现次线性regret，是该方向首个此类算法。
2026-08-26 cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Task-Agnostic Exploration via Policy Gradient of a Non-Parametric State Entropy Estimate
Politecnico di Milano（米兰理工大学）
在一个无奖励的环境中，什么是一个合适的内在目标的代理追求，使它可以学习一个最佳的任务不可知的探索政策？在本文中，我们认为，熵的状态分布引起的有限视界轨迹是一个明智的目标。特别是，我们提出了一种新的和实用的策略搜索算法，最大熵策略优化（MEPOL），学习的政策，最大化的非参数，$k$ -最近邻估计的状态分布熵。与已知方法相比，MEPOL是完全无模型的，因为它既不需要估计任何策略的状态分布，也不需要对过渡动态进行建模。然后，我们经验表明，MEPOL允许学习最大熵的探索政策，在高维，连续控制域，以及这种政策如何促进学习各种有意义的奖励为基础的任务下游。
2021-02-26 cs.LG stat.ML
Beyond Exact Gradients: Convergence of Stochastic Soft-Max Policy Gradient Methods with Entropy Regularization
University of California, Berkeley（加州大学伯克利分校）；Citadel Securities（城堡证券）
本文针对带熵正则化的soft-max策略梯度方法此前仅在精确梯度假设下有收敛证明的问题，提出两类近乎无偏的随机梯度估计器和两阶段算法，首次证明了该类随机方法的全局收敛性并给出样本复杂度。
2024-07-13 cs.LG
A Lyapunov Analysis of Softmax Policy Gradient for Stochastic Bandits
研究将Lattimore(2026)对连续时间k臂随机老虎机策略梯度的分析适应到离散时间设置，证明学习率η=O(Δ_min²/(Δ_max log(n)))时，后悔为O(k log(k) log(n)/η)。
2026-03-27 cs.LG
MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
MEReQ通过推断残差奖励函数并采用残差Q学习，实现从人类干预中样本高效地对齐机器人行为与人类偏好。
2025-10-24 cs.AI cs.LG cs.RO
A maximum-entropy approach to off-policy evaluation in average-reward MDPs
DeepMind（深度思维）；Google（谷歌）
本文主要研究无限时域非折扣马尔可夫决策过程中的函数逼近离政策评估问题。对于遍历性和线性的MDP（即奖励和动态在一些已知特征中是线性的），我们提供了第一个有限样本OPE误差界，将现有结果扩展到情节和折扣情况之外。在一个更一般的设置，当特征动态近似线性和任意奖励，我们提出了一种新的方法来估计平稳分布函数近似。我们制定了这个问题，找到最大熵分布的经验动力学下匹配功能的期望。我们表明，这导致指数族分布，其充分的统计特征，并行最大熵方法在监督学习。我们证明了所提出的OPE方法在多种环境中的有效性。
2020-06-17 cs.AI cs.LG
Diversity-Inducing Policy Gradient: Using Maximum Mean Discrepancy to Find a Set of Diverse Policies
Harvard University（哈佛大学）
标准的强化学习方法旨在掌握解决任务的一种方法，而可能存在多个接近最优的策略。能够识别这种接近最优策略的集合可以允许领域专家有效地探索合理解决方案的空间。不幸的是，现有的方法，量化政策的不确定性，并不最终相关的政策与定性不同的行为。在这项工作中，我们正式的政策之间的差异，作为每个政策，鼓励国家访问和行动选择方面的多样性诱导的轨迹分布之间的差异。我们得出一个基于梯度的优化技术，可以与现有的策略梯度方法相结合，现在确定不同的集合表现良好的政策。我们展示了我们的基准和医疗保健任务的方法。
2019-05-31 cs.LG stat.ML
EXPO: Stable Reinforcement Learning with Expressive Policies
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
EXPO通过构建实时策略最大化Q值，提升样本效率，适用于基于离线数据的策略微调和在线训练。
2026-04-30 cs.AI cs.LG
Reward-Punishment Reinforcement Learning with Maximum Entropy
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）
本研究提出整合长期策略熵优化的softDMP奖惩强化学习算法，解决Deep MaxPain遗留的两个问题，在离散MDP和Turtlebot 3迷宫导航任务中验证了性能优势。
2024-05-20 cs.AI cs.LG cs.RO
Maximum Entropy Reinforcement Learning via Energy-Based Normalizing Flow
National Tsing Hua University（国立清华大学）；NVIDIA Corporation（英伟达公司）
本文提出 EBFlow 框架，用基于能量的归一化流统一 MaxEnt RL 的策略评估与改进，实现无 Monte Carlo 的 soft 价值计算、多模态动作建模和高效采样，并在 MuJoCo 与 Isaac Gym 任务中优于基线。
2024-10-26 cs.LG
DeFlow: Decoupling Behavior-Prior Modeling and Value Maximization for Offline Policy Extraction
Peking University, Institute of Artificial Intelligence, China, Beijing（北京大学人工智能研究所）
DeFlow通过解耦流形建模与价值最大化，利用流匹配技术实现高效离线策略提取，提升复杂行为流形的捕捉与生成能力。
2026-10-16 cs.LG
Maximum Entropy Hindsight Experience Replay
Sandia National Laboratories（桑迪亚国家实验室）
本研究针对基于目标的强化学习场景，提出通过有原则地选择性应用HER的方式，改进此前适配同策略PPO算法的PPO-HER方法，进一步提升后见之明经验回放的效果。
2024-10-31 cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Max-Entropy Reinforcement Learning with Flow Matching and A Case Study on LQR
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Harvard University（哈佛大学）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算机学院）
本文提出了一种基于流模型的SAC变体，通过重要性采样流匹配技术提升策略更新效率，并在LQR问题中验证了其学习最优动作分布的能力。
2025-12-29 cs.LG
AlgaeDICE: Policy Gradient from Arbitrary Experience
Google Research（谷歌研究院）；NYU（纽约大学）；University of Alberta（阿尔伯塔大学）
在强化学习（RL）的许多现实应用中，由于成本或可行性，与环境的交互受到限制。这对传统RL算法提出了挑战，因为最大回报目标涉及对策略样本的期望。我们引入了一个新的最大回报优化的配方，允许问题被重新表示的期望在一个任意的行为不可知和关闭政策的数据分布。我们首先得出这一结果，通过考虑一个正则化版本的双重最大回报目标，然后通过使用拉格朗日公式的线性规划特性的Q值，将我们的研究结果扩展到非正则化的目标。我们表明，如果辅助对偶变量的目标是最佳的，那么梯度的off-policy的目标正是政策上的策略梯度，没有任何使用的重要性加权。除了揭示这种方法的吸引力的理论特性，我们还表明，它提供了良好的实际性能。
2019-12-04 cs.AI cs.LG
Oracle-Efficient Reinforcement Learning for Max Value Ensembles
University of Pennsylvania（宾夕法尼亚大学）
针对大规模状态空间强化学习挑战，提出一种仅需访问组成策略的ERM预言机的高效算法，以竞争最大跟随策略，并在机器人模拟测试平台上验证了其有效性。
2024-05-27 cs.AI cs.LG cs.SY
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna（维也纳大学）；The Ohio State University（俄亥俄州立大学）
本文提出Matryoshka策略梯度（MPG）算法，证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性，给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
On Advantage Estimates for Max@K Policy Gradients
The University of Tokyo（东京大学）
针对稀疏奖励下推理模型后训练困难，提出一种新的优势估计方法 MaxPO，通过 Leave-Two-Out 基线实现中心化优势，降低梯度方差并提升性能。
2026-06-04 cs.AI cs.CL cs.LG
Off-policy Maximum Entropy Reinforcement Learning : Soft Actor-Critic with Advantage Weighted Mixture Policy(SAC-AWMP)
Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）；Reinforcement Learning and Artificial Intelligence Laboratory, University of Alberta（阿尔伯塔大学强化学习与人工智能实验室）；Department of Biomedical Engineering, National University of Singapore（新加坡国立大学生物医学工程系）
强化学习问题的最优策略往往是不连续和非光滑的。也就是说，对于具有类似表示的两个国家，它们的最佳政策可能大不相同。在这种情况下，表示整个政策与函数逼近器（FA）共享参数的所有状态可能是不可取的，因为参数共享的泛化能力，使表示不连续的，非平滑的政策困难。解决这个问题的一种常见方法，称为混合专家，是将策略表示为多个组件的加权和，其中不同的组件在状态空间的不同部分上表现良好。根据这个想法，并受到最近的工作称为加权信息最大化的启发，我们建议学习这些组件的每个状态权重，以便它们包含状态本身的信息以及迄今为止为状态学习的首选动作。动作偏好通过优势函数来表征。在这种情况下，每个分量的权重将仅对于其表示相似并且优选动作表示也相似的某些状态组较大。因此，每个组件都易于表示。我们把这种参数化的策略称为优势加权混合策略（AWMP），并把这种思想应用于改进最有竞争力的连续控制算法之一软演员评论（SAC）。实验结果表明，与AWMP SAC明显优于SAC在四个常用的连续控制任务，并实现不同的随机种子稳定的性能。
2020-02-07 cs.AI cs.LG stat.ML
Dual Alignment Maximin Optimization for Offline Model-based RL
UCAS（中国科学院大学）
针对离线基于模型的RL中模型偏差与策略不一致问题，本文提出DAMO极大极小演员-评论家框架，通过双重保守价值估计与策略改进对齐，实现模型-环境及合成-离线数据一致，并在基准任务上取得竞争力性能。
2025-09-30 cs.AI cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Scalable Policy Maximization Under Network Interference
Duke University（杜克大学）
本文针对动态网络干扰下的最优策略学习，提出可扩展的汤普森采样算法，利用线性奖励结构，实现次线性遗憾，并优于现有方法，填补了因果推断与实用算法的可扩展性差距。
2025-05-23 cs.LG stat.ML
Off-Policy Actor-Critic in an Ensemble: Achieving Maximum General Entropy and Effective Environment Exploration in Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出了一种新的策略迭代理论，作为软策略迭代和软Actor-Critic（SAC）的重要扩展，SAC是深度强化学习中最有效的无模型算法之一。在新理论的支持下，推广香农熵的任意熵度量，如Tsallis熵和Renyi熵，可以用来适当地随机化动作选择，同时实现最大化预期长期回报的目标。我们的理论产生了两个新的算法，即，Tsallis熵Actor-Critic（TAC）和Renyi熵Actor-Critic（RAC）。理论分析表明，这些算法可以比SAC更有效。此外，它们为我们开发一种新的Encriminator Actor-Critic（EAC）算法铺平了道路，该算法的特点是使用引导机制进行深度环境探索，以及一种新的基于值函数的机制进行高级动作选择。经验上，我们表明，TAC，RAC和EAC可以实现最先进的性能在一系列的基准控制任务，优于SAC和几个尖端的学习算法的样本效率和有效性。
2019-02-14 cs.LG stat.ML
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了逆强化学习（IRL）和模仿学习（IM），即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程，通过增加一个权重函数的最大熵框架，具有学习和恢复的随机性（或有限理性）的专家政策的能力的动机。我们的框架和算法允许学习奖励（或策略）函数和添加到马尔可夫决策过程的熵项的结构，从而增强学习过程。我们的数值实验，使用人类和模拟演示和离散和连续的IRL/IM任务表明，我们的方法优于以前的算法。
2022-08-20 cs.LG
Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland（昆士兰大学机器人设计实验室）
Soft Actor-Critic（SAC）是基于最大熵的强化学习（RL）框架内的最先进的非策略强化学习（RL）算法之一。SAC在一系列连续控制任务中表现良好，具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略，该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略，SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略（SAC-CEPO），它使用交叉熵方法（CEM）来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样，并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性，我们还引入了一个解耦的策略结构，将高斯策略分为一个学习均值的策略和一个学习偏差的策略，使得CEM只训练均值策略。我们表明，这种解耦的政策结构收敛到一个最优的，我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Dual Action Policy for Robust Sim-to-Real Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Continental Automotive（大陆汽车）
本文提出 Dual Action Policy (DAP) 方法，通过单一策略预测两组动作分别用于最大化仿真奖励和域适应，并结合基于不确定性的探索，有效解决了强化学习 sim-to-real 转换中的动力学不匹配问题，提升了智能体鲁棒性。
2024-10-16 cs.AI cs.LG cs.RO
Policy Gradient Optimal Correlation Search for Variance Reduction in Monte Carlo simulation and Maximum Optimal Transport
Sorbonne Université（索邦大学）
本文提出用深度神经网络结合策略梯度与强化学习搜索最优路径相关性，以降低随机微分方程蒙特卡洛估计的方差，并建立其与最大最优传输的联系。
2023-09-15 cs.LG math.OC stat.ML
Preference as Reward, Maximum Preference Optimization with Importance Sampling
本文提出最大偏好优化（MPO）算法，通过重要性采样视角结合RLHF和IPO的目标，有效处理off-policy KL正则化项，消除对奖励模型和参考策略的需求，简化学习过程。
2024-03-25 cs.AI cs.LG
Sample Complexity of Policy Gradient Finding Second-Order Stationary Points
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
基于策略的强化学习（RL）的目标是搜索其目标的最大值点。然而，由于其目标的内在非线性，收敛到一阶稳定点（FOSP）不能保证策略梯度方法找到一个最大点。一个FOSP可以是一个最小值，甚至是一个鞍点，这对于RL来说是不可取的。幸运的是，如果所有的鞍点都是\emph{strict}，所有的二阶平稳点（SOSP）完全等价于局部极大值。我们用SOSP代替FOSP作为表征策略梯度样本复杂性的收敛准则。我们的结果表明，策略梯度在总代价为$\mathcal{O}\left(\dfrac{ε^{-\frac{9}{2}}}{(1-γ)\sqrtχ}\log\dfrac{1}δ\right)$之后以至少$1-\widetilde{\mathcal{O}}(δ)$的概率收敛到$(ε,\sqrt{εχ})$ -SOSP，其中$γ\in(0,1)$ .我们的结果显著改善了需要$\mathcal{O}\left(\dfrac{ε^{-9}χ^{\frac{3}{2}}}δ\log\dfrac{1}{εχ}\right)$的最新结果。我们的分析是基于一个关键的思想，即分解的参数空间$\mathbb{R}^p$到三个非平稳区域：非平稳点，鞍点，局部最优区域，然后在每个区域的RL的目标进行局部改进。这种技术可以潜在地推广到广泛的策略梯度方法。
2020-12-02 cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
BRPO: Batch Residual Policy Optimization
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
在批处理强化学习（RL）中，通常将学习的策略约束为接近行为（数据生成）策略，例如，通过将学习到的动作分布约束为与行为策略相差在每个状态处相同的某个最大程度。这可能会导致批量RL过于保守，无法在频繁访问的高置信度状态下利用大的策略更改，而不会在稀疏访问状态下冒性能差的风险。为了弥补这一点，我们提出了剩余的政策，其中所允许的偏差的学习政策是状态动作依赖。我们推导出一种新的RL方法，BRPO，它学习的政策和允许的偏差，共同最大限度地提高政策性能的下限。我们表明，BRPO在许多任务中实现了最先进的性能。
2020-03-29 cs.AI cs.LG stat.ML
Towards Safe Reinforcement Learning with a Safety Editor Policy
Horizon Robotics（地平线机器人）
我们考虑安全的强化学习（RL）问题，最大限度地利用极低的约束违反率。假设没有先验知识或预先训练的环境安全模型给定的任务，代理必须学习，通过探索，哪些状态和动作是安全的。在这方面的研究中，一种流行的方法是将无模型RL算法与拉格朗日方法相结合，以动态地调整约束奖励相对于效用奖励的权重。它依赖于一个单一的政策来处理效用和约束奖励之间的冲突，这往往是具有挑战性的。我们提出了SEditor，一个两个政策的方法，学习安全编辑器的政策，将潜在的不安全的行动提出的效用最大化的政策到安全的。安全编辑器被训练为最大化约束奖励，同时最小化在编辑动作之前和之后的效用状态动作值的铰链损失。SEditor扩展了现有的安全层设计，假设简化的安全模型，一般的安全RL场景中，安全模型在理论上可以是任意复杂的。作为一种一阶方法，它易于实现，推理和训练效率都很高。在12个安全健身房任务和2个安全赛车任务中，SEditor获得了比基线更高的整体安全加权效用（SWU）得分，并展示了出色的效用性能，即使在障碍密集的环境中，约束违反率也低至每2k时间步一次。在某些任务中，这种低违规率比具有类似效用性能的无约束RL方法低200倍。代码可在https://github.com/hnyu/seditor上获得。
2022-10-10 cs.AI cs.LG cs.RO
Soft Actor-Critic Algorithm with Truly-satisfied Inequality Constraint
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）
强化学习中的软行动者-批评者（SAC）有望成为下一代机器人控制方案之一。其最大化策略熵的能力将使机器人控制器对噪声和扰动具有鲁棒性，这对于现实世界的机器人应用是有用的。然而，在当前实现中，最大化策略熵的优先级被自动调整，其规则可以被解释为等式约束，将策略熵绑定到其指定的下限。因此，与我们的预期相反，当前的SAC不再是最大化政策熵。为了解决这个问题，在SAC中，本文改进了其实现与学习状态相关的松弛变量适当处理的不等式约束，以最大化的政策熵，通过将其重新制定为相应的等式约束。引入松弛变量优化开关型损失函数，考虑到满足等式约束和检查下限的双重目标。在Mujoco和Pybullet模拟器中，修改后的SAC在统计上实现了对对抗攻击的更高鲁棒性，同时正则化了动作的范数。一个真实的机器人变阻抗任务，证明了修改后的SAC现实世界的机器人控制的适用性。特别是，修改后的SAC保持了物理人机交互的自适应行为，这在训练过程中根本没有经验。https://youtu.be/EH3xVtlVaJw
2023-07-02 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Reach-Avoid-Stay Problems
North Carolina State University（北卡罗来纳州立大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Honda Research Institute（本田研究所）
本文提出两步深度强化学习框架，联合学习最大鲁棒RAS集与对应控制策略，仿真显示该框架可精确计算RAS集且性能优于基线方法。
2026-09-03 cs.LG cs.RO cs.SY
On the Performance of Maximum Likelihood Inverse Reinforcement Learning
Universidad de Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa, Zaragoza（萨拉戈萨国防大学中心）
逆强化学习（IRL）解决了恢复任务描述的问题，给出了用于解决此类任务的最佳策略的演示。最优策略通常由专家或教师提供，使得IRL特别适合于学徒学习问题。任务描述以马尔可夫决策过程（MDP）的奖励函数的形式编码。已经提出了几种算法来找到对应于一组演示的奖励函数。在不同应用中提供最佳结果的算法之一是优化策略平方误差准则的梯度方法。在平行线的研究，其他作者最近提出了一个梯度近似的最大似然估计的奖励信号。一般来说，这两种方法在不同阶段近似梯度估计和准则，使算法易于处理和有效。在这项工作中，我们提供了一个详细的描述不同的方法，以突出奖励估计，政策相似性和计算成本方面的差异。我们还提供了实验结果，以评估性能的差异的方法。
2012-02-07 cs.LG
Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization without Compounding Errors
University of Southern California（南加州大学）
模型使用是基于模型的强化学习的核心挑战。虽然基于深度神经网络的动力学模型为单步的预测提供了良好的泛化能力，但由于复合误差，这种能力在用于预测长时间轨迹时被过度利用。在这项工作中，我们提出了一个Dyna风格的基于模型的强化学习算法，我们称之为最大熵模型卷展（MEMR）。为了消除复合误差，我们只使用我们的模型来生成单步推出。此外，我们建议通过对环境状态进行非均匀采样来生成\emph{diverse}模型卷展，从而使模型卷展的熵最大化。我们数学推导出高斯先验下一个数据案例的最大熵采样标准。为了实现这一标准，我们建议利用优先经验重放。我们在具有挑战性的运动基准测试中的初步实验表明，我们的方法实现了最好的基于模型的算法相同的样本效率，匹配的最好的无模型算法的渐近性能，并显着降低了其他基于模型的方法的计算要求。
2020-06-29 cs.LG stat.ML
Truncated Rectified Flow Policy for Reinforcement Learning with One-Step Sampling
Harbin Institute of Technology（哈尔滨工业大学）
本文提出TRFP框架，通过混合确定性-随机性架构解决MaxEnt RL中连续时间生成策略的可微性问题，实现稳定训练和有效一步采样，实验表明其在多目标环境和MuJoCo基准中表现优异。
2026-04-10 cs.LG
IPO: Interior-point Policy Optimization under Constraints
University of California, Davis（加州大学戴维斯分校）
在本文中，我们研究了强化学习（RL）算法来解决现实世界的决策问题的目标是最大化的长期回报，以及满足累积约束。我们提出了一种新的一阶策略优化方法，内点策略优化（IPO），它增加了对数障碍函数的目标，启发了邻点方法。我们提出的方法是很容易实现的性能保证，并可以处理一般类型的累积多约束设置。我们进行广泛的评估，将我们的方法与最先进的基线进行比较。我们的算法优于基线算法，在奖励最大化和约束满足。
2019-10-21 cs.LG math.OC stat.ML
Multi-objective Model-based Policy Search for Data-efficient Learning with Sparse Rewards
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
机器人技术中最有效的强化学习算法是基于模型的策略搜索算法，该算法在学习机器人的动态模型和优化策略之间交替，以最大化给定模型及其不确定性的预期回报。然而，目前的算法缺乏一个有效的探索策略来处理稀疏或误导性的奖励场景：如果他们没有经历任何状态与积极的奖励在初始随机探索，这是非常不可能解决的问题。在这里，我们提出了一种新的基于模型的策略搜索算法Multi-DEX，它利用学习的动态模型来有效地探索任务空间，并在几集中解决具有稀疏奖励的任务。为了实现这一目标，我们将策略搜索问题框架为多目标，基于模型的策略优化问题，具有三个目标：（1）生成最大的新状态轨迹，（2）最大化预期回报，（3）将系统保持在模型尽可能准确的状态空间区域。然后，我们使用基于Pareto的多目标优化算法优化这些目标。实验表明，Multi-DEX能够以比VIME，TRPO，GEP-PG，CMA-ES和Black-DROPS低得多的交互时间解决稀疏奖励场景（使用模拟机器人手臂）。
2020-03-03 cs.AI cs.LG cs.NE
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients
University of California, Berkeley（加州大学伯克利分校）
提出GReinSS框架，使用动态缩放奖励学习潜在状态分布以最大化观测数据似然，在模拟潜在集和图重建中优于基线，并在RNA测序数据中比RSEM更准确地重建异构体。
2026-06-05 cs.LG
