Soft Q Network
CreateAmind
深度Q网络（DQN）是一个非常成功的算法，但强化学习的固有问题，即开发-探索平衡，仍然存在。在这项工作中，我们引入熵正则化到DQN，并提出了SQN。我们发现，软Q学习的备份方程可以享受正确的反馈，如果我们把软备份看作是Q形式的策略改进，而不是策略评估。我们证明了带纠正反馈的软Q学习（SQL-CF）是SQL的on-plicy性质以及SQL和软策略梯度（SPG）的等价性的基础。有了这些见解，我们提出了一个策略版本的深度Q学习算法，即Q On-Policy（QOP）。我们在一个名为Google Research Football（GRF）的自我游戏环境中进行了QOP实验。QOP算法在训练GRF代理时表现出很好的稳定性和效率。
2020-12-14 cs.AI cs.LG
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
National University of Singapore（新加坡国立大学）；Trinity College Dublin, The University of Dublin（都柏林大学三一学院）
针对强化学习中隐藏混淆变量导致策略偏差的问题，本文提出DoSAC算法，通过可学习后门重构器从观测数据估计干预策略，在连续控制任务中提升了鲁棒性与泛化能力。
2025-06-05 cs.AI cs.LG
Towards Task-Prioritized Policy Composition
Örebro University（厄勒布鲁大学）；McMaster University（麦克马斯特大学）
以优先化的、有序的方式组合学习的策略是期望的，因为它允许模块化设计并通过知识转移促进数据重用。在控制理论中，优先组合是通过零空间控制来实现的，其中低优先级控制动作被投影到高优先级控制动作的零空间中。这种方法目前不适用于强化学习。本文提出了一种新的基于任务优先的强化学习组合框架，其中包含了一个新的概念：强化学习策略的无差异空间。我们的框架有可能促进知识转移和模块化设计，同时大大提高数据效率和数据重用的强化学习代理。此外，我们的方法可以确保高优先级的约束满足，这使得它有希望在机器人等安全关键领域的学习。与零空间控制不同，我们的方法允许学习全局最优策略的复合任务的在线学习在初始复合政策建设后的高级别政策的冷漠空间。
2022-09-20 cs.AI cs.LG
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland（昆士兰大学机器人设计实验室）
Soft Actor-Critic（SAC）是基于最大熵的强化学习（RL）框架内的最先进的非策略强化学习（RL）算法之一。SAC在一系列连续控制任务中表现良好，具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略，该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略，SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略（SAC-CEPO），它使用交叉熵方法（CEM）来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样，并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性，我们还引入了一个解耦的策略结构，将高斯策略分为一个学习均值的策略和一个学习偏差的策略，使得CEM只训练均值策略。我们表明，这种解耦的政策结构收敛到一个最优的，我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Logit Dynamics in Softmax Policy Gradient Methods
该研究分析softmax策略梯度方法的logit动力学，推导了logit更新向量L2范数的精确公式，揭示了由策略置信度自动调控学习强度的内在自调节机制，为这类方法的稳定性与收敛性提供了基础性洞见。
2025-06-15 cs.AI cs.LG stat.ML
Soft Actor-Critic with Beta Policy via Implicit Reparameterization Gradients
Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Concordia University（康考迪亚大学）
针对 SAC 无法直接重参数化 beta 分布的限制，本文采用隐式重参数化梯度训练 beta 策略，并在模拟机器人运动任务中验证其优于正态策略且媲美压缩正态策略。
2024-09-08 cs.AI cs.LG
Robust off-policy Reinforcement Learning via Soft Constrained Adversary
Kyoto University（京都大学）；Honda R&D Corp.（本田研发公司）
本文针对离策略鲁棒强化学习中策略与最优对抗者相互依赖及扰动假设局限的问题，提出基于f-散度约束和先验分布知识的对抗框架，推导出两种攻击及鲁棒学习方法，并在样本高效离策略RL中验证了其优异性能。
2024-08-31 cs.AI cs.LG
Soft Decomposed Policy-Critic: Bridging the Gap for Effective Continuous Control with Discrete RL
针对离散强化学习应用于连续控制时的维度爆炸问题，提出结合软RL、演员-评论家技术与离散RL的SDPC架构，通过独立离散化动作维度和共享评论家网络支持两类策略，在多个连续控制任务上优于现有最优连续RL算法。
2023-08-20 cs.AI cs.LG
Diffusion Fine-Tuning via Reparameterized Policy Gradient of the Soft Q-Function
KAIST（韩国科学技术院）；MongooseAI（猫鼬人工智能）；Omelet
SQDF通过软Q函数的重参数化策略梯度方法，解决扩散模型奖励过优化问题，提升样本多样性和自然性。
2026-03-06 cs.AI cs.LG
Direct Soft-Policy Sampling via Langevin Dynamics
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea（韩国大学人工智能系）；Gauss Labs Inc（Gauss实验室）
通过引入噪声条件化的 Langevin 动力学，NC-LQL 实现了高效的软策略采样，提升了在线强化学习的性能。
2026-02-08 cs.AI cs.LG
A short variational proof of equivalence between policy gradients and soft Q learning
Data Science Institute（数据科学研究所）；Imperial College（帝国理工学院）；Institute of Security Science and Technology（安全科学与技术研究所）
强化学习算法的两个主要家族，Q学习和策略梯度，最近被证明是等价的，当使用softmax松弛的一部分，和熵正则化的其他。我们将这个结果与著名的香农熵和softmax函数的凸对偶性联系起来。这个结果也被称为Donsker-Varadhan公式。这提供了等价性的简短证明。然后，我们进一步解释这种对偶性，并使用凸分析的思想来证明一个新的政策不等式相对于软Q学习。
2017-12-22 cs.LG
Softmax Deep Double Deterministic Policy Gradients
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Alibaba Group（阿里巴巴集团）
深度确定性策略梯度（DDPG）是一种广泛应用于连续控制的actor-critic强化学习算法，但存在高估问题，影响算法性能。尽管最先进的双延迟深度确定性策略梯度（TD 3）算法减轻了高估问题，但它可能导致大的低估偏差。在本文中，我们提出了使用玻尔兹曼softmax算子的价值函数估计连续控制。我们首先在理论上分析了连续作用空间中的softmax算子。然后，我们揭示了actor-critic算法中softmax算子的一个重要性质，即，它有助于平滑优化环境，从而为运营商带来新的优势。通过在单估计量和双估计量上构造softmax算子，设计了Softmax深度确定性策略梯度（SD 2）和Softmax深度双确定性策略梯度（SD 3）两种新算法，有效地改善了高估和低估偏差。我们对具有挑战性的连续控制任务进行了广泛的实验，结果表明SD 3优于最先进的方法。
2020-10-19 cs.LG
Distributional Soft Actor-Critic with Diffusion Policy
School of Vehicle and Mobility, Tsinghua University（车辆与移动学院，清华大学）；School of Mechanical Engineering, University of Science and Technology Beijing（机械工程学院，北京科技大学）
本文提出DSAC-D算法，通过双重扩散模型构建多峰价值网络与策略网络，解决了价值函数估计偏差问题并在9个MuJoCo任务中实现SOTA性能。
2025-07-11 cs.AI cs.LG
Policy Gradient with Tree Expansion
NVIDIA Research（NVIDIA研究院）；Technion University（以色列理工学院）；Bar-Ilan University（巴伊兰大学）
本文提出SoftTreeMax，通过树扩展规划降低策略梯度方差，在Atari上实现三个数量级的方差减少，提升样本效率与性能。
2025-05-25 cs.AI cs.LG
APC-RL: Exceeding Data-Driven Behavior Priors with Adaptive Policy Composition
Department of Computer Science Örebro University（计算机科学系 Örebro大学）
APC-RL通过自适应策略组合方法，有效整合稀疏、次优或不一致的演示数据，提升强化学习的效率与鲁棒性。
2026-01-27 cs.AI cs.LG
Soft-Robust Actor-Critic Policy-Gradient
Technion（以色列理工学院）；Google Deepmind（谷歌DeepMind）
鲁棒强化学习的目标是获得最佳行为，说明动态系统中的模型不确定性。然而，先前的研究表明，考虑到最坏的情况，稳健的政策可能过于保守。我们的软稳健框架就是为了解决这个问题。在本文中，我们提出了一种新的软鲁棒Actor-Critic算法（SR-AC）。它学习关于不确定性集合上的分布的最优策略，并对模型的不确定性保持鲁棒性，但避免了鲁棒策略的保守性。我们展示了SR-AC的收敛性，并通过将其与常规学习方法及其鲁棒性公式进行比较来测试我们的方法在不同领域上的效率。
2018-10-24 cs.AI cs.LG stat.ML
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低，并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法（PTR-PPO），该算法结合了on-policy和off-policy方法，通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点：前两个是最大和平均轨迹优先级的一步经验广义优势估计（GAE）值的基础上，最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后，将优先轨迹重放引入到PPO算法中，提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题，并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能，实现了最先进的性能。此外，通过分析训练过程中优先级内存中各个位置的优先级变化热图，我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响，从而影响算法的性能。
2021-12-08 cs.LG
Decoupled Prioritized Resampling for Offline RL
Tsinghua University（清华大学）；Sea AI Lab
本文提出即插即用的离线优先经验回放OPER，通过高回报转移优先权重诱导改进行为策略，并以OPER-A和OPER-R两种策略显著提升五类离线RL基线性能。
2025-01-08 cs.AI cs.LG
Modified Actor-Critics
Austrian Institute of Technology（奥地利技术研究所）；FH Joanneum（约翰内姆应用科技大学）；Google Research, Brain Team（谷歌研究院大脑团队）
最近成功的深度强化学习算法，如信任域策略优化（TRPO）或近端策略优化（PPO），是保守策略迭代（CPI）的基本变体。这些算法首先进行策略评估，然后进行软化策略改进。因此，他们自然是政策。在本文中，我们建议将（任何类型的）软贪婪与修改策略迭代（MPI）相结合。所提出的抽象框架反复应用：（i）允许离策略学习的部分策略评估步骤和（ii）任何软化的贪婪步骤。我们的贡献可以被视为深度强化学习工具箱的新通用工具。作为概念的证明，我们用PPO greediness实例化这个框架。与原始PPO算法相比，该算法具有更高的采样效率。我们还表明，它是具有竞争力的国家的最先进的政策外的算法软演员批评（SAC）。
2020-01-24 cs.AI cs.LG stat.ML
RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning
Department of Automation, Tsinghua University（清华大学自动化系）
针对强化学习中无效样本导致学习信号不足的问题，提出群体优先级离策略优化（POPO），通过优先级群体重放和解耦重要性采样，在不增加额外采样开销的情况下提升推理性能。
2026-05-31 cs.AI cs.LG
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Safe Policy Improvement with Soft Baseline Bootstrapping
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Microsoft Research Montréal（蒙特利尔微软研究院）
批处理强化学习（Batch RL）包括使用与另一个策略（称为行为策略）一起收集的轨迹来训练策略。安全策略改进（SPI）提供了高概率的保证，即经过训练的策略比行为策略表现得更好，在这种情况下也称为基线。以前的工作表明，SPI目标提高了平均性能相比，使用基本RL目标，归结为解决MDP与最大似然。在这里，我们在这项工作的基础上，通过允许在更广泛的策略集上进行策略搜索，更精确地改进了SPI与基线引导算法（SPIBB）。而不是二进制分类的状态-动作对成两个集合（\textit{uncertain}和\textit{safe-to-train-on}的），我们采用了一种更软的策略，通过限制政策的变化，根据本地模型的不确定性，控制在值估计的误差。该方法可以承担更多的风险，不确定的行动，同时保持可证明的安全，因此是保守性比国家的最先进的方法。我们提出了两种算法（一个最佳的和一个近似的）来解决这个约束优化问题，经验表明，显着改善现有的SPI算法的有限MDP和无限MDP与神经网络函数近似。
2019-07-11 cs.AI cs.LG stat.ML
SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data
Media Integration and Communication Center – University of Florence（媒体集成与通信中心——佛罗伦萨大学）；SEED – Electronic Arts（SEED——电子艺界）
本文提出SOPE算法，通过使用与演员对齐的离策略策略评估（OPE）信号作为自动早停机制，动态控制离线训练阶段的长度，从而在连续控制任务中提高基线性能并减少计算资源消耗。
2026-05-20 cs.AI cs.LG
Bridging the Gap Between Value and Policy Based Reinforcement Learning
Google Brain（谷歌大脑）
基于熵正则化下softmax时间值一致性和策略最优性之间的关系，建立了基于值和策略的强化学习（RL）之间的新联系.具体来说，我们表明softmax一致的动作值对应于沿着任何动作序列的最优熵正则化策略概率，而不管出处如何。从这个观察，我们开发了一个新的RL算法，路径一致性学习（PCL），最大限度地减少了软一致性错误的概念，沿多步动作序列提取的政策和关闭的痕迹。我们研究了PCL在不同情况下的行为，并表明PCL可以被解释为推广演员-评论家和Q-学习算法。随后，我们通过展示如何使用单个模型来表示策略和相应的softmax状态值来加深这种关系，从而消除了对单独评论家的需求。实验评估表明，PCL在几个基准测试中显着优于强演员-评论家和Q学习基线。
2017-11-22 cs.AI cs.LG stat.ML
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
A Short Note on Soft-max and Policy Gradients in Bandits Problems
University of Manchester（曼彻斯特大学）
这是一个关于softmax在强盗问题中的李雅普诺夫函数参数的简短交流。在强化学习\cite{agarwal2019optimality,bhandari2019global,mei2020global}中，有许多优秀的论文使用微分方程进行策略梯度算法。我们给出了一个简短的论点，给出了一个遗憾界的软最大常微分方程的强盗问题。我们得出一个类似的结果，一个不同的策略梯度算法，再次强盗问题。对于这第二个算法，它是可能的，以证明在随机情况下的遗憾界\cite{DW20}。最后，我们总结了在推导策略梯度的随机后悔界方面的一些想法和问题。
2020-07-20 cs.LG stat.ML
SoftTreeMax: Policy Gradient with Tree Search
NVIDIA Research Israel（英伟达以色列研究院）
策略梯度方法被广泛用于学习控制策略。它们可以很容易地分发给多个工作人员，并在许多领域达到最先进的结果。不幸的是，它们表现出很大的方差，并且随后遭受高样本复杂性，因为它们在整个轨迹上聚合梯度。在另一个极端，规划方法，如树搜索，使用考虑未来前瞻的单步转换来优化策略。这些方法主要被认为是基于值的算法。基于规划的算法需要一个前向模型，并且在每一步都是计算密集型的，但是更有效。在这项工作中，我们介绍SoftTreeMax，第一种方法，将树搜索到策略梯度。传统上，梯度是针对单个状态-动作对计算的。相反，我们的基于树的策略结构在每个环境步骤中利用树叶上的所有梯度。这使我们能够将梯度的方差降低三个数量级，并受益于与标准策略梯度相比更好的样本复杂性。在Atari上，与分布式PPO相比，SoftTreeMax在更快的运行时间内表现出高达5倍的性能。
2022-09-28 cs.LG
Regularization of Soft Actor-Critic Algorithms with Automatic Temperature Adjustment
本工作全面分析了带自动温度调节的Soft Actor-Critic算法的正则化，通过重新表述策略评估、策略改进和温度调节，以更明确的方式增强了原始理论的清晰度。
2023-05-23 cs.AI cs.LG
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University（清华大学）
在强化学习（RL）中，函数逼近误差容易导致Q值高估，从而大大降低策略性能。本文提出了一种分布式软行动者-批评者（DSAC）算法，这是一种用于连续控制设置的非策略RL方法，通过减轻Q值高估来提高策略性能。我们首先在理论上发现，学习状态-动作回报的分布函数可以有效地减轻Q值高估，因为它能够自适应地调整Q-价值函数的更新步长。然后，通过将收益分布函数嵌入到最大熵RL中，提出了分布式软策略迭代（DSPI）框架。最后，我们提出了DSPI的一个深度非策略行动者-批评者变体，称为DSAC，它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布，以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能，实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
Annealed Softmax Greedy in Many-Armed Bayesian Bandits
Stanford University（斯坦福大学）
本文研究退火Softmax贪婪算法在多臂贝叶斯伯努利老虎机中的贝叶斯遗憾，证明在先验满足线性上尾条件（β=1的β正则性）时，算法达到接近最优的贝叶斯遗憾率，并与RLVR方法形成结构类比。
2026-08-18 cs.AI cs.LG
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
在强化学习中，经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术，以更好地利用这些样本。以前的优先级标准包括TD错误，最近和纠正性反馈，这主要是启发式设计。在这项工作中，我们从遗憾最小化的目标，并获得一个最优的优先级策略贝尔曼更新，可以直接最大化的政策回报。该理论认为，在抽样过程中，后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此，大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由，以前的标准，但也提出了两种新的方法来计算优先权，即ReMERN和ReMERT。ReMERN学习错误网络，而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试（包括MuJoCo，Atari和Meta-World）中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Safe Exploration via Policy Priors
ETH Zurich（苏黎世联邦理工学院）
提出SOOPER方法，利用次优但保守的策略先验，结合概率动力学模型进行乐观探索和悲观回退，在保证安全的同时收敛到最优策略。
2026-08-14 cs.AI cs.LG cs.RO
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University（杜克大学）
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题，该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态，例如建模，宽单隐层神经网络的行为，通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下，我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI；UC Berkeley（加州大学伯克利分校）
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的，然而，还没有很好地理解它们为什么工作，因为根据经验，它们估计的$Q$ -值非常不准确。一个部分的解释可能是，$Q$ -学习方法正在秘密地实现策略梯度更新：我们表明，在熵正则化强化学习的设置中，$Q$ -学习和策略梯度方法之间存在精确的等价性，“软”（熵正则化）$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中，我们探索了$Q$的熵正则化版本-学习和策略梯度，我们发现它们在Atari基准测试中的表现与标准变体一样好（或略好于）。我们还表明，在实际环境中的等价性，通过构建一个$Q$的学习方法，密切匹配的A3 C的学习动态，而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
The Sufficiency of Off-Policyness and Soft Clipping: PPO is still Insufficient according to an Off-Policy Measure
Jilin University（吉林大学）；University of Alberta（阿尔伯塔大学）；Northwestern Polytechnical University（西北工业大学）；Ministry of Education, China（中国教育部）；Alberta Machine Intelligence Institute, University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所）
流行的近端策略优化（PPO）算法在裁剪的策略空间中近似解。在这个领域之外是否存在更好的政策？通过使用一个新的代理目标，采用sigmoid函数（这提供了一种有趣的探索方式），我们发现答案是“是”，更好的策略实际上位于离裁剪空间很远的地方。我们表明，PPO是不够的“关闭policyness”，根据关闭政策的指标称为DEON。我们的算法在比PPO大得多的策略空间中进行探索，并且在训练期间比PPO更好地最大化保守策略迭代（CPI）目标。据我们所知，目前所有的PPO方法都有裁剪操作，并在裁剪的策略空间中进行优化。本文的方法是这类方法中的第一个，它推进了对CPI优化和策略梯度方法的理解。代码可在https://github.com/raincchio/P3O上获得。
2022-12-03 cs.LG
Fast Convergence of Softmax Policy Mirror Ascent
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI（三星人工智能）；ServiceNow；Mila, Université de Montréal, McGill（蒙特利尔大学Mila研究所）
本文改进了在logits对偶空间进行镜像上升的策略梯度算法，提出SPMA方法，证明其在表格MDP中具有线性收敛性，并扩展至线性和非线性函数近似，在MuJoCo和Atari基准上表现优于或等同于MDPO、PPO和TRPO。
2025-05-30 cs.AI cs.LG cs.RO
Offline Reinforcement Learning with Soft Behavior Regularization
JD Intelligent Cities Research, JD Technology（京东科技京东智能城市研究院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）
离线强化学习（RL）的大多数现有方法利用\textit{behavior regularization}，通常用测量策略和离线数据之间的分歧的惩罚来增强现有的非策略参与者评论算法。然而，这些方法缺乏保证的性能改进的行为策略。在这项工作中，我们从学习策略和行为策略之间的性能差异出发，我们推导出一个新的策略学习目标，可以用于离线设置，它对应于优势函数值的行为策略，乘以状态边际密度比。我们提出了一个实用的方法来计算密度比，并证明其等价于一个状态依赖的行为正则化。与先前方法中使用的状态无关正则化不同，这种\textit{soft}正则化允许在高置信度状态下更自由地进行策略偏离，从而导致更好的性能和稳定性。因此，我们将我们得到的算法软行为正则化演员评论（SBAC）。我们的实验结果表明，SBAC匹配或优于国家的最先进的一组连续控制运动和操纵任务。
2021-10-14 cs.LG
Off-policy Maximum Entropy Reinforcement Learning : Soft Actor-Critic with Advantage Weighted Mixture Policy(SAC-AWMP)
Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）；Reinforcement Learning and Artificial Intelligence Laboratory, University of Alberta（阿尔伯塔大学强化学习与人工智能实验室）；Department of Biomedical Engineering, National University of Singapore（新加坡国立大学生物医学工程系）
强化学习问题的最优策略往往是不连续和非光滑的。也就是说，对于具有类似表示的两个国家，它们的最佳政策可能大不相同。在这种情况下，表示整个政策与函数逼近器（FA）共享参数的所有状态可能是不可取的，因为参数共享的泛化能力，使表示不连续的，非平滑的政策困难。解决这个问题的一种常见方法，称为混合专家，是将策略表示为多个组件的加权和，其中不同的组件在状态空间的不同部分上表现良好。根据这个想法，并受到最近的工作称为加权信息最大化的启发，我们建议学习这些组件的每个状态权重，以便它们包含状态本身的信息以及迄今为止为状态学习的首选动作。动作偏好通过优势函数来表征。在这种情况下，每个分量的权重将仅对于其表示相似并且优选动作表示也相似的某些状态组较大。因此，每个组件都易于表示。我们把这种参数化的策略称为优势加权混合策略（AWMP），并把这种思想应用于改进最有竞争力的连续控制算法之一软演员评论（SAC）。实验结果表明，与AWMP SAC明显优于SAC在四个常用的连续控制任务，并实现不同的随机种子稳定的性能。
2020-02-07 cs.AI cs.LG stat.ML
On the Global Convergence Rates of Softmax Policy Gradient Methods
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）；Google Research（谷歌研究院）
我们对更好地理解表格设置中的策略梯度方法做出了三个贡献。首先，我们证明了在真实梯度下，具有softmax参数化的策略梯度以$O(1/t)$速率收敛，常数取决于问题和初始化。这一结果大大扩展了最近的渐近收敛结果。该分析依赖于两个发现：softmax策略梯度满足一个Schojasiewicz不等式，以及优化过程中最优操作的最小概率可以在其初始值方面有界。其次，我们分析了熵正则化的策略梯度，并表明它具有更快的线性收敛速度$O(e^{-c \cdot t})$向softmax最优策略$(c > 0)$。这一结果解决了一个悬而未决的问题，在最近的文献。最后，结合上述两个结果和额外的新的$Ω(1/t)$下界结果，我们解释了熵正则化如何改善策略优化，即使是真正的梯度，从收敛速度的角度来看。率的分离进一步解释使用的概念，非均匀的degree-jasiewicz度。这些结果提供了一个理论上的理解熵的影响，并证实了现有的实证研究。
2022-06-02 cs.LG stat.ML
SOAC: The Soft Option Actor-Critic Architecture
Tsinghua University（清华大学）；IIIS, Tsinghua University（清华大学智能产业研究院）；Sun Yat-Sen University（中山大学）
选项框架通过自动从长期任务中提取临时扩展的子任务显示出了很大的潜力。已经提出了用于同时学习低级选项内策略和高级选项选择策略的方法。然而，现有的方法通常遭受两个主要挑战：无效的探索和不稳定的更新。在本文中，我们提出了一种新的和稳定的关闭政策的方法，建立在最大熵模型来解决这些挑战。我们的方法引入了信息理论的内在奖励，鼓励识别多样和有效的选项。同时，我们利用一个概率推理模型来简化优化问题的拟合最优轨迹。实验结果表明，我们的方法在一系列Mujoco基准任务中的性能明显优于先前的on-policy和off-policy方法，同时仍然为迁移学习提供了好处。在这些任务中，我们的方法学习了一组不同的选项，每个选项的状态-动作空间都具有很强的一致性。
2020-06-25 cs.AI cs.LG
Imitation Learning with a Value-Based Prior
Princeton University（普林斯顿大学）
模仿学习的目标是让学徒通过观察指导者展示正确的行为来学习如何在随机环境中表现。关于正确行为的准确的先验知识可以减少对导师示范的需要。我们提出了一种新的方法来编码先验知识的正确的行为，在这里我们假设，这种先验知识的马尔可夫决策过程（MDP）的形式，是由学徒作为一个粗糙和不完美的模型的导师的行为。具体来说，采用贝叶斯方法，我们将在此建模MDP中的策略的值视为策略的对数先验概率。换句话说，我们假设先验的导师的行为很可能是一个高价值的政策在建模MDP，虽然很可能不同的最佳政策。我们描述了一个有效的算法，给定一个建模MDP和一组演示的导师，可证明收敛到一个固定点的日志后的导师的政策，后计算相对于“基于值”之前。我们还提出了经验证据表明，这种事先实际上加快学习的导师的政策，是在我们的实验比以前类似的方法的改进。
2012-06-20 cs.AI cs.LG stat.ML
Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization
Québec AI institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Facebook AI Research（Facebook人工智能研究院）；Element AI；Ubisoft Montreal’s La Forge R&D laboratory（育碧蒙特利尔La Forge研发实验室）
对抗性模仿学习在学习一个模型（区分专家的演示和生成的演示）和一个生成器的策略之间交替进行，以生成可以欺骗这个模型的轨迹。这种交替优化在实践中是微妙的，因为它将不稳定的对抗训练与脆弱和样本效率低下的强化学习结合在一起。我们建议通过利用一种新的策略优化公式来消除政策优化步骤的负担。具体地说，我们的迭代策略明确地以两个策略为条件：来自前一个生成器的迭代的策略和可学习的策略。当优化时，该学习器直接学习最优生成器的策略。因此，我们的更新免费解决了生成器的优化问题：学习模仿专家的策略不需要额外的优化循环。这种公式通过完全去除强化学习阶段，有效地将对抗模仿学习算法的实现和计算负担减少了一半。我们在各种任务上表明，我们更简单的方法与流行的模仿学习方法相比具有竞争力。
2021-04-16 cs.AI cs.LG stat.ML
Expert Behavior Prior Reinforcement Learning
School of Computer Science, Tongji University（同济大学计算机科学与技术学院）
研究针对行为先验强化学习依赖静态离线数据集的问题，提出专家行为先验算法，通过Q引导的条件变分自编码器生成专家策略先验，并结合专家策略引导和策略梯度校正模块，提升样本效率与收敛稳定性。
2026-07-28 cs.AI
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University（清华大学）
本文针对SAC中反向KL散度导致策略投影难以处理的问题，提出双向SAC算法，先利用前向KL散度获得显式高斯策略投影进行初始化，再优化反向KL散度精炼策略，在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
Elementary Analysis of Policy Gradient Methods
School of Data Science, Fudan University（复旦大学数据科学学院）
该研究针对折扣MDP场景，采用新的基础分析技术，系统推导了投影策略梯度、softmax策略梯度等六类强化学习策略优化方法的收敛特性，完善了相关理论认知。
2024-04-11 cs.LG math.OC
Entropic Risk Constrained Soft-Robust Policy Optimization
University of New Hampshire（新罕布什尔大学）
在强化学习中，拥有一个完美的模型来计算最优策略通常是不可行的。在高风险领域，量化和管理由模型不确定性引起的风险是非常重要的。熵风险测度是一种基于指数效用的凸风险测度，它满足许多合理的性质。在本文中，我们提出了一个熵风险约束的策略梯度和演员评论家算法，是风险厌恶的模型的不确定性。我们证明了我们的算法在几个问题域的有用性。
2020-06-20 cs.LG math.OC stat.ML
A Lyapunov Analysis of Softmax Policy Gradient for Stochastic Bandits
研究将Lattimore(2026)对连续时间k臂随机老虎机策略梯度的分析适应到离散时间设置，证明学习率η=O(Δ_min²/(Δ_max log(n)))时，后悔为O(k log(k) log(n)/η)。
2026-03-27 cs.LG
SafePILCO: a software tool for safe and data-efficient policy synthesis
University of Oxford（牛津大学）
SafePILCO是一个软件工具，用于通过强化学习进行安全和数据高效的策略搜索。它扩展了最初用MATLAB编写的已知PILCO算法，以支持安全学习。我们提供了一个Python实现，并利用现有的库，使代码库保持简短和模块化，这适合验证，强化学习和控制社区的更广泛使用。
2020-08-07 cs.LG cs.SY eess.SY
