Revisiting Design Choices in Proximal Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
近端策略优化（PPO）是一种流行的深度策略梯度算法。在标准实现中，PPO使用裁剪概率比来正则化策略更新，并使用连续高斯分布或离散Softmax分布来参数化策略。这些设计选择被广泛接受，并受到MuJoCo和Atari基准测试的经验性能比较的激励。我们重新审视这些做法以外的制度，目前的基准，并暴露标准PPO的三种故障模式。我们解释了为什么标准的设计选择在这些情况下是有问题的，并表明替代目标和政策参数化的选择可以防止故障模式。我们希望我们的工作可以提醒人们，强化学习中的许多算法设计选择都与特定的模拟环境有关。我们不应该隐含地接受这些选择作为更一般算法的标准部分。
2020-09-23 cs.LG stat.ML
Deterministic and Discriminative Imitation (D2-Imitation): Revisiting Adversarial Imitation for Sample Efficiency
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
样本效率对于模仿学习方法在现实世界中的应用是至关重要的。许多研究通过将对抗性模仿扩展到非策略来提高样本效率，而不管这些非策略扩展可能改变原始目标或涉及复杂的优化。我们重新审视了对抗性模仿的基础，并提出了一种不需要对抗性训练或最小最大优化的非策略样本有效方法。我们的公式利用了两个关键的见解：（1）Bellman方程和静态状态-动作分布方程之间的相似性使我们能够推导出一种新的时间差（TD）学习方法;（2）使用确定性策略简化了TD学习。结合起来，这些见解产生了一个实用的算法，确定性和判别性模仿（D2-模仿），它的操作首先将样本划分到两个重放缓冲区，然后通过离线策略强化学习学习确定性策略。我们的实证结果表明，D2-模仿是有效的，在实现良好的样本效率，优于几个政策外扩展方法的对抗性模仿在许多控制任务。
2022-04-13 cs.LG
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Revisiting Policy Gradients for Restricted Policy Classes: Escaping Myopic Local Optima with $k$-step Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出k步策略梯度方法，通过结合k步时间窗口内的随机性，解决受限策略类中因策略梯度短视导致的局部极值问题，并在理论上保证收敛性能。
2026-05-11 cs.LG stat.ML
Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization
National Yang Ming Chiao Tung University（国立阳明交通大学）；Facebook AI（脸书人工智能）；Academia Sinica（中央研究院）
约束强化学习（RL）是一种在各种现实世界应用中广泛使用的方法，例如具有资源约束的网络系统中的调度和具有运动约束的机器人的控制。虽然现有的基于投影的方法确保零约束违反，但由于策略梯度和投影的紧密耦合，它们可能遭受零梯度问题，这导致样本低效的训练和缓慢的收敛。为了解决这个问题，我们提出了一个学习算法，利用状态明智的Frank-Wolfe和基于回归的策略更新方案，从策略参数更新的动作约束。此外，我们表明，该算法在表格的情况下，以及推广流行的DDPG算法的动作约束RL在一般情况下，具有收敛性和政策改进性能。通过实验，我们证明了该算法显着优于各种控制任务的基准方法。
2021-08-02 cs.LG
The Reinforce Policy Gradient Algorithm Revisited
Indian Institute of Science（印度科学学院）
该研究再探Reinforce策略梯度算法，提出借助随机搜索方法、通过扰动参数的函数测量估计策略梯度的改进方案，放宽了无限状态动作空间系统下的收敛正则性要求，并证明新算法收敛至局部最小值邻域。
2023-10-08 cs.AI cs.LG cs.SY
Revisiting Peng's Q($λ$) for Modern Reinforcement Learning
Columbia University（哥伦比亚大学）；DeepMind（深度思维公司）
非策略多步强化学习算法由保守和非保守算法组成：前者主动切割痕迹，而后者不。最近，Munos等人（2016）证明了保守算法收敛于最优Q函数。相比之下，非保守算法被认为是不安全的，并且具有有限的理论保证或没有理论保证。尽管如此，最近的研究表明，非保守算法在经验上优于保守算法。由于经验结果和理论的缺乏，我们对非保守算法的代表性例子Peng的Q（$λ$）进行了理论分析。我们证明了它也收敛到一个最优的政策，提供的行为政策慢慢跟踪一个贪婪的政策，类似于保守的政策迭代。这样的结果被证明是正确的，但尚未得到证实。我们还实验与彭的Q（$λ$）在复杂的连续控制任务，确认彭的Q（$λ$）往往优于保守的算法，尽管它的简单。这些结果表明，被认为是不安全的Peng's Q（$λ$）是一个理论上合理和实际上有效的算法。
2021-02-27 cs.AI cs.LG stat.ML
Matrix Low-Rank Trust Region Policy Optimization
King Juan Carlos University（胡安·卡洛斯国王大学）
本文提出基于低秩矩阵的模型替代神经网络来估计TRPO参数，通过矩阵补全技术强制低秩性，在降低计算和样本复杂度的同时保持相当的累积奖励。
2024-05-27 cs.AI cs.LG
Matrix Low-Rank Approximation For Policy Gradient Methods
King Juan Carlos University（胡安·卡洛斯国王大学）
本文提出基于低秩矩阵的策略模型，利用矩阵补全技术估计策略梯度方法参数，在减少计算和样本复杂度的同时保持与神经网络相当的聚合奖励。
2024-05-27 cs.AI cs.LG
Revisiting Experience Replayable Conditions
National Institute of Informatics (NII)（情报信息研究所（NII））；The Graduate University for Advanced Studies (SOKENDAI)（高级研究生院（SOKENDAI））
该研究重审强化学习的经验可回放条件，指出策略提升不稳定性是关键因素，从度量学习视角提出两类稳定化技巧，让经验回放可用于同策略的优势演员-评论家算法，性能比肩顶尖离策略算法软演员-评论家。
2024-07-09 cs.LG
Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective
Beijing Institute of Technology（北京理工大学）；Qwen Business Unit of Alibaba（阿里巴巴Qwen业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出ConSPO方法，通过对比序列级策略优化，解决GRPO在目标函数上的似然错配和信用分配不敏感问题，在推理任务上超越强基线。
2026-09-21 cs.AI cs.LG
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
直接策略搜索在现代强化学习和连续控制中有着广泛的应用。然而，直接策略搜索在非光滑鲁棒控制综合中的理论性质还没有完全理解。最优$\mathcal{H}_\infty$控制框架的目的是设计一种策略，以最小化闭环$\mathcal{H}_\infty$范数，可以说是最基本的鲁棒控制范例。在这项工作中，我们表明，直接的政策搜索是保证找到鲁棒$\mathcal{H}_\infty$状态反馈控制设计问题的全局解。注意，最优$\mathcal{H}_\infty$控制的策略搜索导致约束非凸非光滑最优化问题，其中非凸可行集由稳定闭环动态的所有策略组成。我们证明了对于这个非光滑最优化问题，所有的Clarke平稳点都是全局最小值.其次，我们确定了闭环$\mathcal{H}_\infty$目标函数的连续性，并证明了由此产生的策略搜索问题的所有子水平集是紧的。基于这些性质，我们表明，Goldstein的次梯度法及其可实现的变种可以保证留在非凸可行集，并最终找到全局最优解的$\mathcal{H}_\infty$状态反馈综合问题。我们的工作建立了一个新的连接之间的非凸非光滑最优化理论和鲁棒控制，导致一个有趣的整体收敛的结果直接政策搜索最佳$\mathcal{H}_\infty$合成。
2022-10-20 cs.LG cs.SY eess.SY
Revisiting Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning
State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院）；University of Science and Technology of China（中国科学技术大学）；University of Chinese Academy of Sciences（中国科学院大学）；StepFun Inc（StepFun公司）
本文重新审视熵正则化在强化学习中的应用，提出自适应熵正则化框架，通过动态平衡探索与利用提升数学推理性能。
2026-04-17 cs.AI cs.CL cs.LG
Monte Carlo Matrix Inversion Policy Evaluation
University of Waterloo（滑铁卢大学）
提出使用蒙特卡洛矩阵求逆（MCMI）进行强化学习策略评估，通过重要性采样降低方差，并在运行时间和准确性上优于最大似然模型和时序差分方法。
2012-10-19 cs.AI cs.LG cs.NA
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University（北京大学）
经验重放使非策略强化学习（RL）代理能够利用过去的经验来最大化累积奖励。优先经验重放，加权经验的大小，他们的时间差误差（$|\text{TD}|$）显着提高学习效率。但是，$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题，通过将$|\text{TD}|$与经验价值联系起来，经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外，我们成功地将我们的理论框架扩展到最大熵RL，通过推导软Q学习的这些值度量的上下界，这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量：$|\text{TD}|$和经验值。我们的经验表明，在实践中的界限，并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
Rewards as Labels: Revisiting RLVR from a Classification Perspective
本文提出REAL框架，将可验证奖励视为分类标签，通过改进梯度分配提升策略优化效率，实验证明其在数学推理任务中优于GRPO和DAPO等方法。
2026-03-10 cs.CL cs.LG
Learning Without Critics? Revisiting GRPO in Classical Reinforcement Learning Environments
Advanced Knowledge Center for Immersive Technologies（沉浸式技术高级知识中心）；NVIDIA；Institute of Informatics, Federal University of Goiás（戈亚斯联邦大学信息学院）；OATML, University of Oxford（牛津大学OATML）
本文首次系统研究GRPO在经典单任务强化学习环境中的表现，通过消融实验发现无批评家方法在长时程任务中不及PPO，高折扣因子通常更优但HalfCheetah例外，且较小群体规模效果更好，揭示了无批评家方法的适用边界。
2025-11-05 cs.LG
Exploration Conscious Reinforcement Learning Revisited
Technion（以色列理工学院）
探索-利用权衡出现在强化学习中，当人们无法判断一个策略是否是最优的时候。然后，需要不断探索新的行动，而不是利用过去的经验。在实践中，通常通过使用固定的探索机制（例如$ε$贪婪探索）或通过添加高斯噪声来解决折衷，同时仍然尝试学习最优策略。在这项工作中，我们采取了不同的方法和研究探索意识的标准，导致最佳的政策方面的探索机制。正如我们所建立的，解决这些标准相当于解决一个代理马尔可夫决策过程。我们继续和探索意识的最优策略的属性进行分析，并描述了两个一般的方法来解决这样的标准。在这些方法的基础上，我们对现有的表格和深度强化学习算法进行了简单的修改，并在经验上证明了相对于非探索意识的同行，无论是离散还是连续的动作空间，都具有更好的性能。
2019-05-13 cs.LG stat.ML
Performance Bounds for Lambda Policy Iteration and Application to the Game of Tetris
INRIA Lorraine（洛林国家信息与自动化研究所）
我们考虑离散时间无限时域最优控制问题的形式化马尔可夫决策过程。我们回顾了Bertsekas和Ioffe的工作，他们引入了$λ$策略迭代，这是一个由$λ$参数化的算法族，它概括了标准算法值迭代和策略迭代，并且与Sutton和Barto描述的时间差异算法TD（$λ$）有一些深层联系。我们深化了原来的理论发展的作者提供的收敛速度界，推广标准界的值迭代描述，例如由Puterman。然后，本文的主要贡献是发展的理论，这种算法时，它是在一个近似的形式，并表明这是健全的。这样做，我们扩展并统一了Munos为近似值迭代和近似策略迭代开发的单独分析。最后，我们重新审视使用该算法在训练的俄罗斯方块播放控制器最初所做的Bertsekas和Ioffe。我们提供了一个原始的性能界，可以应用到这样一个未折现的控制问题。我们的实证结果不同于Bertsekas和Ioffe的结果（他们最初被定性为“矛盾的”和“有趣的”），而更符合人们对学习实验的期望。我们讨论了这种差异的可能原因。
2011-10-11 cs.AI cs.RO
Path Integral Policy Improvement with Covariance Matrix Adaptation
INRIA Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南分部）；CNRS（法国国家科学研究中心）
最近，强化学习的重点是通过优化参数化策略来解决连续状态和动作问题。PI 2是这种方法的一个最近的例子。它结合了随机最优控制的第一原理与统计估计理论的工具。在本文中，我们认为PI 2作为更广泛的家庭的方法，共享的概念，概率加权平均迭代更新参数，以优化成本函数的一员。我们比较PI 2的其他成员相同的家庭-交叉熵方法和CMAES -在概念层面和性能。比较建议推导出一种新的算法，我们称之为PI 2-CMA的“路径积分策略改进与协方差矩阵自适应”。PI 2-CMA的主要优点是它可以自动确定勘探噪声的大小。
2012-06-18 cs.LG
Revisiting DAgger in the Era of LLM-Agents
Georgia Institute of Technology（佐治亚理工学院）；ETH Zurich（苏黎世联邦理工学院）
本文提出通过DAgger算法改进长周期LLM代理，通过学生与教师策略的回合级插值收集轨迹，并利用教师提供的监督标签训练学生，有效缓解协变量偏移并提升性能。
2026-05-13 cs.LG
Revisiting Matrix Sketching in Linear Bandits: Achieving Sublinear Regret via Dyadic Block Sketching
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
本文提出双尺度块压缩方法，通过动态调整压缩大小，在无需先验知识的情况下实现线性老虎机的亚线性遗憾界。
2026-02-27 cs.LG stat.ML
On Linear Convergence of Policy Gradient Methods for Finite MDPs
Columbia University（哥伦比亚大学）；Simons Institute, UC Berkeley（加州大学伯克利分校西蒙斯研究所）
我们在最简单的设置之一中重新审视了策略梯度方法的有限时间分析：有限状态和动作MDP，其策略类由所有随机策略组成，并具有精确的梯度评估。最近有一些工作将此设置视为平滑非线性优化问题的实例，并显示出具有小步长的次线性收敛率。在这里，我们采取了不同的角度与政策迭代的连接的基础上，并表明，许多变种的策略梯度方法成功地与大的步长，并达到线性收敛速度。
2021-12-13 cs.LG math.OC stat.ML
Matrix Estimation for Offline Reinforcement Learning with Low-Rank Structure
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对离线强化学习中目标策略未被行为策略充分覆盖的问题，利用MDP的潜在低秩结构提出基于加权矩阵补全的策略评估与优化算法，在无需已知特征表示的情况下放宽覆盖条件，并给出有限样本误差界和非渐近性能保证。
2023-05-24 cs.LG
Revisiting Value Iteration: Unified Analysis of Discounted and Average-Reward Cases
本文通过统一几何分析，证明在特定条件下价值迭代在折扣和平均奖励设置中均具有更快的几何收敛速度。
2026-03-11 cs.LG
Model-free Low-Rank Reinforcement Learning via Leveraged Entry-wise Matrix Estimation
KTH（瑞典皇家理工学院）；MIT（麻省理工学院）；Digital Futures（数字未来研究院）
针对低秩潜在结构的受控动态系统，提出无模型算法LoRa-PI，通过杠杆逐项矩阵估计实现ε最优策略学习，样本复杂度阶最优且条件更温和。
2024-11-10 cs.LG
Empirical Evaluation of Contextual Policy Search with a Comparison-based Surrogate Model and Active Covariance Matrix Adaptation
Robotics Innovation Center, DFKI GmbH（德国人工智能研究中心有限公司机器人创新中心）
上下文策略搜索（CPS）是一类多任务强化学习算法，对机器人应用特别有用。背景协方差矩阵自适应演化策略（C-CMA-ES）是最近的一种最先进的方法。它基于标准的黑盒优化算法CMA-ES。CMA-ES有两个有用的扩展，我们将转移到C-CMA-ES和经验评估：ACM-ES，它使用基于比较的代理模型，和aCMA-ES，它使用协方差矩阵的主动更新。我们将证明，这些方法的改进在样本效率方面可以令人印象深刻，尽管这与机器人领域不再相关。
2019-04-14 cs.LG cs.NE stat.ML
Stable Policy Optimization via Off-Policy Divergence Regularization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
信任域策略优化（TRPO）和近端策略优化（PPO）是深度强化学习（RL）中最成功的策略梯度方法之一。虽然这些方法在广泛的挑战性任务中实现了最先进的性能，但在策略学习的稳定性和如何使用非策略数据方面仍有改进的空间。在本文中，我们重新审视这些算法的理论基础，并提出了一个新的算法，通过一个邻近项，约束连续政策的折扣状态-动作的访问分布，以接近彼此稳定的政策改善。这个接近项，表示在访问分布之间的分歧，是在一个关闭政策和对抗的方式学习。我们的经验表明，我们提出的方法可以有一个有益的影响，稳定性和提高最终性能的基准高维控制任务。
2020-06-19 cs.LG stat.ML
Deep Conservative Policy Iteration
Google Research（谷歌研究院）
保守策略迭代（CPI）是近似动态规划（ADP）的一种基本算法.它的核心原理是通过连续策略的随机混合来稳定贪婪。它具有强大的理论保证，以及深度强化学习（RL）中的启发性方法。但CPI本身很少被实现，从来没有与神经网络，只在玩具问题上进行过实验。在本文中，我们展示了CPI如何通过离散动作与深度RL相结合。我们还介绍了自适应混合率的理论启发。我们彻底实验简单的Cartpole问题的算法，并验证所提出的方法上的Atari游戏的代表性子集。总的来说，这项工作表明，重温经典ADP可能会导致改进和更稳定的深度RL算法。
2020-01-06 cs.LG stat.ML
Analysis of Lower Bounds for Simple Policy Iteration
IIT Bombay（印度理工学院孟买分校）
策略迭代是一系列算法，用于为给定的马尔可夫决策问题（MDP）找到最优策略。简单策略迭代（SPI）是一种策略迭代，其策略是在每一步都在一个可改进的状态下更改策略。Melekopoglou和Condon [1990]表明，对于2个动作的MDP，SPI所采取的迭代次数具有指数下限。此后，该结果未推广至$k-$作用MDP。在本文中，我们回顾了Melekopoglou和Condon的算法和分析。我们推广了以前的结果，并证明了一个新的指数下界的政策迭代$N-$状态，$k-$行动MDP的迭代次数。我们构造了一个MDP族，并给出了一个基于索引的切换规则，该规则产生了$\mathcal{O}\big((3+k)2^{N/2-3}\big)$的一个强下界。
2019-11-28 cs.LG math.OC stat.ML
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University（阿尔托大学）；NVIDIA（英伟达）
近端策略优化（PPO）是一种非常流行的无模型强化学习（RL）方法。然而，我们观察到，在连续的动作空间中，PPO会过早地缩小探索方差，这会导致进展缓慢，并可能使算法容易陷入局部最优。从CMA-ES，一个黑盒进化优化方法的鲁棒性，在类似的情况下设计的灵感，我们提出了PPO-CMA，一个近端策略优化的方法，自适应地扩大探索方差，以加快进度。PPO只有很小的变化，我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明，与PPO相反，PPO-CMA对超参数的选择明显不敏感，允许人们在复杂的运动优化任务中使用它，而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
Policy Optimization and Statistical Inference for Online Contextual Matrix Games
University of California, Irvine（加州大学欧文分校）；University of Michigan（密歇根大学）
针对策略收益随情境变化的在线博弈问题，提出在线上下文矩阵博弈框架与OnGameLearn算法，经模拟和酒店定价应用验证，可有效平衡探索利用并具备统计保证。
2026-08-19 cs.LG math.ST stat.ME
Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
针对在线对抗黑盒蒸馏中GRPO优势构建的目标不匹配问题，提出GRGC两阶段框架，通过高斯分组最优传输校准批评者奖励几何和策略侧组功率调制，提升优势构建的有效性，实验验证其有效性且开销可忽略。
2026-10-01 cs.CV cs.LG
TIGPO: Temporal Instance-Graph Policy Optimization for Long-Horizon LLM Agents
Nanjing University（南京大学）
TIGPO为长视野LLM智能体提出跨策略更新的持久转换图策略，通过分配固定回滚预算稳定优势估计，在ALFWorld和WebShop上优于现有相关方法。
2026-09-04 cs.LG
Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Shanghai University of Finance and Economics（上海财经大学）
本文通过单步策略优化视角统一零阶Hessian估计，提出方差缩减的ZoVH框架，实现全Hessian矩阵、正则化逆及偏差校正逆Hessian-梯度积的高效估计。
2026-05-29 cs.LG
Revisiting Dynamic Graph Clustering via Matrix Factorization
The University of Tokyo（东京大学）；Institute of Science Tokyo（东京科学大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；RMIT University（皇家墨尔本理工大学）
针对基于矩阵分解的动态图聚类方法存在的可扩展性差、鲁棒性不足等问题，提出时间分离矩阵分解、双聚类正则化和选择性嵌入更新三项改进，实验验证其在大规模动态图上的有效性、效率与鲁棒性。
2025-02-10 cs.AI cs.LG stat.ML
Online Policy Learning and Inference by Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；University of Michigan（密歇根大学）
针对缺乏个性化协变量的在线决策问题，提出矩阵补全bandit框架，结合$\varepsilon$-greedy策略与在线梯度下降进行两阶段策略学习，并开发基于逆倾向加权的在线去偏推断方法，在旧金山停车定价项目中表现优于基准策略。
2024-12-19 cs.LG stat.ML
Revisit, Extend, and Enhance Hessian-Free Influence Functions
Brandeis University（布兰迪大学）；Tsinghua University（清华大学）
本文重新审视TracIn方法，扩展其应用至公平性和鲁棒性，并通过集成策略增强其性能，通过合成数据和噪声标签检测等实验验证有效性。
2026-03-26 cs.LG stat.ML
