Diverse Exploration for Fast and Safe Policy Improvement
Binghamton University（宾汉姆顿大学）；Yantai University（烟台大学）；Assured Information Security（Assured Information Security（Assured Information Security公司））
我们研究了一个重要但未得到充分解决的问题，即快速安全地改善在线强化学习领域的政策。作为其解决方案，我们提出了一种新的探索策略-多样化的探索（DE），它学习和部署一组多样化的安全策略来探索环境。我们提供DE理论解释为什么多样性的行为政策，使有效的勘探，而不牺牲剥削。我们的实证研究表明，在线策略改进算法框架实现DE策略可以实现快速的策略改进和安全的在线性能。
2018-02-22 cs.LG
Fast Model-based Policy Search for Universal Policy Networks
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（迪肯大学）
使智能体的行为适应新的环境一直是基于物理的强化学习的主要关注领域之一。虽然最近的方法，如通用策略网络，部分解决了这个问题，使存储多个政策在模拟训练的范围广泛的动态/潜在因素，有效地确定最合适的政策，为给定的环境仍然是一个挑战。在这项工作中，我们提出了一个基于高斯过程的先验模拟学习，它捕获了一个政策转移到以前看不见的环境时可能的性能。我们将此先验与基于贝叶斯优化的策略搜索过程相结合，以提高从通用策略网络中识别最合适策略的效率。我们经验评估我们的方法在一系列连续和离散的控制环境，并表明它优于其他竞争基准。
2022-02-11 cs.AI cs.LG cs.SY
Fast Explanations via Policy Gradient-Optimized Explainer
Lucy Family Institute for Data & Society（数据与社会卢西家族研究所）；University of Notre Dame（北达科他大学）
本文提出Fast Explanation框架，通过策略梯度优化实现高效模型解释，显著降低推理时间和内存使用，同时保持高质量解释和广泛适用性。
2026-03-07 cs.AI cs.LG
Faster Policy Learning with Continuous-Time Gradients
University of Washington（华盛顿大学）
我们研究了具有已知动态的连续时间系统的策略梯度估计问题。通过重构连续时间的策略学习，我们证明了构造一个更有效和更精确的梯度估计器是可能的。标准的反向传播时间估计器（BPTT）计算连续时间系统的粗略离散化的精确梯度。相比之下，我们近似连续时间梯度在原始系统中。随着估计连续时间梯度的明确目标，我们能够自适应地离散化，并构造一个更有效的策略梯度估计，我们称之为连续时间策略梯度（CTPG）。我们表明，更有效的CTPG估计结果更快，更强大的学习，在各种控制任务和模拟器取代BPTT策略梯度。
2021-06-24 cs.LG stat.ML
Evolved Policy Gradients
OpenAI；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
提出了一种基于梯度的强化学习（RL）算法的元学习方法。这个想法是发展一个可微的损失函数，这样一个代理，优化其政策，以尽量减少这种损失，将获得高回报。损失是通过代理的经验时间卷积参数化。由于这种损失在考虑代理历史的能力方面具有高度灵活性，因此它可以实现快速任务学习。实验结果表明，我们的进化策略梯度算法（EPG）实现了更快的学习在几个随机环境相比，现成的策略梯度方法。我们还证明了EPG的学习损失可以推广到分布测试时间任务，并表现出与其他流行的元学习算法有质的不同的行为。
2018-04-29 cs.AI cs.LG
Faster Synchronous On-Policy RL via Straggler-Aware Group Sizing
University of Minnesota（明尼苏达大学）；University of Waterloo（滑铁卢大学）；Argonne National Laboratory（阿贡国家实验室）
提出动态组大小控制器SAGC，通过在线约束优化调整组大小，减少同步在线策略强化学习中的掉队者事件，提升墙钟效率并保持或改善训练奖励和模型质量。
2026-06-01 cs.AI cs.LG
Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends
University of California, Los Angeles（加州大学洛杉矶分校）；Alibaba Group（阿里巴巴集团）
本文揭示组相对REINFORCE本质上是非策略算法，通过理论分析和实验验证，解开了GRPO及相关算法的一些神话，为LLMs的非策略强化学习提供了新的设计思路。
2026-03-01 cs.AI cs.CL cs.LG
Fast and Highly Expressive Policy Learning for Offline Reinforcement Learning via Bootstrapped Flow Q-Learning
University of California, Berkeley（加州大学伯克利分校）
提出自举流Q学习（BFQ），通过分治位移向量并自举短程分量，实现单步动作生成，无需辅助网络或蒸馏，显著降低计算成本并提升性能。
2026-06-09 cs.AI cs.LG
Fast Convergence of Softmax Policy Mirror Ascent
Simon Fraser University（西蒙弗雷泽大学）；Samsung AI（三星人工智能）；ServiceNow；Mila, Université de Montréal, McGill（蒙特利尔大学Mila研究所）
本文改进了在logits对偶空间进行镜像上升的策略梯度算法，提出SPMA方法，证明其在表格MDP中具有线性收敛性，并扩展至线性和非线性函数近似，在MuJoCo和Atari基准上表现优于或等同于MDPO、PPO和TRPO。
2025-05-30 cs.AI cs.LG cs.RO
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models
Mila Quebec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；Allen Institute for AI（人工智能研究院）；Google Deepmind（谷歌DeepMind）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
针对RLHF计算效率低的问题，提出分离生成与学习的异步在线离策略RLHF方法，发现online DPO对离策略数据最鲁棒，在LLaMA 3.1 8B和Rho 1B上分别提速约40%和70%且保持性能。
2025-04-26 cs.AI cs.CL cs.LG
Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Manchester（曼彻斯特大学）；NVIDIA；Independent（独立）；Emory University（埃默里大学）
本文提出慢-快策略优化框架，通过分解步骤为三个阶段，解决RL在早期训练中的稳定性与效率问题，实验表明其在推理任务中提升稳定性、减少rollouts数量并加速收敛。
2026-03-17 cs.AI cs.CL cs.LG
Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
CAS Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, CAS, Beijing, 100190, China（中国科学院网络数据科学与技术重点实验室，计算技术研究所，中国科学院，北京）；University of Chinese Academy of Sciences, Beijing, 101408, China（中国科学院大学，北京）；School of Computer and Information Engineering, Hanshan Normal University, Guangdong, 521041, China（韩山师范学院计算机与信息工程学院，广东）；School of Physics and Electronic Engineering, Hanshan Normal University, Guangdong, 521000, China（韩山师范学院物理与电子工程学院，广东）；School of Data Science, Capital University of Economics and Business, Beijing, 100070, China（首都经济贸易大学数据科学学院，北京）
本文提出相对重要性采样（RIS）以缓解离策略强化学习中重要性采样的高方差问题，并开发首个无模型RIS离策略演员-评论家算法，在OpenAI Gym和合成数据集上取得优于或等同现有基准的效果。
2025-04-28 cs.AI cs.LG stat.ML
MC-GRPO: Median-Centered Group Relative Policy Optimization for Small-Rollout Reinforcement Learning
Amazon（亚马逊）
MC-GRPO通过使用中位数基线替代平均基线，提高小回滚强化学习的稳定性和准确性。
2026-01-30 cs.AI cs.LG
Policy Augmentation: An Exploration Strategy for Faster Convergence of Deep Reinforcement Learning Algorithms
Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人机认知研究所（IHMC））
尽管深度强化学习算法取得了进步，但开发有效的探索策略仍然是一个悬而未决的问题。大多数现有的探索策略或者基于简单的算法，或者需要环境的模型，或者训练额外的深度神经网络来生成增强路径。在本文中，一个革命性的算法，称为策略增强，介绍。策略增强是基于一个新开发的归纳矩阵完成方法。该算法增加了未探索的状态动作对的值，帮助代理采取行动，这将导致高价值的回报，而代理是在早期的情节。使用高价值的推出来训练深度强化学习算法可以加快深度强化学习算法的收敛速度。我们的实验表明，优越的性能的政策增强。代码可以在https://github.com/arashmahyari/PolicyAugmentation上找到。
2021-02-10 cs.AI cs.CV cs.LG
Coverage Improvement and Fast Convergence of On-policy Preference Learning
UC Berkeley（伯克利大学）；KRAFTON（KRAFTON公司）；University of Arizona（亚利桑那大学）
本文提出覆盖改进原理，通过分析在线策略学习中的覆盖变化，证明其在批量大小足够时能实现快速收敛，并设计混合采样器和奖励蒸馏方案，提升语言模型对齐性能。
2026-01-13 cs.LG
Fast Model Identification via Physics Engines for Data-Efficient Policy Search
Rutgers University（罗格斯大学）
本文提出了一种机器人或物体的质量、摩擦系数等力学参数的辨识方法。其主要特点是使用现成的物理引擎和贝叶斯优化技术，以最大限度地减少基于模型的强化学习所需的真实世界实验的数量。所提出的框架再现在一个物理引擎上进行的实验，一个真正的机器人和优化模型的机械参数，以匹配真实世界的轨迹。然后，在实际部署之前，优化的模型用于在模拟中学习策略。然而，众所周知，在模拟中很难精确地再现真实的轨迹。此外，一个接近最优的政策往往可以找到一个不完美的模型。因此，这项工作提出了一种识别模型的策略，该模型足以以一定的置信度逼近局部最优策略的值，而不是浪费精力识别最准确的模型。在模拟和一个真正的机器人操作任务进行的评估表明，所提出的策略的结果在一个整体的时间效率，集成的模型识别和学习解决方案，显着提高了现有的政策搜索算法的数据效率。
2018-06-13 cs.AI cs.LG cs.RO
Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；National University of Singapore（新加坡国立大学）；Tencent（腾讯）；Wuhan AI Research（武汉人工智能研究院）
本文提出SRPO框架，通过样本路由整合GRPO和SDPO的优势，解决自蒸馏在长期训练中的稳定性问题，实现快速早期改进与长周期稳定性的结合。
2026-04-02 cs.AI cs.LG
Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
Relative Entropy Pathwise Policy Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；TU Wien（维也纳工业大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Warsaw（华沙大学）；UC Berkeley（加州大学伯克利分校）；Polytechnique Montréal（蒙特利尔综合理工学院）；Mila – Quebec AI Institute（Mila – 魁北克人工智能研究所）
本文提出REPPO算法，通过路径策略梯度结合在线学习，提升训练稳定性与效率，展现优越的样本效率和内存表现。
2026-04-10 cs.LG
Fast Policy Learning through Imitation and Reinforcement
Georgia Tech（佐治亚理工学院）
模仿学习（IL）由一组工具组成，这些工具利用专家演示来快速学习策略。然而，如果专家是次优的，IL可以产生性能较差的政策相比，强化学习（RL）。在本文中，我们的目标是提供一个算法，结合RL和IL的最佳方面。我们通过在一个共同的镜像下降框架中制定几种流行的RL和IL算法来实现这一点，表明这些算法可以被视为单一方法的变体。然后，我们提出了LOKI，策略学习的策略，首先执行一个小的，但随机数的IL迭代之前切换到策略梯度RL方法。我们表明，如果切换时间是适当的随机化，LOKI可以学习优于次优专家和收敛速度比从头开始运行策略梯度。最后，我们评估的性能LOKI实验在几个模拟环境。
2018-05-26 cs.LG stat.ML
DiFFPO: Training Diffusion LLMs to Reason Fast and Furious via Reinforcement Learning
Columbia University（哥伦比亚大学）；Netflix
DiFFPO通过强化学习训练扩散大语言模型，使其在推理速度和准确性上取得平衡，提升推理效率和性能。
2026-01-10 cs.AI cs.LG
Fast Efficient Hyperparameter Tuning for Policy Gradients
University of Oxford（牛津大学）
策略梯度方法的性能对必须针对任何新应用程序进行调优的超参数设置很敏感。用于调整超参数的广泛使用的网格搜索方法是样本效率低且计算昂贵的。更先进的方法，如基于人口的训练，学习超参数的最佳时间表，而不是固定的设置，可以产生更好的结果，但也是样本效率低，计算成本高。在本文中，我们提出了Hyperparameter Optimization on the Fly（HOOF），这是一种无梯度算法，它只需要一次训练就可以自动调整直接通过梯度影响策略更新的超参数。其主要思想是使用现有的轨迹采样的策略梯度方法来优化一步改进目标，产生一个样本和计算效率高的算法，易于实现。我们在多个领域和算法上的实验结果表明，使用HOOF来学习这些超参数计划可以提高学习速度和性能。
2019-09-17 cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
DEFT: Diverse Ensembles for Fast Transfer in Reinforcement Learning
深度集成已经被证明可以将典型集成学习中的积极效果扩展到神经网络和强化学习（RL）。然而，仍有许多工作要做，以提高这种集成模型的效率。在这项工作中，我们提出了用于RL中快速传输的多样化集成（DEFT），这是一种新的基于集成的方法，用于高度多模态环境中的强化学习，并改进了对未知环境的传输。该算法被分解为两个主要阶段：训练集合成员，以及将集合成员合成（或微调）为在新环境中工作的策略。该算法的第一阶段涉及并行地训练常规策略梯度或行动者-批评者代理，但是向损失添加一个项，该项鼓励这些策略彼此不同。这使得个体单峰代理探索最优政策的空间，并比单个行为者捕获更多的环境多模态。DEFT的第二阶段涉及将组件策略合成为一个新策略，该新策略以两种方式之一在修改后的环境中工作良好。为了评估DEFT的性能，我们从一个基本版本的近端策略优化（PPO）算法开始，并扩展它与DEFT的修改。我们的研究结果表明，预训练阶段是有效的，在多模态环境中产生不同的政策。DEFT通常比其他方法更快地收敛到高回报，例如没有DEFT的随机初始化和对集合成员的微调。虽然在理论上分析DEFT并将其扩展到更强大方面还有更多的工作要做，但我们相信它提供了一个强大的框架，可以在环境中捕获多模态，同时仍然使用具有简单策略表示的RL方法。
2022-09-26 cs.AI cs.LG
GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning
Tsinghua University（清华大学）；Shenzhen University（深圳大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出GRPO-VPS，通过在推理轨迹中探测模型对正确答案的信心，改进GRPO的轨迹级反馈，实现更精准高效的策略更新，实验显示在数学和通用领域任务中均取得显著提升。
2026-04-22 cs.AI cs.LG
Flowing Faster to Coordinate: One-Step Online Multi-Agent Flow Policies
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Engineering Systems and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学工程系统与设计方向）
本文提出一步式流模型OMAF，结合Transformer流策略与近似路径得分代理，实现高效在线多智能体协调，在10个任务上回报提升3.4倍、样本效率提升10.5倍。
2026-10-02 cs.AI cs.LG
Fast A/B/n Testing: Exact Multi-Policy Comparison via Tree-Coupled Feedback Sharing
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
该研究提出树耦合A/B测试（TCAB）方法，通过树耦合反馈共享实现多策略精确比较，将奖励查询数从JT降至T+o(T)，实验显示其在成本-精度上有显著提升。
2026-08-17 cs.AI cs.LG
IB-GRPO: Aligning LLM-based Learning Path Recommendation with Educational Objectives via Indicator-Based Group Relative Policy Optimization
East China Normal University（东华大学）
IB-GRPO通过基于指标的群体相对策略优化，解决大语言模型在学习路径推荐中的多目标对齐问题，提升学习效果与教学目标的一致性。
2026-01-21 cs.AI cs.LG
On the Policy Gradient Foundations of Group Relative Policy Optimization: Credit Assignment, Gradient Sparsity, and Rank Collapse
Capital One
本文从策略梯度定理推导GRPO，揭示其输出奖励下所有token获得相同优势导致信用分配失败，证明梯度稀疏性并经验证梯度矩阵有效秩约为2，形式化秩-2结构源于优势零和约束。
2026-06-28 cs.LG
Constrained Policy Gradient Method for Safe and Fast Reinforcement Learning: a Neural Tangent Kernel Based Approach
Chalmers University of Technology（查尔姆斯理工大学）
本文提出了一种有约束的策略梯度算法。我们通过以下步骤引入安全学习的约束。首先，放慢学习（惰性学习），使得可以借助于策略梯度定理和神经切线核来计算偶发策略改变。然后，这也使我们能够在任意状态下评估策略。本着同样的精神，学习可以被引导，通过用规定了期望动作概率的状态来增加事件批次来确保安全性。最后，可以在这些特定的状态-动作对处计算未来奖励（回报）的外生贴现和，使得策略网络满足约束。计算回报是基于求解线性方程组（等式约束）或约束二次规划（不等式约束，区域约束）。仿真结果表明，加入约束（外部信息）的学习，可以提高学习的速度和透明度合理，如果适当地选择约束。约束学习的效率在Cartpole和Lunar Lander OpenAI健身房环境中用浅而宽的ReLU网络进行了证明。本文的主要创新之处在于给出了神经切线核在强化学习中的实际应用。
2022-01-21 cs.LG
Rethinking Relative Policy Differences Transfer of On-Policy Distillation
Thinking Machines Lab（思维机器实验室）；DeepSeek-AI（深度求索公司）
本研究针对在线策略蒸馏，提出统一视角将相对策略差异转化为隐式奖励，通过实验明确任务特定差异可稳定迁移、专家与参考角色互补等规律，为 OPD 的有效监督提供了理论依据。
2026-10-12 cs.LG
Information-Consistent Language Model Recommendations through Group Relative Policy Optimization
本文提出基于群体相对策略优化的强化学习框架，旨在提升语言模型在等效提示下的信息一致性，通过熵基帮助性和稳定性奖励优化模型稳定性。
2026-04-16 cs.AI cs.LG
Proximal Policy Optimization with Adaptive Threshold for Symmetric Relative Density Ratio
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出基于相对 Pearson 散度的 PPO-RPE 算法，利用对称相对密度比率自适应设计阈值以估计误差尺度，实验证明其能适当限制策略更新并提升任务表现。
2022-03-18 cs.LG
An Empirical Comparison of Off-policy Prediction Learning Algorithms on the Collision Task
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
偏离策略预测（Off-policy prediction）--从遵循另一个策略时生成的数据中学习一个策略的价值函数--是强化学习中最具挑战性的子问题之一。本文展示了11种使用线性函数近似的突出的离策略学习算法的实证结果：5种服从TD方法、2种强调TD方法、非策略TD（$λ$）、Vtrace以及修改后适用于预测设置的Tree Backup和ABQ版本。我们的实验使用了碰撞任务，这是一个小型的理想化的政策外问题，类似于自动驾驶汽车试图预测它是否会与障碍物相撞。我们根据算法的学习率、渐近误差水平以及对步长和自举参数的敏感性来评估算法的性能。通过这些措施，11个算法可以在碰撞任务中部分排序。在顶层，两个强调TD算法学习最快，达到最低的错误，并且对参数设置具有鲁棒性。在中间层，五个顺从TD算法和非策略TD（$λ$）对引导参数更敏感。底层包括Vtrace、Tree Backup和ABQ;这些算法并不比其他算法更快，并且具有更高的渐近误差。我们的结果是明确的这项任务，当然，更多的任务实验之前，可以作出全面评估的算法的优点。
2021-06-11 cs.AI cs.LG
Fast Policy Learning for Linear Quadratic Control with Entropy Regularization
Department of Industrial Engineering & Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）；Department of Mathematics, University of Oxford（数学系，牛津大学）；Department of Management Science & Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本文提出正则化策略梯度（RPG）和迭代策略优化（IPO）两种方法，用于带熵正则化的线性二次控制问题，证明其线性收敛，且IPO在局部区域及环境相近的迁移场景下可实现超线性收敛。
2025-10-07 cs.LG math.OC
Demystifying Group Relative Policy Optimization: Its Policy Gradient is a U-Statistic
本文通过经典U统计量框架解析GRPO，证明其策略梯度本质为U统计量，推导其MSE、有限样本误差界及渐近分布，揭示GRPO渐近等价于拥有价值函数的最优策略梯度算法，并建立通用缩放规律指导最优分组大小选择。
2026-03-22 cs.LG stat.ML
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
自然策略梯度（NPG）方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化（一种鼓励探索的算法方案）结合使用，并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功，NPG方法的理论基础仍然有限，即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证，重点是折扣马尔可夫决策过程（MDP）。假设访问精确的政策评估，我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外，该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率，并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
Meta AI
EBPO通过经验贝叶斯收缩方法稳定群体相对策略优化，有效降低估计方差并提升训练稳定性。
2026-02-23 cs.AI cs.CL cs.LG
Learning Sampling Policy for Faster Derivative Free Optimization
Nanjing University of Information Science & Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
零阶（Zero-order，简称ZO）方法由于其在机器学习领域的广泛应用，近年来受到了广泛的关注。这两个函数的计算通常是由标准高斯分布的随机扰动产生的。为了加速ZO方法，最近提出了许多方法，例如方差减少的随机ZO梯度和学习自适应高斯分布，以减少ZO梯度的方差。然而，ZO方法的收敛性是否还有进一步提高的空间，仍然是一个悬而未决的问题。为了探索这个问题，在本文中，我们提出了一个新的强化学习为基础的ZO算法（ZO-RL）与学习的采样策略，而不是使用随机抽样产生的扰动ZO优化。为了找到最优策略，采用了一种名为深度确定性策略梯度（DDPG）的行动者-批评者强化学习算法，该算法具有两个神经网络函数逼近器。学习的采样策略引导参数空间中的扰动点估计更准确的ZO梯度。据我们所知，我们的ZO-RL是第一个使用强化学习进行ZO优化的采样策略学习算法，该算法与现有方法并行。特别是，我们的ZO-RL可以与现有的ZO算法相结合，可以进一步加速算法。针对不同的ZO优化问题的实验结果表明，该算法通过学习采样策略，可以有效地降低ZO梯度的方差，并且在不同的场景下比现有的ZO算法收敛得更快.
2021-04-09 cs.LG
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多智能体强化学习（MARL）--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展，但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战，不幸的是，现有理论仍然高度不足。在本文中，我们专注于竞争性多智能体RL的最基本的设置，即两个玩家零和马尔可夫游戏，并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理，其中的政策是通过熵正则化的乐观乘性权重更新（OMWU）的方法更新和更新的值在一个较慢的时间尺度。我们表明，在全信息表格设置中，所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡，这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性，并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
Pairwise Proximal Policy Optimization: Harnessing Relative Feedback for LLM Alignment
University of California, Berkeley（加州大学伯克利分校）
本文提出成对近端策略优化（P3O），一种基于相对反馈的轨迹级策略梯度算法，用于大语言模型对齐，理论上对等价奖励不变，实证优于PPO，实现更简单有效的对齐。
2023-10-10 cs.AI cs.CL cs.LG
PipelineRL: Faster On-policy Reinforcement Learning for Long Sequence Generation
ServiceNow AI Research（ServiceNow人工智能研究）
本文提出 PipelineRL，通过异步生成与训练及在途权重更新，在长序列 LLM 强化学习中兼顾加速器利用率和数据同策略性，实现约 2 倍加速并开源。
2025-09-26 cs.LG
CueLearner: Bootstrapping and local policy adaptation from relative feedback
Autonomous Systems Lab, ETH Zurich, Switzerland（自主系统实验室，苏黎世联邦理工学院）；Robotics Systems Lab, ETH Zurich, Switzerland（机器人系统实验室，苏黎世联邦理工学院）
本文提出CueLearner方法，将相对反馈与离策略强化学习结合，通过引导探索提升样本效率，并能适应环境或用户偏好变化，在稀疏奖励任务和真实导航场景中验证了有效性。
2025-07-07 cs.LG cs.RO
Fast Best-in-Class Regret for Contextual Bandits
本文研究了在无偏设定下随机上下文老虎机问题，提出首个快速遗憾率算法，通过悲观目标和熵假设实现快速最佳类遗憾率。
2026-08-20 cs.LG stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Extending Group Relative Policy Optimization to Continuous Control: A Theoretical Framework for Robotic Reinforcement Learning
University of Houston（德克萨斯大学）；Cisco Systems（思科系统）；Princeton University（普林斯顿大学）；University of Copenhagen（哥本哈根大学）
针对 GRPO 难以用于机器人连续控制的问题，本文提出融合轨迹策略聚类、状态感知优势估计与正则化更新的理论扩展框架，并分析其收敛性与复杂度。
2025-07-25 cs.AI cs.RO
Fast Stochastic Policy Gradient: Negative Momentum for Reinforcement Learning
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对强化学习中快速求解最优策略的难题，提出融合新型负动量技术的快速随机策略梯度算法SPG-NM，在保持低计算复杂度的同时实现更快收敛，且对关键超参数具备鲁棒性。
2024-05-08 cs.LG
FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control
KTH Royal Institute of Technology（皇家理工学院）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Robotics Institute Germany (RIG)（德国机器人研究所）
FlashSAC基于Soft Actor-Critic提出快速稳定的离线强化学习算法，通过减少梯度更新并增大模型规模和数据吞吐量，在高维任务中超越PPO和强离线基线，显著提升训练效率和性能。
2026-05-15 cs.LG cs.RO
Robust On-Policy Sampling for Data-Efficient Policy Evaluation in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
强化学习（RL）算法通常被分类为策略上或策略外，这取决于它们是使用来自感兴趣的目标策略还是来自不同行为策略的数据。在本文中，我们研究了政策评估的RL子问题的上下文中的政策数据和政策抽样之间的微妙区别。我们观察到，在政策抽样可能无法匹配的政策数据的预期分布后，只观察到有限数量的轨迹，这种失败阻碍了数据有效的政策评估。为了提高数据效率，我们展示了非i.i.d.策略外采样可以产生更紧密地匹配期望的策略内数据分布的数据，并且因此增加用于策略评估的蒙特卡罗估计器的准确性。我们介绍了一种称为鲁棒的政策抽样的方法，并从理论上和经验上证明，它产生的数据，收敛速度更快，预期的政策分布相比，政策抽样。从经验上讲，我们表明，这种更快的收敛导致较低的均方误差政策价值的估计。
2022-10-10 cs.LG
Proximal Policy Optimization with Relative Pearson Divergence
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文指出了PPO在最小化目标和非对称域上的缺陷，提出基于相对Pearson散度正则化的PPO-RPE变体，推导出直观的阈值设计，并在四个基准任务中表现优于常规方法。
2021-03-15 cs.LG cs.RO
GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization
1College of Information；Electrical Engineering, \ Agricultural University, Beijing 100083, China；Electrical Engineering, \ Agricultural University, Beijing 100083, China 2Key Laboratory of Agricultural Machinery Monitoring
本文提出GRPOformer框架，将分组相对策略优化与Transformer结合用于超参数优化，并引入策略扰动正则化提升训练稳定性，在OpenML上一致优于基线方法。
2025-09-21 cs.LG
Relative Entropy Regularized Reinforcement Learning for Efficient Encrypted Policy Synthesis
School of Aeronautics and Astronautics, Purdue University（航空宇航工程学院，普渡大学）；ASRI, the Department of Electrical and Computer Engineering, Seoul National University（ASRI，电气电子工程系，首尔国立大学）；Japan Society for the Promotion of Science（日本学术振兴会）
该研究提出高效加密策略合成方法，证明相对熵正则化强化学习框架的线性无最小化值迭代结构可直接集成带自举的全同态加密，分析了加密误差下的收敛性与误差界，并通过数值模拟验证了该框架的有效性。
2025-06-14 cs.LG cs.SY eess.SY
An Intrinsically-Motivated Approach for Learning Highly Exploring and Fast Mixing Policies
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）
对于一个在没有外部奖励的情况下与环境交互的智能体来说，什么是好的探索策略？理想情况下，我们希望在最少的步骤（快速混合）中获得一个朝向统一状态-动作访问（高度探索）的策略，以便以后轻松有效地学习任何目标条件策略。不幸的是，直接学习这种性质的最优策略非常困难。在本文中，我们提出了一种新的代理目标学习高度探索和快速混合的政策，其重点是最大限度地提高下限的稳态分布的熵诱导的政策。特别是，我们引入了三个新的下限，导致尽可能多的优化问题，权衡理论保证与计算复杂性。然后，我们提出了一个基于模型的强化学习算法，IDE $^{3}$ AL，学习一个最优的政策，根据介绍的目标。最后，我们提供了一组硬探索任务的经验评估该算法。
2019-12-19 cs.LG stat.ML
