Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST(CREST(法国统计研究中心));ENSAE(法国国立统计与经济管理学校);IP Paris(巴黎理工学院);Criteo AI Lab(Criteo人工智能实验室)
针对离线策略学习悲观主义缺乏统一分析框架的问题,提出全面的PAC-Bayesian框架,推导出适用于常见重要性权重正则化的泛化界,并在单一框架内比较,实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
Importance Resampling for Off-policy Prediction
University of Alberta(阿尔伯塔大学);McGill University(麦吉尔大学);Huawei(华为)
重要性采样(IS)是强化学习中用于偏离策略预测的常见重加权策略。虽然它是一致和无偏的,但它可能导致对价值函数的权重的高方差更新。在这项工作中,我们探讨了一个rescue战略作为一种替代重新加权。我们提出了重要性恢复(IR)的政策预测,从重放缓冲区重新采样的经验,并适用于标准的政策更新。该方法避免了在更新中使用重要性采样比率,而是在更新之前校正分布。我们的特点的偏见和一致性的IR,特别是相比加权IS(WIS)。我们证明了在几个微观世界,IR提高了样本效率和较低的方差更新,相比,IS和几个方差减少的IS策略,包括变体的WIS和V-跟踪剪辑IS比率。我们还提供了一个演示,显示IR提高了IS学习的价值函数从图像中的赛车模拟器。
2019-11-13 cs.AI cs.LG stat.ML
Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
CAS Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, CAS, Beijing, 100190, China(中国科学院网络数据科学与技术重点实验室,计算技术研究所,中国科学院,北京);University of Chinese Academy of Sciences, Beijing, 101408, China(中国科学院大学,北京);School of Computer and Information Engineering, Hanshan Normal University, Guangdong, 521041, China(韩山师范学院计算机与信息工程学院,广东);School of Physics and Electronic Engineering, Hanshan Normal University, Guangdong, 521000, China(韩山师范学院物理与电子工程学院,广东);School of Data Science, Capital University of Economics and Business, Beijing, 100070, China(首都经济贸易大学数据科学学院,北京)
本文提出相对重要性采样(RIS)以缓解离策略强化学习中重要性采样的高方差问题,并开发首个无模型RIS离策略演员-评论家算法,在OpenAI Gym和合成数据集上取得优于或等同现有基准的效果。
2025-04-28 cs.AI cs.LG stat.ML
Policy Optimization via Importance Sampling
Politecnico di Milano(米兰理工大学);IDSIA(达勒莫尔人工智能研究所(IDSIA));USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
策略优化是解决连续控制任务的一种有效的强化学习方法。最近的成就表明,交替在线和离线优化是有效的轨迹重用的成功选择。然而,决定何时停止优化并收集新的轨迹是不平凡的,因为它需要考虑目标函数估计的方差。在本文中,我们提出了一种新的,无模型,政策搜索算法,POIS,适用于基于动作和基于参数的设置。我们首先推导出一个高置信度界重要性采样估计,然后我们定义了一个代理目标函数,这是离线优化每当一批新的轨迹被收集。最后,该算法进行了测试的选择连续控制任务,线性和深度的政策,并与国家的最先进的政策优化方法进行比较。
2018-10-31 cs.AI cs.LG stat.ML
You May Not Need Ratio Clipping in PPO
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Microsoft Research(微软研究院)
近端策略优化(PPO)方法通过利用一组采样数据迭代地执行代理目标的多个小批量优化时期来学习策略。比率裁剪PPO是一种流行的变体,它裁剪目标策略和用于收集样本的策略之间的概率比。比率裁剪产生原始代理目标的悲观估计,并且已被证明对于强大的性能至关重要。我们在本文中表明,这种比率裁剪可能不是一个好的选择,因为它可能无法有效地约束比率。相反,可以直接优化多个时期的原始代理目标;关键是找到适当的条件,以便在每次迭代中提前停止优化时期。我们的理论分析揭示了如何确定何时停止优化时期,并调用由此产生的算法提前停止策略优化(ESPO)。我们比较ESPO与PPO在许多连续的控制任务,并表明ESPO显着优于PPO。此外,我们表明,ESPO可以很容易地扩展到分布式培训与许多工人,以及提供强大的性能。
2022-01-31 cs.AI cs.LG
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST(韩国科学技术院)
在诸如近端策略优化(PPO)的基于重要性采样(IS)的强化学习算法中,IS权重通常被裁剪以避免学习中的大方差。然而,从裁剪统计的政策更新引起大的偏见,在任务中具有高的动作维度,和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中,我们认为PPO,一个代表性的政策算法,并提出了其改进的维度上的IS权重裁剪,分别剪辑每个动作维度的IS权重,以避免大的偏见,并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务,并重复使用旧的样本,如在离策略学习,以提高样本效率。数值实验结果表明,该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法,并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间,并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Towards Optimal Off-Policy Evaluation for Reinforcement Learning with Marginalized Importance Sampling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon AI(亚马逊人工智能);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
基于强化学习(RL)在实际应用中需要安全策略迭代的需求,在具有长时域和大动作空间的非平稳偶发马尔可夫决策过程(MDP)模型下,研究了策略外评估(OPE)问题,即利用不同行为策略获得的历史数据对新策略进行评估的问题.现有的重要性采样(IS)方法经常遭受大的方差,该方差指数地依赖于RL时域$H$。为了解决这个问题,我们考虑了一个边缘化的重要性采样(MIS)的估计,递归地估计在每一步的目标策略的状态边际分布。MIS实现$$ \frac{1}{n} \sum\nolimits_{t=1}^H\mathbb{E}_μ\left[\frac{d_t^π(s_t)^2}{d_t^μ(s_t)^2} \mathrm{Var}_μ\left[\frac{π_t(a_t|s_t)}{μ_t(a_t|s_t)}\big( V_{t+1}^π(s_{t+1}) + r_t\big) \middle| s_t\right]\right] + \tilde{O}(n^{-1.5}) $$的均方误差,其中$μ$和$π$是日志和目标策略,$d_t^μ(s_t)$和$d_t^π(s_t)$是$t$第n步的状态的边缘分布,$H$是水平,$n$是样本大小,$V_{t+1}^π$是$π$下MDP的值函数。结果与\citet{jiang2016doubly}中的Cramer-Rao下限匹配,直到$H$的乘法因子。据我们所知…
2020-04-01 cs.AI cs.LG stat.ML
Conservative Optimistic Policy Optimization via Multiple Importance Sampling
Ecole Polytechnique(巴黎综合理工学院)
强化学习(RL)已经能够用一种统一的方法解决诸如玩雅达利游戏或解决围棋游戏等难题。然而,现代深度强化学习方法在现实世界的应用中仍然没有得到广泛的应用。一个原因可能是,与现有的(已经工作的)基线策略相比,中间执行策略的性能缺乏保证。在本文中,我们提出了一个在线无模型算法,解决了保守的探索策略优化问题。我们表明,所提出的方法的遗憾是有界的$\tilde{\mathcal{O}}(\sqrt{T})$离散和连续的参数空间。
2021-03-04 cs.LG stat.ML
Importance Sampling with Unequal Support
Carnegie Mellon University(卡内基梅隆大学)
重要性采样常用于机器学习中,当训练和测试数据来自不同的分布时。在本文中,我们提出了一个新的变种的重要性采样,可以减少方差的重要性采样为基础的估计数量级时,支持的训练和测试分布不同。在激励和介绍我们的新的重要性采样估计量,我们提供了一个详细的理论分析,其特点是它的偏差和方差相对于普通的重要性采样估计量(在各种设置,其中包括普通的重要性采样是有偏见的情况下,而我们的新的估计量不是,反之亦然)。我们的结论与我们的新的重要性采样估计如何可以用来改善如何以及一个新的糖尿病治疗策略将工作的个人,使用数据时,个人使用以前的治疗策略的估计的一个例子。
2016-11-10 cs.AI cs.LG stat.ML
Stabilizing Off-policy LLM Optimization with Prefix Importance Ratio
The University of Sydney(悉尼大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
本文提出MinPRO目标,通过使用非累积的最小token级比率替代累积前缀比率,以稳定LLM在非策略性条件下的训练和优化。
2026-11-05 cs.AI cs.LG
A Deep Reinforcement Learning Approach to Marginalized Importance Sampling with the Successor Representation
Mila(米拉研究所);McGill University(麦吉尔大学)
本文提出一种利用后继表示计算密度比的边缘化重要性采样方法,通过深度强化学习训练,实现稳定且适用于高维环境的离策略评估,并在Atari和MuJoCo基准上验证了有效性。
2023-11-13 cs.AI cs.LG stat.ML
Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling
LinkedIn(领英)
针对大型语言模型异步强化学习后训练的离策略问题,提出TETPO方法,通过数据自适应指数调整重要性权重,在高过时度数学推理基准上优于相关基线。
2026-10-14 cs.AI cs.LG
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
Renmin University of China(中国人民大学)
研究针对大语言模型强化学习后训练中离策略数据问题,提出选择性重要性采样(SIS),受拒绝采样启发,以离策略模型为提议分布进行令牌级拒绝测试,理论证明可减少梯度估计差距,实验验证其有效性。
2026-08-19 cs.AI cs.CL cs.LG
Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
本文提出自适应分层扰动(ALP),通过在更新过程中向每一层的输入隐藏状态注入可控噪声,缓解策略退化和训练-推理不匹配问题,提升训练稳定性与探索能力。
2026-05-15 cs.AI cs.LG
ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation
East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院)
提出ReNIO方法,通过学生-教师概率比识别错误推理轨迹中的关键令牌并加权,在不依赖最终答案正确性的情况下提升在线策略蒸馏效果,在数学推理和代码生成任务上取得显著提升。
2026-06-23 cs.AI cs.LG
Enhancing Efficiency of Safe Reinforcement Learning via Sample Manipulation
University of California, Berkeley(加州大学伯克利分校);Technical University of Munich(慕尼黑工业大学);California Institute of Technology(加州理工学院);Virginia Tech(弗吉尼亚理工大学)
提出ESPO方法,通过动态调整采样过程平衡奖励与安全约束,在理论上保证收敛性和优化稳定性,实验显示其样本需求减少25-29%,训练时间降低21-38%。
2024-05-31 cs.LG
Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective
UIUC(伊利诺伊大学香槟分校);University of Michigan(密歇根大学);Amazon(亚马逊)
本文提出CTPO,通过累积token重要性采样比解决偏倚-方差困境,结合位置自适应裁剪提升稳定性,实现更一致的正则化,在数学推理基准上表现最佳。
2026-05-08 cs.AI cs.LG
Soft Sequence Policy Optimization
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Institute for Artificial Intelligence(人工智能研究所)
本文提出软序列策略优化方法,通过引入软门控函数改进序列级重要性权重,提升大语言模型对齐任务的训练稳定性与性能。
2026-06-04 cs.AI cs.LG
Policy Optimization as Online Learning with Mediator Feedback
Politecnico di Milano(米兰理工大学)
策略优化(PO)是一种广泛使用的方法来解决连续控制任务。在本文中,我们引入了中介反馈的概念,框架PO作为一个在线学习问题的政策空间。与标准的强盗反馈相比,额外的可用信息允许重用由一个策略生成的样本来估计其他策略的性能。基于这一观察,我们提出了一种算法,随机化探索策略优化通过多个重要性采样截断(RANDOMIST),在PO中的遗憾最小化,采用随机探索策略,不同于现有的乐观方法。当政策空间是有限的,我们表明,在某些情况下,它是可能实现不断的遗憾,而总是享受对数遗憾。我们还得到了问题相关的后悔下界。然后,我们将随机扩展到紧凑的政策空间。最后,我们提供了有限的和紧凑的政策空间的数值模拟,与PO和强盗基线。
2020-12-15 cs.AI cs.LG stat.ML
Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization
Texas A&M University(德克萨斯A&M大学);GE HealthCare(通用电气医疗);University of Minnesota(明尼苏达大学)
SORL通过回合级重要性采样和触发式归一化稳定长时程LLM代理的离策略训练,减少梯度方差并防止优化崩溃。
2026-10-07 cs.AI cs.CL cs.LG
VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training
Xiaohongshu Inc(小红书公司)
本文提出VESPO,通过变分方法减少反政策更新中的方差,提升大语言模型在严重反政策条件下的稳定性,实验显示其在数学推理和代码生成任务中优于现有基线方法。
2026-05-08 cs.AI cs.LG
Finite-Sample Analysis of Off-Policy Natural Actor-Critic Algorithm
Geogia Institute of Technology(佐治亚理工学院)
在本文中,我们提供了有限样本收敛保证的自然演员-评论家(NAC)算法的基础上重要性采样的政策外的变种。特别是,我们表明,该算法收敛到一个全局最优的政策,样本复杂度为$\mathcal{O}(ε^{-3}\log^2(1/ε))$下适当的选择步长。为了克服重要性采样带来的大方差问题,本文在V-跟踪算法\cite{espeholt2018impala}的基础上,提出了$Q$ -跟踪算法。这使我们能够显式地控制偏差和方差,并描述它们之间的权衡。作为非策略抽样的一个优点,我们的结果的一个主要特点是,我们不需要任何额外的假设,超越了行为策略引起的马尔可夫链的遍历性。
2021-06-10 cs.LG math.OC stat.ML
FERPO: Forward Entropy-Regularized Policy Optimization
Applied and Theoretical Aspects of Robot Intelligence (ATARI) Lab(应用与理论机器人智能实验室);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与机器智能研究所);Technical University of Munich(慕尼黑工业大学)
针对评论家动作梯度不可靠的问题,提出前向熵正则化策略优化(FERPO),利用前向KL目标与自归一化重要性采样改进策略,促进探索,在MuJoCo和ManiSkill上表现优异且更新更快。
2026-10-21 cs.AI cs.LG cs.RO
GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation
针对LLM后训练中重要性采样导致的不稳定问题,提出GVPO方法,通过KL约束奖励最大化解耦梯度权重,保证唯一最优解并支持灵活采样,且可扩展至同策略蒸馏。
2026-09-21 cs.AI cs.LG
Doubly Robust Off-policy Value Evaluation for Reinforcement Learning
University of Michigan(密歇根大学);Microsoft Research(微软研究院)
本文提出一种双重鲁棒估计器,用于离策略价值评估,兼顾无偏性和低方差性,并在基准问题中验证其有效性。
2016-05-26 cs.AI cs.LG cs.SY
Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
学习生成模型通常会产生相对于底层数据分布的有偏统计数据。校正这种偏差的标准技术是重要性抽样,其中来自模型的样本由模型和真实分布下的似然比加权。当似然比未知时,可以通过训练概率分类器来区分来自两种分布的样本来估计它。我们采用这种无似然重要性加权方法来纠正生成模型中的偏差。我们发现,这种技术始终提高了标准拟合优度指标,用于评估最先进的深度生成模型的样本质量,这表明减少了偏差。最后,我们展示了它在以下典型应用中的实用性:a)使用生成对抗网络进行分类的数据增强,以及b)使用非策略数据进行基于模型的策略评估。
2019-11-03 cs.LG cs.NE stat.ML
Asymptotic optimality of adaptive importance sampling
自适应重要性采样(AIS)使用过去的样本来在每个阶段$t$更新\textit{sampling policy} $q_t$。每个阶段$t$由两个步骤形成:(i)根据$q_t$探索具有$n_t$点的空间,以及(ii)利用当前信息量来更新采样策略。本文提出的非常基本的问题涉及基于AIS的经验和的行为。在不对分配策略$n_t$进行任何假设的情况下,所开发的理论不涉及对在探索(i)和利用(ii)步骤之间的计算资源的分割的限制。结果表明,AIS是渐近最优的:AIS的渐近行为是相同的一些“预言机”的战略,知道有针对性的抽样政策从一开始。从实用的角度来看,加权AIS被引入,这是一种允许从早期阶段忘记差样本的新方法。
2018-10-03 math.ST stat.CO stat.ML
Efficient Sample Reuse in Policy Gradients with Parameter-based Exploration
策略梯度方法是一种灵活而强大的强化学习方法,特别适用于机器人控制等具有连续动作的问题。此场景中的一个常见挑战是如何减少可靠策略更新的策略梯度估计值的方差。本文结合以下三种思想,给出了一种高效的策略梯度方法:(a)具有基于参数的探索的策略梯度,这是最近提出的具有低梯度估计方差的策略搜索方法,(b)重要性采样技术,其允许我们以一致的方式重新使用先前收集的数据,以及(c)最优基线,其最小化梯度估计的方差,同时保持它们的无偏性。对于所提出的方法,我们给出了理论分析的梯度估计的方差,并通过大量的实验表明其有效性。
2013-01-17 cs.LG stat.ML
Partial Policy Gradients for RL in LLMs
Adobe Research(Adobe研究)
本文提出了一种在大语言模型中使用部分策略梯度的方法,通过优化未来奖励的子集来建模和比较不同策略类别,展示了不同策略在不同任务中的表现差异。
2026-03-06 cs.AI cs.LG
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology(代尔夫特理工大学)
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap,首次从理论分析给出缩小该差距的条件,并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
Group Sequence Policy Optimization
Alibaba Inc(阿里巴巴公司)
论文提出 GSPO 强化学习算法,通过序列似然重要性比率及序列级裁剪、奖励与优化提升大语言模型训练稳定性和效率,并已用于改进 Qwen3。
2025-07-28 cs.AI cs.CL cs.LG
Policy Gradients for CVaR-Constrained MDPs
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧分所)
我们研究的风险约束版本的随机最短路径(SSP)问题,其中考虑的风险度量是条件风险价值(CVaR)。我们提出了两个算法,获得一个局部风险最优的政策,采用四种工具:随机逼近,小批量,政策梯度和重要性抽样。这两种算法都结合了CVaR估计程序,沿着Bardou等人的路线。[2009],这反过来又基于Rockafellar-Uryasev的CVaR表示,并利用似然比原理估计一个成本函数(SSP的目标)之和的梯度和另一个成本函数(在SSP的约束下)之和的CVaR梯度。这些算法在近似CVaR估计值/必要梯度的方式上有所不同-第一种算法使用随机逼近,而第二种算法则根据蒙特卡罗方法的精神采用小批量。我们建立了这两个算法的渐近收敛性。此外,由于估计CVaR是与稀有事件模拟,我们将一个重要性抽样为基础的方差减少计划到我们提出的算法。
2014-05-12 cs.LG math.OC stat.ML
Marginalized Operators for Off-policy Reinforcement Learning
DeepMind(深度思维)
本文提出边际化算子,推广多步离策略评估算子并降低方差,可扩展计算,实验证明其提升离策略评估与策略优化性能。
2026-10-06 cs.LG stat.ML
Finite-Sample Analysis of Off-Policy TD-Learning via Generalized Bellman Operators
Georgia Institute of Technology(佐治亚理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM Research NY(IBM纽约研究院)
在时间差(TD)学习中,已知离线策略采样比在线策略采样更实用,并且通过将学习与数据汇集解耦,它能够实现数据重用。众所周知,策略评估(包括多步离策略重要性采样)具有求解广义Bellman方程的解释。在本文中,我们推导出有限样本界的任何一般的政策TD类随机近似算法,解决了这个广义贝尔曼算子的不动点。我们的关键步骤是证明广义Bellman算子同时是一个压缩映射关于加权$\ell_p$ -范数的每个$p$在$[1,\infty)$,有一个共同的压缩因子。由于重要性采样比率的乘积,离策略TD学习已知遭受高方差。在文献中已经提出了许多算法(例如,$Q^π(λ)$、树备份$(λ)$、Retrace $(λ)$和$Q$ -trace)来解决该问题。我们的结果立即暗示这些算法的有限样本界。特别地,我们为$Q^π(λ)$、Tree-Backup $(λ)$和Retrace $(λ)$提供了第一已知有限样本保证,并改进了[19]中$Q$ -trace的最佳已知边界。此外,我们还展示了这些算法中的偏差-方差权衡。
2021-06-24 cs.LG math.OC stat.ML
On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning
University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学);Tsinghua University(清华大学)
RPG通过统一KL正则化方法和改进的梯度估计,提升LLM推理准确率,实现稳定且可扩展的强化学习算法。
2026-02-19 cs.AI cs.CL cs.LG
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies
Cornell University(康奈尔大学);Harvard University(哈佛大学)
离线强化学习,其中使用由固定行为策略记录的非策略数据来评估和学习新策略,在实验有限的应用中至关重要,例如医学。本文研究了当行为连续时,确定性策略的策略值和梯度的估计问题。确定性策略的目标是至关重要的,因为最佳策略总是确定性的(直到领带)。在这种情况下,标准的重要性采样和双稳健估计策略值和梯度失败,因为密度比不存在。为了避免这个问题,我们提出了几个新的双重鲁棒估计基于不同的核化方法。我们分析的渐近均方误差,这些温和的利率条件下滋扰估计。具体来说,我们演示了如何获得一个利率是独立的地平线长度。
2020-06-06 cs.LG math.OC stat.ML
Safe and adaptive importance sampling: a mixture approach
本文研究了自适应重要性抽样算法的政策,用于生成粒子的分布序列,是一个灵活的核密度估计(基于以前的粒子)之间的混合分布,和一个“安全”的重尾密度。当根据安全密度生成的样本份额趋于零但不太快时,建立了两个结果:(i)一致收敛性速度推导出的政策向目标密度;(ii)得到的积分估计的中心极限定理。渐近方差与方差最优策略的“oracle”过程的方差相同的事实说明了该方法的好处。此外,可以在构建核估计之前进行子采样步骤(在粒子之间),以便在不改变方法的性能的情况下减少计算工作量。的算法的实际行为示出在模拟研究。
2020-03-20 math.ST stat.TH
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization
Tencent Inc.(腾讯公司);University of Manchester(曼彻斯特大学)
最近在深度强化学习(DRL)方法中的成功已经表明,通过重要性采样相对于偏离策略分布的策略优化对于样本重用是有效的。在本文中,我们表明,使用重要性采样可能会引入高方差的客观估计。具体来说,我们表明,在一个原则性的方式,重要性采样估计的方差增长的重要性比率和大的比率,从而可能危及代理目标优化的有效性。然后,我们提出了一种称为样本丢弃的技术,以约束估计方差的比例偏差太高时,丢弃样本。我们在代表性的策略优化算法(包括TRPO,PPO和ESPO)上实例化了这种示例辍学技术,并证明了它在连续和离散动作控制(包括MuJoCo,DMControl和Atari视频游戏)上始终提高了这些DRL算法的性能。我们的代码在\url{https://github.com/LinZichuan/sdpo.git}上是开源的。
2023-02-05 cs.AI cs.LG
Importance Weighted Policy Learning and Adaptation
Google(谷歌)
利用先前经验快速解决新问题的能力是生物学习系统的标志,对人工系统也具有重要的实际意义。在Meta强化学习文献中,最近的许多工作都集中在优化学习过程本身的问题上。在本文中,我们研究了一种互补的方法,这是概念上简单,一般,模块化,并建立在最近的改进离策略学习。该框架的灵感来自于概率推理文献中的思想,并将鲁棒的离策略学习与行为先验或默认行为相结合,该行为约束解决方案的空间并作为探索的偏差;以及价值函数的表示,这两者都很容易从多任务场景中的许多训练任务中学习到。与Meta强化学习基线相比,我们的方法在坚持任务上实现了有竞争力的适应性能,并且可以扩展到复杂的稀疏奖励场景。
2021-06-04 cs.AI cs.LG stat.ML
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research(新加坡科技研究局);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于状态的重要性采样方法,通过在计算重要性权重时丢弃部分状态来降低方差,并展示了其在多种离线策略评估估计器中的变体,实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta(阿尔伯塔大学)
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题,提出价值感知重要性权重,在保证无偏估计的同时降低方差,并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
Confident Off-Policy Evaluation and Selection through Self-Normalized Importance Weighting
DeepMind(深度思维)
我们认为,在上下文的强盗设置的目的,获得一个强大的关闭政策的选择策略,其中的选择策略的价值进行评估的基础上,在一组建议(目标)的政策。我们提出了一种新的方法来计算一个任意的目标策略的值的下限给定的一些记录的数据在上下文强盗所需的覆盖范围。下限是围绕所谓的自归一化重要性加权(SN)估计量建立的。它结合了使用半经验的Efron-Stein尾不等式来控制浓度和一个新的乘法(而不是加法)控制的偏差。新的方法进行了评估,一些合成和真实的数据集,并被认为是优于其主要竞争对手,无论是在紧的置信区间和所选择的政策的质量。
2022-03-21 cs.LG stat.ML
Importance mixing: Improving sample reuse in evolutionary policy search methods
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
深度神经进化,即基于深度神经网络的进化策略搜索方法,由于其更好的并行化能力,最近已经成为深度强化学习算法的竞争对手。然而,这些方法仍然遭受差得多的样本效率。在本文中,我们调查是否被称为“重要性混合”的机制,可以显着提高他们的样本效率。我们提供了一个教学演示的重要性混合,我们解释如何可以扩展到重用更多的样本。然后,通过基于简单基准的实证比较,我们表明,尽管它实际上提供了更好的样本效率,但它仍然远远低于深度强化学习的样本效率,尽管它更稳定。
2018-08-17 cs.LG stat.ML
GIPO: Gaussian Importance Sampling Policy Optimization
University of Science and Technology of China(中国科学技术大学)
该研究提出了一种基于截断重要性采样的策略优化目标GIPO,通过使用基于对数比率的高斯信任权重替代硬裁剪,以软化极端重要性比率同时保持非零梯度,从而提高数据效率,实验表明GIPO在多种回放缓冲区大小下均取得最佳性能,表现出优越的偏差-方差权衡、高训练稳定性及改进的样本效率。
2026-07-07 cs.AI cs.LG
The Importance of Pessimism in Fixed-Dataset Policy Optimization
Mila;McGill University(麦吉尔大学);OpenAI;Google Research(谷歌研究院)
我们研究了固定数据集策略优化算法的预期收益的最坏情况保证。我们的核心贡献是一个统一的概念和数学框架的算法研究在这一制度。该分析表明,对于朴素方法,错误的值高估的可能性导致难以满足的要求:为了保证我们选择接近最优的策略,我们可能需要数据集提供每个策略的值的信息。为了避免这种情况,算法可以遵循悲观主义原则,即我们应该选择在最坏的可能世界中发挥最佳作用的策略。我们展示了为什么悲观算法可以实现良好的性能,即使数据集是不是每一个政策的信息,并得出家庭的算法,遵循这一原则。这些理论研究结果通过表格网格世界上的实验和四个MinAtar环境上的深度学习实验进行了验证。
2020-11-29 cs.AI cs.LG
Policy Improvement for POMDPs Using Normalized Importance Sampling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的方法来估计的POMDP的预期收益率从经验。该方法不假设任何知识的POMDP,并允许从一个任意序列的政策收集的经验。估计POMDP的任何新政策的回报。我们从函数逼近和重要性采样的观点出发,推导了该估计量的理论性质。虽然估计量是有偏的,但它具有低方差,并且当估计量用于成对比较时,偏差通常是不相关的。我们的结论是通过扩展的估计策略与内存和比较其性能在贪婪的搜索算法的增强算法显示的数量级减少所需的试验次数。
2013-01-10 cs.AI cs.LG
Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning
Google Research(谷歌研究院);UT Austin(德克萨斯大学奥斯汀分校)
长期问题的非策略估计在许多现实应用中非常重要,例如医疗保健和机器人技术,其中高保真仿真器可能不可用,并且策略评估昂贵或不可能。最近,\cite{liu18breaking}提出了一种方法,避免了典型的基于重要性采样的方法所遭受的\emph{curse of horizon}。虽然显示出有希望的结果,但这种方法在实践中受到限制,因为它需要从\emph{known}行为策略的\emph{stationary distribution}中提取数据。在这项工作中,我们提出了一种新的方法,消除这种限制。特别是,我们制定的问题作为解决某一运营商的不动点。使用再生核希尔伯特空间(RKHS)的工具,我们开发了一种新的估计器,可以计算静态分布的重要性比,而不知道如何收集非策略数据。我们分析了它的渐近一致性和有限样本推广。在基准测试上的实验验证了该方法的有效性。
2020-03-24 cs.AI cs.LG stat.ML
Lifetime policy reuse and the importance of task capacity
Centre for Frontier AI Research, A*STAR(A*STAR前沿人工智能研究中心);University of Southampton(南安普顿大学);The Alan Turing Institute(艾伦·图灵研究所)
针对终身强化学习中多策略学习易生成大量策略的问题,提出模型无关的终身策略复用算法与任务容量指标,实验验证了二者在多任务领域的有效性。
2023-10-20 cs.AI cs.LG cs.NE
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta(阿尔伯塔大学)
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中,代理学习与正在执行的策略不同的策略。为了说明差异,通常使用重要性采样比率,但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差,其中每决策重要性采样是最流行的。然而,在文献中的更新规则,大多数政策外的算法离开每决策重要性采样在一个微妙的方式,他们纠正整个TD的错误,而不仅仅是TD的目标。在这项工作中,我们展示了如何将这种轻微的变化解释为TD目标的控制变量,减少方差并提高性能。在广泛的算法上的实验表明,这种微妙的修改会提高性能。
2022-06-16 cs.LG
Minimax Weight and Q-Function Learning for Off-Policy Evaluation
Harvard University(哈佛大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提供了理论研究的政策外评估强化学习使用(边缘化)的重要性权重和价值函数的函数逼近。我们的贡献包括:(1)一种新的估计器MWL,其直接估计状态-动作分布上的重要性比率,从而消除了如在先前工作中对行为策略的知识的依赖(Liu等人,2018年)。(2)另一种新的估计量MQL是通过交换MWL中重要权和值函数的作用而得到的。MQL有一个直观的解释,最大限度地减少平均贝尔曼错误,可以结合MWL在一个双重的强大的方式。(3)几个额外的结果,提供了进一步的见解,这些方法,包括样本的复杂性分析MWL和MQL,他们的渐近最优性在表格设置,学习的重要性权重如何取决于选择的类,以及我们的方法如何提供一个统一的观点,一些旧的和新的算法在RL。
2020-10-06 cs.LG stat.ML
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法,通过引入可微的接受门替代重要性采样比,统一了TRPO、PPO和REINFORCE的策略梯度,并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG