Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
Northwestern University(西北大学)
针对带可验证奖励的强化学习中回合预算浪费问题,提出VSR方法,通过方差最优状态重采样改进GRPO,在数学推理及Sokoban、BabyAI等任务上性能优于GRPO、GiGPO且生成token更少。
2026-10-14 cs.AI cs.LG
Variance Reduction via Resampling and Experience Replay
Department of Statistics and Data Science, UCLA(加州大学洛杉矶分校统计与数据科学系)
本文针对经验回放理论特性不明的问题,构建基于重采样U/V统计量的理论框架给出方差缩减保证,验证其在多类机器学习任务中的降本增效效果。
2025-11-13 cs.LG stat.ML
Importance weighting without importance weights: An efficient algorithm for combinatorial semi-bandits
Universitat Pompeu Fabra(庞培法布拉大学);Google Zürich(谷歌苏黎世)
我们提出了一个样本有效的替代重要性加权的情况下,只有一个样本访问的概率分布,产生的意见。我们的新方法,称为几何Rescue(GR),描述和分析的上下文中在线组合优化下半强盗反馈,学习者顺序选择其行动从组合决策集,以尽量减少其累积损失。特别是,我们证明了著名的跟随扰动领导者(FPL)的预测方法加上几何恢复产生的第一个计算效率降低从离线到在线优化在这种设置。我们提供了一个彻底的理论分析所产生的算法,表明其性能与以前的,效率低下的解决方案。我们的主要贡献是表明,尽管相对较大的方差引起的GR过程中,我们的性能保证举行的概率很高,而不仅仅是在预期中。作为一个侧面的结果,我们还提高了最有名的遗憾界FPL在线组合优化与充分的反馈,关闭FPL和指数权重之间的感知性能差距,在这种设置。
2016-08-31 cs.LG stat.ML
Resampling Gradients Vanish in Differentiable Sequential Monte Carlo Samplers
University of Tübingen(蒂宾根大学);IMPRS-IS(国际马克斯·普朗克智能系统研究学院)
针对可微分退火重要性采样(DAIS)有效样本量低、分布退化的问题,提出加入重采样步骤扩展DAIS,且经验与理论均表明无需对重采样步骤微分即可避免梯度方差问题。
2023-04-27 cs.LG stat.ML
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的,行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术,该技术重新加权政策外回报,以考虑两个政策之间回报可能性的差异。在本文中,我们研究了重要性采样与估计的行为政策,其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现,这种估计往往降低了均方误差的政策评估相比,重要性采样与真正的行为政策或使用的行为政策,估计从一个单独的数据集。直观地,以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样,并表明,估计一个非马尔可夫行为的政策,可以进一步降低大样本的均方误差,即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Iterated sampling importance resampling with adaptive number of proposals
University of Jyväskylä(于韦斯屈莱大学)
本文提出了一种自适应i-SIR算法,通过动态调整提案数以提高计算效率,并提供了关于i-SIR渐近方差的理论分析。
2026-08-31 math.PR math.ST stat.CO
A Stochastic EM Algorithm with Sampling-Importance Resampling for Missing Data in Regression with Nonlinear Predictors
UCLA Department of Statistics & Data Science(加州大学洛杉矶分校统计与数据科学系)
针对非线性预测变量回归中的缺失数据问题,提出基于采样重要性重采样的随机EM算法(SIR-StEM),仅需似然成比例即可处理任意非线性变换,模拟显示低偏差且覆盖率接近名义水平。
2026-09-22 stat.ME
Policy Optimization Through Approximate Importance Sampling
University of Cambridge(剑桥大学);KAIST(韩国科学技术院)
最近的政策优化方法(Schulman等人,2015 a; 2017)通过构建新的代理优化目标,取得了实质性的经验成功。这些代理目标允许稳定和低方差的策略学习,但是需要小的策略更新以确保代理目标保持目标策略值的精确近似。在本文中,我们推导出一个替代的目标,通过应用重要性采样(IS)获得的目标政策的价值。然而,基本重要性抽样目标不适合策略优化,因为它会导致太大的变化,在政策更新。因此,我们引入了一个近似值,使我们能够直接权衡的偏差近似与政策更新的方差。我们表明,我们的近似统一以前开发的方法,并允许我们之间的插值。我们通过用近端策略优化技术优化引入的目标来开发实用算法(Schulman等人,2017年)。我们还提供了一个理论分析的政策优化目标,展示偏差方差权衡。我们的经验表明,所得到的算法改进后的最先进的政策政策优化的连续控制基准。
2020-02-21 cs.AI cs.LG stat.ML
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou(周洪毅);Josiah P. Hanna(哈尼安);Jin Zhu(朱锦);Ying Yang(杨莹);Chengchun Shi(石成春)
本文从理论上揭示了在离策略评估中,使用历史依赖的估计行为策略虽增加有限样本偏差,但能降低渐近方差,从而降低均方误差,并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST(CREST(法国统计研究中心));ENSAE(法国国立统计与经济管理学校);IP Paris(巴黎理工学院);Criteo AI Lab(Criteo人工智能实验室)
针对离线策略学习悲观主义缺乏统一分析框架的问题,提出全面的PAC-Bayesian框架,推导出适用于常见重要性权重正则化的泛化界,并在单一框架内比较,实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
CAS Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, CAS, Beijing, 100190, China(中国科学院网络数据科学与技术重点实验室,计算技术研究所,中国科学院,北京);University of Chinese Academy of Sciences, Beijing, 101408, China(中国科学院大学,北京);School of Computer and Information Engineering, Hanshan Normal University, Guangdong, 521041, China(韩山师范学院计算机与信息工程学院,广东);School of Physics and Electronic Engineering, Hanshan Normal University, Guangdong, 521000, China(韩山师范学院物理与电子工程学院,广东);School of Data Science, Capital University of Economics and Business, Beijing, 100070, China(首都经济贸易大学数据科学学院,北京)
本文提出相对重要性采样(RIS)以缓解离策略强化学习中重要性采样的高方差问题,并开发首个无模型RIS离策略演员-评论家算法,在OpenAI Gym和合成数据集上取得优于或等同现有基准的效果。
2025-04-28 cs.AI cs.LG stat.ML
Tensor Monte Carlo: particle methods for the GPU era
Janelia Research Campus(Janelia研究园区)
多样本、重要性加权变分自编码器(IWAE)比用标准单样本目标训练的变分自编码器(VAE)提供更严格的边界和更准确的不确定性估计。然而,IWAE的规模很差:随着潜在维度的增长,它们需要指数级地多的样本来保持重要性加权的益处。虽然序贯蒙特卡罗(SMC)可以解决这个问题,但它非常慢,因为重新排序步骤强加了无法并行的顺序结构,而且,重新排序是不可微的,这在学习近似后验时是有问题的。为了解决这些问题,我们开发了张量蒙特卡罗(TMC),它通过为每个$n$潜在变量分别绘制$K$样本,然后对所有$K^n$可能的组合进行平均,从而以指数方式给出许多重要性样本。虽然对指数级的许多项求和似乎很难处理,但在许多情况下,它可以作为一系列张量内积有效地计算。我们表明,TMC是优于IWAE上的生成模型与多个随机层训练的MNIST手写数字数据库,我们表明,TMC可以结合标准的方差减少技术。
2019-01-17 cs.LG stat.ML
Policy Optimization via Importance Sampling
Politecnico di Milano(米兰理工大学);IDSIA(达勒莫尔人工智能研究所(IDSIA));USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
策略优化是解决连续控制任务的一种有效的强化学习方法。最近的成就表明,交替在线和离线优化是有效的轨迹重用的成功选择。然而,决定何时停止优化并收集新的轨迹是不平凡的,因为它需要考虑目标函数估计的方差。在本文中,我们提出了一种新的,无模型,政策搜索算法,POIS,适用于基于动作和基于参数的设置。我们首先推导出一个高置信度界重要性采样估计,然后我们定义了一个代理目标函数,这是离线优化每当一批新的轨迹被收集。最后,该算法进行了测试的选择连续控制任务,线性和深度的政策,并与国家的最先进的政策优化方法进行比较。
2018-10-31 cs.AI cs.LG stat.ML
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST(韩国科学技术院)
在诸如近端策略优化(PPO)的基于重要性采样(IS)的强化学习算法中,IS权重通常被裁剪以避免学习中的大方差。然而,从裁剪统计的政策更新引起大的偏见,在任务中具有高的动作维度,和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中,我们认为PPO,一个代表性的政策算法,并提出了其改进的维度上的IS权重裁剪,分别剪辑每个动作维度的IS权重,以避免大的偏见,并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务,并重复使用旧的样本,如在离策略学习,以提高样本效率。数值实验结果表明,该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
On adaptive resampling strategies for sequential Monte Carlo methods
序贯蒙特卡罗(SMC)方法是一类结合重要性抽样和恢复步骤从任意概率分布序列中近似抽样的技术。本文研究一类SMC方法的收敛性分析,其中,利用有效样本量等准则在线计算响应发生的时间。这是一个流行的做法,从业者之间,但有很少的收敛结果,这些方法。通过结合半群技巧和一个原始的耦合变元,我们得到了这些算法的泛函中心极限定理和一致指数浓度估计。
2012-03-02 math.ST stat.TH
Independent Resampling Sequential Monte Carlo Algorithms
序贯蒙特卡罗算法或粒子滤波器是贝叶斯滤波算法,其在时间上传播感兴趣的后验分布的离散和随机近似。这些算法是基于重要性抽样与自举响应的步骤,其目的是对权值退化斗争。然而,在某些情况下(信息量测量,高维模型),重新搜索步骤可能证明是低效的。在本文中,我们重新审视的基本reservation机制,使我们回到鲁宾的静态reservation机制。我们提出了一种替代的复兴计划,其中重新采样的粒子共享相同的边缘分布在经典的设置,但现在是独立的。这组独立粒子提供了一种新的替代方案来计算目标分布的矩,并通过CLT分析所得到的估计。接下来,我们适应我们的结果,以动态的情况下,提出了一个粒子滤波算法的基础上独立reservation。该算法可以看作是一种特殊的辅助粒子滤波器算法,具有相关的第一阶段权重和辅助分布的选择。最后,我们验证我们的结果通过模拟仔细考虑到计算预算。
2016-07-19 stat.CO
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research(新加坡科技研究局);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于状态的重要性采样方法,通过在计算重要性权重时丢弃部分状态来降低方差,并展示了其在多种离线策略评估估计器中的变体,实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Importance Weighted Policy Learning and Adaptation
Google(谷歌)
利用先前经验快速解决新问题的能力是生物学习系统的标志,对人工系统也具有重要的实际意义。在Meta强化学习文献中,最近的许多工作都集中在优化学习过程本身的问题上。在本文中,我们研究了一种互补的方法,这是概念上简单,一般,模块化,并建立在最近的改进离策略学习。该框架的灵感来自于概率推理文献中的思想,并将鲁棒的离策略学习与行为先验或默认行为相结合,该行为约束解决方案的空间并作为探索的偏差;以及价值函数的表示,这两者都很容易从多任务场景中的许多训练任务中学习到。与Meta强化学习基线相比,我们的方法在坚持任务上实现了有竞争力的适应性能,并且可以扩展到复杂的稀疏奖励场景。
2021-06-04 cs.AI cs.LG stat.ML
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法,并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间,并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Measuring the non-asymptotic convergence of sequential Monte Carlo samplers using probabilistic programming
Massachusetts Institute of Technology(麻省理工学院)
近似推理的采样算法的一个关键限制是难以量化其近似误差。广泛使用的采样方案,例如具有恢复和Metropolis-Hastings的顺序重要性采样,产生从可能远离目标后验分布的分布中提取的输出样本。本文介绍了如何上限的对称KL发散之间的输出分布的一个广泛的类序贯蒙特卡罗(SMC)采样器和他们的目标后验分布,受到一个单独的金标准采样器的准确性的假设。所提出的方法适用于采样器,结合多个粒子,多项式rescue,和复兴内核。实验表明,该技术被用来估计的SMC样本的后验推理在贝叶斯线性回归模型和Dirichlet过程的混合模型的分歧的界限。
2017-05-06 cs.AI cs.LG stat.ML
Particle Gibbs with Ancestor Sampling for Probabilistic Programs
Columbia University(哥伦比亚大学);University of Oxford(牛津大学)
粒子马尔可夫链蒙特卡罗技术是目前最先进的概率程序推理方法之一。这些技术的一个缺点是,它们依赖于重要性恢复,这导致退化的粒子轨迹和低有效的样本量的变量在程序中早期采样。我们在这里开发了一种形式主义,以适应祖先rescue,一种技术,减轻粒子退化,概率编程设置。我们提出的实证结果表明,非平凡的性能增益。
2015-02-09 cs.AI cs.PL stat.ML
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta(阿尔伯塔大学)
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题,提出价值感知重要性权重,在保证无偏估计的同时降低方差,并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
Reachability Weighted Offline Goal-conditioned Resampling
Department of Electrical Engineering and Automation, Aalto University(电气工程与自动化系,艾尔沃斯大学)
本文针对离线目标条件强化学习中均匀采样产生大量不可达样本的问题,提出可达性加权采样(RWS),利用PU学习训练可达性分类器为采样分配优先级,在多个机器人操作任务上显著提升策略性能。
2025-06-03 cs.LG
Boosting Offline Reinforcement Learning via Data Rebalancing
Sea AI Lab(Sea人工智能实验室);Tsinghua University(清华大学)
离线强化学习(RL)面临着学习策略和数据集之间分布变化的挑战。为了解决这个问题,现有的工作主要集中在设计复杂的算法,显式或隐式地限制学习的政策接近的行为政策。该约束不仅适用于性能良好的动作,也适用于性能较差的动作,这限制了学习策略的性能上限。与对齐两个分布的密度不同,对齐支撑给出了一个放松的约束,同时仍然能够避免分布外的动作。因此,我们提出了一种简单而有效的方法来提高离线RL算法,该方法基于对数据集的重新排序保持分布支持不变的观察。更具体地说,我们构造了一个更好的行为策略,根据其情节回报,在一个旧的数据集的每个转换重新排序。我们称我们的方法为ReD(基于返回的数据再平衡),它可以用不到10行的代码更改来实现,并且增加了微不足道的运行时间。大量的实验表明,ReD在提高离线RL性能方面是有效的,并且与长尾分类中的解耦策略正交。在D4RL基准上实现了新的最先进技术。
2022-10-17 cs.LG
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Estimation in hidden Markov models via efficient importance sampling
给定一个离散时间有限状态隐马尔可夫模型的观测序列,我们想估计一个统计量的抽样分布。利用Bootstrap方法逼近多维参数的置信区域。在这种情况下,我们提出了一个有效的模拟重要性抽样公式。我们的方法包括构建一个局部渐近正态(LAN)家庭的概率分布周围的默认恢复规则,然后最小化的LAN家庭内的渐近方差。这个最小化问题的解决方案的特点是渐近最优的rescue计划,这是由倾斜公式。倾斜公式的实施是通过求解泊松方程来实现的。数值算例表明了所提出的重要性抽样方案的有效性。
2007-08-30 math.ST stat.CO stat.TH
QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization
School of Computer Science, Peking University(北京大学计算机科学学院);Beijing Key Laboratory of Software and Hardware Cooperative Artificial Intelligence Systems, Peking University(北京大学软硬件协同人工智能系统北京市重点实验室);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Institute of Computational Social Science, Peking University (Qingdao)(北京大学(青岛)计算社会科学研究院)
针对大型推理模型长思维链响应致高延迟成本问题,提出QLPO方法,通过先过度生成候选响应,再按特定规则重采样训练组,实现隐式长度控制,在多模型中改善准确率与长度权衡,减少响应长度并保持推理性能。
2026-07-27 cs.AI
Deep Dense Exploration for LLM Reinforcement Learning via Pivot-Driven Resampling
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);City University of Hong Kong(香港城市大学);Baidu(百度)
针对大语言模型强化学习中探索效率低的问题,提出深度密集探索(DDE)策略,通过识别失败轨迹中的可恢复枢轴状态并局部密集重采样,结合双流优化目标,在数学推理基准上优于现有方法。
2026-06-15 cs.AI cs.CL cs.LG
Towards Optimal Off-Policy Evaluation for Reinforcement Learning with Marginalized Importance Sampling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon AI(亚马逊人工智能);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
基于强化学习(RL)在实际应用中需要安全策略迭代的需求,在具有长时域和大动作空间的非平稳偶发马尔可夫决策过程(MDP)模型下,研究了策略外评估(OPE)问题,即利用不同行为策略获得的历史数据对新策略进行评估的问题.现有的重要性采样(IS)方法经常遭受大的方差,该方差指数地依赖于RL时域$H$。为了解决这个问题,我们考虑了一个边缘化的重要性采样(MIS)的估计,递归地估计在每一步的目标策略的状态边际分布。MIS实现$$ \frac{1}{n} \sum\nolimits_{t=1}^H\mathbb{E}_μ\left[\frac{d_t^π(s_t)^2}{d_t^μ(s_t)^2} \mathrm{Var}_μ\left[\frac{π_t(a_t|s_t)}{μ_t(a_t|s_t)}\big( V_{t+1}^π(s_{t+1}) + r_t\big) \middle| s_t\right]\right] + \tilde{O}(n^{-1.5}) $$的均方误差,其中$μ$和$π$是日志和目标策略,$d_t^μ(s_t)$和$d_t^π(s_t)$是$t$第n步的状态的边缘分布,$H$是水平,$n$是样本大小,$V_{t+1}^π$是$π$下MDP的值函数。结果与\citet{jiang2016doubly}中的Cramer-Rao下限匹配,直到$H$的乘法因子。据我们所知…
2020-04-01 cs.AI cs.LG stat.ML
Confident Off-Policy Evaluation and Selection through Self-Normalized Importance Weighting
DeepMind(深度思维)
我们认为,在上下文的强盗设置的目的,获得一个强大的关闭政策的选择策略,其中的选择策略的价值进行评估的基础上,在一组建议(目标)的政策。我们提出了一种新的方法来计算一个任意的目标策略的值的下限给定的一些记录的数据在上下文强盗所需的覆盖范围。下限是围绕所谓的自归一化重要性加权(SN)估计量建立的。它结合了使用半经验的Efron-Stein尾不等式来控制浓度和一个新的乘法(而不是加法)控制的偏差。新的方法进行了评估,一些合成和真实的数据集,并被认为是优于其主要竞争对手,无论是在紧的置信区间和所选择的政策的质量。
2022-03-21 cs.LG stat.ML
Conservative Optimistic Policy Optimization via Multiple Importance Sampling
Ecole Polytechnique(巴黎综合理工学院)
强化学习(RL)已经能够用一种统一的方法解决诸如玩雅达利游戏或解决围棋游戏等难题。然而,现代深度强化学习方法在现实世界的应用中仍然没有得到广泛的应用。一个原因可能是,与现有的(已经工作的)基线策略相比,中间执行策略的性能缺乏保证。在本文中,我们提出了一个在线无模型算法,解决了保守的探索策略优化问题。我们表明,所提出的方法的遗憾是有界的$\tilde{\mathcal{O}}(\sqrt{T})$离散和连续的参数空间。
2021-03-04 cs.LG stat.ML
Importance mixing: Improving sample reuse in evolutionary policy search methods
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
深度神经进化,即基于深度神经网络的进化策略搜索方法,由于其更好的并行化能力,最近已经成为深度强化学习算法的竞争对手。然而,这些方法仍然遭受差得多的样本效率。在本文中,我们调查是否被称为“重要性混合”的机制,可以显着提高他们的样本效率。我们提供了一个教学演示的重要性混合,我们解释如何可以扩展到重用更多的样本。然后,通过基于简单基准的实证比较,我们表明,尽管它实际上提供了更好的样本效率,但它仍然远远低于深度强化学习的样本效率,尽管它更稳定。
2018-08-17 cs.LG stat.ML
GIPO: Gaussian Importance Sampling Policy Optimization
University of Science and Technology of China(中国科学技术大学)
该研究提出了一种基于截断重要性采样的策略优化目标GIPO,通过使用基于对数比率的高斯信任权重替代硬裁剪,以软化极端重要性比率同时保持非零梯度,从而提高数据效率,实验表明GIPO在多种回放缓冲区大小下均取得最佳性能,表现出优越的偏差-方差权衡、高训练稳定性及改进的样本效率。
2026-07-07 cs.AI cs.LG
Importance Sampling with Unequal Support
Carnegie Mellon University(卡内基梅隆大学)
重要性采样常用于机器学习中,当训练和测试数据来自不同的分布时。在本文中,我们提出了一个新的变种的重要性采样,可以减少方差的重要性采样为基础的估计数量级时,支持的训练和测试分布不同。在激励和介绍我们的新的重要性采样估计量,我们提供了一个详细的理论分析,其特点是它的偏差和方差相对于普通的重要性采样估计量(在各种设置,其中包括普通的重要性采样是有偏见的情况下,而我们的新的估计量不是,反之亦然)。我们的结论与我们的新的重要性采样估计如何可以用来改善如何以及一个新的糖尿病治疗策略将工作的个人,使用数据时,个人使用以前的治疗策略的估计的一个例子。
2016-11-10 cs.AI cs.LG stat.ML
ESPO: Entropy Importance Sampling Policy Optimization
LLM Team, Shopee Pte. Ltd.(Shopee 股份有限公司大语言模型团队)
ESPO通过结合细粒度更新与稳定训练,解决梯度利用率不足问题,提升大语言模型在复杂推理任务中的性能。
2026-02-15 cs.AI cs.LG stat.ML
A Deep Reinforcement Learning Approach to Marginalized Importance Sampling with the Successor Representation
Mila(米拉研究所);McGill University(麦吉尔大学)
本文提出一种利用后继表示计算密度比的边缘化重要性采样方法,通过深度强化学习训练,实现稳定且适用于高维环境的离策略评估,并在Atari和MuJoCo基准上验证了有效性。
2023-11-13 cs.AI cs.LG stat.ML
Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling
LinkedIn(领英)
针对大型语言模型异步强化学习后训练的离策略问题,提出TETPO方法,通过数据自适应指数调整重要性权重,在高过时度数学推理基准上优于相关基线。
2026-10-14 cs.AI cs.LG
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta(阿尔伯塔大学)
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中,代理学习与正在执行的策略不同的策略。为了说明差异,通常使用重要性采样比率,但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差,其中每决策重要性采样是最流行的。然而,在文献中的更新规则,大多数政策外的算法离开每决策重要性采样在一个微妙的方式,他们纠正整个TD的错误,而不仅仅是TD的目标。在这项工作中,我们展示了如何将这种轻微的变化解释为TD目标的控制变量,减少方差并提高性能。在广泛的算法上的实验表明,这种微妙的修改会提高性能。
2022-06-16 cs.LG
Lifetime policy reuse and the importance of task capacity
Centre for Frontier AI Research, A*STAR(A*STAR前沿人工智能研究中心);University of Southampton(南安普顿大学);The Alan Turing Institute(艾伦·图灵研究所)
针对终身强化学习中多策略学习易生成大量策略的问题,提出模型无关的终身策略复用算法与任务容量指标,实验验证了二者在多任务领域的有效性。
2023-10-20 cs.AI cs.LG cs.NE
Finite Mixture Model of Nonparametric Density Estimation using Sampling Importance Resampling for Persistence Landscape
Allameh Tabatabai University(阿拉梅·塔巴塔拜大学)
考虑到持久性景观在参数化曲线上的产生和采样结构,存在一个随机过程,对于给定的数据集,持久性景观的有限混合模型(FMMPL)可以提供更好的描述。本文提出了一种非参数的方法来计算在持久性景观的综合均方误差(IMSE)。因此,FMMPL比另一种方法更准确。提出了采样重要性响应(SIR),较好地描述了参数化曲线中的重要标志点。结果,提供了更高的准确性和更低的空间复杂性比简单的采样选择的地标。
2018-11-17 cs.LG stat.ML
Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning
Google Research(谷歌研究院);UT Austin(德克萨斯大学奥斯汀分校)
长期问题的非策略估计在许多现实应用中非常重要,例如医疗保健和机器人技术,其中高保真仿真器可能不可用,并且策略评估昂贵或不可能。最近,\cite{liu18breaking}提出了一种方法,避免了典型的基于重要性采样的方法所遭受的\emph{curse of horizon}。虽然显示出有希望的结果,但这种方法在实践中受到限制,因为它需要从\emph{known}行为策略的\emph{stationary distribution}中提取数据。在这项工作中,我们提出了一种新的方法,消除这种限制。特别是,我们制定的问题作为解决某一运营商的不动点。使用再生核希尔伯特空间(RKHS)的工具,我们开发了一种新的估计器,可以计算静态分布的重要性比,而不知道如何收集非策略数据。我们分析了它的渐近一致性和有限样本推广。在基准测试上的实验验证了该方法的有效性。
2020-03-24 cs.AI cs.LG stat.ML
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization
Tencent Inc.(腾讯公司);University of Manchester(曼彻斯特大学)
最近在深度强化学习(DRL)方法中的成功已经表明,通过重要性采样相对于偏离策略分布的策略优化对于样本重用是有效的。在本文中,我们表明,使用重要性采样可能会引入高方差的客观估计。具体来说,我们表明,在一个原则性的方式,重要性采样估计的方差增长的重要性比率和大的比率,从而可能危及代理目标优化的有效性。然后,我们提出了一种称为样本丢弃的技术,以约束估计方差的比例偏差太高时,丢弃样本。我们在代表性的策略优化算法(包括TRPO,PPO和ESPO)上实例化了这种示例辍学技术,并证明了它在连续和离散动作控制(包括MuJoCo,DMControl和Atari视频游戏)上始终提高了这些DRL算法的性能。我们的代码在\url{https://github.com/LinZichuan/sdpo.git}上是开源的。
2023-02-05 cs.AI cs.LG
Evaluating Control Protocols for Untrusted AI Agents
本文在SHADE-Arena数据集上系统评估了不可信AI智能体的控制协议,发现重采样和在关键操作时移交能显著提升安全性,且后者对自适应红队攻击具有高度鲁棒性。
2025-11-04 cs.AI
Kernel weighted importance sampling for off-policy evaluation in contextual bandits
Institute of Child Health, University College London(伦敦大学学院儿童健康研究所);Strive Health Ltd.(奋进健康有限公司);National Institute for Health Research(国家卫生研究院);University College London, Biomedical Research Council(伦敦大学学院生物医学研究委员会);Great Ormond Street Hospital(大奥蒙德街医院);McGill University(麦吉尔大学)
研究上下文博弈离策略评估,提出核加权重要性采样估计器Kernel-WIS,它结合普通加权重要性采样有界性与普通重要性采样线性,渐近一致且优于基线方法,尤其在行为策略错误指定等复杂情况。
2026-08-05 cs.LG
Minimax Weight and Q-Function Learning for Off-Policy Evaluation
Harvard University(哈佛大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提供了理论研究的政策外评估强化学习使用(边缘化)的重要性权重和价值函数的函数逼近。我们的贡献包括:(1)一种新的估计器MWL,其直接估计状态-动作分布上的重要性比率,从而消除了如在先前工作中对行为策略的知识的依赖(Liu等人,2018年)。(2)另一种新的估计量MQL是通过交换MWL中重要权和值函数的作用而得到的。MQL有一个直观的解释,最大限度地减少平均贝尔曼错误,可以结合MWL在一个双重的强大的方式。(3)几个额外的结果,提供了进一步的见解,这些方法,包括样本的复杂性分析MWL和MQL,他们的渐近最优性在表格设置,学习的重要性权重如何取决于选择的类,以及我们的方法如何提供一个统一的观点,一些旧的和新的算法在RL。
2020-10-06 cs.LG stat.ML
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法,通过引入可微的接受门替代重要性采样比,统一了TRPO、PPO和REINFORCE的策略梯度,并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
Renmin University of China(中国人民大学)
研究针对大语言模型强化学习后训练中离策略数据问题,提出选择性重要性采样(SIS),受拒绝采样启发,以离策略模型为提议分布进行令牌级拒绝测试,理论证明可减少梯度估计差距,实验验证其有效性。
2026-08-19 cs.AI cs.CL cs.LG
Importance-Weighted Offline Learning Done Right
Universitat Pompeu Fabra(庞培法布拉大学);Politecnico di Milano(米兰理工大学)
针对随机上下文赌博机的离线策略优化,本文提出基于 implicit exploration 估计量的重要性加权方法,去除均匀覆盖假设并获得更强保证,还扩展至 PAC-Bayesian 无限策略类。
2023-09-27 cs.LG stat.ML
Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind(谷歌DeepMind)
本文提出离策略分布Q(λ)算法,无需重要性采样即可进行离策略分布评估,并通过表格实验验证理论,结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
University of California, Los Angeles(加州大学洛杉矶分校)
针对离线策略学习中裁剪导致的梯度饥饿问题,提出ReSPO方法,用平滑双分支核替代裁剪,在Qwen3模型上加速优化并提升最终性能。
2026-09-29 cs.AI cs.LG
Score-Based Diffusion Policy Compatible with Reinforcement Learning via Optimal Transport
Zhejiang University(浙江大学);Westlake University(西湖大学);Shanghai Jiao Tong University(上海交通大学)
针对扩散策略在分布偏移下鲁棒性不足的问题,提出结合最优传输的OTPR方法,通过Q函数作传输代价、掩码匹配及兼容性重采样实现扩散策略与RL的高效稳定微调,在仿真任务中性能更优。
2025-02-21 cs.AI cs.LG
Improving Population Monte Carlo: Alternative Weighting and Resampling Schemes
总体蒙特卡罗(PMC)抽样方法是在给定一组观测值的情况下近似静态未知数分布的有力工具。这些方法本质上是迭代的:在每一步,它们从建议分布中生成样本,并根据重要性抽样原则为它们分配权重。应用PMC方法的关键问题是样本生成函数的选择和避免样本退化。在本文中,我们提出了三个新的计划,大大提高了性能的原始PMC制定允许更好地探索未知数的空间,并通过选择更充分的生存样本。理论分析,证明了新方案的优越性,在方差的相关估计和保存的样本多样性。此外,我们表明,他们优于其他国家的最先进的算法(无论是在均方误差和鲁棒性w.r.t.初始化)通过广泛的数值模拟。
2016-07-10 stat.CO
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Apple(苹果公司);Purdue University(普渡大学)
PORTool通过奖励树实现多工具集成推理中的重要性感知策略优化,提升最终答案准确性并减少工具调用步骤。
2026-04-30 cs.AI cs.CL cs.LG