Balancing optimism and pessimism in offline-to-online learning
HEC Paris(巴黎高等商学院);University of Alberta(阿尔伯塔大学);Deepmind London(伦敦深度思维公司)
本文研究离线到在线学习中的策略选择困境,提出一种新算法,使学习者在任何时间点的表现几乎与悲观策略LCB和乐观策略UCB中较好者相当,实现从短期悲观到长期乐观的平滑过渡。
2025-03-10 cs.AI cs.LG
Double Pessimism is Provably Efficient for Distributionally Robust Offline Reinforcement Learning: Generic Algorithm and Robust Partial Coverage
Stanford University(斯坦福大学);The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学)
本文提出适用于分布鲁棒离线强化学习的双重悲观原理及通用算法框架$P^2MPO$,证明其在鲁棒部分覆盖数据下样本高效,还拓展至鲁棒马尔可夫博弈求解鲁棒纳什均衡。
2023-08-22 cs.AI cs.LG math.OC
Is Pessimism Provably Efficient for Offline RL?
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Northwestern University(西北大学);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
我们研究了离线强化学习(RL),其目的是基于先验收集的数据集学习最优策略。由于缺乏与环境的进一步交互,离线RL遭受数据集覆盖不足的问题,这回避了大多数现有的理论分析。在本文中,我们提出了一个悲观的值迭代算法(PEI),它采用了一个不确定性量化作为惩罚函数的变种。这样的惩罚函数简单地翻转了奖励函数的符号,以促进在线RL中的探索,这使得它易于实现,并与一般函数逼近器兼容。在不假设数据集的充分覆盖的情况下,我们建立了一般马尔可夫决策过程(MDP)的PEVI次优性的数据依赖上界。当专门用于线性MDP时,它将信息理论下限与维度和水平的乘法因子相匹配。换句话说,悲观主义不仅可以证明是有效的,而且是最小最大最优的。特别是,给定数据集,学习的策略是所有策略中的“最佳努力”,因为没有其他策略可以做得更好。我们的理论分析确定了悲观主义在消除虚假相关性概念方面的关键作用,虚假相关性是从数据集覆盖较少的“不相关”轨迹中出现的,并且对于最优策略没有信息。
2022-05-04 cs.AI cs.LG math.OC
Towards Instance-Optimal Offline Reinforcement Learning with Pessimism
UC Santa Barbara(加州大学圣巴巴拉分校)
我们研究了离线强化学习(offline RL)问题,其目标是使用来自策略$μ$的数据在未知的马尔可夫决策过程(MDP)中学习一个奖励最大化策略.特别是,我们认为离线RL的样本复杂性问题的有限时域MDPs。以往的研究工作基于不同的数据覆盖假设来研究这个问题,并且它们的学习保证由覆盖系数来表示,而覆盖系数缺乏系统量的显式表征。在这项工作中,我们分析了自适应Pessibility Value Iteration(APVI)算法,并推导出次优上界,几乎匹配\[ O\left(\sum_{h=1}^H\sum_{s_h,a_h}d^{π^\star}_h(s_h,a_h)\sqrt{\frac{\mathrm{Var}_{P_{s_h,a_h}}{(V^\star_{h+1}+r_h)}}{d^μ_h(s_h,a_h)}}\sqrt{\frac{1}{n}}\right). \]在补充,我们还证明了每个实例的信息理论下界下的弱假设,$d^μ_h(s_h,a_h)>0$如果$d^{π^\star}_h(s_h,a_h)>0$。与前面的极大极小下界不同,每个实例的下界(通过局部极大极小)是一个更强的标准,因为它分别适用于单个实例。这里,$π^\star$是最优策略,$μ$是行为策略,$d_h^μ$是边际状态-动作概率。我们将上述方程称为内在离线强化学习界,因为它直接包含了所有现有的最优结果:均匀…
2021-10-17 cs.AI cs.LG stat.ML
Offline Neural Contextual Bandits: Pessimism, Optimization and Generalization
Applied AI Institute(应用人工智能研究所);Deakin University(迪肯大学);University of Oxford(牛津大学)
离线策略学习(OPL)利用先验收集的现有数据进行策略优化,而无需任何主动探索。尽管流行和最近的兴趣在这个问题上,其理论和算法的基础,在函数逼近设置仍然欠发达。在本文中,我们考虑这个问题的轴上的分布转移,优化和推广离线上下文土匪神经网络。特别是,我们提出了一个可证明有效的离线上下文土匪与神经网络功能近似,不需要任何功能的假设上的回报。我们表明,我们的方法可证明推广到看不见的情况下,比现有的OPL工程分布转移的温和条件。值得注意的是,与任何其他OPL方法不同,我们的方法使用随机梯度下降以在线方式从离线数据中学习,使我们能够将在线学习的好处利用到离线设置中。此外,我们表明,我们的方法是计算效率更高,并有一个更好的依赖于有效尺寸的神经网络比在线对应。最后,我们证明了我们的方法在一系列合成和现实世界的OPL问题的经验有效性。
2022-03-13 cs.AI cs.LG stat.ML
Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
本文研究离线RLHF,提出DCPPO方法,通过极大似然估计、Bellman误差最小化和悲观值迭代三阶段学习人类奖励和近似最优策略,并首次为动态离散选择模型下的离策略离线RLHF提供理论保证。
2023-07-03 cs.AI cs.LG math.OC
Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning
ETH(苏黎世联邦理工学院)
在现实世界的任务中,强化学习(RL)代理经常会遇到在训练期间不存在的情况。为了确保可靠的性能,RL代理需要表现出对最坏情况的鲁棒性。强大的RL框架通过代理和对手之间的最坏情况优化来解决这一挑战。以前的鲁棒RL算法要么是样本效率低,缺乏鲁棒性保证,要么不能扩展到大问题。我们提出了鲁棒幻觉上置信RL(RH-UCRL)算法来可证明地解决这个问题,同时获得接近最佳的样本复杂度保证。RH-UCRL是一种基于基于模型的强化学习(MBRL)算法,它能有效区分认知和任意的不确定性,并在策略学习过程中有效探索代理和对手的决策空间。我们通过神经网络集成模型以及神经网络策略将RH-UCRL扩展到复杂任务。在实验中,我们证明了RH-UCRL在各种对抗环境中优于其他强大的深度RL算法。
2021-03-18 cs.AI cs.LG stat.ML
Pessimism's Paradox: Conservative Offline Training Amplifies Reward Hacking During Online Adaptation in Reasoning Models
Horizon Research;Apple;Meta
研究发现,离线训练中越保守的DPO(高β)会压缩策略熵,降低响应多样性,反而加速在线优化中奖励模型的利用,导致更严重的奖励黑客行为。
2026-06-29 cs.AI cs.LG stat.ML
Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes
Stanford University(斯坦福大学);Yale University(耶鲁大学);Northwestern University(西北大学)
针对部分可观测马尔可夫决策过程中存在混杂的离线强化学习问题,本文提出P3O算法,通过近端因果推断构造悲观置信区域,在局部覆盖假设下首次实现n^{-1/2}次优性的可证明高效学习。
2024-04-01 cs.AI cs.LG math.ST
Scheduling for Cellular Federated Edge Learning with Importance and Channel Awareness
Zhejiang University(浙江大学);Northwestern University(西北大学);The University of Hong Kong(香港大学)
在蜂窝联合边缘学习(FEEL)中,保持本地数据的多个边缘设备通过与接入点通信学习更新而不交换它们的数据样本来联合训练神经网络。在通信资源非常有限的情况下,安排最具信息性的本地学习更新是有益的。在本文中,提出了一种新的调度策略,利用多用户信道的多样性和多样性的边缘设备的学习更新的“重要性”。首先,一个新的概率调度框架的开发,以产生无偏的更新聚合FEEL。局部学习更新的重要性通过其梯度发散来衡量。如果一个边缘设备被调度在每个通信轮,调度策略推导出封闭的形式,以实现信道质量和更新重要性之间的最佳权衡。然后扩展概率调度框架以允许在每个通信回合中调度多个边缘设备。使用流行的模型和学习数据集获得的数值结果表明,所提出的调度策略可以实现更快的模型收敛和更高的学习精度比传统的调度策略,只利用一种类型的多样性。
2020-06-23 cs.IT cs.LG cs.NI
Bridging Offline Reinforcement Learning and Imitation Learning: A Tale of Pessimism
UC Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学)
提出一种统一模仿学习与离线RL的新框架,基于悲观主义的LCB算法能适应未知数据组成,在近专家数据集上实现更快的1/N收敛速率,并在上下文老虎机和MDPs中展现自适应最优性。
2023-07-03 cs.AI cs.LG math.OC
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University(南京大学);UIUC(伊利诺伊大学)
本文研究了在一般函数逼近下离线强化学习的理论方面,扩展了理论保证到大或连续动作空间上的参数策略类,并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
DROMO: Distributionally Robust Offline Model-based Policy Optimization
Affiliated High School of South China Normal University(华南师范大学附属中学)
研究了基于模型控制的离线强化学习问题,其目标是从经验回放中学习一个动力学模型,并在学习的模型下获得一个面向悲观的智能体.当前基于模型的约束包括显式不确定性惩罚和隐式保守正则化,其将分布外状态-动作对的Q值向下推,而分布内状态-动作对的Q值向上推。虽然前者所依赖的不确定性估计可以对复杂动态进行松散校准,但后者的性能略好。为了扩展正则化的基本思想而不进行不确定性量化,我们提出了分布式鲁棒离线基于模型的策略优化(DROMO),它利用分布式鲁棒优化中的思想来惩罚超出标准经验分布外Q值最小化的更广泛的分布外状态-动作对。我们从理论上表明,我们的方法优化了地面实况政策评估的下限,它可以被纳入任何现有的策略梯度算法。我们还分析了DROMO的线性和非线性实例化的理论性质。
2021-09-15 cs.AI cs.LG
Near-optimal Policy Identification in Active Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);University College London(伦敦大学学院);University of Alberta(阿尔伯塔大学)
许多现实世界的强化学习任务需要控制复杂的动态系统,这些系统涉及昂贵的数据采集过程和大型状态空间。在可以容易地在指定状态(例如,通过模拟器),代理可以在通常被称为利用\emph{generative model}的规划中操作。我们提出了AE-LSVI算法的最佳策略识别,一个新的变种的核化最小二乘值迭代(LSVI)算法,结合积极探索(AE)的乐观与悲观。AE-LSVI可证明地在整个状态空间上识别接近最优的策略\emph{uniformly},并实现与状态数无关的多项式样本复杂度保证。当专门为最近推出的离线上下文贝叶斯优化设置,我们的算法实现了改进的样本复杂度界限。实验上,我们证明了AE-LSVI优于其他RL算法在各种环境中的鲁棒性的初始状态是必需的。
2022-12-19 cs.AI cs.LG stat.ML
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research(新加坡科技研究局);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于状态的重要性采样方法,通过在计算重要性权重时丢弃部分状态来降低方差,并展示了其在多种离线策略评估估计器中的变体,实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Value-aware Importance Weighting for Off-policy Reinforcement Learning
University of Alberta(阿尔伯塔大学)
针对离策略强化学习中重要性采样权重方差过大导致稳定性问题,提出价值感知重要性权重,在保证无偏估计的同时降低方差,并将其扩展应用于多种预测算法进行实证评估。
2023-06-27 cs.AI cs.LG
COMBO: Conservative Offline Model-Based Policy Optimization
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
基于模型的算法从记录的经验中学习动态模型,并在学习的模型下执行某种悲观规划,已经成为离线强化学习(离线RL)的一种有前途的范例。然而,这种基于模型的算法的实际变体依赖于显式的不确定性量化来合并悲观主义。使用复杂模型(如深度神经网络)进行不确定性估计可能很困难且不可靠。我们通过开发一种新的基于模型的离线RL算法COMBO克服了这一限制,该算法在学习模型下通过推出生成的支持状态-动作元组上正则化价值函数。这导致对不支持状态-动作元组的价值函数的保守估计,而不需要显式的不确定性估计。我们从理论上表明,我们的方法优化了真正的政策价值的下限,这个界限比以前的方法更紧,我们的方法满足离线设置的政策改善保证。通过实验,我们发现COMBO在广泛研究的离线RL基准测试(包括基于图像的任务)上的表现与之前的离线无模型和基于模型的方法一样好或更好。
2022-01-27 cs.AI cs.LG cs.RO
Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
针对RLHF中偏好数据收集方式不同(在线/离线)的问题,提出价值激励偏好优化(VPO)统一方法,通过值函数正则化奖励函数并调节乐观/悲观策略,兼具理论保证与文本摘要、对话任务的实验有效性。
2025-02-19 cs.AI cs.LG stat.ML
Sequential Information Design: Markov Persuasion Process and Its Efficient Reinforcement Learning
Yale University(耶鲁大学);University of Virginia(弗吉尼亚大学);University of Science and Technology of China(中国科学技术大学);Google(谷歌);Northwestern University(西北大学)
在当今经济中,互联网平台考虑顺序信息设计问题以使其长期利益与gig服务提供商的激励相一致变得重要。本文提出了一种新的模型,顺序信息设计,即马尔可夫说服过程(MPPs),发送者,具有信息优势,试图说服流近视接收者采取行动,最大限度地提高发送者的累积效用在有限时域马尔可夫环境中,具有不同的先验和效用函数。因此,在MPP规划面临着独特的挑战,在寻找一个信令策略,同时具有说服力的近视的接收器,并诱导发送器的最佳长期累积效用。然而,在模型已知的总体水平上,事实证明,我们可以有效地确定最优(分别为)。$ε$ -最佳)策略,具有有限(分别无限的)状态和结果,通过修改公式的贝尔曼方程。我们的主要技术贡献是研究在线强化学习(RL)设置下的MPP,其目标是通过与底层MPP交互来学习最优信令策略,而无需知道发送方的效用函数,先验分布和马尔可夫转移核。我们设计了一个可证明有效的无遗憾学习算法,说服过程的乐观-悲观原则(OP 4),它具有乐观和悲观原则的新颖组合。我们的算法通过实现次线性$\sqrt{T}$ -遗憾上界而享有样本效率。此外,我们的算法和理论都可以通过函数逼近应用于具有大空间结果和状态的MPP,并且我们在线性设置下展示了这样的成功。
2022-02-22 cs.AI cs.GT cs.LG
Stabilizing Off-policy LLM Optimization with Prefix Importance Ratio
The University of Sydney(悉尼大学);ByteDance(字节跳动);Nanyang Technological University(南洋理工大学)
本文提出MinPRO目标,通过使用非累积的最小token级比率替代累积前缀比率,以稳定LLM在非策略性条件下的训练和优化。
2026-11-05 cs.AI cs.LG
GIPO: Gaussian Importance Sampling Policy Optimization
University of Science and Technology of China(中国科学技术大学)
该研究提出了一种基于截断重要性采样的策略优化目标GIPO,通过使用基于对数比率的高斯信任权重替代硬裁剪,以软化极端重要性比率同时保持非零梯度,从而提高数据效率,实验表明GIPO在多种回放缓冲区大小下均取得最佳性能,表现出优越的偏差-方差权衡、高训练稳定性及改进的样本效率。
2026-07-07 cs.AI cs.LG
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的,行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术,该技术重新加权政策外回报,以考虑两个政策之间回报可能性的差异。在本文中,我们研究了重要性采样与估计的行为政策,其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现,这种估计往往降低了均方误差的政策评估相比,重要性采样与真正的行为政策或使用的行为政策,估计从一个单独的数据集。直观地,以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样,并表明,估计一个非马尔可夫行为的政策,可以进一步降低大样本的均方误差,即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Policy Improvement for POMDPs Using Normalized Importance Sampling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的方法来估计的POMDP的预期收益率从经验。该方法不假设任何知识的POMDP,并允许从一个任意序列的政策收集的经验。估计POMDP的任何新政策的回报。我们从函数逼近和重要性采样的观点出发,推导了该估计量的理论性质。虽然估计量是有偏的,但它具有低方差,并且当估计量用于成对比较时,偏差通常是不相关的。我们的结论是通过扩展的估计策略与内存和比较其性能在贪婪的搜索算法的增强算法显示的数量级减少所需的试验次数。
2013-01-10 cs.AI cs.LG
Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling
LinkedIn(领英)
针对大型语言模型异步强化学习后训练的离策略问题,提出TETPO方法,通过数据自适应指数调整重要性权重,在高过时度数学推理基准上优于相关基线。
2026-10-14 cs.AI cs.LG
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization
Tencent Inc.(腾讯公司);University of Manchester(曼彻斯特大学)
最近在深度强化学习(DRL)方法中的成功已经表明,通过重要性采样相对于偏离策略分布的策略优化对于样本重用是有效的。在本文中,我们表明,使用重要性采样可能会引入高方差的客观估计。具体来说,我们表明,在一个原则性的方式,重要性采样估计的方差增长的重要性比率和大的比率,从而可能危及代理目标优化的有效性。然后,我们提出了一种称为样本丢弃的技术,以约束估计方差的比例偏差太高时,丢弃样本。我们在代表性的策略优化算法(包括TRPO,PPO和ESPO)上实例化了这种示例辍学技术,并证明了它在连续和离散动作控制(包括MuJoCo,DMControl和Atari视频游戏)上始终提高了这些DRL算法的性能。我们的代码在\url{https://github.com/LinZichuan/sdpo.git}上是开源的。
2023-02-05 cs.AI cs.LG
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法,通过引入可微的接受门替代重要性采样比,统一了TRPO、PPO和REINFORCE的策略梯度,并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG
Quotient DAGs for Off-Policy Evaluation:Forward-Flow Importance Sampling and Exact Slate Propensities
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
提出商DAG视角,通过前向流比率合并等价历史,实现精确的无序板倾向计算,减少方差并提高计算效率。
2026-05-28 cs.AI cs.LG
Policy Optimization Through Approximate Importance Sampling
University of Cambridge(剑桥大学);KAIST(韩国科学技术院)
最近的政策优化方法(Schulman等人,2015 a; 2017)通过构建新的代理优化目标,取得了实质性的经验成功。这些代理目标允许稳定和低方差的策略学习,但是需要小的策略更新以确保代理目标保持目标策略值的精确近似。在本文中,我们推导出一个替代的目标,通过应用重要性采样(IS)获得的目标政策的价值。然而,基本重要性抽样目标不适合策略优化,因为它会导致太大的变化,在政策更新。因此,我们引入了一个近似值,使我们能够直接权衡的偏差近似与政策更新的方差。我们表明,我们的近似统一以前开发的方法,并允许我们之间的插值。我们通过用近端策略优化技术优化引入的目标来开发实用算法(Schulman等人,2017年)。我们还提供了一个理论分析的政策优化目标,展示偏差方差权衡。我们的经验表明,所得到的算法改进后的最先进的政策政策优化的连续控制基准。
2020-02-21 cs.AI cs.LG stat.ML
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
University of California, Los Angeles(加州大学洛杉矶分校)
针对离线策略学习中裁剪导致的梯度饥饿问题,提出ReSPO方法,用平滑双分支核替代裁剪,在Qwen3模型上加速优化并提升最终性能。
2026-09-29 cs.AI cs.LG
HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments
Cho Chun Shik Graduate School of Mobility(赵春植移动研究生院);KAIST(韩国科学技术院)
HISPO提出分段级重要性采样策略优化,利用熵导出分段和软显著性权重,在长格式数学推理中优于GRPO和GSPO,提升RLVR性能。
2026-09-15 cs.AI cs.LG
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou(周洪毅);Josiah P. Hanna(哈尼安);Jin Zhu(朱锦);Ying Yang(杨莹);Chengchun Shi(石成春)
本文从理论上揭示了在离策略评估中,使用历史依赖的估计行为策略虽增加有限样本偏差,但能降低渐近方差,从而降低均方误差,并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Pessimistic Latent Task-aware Optimization for Robust Offline Meta-Reinforcement Learning
Seoul National University(首尔大学)
针对离线元强化学习的支持外泛化问题,提出PLATO方法,通过扰动隐变量合成反事实任务并结合悲观权重更新策略,在8个MuJoCo基准上提升了支持外回报且分布内性能具竞争力。
2026-10-22 cs.AI cs.LG
Offline Policy Optimization with Posterior Sampling
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Science and Technology Beijing(北京科技大学)
本文提出PSPO方法,通过将动态建模作为贝叶斯推断过程,结合后验采样与约束策略优化,提升离线强化学习的泛化能力与鲁棒性。
2026-10-05 cs.AI
Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
本文提出自适应分层扰动(ALP),通过在更新过程中向每一层的输入隐藏状态注入可控噪声,缓解策略退化和训练-推理不匹配问题,提升训练稳定性与探索能力。
2026-05-15 cs.AI cs.LG
Preference as Reward, Maximum Preference Optimization with Importance Sampling
本文提出最大偏好优化(MPO)算法,通过重要性采样视角结合RLHF和IPO的目标,有效处理off-policy KL正则化项,消除对奖励模型和参考策略的需求,简化学习过程。
2024-03-25 cs.AI cs.LG
Importance Resampling for Off-policy Prediction
University of Alberta(阿尔伯塔大学);McGill University(麦吉尔大学);Huawei(华为)
重要性采样(IS)是强化学习中用于偏离策略预测的常见重加权策略。虽然它是一致和无偏的,但它可能导致对价值函数的权重的高方差更新。在这项工作中,我们探讨了一个rescue战略作为一种替代重新加权。我们提出了重要性恢复(IR)的政策预测,从重放缓冲区重新采样的经验,并适用于标准的政策更新。该方法避免了在更新中使用重要性采样比率,而是在更新之前校正分布。我们的特点的偏见和一致性的IR,特别是相比加权IS(WIS)。我们证明了在几个微观世界,IR提高了样本效率和较低的方差更新,相比,IS和几个方差减少的IS策略,包括变体的WIS和V-跟踪剪辑IS比率。我们还提供了一个演示,显示IR提高了IS学习的价值函数从图像中的赛车模拟器。
2019-11-13 cs.AI cs.LG stat.ML
Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
CAS Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, CAS, Beijing, 100190, China(中国科学院网络数据科学与技术重点实验室,计算技术研究所,中国科学院,北京);University of Chinese Academy of Sciences, Beijing, 101408, China(中国科学院大学,北京);School of Computer and Information Engineering, Hanshan Normal University, Guangdong, 521041, China(韩山师范学院计算机与信息工程学院,广东);School of Physics and Electronic Engineering, Hanshan Normal University, Guangdong, 521000, China(韩山师范学院物理与电子工程学院,广东);School of Data Science, Capital University of Economics and Business, Beijing, 100070, China(首都经济贸易大学数据科学学院,北京)
本文提出相对重要性采样(RIS)以缓解离策略强化学习中重要性采样的高方差问题,并开发首个无模型RIS离策略演员-评论家算法,在OpenAI Gym和合成数据集上取得优于或等同现有基准的效果。
2025-04-28 cs.AI cs.LG stat.ML
Lifetime policy reuse and the importance of task capacity
Centre for Frontier AI Research, A*STAR(A*STAR前沿人工智能研究中心);University of Southampton(南安普顿大学);The Alan Turing Institute(艾伦·图灵研究所)
针对终身强化学习中多策略学习易生成大量策略的问题,提出模型无关的终身策略复用算法与任务容量指标,实验验证了二者在多任务领域的有效性。
2023-10-20 cs.AI cs.LG cs.NE
Advancing Entropy-Level Credit Assignment in RLVR via Proximal Entropy Policy Optimization
Seoul National University(首尔大学)
提出邻近熵策略优化(PEPO),通过局部上下文度量token重要性,改进RLVR中的信用分配,在数学推理任务上超越GRPO和熵基线。
2026-10-06 cs.AI cs.LG
ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation
East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院)
提出ReNIO方法,通过学生-教师概率比识别错误推理轨迹中的关键令牌并加权,在不依赖最终答案正确性的情况下提升在线策略蒸馏效果,在数学推理和代码生成任务上取得显著提升。
2026-06-23 cs.AI cs.LG
Policy Optimization via Importance Sampling
Politecnico di Milano(米兰理工大学);IDSIA(达勒莫尔人工智能研究所(IDSIA));USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
策略优化是解决连续控制任务的一种有效的强化学习方法。最近的成就表明,交替在线和离线优化是有效的轨迹重用的成功选择。然而,决定何时停止优化并收集新的轨迹是不平凡的,因为它需要考虑目标函数估计的方差。在本文中,我们提出了一种新的,无模型,政策搜索算法,POIS,适用于基于动作和基于参数的设置。我们首先推导出一个高置信度界重要性采样估计,然后我们定义了一个代理目标函数,这是离线优化每当一批新的轨迹被收集。最后,该算法进行了测试的选择连续控制任务,线性和深度的政策,并与国家的最先进的政策优化方法进行比较。
2018-10-31 cs.AI cs.LG stat.ML
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
Renmin University of China(中国人民大学)
研究针对大语言模型强化学习后训练中离策略数据问题,提出选择性重要性采样(SIS),受拒绝采样启发,以离策略模型为提议分布进行令牌级拒绝测试,理论证明可减少梯度估计差距,实验验证其有效性。
2026-08-19 cs.AI cs.CL cs.LG
Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective
UIUC(伊利诺伊大学香槟分校);University of Michigan(密歇根大学);Amazon(亚马逊)
本文提出CTPO,通过累积token重要性采样比解决偏倚-方差困境,结合位置自适应裁剪提升稳定性,实现更一致的正则化,在数学推理基准上表现最佳。
2026-05-08 cs.AI cs.LG
Soft Sequence Policy Optimization
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Institute for Artificial Intelligence(人工智能研究所)
本文提出软序列策略优化方法,通过引入软门控函数改进序列级重要性权重,提升大语言模型对齐任务的训练稳定性与性能。
2026-06-04 cs.AI cs.LG
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University(比尔肯特大学)
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题,提出CUER算法,通过公平随机采样并使状态分布更在策略,提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST(韩国科学技术院)
在诸如近端策略优化(PPO)的基于重要性采样(IS)的强化学习算法中,IS权重通常被裁剪以避免学习中的大方差。然而,从裁剪统计的政策更新引起大的偏见,在任务中具有高的动作维度,和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中,我们认为PPO,一个代表性的政策算法,并提出了其改进的维度上的IS权重裁剪,分别剪辑每个动作维度的IS权重,以避免大的偏见,并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务,并重复使用旧的样本,如在离策略学习,以提高样本效率。数值实验结果表明,该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
PORTool: Importance-Aware Policy Optimization with Rewarded Tree for Multi-Tool-Integrated Reasoning
Apple(苹果公司);Purdue University(普渡大学)
PORTool通过奖励树实现多工具集成推理中的重要性感知策略优化,提升最终答案准确性并减少工具调用步骤。
2026-04-30 cs.AI cs.CL cs.LG
Importance Weighted Policy Learning and Adaptation
Google(谷歌)
利用先前经验快速解决新问题的能力是生物学习系统的标志,对人工系统也具有重要的实际意义。在Meta强化学习文献中,最近的许多工作都集中在优化学习过程本身的问题上。在本文中,我们研究了一种互补的方法,这是概念上简单,一般,模块化,并建立在最近的改进离策略学习。该框架的灵感来自于概率推理文献中的思想,并将鲁棒的离策略学习与行为先验或默认行为相结合,该行为约束解决方案的空间并作为探索的偏差;以及价值函数的表示,这两者都很容易从多任务场景中的许多训练任务中学习到。与Meta强化学习基线相比,我们的方法在坚持任务上实现了有竞争力的适应性能,并且可以扩展到复杂的稀疏奖励场景。
2021-06-04 cs.AI cs.LG stat.ML
Counterfactual-Augmented Importance Sampling for Semi-Offline Policy Evaluation
Computer Science & Engineering(计算机科学与工程系);University of Michigan, Ann Arbor, MI, USA(密歇根大学安娜堡分校)
本文提出一种半离线策略评估框架,利用人类标注的反事实轨迹设计基于重要性采样的新估计器,在不引入额外偏差的前提下降低偏差和方差,并在赌博机和医疗模拟器中验证其优于纯离线方法且对不完美标注具有鲁棒性。
2023-10-26 cs.AI cs.LG
A Perspective of Q-value Estimation on Offline-to-Online Reinforcement Learning
The University of Sydney(悉尼大学);SenseTime Computer Vision Group(商汤科技计算机视觉组);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);CUHK MMLab(香港中文大学多媒体实验室);Institute for AI, Peking University(北京大学人工智能研究院)
该研究从Q值估计视角揭示离线到在线强化学习性能提升慢、微调不稳定的根源,提出扰动值更新和提高Q值更新频率的SO2方法,在基准环境中较现有最优方法最高提升83.1%性能。
2023-12-12 cs.AI cs.LG
CoPRIS: Efficient and Stable Reinforcement Learning via Concurrency-Controlled Partial Rollout with Importance Sampling
OpenBMB(开放智能实验室);Tsinghua University(清华大学)
CoPRIS通过并发控制的部分展开、提前终止与轨迹重用,结合跨阶段重要性采样校正,解决了LLM强化学习中长尾轨迹导致的GPU空闲问题,在数学推理基准上实现最高1.94倍训练加速且性能不降。
2025-11-05 cs.AI cs.LG
Gated Q-learning: Add Off-Policy Bias to Taste
该研究针对Q学习中离策略偏差与多步信用分配的张力,提出门控Q学习框架,通过状态-动作依赖的门控机制替代重要性采样,实现平滑插值,提升初始学习速度并支持定制化视界与偏差量。
2026-10-14 cs.AI cs.LG
Using Options and Covariance Testing for Long Horizon Off-Policy Policy Evaluation
Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Stanford University(斯坦福大学)
通过在现实世界中部署策略来评估策略可能是有风险和昂贵的。非策略策略评估(OPE)算法使用从运行先前策略中收集的历史数据来评估新策略,这提供了一种用于评估策略而无需部署策略的方法。重要性采样是一种流行的OPE方法,因为它对部分可观测性具有鲁棒性,并且适用于连续状态和动作。然而,重要性采样所需的历史数据量可以随着问题的范围(做出的顺序决策的数量)呈指数级增长。我们建议使用政策在时间上扩展的行动,称为选项,并表明,这些政策与重要性采样相结合,可以显着提高长期问题的性能。此外,我们可以利用由于基于选项的策略而出现的特殊情况来进一步提高重要性采样的性能。我们进一步推广这些特殊情况下,一般的协方差检验规则,可用于决定哪些权重下降的IS估计,并得出一个新的IS算法称为增量重要性采样,可以提供更准确的估计广泛的一类域。
2017-12-05 cs.AI
Online Learning for Multi-Layer Hierarchical Inference under Partial and Policy-Dependent Feedback
Department of Electrical and Computer Engineering(电气与计算机工程系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);DEVCOM Army Research Laboratory(国防部陆军研究实验室)
本文提出了一种在部分和策略依赖反馈下,结合Lyapunov优化的方差减少EXP4算法,以提升多层分层推断系统在长期资源约束下的稳定性和性能。
2026-03-04 cs.AI cs.LG