Sampling from Gaussian Processes: A Tutorial and Applications in Global Sensitivity Analysis and Optimization
University of Houston(休斯顿大学)
本文介绍了两种高效采样方法,用于在降低计算成本的同时从高斯过程中生成后验样本,并应用于全局敏感性分析和优化问题。
2025-12-31 cs.LG math.OC stat.AP
Robust Multi-Agent Reinforcement Learning for Small UAS Separation Assurance under GPS Degradation and Spoofing
George Washington University(乔治华盛顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过多智能体强化学习解决小型无人机在GPS退化和欺骗下的鲁棒分离保障问题,提出闭式表达式对抗扰动,实现线性时间评估,并在高密度无人机模拟中取得近零碰撞率。
2026-09-01 cs.AI cs.LG cs.RO
Path Integral Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
我们提出了一种策略搜索方法,学习复杂的反馈控制政策,从高维的感觉输入映射到电机转矩,不连续的接触动力学的操作任务。我们建立在一个先前的技术,称为引导策略搜索(GPS),迭代优化一组本地政策的特定实例的任务,并使用这些训练一个复杂的,高维的全球政策,概括跨任务实例。我们以以下方式扩展GPS:(1)我们提出使用基于路径积分随机最优控制(PI 2)的无模型局部优化器,这使我们能够学习具有高度不连续接触动态的任务的局部策略;以及(2)我们使GPS能够通过使用策略采样在每次迭代中对一组新的任务实例进行训练:这增加了训练策略的实例的多样性,并且对于实现良好的泛化是至关重要的。我们表明,这些贡献使我们能够学习深度神经网络策略,可以直接从视觉输入执行扭矩控制。我们验证了一个具有挑战性的开门任务和拾取和放置任务的方法,我们证明了我们的方法在这些任务上大大优于先前的基于LQR的本地策略优化器。此外,我们表明,对政策采样显着提高这些政策的泛化能力。
2018-10-11 cs.LG cs.RO
Guided Policy Search Based Control of a High Dimensional Advanced Manufacturing Process
Raytheon Technologies Research Center(雷神技术研究中心)
在本文中,我们应用基于引导策略搜索(GPS)的强化学习框架的增材制造过程中出现的高维最优控制问题。该问题包括控制工艺参数,使得材料的逐层沉积导致所得零件表面的期望几何特性,同时使沉积的材料最小化。沉积过程的真实仿真模型以及基于迭代线性二次调节器生成的精心选择的一组指导分布用于使用GPS训练神经网络策略。实验测试了基于训练策略和沉积轮廓的原位测量的闭环控制,并显示出良好的性能。
2020-09-12 cs.LG cs.SY eess.SY
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research(新加坡科技研究局);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于状态的重要性采样方法,通过在计算重要性权重时丢弃部分状态来降低方差,并展示了其在多种离线策略评估估计器中的变体,实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Explaining Off-Policy Actor-Critic From A Bias-Variance Perspective
Department of Electrical and Computer Engineering, Princeton University(普林斯顿大学电气与计算机工程系)
非策略Actor-Critic算法已经证明了惊人的实验性能,但仍然需要更好的解释。为此,我们将其政策评估误差的分布转换分解为:贝尔曼错误,政策不匹配的偏差,和方差项从抽样。通过比较偏差和方差的大小,我们解释了强调最近经验抽样和1/年龄加权抽样的成功。这两种抽样策略产生较小的偏差和方差,因此优于均匀抽样。
2021-10-06 cs.AI cs.LG
Reset-Free Guided Policy Search: Efficient Deep Reinforcement Learning with Stochastic Initial States
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
机器人技能的自主学习可以让通用机器人学习广泛的行为,而不需要大量的人工工程。然而,机器人技能学习方法通常做出若干权衡之一来实现实际的现实世界学习,诸如需要手动设计的策略或价值函数表示、从人类提供的演示初始化、训练环境的仪器化或极长的训练时间。在本文中,我们提出了一种新的强化学习算法学习操作技能,可以训练通用的神经网络政策与最小的人类工程,同时仍然允许快速,有效的学习随机环境。我们的方法建立在引导策略搜索(GPS)算法的基础上,该算法将强化学习问题转化为来自计算教师的监督学习(无需人工演示)。与之前的GPS方法相比,它需要一组一致的初始状态,系统必须在每次发作后重置,我们的方法可以处理随机初始状态,使其能够用于确定性重置是不可能的环境中。我们比较我们的方法,现有的政策搜索技术在模拟,表明它可以训练高维神经网络的政策,具有相同的样本效率作为以前的GPS方法,并提出了真实世界的结果PR2机器人机械手。
2016-10-06 cs.LG cs.RO
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的,行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术,该技术重新加权政策外回报,以考虑两个政策之间回报可能性的差异。在本文中,我们研究了重要性采样与估计的行为政策,其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现,这种估计往往降低了均方误差的政策评估相比,重要性采样与真正的行为政策或使用的行为政策,估计从一个单独的数据集。直观地,以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样,并表明,估计一个非马尔可夫行为的政策,可以进一步降低大样本的均方误差,即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Distilled Thompson Sampling: Practical and Efficient Thompson Sampling via Imitation Learning
Columbia Business School(哥伦比亚大学商学院);Meta
提出基于模仿学习的蒸馏汤普森采样算法,将TS策略蒸馏为显式策略,实现低延迟决策并成功部署于Meta视频系统,显著提升视频质量与观看时间。
2024-07-22 cs.AI cs.LG
On-Policy Policy Gradient Reinforcement Learning Without On-Policy Sampling
本文提出PROPS方法,通过自适应离线采样减少在线策略梯度强化学习中的采样误差,提高数据效率。
2026-02-09 cs.LG
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University(哥伦比亚大学)
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索,其确定伪动作上的概率分布(即,采样参数)作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明,直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点,并提供了有意义的改进,即使在长时间的问题,标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Scalable Safety-Critical Policy Evaluation with Accelerated Rare Event Sampling
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);Morgan Stanley Machine Learning Research(摩根士丹利机器学习研究部);Tongji University(同济大学)
评估罕见但高风险的事件是获得可靠的强化学习策略的主要挑战之一,特别是在大型或无限的状态/动作空间中,其中有限的可扩展性要求大量的测试迭代。另一方面,在安全关键系统中,有偏见或不准确的策略评估可能会在部署过程中导致意外的灾难性故障。本文提出了加速策略评估(APE)方法,该方法同时发现马尔可夫决策过程中的罕见事件,并估计罕见事件的概率。APE方法将环境性质视为对抗性代理,并通过自适应重要性采样向零方差采样分布学习以用于策略评估。此外,APE是可扩展的大型离散或连续空间,通过将函数逼近。我们研究了APE在表格环境下的收敛性。我们的实证研究表明,APE可以估计罕见事件的概率与较小的偏差,而只使用数量级比基线少的样本在多智能体和单智能体环境。
2022-10-02 cs.AI cs.LG
Policy Improvement for POMDPs Using Normalized Importance Sampling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的方法来估计的POMDP的预期收益率从经验。该方法不假设任何知识的POMDP,并允许从一个任意序列的政策收集的经验。估计POMDP的任何新政策的回报。我们从函数逼近和重要性采样的观点出发,推导了该估计量的理论性质。虽然估计量是有偏的,但它具有低方差,并且当估计量用于成对比较时,偏差通常是不相关的。我们的结论是通过扩展的估计策略与内存和比较其性能在贪婪的搜索算法的增强算法显示的数量级减少所需的试验次数。
2013-01-10 cs.AI cs.LG
GIPO: Gaussian Importance Sampling Policy Optimization
University of Science and Technology of China(中国科学技术大学)
该研究提出了一种基于截断重要性采样的策略优化目标GIPO,通过使用基于对数比率的高斯信任权重替代硬裁剪,以软化极端重要性比率同时保持非零梯度,从而提高数据效率,实验表明GIPO在多种回放缓冲区大小下均取得最佳性能,表现出优越的偏差-方差权衡、高训练稳定性及改进的样本效率。
2026-07-07 cs.AI cs.LG
Robust On-Policy Sampling for Data-Efficient Policy Evaluation in Reinforcement Learning
University of Edinburgh(爱丁堡大学);University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
强化学习(RL)算法通常被分类为策略上或策略外,这取决于它们是使用来自感兴趣的目标策略还是来自不同行为策略的数据。在本文中,我们研究了政策评估的RL子问题的上下文中的政策数据和政策抽样之间的微妙区别。我们观察到,在政策抽样可能无法匹配的政策数据的预期分布后,只观察到有限数量的轨迹,这种失败阻碍了数据有效的政策评估。为了提高数据效率,我们展示了非i.i.d.策略外采样可以产生更紧密地匹配期望的策略内数据分布的数据,并且因此增加用于策略评估的蒙特卡罗估计器的准确性。我们介绍了一种称为鲁棒的政策抽样的方法,并从理论上和经验上证明,它产生的数据,收敛速度更快,预期的政策分布相比,政策抽样。从经验上讲,我们表明,这种更快的收敛导致较低的均方误差政策价值的估计。
2022-10-10 cs.LG
GPU-Accelerated Policy Optimization via Batch Automatic Differentiation of Gaussian Processes for Real-World Control
Tampere University(坦佩雷大学);HIAB(HIAB公司);Aalto University(阿尔托大学);TU Darmstadt(达姆施塔特工业大学)
高斯过程(GPs)预测动力系统行为的能力,作为一个更有效的样本替代参数模型似乎有希望为现实世界的机器人研究。然而,GP的计算复杂性使得策略搜索成为一个高度耗时和内存消耗的过程,该过程不能扩展到更大的问题。在这项工作中,我们开发了一种策略优化方法,利用快速预测采样方法来处理批量的轨迹在每个向前通过,并计算梯度更新的政策参数通过自动微分的Monte Carlo评估,所有在GPU上。我们证明了我们的方法的有效性,在一组参考跟踪控制实验与重型机器的培训政策。基准测试结果显示,与精确方法相比,速度有了显著的提高,并展示了我们的方法在更大的策略网络、更长的视野以及多达数千个轨迹上的可扩展性,并且速度呈次线性下降。
2022-02-28 cs.LG cs.RO cs.SY
Rollout Sampling Approximate Policy Iteration
一些研究人员最近研究了强化学习和分类之间的联系。我们的动机是近似的政策迭代计划的建议没有价值函数,专注于使用分类器的政策表示和解决策略学习作为一个监督学习问题。本文提出了一种改进的策略迭代方案的变种,该方案通过模拟多臂强盗机来解决评估策略中的核心采样问题。由此产生的算法提供了相当的性能,以前的算法实现,但是,与显着减少计算工作。实验证明,在两个标准的强化学习领域:倒立摆和山地车的数量级的改善。
2008-07-06 cs.AI cs.CC cs.LG
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法,通过引入可微的接受门替代重要性采样比,统一了TRPO、PPO和REINFORCE的策略梯度,并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou(周洪毅);Josiah P. Hanna(哈尼安);Jin Zhu(朱锦);Ying Yang(杨莹);Chengchun Shi(石成春)
本文从理论上揭示了在离策略评估中,使用历史依赖的估计行为策略虽增加有限样本偏差,但能降低渐近方差,从而降低均方误差,并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Policy Optimization Through Approximate Importance Sampling
University of Cambridge(剑桥大学);KAIST(韩国科学技术院)
最近的政策优化方法(Schulman等人,2015 a; 2017)通过构建新的代理优化目标,取得了实质性的经验成功。这些代理目标允许稳定和低方差的策略学习,但是需要小的策略更新以确保代理目标保持目标策略值的精确近似。在本文中,我们推导出一个替代的目标,通过应用重要性采样(IS)获得的目标政策的价值。然而,基本重要性抽样目标不适合策略优化,因为它会导致太大的变化,在政策更新。因此,我们引入了一个近似值,使我们能够直接权衡的偏差近似与政策更新的方差。我们表明,我们的近似统一以前开发的方法,并允许我们之间的插值。我们通过用近端策略优化技术优化引入的目标来开发实用算法(Schulman等人,2017年)。我们还提供了一个理论分析的政策优化目标,展示偏差方差权衡。我们的经验表明,所得到的算法改进后的最先进的政策政策优化的连续控制基准。
2020-02-21 cs.AI cs.LG stat.ML
Quotient DAGs for Off-Policy Evaluation:Forward-Flow Importance Sampling and Exact Slate Propensities
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
提出商DAG视角,通过前向流比率合并等价历史,实现精确的无序板倾向计算,减少方差并提高计算效率。
2026-05-28 cs.AI cs.LG
Learning More with Less: A Dynamic Dual-Level Down-Sampling Framework for Efficient Policy Optimization
Tsinghua University(清华大学);WeChat, Tencent(微信、腾讯);University of California, Davis(加州大学戴维斯分校)
针对GRPO等无critic方法因无信息样本和token稀释信号而收敛慢的问题,提出D³S动态双层下采样框架,在样本与token层面筛选高信息量训练内容,提升策略优化效率与泛化。
2025-09-26 cs.AI cs.LG
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University(耶鲁大学);University of Sydney(悉尼大学)
提出采样引导策略搜索(SGPS),结合基于采样的模型预测控制与一阶策略优化,加速视觉策略学习,并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta(阿尔伯塔大学)
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中,代理学习与正在执行的策略不同的策略。为了说明差异,通常使用重要性采样比率,但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差,其中每决策重要性采样是最流行的。然而,在文献中的更新规则,大多数政策外的算法离开每决策重要性采样在一个微妙的方式,他们纠正整个TD的错误,而不仅仅是TD的目标。在这项工作中,我们展示了如何将这种轻微的变化解释为TD目标的控制变量,减少方差并提高性能。在广泛的算法上的实验表明,这种微妙的修改会提高性能。
2022-06-16 cs.LG
HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments
Cho Chun Shik Graduate School of Mobility(赵春植移动研究生院);KAIST(韩国科学技术院)
HISPO提出分段级重要性采样策略优化,利用熵导出分段和软显著性权重,在长格式数学推理中优于GRPO和GSPO,提升RLVR性能。
2026-09-15 cs.AI cs.LG
Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies
本文提出CoSER方法,通过协调动作选择减少联合采样误差,提升多智能体强化学习中策略梯度算法的收敛可靠性。
2026-05-13 cs.LG
Relative Importance Sampling for off-Policy Actor-Critic in Deep Reinforcement Learning
CAS Key Laboratory of Network Data Science and Technology, Institute of Computing Technology, CAS, Beijing, 100190, China(中国科学院网络数据科学与技术重点实验室,计算技术研究所,中国科学院,北京);University of Chinese Academy of Sciences, Beijing, 101408, China(中国科学院大学,北京);School of Computer and Information Engineering, Hanshan Normal University, Guangdong, 521041, China(韩山师范学院计算机与信息工程学院,广东);School of Physics and Electronic Engineering, Hanshan Normal University, Guangdong, 521000, China(韩山师范学院物理与电子工程学院,广东);School of Data Science, Capital University of Economics and Business, Beijing, 100070, China(首都经济贸易大学数据科学学院,北京)
本文提出相对重要性采样(RIS)以缓解离策略强化学习中重要性采样的高方差问题,并开发首个无模型RIS离策略演员-评论家算法,在OpenAI Gym和合成数据集上取得优于或等同现有基准的效果。
2025-04-28 cs.AI cs.LG stat.ML
Direct Soft-Policy Sampling via Langevin Dynamics
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(韩国大学人工智能系);Gauss Labs Inc(Gauss实验室)
通过引入噪声条件化的 Langevin 动力学,NC-LQL 实现了高效的软策略采样,提升了在线强化学习的性能。
2026-02-08 cs.AI cs.LG
Hybrid Group Relative Policy Optimization: A Multi-Sample Approach to Enhancing Policy Optimization
Collins Aerospace(柯林斯航空航天公司)
本文提出Hybrid GRPO框架,通过结合经验多样本动作采样与自举价值估计来改进PPO和GRPO,在提升样本效率与学习稳定性的同时缓解方差放大问题,并展示其在LLM与真实世界智能体决策中的潜在应用。
2025-01-30 cs.AI cs.LG
Kernel weighted importance sampling for off-policy evaluation in contextual bandits
Institute of Child Health, University College London(伦敦大学学院儿童健康研究所);Strive Health Ltd.(奋进健康有限公司);National Institute for Health Research(国家卫生研究院);University College London, Biomedical Research Council(伦敦大学学院生物医学研究委员会);Great Ormond Street Hospital(大奥蒙德街医院);McGill University(麦吉尔大学)
研究上下文博弈离策略评估,提出核加权重要性采样估计器Kernel-WIS,它结合普通加权重要性采样有界性与普通重要性采样线性,渐近一致且优于基线方法,尤其在行为策略错误指定等复杂情况。
2026-08-05 cs.LG
Policy Optimization via Importance Sampling
Politecnico di Milano(米兰理工大学);IDSIA(达勒莫尔人工智能研究所(IDSIA));USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
策略优化是解决连续控制任务的一种有效的强化学习方法。最近的成就表明,交替在线和离线优化是有效的轨迹重用的成功选择。然而,决定何时停止优化并收集新的轨迹是不平凡的,因为它需要考虑目标函数估计的方差。在本文中,我们提出了一种新的,无模型,政策搜索算法,POIS,适用于基于动作和基于参数的设置。我们首先推导出一个高置信度界重要性采样估计,然后我们定义了一个代理目标函数,这是离线优化每当一批新的轨迹被收集。最后,该算法进行了测试的选择连续控制任务,线性和深度的政策,并与国家的最先进的政策优化方法进行比较。
2018-10-31 cs.AI cs.LG stat.ML
Marginalised Gaussian Processes with Nested Sampling
Secondmind;University of Cambridge(剑桥大学)
高斯过程(GPs)模型是具有由核函数控制的归纳偏差的函数上的丰富分布。学习通过使用边际似然作为目标的内核超参数的优化来进行。这种经典的方法被称为第二类极大似然(ML-II),它产生了超参数的点估计,并且仍然是训练GP的默认方法。然而,这种方法存在低估预测不确定性的风险,并且容易过拟合,特别是当存在许多超参数时。此外,基于梯度的优化使得ML-II点估计对局部最小值的存在非常敏感。这项工作提出了一种替代的学习过程,其中使用嵌套采样(NS)将核函数的超参数边缘化,这是一种非常适合从复杂的多模态分布中采样的技术。我们专注于回归任务的光谱混合(SM)类的内核,并发现一个原则性的方法来量化模型的不确定性,导致在一系列的合成和基准数据集的预测性能大幅提高。在这种情况下,嵌套采样也被发现提供了一个速度优势超过哈密顿蒙特卡罗(HMC),被广泛认为是金标准MCMC为基础的推理。
2021-11-19 cs.LG stat.ML
Proximal Policy Optimization for Amortized Discrete Sampling
HSE University(高等经济学院);Constructor University(康斯特大学);CMAP, CNRS, École polytechnique, IPP(CMAP,CNRS,巴黎综合理工学院,IPP)
本文在生成流网络框架下,推导了策略梯度算法并首次应用近端策略优化,提升了离散概率分布采样的收敛速度和数据效率。
2026-11-03 cs.AI cs.LG stat.ML
Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind(谷歌DeepMind)
本文提出离策略分布Q(λ)算法,无需重要性采样即可进行离策略分布评估,并通过表格实验验证理论,结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中,我们被赋予一个目标策略,并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略,使用知识的回报分布的方差。然后,我们介绍了减少方差采样(ReVar)算法,该算法近似的预言机策略时,奖励方差是未知的先验和约束其次优的预言机策略相比。最后,我们经验验证,ReVar导致政策评估的均方误差与Oracle策略相当,并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Adaptive Sampling to Reduce Epistemic Uncertainty Using Prediction Interval-Generation Neural Networks
Montana State University(蒙大拿州立大学)
本文提出一种利用预测区间生成神经网络度量认知不确定性,并结合高斯过程批量采样策略的自适应采样方法,在合成与农业数据集上比现有方法更快收敛到最低不确定性。
2024-12-13 cs.LG stat.ML
Conditional Importance Sampling for Off-Policy Learning
DeepMind
本文的主要贡献是基于重要性采样比率的条件期望的离线强化学习的概念框架。这个框架产生了新的观点和理解现有的政策外算法,并揭示了广阔的空间未开发的算法。我们从理论上分析了这个空间,并具体研究了从这个框架中产生的几个算法。
2020-07-30 cs.LG stat.ML
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST(韩国科学技术院)
在诸如近端策略优化(PPO)的基于重要性采样(IS)的强化学习算法中,IS权重通常被裁剪以避免学习中的大方差。然而,从裁剪统计的政策更新引起大的偏见,在任务中具有高的动作维度,和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中,我们认为PPO,一个代表性的政策算法,并提出了其改进的维度上的IS权重裁剪,分别剪辑每个动作维度的IS权重,以避免大的偏见,并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务,并重复使用旧的样本,如在离策略学习,以提高样本效率。数值实验结果表明,该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
Striving for Simplicity and Performance in Off-Policy DRL: Output Normalization and Non-Uniform Sampling
New York University(纽约大学);NYU Shanghai(上海纽约大学);University of California San Diego(加州大学圣迭戈分校)
我们的目标是开发非政策DRL算法,不仅超过国家的最先进的性能,但也是简单和简约。对于标准的连续控制基准,软演员批评(SAC),采用熵最大化,目前提供了最先进的性能。我们首先证明了SAC中的熵项由于动作空间的有界性而解决了动作饱和问题,有了这个见解,我们提出了一个简化的算法,具有简单的归一化方案或反向梯度。我们表明,这两种方法都可以匹配SAC的样本效率的性能,而不需要熵最大化,然后我们提出了一个简单的非均匀采样方法选择过渡从重放缓冲区在训练过程中。大量的实验结果表明,我们提出的采样方案导致最先进的样本效率的挑战性连续控制任务。我们将所有的研究结果结合到一个简单的算法中,我们称之为强调最近经验的简化关闭策略,为此我们提供了强大的公共领域代码。
2020-12-05 cs.AI cs.LG stat.ML
Efficient Baseline-free Sampling in Parameter Exploring Policy Gradients: Super Symmetric PGPE
Zentrum für Sonnenenergie- und Wasserstoff-Forschung(太阳能与氢能研究中心)
策略梯度方法直接在参数空间中进行搜索,是最有效、最鲁棒的直接策略搜索方法之一,近年来受到了广泛的关注。该领域的基本方法是基于参数探索的策略梯度,它使用两个围绕当前假设对称的样本,以规避使用通常基线方法收集的\emph{asymmetrical}奖励分布问题中的误导性奖励。探索参数仍然通过基线方法更新-使探索倾向于不对称的奖励分布。在本文中,我们将展示如何勘探参数可以被采样准对称,尽管有有限的,而不是自由的勘探参数。我们给出了一个变换近似,以获得准对称样本的勘探,而不改变整体的抽样分布。最后,我们将证明,对称采样的勘探参数是优于原来的采样方法的样本和鲁棒性的需要。
2013-12-13 cs.LG
Multi-step Off-policy Learning Without Importance Sampling Ratios
University of Alberta(阿尔伯塔大学)
为了从探索性数据中估计策略的价值函数,大多数无模型的非策略算法依赖于重要性采样,其中使用重要性采样比率通常导致具有严重方差的估计。因此,期望在不使用比率的情况下学习偏离策略。然而,这样的算法不存在用于具有函数逼近的多步学习。在本文中,我们介绍了第一个这样的算法基于时间差(TD)学习更新。我们表明,明确使用的重要性采样比可以消除通过改变TD更新中的自举量的动作依赖的方式。我们的新算法实现稳定使用两个时间尺度的梯度为基础的TD更新。一个先前的算法的基础上查找表表示称为树备份也可以检索使用动作相关的引导,成为我们的算法的一个特殊情况。在两个具有挑战性的非策略任务中,我们证明了我们的算法是稳定的,有效地避免了大方差问题,并且可以比最先进的算法表现得更好。
2017-02-09 cs.LG
Learning Sampling Policy for Faster Derivative Free Optimization
Nanjing University of Information Science & Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司);University of Pittsburgh(匹兹堡大学)
零阶(Zero-order,简称ZO)方法由于其在机器学习领域的广泛应用,近年来受到了广泛的关注。这两个函数的计算通常是由标准高斯分布的随机扰动产生的。为了加速ZO方法,最近提出了许多方法,例如方差减少的随机ZO梯度和学习自适应高斯分布,以减少ZO梯度的方差。然而,ZO方法的收敛性是否还有进一步提高的空间,仍然是一个悬而未决的问题。为了探索这个问题,在本文中,我们提出了一个新的强化学习为基础的ZO算法(ZO-RL)与学习的采样策略,而不是使用随机抽样产生的扰动ZO优化。为了找到最优策略,采用了一种名为深度确定性策略梯度(DDPG)的行动者-批评者强化学习算法,该算法具有两个神经网络函数逼近器。学习的采样策略引导参数空间中的扰动点估计更准确的ZO梯度。据我们所知,我们的ZO-RL是第一个使用强化学习进行ZO优化的采样策略学习算法,该算法与现有方法并行。特别是,我们的ZO-RL可以与现有的ZO算法相结合,可以进一步加速算法。针对不同的ZO优化问题的实验结果表明,该算法通过学习采样策略,可以有效地降低ZO梯度的方差,并且在不同的场景下比现有的ZO算法收敛得更快.
2021-04-09 cs.LG
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon(亚马逊)
本文提出HAPO策略优化方法,通过合成成功注入机制和 Thompson 采样启发的门控机制,解决稀疏奖励下策略优化的分布偏置问题,实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
Lifelong Hyper-Policy Optimization with Multiple Importance Sampling Regularization
Politecnico di Milano(米兰理工大学);University of Padova(帕多瓦大学)
在动态不断演变的终身环境中学习,是当前强化学习算法的一个严峻挑战。然而,这将是实际应用中非常需要的功能。在本文中,我们提出了一种方法,学习一个超政策,其输入是时间,输出的参数的政策在当时被查询。该超策略被训练以最大化估计的未来性能,通过重要性采样有效地重用过去的数据,以引入受控偏差为代价。我们结合未来的性能估计与过去的性能,以减轻灾难性遗忘。为了避免过度拟合收集的数据,我们推导出一个可微的方差界,我们嵌入作为惩罚项。最后,我们经验验证我们的方法,与国家的最先进的算法相比,在现实的环境中,包括水资源管理和交易。
2021-12-13 cs.LG
Truncated Rectified Flow Policy for Reinforcement Learning with One-Step Sampling
Harbin Institute of Technology(哈尔滨工业大学)
本文提出TRFP框架,通过混合确定性-随机性架构解决MaxEnt RL中连续时间生成策略的可微性问题,实现稳定训练和有效一步采样,实验表明其在多目标环境和MuJoCo基准中表现优异。
2026-04-10 cs.LG
Policy Mirror Descent for Reinforcement Learning: Linear Convergence, New Sampling Complexity, and Generalized Problem Classes
Georgia Institute of Technology(佐治亚理工学院)
我们提出了新的策略镜像下降(PMD)方法解决强化学习(RL)问题的强凸或一般凸正则化。通过探索这些整体高度非凸问题的结构特性,我们表明PMD方法具有快速的线性收敛速度的全局最优性。我们开发了这些方法的随机对应物,并建立了一个${\cal O}(1/ε)$(分别,${\cal O}(1/ε^2)$)采样复杂度,用于解决这些RL问题,一般)使用不同采样方案的凸正则化器,其中$ε$表示目标精度。我们进一步表明,计算这些正则化的梯度的复杂性,如果必要的话,可以由${\cal O}\{(\log_γε) [(1-γ)L/μ]^{1/2}\log (1/ε)\}$(分别,${\cal O} \{(\log_γε) (L/ε)^{1/2}\}$)用于强(分别为,一般)凸正则化子。这里$γ$表示贴现系数。据我们所知,这些复杂性界限,以及我们的算法发展,似乎是新的优化和RL文献。这些凸正则化子的引入也极大地扩展了RL模型的灵活性和适用性。
2022-04-06 cs.AI cs.LG math.OC
Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL
提出近似下一策略采样(ANPS)方法,通过修改训练分布而非约束策略更新来解决强化学习中的“鸡生蛋”问题,并基于此设计稳定值近似策略迭代(SV-API)算法,在Atari和连续控制任务上实现更大目标策略更新且性能匹配或提升。
2026-06-19 cs.LG
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST(CREST(法国统计研究中心));ENSAE(法国国立统计与经济管理学校);IP Paris(巴黎理工学院);Criteo AI Lab(Criteo人工智能实验室)
针对离线策略学习悲观主义缺乏统一分析框架的问题,提出全面的PAC-Bayesian框架,推导出适用于常见重要性权重正则化的泛化界,并在单一框架内比较,实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate
Georgia Institute of Technology(佐治亚理工学院)
本文研究通过重要性采样重用历史轨迹的自然策略梯度方法变体,证明其梯度估计器偏差渐近可忽略、算法收敛且能提高收敛速率,并在经典基准上验证了理论结果。
2025-03-05 cs.LG math.OC
Finetuning with Sampling: SFT Learns Better Than You Think
Harvard University(哈佛大学)
提出一种MCMC采样算法,将离策略数据逐步转为在策略数据,使SFT在科学技能、数学推理等任务上媲美甚至超越RL后训练,泛化更强且遗忘更少。
2026-10-02 cs.AI cs.CL cs.LG
Policy Gradient with Active Importance Sampling
Politecnico di Milano(米兰理工大学);Gran Sasso Science Institute(格兰萨索科学研究所)
本文研究离策略强化学习中的行为策略优化问题,提出结合防御性IS与交叉熵估计的主动重要性采样策略梯度算法,并从理论和实验上验证其方差与学习速度优势。
2024-05-09 cs.LG
Actor-Critic with Active Importance Sampling
Politecnico di Milano(米兰理工学院)
本文提出主动重要性采样Actor-Critic算法,通过优化行为策略减少策略梯度估计方差,提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG