Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders
Cornell University(康奈尔大学);Google Research(谷歌研究院)
在教育和医疗保健等实验有限的环境中,强化学习中的政策外评估(OPE)是一个重要问题。但是,在这些非常相同的设置中,观察到的行为经常被未观察到的变量混淆,使得OPE更加困难。我们研究了一个无限时域,遍历马尔可夫决策过程中的OPE问题与未观察到的混淆,状态和行动可以作为代理的未观察到的混淆。我们展示了如何,只给一个潜在的变量模型的状态和行动,政策价值可以确定从关闭的政策数据。我们的方法包括两个阶段。在第一,我们展示了如何使用代理估计平稳的分布比率,扩展最近的工作打破诅咒的地平线混淆设置。在第二,我们表明,最优平衡可以与这样的学习比率相结合,以获得政策价值,同时避免直接建模的奖励函数。我们建立一致性的理论保证,并根据经验对我们的方法进行基准测试。
2020-07-27 cs.AI cs.LG stat.ML
Doubly Robust Bias Reduction in Infinite Horizon Off-Policy Estimation
University of Texas at Austin(得克萨斯大学奥斯汀分校);Google Research(谷歌研究院)
由于典型的重要性采样(IS)估计量的方差过大,无限时域离策略策略评估是一项极具挑战性的任务。最近,Liu等人(2018 a)提出了一种方法,该方法通过估计静态密度比来显着降低无限视野政策外评估的方差,但代价是由于密度比估计的误差而引入潜在的高偏差。在本文中,我们开发了一个偏差减少增强他们的方法,它可以利用一个学习的价值函数,以获得更高的精度。当密度比或价值函数估计是完美的时,我们的方法是双重鲁棒的,偏差消失。一般来说,当它们中的任何一个是准确的,偏差也可以减少。理论和实验结果表明,我们的方法产生显着的优势,比以前的方法。
2019-10-16 cs.AI cs.LG stat.ML
Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning
Google Research(谷歌研究院);UT Austin(德克萨斯大学奥斯汀分校)
长期问题的非策略估计在许多现实应用中非常重要,例如医疗保健和机器人技术,其中高保真仿真器可能不可用,并且策略评估昂贵或不可能。最近,\cite{liu18breaking}提出了一种方法,避免了典型的基于重要性采样的方法所遭受的\emph{curse of horizon}。虽然显示出有希望的结果,但这种方法在实践中受到限制,因为它需要从\emph{known}行为策略的\emph{stationary distribution}中提取数据。在这项工作中,我们提出了一种新的方法,消除这种限制。特别是,我们制定的问题作为解决某一运营商的不动点。使用再生核希尔伯特空间(RKHS)的工具,我们开发了一种新的估计器,可以计算静态分布的重要性比,而不知道如何收集非策略数据。我们分析了它的渐近一致性和有限样本推广。在基准测试上的实验验证了该方法的有效性。
2020-03-24 cs.AI cs.LG stat.ML
Adaptive Horizon Actor-Critic for Policy Learning in Contact-Rich Differentiable Simulation
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);Nvidia(英伟达);University of Toronto(多伦多大学)
本文提出自适应时域Actor-Critic(AHAC)算法,通过调整基于模型的时域以避免刚性动力学,减少了一阶基于模型强化学习中的梯度误差,在运动任务中奖励提升40%且高效扩展至高维控制环境。
2024-06-03 cs.AI cs.LG
ADWIN: Adaptive Windows for Horizon-Aware On-Policy Distillation
School of Computer Science, Peking University(北京大学计算机科学系);National Key Laboratory for Multimedia Information Processing, Peking University(北京大学多媒体信息处理国家重点实验室);LLM Department, Tencent(腾讯LLM部门)
提出ADWIN框架,通过自适应窗口动态调整在线策略蒸馏中的轨迹长度,在保持或提升准确率的同时,将训练成本降低最多4.1倍。
2026-05-27 cs.AI cs.LG
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University(普渡大学)
针对无限时域折扣奖励马尔可夫决策过程,提出加速自然策略梯度(ANPG)算法,在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度,改进现有最优样本复杂度,且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
Hierarchy-of-Groups Policy Optimization for Long-Horizon Agentic Tasks
Nanyang Technological University(南洋理工大学);Southeast University(东南大学)
HGPO通过分层组策略优化解决长周期代理任务中分步优势估计的上下文不一致问题,提升策略优化效果。
2026-02-26 cs.AI cs.LG
RIG: Synergizing Reasoning and Imagination in End-to-End Generalist Policy
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出首个端到端通用策略RIG,通过联合学习推理与想象并构建数据流水线,实现超17倍样本效率提升,增强策略的鲁棒性、泛化能力及测试时扩展性。
2025-03-31 cs.AI cs.CL cs.CV
A policy gradient approach for Finite Horizon Constrained Markov Decision Processes
Indian Institute of Science(印度科学学院)
针对现有约束强化学习仅研究无限时域场景的不足,提出首个带函数近似的有限时域约束MDP策略梯度算法,证明收敛性且实验表现优于知名算法。
2025-03-20 cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria(法国国家信息与自动化研究所)
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程,它是已知的,存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代,众所周知,可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的,我们开发的变化值和政策迭代计算非平稳的政策,可以达到$\frac{2γ}{1-γ}ε$ -最优的,这构成了一个显着的改善通常情况下,当$γ$接近1。令人惊讶的是,这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Breaking the Curse of Horizon: Infinite-Horizon Off-Policy Estimation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Brain(谷歌大脑)
本文提出了一种新的离线估计方法,通过直接在平稳状态访问分布上应用重要性采样来避免现有估计器中方差爆炸的问题,核心贡献是提出了一种估计两个平稳分布密度比的新方法,并推导了RKHS情况下的闭式解。
2018-10-29 cs.AI cs.LG cs.SY
Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea(首尔国立大学电气与计算机工程系);Department of Automotive Engineering, Ajou University, Gyeonggi-do, South Korea(全州大学汽车工程系)
提出 Chain-of-Goals 分层策略 (CoGHP),通过自回归生成潜在子目标序列,利用 MLP-Mixer 统一架构建模层次决策,在长视界任务中优于离线基线方法。
2026-06-23 cs.AI cs.LG
Horizon Adaptive Offline Policy Learning via Value Stitching
The University of Hong Kong(香港大学);Tsinghua University(清华大学)
提出VAST方法,通过递归、自适应地平线价值组合替代固定地平线备份,利用未来状态和地平线长度条件辅助价值函数与拼接策略,实现离线策略优化,在长时域任务中优于固定步长和生成价值基线。
2026-10-14 cs.LG cs.RO
Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));East China Normal University(华东师范大学);University of Science and Technology of China(中国科学技术大学);Shandong University(山东大学);Georgia Institute of Technology(佐治亚理工学院)
当轨迹数据由多个行为策略生成时,我们考虑了非策略策略评估。最近的工作表明,在无限水平的背景下,状态或状态-动作平稳分布校正对政策外政策评估起着关键作用。我们提出了估计混合策略(EMP),一类新的部分政策不可知的方法来准确地估计这些数量。通过仔细的分析,我们发现,EMP产生的估计减少方差估计的状态平稳分布校正,同时它也提供了一个有用的感应偏置估计的状态-动作平稳分布校正。在连续和离散环境下进行的大量实验中,我们证明了我们的算法与最先进的方法相比具有显着提高的准确性。
2019-10-10 cs.LG stat.ML
Is One Step Enough for Offline Policy Improvement?
Hanyang University(汉阳大学)
本研究针对离线强化学习的策略更新难题,提出多步近端策略改进(MPI)方法,可在可控范围内提升策略性能,在 D4RL 基准上实现了对多种强离线基线的提升。
2026-09-30 cs.LG
On the Effective Horizon of Inverse Reinforcement Learning
National University of Singapore(新加坡国立大学);Harvard University(哈佛大学)
本文形式化分析IRL中短于真实时域的“有效时域”为何能更快取得更好效果,指出其可控制策略类复杂度并缓解过拟合,提出奖励与有效时域联合学习,并用交叉验证实验验证。
2025-02-20 cs.AI cs.LG
Revisiting LQR Control from the Perspective of Receding-Horizon Policy Gradient
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究从滚动时域策略梯度(RHPG)视角重新审视离散时间LQR问题,给出RHPG的细粒度样本复杂度分析,验证其无需初始稳定策略即可学习近最优稳定策略,并论证了RHPG在线性控制与估计领域的普遍适用性。
2024-01-31 cs.AI cs.LG cs.SY
Learning Which Evidence-Seeking Decisions Matter: Calibrated Counterfactual Replay for Language Agents
stu.ahu.edu.cn(安徽大学)
提出CVT-RL算法,通过策略条件反事实贡献估计和可验证奖励约束,解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题,在多个任务上提升成功率并降低作弊率。
2026-11-20 cs.AI cs.LG
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));SIA-Lab of Tsinghua AIR and ByteDance(清华大学AIR与字节跳动SIA实验室)
针对长视野LLM RL中轨迹诱导的状态分布偏移问题,提出TAPO框架,结合几何均值估计器与长度感知动态裁剪,在8个竞赛级基准上较GRPO实现数学推理最高48%、算法编码最高12%的提升,训练稳定性显著增强。
2026-10-28 cs.LG
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
TIGPO: Temporal Instance-Graph Policy Optimization for Long-Horizon LLM Agents
Nanjing University(南京大学)
TIGPO为长视野LLM智能体提出跨策略更新的持久转换图策略,通过分配固定回滚预算稳定优势估计,在ALFWorld和WebShop上优于现有相关方法。
2026-09-04 cs.LG
Conformal Prediction Beyond the Horizon: Distribution-Free Inference for Policy Evaluation
KLATASDS - MOE School of Statistics East China Normal University(KLATASDS - 教育部统计学系华东师范大学)
可靠的不确定性量化对于高风险环境中的强化学习(RL)至关重要。我们提出了一个统一的共形预测框架的无限地平线的政策评估,构建分布免费的预测区间{回报}在政策和政策设置。我们的方法集成了分布式RL与共形校准,解决了未观察到的回报,时间依赖性和分布变化等挑战。我们提出了一个模块化的伪返回构造截断推出和时间感知的校准策略,使用经验重放和加权子采样的基础上。这些创新减轻了模型偏差,恢复了近似的互换性,即使在政策变化的情况下也能量化不确定性。我们的理论分析提供了覆盖保证,占模型误指定和重要性权重估计。实证结果,包括在合成和基准环境中的实验,如山地车,表明我们的方法显着提高了覆盖率和可靠性超过标准的分布式RL基线。
2025-10-29 cs.LG stat.ML
From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training
研究长期语言智能体训练中现有强化学习方法面临的挑战,提出事后诸葛亮策略优化方法,通过投影到意图空间提取低方差学习信号,聚合相似状态和行动,理论和实证证明可稳定提升策略性能。
2026-07-21 cs.AI cs.CL cs.LG
Do Transformer World Models Give Better Policy Gradients?
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
针对Transformer世界模型在长视野下产生迂回梯度路径的问题,提出Actions World Models (AWMs)提供更直接的梯度传播路径,生成更易导航的优化景观,从而在长视野任务中产生更优策略。
2024-02-11 cs.AI cs.LG
Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action
Georgia Institute of Technology(佐治亚理工学院);Rutgers University(罗格斯大学)
本文研究了有限时间MDP中一般状态和动作的策略优化问题,提出PŁK条件以确保策略梯度方法在非凸情况下以非渐近速率收敛,并适用于多种控制和运营模型。
2026-03-08 cs.LG math.OC
Experiments with Infinite-Horizon, Policy-Gradient Estimation
WhizBang! Labs(惠兹邦实验室);BIOwulf Technologies(比奥沃尔夫技术公司);Australian National University(澳大利亚国立大学)
在本文中,我们提出的算法,执行梯度上升的平均奖励的部分可观察马尔可夫决策过程(POMDP)。这些算法是基于GPOMDP,一个在同伴论文(Baxter和Bartlett,本卷)中介绍的算法,它计算POMDP中性能梯度的有偏估计。该算法的主要优点是,它只使用一个自由参数β,它有一个自然的解释偏置方差权衡,它不需要的知识的基础状态,它可以应用到无限的状态,控制和观察空间。我们展示了如何GPOMDP产生的梯度估计可用于执行梯度上升,无论是与传统的随机梯度算法,并与共轭梯度的基础上,利用梯度信息括号中的最大值线搜索的算法。实验结果说明了理论结果(巴克斯特和巴特利特,本卷)的玩具问题,和实际方面的算法上的一些更现实的问题。
2019-11-14 cs.AI cs.LG
Broadly-Exploring, Local-Policy Trees for Long-Horizon Task Planning
Robotics at Google(谷歌机器人学部门(或谷歌机器人部门))
现实环境中的长期规划需要在具有复杂动态的高维状态空间中对顺序任务进行推理的能力。经典的运动规划算法,如快速探索随机树,能够有效地探索大的状态空间和计算长期的,顺序的计划。然而,这些算法通常面临复杂、随机和高维状态空间的挑战,以及在与环境交互的任务中自然出现的狭窄通道的存在下。机器学习提供了一个很有前途的解决方案,它能够学习可以处理复杂交互和高维观测的一般策略。然而,这些政策通常在期限长度上受到限制。我们的方法,广泛探索,本地政策树(BELT),合并这两种方法,以利用两者的优势,通过任务条件,基于模型的树搜索。BELT使用RRT启发的树搜索来有效地探索状态空间。在本地,探索是由一个任务条件,学习政策能够执行一般的短期任务。这个任务空间可以是相当一般和抽象的;它唯一的要求是可采样的,并很好地覆盖有用任务的空间。这种搜索是由一个任务条件的模型,暂时延长动态传播,允许长视野搜索和顺序推理的任务。实验证明,带能够计划长期的,连续的轨迹与目标条件的政策,并产生计划,是强大的。
2020-10-13 cs.LG cs.RO
Trajectory Data Suffices for Statistically Efficient Policy Evaluation in Fixed-Horizon Offline RL with Linear $q^π$-Realizability and Concentrability
University of Alberta(阿尔伯塔大学)
本文研究在轨迹数据假设下,利用线性 $q^π$-可实现性和集中性,实现固定视界离线强化学习中策略评估的统计有效学习,并改进了策略优化的样本复杂度分析。
2026-05-31 cs.LG stat.ML
Truncated Horizon Policy Search: Combining Reinforcement Learning & Imitation Learning
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了通过使用预言机的奖励塑造的想法来结合模仿和强化学习。我们研究了接近最优的成本去预言机在规划视野上的有效性,并证明了成本去预言机缩短了学习者的规划视野作为其准确性的函数:全局最优预言机可以将规划范围缩短为1,从而导致更容易优化的一步贪婪马尔可夫决策过程,而远离最优性的Oracle需要在更长的范围内进行规划以实现接近最优的性能。因此,我们的新见解弥合了模仿学习和强化学习之间的差距。受上述见解的启发,我们提出了截断HORIZON策略搜索(THOR),一种专注于搜索策略的方法,最大限度地提高总重塑奖励在一个有限的规划范围内,当预言是次优的。我们的实验表明,基于梯度的实现的THOR可以实现优越的性能相比,RL基线和IL基线,即使当oracle是次优的。
2018-05-29 cs.LG stat.ML
Closing the Horizon Gap in Policy Optimization for Adversarial MDPs
The University of Tokyo(东京大学);The University of Osaka(大阪大学);RIKEN(理化学研究所)
该研究针对带对抗损失和多臂老虎机反馈的在线分段表格型MDP,用正则化Q函数缩小策略优化的视界差距,改进了遗憾界的视界依赖关系,还扩展到对抗线性混合MDP。
2026-10-09 cs.LG stat.ML
Value-Informed Skill Chaining for Policy Learning of Long-Horizon Tasks with Surgical Robot
The Chinese University of Hong Kong(香港中文大学)
针对手术机器人长时序任务中子任务策略难以平滑连接的问题,提出强化学习框架ViSkill,通过状态价值函数学习链接策略,指导子任务在最优状态终止,提升了任务成功率与执行效率。
2023-07-31 cs.AI cs.LG cs.RO
Relay Policy Learning: Solving Long-Horizon Tasks via Imitation and Reinforcement Learning
Berkeley AI Research(伯克利人工智能研究中心);Google(谷歌)
我们提出了中继策略学习,模仿和强化学习的方法,可以解决多阶段,长时间的机器人任务。这种普遍适用的两阶段方法包括一个模仿学习阶段和一个强化学习阶段,模仿学习阶段产生目标条件的分层策略,强化学习阶段微调这些策略以提高任务性能。我们的方法,虽然不一定是完美的模仿学习,是非常适合通过环境交互进一步改进,使其能够扩展到具有挑战性的长期任务。我们简化了长期的策略学习问题,使用一种新的数据重新标记算法学习目标条件的分层策略,其中低级别的行为只为固定数量的步骤,无论达到的目标。虽然我们依赖于演示数据来引导策略学习,但我们并不假设可以访问正在解决的每个特定任务的演示,而是利用语义上有意义的行为的非结构化和未分割的演示,这些演示不仅提供负担较轻,而且还可以大大促进使用强化学习的进一步改进。我们证明了我们的方法在一个具有挑战性的厨房模拟环境中的多阶段,长时间的操作任务的有效性。视频可在https://relay-policy-learning.github.io/上获得
2019-10-25 cs.LG cs.RO stat.ML
Horizon Imagination: Efficient On-Policy Rollout in Diffusion World Models
Technion(技术学院);Microsoft Research(微软研究院)
本文提出地平线想象方法,通过并行去噪和子帧预算优化,在扩散世界模型中实现高效的 on-policy 滚动,提升生成质量与控制性能。
2026-10-27 cs.LG
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna(维也纳大学);The Ohio State University(俄亥俄州立大学)
本文提出Matryoshka策略梯度(MPG)算法,证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性,给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
Safe Reinforcement Learning using Finite-Horizon Gradient-based Estimation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);The State Key Lab of Brain-Machine Intelligence, Zhejiang University(浙江大学脑机智能国家重点实验室);Center for AI Safety and Governance, Peking University(北京大学人工智能安全与治理中心)
本文提出基于梯度的估计方法(GBE)及约束梯度策略优化(CGPO),解决有限时域非折扣约束下安全强化学习的约束估计问题,确保策略更新的安全与可行。
2024-12-15 cs.AI cs.LG
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
研究多轮长期规划问题,通过引入统一可控环境,利用预训练、GRPO、OPD及MOPD等方法,研究规划能力在不同阶段的获取、塑造与整合,展示了多教师策略蒸馏对跨环境能力整合的作用。
2026-07-28 cs.AI cs.CL cs.LG
Convergence of policy gradient methods for finite-horizon exploratory linear-quadratic control problems
Mathematical Institute, University of Oxford(牛津大学数学研究所);Department of Mathematics, Imperial College London(帝国理工学院数学系)
针对有限时域连续时间探索性LQC,本文提出基于Fisher与Bures–Wasserstein几何的策略梯度方法,证明其有界且全局线性收敛,并给出跨动作频率稳健收敛的离散时间算法。
2024-03-01 cs.LG math.OC
Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization
Texas A&M University(德克萨斯A&M大学);GE HealthCare(通用电气医疗);University of Minnesota(明尼苏达大学)
SORL通过回合级重要性采样和触发式归一化稳定长时程LLM代理的离策略训练,减少梯度方差并防止优化崩溃。
2026-10-07 cs.AI cs.CL cs.LG
Adaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy Distillation
该研究针对在线策略蒸馏的高计算成本问题,提出自适应FastOPD策略,仅在学习平台且范围充分利用时扩展展开范围,使训练时间降49.1%-71.2%且性能最优。
2026-08-03 cs.LG
Continue or Replan? Bernoulli-Continuation Policy Learning for Adaptive Horizon Execution
针对现有VLA模型固定执行时长重规划的局限,提出BCP框架,通过强化学习训练自适应时长选择,在多个仿真任务、真实机器人任务上提升了成功率,且运行时间更短。
2026-08-05 cs.AI cs.CV cs.LG
Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学)
在批量强化学习的应用中,如教育和医疗保健,需要从观测数据中对顺序决策策略进行非策略评估。然而,在这样的环境中,未观察到的变量混淆了观察到的动作,使得不可能对新策略进行精确评估,即,无法辨认我们开发了一个强大的方法,估计一个给定的政策(无法识别)的价值在一个无限的地平线问题的数据从另一个政策与未观察到的混淆,敏感性模型的急剧界限。我们认为固定或基线未观察到的混杂和计算边界的所有固定状态占用率,同意一个新的部分确定的估计方程和敏感性模型的优化。我们证明收敛到尖锐的界限,因为我们收集更多的混淆数据。虽然集员检验是一个线性规划,但支持函数是由一个困难的非凸优化问题给出的。我们开发的非凸投影梯度下降的基础上的近似,并证明由此产生的界限经验。
2020-07-13 cs.LG math.OC stat.ML
Policy Gradient Methods for the Noisy Linear Quadratic Regulator over a Finite Horizon
University of Oxford(牛津大学)
我们探讨强化学习方法,以寻找最佳的政策,在线性二次型调节器(LQR)的问题。特别地,我们考虑了策略梯度方法在已知和未知参数下的收敛性。我们能够产生一个全球性的线性收敛保证这种方法在有限的时间范围和随机状态动力学的设置下弱的假设。为了处理有约束的问题,还建立了投影策略梯度方法的收敛性。我们用两个例子说明了算法的性能。第一个例子是资产持有的最优清算。我们显示的情况下,我们假设一个模型的基本动力学,我们直接将该方法应用于数据的结果。经验证据表明,策略梯度方法可以学习全局最优解的一个较大的类随机系统包含LQR框架,它是更强大的模型误指定相比,基于模型的方法。第二个例子是在具有合成数据的高维设置中的LQR系统。
2021-06-23 cs.LG q-fin.ST
Structure Matters: Dynamic Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出动态策略梯度框架,将动态规划与策略梯度结合,分解无限时域MDP为上下文赌博机,实现多项式收敛,优于普通策略梯度的指数下界。
2024-11-07 cs.LG math.OC math.PR
Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents
Amazon Web Services(亚马逊云服务)
针对长程工具使用强化学习中轨迹级优势信号稀疏的问题,提出兄弟引导信用蒸馏(SGCD),通过动态采样成功与失败轨迹、外部LLM对比生成逐步信用参考,实现密集信用分配,在AppWorld和τ³-airline任务上显著提升性能。
2026-07-15 cs.AI cs.CL cs.LG
Distributional Offline Policy Evaluation with Predictive Error Guarantees
Cornell University(康奈尔大学)
针对离线策略评估中回报分布估计问题,提出拟合似然估计(FLE)算法,通过序列最大似然估计集成生成模型,在有限与无限时域下分别保证总变差与Wasserstein距离误差,实验验证高斯混合与扩散模型的有效性。
2023-12-29 cs.LG
Addressing Finite-Horizon MDPs via Low-Rank Tensor Value Approximation
Department of Signal Theory and Comms.(信号理论与通讯系);King Juan Carlos University(国王胡安·卡洛斯大学)
本文研究利用低秩强化学习方法解决有限时间 horizon MDPs 的最优策略学习问题,通过将价值函数建模为低秩张量,提出了一种可扩展的表示方法,并结合贪心策略改进计算近优策略。
2026-05-13 cs.LG
DyDiff: Long-Horizon Rollout via Dynamics Diffusion for Offline Reinforcement Learning
School of Computer Science, Shanghai Jiao Tong University, Shanghai 200240, China(上海交通大学计算机科学学院);Department of Computer Science, Nanjing University, Nanjing 210093, China(南京大学计算机科学系)
本文提出DyDiff,一种通过动力学扩散模型实现离线强化学习中长周期轨迹生成的方法,通过迭代注入学习策略信息,解决行为策略与学习策略不一致的问题,提升长周期rollout的准确性。
2026-05-17 cs.LG
Linear convergence of a policy gradient method for some finite horizon continuous time control problems
University of Oxford(牛津大学);London School of Economics and Political Science(伦敦政治经济学院)
尽管其在强化学习社区中很受欢迎,但用于具有非线性状态动态的连续时空控制问题的可证明收敛的策略梯度法一直难以捉摸。本文提出了有限时域随机控制问题反馈控制的近似梯度算法。状态动力学是具有仿射控制漂移的非线性扩散,费用函数在状态下是非凸的,在控制中是非光滑的。系统噪声可以退化,这允许确定性控制问题作为特殊情况。我们证明了在适当的条件下,该算法线性收敛到控制问题的一个稳定点,并通过近似梯度步骤的策略更新是稳定的。收敛结果证明了最近的强化学习算法,增加熵正则化或虚拟折扣因子的优化目标加速策略梯度法的收敛。该证明利用了向后随机微分方程的正则性估计。
2022-12-23 cs.LG math.OC math.PR
When Denser Credit Is Not Enough: Evidence-Calibrated Policy Optimization for Long-Horizon LLM Agent Training
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China(X-LANCE实验室,计算机科学学院,上海交通大学,上海,中国);Faculty of Electronic and Information Engineering, Xi’an Jiaotong University(电子与信息工程学院,西安交通大学)
针对长周期LLM智能体在稀疏延迟奖励下的信用分配问题,提出一种无评论家的策略优化算法ECPO,通过证据校准的动作优势和方差门控信用加权来修正密集信用的统计不可靠性,在ALFWorld和WebShop上显著提升性能。
2026-06-04 cs.LG
Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning
Peking University(北京大学);Microsoft Corporation(微软公司)
提出G2PO算法,通过构建全局状态转移图并引入组聚合状态值估计和边中心优势估计,解决长程智能体强化学习中的奖励稀疏和信用分配粗粒度问题,在WebShop等基准上显著提升成功率。
2026-10-19 cs.AI cs.CL cs.LG
MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents
Beijing Jiaotong University(北京交通大学)
针对长 horizon LLM 智能体强化学习的信用分配难题,提出 MileGPO 方法,通过里程碑发现、RCS、PCC 三项设计提升性能,在 ALFWorld 和 WebShop 上达 SOTA 且分布差距小。
2026-08-25 cs.AI cs.CL cs.LG
The Geometry of Memoryless Stochastic Policy Optimization in Infinite-Horizon POMDPs
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);UCLA(加州大学洛杉矶分校)
考虑了有限状态空间和有限动作空间的无限时域部分可观测马尔可夫决策过程(POMDP)在折扣或平均报酬准则下的最佳无记忆随机策略问题.我们表明,(折扣)的状态动作频率和预期的累积奖励是有理函数的政策,其中的程度是由部分可观的程度。然后,我们描述的最优化问题作为一个线性最优化问题在空间中的可行状态动作频率的多项式约束,我们明确的特点。这使我们能够解决组合和几何复杂性的最优化问题使用最近的工具,从多项式优化。特别是,我们估计的临界点的数量,并使用奖励最大化的多项式规划描述,以解决在网格世界中的导航问题。
2022-04-29 cs.LG math.AG math.OC
Finite-Time Analysis of the Natural Policy Gradient in Finite-Horizon Markov Decision Processes
研究有限时域马尔可夫决策过程中自然策略梯度,给出其在恒定步长和递增步长下的收敛保证,恒定步长下次线性收敛,递增步长下线性收敛,特定步长调度可达几何速率。
2026-07-28 cs.LG math.OC stat.ML
Order-Optimal Regret with Novel Policy Gradient Approaches in Infinite-Horizon Average Reward MDPs
Indian Institute of Science(印度科学研究所);Purdue University(普渡大学)
针对无限时域平均奖励 MDP,本文提出两种通用参数化策略梯度算法,分别借助隐式梯度传输和 Hessian 技术,将遗憾改进至 $\tilde{\mathcal{O}}(T^{2/3})$ 与最优的 $\tilde{\mathcal{O}}(\sqrt{T})$。
2025-05-11 cs.LG