Optimistic Policy Iteration for MDPs with Acyclic Transient State Structure
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sandia National Laboratories（桑迪亚国家实验室）
我们考虑马尔可夫决策过程（MDP），其中每个静态策略都为底层马尔可夫链引入相同的图结构，并且该图具有以下性质：如果我们将每个递归类替换为节点，则所得图是无环的。对于这样的MDP，我们证明了与Tsitsiklis（2002）中提出的乐观策略迭代（OPI）版本相关的随机动态的收敛性，其中与OPI每次迭代期间访问的所有节点相关的值都被更新。
2021-03-09 cs.LG
Optimistic Policy Optimization with Bandit Feedback
Technion - Israel Institute of Technology（以色列理工学院）；Tel Aviv University（特拉维夫大学）
策略优化方法是强化学习（RL）算法中应用最广泛的一类。然而，到目前为止，这些方法主要是从优化的角度进行分析，没有解决探索的问题，或者通过对与环境的相互作用进行强有力的假设。在本文中，我们考虑基于模型的RL在表格有限地平线MDP设置未知的过渡和强盗反馈。对于这种设置，我们提出了一个乐观的信任域策略优化（TRPO）算法，我们建立$\tilde O(\sqrt{S^2 A H^4 K})$后悔随机奖励。此外，我们证明了$\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $后悔对抗性奖励。有趣的是，这一结果匹配以前的边界得出的强盗反馈的情况下，但与已知的过渡。据我们所知，这两个结果是第一次获得的次线性遗憾界的策略优化算法与未知的过渡和强盗反馈。
2020-06-18 cs.LG stat.ML
Variational Bayesian Optimistic Sampling
DeepMind
我们考虑在线顺序决策问题，代理必须平衡探索和利用。我们推导出一组贝叶斯“乐观”的政策，其中，在随机多臂土匪的情况下，包括汤普森抽样政策。我们提供了一个新的分析表明，任何算法产生的政策，在乐观的设置享受$\tilde O(\sqrt{AT})$贝叶斯遗憾的问题与$A$行动后，$T$轮。我们扩展的遗憾分析的乐观政策的双线性鞍点问题，其中包括零和矩阵游戏和约束土匪作为特殊情况。在这种情况下，我们表明，汤普森抽样可以产生的乐观集之外的政策，并在某些情况下遭受线性遗憾。在乐观集内找到一个策略相当于解决一个凸优化问题，我们称之为变分贝叶斯乐观采样算法（VBOS）。该过程适用于任何后验，\ie，它不需要后验具有任何特殊属性，如对数，单峰，或光滑。问题的变分视图具有许多有用的属性，包括调整探索-开发权衡、添加正则化、合并约束和线性参数化策略的能力。
2021-10-29 cs.LG stat.ML
Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction
UC Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊公司）；Cruise（克鲁斯公司）；Horizon Robotics（地平线机器人）
提高强化学习算法的样本效率需要进行有效的探索。遵循$\textit{optimism in the face of uncertainty}$（OFU）的原则，我们训练一个单独的探索政策，以最大化的近似上界的评论家在一个off-policy行动者-评论家的框架。然而，这在重放缓冲区和目标策略之间引入了关于它们的静态状态-动作分布的额外差异。为了减轻偏离策略的问题，我们采用了最近引入的DICE框架来学习偏离策略RL训练的分布校正率。特别是，我们纠正了政策和批评的培训分布。从经验上讲，我们评估我们提出的方法在几个具有挑战性的连续控制任务，并表现出优越的性能相比，国家的最先进的方法。我们还进行了广泛的消融研究，以证明所提出的方法的有效性和合理性。
2022-11-22 cs.LG cs.RO
DOP: Deep Optimistic Planning with Approximate Value Function Evaluation
Sapienza University of Rome（罗马第一大学）
关于强化学习的研究已经在多个应用领域取得了可喜的成果。尽管如此，由于非结构化场景，高不确定性和大状态维度（例如多智能体系统或超冗余机器人），有效地学习有效的机器人行为是非常困难的。为了缓解这个问题，我们提出了DOP，这是一种基于深度基于模型的强化学习算法，它利用动作值来（1）指导状态空间的探索和（2）规划有效的策略。具体来说，我们利用深度神经网络来学习Q函数，这些Q函数用于在蒙特卡罗树搜索期间攻击维数灾难。事实上，我们的算法在学习到的价值函数上构造置信上限，以乐观地选择动作。我们在不同的场景下实现和评估DOP：（1）合作导航问题，（2）7-DOF KUKA机器人的抓取任务，以及（3）与人形机器人的人机交接（无论是在模拟还是真实）。所获得的结果表明DOP在所选应用中的有效性，其中动作值驱动探索并减少规划过程的计算需求，同时实现良好的性能。
2018-03-22 cs.LG cs.RO
Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs
Peking University（北京大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）；DeepMind；University of Alberta（阿尔伯塔大学）
研究非平稳线性核MDPs中的情景式强化学习，提出带有滑动窗口评估和周期性重启改进的乐观策略优化算法PROPO及值迭代算法，并证明其动态上界和近最优性。
2024-12-23 cs.LG stat.ML
Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample
Yuanlong Chen（陈元龙）
针对非均匀更新频率下的蒙特卡洛乐观策略迭代，本文通过一个三状态MDP反例证明标量步长非均匀异步值迭代可能不收敛，并揭示了各向异性畸变导致的切换吸引环。
2026-06-16 cs.LG
Optimistic Policy Regularization: Elite-Statistic Reward Shaping
OPR通过保留和强化历史成功轨迹提升深度强化学习的样本效率和最终性能
2026-10-23 cs.AI cs.LG
Mastering Strategy Card Game (Legends of Code and Magic) via End-to-End Policy and Optimistic Smooth Fictitious Play
ByteDance（字节跳动）
深度强化学习结合Fictionary Play在许多基准测试游戏上显示出令人印象深刻的结果，然而，其中大多数都是单阶段的。相比之下，现实世界的决策问题可能由多个阶段组成，其中观察空间和行动空间在各个阶段之间可能完全不同。我们研究了一个两阶段的策略纸牌游戏Legends of Code and Magic，并提出了一个端到端的策略来解决多阶段游戏中出现的困难。我们还提出了一个乐观光滑虚拟博弈算法来寻找两人博弈的纳什均衡。我们的方法赢得了COG2022比赛的双重冠军。大量的研究验证并显示了我们方法的先进性。
2023-03-07 cs.AI cs.GT cs.LG
Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration
Faculty of Mechanical Engineering（机械工程学院）；Delft University of Technology（代尔夫特理工大学）；Faculty of Electrical Engineering, Mathematics and Computer Science（电气工程、数学和计算机科学学院）
本文提出COX-Q算法，通过约束乐观探索和保守离线分布价值学习，解决非策略安全强化学习中的约束违反问题，实现在安全关键应用中的高效样本利用和可控数据收集成本。
2026-03-25 cs.LG cs.RO
A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对PPO算法理论基础不足的问题，提出面向回合式对抗线性MDPs的乐观PPO变体，推导得到更优悔界，采用多批次更新机制与新的覆盖数分析方法。
2023-06-08 cs.AI cs.LG math.OC
Being Optimistic to Be Conservative: Quickly Learning a CVaR Policy
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然最大化预期收益是大多数强化学习方法的目标，但风险敏感目标（如条件风险价值（CVaR））更适合许多高风险应用。然而，对于如何探索快速学习具有良好CVaR的政策，人们知之甚少。本文基于不确定性乐观原则，提出了马尔可夫决策过程中CVaR最优策略的样本有效学习算法。这种方法依赖于一个新的乐观版本的分布贝尔曼算子，移动概率质量从下到上尾的回报分布。我们证明了渐近收敛和乐观的表格政策评估的情况下，该算子。我们进一步证明，我们的算法发现CVaR最优的政策大大快于现有的基线在几个模拟环境中的离散和连续的状态空间。
2020-04-02 cs.AI cs.LG
Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret Learning in Markov Games
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究分散的策略学习在马尔可夫博弈中，我们控制一个单一的代理人发挥非平稳和可能的敌对对手。我们的目标是开发一个无遗憾的在线学习算法，（i）根据代理观察到的本地信息采取行动，（ii）能够在事后找到最佳策略。对于这样的问题，由于变化的对手的非平稳状态转换构成了一个重大的挑战。鉴于最近的硬度结果\citep{liu2022learning}，我们专注于设置对手的以前的政策是透露给代理决策。有了这样的信息结构，我们提出了一个新的算法，\underline{D} ecentralized \underline{O}乐观炒作\underline{R} policy m \underline{I} rror de \underline{S} cent（DORIS），它实现了$\sqrt{K}$ -遗憾的背景下，一般函数近似，其中$K$是情节的数量。此外，当所有的代理商采用DORIS，我们证明了他们的混合策略构成一个近似的粗相关均衡。特别地，DORIS维护\textit{hyperpolicy}，其是策略空间上的分布。超策略通过镜像下降更新，其中更新方向通过最小二乘策略评估的乐观变体获得。此外，为了说明我们的方法的力量，我们将DORIS应用于约束和向量值的MDP，它可以被制定为零和马尔可夫游戏与一个虚构的对手。
2022-06-03 cs.LG stat.ML
Symmetric (Optimistic) Natural Policy Gradient for Multi-agent Learning with Parameter Convergence
Massachusetts Institute of Technology（麻省理工学院）
在强化学习的背景下，多智能体交互越来越重要，策略梯度法的理论基础吸引了大量的研究兴趣。研究了多智能体学习中自然策略梯度（NPG）算法的整体收敛性。我们首先表明，香草NPG可能没有参数收敛，即，参数化策略的向量的收敛，即使当成本被正则化时（这使得能够在文献中的策略空间中保证强收敛）。参数的这种不收敛性导致了学习中的稳定性问题，这在函数近似设置中变得特别相关，在函数近似设置中，我们只能对低维参数进行操作，而不是高维策略。然后，我们提出的NPG算法的变种，几个标准的多智能体学习场景：两个球员的零和矩阵和马尔可夫游戏，多玩家单调游戏，与全球最后一个参数收敛保证。我们还推广的结果，某些功能的近似设置。请注意，在我们的算法中，代理采取对称的角色。我们的结果对于求解具有一定结构的非凸-非凹极小极大最优化问题也具有独立的意义。模拟也证实了我们的理论研究结果。
2023-03-20 cs.LG cs.MA math.OC
Optimistic Model Rollouts for Pessimistic Offline Policy Optimization
National University of Defense Technology（国防科技大学）；Artificial Intelligence Research Center（人工智能研究中心）
本文提出 ORPO 框架，通过构建乐观 MDP 生成更多分布外模型推演，再在悲观 MDP 中用惩罚奖励优化策略，从而提升离线强化学习的泛化能力，实验性能超越 P-MDP 基线 30%。
2024-01-11 cs.LG
Optimistic Multi-Agent Policy Gradient
Department of Electrical Engineering and Automation, Aalto University, Finland（艾尔沃斯大学电气工程与自动化系）；Department of Computer Science, Aalto University, Finland（艾尔沃斯大学计算机科学系）；School of Computer Science and Engineering, University of Electronic Science and Technology of China, China（电子科学与技术大学计算机科学与工程学院）；University of Oulu, Finland（奥卢大学）
针对多智能体策略梯度中的相对过度泛化问题，提出通过裁剪优势函数实现乐观更新的通用框架，在多个基准上优于强基线。
2025-10-14 cs.LG cs.MA
Acceleration in Policy Optimization
Google DeepMind（谷歌DeepMind）；McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
本文提出一种通过乐观和自适应更新加速强化学习策略优化的统一范式，并设计了一种基于元梯度学习的乐观策略梯度算法，在说明性任务中验证了加速设计选择。
2023-09-05 cs.AI cs.LG stat.ML
Optimistic Actor-Critic with Parametric Policies for Linear Markov Decision Processes
Simon Fraser University（西蒙菲莎大学）；University of Pennsylvania（宾夕法尼亚大学）；Mila, McGill University（Mila，麦吉尔大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
本文提出一种乐观Actor-Critic框架，采用参数化logit匹配回归目标和近似汤普森采样，实现线性MDP中高效的样本复杂度。
2026-04-01 cs.LG stat.ML
Cautiously Optimistic Policy Optimization and Exploration with Linear Function Approximation
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
策略优化方法是流行的强化学习算法，因为它们的增量和基于策略的性质使它们比基于值的算法更稳定。然而，相同的属性也使它们收敛缓慢，采样效率低下，因为策略要求排除了数据重用，并且增量更新将大的迭代复杂性耦合到采样复杂性中。这些特性已经在实验中观察到，以及在理论上在最近的工作~ \citet{agarwal2020pc}，它提供了一个政策优化方法PCPG，可以鲁棒地找到近似线性马尔可夫决策过程的近最优政策，但遭受一个非常差的样本复杂度相比，基于值的技术。在本文中，我们提出了一种新的算法，COPOE，克服了样本复杂性问题的PCPG，同时保持其鲁棒性模型误指定。与PCPG相比，COPOE进行了几项重要的算法增强，例如支持数据重用，并使用了更精细的分析技术，我们预计这些技术将更广泛地适用于设计新的强化学习算法。结果是样本复杂度从PCPG的$\widetilde{O}(1/ε^{11})$提高到PCPG的$\widetilde{O}(1/ε^3)$，几乎弥补了基于值的技术的差距。
2021-06-29 cs.LG
Optimistic Whittle Index Policy: Online Learning for Restless Bandits
Google Research（谷歌研究院）
提出基于UCB的在线学习算法UCWhittle，通过估计转移概率置信界并构建双线性规划计算乐观Whittle指数，在未知转移的RMAB中实现次线性遗憾，性能优于现有基线。
2023-03-08 cs.LG
IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic
EPFL（苏黎世联邦理工学院）；LIONS（实验室）
本文提出SOAR模仿学习框架，通过原对偶算法交替更新成本与策略，并利用多评论家Actor-Critic构建乐观评论家驱动探索，在表格设置下具备理论保证，且在MuJoCo环境中显著提升多种基于Soft Actor Critic算法的性能，将所需回合数减半。
2025-05-30 cs.LG
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Optimistic Linear Support and Successor Features as a Basis for Optimal Policy Transfer
Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在许多现实世界的应用中，强化学习（RL）代理可能必须解决多个任务，每个任务通常通过奖励函数建模。如果奖励函数是线性表达的，并且代理先前已经学习了一组用于不同任务的策略，则可以利用后继特征（SF）来组合这些策略并为新问题确定合理的解决方案。然而，所确定的解决方案并不能保证是最优的。我们介绍了一种新的算法，解决这个限制。它允许RL代理组合现有策略，并直接为任意新问题确定最佳策略，而无需与环境进行任何进一步的交互。我们首先表明（在温和的假设下），SF解决的迁移学习问题等价于学习优化RL中的多个目标的问题。然后，我们引入了一个基于SF的扩展的乐观线性支持算法学习一组策略，其SF形成一个凸覆盖集。我们证明，在这个集合中的政策可以通过广义的政策改进相结合，以构建任何新的线性可表达的任务的最佳行为，而不需要任何额外的训练样本。我们的经验表明，我们的方法优于国家的最先进的竞争算法在离散和连续域下的价值函数近似。
2022-06-22 cs.AI cs.LG
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI；University of California Irvine（加州大学欧文分校）；Archimedes research unit（阿基米德研究单元）；Massachusetts Institute of Technology（麻省理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出新框架，证明在均衡坍缩假设下，单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE，并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
COPlanner: Plan to Roll Out Conservatively but to Explore Optimistically for Model-Based RL
University of Maryland, College Park（马里兰大学帕克分校）；JPMorgan AI Research（摩根大通人工智能研究院）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出即插即用框架COPlanner，通过不确定性感知的UP-MPC进行多步不确定性估计，在模型推演中保守避错、真实探索中乐观减错，显著提升了基于模型强化学习的样本效率与渐近性能。
2023-12-30 cs.LG
Optimistic Training and Convergence of Q-Learning -- Extended Version
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Florida（佛罗里达大学）
本文研究了Q学习在不同变体下的收敛性，指出在无意识策略下PBE可能无解或有多个解，并强调收敛需要更严格的结构条件。
2026-02-05 cs.LG math.OC stat.ML
Optimistic Active Exploration of Dynamical Systems
ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出主动探索算法 OPAX，通过乐观最大化未知动态与观测之间的信息增益，实现动力系统的全局逼近，并在理论和实验中验证其零样本下游任务规划能力。
2023-10-30 cs.LG cs.RO cs.SY
Voronoi Progressive Widening: Efficient Online Solvers for Continuous State, Action, and Observation POMDPs
University of California, Berkeley（加州大学伯克利分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文介绍了Voronoi渐进加宽（VPW），Voronoi乐观优化（VOO）和行动渐进加宽部分可观测马尔可夫决策过程（POMDPs）的推广。树搜索算法可以使用VPW有效地处理连续或混合动作空间，有效地平衡局部和全局动作搜索。本文提出了两种基于VPW的算法，并从理论和仿真的角度进行了分析。Voronoi乐观加权稀疏采样（VOWSS）是一种理论工具，证明了基于VPW的在线求解器，它是第一个具有连续状态，动作和观测POMDPs全局收敛保证的算法。VOMCPOW是一种多功能和高效的算法，在几个仿真实验中始终优于最先进的POMDP算法。
2021-04-01 cs.AI cs.LG cs.RO
An Optimistic Perspective on Offline Reinforcement Learning
Google Research（谷歌研究院）；University of Alberta（阿尔伯塔大学）
使用记录交互的固定离线数据集的非策略强化学习（RL）是现实世界应用中的重要考虑因素。本文使用DQN重播数据集研究了离线RL，该数据集包括DQN代理在60个Atari 2600游戏上的整个重播体验。我们证明了最近的非策略深度RL算法，即使只在这个固定数据集上训练，也优于完全训练的DQN代理。为了增强离线设置中的泛化能力，我们提出了一种鲁棒的Q-学习算法--随机包围混合算法（REM），该算法在多个Q值估计的随机凸组合上强制执行最优Bellman一致性。在DQN重放数据集上训练的离线REM超过了强大的RL基线。消融研究强调了离线数据集大小和多样性以及算法选择在我们的积极结果中的作用。总的来说，这里的结果提出了一个乐观的观点，即在足够大和多样化的离线数据集上训练的鲁棒RL算法可以产生高质量的策略。DQN重播数据集可以作为离线RL基准，并且是开源的。
2020-06-22 cs.AI cs.LG stat.ML
Provable Last-Iterate Convergence for Multi-Objective Safe LLM Alignment via Optimistic Primal-Dual
The Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）
本文提出了一种乐观对偶算法，用于多目标安全大语言模型对齐，解决了传统方法在最终迭代中的不稳定问题，并证明了该算法的收敛性。
2026-02-25 cs.AI cs.LG
Online Policy Optimization for Robust MDP
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tsinghua University（清华大学）
强化学习（RL）在许多合成环境中（如视频游戏和围棋）已经超过了人类的表现。然而，端到端RL模型的实际部署并不常见，因为RL模型对环境的轻微扰动非常敏感。鲁棒马尔可夫决策过程（MDP）框架-其中转移概率属于标称模型周围的不确定性集-提供了一种开发鲁棒模型的方法。虽然之前的分析表明，RL算法在假设访问生成模型的情况下是有效的，但目前尚不清楚RL在更现实的在线设置下是否有效，这需要在探索和利用之间保持谨慎的平衡。在这项工作中，我们考虑在线鲁棒MDP通过与一个未知的标称系统。我们提出了一个鲁棒的乐观策略优化算法，可证明是有效的。为了解决对抗性环境引起的额外不确定性，我们的模型具有通过Fenchel共轭导出的新的乐观更新规则。我们的分析建立了第一个遗憾的在线强大的MDPs。
2022-09-28 cs.LG stat.ML
Wasserstein Barycenter Soft Actor-Critic
WBSAC 通过结合悲观和乐观策略的 Wasserstein 聚合，提升连续控制任务中的样本效率。
2026-02-24 cs.LG cs.SY eess.SY
Exploring Model-based Planning with Policy Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
基于模型的强化学习（MBRL）与模型预测控制或在线规划在样本效率和渐近性能方面显示出用于运动控制任务的巨大潜力。尽管他们最初的成功，现有的规划方法搜索从候选序列中随机产生的动作空间，这是在复杂的高维环境中效率低下。在本文中，我们提出了一种新的MBRL算法，基于模型的政策规划（POPLIN），结合政策网络与在线规划。更具体地说，我们制定行动规划在每个时间步作为一个优化问题，使用神经网络。我们的实验与优化w.r.t.从策略网络初始化的动作序列，以及直接w.r.t.策略网络的参数。我们表明，POPLIN在MuJoCo基准测试环境中获得了最先进的性能，比最先进的算法（如PETS，TD3和SAC）的样本效率高出约3倍。为了解释我们的算法的有效性，我们表明，在参数空间中的优化曲面是光滑的比在行动空间。此外，我们发现，在测试时间的一些环境，如猎豹，在没有扩展的模型预测控制的情况下，可以有效地应用提取的策略网络。代码发布在https://github.com/WilsonWangTHU/POPLIN。
2019-06-20 cs.AI cs.LG cs.RO
Optimistic Reinforcement Learning by Forward Kullback-Leibler Divergence Optimization
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
将强化学习（RL）中的传统优化方法解释为使用反向KL发散的优化问题，并推导出一种使用前向KL发散代替反向KL发散的优化方法。虽然强化学习最初的目标是通过优化策略间接地最大化收益，但Levine最近的工作提出了一个不同的推导过程，明确考虑了作为随机变量的最优性。本文遵循这一概念，将传统的价值函数和策略的学习律都表示为包含最优性的逆KL发散优化问题。针对KL散度的不对称性，导出了具有前向KL散度的新的优化问题。值得注意的是，这种新的优化问题可以被视为乐观RL。这种乐观情绪直观地由一个从不确定性参数转换而来的超参数来表示。此外，当它与优先经验重放和资格跟踪集成时，它可以得到增强，这两者都可以加速学习。这种预期的乐观的影响进行了研究，通过学习倾向的数值模拟使用Pybullet。结果，适度的乐观加速了学习，并带来了更高的回报。在一个现实的机器人仿真中，所提出的方法与适度的乐观优于国家的最先进的RL方法之一。
2022-04-22 cs.LG
Provably Efficient Exploration in Policy Optimization
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
本文提出乐观近端策略优化算法OPPO，首次在策略优化中实现可证明高效的探索，并在线性函数逼近的对抗性MDP中取得次线性遗憾界。
2024-04-01 cs.LG math.OC stat.ML
SLOPE: Optimistic Potential Landscape Shaping for Model-based Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Heriot-Watt University（赫瑞-沃森大学）；Shenzhen Institutes of Advanced Technology, CAS（深圳先进技术研究院）；Microsoft Research NY（微软研究院纽约分部）；Tsinghua University（清华大学）；Jilin University（吉林大学）
SLOPE通过乐观势能估计构建信息丰富的势能景观，解决稀疏奖励环境下梯度信息不足的问题，提升模型在稀疏、半稀疏和密集奖励任务中的性能。
2026-05-08 cs.LG
Optimistic Regret Bounds for Online Learning in Adversarial Markov Decision Processes
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文针对对抗性马尔可夫决策过程提出利用代价预测器的新变体，并设计乐观偏置代价估计器与策略搜索方法，首次以高概率获得随预测能力优雅退化的次线性乐观遗憾界。
2024-05-03 cs.AI cs.LG stat.ML
Optimistic Online LQR via Intrinsic Rewards
ETH Zürich（苏黎世联邦理工学院）
本文提出IR-LQR算法，通过内在奖励和方差正则化提升不确定性驱动探索，实现最优最坏情况后悔率√T，实验验证其在飞行器pitch角控制中的有效性。
2026-08-24 cs.LG cs.SY eess.SY
Optimistic Feasible Search for Closed-Loop Fair Threshold Decision-Making
Dept. of Computer Engineering Mahanakorn University of Technology, International College (MUTIC) Bangkok, Thailand（计算机工程系马汉纳克恩技术大学国际学院（MUTIC）曼谷泰国）
本文提出OFS算法，通过乐观可行搜索在闭环公平阈值决策中实现高奖励与低约束违反。
2025-12-26 cs.LG
Optimistic Policy Learning under Pessimistic Adversaries with Regret and Violation Guarantees
Dept. of Electrical and Computer Engineering, NJIT, Newark, NJ, USA（电气与计算机工程系，新泽西理工学院，新泽西州纽克尔，美国）
本文提出RHC-UCRL算法，通过建模外生因素为对抗策略，实现策略在对抗环境下的最优与安全，提供子线性后悔和约束违反保证。
2026-04-17 cs.AI cs.LG
Optimistic Initialization and Greediness Lead to Polynomial Time Learning in Factored MDPs - Extended Version
本文提出了一种分解马尔可夫决策过程的多项式时间强化学习算法。因子乐观初始模型（FOIM）算法，保持一个经验模型的FMDP在一个传统的方式，并始终遵循一个贪婪的政策，其模型。该算法的唯一技巧是模型被乐观地初始化。我们证明了，与适当的初始化（i）FOIM收敛到近似值迭代（AVI）的不动点;（ii）的步骤数时，代理作出非近最优的决定（相对于AVI的解决方案）是多项式的所有相关量;（iii）每步的成本算法也是多项式的。据我们所知，FOIM是第一个具有这些属性的算法。这个扩展版本包含了主要定理的严格证明。本文的一个版本出现在ICML'09上。
2009-04-21 cs.AI cs.LG
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania（宾夕法尼亚大学）；University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文针对约束马尔可夫决策过程，提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法，首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck（因斯布鲁克大学）
大多数深度强化学习（D-RL）方法都执行局部策略搜索，这增加了陷入局部最小值的风险。此外，即使在基于模拟的训练中，模拟模型的可用性在D-RL中也没有得到充分利用，这可能会降低效率。为了更好地利用仿真模型的政策搜索，我们建议将kinodynamic规划器的探索策略，并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS（规划策略搜索）。我们比较PPS与最先进的D-RL方法在典型的RL设置，包括欠驱动系统。比较表明，PPS，由kinodynamic规划器的指导下，收集数据从更广泛的区域的状态空间。这将生成训练数据，帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Distilling a Hierarchical Policy for Planning and Control via Representation and Reinforcement Learning
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；KAIST（韩国科学技术院）；TU Berlin（柏林工业大学）；NAVER CLOVA, NAVER Corp.（NAVER CLOVA，NAVER公司）
我们提出了一个层次规划和控制框架，使代理执行各种任务，并适应一个新的任务灵活。建议的框架，DISH，而不是学习一个单独的政策，为每一个特定的任务，从一组任务的表示和强化学习提炼出一个层次的政策。该框架基于潜变量模型的思想，该模型使用低维潜变量表示高维观测。由此产生的政策包括两个层次：（i）一个计划模块，原因的潜在意图，将导致一个乐观的未来序列和（ii）的反馈控制政策，共享的任务，执行推断的意图。由于规划是在低维潜在空间中执行的，因此学习到的策略可以立即用于解决或适应新任务，而无需额外的训练。我们证明了所提出的框架可以学习紧凑的表示（具有197维和36维状态特征和动作的人形机器人的3维和1维潜在状态和命令），同时解决少量的模仿任务，并且由此产生的策略直接适用于其他类型的任务，即，在杂乱的环境中导航。视频：https://youtu.be/HQsQysUWOhg
2021-04-06 cs.LG cs.RO
Constrained Policy Optimization via Bayesian World Models
ETH Zurich（苏黎世联邦理工学院）
在高风险的现实世界应用中部署强化学习时，提高样本效率和安全性是至关重要的挑战。我们提出了LAMBDA，一种新的基于模型的方法，通过约束马尔可夫决策过程建模的安全关键任务的政策优化。我们的方法利用贝叶斯世界模型，并利用由此产生的不确定性，以最大限度地提高乐观的任务目标的上限，以及悲观的安全约束的上限。我们展示了LAMBDA的安全健身房基准套件在样本效率和约束违反方面的最先进的性能。
2022-02-06 cs.AI cs.LG cs.RO
On the Optimality of Batch Policy Optimization Algorithms
University of Alberta（阿尔伯塔大学）；Carnegie Mellon University（卡内基梅隆大学）；Google Research, Brain Team（谷歌研究院，大脑团队）；DeepMind；Amazon（亚马逊）
批量策略优化考虑在与环境交互之前利用现有数据进行策略构建。虽然近年来对这个问题的兴趣显著增加，但其理论基础仍然不发达。为了提高对这个问题的理解，我们提供了三个结果，其特点的限制和可能性的批处理策略优化的有限武装随机土匪设置。首先，我们介绍了一类信心调整的指数算法，统一的乐观和悲观的原则，在一个共同的框架，这使得一般的分析。对于这个家庭，我们表明，任何信心调整指数算法是最小最大最优的，无论是乐观的，悲观的或中立的。我们的分析表明，依赖于实例的最优性，通常用于建立在线随机强盗算法的最优性，不能实现任何算法在批量设置。特别是，对于在某些环境中表现最佳的任何算法，存在另一种环境，在这种环境中，相同的算法遭受任意更大的遗憾。因此，为了建立一个框架，区分算法，我们引入了一个新的加权极大极小准则，认为固有的困难的最优值预测。我们演示了如何使用这个标准来证明常用的批处理策略优化的悲观原则。
2021-04-06 cs.LG
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale
Google Deepmind（谷歌DeepMind）；University of Southern California（南加州大学）
针对不完美专家离线演示如何引导 MDP 在线学习的问题，提出 iPSRL 分析算法及可计算的 iRLSVI，将 RLSVI 与模仿学习结合，并显著降低贝叶斯遗憾。
2023-07-16 cs.AI cs.LG
Optimistic Exploration for Risk-Averse Constrained Reinforcement Learning
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林三一学院）
本文提出乐观风险规避演员-评论家（ORAC）方法，通过上界奖励与下界风险成本的探索策略，在满足安全约束的同时避免次优收敛，并在 Safety-Gymnasium 和 CityLearn 中显著改善奖励-成本权衡。
2025-08-27 cs.AI cs.LG
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton（纽约州立大学宾汉姆顿分校）
强化学习（RL）使智能体能够从试错经验中学习，以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务，但由于它们不同的计算模式，RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率，我们开发了Guided Dyna-Q（GDQ），使RL agent能够使用动作知识进行推理，以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务，在多房间的办公室环境中进行了评估。与竞争基线相比，GDQ显著减少了探索的努力，同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
Optimistic PAC Reinforcement Learning: the Instance-Dependent View
Meta AI；ENS Lyon（里昂高等师范学院）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
乐观算法已被广泛研究的遗憾最小化的情节表MDP，无论是从极大极小和实例依赖的观点。然而，对于PAC RL问题，其目标是以高概率确定接近最优的策略，很少有人知道它们的实例依赖的样本复杂性。Wagenmaker et al.（2021）的一个否定结果表明，乐观抽样规则不能用于获得（仍然难以捉摸的）最佳实例依赖样本复杂度。在积极的方面，我们为PAC RL，BPI-UCRL的乐观算法提供了第一个依赖于实例的界限，其中只有极大极小保证可用（Kaufmann等人，2021年）。虽然我们的边界具有一些最小的访问概率，但与先前工作中出现的值差距相比，它还具有次优差距的精炼概念。此外，在确定性转换的MDP中，我们表明BPI-UCRL实际上是接近最优的。在技术方面，我们的分析非常简单，这要归功于一个新的“目标技巧”。我们补充这些发现与一个新的硬度结果解释为什么PAC RL的实例依赖的复杂性不能很容易地与遗憾最小化，不像在极大极小制度。
2022-07-12 cs.LG
Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation
ETH Zürich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）
我们考虑基于模型的多智能体强化学习，其中环境转换模型是未知的，只能通过昂贵的与环境的交互来学习。我们提出了H-MARL（幻觉多智能体强化学习），这是一种新的样本有效算法，可以有效地平衡探索，即，了解环境和开发，即，在潜在的一般和马尔可夫博弈中实现良好的均衡性能。H-MARL围绕未知的转换模型构建高概率置信区间，并根据新观察到的数据依次更新它们。使用这些，它构建了一个乐观的幻觉游戏的代理人的均衡政策计算在每一轮。我们考虑一般统计模型（例如，高斯过程、深度系综等）以及策略类（例如，深度神经网络），并通过限制智能体的动态后悔，从理论上分析了我们的方法。此外，我们提供了一个收敛速度的基本马尔可夫博弈的均衡。我们在自动驾驶模拟基准上通过实验证明了我们的方法。H-MARL在与环境进行一些交互后学习成功的均衡策略，与非乐观探索方法相比，可以显着提高性能。
2022-07-10 cs.LG cs.MA
Temporal Second Difference Traces
University of Michigan（密歇根大学）
Q学习是一种可靠但低效的非策略时间差方法，每次只支持一步奖励。使用近因启发法替换跟踪更有效，但可靠性较低。在这项工作中，我们介绍了无模型，非政策的时间差方法，更好地利用经验比沃特金斯的Q（λ）。我们引入了乐观Q（λ）和时间二阶差分迹（TSDT）。TSDT在确定性领域中特别强大。TSDT既不使用新近度也不使用频率分类，而是存储（s，a，r，s '，δ），以便在采取明显次优的动作之后可以执行非策略更新。在使用状态抽象时，如在MAXQ中，还有其他优点。我们证明了TSDT在确定性悬崖行走域中明显优于Q学习和Watkins的Q（λ）。噪声悬崖行走域中的结果对于TSDT来说不太有利，但证明了乐观Q（λ）的有效性，这是一种具有TSDT一些优点的替代迹线。
2011-04-24 cs.LG
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
