Memoryless Policy Iteration for Episodic POMDPs
本文提出了一种无记忆策略迭代算法，通过交替单阶段输出策略改进和评估，提高了事件性POMDPs的求解效率。
2025-12-11 cs.LG
Deep Episodic Value Iteration for Model-based Meta-Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一个新的深度Meta强化学习器，我们称之为深度情节值迭代（DEVI）。DEVI使用深度神经网络来学习基于非参数模型的强化学习算法的相似性度量。我们的模型通过反向传播进行端到端训练。尽管使用无模型Q学习目标进行训练，我们表明，DEVI的基于模型的内部结构提供了“一次性”转移到奖励和过渡结构的变化，即使是非常高维的状态空间的任务。
2017-05-09 cs.AI cs.LG stat.ML
Rollout Sampling Approximate Policy Iteration
一些研究人员最近研究了强化学习和分类之间的联系。我们的动机是近似的政策迭代计划的建议没有价值函数，专注于使用分类器的政策表示和解决策略学习作为一个监督学习问题。本文提出了一种改进的策略迭代方案的变种，该方案通过模拟多臂强盗机来解决评估策略中的核心采样问题。由此产生的算法提供了相当的性能，以前的算法实现，但是，与显着减少计算工作。实验证明，在两个标准的强化学习领域：倒立摆和山地车的数量级的改善。
2008-07-06 cs.AI cs.CC cs.LG
The Divergence of Reinforcement Learning Algorithms with Value-Iteration and Function Approximation
City University London（伦敦城市大学）
本文给出了几种主要的强化学习和自适应动态规划算法在使用价值函数的函数逼近器时值迭代的具体发散示例。这些分歧的例子不同于文献中以前的分歧的例子，因为它们适用于贪婪的政策，即在“价值迭代”的情况下。也许令人惊讶的是，使用贪婪策略，也可以得到算法TD（1）和Sarsa（1）的发散。除了这些分歧，我们也实现了分歧的自适应动态规划算法HDP，DHP和GDHP。
2012-07-29 cs.LG
Easy Monotonic Policy Iteration
UC Berkeley（加州大学伯克利分校）
在使用一般函数逼近器（如深度神经网络和其他非线性函数）进行控制的强化学习中，一个关键问题是，对于实践中使用的许多算法，对策略或$Q$函数的更新可能无法提高性能，或者更糟的是，实际上会导致策略性能下降。以前的工作已经解决了这个问题，政策迭代，得到严格的政策改善界限，通过优化政策改善的下限，一个更好的政策得到保证。然而，现有的方法遭受的界限是难以优化的，在实践中，因为它们包括超范数项，不能有效地估计或区分。在这项工作中，我们得到了一个更好的政策改进的界限，其中的超级规范的政策分歧已被替换为平均分歧，这导致了一个算法，简单单调的政策迭代，生成序列的政策，保证非递减的回报，是很容易实现的样本为基础的框架。
2016-02-29 cs.AI cs.LG stat.ML
An Approximate Policy Iteration Viewpoint of Actor-Critic Algorithms
Caltech（加州理工学院）；Georgia Tech（佐治亚理工学院）
在这项工作中，我们考虑基于策略的方法来解决强化学习问题，并建立样本的复杂性保证。基于策略的算法通常由一个参与者和一个批评者组成。我们考虑使用各种政策更新规则的演员，包括著名的自然策略梯度。与文献中采用的梯度上升方法不同，我们将自然策略梯度看作是实现策略迭代的一种近似方法，并证明了自然策略梯度（没有任何正则化）在使用增加的步长时具有几何收敛性.对于批评者，我们考虑使用TD学习与线性函数逼近和离线采样。由于它是众所周知的，在这种设置TD学习可能是不稳定的，我们提出了一个稳定的遗传算法（包括两个具体的算法：$λ$ -平均$Q$ -跟踪和双边$Q$ -跟踪），使用多步返回和广义重要性采样因素，并提供有限样本分析。结合几何收敛的演员与有限样本分析的评论家，我们第一次建立了一个整体的$\mathcal{O}(ε^{-2})$样本复杂性，找到一个最佳的政策（函数逼近误差），使用基于政策的方法下的政策抽样和线性函数逼近。
2023-01-13 cs.LG
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Approximate Policy Iteration Schemes: A Comparison
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于几个近似的变化的政策迭代算法：近似的政策迭代，保守的政策迭代（CPI），一个自然适应的政策搜索的动态规划算法的无限地平线的情况下（PSDP $_\infty$），和最近提出的非平稳政策迭代（NSPI（m））。对于所有的算法，我们描述了性能界限，并通过特别注意所涉及的concentrability常数，迭代次数和所需的内存进行比较。我们的分析强调了以下几点：1）CPI的性能保证可以任意优于API/API（$α$），但这是以相对的-在$\frac{1}ε$指数增加迭代次数为代价的。2)PSDP $_\infty$在两个方面都是最好的：它的性能保证与CPI相似，但迭代次数与API相似。3)相反，API需要一个恒定的内存，CPI和PSDP $_\infty$所需的内存是成比例的迭代次数，这可能是有问题的，当折扣因子$γ$接近1或近似误差$ε$接近$0$ ;我们表明，NSPI（m）算法允许在内存和性能之间进行整体权衡。这些方案的模拟证实了我们的分析。
2014-05-12 cs.AI cs.LG stat.ML
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Variance-Reduced Conservative Policy Iteration
Google Research（谷歌研究院）；Princeton（普林斯顿大学）；Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了将强化学习简化为一系列政策空间上的经验风险最小化问题的样本复杂性。这种基于约简的算法在函数空间中表现出局部收敛，而不是在策略梯度算法的参数空间中，因此不受策略类的可能非线性或不连续参数化的影响。我们提出了一个方差减少的保守策略迭代，提高了样本的复杂性产生的$\varepsilon$功能局部最优从$O(\varepsilon^{-4})$到$O(\varepsilon^{-3})$。在状态覆盖和策略完备性假设下，该算法在$O(\varepsilon^{-2})$次采样后具有$\varepsilon$ -全局最优性，改进了先前建立的$O(\varepsilon^{-3})$采样要求.
2023-01-25 cs.AI cs.LG
Approximate Midpoint Policy Iteration for Linear Quadratic Control
University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Melbourne（墨尔本大学）
本文提出了一种中点策略迭代算法来求解线性二次型最优控制问题，包括基于模型和无模型两种情况。该算法是一个变化的牛顿法，我们表明，在基于模型的设置，它实现立方收敛，这是优于标准的政策迭代和政策梯度算法，实现二次和线性收敛，分别。我们还表明，该算法可以近似实现的动力学模型的知识，通过使用最小二乘估计的状态动作值函数的轨迹数据，从该政策的改进，可以得到。有了足够的轨迹数据，策略迭代立方收敛到近似最优策略，并且这与近似标准策略迭代具有相同的可用样本预算。数值实验证明了算法的有效性。
2022-02-15 cs.LG cs.SY eess.SY
Dual Policy Iteration
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Aurora Innovation（Aurora创新公司）
最近，一类新的近似策略迭代（API）算法已经展示了令人印象深刻的实际性能（例如，[27]第27话，这种新的算法家族维护并交替优化两种策略：快速、反应性策略（例如，在测试时部署的深度神经网络），以及慢的、非反应性策略（例如，树搜索），可以提前计划多个步骤。被动策略在被动策略的监督下进行更新，被动策略在被动策略的指导下进行改进。在这项工作中，我们研究了这种双重政策迭代（DPI）战略交替优化框架，并提供了一个收敛分析，扩展现有的API理论。我们还开发了一个特殊的例子，这个框架，减少了更新的非反应性的政策，以基于模型的最优控制使用学习的本地模型，并提供了一个理论上合理的方式统一无模型和基于模型的RL方法与未知的动态。我们证明了我们的方法对各种连续控制马尔可夫决策过程的有效性。
2019-04-05 cs.LG stat.ML
On the Convergence of Approximate and Regularized Policy Iteration Schemes
Criteo AI Lab（科韬人工智能实验室）
熵正则化算法（如Soft Q-learning和Soft Actor-Critic）最近在许多具有挑战性的强化学习（RL）任务上表现出最先进的性能。正则化公式修改了标准RL目标，因此通常会收敛到与原始RL问题的最佳贪婪策略不同的策略。在实际应用中，控制正则化最优策略的次优性是非常重要的。在本文中，我们建立了一个大类的正则化动态规划算法的收敛性的充分条件，统一下正则化修改策略迭代（MPI）和保守值迭代（VI）计划。我们提供了明确的收敛速度的最优性依赖于正则化参数的下降率。我们的实验表明，经验误差密切遵循既定的理论收敛速度。除了最优性，我们证明了正则化算法的两个理想的行为，即使在没有近似：鲁棒性随机环境和安全的轨迹引起的政策迭代。
2019-10-14 cs.LG stat.ML
CASA: Bridging the Gap between Policy Improvement and Policy Evaluation with Conflict Averse Policy Iteration
Bytedance（字节跳动）
研究了无模型强化学习问题，该问题通常采用广义策略迭代（GPI）原则来解决。虽然GPI通常是政策评估和政策改进之间的相互作用，但大多数传统的无模型方法假设GPI步骤的粒度和其他细节是独立的，尽管它们之间存在固有的联系。在本文中，我们提出了一种方法，规则化的政策评估和政策改进之间的不一致，导致冲突厌恶的GPI解决方案，减少功能近似误差。为此，我们制定了一个新的学习范式，其中采取的政策评估步骤相当于执行政策改进的一些补偿，从而有效地消除了两个GPI步骤之间的梯度冲突。我们还表明，我们提出的解决方案的形式相当于执行熵正则化的政策改进，因此防止政策被困在次优的解决方案。我们进行了广泛的实验，以评估我们的方法在街机学习环境（ALE）。实证结果表明，我们的方法优于几个强大的基线在主要的评估领域。
2023-02-25 cs.AI cs.LG
Applying Policy Iteration for Training Recurrent Neural Networks
循环神经网络常用于学习时间序列数据。基于一些假设，我们将此学习任务建模为非线性最小二乘成本函数的最小化问题。成本函数的特殊结构使我们能够与强化学习建立联系。我们利用这种连接，并得出一个收敛的，基于策略迭代的算法。此外，我们认为，RNN训练可以很自然地融入强化学习框架。
2004-10-02 cs.AI cs.LG cs.NE
Reliable Policy Iteration: Performance Robustness Across Architecture and Environment Perturbations
Indian Institute of Science（印度科学研究院）；Kalinga Institute of Industrial Technology（工业技术学院）；NVIDIA Research（NVIDIA研究）
RPI通过在函数逼近设置中恢复策略迭代的值估计单调性属性，在CartPole和倒置摆任务中展现出对神经网络和环境扰动的鲁棒性，相较于其他深度强化学习方法，其早期性能优势和稳定性使其成为更可靠的替代方案。
2025-12-12 cs.AI cs.LG
Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample
Yuanlong Chen（陈元龙）
针对非均匀更新频率下的蒙特卡洛乐观策略迭代，本文通过一个三状态MDP反例证明标量步长非均匀异步值迭代可能不收敛，并揭示了各向异性畸变导致的切换吸引环。
2026-06-16 cs.LG
Unifying Value Iteration, Advantage Learning, and Dynamic Policy Programming
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）
近似值迭代等近似动态规划算法已经成功应用于许多复杂的强化学习任务，更好的近似动态规划算法有望进一步扩展强化学习对各种任务的适用性。在本文中，我们提出了一个新的，强大的动态规划算法，统一的价值迭代，优势学习和动态政策规划。我们称之为广义值迭代（GVI）及其近似版本，近似GVI（AGVI）。我们显示AGVI的性能保证，其中包括现有算法的性能保证，作为特殊情况。我们讨论了现有算法的理论弱点，并解释AGVI的优势。在一个简单的环境中的数值实验支持理论的论点，并建议AGVI是一个有前途的替代以前的算法。
2017-10-30 cs.LG stat.ML
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海数学与交叉学科研究院）；Stanford University（斯坦福大学）
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界，排除其强多项式性，并与单纯形法形成指数分离，揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Abstract Value Iteration for Hierarchical Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种新的分层强化学习框架，用于连续状态和动作空间的控制。在我们的框架中，用户指定的子目标区域的状态的子集，然后，我们（i）学习选项，作为这些子目标区域之间的过渡，以及（ii）在由此产生的抽象决策过程（ADP）构建一个高层次的计划。一个关键的挑战是，ADP可能不是马尔可夫，我们提出了两个算法，规划在ADP解决。我们的第一个算法是保守的，使我们能够证明其性能的理论保证，这有助于通知子目标区域的设计。我们的第二个算法是一个实用的交织在抽象层面的规划和学习在具体的水平。在我们的实验中，我们证明了我们的方法在几个具有挑战性的基准测试中优于最先进的分层强化学习算法。
2021-02-25 cs.LG
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind（深度思考）；OpenAI；University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
蒙特卡罗树搜索（MCTS）算法执行基于模拟的搜索以在线改进策略。在搜索过程中，模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题，但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法，策略梯度搜索（PGS），通过策略梯度更新在线适应神经网络模拟策略，避免了搜索树的需要。在Hex中，PGS实现了与MCTS相当的性能，并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
From Optimization to Control: Quasi Policy Iteration
本文提出一种基于准牛顿方法的准策略迭代算法，用于马尔可夫决策过程，通过引入Hessian矩阵的近似和线性约束，提升收敛性能和鲁棒性。
2026-01-03 cs.LG cs.SY eess.SY
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Automatic feature identification in least-squares policy iteration using the Koopman operator framework
Department of Computer Science & Lamarr Institute, TU Dortmund University, Germany（德国多特蒙德工业大学计算机科学系与拉马尔研究所）
本文提出了一种基于Koopman自动编码器的最小二乘策略迭代算法（KAE-LSPI），通过扩展动态模式分解（EDMD）重构线性强化学习中的特征学习问题，无需预先设定特征或核函数，实验表明其在特征数量和策略收敛性上表现良好。
2026-03-27 cs.LG math.DS
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis（加州大学戴维斯分校）
最近发现的有限状态-动作折扣马尔可夫决策过程（MDP）的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明，价值空间是一个联盟的许多细胞相同的超平面安排，并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发，我们提出了一种新的算法，几何策略迭代（GPI），以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作，然后立即更新价值函数，来更新单个状态的策略。这种新的更新规则旨在更快地提高值，而不影响计算效率。此外，我们的算法允许异步更新的状态值，这是更灵活和有利的传统的策略迭代相比，当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$，并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Lower Bounds for Policy Iteration on Multi-action MDPs
Indian Institute of Technology Bombay（印度理工学院孟买分校）
策略迭代（PI）是一个经典的算法家族，用于计算任何给定马尔可夫决策问题（MDP）的最优策略。PI的基本思想是从某个初始策略开始，并从一个改进集合中重复更新策略，直到达到最优策略。PI的不同变体来自用于改进的（切换）规则。一个重要的理论问题是，作为输入MDP中的状态数$n$和动作数$k$的函数，指定的PI变体将进行多少次迭代来终止。虽然在这个数字的上限方面取得了相当大的进展，但在下限方面的结果较少。特别是，现有的下限主要集中在特殊情况下的$k = 2$行动。我们设计了$k \geq 3$的下界。我们的主要结果是，PI的一个特定的变体可以采取$Ω(k^{n/2})$迭代终止。我们还概括了现有的结构$2$ -行动MDP规模下限的$k$的一些常见的确定性的PI的变体的一个因素，并通过$\log(k)$相应的随机变量。
2020-09-16 cs.LG math.OC stat.ML
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数，并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下，一个众所周知的长期未决问题是证明这样一个方案的收敛性，当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的（参见[Sutton和Barto，2018]的第99页，[Tsitsiklis，2002]的第8页）。我们提出了一个解决方案的开放的问题，通过显示，这样的政策迭代方案的首次访问版本确实收敛到最优的政策，提供了政策改进步骤使用前瞻[银等，2016年，Mnih等人，2016，Silver等人，2017年12月27日，[[2017]]而不是简单的贪婪政策改进。我们提供的结果，为原来的开放式问题的表格设置，也提出了扩展的功能近似设置，在那里我们表明，从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Deep Conservative Policy Iteration
Google Research（谷歌研究院）
保守策略迭代（CPI）是近似动态规划（ADP）的一种基本算法.它的核心原理是通过连续策略的随机混合来稳定贪婪。它具有强大的理论保证，以及深度强化学习（RL）中的启发性方法。但CPI本身很少被实现，从来没有与神经网络，只在玩具问题上进行过实验。在本文中，我们展示了CPI如何通过离散动作与深度RL相结合。我们还介绍了自适应混合率的理论启发。我们彻底实验简单的Cartpole问题的算法，并验证所提出的方法上的Atari游戏的代表性子集。总的来说，这项工作表明，重温经典ADP可能会导致改进和更稳定的深度RL算法。
2020-01-06 cs.LG stat.ML
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种无模型近似的Hessian的性能确定性的政策，用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明，近似Hessian收敛到精确的Hessian在最优策略，并允许超线性收敛的学习，提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下，所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Amortized Score-Hamiltonian Policy Iteration: A Grid-Free Scheme for Relaxed Stochastic Control Problems
Florida State University（佛罗里达州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出摊销无网格的得分-哈密顿策略迭代算法，用于熵正则化松弛随机控制问题，通过共享条件采样器和参数化评论家实现耦合演员-评论家学习，并给出误差界限与高维数值验证。
2026-10-06 cs.LG math.OC
Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法来预测性能的强化学习政策给定的历史数据，可能已经产生了不同的政策。从历史数据中评估策略的能力对于部署错误策略可能会带来危险或代价高昂的应用程序非常重要。我们的经验表明，我们的算法产生的估计，往往有数量级较低的均方误差比现有的方法-它使更有效地利用现有的数据。我们的新估计器基于两个进步：双重稳健估计器的扩展（Jiang和Li，2015），以及一种混合基于模型的估计和基于重要性采样的估计的新方法。
2016-04-04 cs.AI cs.LG
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford（牛津大学）；Auburn University（奥本大学）
本文提出了一个均值-方差策略迭代（MVPI）框架，用于贴现无限时域MDP中的风险厌恶控制，该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性，因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制，无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距，并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子，它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的，这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance（字节跳动）；Nankai University（南开大学）
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制，具有封闭多样性、不变性探索和自适应权衡三个特性，这有助于基于值的方法避免策略崩溃问题。然而，不存在一个并行的机制，基于策略的方法，实现所有三个特征。在本文中，我们提出了一个熵正则化的自由机制，设计的基于策略的方法，实现了封闭形式的多样性，不变性探索和自适应权衡。我们的实验表明，我们的机制是超级样本效率的基于策略的方法，并提高了基于策略的基线，以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Relative Entropy Regularized Policy Iteration
DeepMind（深度思维）
我们提出了一个非策略的演员-评论家算法的强化学习（RL），通过随机搜索与学习动作-价值函数的无梯度优化相结合的想法。其结果是一个简单的程序，包括三个步骤：i）政策评估估计的参数行动价值函数; ii）政策改进通过估计的本地非参数政策;和iii）通过拟合参数政策的推广。每个步骤可以以不同的方式实现，从而产生几种算法变体。我们的算法借鉴了与黑盒优化和“RL作为推理”的现有文献的联系，并且它可以被视为最大后验策略优化算法（MPO）的扩展[Abdolmaleki等人，2018 a]，或作为信赖域协方差矩阵适应进化策略（CMA-ES）的扩展[Abdolmaleki et al.，2017 b; Hansen等人，1997年]的政策迭代方案。我们对跑酷套件中的31个连续控制任务进行了比较[Heess et al.，2017]，DeepMind控制套件[Tassa等人，2018]和OpenAI Gym [Brockman等人，2016]具有不同的属性，有限的计算量和一组超参数，证明了我们的方法的有效性和最先进的结果。总结结果的视频可以在goo.gl/HtvJKR上找到。
2018-12-05 cs.LG stat.ML
Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了线性二次调节器（LQR）的近似策略迭代（PI）的样本复杂性，建立在最近的工作线上，使用LQR作为测试平台，以了解强化学习（RL）算法在连续控制任务上的局限性。我们的分析量化了政策改进和政策评估之间的紧张关系，并认为政策评估是样本复杂性的主导因素。具体而言，我们表明，要获得一个控制器，最优的LQR控制器的$\varepsilon$内，每一步的政策评估需要最多$(n+d)^3/\varepsilon^2$样本，其中$n$是状态向量的维度和$d$是输入向量的维度。另一方面，只有$\log(1/\varepsilon)$策略改进步骤就足够了，导致总体示例复杂度为$(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$。我们进一步建立在我们的分析和构造一个简单的自适应程序的基础上$\varepsilon$贪婪的探索依赖于近似PI作为一个子例程，并获得$T^{2/3}$遗憾，改善后，最近的结果Abbasi-Yadkori等人。
2019-05-30 cs.LG math.OC stat.ML
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Feasible Policy Iteration for Safe Reinforcement Learning
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与出行学院）；College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对安全强化学习缺乏基础动态规划算法的问题，提出FPI，通过策略评估、区域识别与分区域策略改进，保证可行区域扩张、价值提升及几何收敛，并在低维与高维任务中验证安全性和性能优势。
2025-03-13 cs.LG cs.SY eess.SY
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research New York（微软纽约研究院）
我们研究了批量强化学习的安全威胁，并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器，它首先从批量数据集中估计动态和奖励，然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集，并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架，并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明，这两个实例化的结果在凸优化问题上的全局最优性是有保证的，并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
Optimization Issues in KL-Constrained Approximate Policy Iteration
DeepMind（深度思维）；Google（谷歌）；University of Alberta（阿尔伯塔大学）
许多强化学习算法可以被视为近似策略迭代（API）的版本。虽然标准API通常表现不佳，但已经表明，通过将每个策略更新规则化到前一个策略的KL发散，可以稳定学习。流行的实用算法，如TRPO，MPO和VMPO，通过对连续策略的KL发散的约束来取代正则化，认为这更容易实现和调整。在这项工作中，我们更详细地研究这种实现选择。我们比较使用KL散度作为约束与作为正则化，并指出了几个优化问题与广泛使用的约束方法。我们表明，约束算法不能保证收敛，即使在简单的问题的情况下，约束问题可以得到精确的解决，实际上会招致线性预期遗憾。通过使用softmax策略的近似实现，我们证明了正则化可以改善原始目标的优化效果。我们证明了这些问题的经验上几个强盗和RL环境。
2021-02-11 cs.LG stat.ML
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）
在一些强化学习问题中，可以向代理提供一组输入策略，这些输入策略可能是从先前的经验中学习的，或者是由顾问提供的。我们提出了一个带有策略建议的强化学习（RLPA）算法，该算法利用这个输入集，并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O（\sqrt{T}）相对于最佳的输入策略，并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
Bellman Gradient Iteration for Inverse Reinforcement Learning
California Institute of Technology（加州理工学院）
本文提出了一种逆强化学习算法，旨在从观察到的行为的代理恢复的奖励函数。我们引入了一种策略来灵活地处理不同类型的行动与两个近似的贝尔曼最优性方程，和贝尔曼梯度迭代方法来计算梯度的Q值相对于奖励函数。这些方法允许我们在Q值和奖励函数之间建立可微关系，并使用梯度方法学习近似最优的奖励函数。我们在两个模拟环境中测试所提出的方法，通过评估不同的近似的准确性，并比较所提出的方法与现有的解决方案。结果表明，即使使用线性奖励函数，所提出的方法具有与采用非线性奖励函数的最先进的方法相当的精度，并且所提出的方法更灵活，因为它是根据观察到的动作而不是轨迹来定义的。
2017-07-24 cs.LG cs.RO
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook（纽约州立大学石溪分校）；Peking University（北京大学）
经典的强化学习（RL）旨在优化期望的累积奖励。在这项工作中，我们考虑RL设置，其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络，并提出了一种新的策略梯度算法，称为基于分位数的策略优化（QPO）及其变种基于分位数的近端策略优化（QPPO），以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度，同时估计分位数和政策参数，并在一定条件下收敛到全局最优的政策。我们的数值结果表明，所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
Momentum in Reinforcement Learning
Google Research（谷歌研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
我们将优化的动量概念应用于强化学习。将状态-作用价值函数看作是优化中梯度的模拟，我们将动量解释为连续$q$函数的平均值。我们推导出动量价值迭代（MoVI），这是价值迭代的一种变体，它包含了动量的概念。我们的分析表明，这使得MoVI可以在连续迭代中平均误差。我们表明，所提出的方法可以很容易地扩展到深度学习。具体来说，我们提出了一个简单的改进DQN基于MoVI，并在Atari游戏进行实验。
2020-03-31 cs.LG stat.ML
