Approximate Policy Iteration Schemes: A Comparison
Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于几个近似的变化的政策迭代算法：近似的政策迭代，保守的政策迭代（CPI），一个自然适应的政策搜索的动态规划算法的无限地平线的情况下（PSDP $_\infty$），和最近提出的非平稳政策迭代（NSPI（m））。对于所有的算法，我们描述了性能界限，并通过特别注意所涉及的concentrability常数，迭代次数和所需的内存进行比较。我们的分析强调了以下几点：1）CPI的性能保证可以任意优于API/API（$α$），但这是以相对的-在$\frac{1}ε$指数增加迭代次数为代价的。2)PSDP $_\infty$在两个方面都是最好的：它的性能保证与CPI相似，但迭代次数与API相似。3)相反，API需要一个恒定的内存，CPI和PSDP $_\infty$所需的内存是成比例的迭代次数，这可能是有问题的，当折扣因子$γ$接近1或近似误差$ε$接近$0$ ;我们表明，NSPI（m）算法允许在内存和性能之间进行整体权衡。这些方案的模拟证实了我们的分析。
2014-05-12 cs.AI cs.LG stat.ML
Applying Policy Iteration for Training Recurrent Neural Networks
循环神经网络常用于学习时间序列数据。基于一些假设，我们将此学习任务建模为非线性最小二乘成本函数的最小化问题。成本函数的特殊结构使我们能够与强化学习建立联系。我们利用这种连接，并得出一个收敛的，基于策略迭代的算法。此外，我们认为，RNN训练可以很自然地融入强化学习框架。
2004-10-02 cs.AI cs.LG cs.NE
Which Experiences Are Influential for Your Agent? Policy Iteration with Turn-over Dropout
本文提出PI+ToD方法，通过在策略迭代中利用流失Dropout来高效估计强化学习中各经验对智能体性能的影响，并在MuJoCo环境中验证了其效率。
2023-05-22 cs.AI cs.LG
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Policy Iteration for Relational MDPs
Tufts University（塔夫茨大学）
关系马尔可夫决策过程是复杂的强化学习问题和随机规划问题的一个有用的抽象。最近的工作开发了表示方案和算法规划在这样的问题，使用值迭代算法。然而，更复杂的算法，包括策略迭代的确切版本尚未开发或分析。本文探讨了这种潜力，并作出了一些贡献。首先，我们观察到两个异常的关系表示，一些政策的价值是没有很好地定义或无法计算的限制表示方案中使用的文献。另一方面，我们开发了一种可以绕过这些异常的政策迭代变体。该算法在策略评估的过程中包含了策略改进的内容，因此与原算法不同。我们表明，尽管存在这种差异，算法收敛到最优策略。
2012-06-20 cs.AI
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
On the Performance Bounds of some Policy Search Dynamic Programming Algorithms
LORIA（洛林计算机科学及其应用实验室）
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于策略搜索算法，该算法通过遵循标准策略迭代（PI）方案经由近似贪婪算子来计算近似最优策略（Kakade和Langford，2002; Lazaric等人，2010年）。我们描述了直接策略迭代（DPI）的现有和一些新的性能界限（Lagoudakis和Parr，2003; Fern等人，2006; Lazaric等人，2010）和保守政策迭代（CPI）（Kakade和Langford，2002）。通过特别注意这种保证中涉及的集中性常数，我们特别认为CPI的保证比DPI的保证好得多，但这是以相对的$\frac{1}ε$指数增加时间复杂度为代价的。然后，我们描述了一种算法，非平稳直接策略迭代（NSDPI），它可以被视为1）Bagnell等人（2003）的动态规划策略搜索到无限水平情况的变体，或者2）Scherrer和Lesner（2012）的非平稳PI的简化版本。我们提供了这个算法的分析，特别是它享有最好的两个世界：其性能保证是类似的CPI，但在时间复杂度类似的DPI。
2013-06-03 cs.AI cs.LG
Approximate Policy Iteration with Bisimulation Metrics
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Samsung AI Center（三星人工智能中心）
互模拟度量基于奖励序列的比较来定义马尔可夫决策过程（MDP）的状态之间的距离度量。由于这一性质，它们为价值函数逼近（VFA）提供了理论保证。在这项工作中，我们首先证明了互模拟和$π$互模拟度量可以定义通过更一般的类Sinkhorn距离，它统一了各种状态相似性度量在最近的工作。然后，我们描述了一个近似的政策迭代（API）的过程，使用基于bisimulation的离散化的状态空间的VFA和证明渐近性能界。接下来，我们根据策略本身的变化来限制$π$ -互模拟度量之间的差异。基于这些结果，我们设计了一个API（$α$）程序，采用保守的政策更新，并享有更好的性能界限比天真的API方法。我们讨论了如何将这些API程序映射到使用互模拟度量进行状态表示学习的实际演员-评论家方法上。最后，我们验证了我们的理论结果，并调查其实际意义，通过控制的实证分析的基础上实现基于双向模拟的API有限MDPs。
2022-11-14 cs.AI cs.LG
Optimistic Policy Iteration for MDPs with Acyclic Transient State Structure
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sandia National Laboratories（桑迪亚国家实验室）
我们考虑马尔可夫决策过程（MDP），其中每个静态策略都为底层马尔可夫链引入相同的图结构，并且该图具有以下性质：如果我们将每个递归类替换为节点，则所得图是无环的。对于这样的MDP，我们证明了与Tsitsiklis（2002）中提出的乐观策略迭代（OPI）版本相关的随机动态的收敛性，其中与OPI每次迭代期间访问的所有节点相关的值都被更新。
2021-03-09 cs.LG
On the Complexity of Policy Iteration
AT&T Labs-Research（AT&T实验室-研究部）；Tel-Aviv University（特拉维夫大学）
在不确定或随机域中的决策问题通常被表述为马尔可夫决策过程（MDP）。策略迭代（PI）是一种流行的策略空间搜索算法，其大小与状态数成指数关系。我们感兴趣的范围内的复杂性PI不依赖于折扣因子的值。在本文中，我们证明了第一个这样的非平凡的，最坏的情况下，上界PI收敛到最优策略所需的迭代次数。我们的分析还揭示了PI通过政策空间取得进展的方式。
2013-01-23 cs.AI
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文提出双重平滑策略迭代框架，将自然策略梯度等方法统一为贝尔曼算子形式，证明其分布无关的几何收敛性，且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University（索迈亚维迪亚维哈尔大学）
随着实时处理的影响在最近的过去被实现，强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点，但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索，特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大，我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程，并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比，平均1.48倍的加速比，比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Analysis of Lower Bounds for Simple Policy Iteration
IIT Bombay（印度理工学院孟买分校）
策略迭代是一系列算法，用于为给定的马尔可夫决策问题（MDP）找到最优策略。简单策略迭代（SPI）是一种策略迭代，其策略是在每一步都在一个可改进的状态下更改策略。Melekopoglou和Condon [1990]表明，对于2个动作的MDP，SPI所采取的迭代次数具有指数下限。此后，该结果未推广至$k-$作用MDP。在本文中，我们回顾了Melekopoglou和Condon的算法和分析。我们推广了以前的结果，并证明了一个新的指数下界的政策迭代$N-$状态，$k-$行动MDP的迭代次数。我们构造了一个MDP族，并给出了一个基于索引的切换规则，该规则产生了$\mathcal{O}\big((3+k)2^{N/2-3}\big)$的一个强下界。
2019-11-28 cs.LG math.OC stat.ML
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford（牛津大学）；Auburn University（奥本大学）
本文提出了一个均值-方差策略迭代（MVPI）框架，用于贴现无限时域MDP中的风险厌恶控制，该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性，因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制，无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距，并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子，它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的，这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Memoryless Policy Iteration for Episodic POMDPs
本文提出了一种无记忆策略迭代算法，通过交替单阶段输出策略改进和评估，提高了事件性POMDPs的求解效率。
2025-12-11 cs.LG
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数，并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下，一个众所周知的长期未决问题是证明这样一个方案的收敛性，当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的（参见[Sutton和Barto，2018]的第99页，[Tsitsiklis，2002]的第8页）。我们提出了一个解决方案的开放的问题，通过显示，这样的政策迭代方案的首次访问版本确实收敛到最优的政策，提供了政策改进步骤使用前瞻[银等，2016年，Mnih等人，2016，Silver等人，2017年12月27日，[[2017]]而不是简单的贪婪政策改进。我们提供的结果，为原来的开放式问题的表格设置，也提出了扩展的功能近似设置，在那里我们表明，从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
An Approximate Policy Iteration Viewpoint of Actor-Critic Algorithms
Caltech（加州理工学院）；Georgia Tech（佐治亚理工学院）
在这项工作中，我们考虑基于策略的方法来解决强化学习问题，并建立样本的复杂性保证。基于策略的算法通常由一个参与者和一个批评者组成。我们考虑使用各种政策更新规则的演员，包括著名的自然策略梯度。与文献中采用的梯度上升方法不同，我们将自然策略梯度看作是实现策略迭代的一种近似方法，并证明了自然策略梯度（没有任何正则化）在使用增加的步长时具有几何收敛性.对于批评者，我们考虑使用TD学习与线性函数逼近和离线采样。由于它是众所周知的，在这种设置TD学习可能是不稳定的，我们提出了一个稳定的遗传算法（包括两个具体的算法：$λ$ -平均$Q$ -跟踪和双边$Q$ -跟踪），使用多步返回和广义重要性采样因素，并提供有限样本分析。结合几何收敛的演员与有限样本分析的评论家，我们第一次建立了一个整体的$\mathcal{O}(ε^{-2})$样本复杂性，找到一个最佳的政策（函数逼近误差），使用基于政策的方法下的政策抽样和线性函数逼近。
2023-01-13 cs.LG
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文研究了大型关系马尔可夫决策过程的策略选择问题。我们考虑近似策略迭代（API）的一个变体，它用策略空间中的学习步骤代替了通常的值函数学习步骤。这在好的策略比相应的价值函数更容易表示和学习的领域中是有利的，这通常是我们感兴趣的关系MDP的情况。为了将API应用于此类问题，我们引入了一种关系策略语言和相应的学习器。此外，我们引入了一个新的自举例程为基础的目标规划域，基于随机游走。这种引导对于许多大型关系型MDP是必要的，其中奖励非常稀疏，因为当使用不知情的策略初始化时，API在这些域中是无效的。我们的实验表明，所得到的系统是能够找到良好的政策，为一些经典的规划域和他们的随机变量，解决他们作为非常大的关系MDP。实验还指出了我们的方法的一些局限性，建议未来的工作。
2011-09-09 cs.AI
Approximate Midpoint Policy Iteration for Linear Quadratic Control
University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Melbourne（墨尔本大学）
本文提出了一种中点策略迭代算法来求解线性二次型最优控制问题，包括基于模型和无模型两种情况。该算法是一个变化的牛顿法，我们表明，在基于模型的设置，它实现立方收敛，这是优于标准的政策迭代和政策梯度算法，实现二次和线性收敛，分别。我们还表明，该算法可以近似实现的动力学模型的知识，通过使用最小二乘估计的状态动作值函数的轨迹数据，从该政策的改进，可以得到。有了足够的轨迹数据，策略迭代立方收敛到近似最优策略，并且这与近似标准策略迭代具有相同的可用样本预算。数值实验证明了算法的有效性。
2022-02-15 cs.LG cs.SY eess.SY
Quantum Reinforcement Learning via Policy Iteration
Université de Paris（巴黎大学）；CNRS（法国国家科学研究中心）；IRIF（法国信息与自动化研究所）；QC Ware（QC Ware公司）
本文提出了一个通过策略迭代执行量子强化学习的通用框架，通过构建量子态编码价值函数实现量子策略评估与改进，并在OpenAI Gym环境中验证了其理论与实验性能。
2022-03-03 cs.LG quant-ph
Dual Policy Iteration
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Aurora Innovation（Aurora创新公司）
最近，一类新的近似策略迭代（API）算法已经展示了令人印象深刻的实际性能（例如，[27]第27话，这种新的算法家族维护并交替优化两种策略：快速、反应性策略（例如，在测试时部署的深度神经网络），以及慢的、非反应性策略（例如，树搜索），可以提前计划多个步骤。被动策略在被动策略的监督下进行更新，被动策略在被动策略的指导下进行改进。在这项工作中，我们研究了这种双重政策迭代（DPI）战略交替优化框架，并提供了一个收敛分析，扩展现有的API理论。我们还开发了一个特殊的例子，这个框架，减少了更新的非反应性的政策，以基于模型的最优控制使用学习的本地模型，并提供了一个理论上合理的方式统一无模型和基于模型的RL方法与未知的动态。我们证明了我们的方法对各种连续控制马尔可夫决策过程的有效性。
2019-04-05 cs.LG stat.ML
On the Convergence of Approximate and Regularized Policy Iteration Schemes
Criteo AI Lab（科韬人工智能实验室）
熵正则化算法（如Soft Q-learning和Soft Actor-Critic）最近在许多具有挑战性的强化学习（RL）任务上表现出最先进的性能。正则化公式修改了标准RL目标，因此通常会收敛到与原始RL问题的最佳贪婪策略不同的策略。在实际应用中，控制正则化最优策略的次优性是非常重要的。在本文中，我们建立了一个大类的正则化动态规划算法的收敛性的充分条件，统一下正则化修改策略迭代（MPI）和保守值迭代（VI）计划。我们提供了明确的收敛速度的最优性依赖于正则化参数的下降率。我们的实验表明，经验误差密切遵循既定的理论收敛速度。除了最优性，我们证明了正则化算法的两个理想的行为，即使在没有近似：鲁棒性随机环境和安全的轨迹引起的政策迭代。
2019-10-14 cs.LG stat.ML
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample
Yuanlong Chen（陈元龙）
针对非均匀更新频率下的蒙特卡洛乐观策略迭代，本文通过一个三状态MDP反例证明标量步长非均匀异步值迭代可能不收敛，并揭示了各向异性畸变导致的切换吸引环。
2026-06-16 cs.LG
Performance Bounds for Lambda Policy Iteration and Application to the Game of Tetris
INRIA Lorraine（洛林国家信息与自动化研究所）
我们考虑离散时间无限时域最优控制问题的形式化马尔可夫决策过程。我们回顾了Bertsekas和Ioffe的工作，他们引入了$λ$策略迭代，这是一个由$λ$参数化的算法族，它概括了标准算法值迭代和策略迭代，并且与Sutton和Barto描述的时间差异算法TD（$λ$）有一些深层联系。我们深化了原来的理论发展的作者提供的收敛速度界，推广标准界的值迭代描述，例如由Puterman。然后，本文的主要贡献是发展的理论，这种算法时，它是在一个近似的形式，并表明这是健全的。这样做，我们扩展并统一了Munos为近似值迭代和近似策略迭代开发的单独分析。最后，我们重新审视使用该算法在训练的俄罗斯方块播放控制器最初所做的Bertsekas和Ioffe。我们提供了一个原始的性能界，可以应用到这样一个未折现的控制问题。我们的实证结果不同于Bertsekas和Ioffe的结果（他们最初被定性为“矛盾的”和“有趣的”），而更符合人们对学习实验的期望。我们讨论了这种差异的可能原因。
2011-10-11 cs.AI cs.RO
Unifying Value Iteration, Advantage Learning, and Dynamic Policy Programming
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）
近似值迭代等近似动态规划算法已经成功应用于许多复杂的强化学习任务，更好的近似动态规划算法有望进一步扩展强化学习对各种任务的适用性。在本文中，我们提出了一个新的，强大的动态规划算法，统一的价值迭代，优势学习和动态政策规划。我们称之为广义值迭代（GVI）及其近似版本，近似GVI（AGVI）。我们显示AGVI的性能保证，其中包括现有算法的性能保证，作为特殊情况。我们讨论了现有算法的理论弱点，并解释AGVI的优势。在一个简单的环境中的数值实验支持理论的论点，并建议AGVI是一个有前途的替代以前的算法。
2017-10-30 cs.LG stat.ML
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海数学与交叉学科研究院）；Stanford University（斯坦福大学）
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界，排除其强多项式性，并与单纯形法形成指数分离，揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Towards Efficient Risk-Sensitive Policy Gradient: An Iteration Complexity Analysis
针对风险敏感策略梯度迭代复杂度研究不足的问题，对采用指数效用函数的REINFORCE算法开展严格分析，证明其达ε-近似一阶平稳点的迭代复杂度为O(ε⁻²)，且相比风险中性算法具备更快收敛潜力，实验验证了该结论。
2025-08-29 cs.AI cs.LG math.OC
Structured Policy Iteration for Linear Quadratic Regulator
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；Google DeepMind（谷歌DeepMind）
线性二次型调节器（LQR）是处理连续马尔可夫决策过程任务的最流行的框架之一。由于LQR的基本理论和易于处理的最优策略，近年来，在强化学习场景（如无模型或基于模型的设置）方面，LQR被重新审视和分析。在本文中，我们介绍了\textit{Structured Policy Iteration}（S-PI）的LQR，一种方法能够推导出一个结构化的线性政策。这种具有（块）稀疏性或低秩的结构化策略与标准LQR策略相比具有显着优势：更可解释，内存效率更高，并且非常适合分布式设置。为了得到这样的政策，我们首先铸造一个正则化的LQR问题时，模型是已知的。然后，我们的结构化策略迭代（S-PI）算法，它需要一个策略评估步骤和策略改进步骤，在迭代的方式，可以有效地解决这个正则化的LQR。我们进一步扩展的S-PI算法的无模型设置采用平滑过程来估计梯度。在已知模型和无模型的情况下，我们证明了在适当的参数选择下的收敛性分析。最后，通过实验验证了S-PI在平衡LQR性能和结构层次方面的优势。
2020-07-13 cs.AI math.OC
Representation Policy Iteration
University of Massachusetts（马萨诸塞大学）
This paper addresses a fundamental issue central to approximation methods for solving large Markov decision processes (MDPs): how to automatically learn the underlying representation for value function approximation? A novel theoretically rigorous framework is proposed that automatically generates geometrically customized orthonormal sets of basis functions, which can be used with any approximate MDP solver like least squares policy iteration (LSPI). The key innovation is a coordinate-free representation of value functions , using the theory of smooth functions on a Riemannian manifold. Hodge …
2012-07-04 cs.AI
Policy Iteration for Factored MDPs
Stanford University（斯坦福大学）
许多大型MDP可以使用动态贝叶斯网络来表示。虽然值函数的结构不保留过程的结构，但最近的工作表明，因子分解的MDP中的价值函数通常可以使用分解的价值函数很好地近似：<I>限制</I>基函数的线性组合，每个基函数仅涉及变量的一个小子集。可以使用近似动态规划来计算特定策略的近似价值函数，但是这种方法（以及其他方法）只能产生相对于距离度量的近似值，该距离度量由当前策略的静态分布加权。这种加权预测不适合政策改进。我们提出了一种新的方法来确定值，使用一个简单的封闭形式的计算直接计算的最小二乘分解近似的价值函数<I>的任何权重</I>。然后，我们使用此值确定算法作为策略迭代过程中的子例程。我们表明，在合理的限制下，由一个因子化的价值函数诱导的政策是compensable表示，并可以有效地在一个政策迭代过程中进行操作。我们还提出了一种方法，用于计算分解的价值函数使用变量消除算法的函数优化的误差界。我们所有的算法的复杂性取决于系统动力学和近似价值函数的因式分解。
2013-01-16 cs.AI
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind（深度思考）；OpenAI；University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
蒙特卡罗树搜索（MCTS）算法执行基于模拟的搜索以在线改进策略。在搜索过程中，模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题，但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法，策略梯度搜索（PGS），通过策略梯度更新在线适应神经网络模拟策略，避免了搜索树的需要。在Hex中，PGS实现了与MCTS相当的性能，并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
From Optimization to Control: Quasi Policy Iteration
本文提出一种基于准牛顿方法的准策略迭代算法，用于马尔可夫决策过程，通过引入Hessian矩阵的近似和线性约束，提升收敛性能和鲁棒性。
2026-01-03 cs.LG cs.SY eess.SY
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Automatic feature identification in least-squares policy iteration using the Koopman operator framework
Department of Computer Science & Lamarr Institute, TU Dortmund University, Germany（德国多特蒙德工业大学计算机科学系与拉马尔研究所）
本文提出了一种基于Koopman自动编码器的最小二乘策略迭代算法（KAE-LSPI），通过扩展动态模式分解（EDMD）重构线性强化学习中的特征学习问题，无需预先设定特征或核函数，实验表明其在特征数量和策略收敛性上表现良好。
2026-11-09 cs.LG math.DS
Policy Learning and Evaluation with Randomized Quasi-Monte Carlo
U. of Southern California（南加州大学）；U. de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
强化学习不断处理硬积分，例如在策略评估和策略迭代中计算期望时。这些积分很少是解析可解的，并且通常用蒙特卡罗方法估计，这会导致策略值和梯度的高方差。在这项工作中，我们建议用低差异点集代替Monte Carlo样本。我们结合策略梯度方法与随机拟蒙特卡罗，产生方差减少配方的策略梯度和演员评论家算法。这些公式是有效的政策评估和政策改进，因为它们优于国家的最先进的算法标准化的连续控制基准。我们的实证分析验证了用准蒙特卡罗代替蒙特卡罗的直觉，产生了更准确的梯度估计。
2022-02-21 cs.LG
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Diffusion Actor-Critic: Formulating Constrained Policy Iteration as Diffusion Noise Regression for Offline Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Southern University of Science and Technology（南方科技大学）
本文提出扩散演员-评论家（DAC），将KL约束策略迭代转化为扩散噪声回归，直接以扩散模型表示目标策略，结合软Q引导和Q集成下置信界，在D4RL基准上超越最先进方法。
2025-02-25 cs.LG
Howard's Policy Iteration is Subexponential for Deterministic Markov Decision Problems with Rewards of Fixed Bit-size and Arbitrary Discount Factor
Department of Computer Science and Engineering, IIT Bombay（印度理工学院孟买分校计算机科学与工程学院）
本文针对确定性马尔可夫决策问题（DMDPs），证明了Howard策略迭代算法在奖励位数为固定值且折扣因子任意时具有次指数的运行时间上界，显著改进了此前的指数级上界。
2025-05-01 cs.AI
Lower Bounds for Policy Iteration on Multi-action MDPs
Indian Institute of Technology Bombay（印度理工学院孟买分校）
策略迭代（PI）是一个经典的算法家族，用于计算任何给定马尔可夫决策问题（MDP）的最优策略。PI的基本思想是从某个初始策略开始，并从一个改进集合中重复更新策略，直到达到最优策略。PI的不同变体来自用于改进的（切换）规则。一个重要的理论问题是，作为输入MDP中的状态数$n$和动作数$k$的函数，指定的PI变体将进行多少次迭代来终止。虽然在这个数字的上限方面取得了相当大的进展，但在下限方面的结果较少。特别是，现有的下限主要集中在特殊情况下的$k = 2$行动。我们设计了$k \geq 3$的下界。我们的主要结果是，PI的一个特定的变体可以采取$Ω(k^{n/2})$迭代终止。我们还概括了现有的结构$2$ -行动MDP规模下限的$k$的一些常见的确定性的PI的变体的一个因素，并通过$\log(k)$相应的随机变量。
2020-09-16 cs.LG math.OC stat.ML
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Deep Conservative Policy Iteration
Google Research（谷歌研究院）
保守策略迭代（CPI）是近似动态规划（ADP）的一种基本算法.它的核心原理是通过连续策略的随机混合来稳定贪婪。它具有强大的理论保证，以及深度强化学习（RL）中的启发性方法。但CPI本身很少被实现，从来没有与神经网络，只在玩具问题上进行过实验。在本文中，我们展示了CPI如何通过离散动作与深度RL相结合。我们还介绍了自适应混合率的理论启发。我们彻底实验简单的Cartpole问题的算法，并验证所提出的方法上的Atari游戏的代表性子集。总的来说，这项工作表明，重温经典ADP可能会导致改进和更稳定的深度RL算法。
2020-01-06 cs.LG stat.ML
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种无模型近似的Hessian的性能确定性的政策，用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明，近似Hessian收敛到精确的Hessian在最优策略，并允许超线性收敛的学习，提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下，所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
Optimal Estimation of Off-Policy Policy Gradient via Double Fitted Iteration
Princeton University（普林斯顿大学）；Peking University（北京大学）
当我们不允许使用目标策略进行采样，而只能访问由某些未知行为策略生成的数据集时，策略梯度（PG）估计就成为一个挑战。传统的方法为关闭政策PG估计往往遭受要么显着的偏见或指数大的方差。本文提出了双重拟合PG估计（FPG）算法。FPG可以使用任意策略参数化，假设访问Bellman完全值函数类。在线性值函数近似的情况下，我们提供了一个严格的有限样本上界的政策梯度估计误差，这是由在特征空间中测量的分布失配量。我们还建立了FPG估计误差的渐近正态性与精确的协方差特征，这进一步表明是统计上最优的匹配Cramer-Rao下限。从经验上讲，我们使用softmax表格或ReLU策略网络来评估FPG在策略梯度估计和策略优化方面的性能。在各种指标下，我们的研究结果表明，FPG显着优于现有的非政策PG估计方法的基础上重要性抽样和方差减少技术。
2022-06-19 cs.LG stat.ML
Amortized Score-Hamiltonian Policy Iteration: A Grid-Free Scheme for Relaxed Stochastic Control Problems
Florida State University（佛罗里达州立大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出摊销无网格的得分-哈密顿策略迭代算法，用于熵正则化松弛随机控制问题，通过共享条件采样器和参数化评论家实现耦合演员-评论家学习，并给出误差界限与高维数值验证。
2026-11-09 cs.LG math.OC
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est（法国国家信息与自动化研究所南锡-大东部大区中心）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下，它是已知的，总是存在一个最佳的政策是固定的，我们表明，当使用值函数近似，寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种，统一了广泛的家庭的近似DP算法的文献。对于该算法，我们提供了一个错误传播分析的形式，所得到的政策，可以提高通常的性能约束的一个因素$O(1-γ)$，这是显着的折扣因子$γ$接近1。这样做，我们的方法统一了最近的结果价值和政策迭代。此外，我们表明，通过构建一个特定的确定性MDP，我们的性能保证是紧。
2013-04-20 cs.AI math.OC
Formally Verified Approximate Policy Iteration
Technische Universität München（慕尼黑工业大学）；King’s College London（伦敦国王学院）
本文用 Isabelle/HOL 形式化验证因子 MDP 上的近似策略迭代算法，并将其精化为可执行实现，同时开发线性规划解认证软件以验证其实用性。
2024-06-11 cs.AI cs.LO
Relative Entropy Regularized Policy Iteration
DeepMind（深度思维）
我们提出了一个非策略的演员-评论家算法的强化学习（RL），通过随机搜索与学习动作-价值函数的无梯度优化相结合的想法。其结果是一个简单的程序，包括三个步骤：i）政策评估估计的参数行动价值函数; ii）政策改进通过估计的本地非参数政策;和iii）通过拟合参数政策的推广。每个步骤可以以不同的方式实现，从而产生几种算法变体。我们的算法借鉴了与黑盒优化和“RL作为推理”的现有文献的联系，并且它可以被视为最大后验策略优化算法（MPO）的扩展[Abdolmaleki等人，2018 a]，或作为信赖域协方差矩阵适应进化策略（CMA-ES）的扩展[Abdolmaleki et al.，2017 b; Hansen等人，1997年]的政策迭代方案。我们对跑酷套件中的31个连续控制任务进行了比较[Heess et al.，2017]，DeepMind控制套件[Tassa等人，2018]和OpenAI Gym [Brockman等人，2016]具有不同的属性，有限的计算量和一组超参数，证明了我们的方法的有效性和最先进的结果。总结结果的视频可以在goo.gl/HtvJKR上找到。
2018-12-05 cs.LG stat.ML
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有有限状态空间和控制空间，部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法，使用多步前瞻，截断推出一个已知的基本政策，和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进，其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是，它非常适合分布式计算，通过扩展的信念空间配方和使用分区架构，这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题，机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了线性二次调节器（LQR）的近似策略迭代（PI）的样本复杂性，建立在最近的工作线上，使用LQR作为测试平台，以了解强化学习（RL）算法在连续控制任务上的局限性。我们的分析量化了政策改进和政策评估之间的紧张关系，并认为政策评估是样本复杂性的主导因素。具体而言，我们表明，要获得一个控制器，最优的LQR控制器的$\varepsilon$内，每一步的政策评估需要最多$(n+d)^3/\varepsilon^2$样本，其中$n$是状态向量的维度和$d$是输入向量的维度。另一方面，只有$\log(1/\varepsilon)$策略改进步骤就足够了，导致总体示例复杂度为$(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$。我们进一步建立在我们的分析和构造一个简单的自适应程序的基础上$\varepsilon$贪婪的探索依赖于近似PI作为一个子例程，并获得$T^{2/3}$遗憾，改善后，最近的结果Abbasi-Yadkori等人。
2019-05-30 cs.LG math.OC stat.ML
Warm-Start Variational Quantum Policy Iteration
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）
针对强化学习策略迭代中大规模线性方程组求解问题，提出NISQ兼容的VarQPI算法及可降资源开销的WS-VarQPI变体，验证了可扩展性与在256×256维FrozenLake环境中的鲁棒性。
2024-07-17 cs.LG quant-ph
