On the Complexity of Policy Iteration
AT&T Labs-Research(AT&T实验室-研究部);Tel-Aviv University(特拉维夫大学)
在不确定或随机域中的决策问题通常被表述为马尔可夫决策过程(MDP)。策略迭代(PI)是一种流行的策略空间搜索算法,其大小与状态数成指数关系。我们感兴趣的范围内的复杂性PI不依赖于折扣因子的值。在本文中,我们证明了第一个这样的非平凡的,最坏的情况下,上界PI收敛到最优策略所需的迭代次数。我们的分析还揭示了PI通过政策空间取得进展的方式。
2013-01-23 cs.AI
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est(法国国家信息与自动化研究所南锡-大东部大区中心);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下,它是已知的,总是存在一个最佳的政策是固定的,我们表明,当使用值函数近似,寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种,统一了广泛的家庭的近似DP算法的文献。对于该算法,我们提供了一个错误传播分析的形式,所得到的政策,可以提高通常的性能约束的一个因素$O(1-γ)$,这是显着的折扣因子$γ$接近1。这样做,我们的方法统一了最近的结果价值和政策迭代。此外,我们表明,通过构建一个特定的确定性MDP,我们的性能保证是紧。
2013-04-20 cs.AI math.OC
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Iowa(爱荷华大学)
本文首次证明了修正策略迭代(MPI)在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性,并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Approximate Policy Iteration Schemes: A Comparison
Inria(法国国家信息与自动化研究所);Université de Lorraine(洛林大学)
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于几个近似的变化的政策迭代算法:近似的政策迭代,保守的政策迭代(CPI),一个自然适应的政策搜索的动态规划算法的无限地平线的情况下(PSDP $_\infty$),和最近提出的非平稳政策迭代(NSPI(m))。对于所有的算法,我们描述了性能界限,并通过特别注意所涉及的concentrability常数,迭代次数和所需的内存进行比较。我们的分析强调了以下几点:1)CPI的性能保证可以任意优于API/API($α$),但这是以相对的-在$\frac{1}ε$指数增加迭代次数为代价的。2)PSDP $_\infty$在两个方面都是最好的:它的性能保证与CPI相似,但迭代次数与API相似。3)相反,API需要一个恒定的内存,CPI和PSDP $_\infty$所需的内存是成比例的迭代次数,这可能是有问题的,当折扣因子$γ$接近1或近似误差$ε$接近$0$ ;我们表明,NSPI(m)算法允许在内存和性能之间进行整体权衡。这些方案的模拟证实了我们的分析。
2014-05-12 cs.AI cs.LG stat.ML
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University(索迈亚维迪亚维哈尔大学)
随着实时处理的影响在最近的过去被实现,强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点,但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索,特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大,我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程,并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比,平均1.48倍的加速比,比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University(亚利桑那州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文研究了具有有限状态空间和控制空间,部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法,使用多步前瞻,截断推出一个已知的基本政策,和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进,其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是,它非常适合分布式计算,通过扩展的信念空间配方和使用分区架构,这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题,机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
Variance-Reduced Conservative Policy Iteration
Google Research(谷歌研究院);Princeton(普林斯顿大学);Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了将强化学习简化为一系列政策空间上的经验风险最小化问题的样本复杂性。这种基于约简的算法在函数空间中表现出局部收敛,而不是在策略梯度算法的参数空间中,因此不受策略类的可能非线性或不连续参数化的影响。我们提出了一个方差减少的保守策略迭代,提高了样本的复杂性产生的$\varepsilon$功能局部最优从$O(\varepsilon^{-4})$到$O(\varepsilon^{-3})$。在状态覆盖和策略完备性假设下,该算法在$O(\varepsilon^{-2})$次采样后具有$\varepsilon$ -全局最优性,改进了先前建立的$O(\varepsilon^{-3})$采样要求.
2023-01-25 cs.AI cs.LG
CASA: Bridging the Gap between Policy Improvement and Policy Evaluation with Conflict Averse Policy Iteration
Bytedance(字节跳动)
研究了无模型强化学习问题,该问题通常采用广义策略迭代(GPI)原则来解决。虽然GPI通常是政策评估和政策改进之间的相互作用,但大多数传统的无模型方法假设GPI步骤的粒度和其他细节是独立的,尽管它们之间存在固有的联系。在本文中,我们提出了一种方法,规则化的政策评估和政策改进之间的不一致,导致冲突厌恶的GPI解决方案,减少功能近似误差。为此,我们制定了一个新的学习范式,其中采取的政策评估步骤相当于执行政策改进的一些补偿,从而有效地消除了两个GPI步骤之间的梯度冲突。我们还表明,我们提出的解决方案的形式相当于执行熵正则化的政策改进,因此防止政策被困在次优的解决方案。我们进行了广泛的实验,以评估我们的方法在街机学习环境(ALE)。实证结果表明,我们的方法优于几个强大的基线在主要的评估领域。
2023-02-25 cs.AI cs.LG
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT(麻省理工学院);ASU(亚利桑那州立大学)
我们认为无限的地平线动态规划问题,在每个阶段的控制由几个不同的决定,每一个由几个代理之一。在早期的工作中,我们介绍了一个政策迭代算法,其中的政策改进是一个代理在给定的时间顺序,知识的选择,在前面的代理的顺序。因此,每个策略改进的计算量随着代理的数量线性增长,而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下,我们证明了收敛到代理的代理最优策略。在本文中,这一结果被扩展到值迭代和乐观版本的政策迭代,以及更一般的DP问题的Bellman算子是一个压缩映射,如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数,并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下,一个众所周知的长期未决问题是证明这样一个方案的收敛性,当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的(参见[Sutton和Barto,2018]的第99页,[Tsitsiklis,2002]的第8页)。我们提出了一个解决方案的开放的问题,通过显示,这样的政策迭代方案的首次访问版本确实收敛到最优的政策,提供了政策改进步骤使用前瞻[银等,2016年,Mnih等人,2016,Silver等人,2017年12月27日,[[2017]]而不是简单的贪婪政策改进。我们提供的结果,为原来的开放式问题的表格设置,也提出了扩展的功能近似设置,在那里我们表明,从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
School of Electrical Engineering and Computer Science, Oregon State University(俄勒冈州立大学电气工程与计算机科学学院);School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
本文研究了大型关系马尔可夫决策过程的策略选择问题。我们考虑近似策略迭代(API)的一个变体,它用策略空间中的学习步骤代替了通常的值函数学习步骤。这在好的策略比相应的价值函数更容易表示和学习的领域中是有利的,这通常是我们感兴趣的关系MDP的情况。为了将API应用于此类问题,我们引入了一种关系策略语言和相应的学习器。此外,我们引入了一个新的自举例程为基础的目标规划域,基于随机游走。这种引导对于许多大型关系型MDP是必要的,其中奖励非常稀疏,因为当使用不知情的策略初始化时,API在这些域中是无效的。我们的实验表明,所得到的系统是能够找到良好的政策,为一些经典的规划域和他们的随机变量,解决他们作为非常大的关系MDP。实验还指出了我们的方法的一些局限性,建议未来的工作。
2011-09-09 cs.AI
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis(加州大学戴维斯分校)
最近发现的有限状态-动作折扣马尔可夫决策过程(MDP)的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明,价值空间是一个联盟的许多细胞相同的超平面安排,并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发,我们提出了一种新的算法,几何策略迭代(GPI),以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作,然后立即更新价值函数,来更新单个状态的策略。这种新的更新规则旨在更快地提高值,而不影响计算效率。此外,我们的算法允许异步更新的状态值,这是更灵活和有利的传统的策略迭代相比,当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$,并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford(牛津大学);Auburn University(奥本大学)
本文提出了一个均值-方差策略迭代(MVPI)框架,用于贴现无限时域MDP中的风险厌恶控制,该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性,因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制,无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距,并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子,它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的,这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Towards Efficient Risk-Sensitive Policy Gradient: An Iteration Complexity Analysis
针对风险敏感策略梯度迭代复杂度研究不足的问题,对采用指数效用函数的REINFORCE算法开展严格分析,证明其达ε-近似一阶平稳点的迭代复杂度为O(ε⁻²),且相比风险中性算法具备更快收敛潜力,实验验证了该结论。
2025-08-29 cs.AI cs.LG math.OC
Representation Policy Iteration
University of Massachusetts(马萨诸塞大学)
This paper addresses a fundamental issue central to approximation methods for solving large Markov decision processes (MDPs): how to automatically learn the underlying representation for value function approximation? A novel theoretically rigorous framework is proposed that automatically generates geometrically customized orthonormal sets of basis functions, which can be used with any approximate MDP solver like least squares policy iteration (LSPI). The key innovation is a coordinate-free representation of value functions , using the theory of smooth functions on a Riemannian manifold. Hodge …
2012-07-04 cs.AI
Policy Iteration for Factored MDPs
Stanford University(斯坦福大学)
许多大型MDP可以使用动态贝叶斯网络来表示。虽然值函数的结构不保留过程的结构,但最近的工作表明,因子分解的MDP中的价值函数通常可以使用分解的价值函数很好地近似:<I>限制</I>基函数的线性组合,每个基函数仅涉及变量的一个小子集。可以使用近似动态规划来计算特定策略的近似价值函数,但是这种方法(以及其他方法)只能产生相对于距离度量的近似值,该距离度量由当前策略的静态分布加权。这种加权预测不适合政策改进。我们提出了一种新的方法来确定值,使用一个简单的封闭形式的计算直接计算的最小二乘分解近似的价值函数<I>的任何权重</I>。然后,我们使用此值确定算法作为策略迭代过程中的子例程。我们表明,在合理的限制下,由一个因子化的价值函数诱导的政策是compensable表示,并可以有效地在一个政策迭代过程中进行操作。我们还提出了一种方法,用于计算分解的价值函数使用变量消除算法的函数优化的误差界。我们所有的算法的复杂性取决于系统动力学和近似价值函数的因式分解。
2013-01-16 cs.AI
Formally Verified Approximate Policy Iteration
Technische Universität München(慕尼黑工业大学);King’s College London(伦敦国王学院)
本文用 Isabelle/HOL 形式化验证因子 MDP 上的近似策略迭代算法,并将其精化为可执行实现,同时开发线性规划解认证软件以验证其实用性。
2024-06-11 cs.AI cs.LO
Howard's Policy Iteration is Subexponential for Deterministic Markov Decision Problems with Rewards of Fixed Bit-size and Arbitrary Discount Factor
Department of Computer Science and Engineering, IIT Bombay(印度理工学院孟买分校计算机科学与工程学院)
本文针对确定性马尔可夫决策问题(DMDPs),证明了Howard策略迭代算法在奖励位数为固定值且折扣因子任意时具有次指数的运行时间上界,显著改进了此前的指数级上界。
2025-05-01 cs.AI
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University(纽约大学)
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说,我们重新审视离散时间线性二次调节(LQR)的基准问题,并研究长期存在的开放问题:在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看?利用控制理论中的先进稳定性结果,证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性,并且具有小干扰输入-状态稳定性:只要每次迭代中的误差有界且小,策略迭代算法的解也有界,并且进入并停留在最优LQR解的一个小邻域内.作为应用,当系统动态受到加性随机干扰时,提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
Which Experiences Are Influential for Your Agent? Policy Iteration with Turn-over Dropout
本文提出PI+ToD方法,通过在策略迭代中利用流失Dropout来高效估计强化学习中各经验对智能体性能的影响,并在MuJoCo环境中验证了其效率。
2023-05-22 cs.AI cs.LG
Robust Regularized Policy Iteration under Transition Uncertainty
College of Computer Science and Technology, Zhejiang University, Hangzhou, China(浙江大学计算机科学与技术学院);School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University, Xi'an, China(西北工业大学人工智能、光学与电子学院(iOPEN));School of Software Technology, Zhejiang University, Hangzhou, China(浙江大学软件技术学院);School of Software Engineering, Xi'an Jiaotong University, Xi'an, China(西安交通大学软件工程学院);School of Systems Science and Engineering, Sun Yat-sen University, Guangzhou, China(中山大学系统科学与工程学院)
提出鲁棒正则化策略迭代(RRPI),通过将离线强化学习建模为鲁棒策略优化,使用KL正则化替代难解的双层目标,并基于鲁棒正则化贝尔曼算子实现高效策略迭代,理论保证收敛性,实验在D4RL基准上表现优异。
2026-06-18 cs.AI stat.ML
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind(深度思维);University College London(伦敦大学学院);University of Alberta(阿尔伯塔大学);Omron Sinic X(欧姆龙Sinic X)
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题,并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代(API),称为置信近似策略迭代(CAPI),它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API(其误差与$H^2$成比例)的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同,他们建议计算非静态策略以实现类似的改进(具有相同的内存开销),我们能够坚持静态策略。这使得我们的第二个贡献,应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此,我们设计了一个规划算法,应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略,同时实现最佳的准确性界和最佳已知的查询复杂性界,而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度(多项式)增加。
2022-10-27 cs.AI cs.LG stat.ML
On the Performance Bounds of some Policy Search Dynamic Programming Algorithms
LORIA(洛林计算机科学及其应用实验室)
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于策略搜索算法,该算法通过遵循标准策略迭代(PI)方案经由近似贪婪算子来计算近似最优策略(Kakade和Langford,2002; Lazaric等人,2010年)。我们描述了直接策略迭代(DPI)的现有和一些新的性能界限(Lagoudakis和Parr,2003; Fern等人,2006; Lazaric等人,2010)和保守政策迭代(CPI)(Kakade和Langford,2002)。通过特别注意这种保证中涉及的集中性常数,我们特别认为CPI的保证比DPI的保证好得多,但这是以相对的$\frac{1}ε$指数增加时间复杂度为代价的。然后,我们描述了一种算法,非平稳直接策略迭代(NSDPI),它可以被视为1)Bagnell等人(2003)的动态规划策略搜索到无限水平情况的变体,或者2)Scherrer和Lesner(2012)的非平稳PI的简化版本。我们提供了这个算法的分析,特别是它享有最好的两个世界:其性能保证是类似的CPI,但在时间复杂度类似的DPI。
2013-06-03 cs.AI cs.LG
Approximate Policy Iteration with Bisimulation Metrics
University of Toronto(多伦多大学);Vector Institute(向量研究所);Samsung AI Center(三星人工智能中心)
互模拟度量基于奖励序列的比较来定义马尔可夫决策过程(MDP)的状态之间的距离度量。由于这一性质,它们为价值函数逼近(VFA)提供了理论保证。在这项工作中,我们首先证明了互模拟和$π$互模拟度量可以定义通过更一般的类Sinkhorn距离,它统一了各种状态相似性度量在最近的工作。然后,我们描述了一个近似的政策迭代(API)的过程,使用基于bisimulation的离散化的状态空间的VFA和证明渐近性能界。接下来,我们根据策略本身的变化来限制$π$ -互模拟度量之间的差异。基于这些结果,我们设计了一个API($α$)程序,采用保守的政策更新,并享有更好的性能界限比天真的API方法。我们讨论了如何将这些API程序映射到使用互模拟度量进行状态表示学习的实际演员-评论家方法上。最后,我们验证了我们的理论结果,并调查其实际意义,通过控制的实证分析的基础上实现基于双向模拟的API有限MDPs。
2022-11-14 cs.AI cs.LG
Dynamic Policy Programming
Radboud University Nijmegen(拉德堡德大学(奈梅亨))
提出动态策略编程(DPP)方法,通过平均累积误差的无穷范数界,在近似误差下优于标准近似值迭代和近似策略迭代,并在多个问题域中显著超越现有强化学习方法。
2011-09-06 cs.AI cs.LG cs.SY
Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search
University of Alberta(阿尔伯塔大学)
蒙特卡罗树搜索(MCTS)和深度强化学习的结合是两人完全信息博弈中的最新技术。在本文中,我们描述了一种搜索算法,使用MCTS的一个变体,我们增强了1)一种新的动作值规范化机制的游戏与潜在的无限奖励(这是在许多优化问题的情况下),2)定义一个虚拟的损失函数,使有效的搜索并行化,和3)的政策网络,训练的几代人的自我发挥,以指导搜索。我们衡量我们的方法在“SameGame”-一个流行的单人游戏测试域的有效性。我们的实验结果表明,我们的方法优于基线算法在几个电路板尺寸。此外,它与最先进的搜索算法在公共位置集上具有竞争力。
2020-05-22 cs.AI cs.LG
CertRL: Formalizing Convergence Proofs for Value and Policy Iteration in Coq
University of Pittsburgh(匹兹堡大学);IBM Research(IBM研究院);IHES(高等科学研究所)
强化学习算法通过优化长期奖励来解决概率环境中的顺序决策问题。在安全关键设置中使用强化学习的愿望激发了最近的正式约束强化学习的工作;然而,这些方法将学习算法的实现放在其可信计算基础上。这些实现的关键正确性属性是学习算法收敛到最优策略的保证。本文通过开发两个规范的强化学习算法:有限状态马尔可夫决策过程的值和策略迭代的Coq形式化,开始了缩小这一差距的工作。中心的结果是贝尔曼的最优性原理及其证明的形式化,它使用了贝尔曼最优性算子的收缩性质来建立一个序列收敛于无限视界极限。CertRL的开发说明了Giry monad和机械化度量共归纳如何简化强化学习算法的最优性证明。CertRL库提供了一个通用框架,用于证明马尔可夫决策过程和强化学习算法的属性,为进一步开展强化学习算法的形式化工作铺平了道路。
2020-12-15 cs.AI cs.LO cs.PL
Inexact GMRES Policy Iteration for Large-Scale Markov Decision Processes
策略迭代具有局部二次收缩率,但对于具有大量状态的马尔可夫决策过程(MDP),其迭代计算量很大。鉴于策略迭代与半光滑牛顿法之间的联系,并从后者的不精确变形中得到启发,我们提出了求解具有局部压缩保证的大规模有限MDP的一类新方法--\textit{inexact policy iteration}.然后,我们设计了一个实例的基础上部署的GMRES的近似策略评估步骤,我们称之为不精确的GMRES策略迭代。最后,我们展示了优越的实际性能的不精确GMRES政策迭代MDP与10000个国家,它实现了$\times 5.8$和$\times 2.2$加速政策迭代和乐观的政策迭代,分别。
2022-11-08 math.OC
Rates of convergence for the policy iteration method for Mean Field Games systems
离散和连续最优控制问题的策略迭代法的收敛性在一般假设下成立。此外,在某些情况下,还可以显示算法的二次收敛速率。对于平均场对策,最近在[9]中证明了策略迭代法的收敛性。在这里,我们提供了它的收敛速率的估计。
2022-03-01 math.AP math.OC
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
本文提出双重平滑策略迭代框架,将自然策略梯度等方法统一为贝尔曼算子形式,证明其分布无关的几何收敛性,且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
A Policy Iteration Algorithm for N-player General-Sum Linear Quadratic Dynamic Games
本文提出一种用于N玩家一般和线性二次动态博弈的策略迭代算法,证明其不同于高斯-牛顿策略梯度方法,并通过数值实验表明其收敛更快且对初始策略和玩家数量变化更鲁棒。
2024-10-04 cs.SY eess.SY math.OC
Analysis of Lower Bounds for Simple Policy Iteration
IIT Bombay(印度理工学院孟买分校)
策略迭代是一系列算法,用于为给定的马尔可夫决策问题(MDP)找到最优策略。简单策略迭代(SPI)是一种策略迭代,其策略是在每一步都在一个可改进的状态下更改策略。Melekopoglou和Condon [1990]表明,对于2个动作的MDP,SPI所采取的迭代次数具有指数下限。此后,该结果未推广至$k-$作用MDP。在本文中,我们回顾了Melekopoglou和Condon的算法和分析。我们推广了以前的结果,并证明了一个新的指数下界的政策迭代$N-$状态,$k-$行动MDP的迭代次数。我们构造了一个MDP族,并给出了一个基于索引的切换规则,该规则产生了$\mathcal{O}\big((3+k)2^{N/2-3}\big)$的一个强下界。
2019-11-28 cs.LG math.OC stat.ML
Continuous Policy and Value Iteration for Stochastic Control Problems with Inhomogeneous Synchronous Coupling
Florida State University(佛罗里达州立大学);Worcester Polytechnic Institute(伍斯特理工学院)
针对带非齐次同步耦合的随机控制问题,提出连续策略-价值迭代框架,避免每次迭代求解偏微分方程,证明其指数收缩性,经数值实验验证其策略改进性与收敛性。
2026-11-05 math.OC
Policy iteration using Q-functions: Linear dynamics with multiplicative noise
本文提出了一种新的无模型和完全数据驱动的政策迭代计划的二次调节的线性动态状态和输入的乘性噪声。该实现类似于马尔可夫决策过程的最小二乘时间差分格式,通过求解工具变量的最小二乘问题来估计Q函数。通过数值实验将该方案与基于模型的系统辨识方案和自然策略梯度进行了比较。
2022-12-02 math.OC
Robust Policy Iteration for Continuous-time Linear Quadratic Regulation
研究了连续时间无限时域线性二次调节(LQR)问题中策略迭代的鲁棒性。结果表明,Kleinman策略迭代算法对小扰动具有内在的鲁棒性,并具有Sontag意义下的局部输入到状态稳定性.更准确地说,每当在每次迭代中的扰动引起的输入项是有界的和小的,策略迭代算法的解决方案也是有界的,并进入LQR问题的最优解的一个小邻域。在此基础上,当系统动态受到小的加性未知有界扰动时,LQR问题的非策略数据驱动策略迭代算法是鲁棒的。数值算例验证了理论分析的正确性。
2020-08-31 cs.NA cs.SY eess.SY
Convergence Analysis of Policy Iteration
South Dakota School of Mines and Technology(南达科他矿业与技术学院)
本文研究了确定性已知动态系统的非线性自适应最优控制问题,分析了基于稳定初始控制的策略迭代方案的收敛性及极限函数的最优性,并比较了策略迭代与价值迭代的收敛速度。
2015-05-20 cs.SY eess.SY math.OC
On-line Policy Iteration with Policy Switching for Markov Decision Processes
基于Bertsekas最近对在线求解无限时域折扣马尔可夫决策过程(MDP)问题的策略迭代(PI)的研究,我们提出了一种结合多策略改进的策略切换方法的离线PI算法,并将其异步变体应用到在线PI算法中,在线PI算法生成一个随时间变化的策略序列。通过仅在当前状态下切换动作,同时确保序列中策略的值函数的单调性,将当前策略更新为下一个策略。依赖于MDP的状态转换结构,序列收敛在有限的时间内为相关的本地MDP的最优策略。当MDP通信时,序列收敛到原始MDP的最优策略。
2021-12-03 math.OC
On-Line Policy Iteration for Infinite Horizon Dynamic Programming
ASU(亚利桑那州立大学);MIT(麻省理工学院)
在本文中,我们提出了一个在线的政策迭代(PI)算法的有限状态无限地平线折扣动态规划,其中的政策改进操作是在线进行的,只有在系统运行过程中遇到的状态。这允许当前策略的持续更新/改进,从而导致在线PI的形式,该在线PI在新的状态和控制生成时将改进的控制并入当前策略中。该算法收敛在一个有限的阶段,一种类型的局部最优的政策,并建议PI和多智能体PI的变体的可能性,其中的政策改进是简化的。此外,该算法可以用于在线重新规划,也非常适合在线PI算法的价值和政策的近似。
2021-06-01 cs.AI cs.SY eess.SY
Split optimal policy iteration for LQR problems
本技术报告关注耦合LQR问题的分裂最优策略迭代的收敛特性;见手稿第3.1节。有趣的是,迭代显示了连续和离散时间系统的不同收敛行为:虽然整体收敛在两种情况下都成立,但连续时间情况下我们有局部平方收敛,但离散时间情况下只有线性收敛-即使当子系统之间的耦合消失时,平方收敛仍保持在极限。
2014-04-21 math.OC
Data-driven policy iteration algorithm for continuous-time stochastic linear-quadratic optimal control problems
本文研究了无限时域连续时间随机线性二次型(SLQ)最优控制问题。提出了一种数据驱动的策略迭代算法来解决SLQ问题。该算法在不知道三个系统系数矩阵的情况下,利用采集的数据迭代逼近相应的随机代数Riccati方程(SARE)的解。仿真算例验证了算法的有效性和适用性。
2022-09-29 math.OC
Max-Policy Iteration, Revisited
CNRS/VERIMAG, Université Grenoble Alpes(法国国家科学研究中心/VERIMAG,格勒诺布尔阿尔卑斯大学);School of CIT, TU Munich(慕尼黑工业大学信息学院)
提出用值迭代替代数学优化实现最大策略迭代,保证终止性,并扩展到有理数域,通过最小策略迭代求解优化问题,证明有界系统的最小解收敛性。
2026-06-09 cs.PL math.OC
Inexact Policy Iteration Methods for Large-Scale Markov Decision Processes
本文提出参数化停止条件控制的非精确策略迭代框架,分析其收敛与收缩保证及多种内部求解器,并在传染病防控的大规模 MDP 中验证数值性能。
2024-04-09 math.OC
Approximative Policy Iteration for Exit Time Feedback Control Problems driven by Stochastic Differential Equations using Tensor Train format
考虑了一类随机最优退出时间反馈控制问题。Bellman方程是通过一系列线性方程在多项式空间上的策略迭代算法近似求解的。由于需要高次多项式,相应的方程即使在中等维数下也会遭受维数灾难。我们采用张量训练方法来解决这个问题。策略迭代中的近似过程是通过最小二乘法完成的,积分是通过蒙特卡罗方法完成的。给出了(多维)双阱势和三孔势的数值证据。
2020-10-09 math.OC
Approximate Midpoint Policy Iteration for Linear Quadratic Control
University of Texas at Dallas(得克萨斯大学达拉斯分校);University of Melbourne(墨尔本大学)
本文提出了一种中点策略迭代算法来求解线性二次型最优控制问题,包括基于模型和无模型两种情况。该算法是一个变化的牛顿法,我们表明,在基于模型的设置,它实现立方收敛,这是优于标准的政策迭代和政策梯度算法,实现二次和线性收敛,分别。我们还表明,该算法可以近似实现的动力学模型的知识,通过使用最小二乘估计的状态动作值函数的轨迹数据,从该政策的改进,可以得到。有了足够的轨迹数据,策略迭代立方收敛到近似最优策略,并且这与近似标准策略迭代具有相同的可用样本预算。数值实验证明了算法的有效性。
2022-02-15 cs.LG cs.SY eess.SY
A Mixed Value and Policy Iteration Method for Stochastic Control with Universally Measurable Policies
我们考虑具有博雷尔空间和普遍可测策略的随机控制模型。对于这样的模型,标准的政策迭代是已知的,有困难的可测量性问题,不能在一般情况下进行。我们提出了一个混合值和策略迭代法,绕过这个困难。该方法允许在计算最优费用函数时以类似于策略迭代的方式使用平稳策略。它也可以用来解决类似的困难,政策迭代上下连续模型的背景下。我们分析了该方法的收敛性在无限地平线的总成本问题,贴现的情况下,一个阶段的成本是有界的,和未贴现的情况下,一个阶段的成本是非正或非负的。对于非负单阶段费用的未贴现总费用问题,我们给出了一个新的值迭代收敛定理,证明了只要初始化函数在最优费用函数之上,且以最优费用函数的倍数为界,值迭代就收敛.这个条件类似于Whittle的桥接条件,部分是由它所激发的。这个定理也部分是由Maitra和Sudderth的结果所激发的,该结果表明,当初始化为常数函数0时,值迭代可能需要超限次数的迭代才能收敛。我们使用新的收敛定理的价值迭代建立我们的混合价值和策略迭代法的非负成本的情况下的收敛性。
2014-12-10 math.OC
The Value Iteration Algorithm is Not Strongly Polynomial for Discounted Dynamic Programming
Stony Brook University(石溪大学)
本说明提供了一个简单的例子,证明如果允许精确计算,则值迭代算法为贴现动态规划问题找到最优策略所需的迭代次数可以随问题的大小任意快速地增长。特别地,迭代的数量可以是动作数量的指数。因此,与策略迭代不同,值迭代算法对于折扣动态规划不是强多项式。
2013-12-19 cs.AI math.OC
Policy iteration for perfect information stochastic mean payoff games with bounded first return times is strongly polynomial
Ye和Hansen,Miltersen和Zwick的最新结果表明,一个或两个玩家(完美信息)零和随机对策的政策迭代,限制在一个固定的折扣率的情况下,是强多项式。我们表明,平均支付零和随机对策的策略迭代也是强多项式时,限制到给定状态的第一个有界的平均返回时间的情况下。证明是基于非线性Perron-Frobenius理论的方法,使我们能够减少平均支付问题的状态依赖贴现率的贴现问题。我们的分析还表明,政策迭代仍然是强多项式的贴现问题,其中的贴现率可以在某些状态下的状态依赖(甚至是负的),提供的非负矩阵的谱半径相关的所有战略是有界的从上面严格小于1的固定常数。
2013-10-18 math.OC
Policy Iteration for Multiplicative Noise Output Feedback Control
提出了一种求解乘性噪声线性二次输出反馈设计问题的策略迭代算法。该算法求解一类线性动态控制策略下部分可观测马尔可夫决策过程(POMDP)的估计和控制的耦合Riccati方程组。我们在数值实验中显示出更快的收敛速度比值迭代算法,以前唯一已知的算法解决这类问题。结果表明,在更一般的POMDPs的政策优化算法,包括潜在的开发新的近似数据驱动的方法时,模型参数不可用的未来研究方向。
2022-03-31 cs.SY eess.SY math.OC
Policy iteration for Hamilton-Jacobi-Bellman equations with control constraints
策略迭代是求解Hamilton Jacobi Bellman(HJB)方程的一种广泛使用的技术,它源于非线性最优反馈控制理论。在无约束条件下,其收敛性分析引起了人们的广泛关注。在这里,我们分析的情况下,控制约束的HJB方程中出现的确定性和随机控制的情况下。每步迭代中的线性方程采用隐式迎风格式求解。数值例子进行求解HJB方程的控制约束和比较显示与无约束的情况。
2020-05-18 cs.NA math.NA math.OC
Approximate policy iteration using neural networks for storage problems
Lancaster University(兰卡斯特大学);Loughborough University(拉夫堡大学)
我们考虑随机单节点能量存储问题(SNES)和近似策略迭代(API)解决SNES。我们表明,API的性能可以通过使用神经网络作为近似架构在政策评估阶段。为了实现这一目标,我们使用不同的模型,在文献中的聚合变量减少的决策向量的维数,这反过来又使得它可行的使用神经网络预测的政策改进阶段。我们表明,神经网络的性能改善是更显着的情况下,当充电效率的存储系统是低的。
2019-10-04 cs.LG math.OC
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);California Institute of Technology(加州理工学院)
我们研究了一个多智能体强化学习(MARL)问题,其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信,我们提出了一个局部化的政策迭代(LPI)算法,可证明学习一个接近全局最优的政策,只使用本地信息。特别是,我们表明,尽管限制每个代理的注意力,只有其$κ$跳邻域,代理能够学习的政策与最优性的差距,衰减多项式在$κ$。此外,我们展示了有限样本收敛的LPI的全局最优策略,明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Overapproximating the Reachable Values Set of Piecewise Affine Systems Coupling Policy Iterations with Piecewise Quadratic Lyapunov Functions
Institut de Recherche en Informatique de Toulouse (IRIT)(图卢兹研究所);Université Paul Sabatier(图卢兹第三大学)
本文基于混合策略迭代与分段二次李雅普诺夫函数,改进了分段仿射系统可达值集的上界估计方法。
2016-03-03 cs.NA math.NA math.OC
Value and Policy Iteration in Optimal Control and Adaptive Dynamic Programming
M.I.T.(麻省理工学院)
本文研究了最优控制中终端状态集的无限 horizon 问题,通过一般性假设证明了Bellman方程的唯一性,并给出了价值迭代和策略迭代的收敛性结果。
2015-10-01 cs.DS cs.NA cs.SY
Policy iteration method for time-dependent Mean Field Games systems with non-separable Hamiltonians
本文介绍了两种基于策略迭代法的算法来数值求解具有不可分哈密顿量的偏微分方程的不定常均场博弈系统。利用Banach不动点方法证明了这类算法在充分小的时间区间内的收敛性。此外,我们证明了收敛速度是线性的。我们通过数值例子来说明我们的理论结果,我们讨论了所提出的算法的性能。
2022-09-30 cs.NA math.NA math.OC