Rollout Sampling Approximate Policy Iteration
一些研究人员最近研究了强化学习和分类之间的联系。我们的动机是近似的政策迭代计划的建议没有价值函数,专注于使用分类器的政策表示和解决策略学习作为一个监督学习问题。本文提出了一种改进的策略迭代方案的变种,该方案通过模拟多臂强盗机来解决评估策略中的核心采样问题。由此产生的算法提供了相当的性能,以前的算法实现,但是,与显着减少计算工作。实验证明,在两个标准的强化学习领域:倒立摆和山地车的数量级的改善。
2008-07-06 cs.AI cs.CC cs.LG
Easy Monotonic Policy Iteration
UC Berkeley(加州大学伯克利分校)
在使用一般函数逼近器(如深度神经网络和其他非线性函数)进行控制的强化学习中,一个关键问题是,对于实践中使用的许多算法,对策略或$Q$函数的更新可能无法提高性能,或者更糟的是,实际上会导致策略性能下降。以前的工作已经解决了这个问题,政策迭代,得到严格的政策改善界限,通过优化政策改善的下限,一个更好的政策得到保证。然而,现有的方法遭受的界限是难以优化的,在实践中,因为它们包括超范数项,不能有效地估计或区分。在这项工作中,我们得到了一个更好的政策改进的界限,其中的超级规范的政策分歧已被替换为平均分歧,这导致了一个算法,简单单调的政策迭代,生成序列的政策,保证非递减的回报,是很容易实现的样本为基础的框架。
2016-02-29 cs.AI cs.LG stat.ML
CASA: Bridging the Gap between Policy Improvement and Policy Evaluation with Conflict Averse Policy Iteration
Bytedance(字节跳动)
研究了无模型强化学习问题,该问题通常采用广义策略迭代(GPI)原则来解决。虽然GPI通常是政策评估和政策改进之间的相互作用,但大多数传统的无模型方法假设GPI步骤的粒度和其他细节是独立的,尽管它们之间存在固有的联系。在本文中,我们提出了一种方法,规则化的政策评估和政策改进之间的不一致,导致冲突厌恶的GPI解决方案,减少功能近似误差。为此,我们制定了一个新的学习范式,其中采取的政策评估步骤相当于执行政策改进的一些补偿,从而有效地消除了两个GPI步骤之间的梯度冲突。我们还表明,我们提出的解决方案的形式相当于执行熵正则化的政策改进,因此防止政策被困在次优的解决方案。我们进行了广泛的实验,以评估我们的方法在街机学习环境(ALE)。实证结果表明,我们的方法优于几个强大的基线在主要的评估领域。
2023-02-25 cs.AI cs.LG
Performance Bounds for Lambda Policy Iteration and Application to the Game of Tetris
INRIA Lorraine(洛林国家信息与自动化研究所)
我们考虑离散时间无限时域最优控制问题的形式化马尔可夫决策过程。我们回顾了Bertsekas和Ioffe的工作,他们引入了$λ$策略迭代,这是一个由$λ$参数化的算法族,它概括了标准算法值迭代和策略迭代,并且与Sutton和Barto描述的时间差异算法TD($λ$)有一些深层联系。我们深化了原来的理论发展的作者提供的收敛速度界,推广标准界的值迭代描述,例如由Puterman。然后,本文的主要贡献是发展的理论,这种算法时,它是在一个近似的形式,并表明这是健全的。这样做,我们扩展并统一了Munos为近似值迭代和近似策略迭代开发的单独分析。最后,我们重新审视使用该算法在训练的俄罗斯方块播放控制器最初所做的Bertsekas和Ioffe。我们提供了一个原始的性能界,可以应用到这样一个未折现的控制问题。我们的实证结果不同于Bertsekas和Ioffe的结果(他们最初被定性为“矛盾的”和“有趣的”),而更符合人们对学习实验的期望。我们讨论了这种差异的可能原因。
2011-10-11 cs.AI cs.RO
Approximate Policy Iteration Schemes: A Comparison
Inria(法国国家信息与自动化研究所);Université de Lorraine(洛林大学)
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于几个近似的变化的政策迭代算法:近似的政策迭代,保守的政策迭代(CPI),一个自然适应的政策搜索的动态规划算法的无限地平线的情况下(PSDP $_\infty$),和最近提出的非平稳政策迭代(NSPI(m))。对于所有的算法,我们描述了性能界限,并通过特别注意所涉及的concentrability常数,迭代次数和所需的内存进行比较。我们的分析强调了以下几点:1)CPI的性能保证可以任意优于API/API($α$),但这是以相对的-在$\frac{1}ε$指数增加迭代次数为代价的。2)PSDP $_\infty$在两个方面都是最好的:它的性能保证与CPI相似,但迭代次数与API相似。3)相反,API需要一个恒定的内存,CPI和PSDP $_\infty$所需的内存是成比例的迭代次数,这可能是有问题的,当折扣因子$γ$接近1或近似误差$ε$接近$0$ ;我们表明,NSPI(m)算法允许在内存和性能之间进行整体权衡。这些方案的模拟证实了我们的分析。
2014-05-12 cs.AI cs.LG stat.ML
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体,证明其以指数速度收敛,并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻,同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Iowa(爱荷华大学)
本文首次证明了修正策略迭代(MPI)在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性,并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Structured Policy Iteration for Linear Quadratic Regulator
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);Google DeepMind(谷歌DeepMind)
线性二次型调节器(LQR)是处理连续马尔可夫决策过程任务的最流行的框架之一。由于LQR的基本理论和易于处理的最优策略,近年来,在强化学习场景(如无模型或基于模型的设置)方面,LQR被重新审视和分析。在本文中,我们介绍了\textit{Structured Policy Iteration}(S-PI)的LQR,一种方法能够推导出一个结构化的线性政策。这种具有(块)稀疏性或低秩的结构化策略与标准LQR策略相比具有显着优势:更可解释,内存效率更高,并且非常适合分布式设置。为了得到这样的政策,我们首先铸造一个正则化的LQR问题时,模型是已知的。然后,我们的结构化策略迭代(S-PI)算法,它需要一个策略评估步骤和策略改进步骤,在迭代的方式,可以有效地解决这个正则化的LQR。我们进一步扩展的S-PI算法的无模型设置采用平滑过程来估计梯度。在已知模型和无模型的情况下,我们证明了在适当的参数选择下的收敛性分析。最后,通过实验验证了S-PI在平衡LQR性能和结构层次方面的优势。
2020-07-13 cs.AI math.OC
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis(加州大学戴维斯分校)
最近发现的有限状态-动作折扣马尔可夫决策过程(MDP)的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明,价值空间是一个联盟的许多细胞相同的超平面安排,并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发,我们提出了一种新的算法,几何策略迭代(GPI),以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作,然后立即更新价值函数,来更新单个状态的策略。这种新的更新规则旨在更快地提高值,而不影响计算效率。此外,我们的算法允许异步更新的状态值,这是更灵活和有利的传统的策略迭代相比,当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$,并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Tight Performance Bounds for Approximate Modified Policy Iteration with Non-Stationary Policies
INRIA Nancy Grand Est(法国国家信息与自动化研究所南锡-大东部大区中心);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
我们考虑用马尔可夫决策过程形式化的无限时域平稳$γ$ -折扣最优控制问题的近似动态规划。虽然在确切的情况下,它是已知的,总是存在一个最佳的政策是固定的,我们表明,当使用值函数近似,寻找一个非平稳策略可能会导致更好的性能保证。我们定义了一个非平稳的MPI的变种,统一了广泛的家庭的近似DP算法的文献。对于该算法,我们提供了一个错误传播分析的形式,所得到的政策,可以提高通常的性能约束的一个因素$O(1-γ)$,这是显着的折扣因子$γ$接近1。这样做,我们的方法统一了最近的结果价值和政策迭代。此外,我们表明,通过构建一个特定的确定性MDP,我们的性能保证是紧。
2013-04-20 cs.AI math.OC
Formally Verified Approximate Policy Iteration
Technische Universität München(慕尼黑工业大学);King’s College London(伦敦国王学院)
本文用 Isabelle/HOL 形式化验证因子 MDP 上的近似策略迭代算法,并将其精化为可执行实现,同时开发线性规划解认证软件以验证其实用性。
2024-06-11 cs.AI cs.LO
Reinforcement Learning for POMDP: Partitioned Rollout and Policy Iteration with Application to Autonomous Sequential Repair Problems
Arizona State University(亚利桑那州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文研究了具有有限状态空间和控制空间,部分状态观测的无限时域折扣动态规划问题。我们讨论了一个算法,使用多步前瞻,截断推出一个已知的基本政策,和终端成本函数近似。该算法还用于近似策略迭代方案中的策略改进,其中通过使用神经网络分类器来近似连续的策略。我们的方法的一个新的特点是,它非常适合分布式计算,通过扩展的信念空间配方和使用分区架构,这是训练与多个神经网络。我们应用我们的方法在模拟一类顺序修复问题,机器人检查和修复管道与潜在的几个破裂部位下的部分信息的管道的状态。
2020-02-11 cs.AI cs.RO
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数,并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下,一个众所周知的长期未决问题是证明这样一个方案的收敛性,当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的(参见[Sutton和Barto,2018]的第99页,[Tsitsiklis,2002]的第8页)。我们提出了一个解决方案的开放的问题,通过显示,这样的政策迭代方案的首次访问版本确实收敛到最优的政策,提供了政策改进步骤使用前瞻[银等,2016年,Mnih等人,2016,Silver等人,2017年12月27日,[[2017]]而不是简单的贪婪政策改进。我们提供的结果,为原来的开放式问题的表格设置,也提出了扩展的功能近似设置,在那里我们表明,从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University(索迈亚维迪亚维哈尔大学)
随着实时处理的影响在最近的过去被实现,强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点,但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索,特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大,我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程,并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比,平均1.48倍的加速比,比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford(牛津大学);Auburn University(奥本大学)
本文提出了一个均值-方差策略迭代(MVPI)框架,用于贴现无限时域MDP中的风险厌恶控制,该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性,因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制,无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距,并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子,它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的,这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Which Experiences Are Influential for Your Agent? Policy Iteration with Turn-over Dropout
本文提出PI+ToD方法,通过在策略迭代中利用流失Dropout来高效估计强化学习中各经验对智能体性能的影响,并在MuJoCo环境中验证了其效率。
2023-05-22 cs.AI cs.LG
Robust Regularized Policy Iteration under Transition Uncertainty
College of Computer Science and Technology, Zhejiang University, Hangzhou, China(浙江大学计算机科学与技术学院);School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University, Xi'an, China(西北工业大学人工智能、光学与电子学院(iOPEN));School of Software Technology, Zhejiang University, Hangzhou, China(浙江大学软件技术学院);School of Software Engineering, Xi'an Jiaotong University, Xi'an, China(西安交通大学软件工程学院);School of Systems Science and Engineering, Sun Yat-sen University, Guangzhou, China(中山大学系统科学与工程学院)
提出鲁棒正则化策略迭代(RRPI),通过将离线强化学习建模为鲁棒策略优化,使用KL正则化替代难解的双层目标,并基于鲁棒正则化贝尔曼算子实现高效策略迭代,理论保证收敛性,实验在D4RL基准上表现优异。
2026-06-18 cs.AI stat.ML
On the Performance Bounds of some Policy Search Dynamic Programming Algorithms
LORIA(洛林计算机科学及其应用实验室)
我们考虑用马尔可夫决策过程形式化的无限时域折扣最优控制问题。我们专注于策略搜索算法,该算法通过遵循标准策略迭代(PI)方案经由近似贪婪算子来计算近似最优策略(Kakade和Langford,2002; Lazaric等人,2010年)。我们描述了直接策略迭代(DPI)的现有和一些新的性能界限(Lagoudakis和Parr,2003; Fern等人,2006; Lazaric等人,2010)和保守政策迭代(CPI)(Kakade和Langford,2002)。通过特别注意这种保证中涉及的集中性常数,我们特别认为CPI的保证比DPI的保证好得多,但这是以相对的$\frac{1}ε$指数增加时间复杂度为代价的。然后,我们描述了一种算法,非平稳直接策略迭代(NSDPI),它可以被视为1)Bagnell等人(2003)的动态规划策略搜索到无限水平情况的变体,或者2)Scherrer和Lesner(2012)的非平稳PI的简化版本。我们提供了这个算法的分析,特别是它享有最好的两个世界:其性能保证是类似的CPI,但在时间复杂度类似的DPI。
2013-06-03 cs.AI cs.LG
Approximate Policy Iteration with Bisimulation Metrics
University of Toronto(多伦多大学);Vector Institute(向量研究所);Samsung AI Center(三星人工智能中心)
互模拟度量基于奖励序列的比较来定义马尔可夫决策过程(MDP)的状态之间的距离度量。由于这一性质,它们为价值函数逼近(VFA)提供了理论保证。在这项工作中,我们首先证明了互模拟和$π$互模拟度量可以定义通过更一般的类Sinkhorn距离,它统一了各种状态相似性度量在最近的工作。然后,我们描述了一个近似的政策迭代(API)的过程,使用基于bisimulation的离散化的状态空间的VFA和证明渐近性能界。接下来,我们根据策略本身的变化来限制$π$ -互模拟度量之间的差异。基于这些结果,我们设计了一个API($α$)程序,采用保守的政策更新,并享有更好的性能界限比天真的API方法。我们讨论了如何将这些API程序映射到使用互模拟度量进行状态表示学习的实际演员-评论家方法上。最后,我们验证了我们的理论结果,并调查其实际意义,通过控制的实证分析的基础上实现基于双向模拟的API有限MDPs。
2022-11-14 cs.AI cs.LG
Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search
University of Alberta(阿尔伯塔大学)
蒙特卡罗树搜索(MCTS)和深度强化学习的结合是两人完全信息博弈中的最新技术。在本文中,我们描述了一种搜索算法,使用MCTS的一个变体,我们增强了1)一种新的动作值规范化机制的游戏与潜在的无限奖励(这是在许多优化问题的情况下),2)定义一个虚拟的损失函数,使有效的搜索并行化,和3)的政策网络,训练的几代人的自我发挥,以指导搜索。我们衡量我们的方法在“SameGame”-一个流行的单人游戏测试域的有效性。我们的实验结果表明,我们的方法优于基线算法在几个电路板尺寸。此外,它与最先进的搜索算法在公共位置集上具有竞争力。
2020-05-22 cs.AI cs.LG
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT(麻省理工学院);ASU(亚利桑那州立大学)
我们认为无限的地平线动态规划问题,在每个阶段的控制由几个不同的决定,每一个由几个代理之一。在早期的工作中,我们介绍了一个政策迭代算法,其中的政策改进是一个代理在给定的时间顺序,知识的选择,在前面的代理的顺序。因此,每个策略改进的计算量随着代理的数量线性增长,而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下,我们证明了收敛到代理的代理最优策略。在本文中,这一结果被扩展到值迭代和乐观版本的政策迭代,以及更一般的DP问题的Bellman算子是一个压缩映射,如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind(深度思维);University College London(伦敦大学学院);University of Alberta(阿尔伯塔大学);Omron Sinic X(欧姆龙Sinic X)
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题,并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代(API),称为置信近似策略迭代(CAPI),它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API(其误差与$H^2$成比例)的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同,他们建议计算非静态策略以实现类似的改进(具有相同的内存开销),我们能够坚持静态策略。这使得我们的第二个贡献,应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此,我们设计了一个规划算法,应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略,同时实现最佳的准确性界和最佳已知的查询复杂性界,而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度(多项式)增加。
2022-10-27 cs.AI cs.LG stat.ML
Towards Efficient Risk-Sensitive Policy Gradient: An Iteration Complexity Analysis
针对风险敏感策略梯度迭代复杂度研究不足的问题,对采用指数效用函数的REINFORCE算法开展严格分析,证明其达ε-近似一阶平稳点的迭代复杂度为O(ε⁻²),且相比风险中性算法具备更快收敛潜力,实验验证了该结论。
2025-08-29 cs.AI cs.LG math.OC
CertRL: Formalizing Convergence Proofs for Value and Policy Iteration in Coq
University of Pittsburgh(匹兹堡大学);IBM Research(IBM研究院);IHES(高等科学研究所)
强化学习算法通过优化长期奖励来解决概率环境中的顺序决策问题。在安全关键设置中使用强化学习的愿望激发了最近的正式约束强化学习的工作;然而,这些方法将学习算法的实现放在其可信计算基础上。这些实现的关键正确性属性是学习算法收敛到最优策略的保证。本文通过开发两个规范的强化学习算法:有限状态马尔可夫决策过程的值和策略迭代的Coq形式化,开始了缩小这一差距的工作。中心的结果是贝尔曼的最优性原理及其证明的形式化,它使用了贝尔曼最优性算子的收缩性质来建立一个序列收敛于无限视界极限。CertRL的开发说明了Giry monad和机械化度量共归纳如何简化强化学习算法的最优性证明。CertRL库提供了一个通用框架,用于证明马尔可夫决策过程和强化学习算法的属性,为进一步开展强化学习算法的形式化工作铺平了道路。
2020-12-15 cs.AI cs.LO cs.PL
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University(纽约大学)
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说,我们重新审视离散时间线性二次调节(LQR)的基准问题,并研究长期存在的开放问题:在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看?利用控制理论中的先进稳定性结果,证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性,并且具有小干扰输入-状态稳定性:只要每次迭代中的误差有界且小,策略迭代算法的解也有界,并且进入并停留在最优LQR解的一个小邻域内.作为应用,当系统动态受到加性随机干扰时,提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
Approximate Modified Policy Iteration
INRIA(法国国家信息与自动化研究所);Supélec(法国高等电力学院)
改进策略迭代(MPI)是一种动态规划(DP)算法,它包含了策略迭代和值迭代两种著名的方法。尽管MPI具有普遍性,但它还没有被彻底研究,特别是当状态和/或动作空间很大或无限大时使用的近似形式。在本文中,我们提出了三个实现的近似MPI(AMPI),是著名的近似DP算法的扩展:拟合值迭代,拟合Q迭代,基于分类的政策迭代。我们提供了误差传播分析,统一那些近似的政策和价值迭代。在最后一个基于分类的实现,我们开发了一个有限样本分析表明,MPI的主要参数允许控制的分类器和整体价值函数近似的估计误差之间的平衡。
2012-05-18 cs.AI
Rollout Sampling Policy Iteration for Decentralized POMDPs
我们提出了分散式铺开抽样策略迭代(DecRSPI)-一种新的算法,多智能体决策问题正式的DEC-POMDPs。DecRSPI旨在提高可扩展性并解决缺乏显式模型的问题。该算法使用蒙特卡罗方法来产生一个样本的可达信念状态。然后,它计算一个联合政策的基础上,每个信念状态的推出估计。一个新的政策表示允许我们代表解决方案的复杂性。该算法的主要优点是它的线性时间复杂度的代理数量,其有限的内存使用和良好的解决方案的质量。它可以解决现有规划算法难以解决的较大问题。实验结果证实了该方法的有效性和可扩展性。
2012-03-15 cs.AI
Reliable Policy Iteration: Performance Robustness Across Architecture and Environment Perturbations
Indian Institute of Science(印度科学研究院);Kalinga Institute of Industrial Technology(工业技术学院);NVIDIA Research(NVIDIA研究)
RPI通过在函数逼近设置中恢复策略迭代的值估计单调性属性,在CartPole和倒置摆任务中展现出对神经网络和环境扰动的鲁棒性,相较于其他深度强化学习方法,其早期性能优势和稳定性使其成为更可靠的替代方案。
2025-12-12 cs.AI cs.LG
Randomised Bayesian Least-Squares Policy Iteration
École Polytechnique(巴黎综合理工学院);University of Oslo(奥斯陆大学);Athens University of Economics and Business(雅典经济与商业大学)
我们介绍了贝叶斯最小二乘策略迭代(BLSPI),一个关闭的政策,无模型,政策迭代算法,使用贝叶斯最小二乘时间差(BLSTD)学习算法评估政策。BLSPI的在线变体也被提出,称为随机化BLSPI(RBLSPI),它基于不完整的策略评估步骤来改进其策略。在在线环境中,探索-开发的困境应该得到解决,因为我们试图通过使用自己收集的样本来发现最优策略。RBLSPI利用BLSTD的优势来量化我们关于价值函数的不确定性。受Thompson采样的启发,RBLSPI首先从价值函数的后验分布中采样值函数,然后基于采样的价值函数选择动作。实验证明了RBLSPI的有效性和探测能力。
2019-04-06 cs.AI cs.LG stat.ML
Applying Policy Iteration for Training Recurrent Neural Networks
循环神经网络常用于学习时间序列数据。基于一些假设,我们将此学习任务建模为非线性最小二乘成本函数的最小化问题。成本函数的特殊结构使我们能够与强化学习建立联系。我们利用这种连接,并得出一个收敛的,基于策略迭代的算法。此外,我们认为,RNN训练可以很自然地融入强化学习框架。
2004-10-02 cs.AI cs.LG cs.NE
On-Line Policy Iteration for Infinite Horizon Dynamic Programming
ASU(亚利桑那州立大学);MIT(麻省理工学院)
在本文中,我们提出了一个在线的政策迭代(PI)算法的有限状态无限地平线折扣动态规划,其中的政策改进操作是在线进行的,只有在系统运行过程中遇到的状态。这允许当前策略的持续更新/改进,从而导致在线PI的形式,该在线PI在新的状态和控制生成时将改进的控制并入当前策略中。该算法收敛在一个有限的阶段,一种类型的局部最优的政策,并建议PI和多智能体PI的变体的可能性,其中的政策改进是简化的。此外,该算法可以用于在线重新规划,也非常适合在线PI算法的价值和政策的近似。
2021-06-01 cs.AI cs.SY eess.SY
The Value Iteration Algorithm is Not Strongly Polynomial for Discounted Dynamic Programming
Stony Brook University(石溪大学)
本说明提供了一个简单的例子,证明如果允许精确计算,则值迭代算法为贴现动态规划问题找到最优策略所需的迭代次数可以随问题的大小任意快速地增长。特别地,迭代的数量可以是动作数量的指数。因此,与策略迭代不同,值迭代算法对于折扣动态规划不是强多项式。
2013-12-19 cs.AI math.OC
Incremental Sampling-based Motion Planners Using Policy Iteration Methods
Jet Propulsion Laboratory(喷气推进实验室);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种基于策略迭代的运动规划算法,利用动态规划思想在随机图中求解最短路径问题,通过改进策略加速计算过程,适用于大规模并行化。
2016-09-19 cs.AI cs.RO cs.SY
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);California Institute of Technology(加州理工学院)
我们研究了一个多智能体强化学习(MARL)问题,其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信,我们提出了一个局部化的政策迭代(LPI)算法,可证明学习一个接近全局最优的政策,只使用本地信息。特别是,我们表明,尽管限制每个代理的注意力,只有其$κ$跳邻域,代理能够学习的政策与最优性的差距,衰减多项式在$κ$。此外,我们展示了有限样本收敛的LPI的全局最优策略,明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Convergence of Monte Carlo Optimistic Policy Iteration: Beyond Uniform State-Action Updates
Department of Engineering, University of Cambridge(剑桥大学工程系)
本文证明,在每状态动作均匀更新的条件下,首次访问蒙特卡洛乐观策略迭代收敛到最优,放宽了传统均匀状态-动作更新的要求,并通过均场动力学和锁定论证方法给出证明。
2026-06-09 cs.AI cs.LG
Monotone Neural Policy Iteration for High-Dimensional First-Order Hamilton--Jacobi--Bellman Equations
Seoul National University of Science and Technology(首尔科学技术大学);POSTECH;Gachon University(成均馆大学)
本文提出稳定神经HJB求解器,通过混合方法分析误差并应用于强化学习,验证了求解器在模型误差和策略不匹配下的稳定性。
2026-09-11 cs.AI cs.LG cs.NA
Simulation-Based Optimistic Policy Iteration For Multi-Agent MDPs with Kullback-Leibler Control Cost
Texas A&M University(德克萨斯农工大学)
本文提出一种基于仿真的乐观策略迭代方案,利用KL控制代价的可分离结构使多智能体独立进行策略改进,并证明同步与异步版本均渐近收敛到最优策略,通过Stag-Hare博弈变体验证了其最小化代价回报的有效性。
2024-10-19 cs.AI cs.MA cs.SY
Monotone and Conservative Policy Iteration Beyond the Tabular Case
Indian Institute of Science, Bengaluru, India(印度科学研究所,班加罗尔,印度);NVIDIA Research, Israel(英伟达研究院,以色列)
本文提出RPI和CRPI,通过贝尔曼约束优化在函数逼近中保留表格保证,恢复价值估计的单调性并提供下界,同时改进策略更新以应对函数逼近误差,从而解决强化学习中函数逼近导致的收敛问题。
2026-04-01 cs.AI cs.LG math.OC
Hamilton-Jacobi Based Policy-Iteration via Deep Operator Learning
Chung-Ang University(中央大学);SeoulTech(首尔科技大学)
本文将 DeepONet 与策略迭代结合求解最优控制及 HJB 方程,实现对不同终端函数的快速推断,并通过粘性解比较原理分析精度,在 10 维 LQR 等算例中验证有效性。
2024-06-16 cs.AI cs.LG cs.NA