Soft Robust MDPs and Risk-Sensitive MDPs: Equivalence, Policy Gradient, and Sample Complexity
Harvard University(哈佛大学)
本文提出一种新的风险敏感MDP表述,证明其与软鲁棒MDP等价,推导策略梯度定理,并设计离线算法RFZI,分析其样本复杂度。
2024-05-24 cs.LG math.OC
Benign Nonconvex Landscape for Policy Optimization: Infinite-Horizon Discounted MDPs with General State and Action Spaces
Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院H.米尔顿·斯图尔特工业与系统工程学院)
本文针对一般状态与动作空间的无限时域折扣MDP,提出弱条件排除次优平稳点并建立PLK条件,验证于两类运营模型,给出策略梯度方法首次非渐近收敛率。
2026-09-21 math.OC
On Linear Convergence of Policy Gradient Methods for Finite MDPs
Columbia University(哥伦比亚大学);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
我们在最简单的设置之一中重新审视了策略梯度方法的有限时间分析:有限状态和动作MDP,其策略类由所有随机策略组成,并具有精确的梯度评估。最近有一些工作将此设置视为平滑非线性优化问题的实例,并显示出具有小步长的次线性收敛率。在这里,我们采取了不同的角度与政策迭代的连接的基础上,并表明,许多变种的策略梯度方法成功地与大的步长,并达到线性收敛速度。
2021-12-13 cs.LG math.OC stat.ML
Online Policy Evaluation for MDPs with Dynamic UBSR Measures
GERAD & Department of Decision Sciences, HEC Montréal(GERAD与蒙特利尔高等商学院决策科学系)
研究在具有动态UBSR测度的MDPs中进行策略评估,提出UBSR-TD算法及变体,通过纳入损失函数使现有算法可适应动态UBSR设置,经实验验证了方法有效性。
2026-07-28 cs.LG math.OC
Refined Policy Improvement Bounds for MDPs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Cornell University(康奈尔大学)
基于贴现收益差的策略改进约束是信赖域策略优化算法的理论基础。当折扣因子接近1时,现有的界导致退化界,使得TRPO和相关算法的适用性受到质疑。我们完善的结果在\cite{Schulman2015, Achiam2017},并提出了一个新的界是“连续”的折扣因子。特别是,我们的界限也适用于具有长期平均奖励的MDP。
2021-07-16 cs.AI cs.LG math.OC
Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action
Georgia Institute of Technology(佐治亚理工学院);Rutgers University(罗格斯大学)
本文研究了有限时间MDP中一般状态和动作的策略优化问题,提出PŁK条件以确保策略梯度方法在非凸情况下以非渐近速率收敛,并适用于多种控制和运营模型。
2026-03-08 cs.LG math.OC
Policy Gradient Algorithms for Robust MDPs with Non-Rectangular Uncertainty Sets
Risk Analytics and Optimization Chair, EPFL(洛桑联邦理工学院风险分析与优化教席);Department of Economics, University of St.Gallen(圣加仑大学经济系)
针对非矩形不确定性集下难以动态规划求解的鲁棒无限时域 MDP,提出随机投影 Langevin、确定性策略梯度与 actor-critic 算法,并给出误差、复杂度及全局最优性保证。
2025-09-28 cs.LG math.OC
Inexact GMRES Policy Iteration for Large-Scale Markov Decision Processes
策略迭代具有局部二次收缩率,但对于具有大量状态的马尔可夫决策过程(MDP),其迭代计算量很大。鉴于策略迭代与半光滑牛顿法之间的联系,并从后者的不精确变形中得到启发,我们提出了求解具有局部压缩保证的大规模有限MDP的一类新方法--\textit{inexact policy iteration}.然后,我们设计了一个实例的基础上部署的GMRES的近似策略评估步骤,我们称之为不精确的GMRES策略迭代。最后,我们展示了优越的实际性能的不精确GMRES政策迭代MDP与10000个国家,它实现了$\times 5.8$和$\times 2.2$加速政策迭代和乐观的政策迭代,分别。
2022-11-08 math.OC
Epsilon-Optimal Policies for Average-Cost Separable MDPs with Perturbations
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对近似可分离的平均代价MDP,提出显式平稳策略,在无扰动时精确最优,在ε扰动下损失为O(ε),实现ε-最优。
2025-10-27 math.OC
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University(首尔国立大学);UCLA(加州大学洛杉矶分校);Purdue University(普渡大学)
针对弱通信平均奖励MDP,首次从单条轨迹建立有限样本复杂度保证,提出无模型方法,值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University(胡安·卡洛斯国王大学);University of Pennsylvania(宾夕法尼亚大学)
针对连续空间约束MDPs计算确定性最优策略的难题,提出具有非渐近收敛性的D-PGPD算法,通过二次正则化原始-对偶更新求解,并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Near-optimal Policy Optimization Algorithms for Learning Adversarial Linear Mixture MDPs
UCLA(加州大学洛杉矶分校)
在存在敌手的情况下学习马尔可夫决策过程(MDP)是强化学习(RL)中的一个具有挑战性的问题。本文研究了具有对抗性奖励和完全信息反馈的情节MDP中的强化学习,其中未知转移概率函数是给定特征映射的线性函数,奖励函数可以随情节任意变化.我们提出了一个乐观策略优化算法POWERS,并表明它可以实现$\tilde{O}(dH\sqrt{T})$遗憾,其中$H$是情节的长度,$T$是与MDP的交互次数,和$d$是特征映射的维度。此外,我们还证明了一个匹配的下限$\tildeΩ(dH\sqrt{T})$的对数因子。我们的主要技术贡献是两方面的:(1)一个新的价值函数估计的基础上的重要性加权;(2)一个更严格的置信度设置的过渡内核。它们共同导致了近似极小极大的最优后悔。
2022-04-20 cs.LG math.OC stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology(以色列理工学院)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的、经验上成功的策略搜索算法。然而,TRPO一直被认为是一个启发式算法的启发式保守策略迭代(CPI)。我们表明,TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO,在规划设置中,我们可以访问模型和整个状态空间。然后,我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是,自适应缩放机制使我们能够分析TRPO正则化的MDPs,我们证明了快速的$\tilde O(1/N)$,很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
State Discretization for Continuous-State MDPs in Infectious Disease Control
针对传染病控制中连续状态MDP难以处理的问题,开发连续状态离散化算法以获取近似解,并通过合成示例和洛杉矶县COVID-19案例与均匀离散化进行性能基准测试,为最优控制策略确定提供支持。
2024-10-04 math.OC physics.soc-ph
Convergence of an actor-critic gradient flow for entropy regularised MDPs in general spaces
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
针对连续状态-动作空间中的无限时域熵正则化马尔可夫决策过程,在Q函数可实现性假设下,证明了使用时序差分学习更新critic和策略镜像下降更新策略的actor-critic梯度流的稳定性与全局收敛性。
2026-06-01 math.OC
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs
Google Research(谷歌研究院);University of California, Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
Q学习是一种流行的强化学习(RL)算法,其在函数逼近的实践中被广泛使用(Mnih等人,2015)。相比之下,现有的理论结果是悲观的Q学习。例如,(Baird,1995)表明,Q-学习即使在线性MDP的线性函数近似下也不会收敛。此外,即使对于具有同步更新的表格MDP,Q学习也被证明具有次优的样本复杂度(Li等人,2021;Azar等人,2013年)。这项工作的目标是弥合Q学习的实际成功与相对悲观的理论结果之间的差距。我们工作的出发点是观察到,在实践中,Q-学习被用于两个重要的修改:(i)使用两个网络进行训练,同时称为在线网络和目标网络(在线目标学习,或OTL),以及(ii)经验重放(ER)(Mnih等人,2015)。虽然已经观察到它们在Q学习的实际成功中发挥了重要作用,但文献中缺少对这两种修改如何改善Q学习收敛行为的透彻理论理解。通过将Q学习与OTL和反向经验重放(RER)(一种经验重放形式)仔细结合,我们提出了新的方法Q-Rex和Q-RexDaRe(Q-Rex +数据重用)。我们表明,Q-Rex有效地找到了线性MDP的最佳策略(或更一般地为MDP与零固有贝尔曼误差线性近似(ZIBEL)),并提供样本复杂性的非渐近界-第一个这样的结果为Q-学习方法为这类MDP在标准假设下。此外,我们证明了Q-RexDaRe实际上在表格设置中实现了接近最佳的样本复杂度,改进了现有的香草Q学习结果。
2021-10-19 cs.LG math.OC
Lower Bounds for Policy Iteration on Multi-action MDPs
Indian Institute of Technology Bombay(印度理工学院孟买分校)
策略迭代(PI)是一个经典的算法家族,用于计算任何给定马尔可夫决策问题(MDP)的最优策略。PI的基本思想是从某个初始策略开始,并从一个改进集合中重复更新策略,直到达到最优策略。PI的不同变体来自用于改进的(切换)规则。一个重要的理论问题是,作为输入MDP中的状态数$n$和动作数$k$的函数,指定的PI变体将进行多少次迭代来终止。虽然在这个数字的上限方面取得了相当大的进展,但在下限方面的结果较少。特别是,现有的下限主要集中在特殊情况下的$k = 2$行动。我们设计了$k \geq 3$的下界。我们的主要结果是,PI的一个特定的变体可以采取$Ω(k^{n/2})$迭代终止。我们还概括了现有的结构$2$ -行动MDP规模下限的$k$的一些常见的确定性的PI的变体的一个因素,并通过$\log(k)$相应的随机变量。
2020-09-16 cs.LG math.OC stat.ML
Markov Decision Processes with Value-at-Risk Criterion
针对马尔可夫决策过程中VaR因非可加性难以用传统动态规划优化的问题,本文通过建立VaR最大化与概率最小化MDP的等价性,将其转化为双层优化问题,提出对应求解算法并证明收敛性,为分位数类指标优化提供新思路。
2025-07-30 math.OC
Sharp Convergence and Sample Complexity of Policy Mirror Descent for Average-Reward MDPs
The Ohio State University(俄亥俄州立大学)
本文针对平均奖励MDPs中的策略镜像下降,提出统一主递归分析,证明精确、非精确表格及线性函数逼近下的线性收敛,并将LFA样本复杂度从$t_{\mathrm{mix}}^5$改进至$t_{\mathrm{mix}}^3/\varepsilon^2$,且证明该复杂度不可改进。
2026-11-03 cs.LG math.OC
Revisiting Subgradient Dominance in Robust MDPs: Counterexamples, Hardness, and Sufficient Conditions
University of Alberta(阿尔伯塔大学);New Jersey Institute of Technology(新泽西理工学院)
本文指出鲁棒马尔可夫决策过程在一般紧不确定性集下不满足次梯度主导性,且寻找ε最优策略可能为NP难问题,但提出两种条件保证次梯度主导性。
2026-10-09 math.OC
Convergence of Policy Gradient for Entropy Regularized MDPs with Neural Network Approximation in the Mean-Field Regime
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院);Vega Protocol(维加协议);The Alan Turing Institute(艾伦·图灵研究所)
研究了无限时域、连续状态和动作空间以及熵正则化马尔可夫决策过程(MDP)下策略梯度的整体收敛。我们考虑一个softmax政策(一个隐藏层)神经网络近似的平均场制度。在相关的平均场概率测度中增加了额外的熵正则化,并在2-Wasserstein度量中研究了相应的梯度流。我们表明,目标函数是增加沿梯度流。此外,我们证明了,如果正则化的平均场措施是足够的,梯度流指数快速收敛到唯一的固定的解决方案,这是唯一的最大化的正则化MDP目标。最后,我们研究了沿梯度流的值函数关于正则化参数和初始条件的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析,并扩展了Mei et al. 2020和Agarwal et al. 2020的开创性工作,这些工作量化了表格设置中熵正则化MDP的政策梯度的整体收敛率。
2022-06-16 cs.AI cs.LG math.OC
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
马尔可夫跳变线性系是一类重要的动力系统,在许多控制应用中得到了广泛的应用。在本文中,我们介绍了控制未知(离散时间)MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程(MDP)与混合连续/离散状态变量。与传统的线性二次型调节器(LQR)相比,我们提出的问题导致了一个特殊的混合MDP(与混合连续和离散变量),并提出了重大的新的挑战,由于一个潜在的马尔可夫跳变参数的出现,管理模式的系统动态。具体而言,MJLS的状态不形成马尔可夫链,因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而,可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后,我们修改了广泛使用的自然策略梯度法,直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了(数据驱动的)自然策略梯度法。我们的仿真结果表明,自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
On the Convergence of Success Conditioning for Policy Optimization
Massachusetts Institute of Technology(麻省理工学院)
本文研究成功条件化策略在随机环境中的收敛性,证明其在广泛MDP类上收敛到最优策略,并给出折扣和单周期情形下的收敛速率。
2026-10-05 cs.LG math.OC
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University(得克萨斯农工大学)
我们解决的问题,找到一个有约束的马尔可夫决策过程(CMDP)使用梯度下降为基础的算法的最优策略。以前的结果表明,原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶(PMD-PD)算法,可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始(策略)更新,PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤,其等效于具有适当正则化的镜像下降步骤。对于双重更新,PMD-PD算法使用修改的拉格朗日乘子,以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明,与现有的基于策略梯度的算法相比,PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University(中山大学)
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战,由于动态规划的失败。在本文中,我们提出了一种新的方法来找到全局最优的政策,稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念,将原问题转化为一个双层MDP问题,其中内层是标准MDP优化伪均值-方差,外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP,我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法,可以找到全局最优的策略,通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性,进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知,我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong(香港城市大学);University of New Hampshire(新罕布什尔大学);Imperial College London(帝国理工学院)
鲁棒马尔可夫决策过程(MDP)允许计算可靠的动态决策问题的解决方案,其演变是由奖励和部分已知的转移概率建模。不幸的是,考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性,这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代,一个新的,高效的,灵活的,和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间,几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明,所提出的方法是许多数量级的速度比国家的最先进的方法,使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Policy Gradients for CVaR-Constrained MDPs
INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧分所)
我们研究的风险约束版本的随机最短路径(SSP)问题,其中考虑的风险度量是条件风险价值(CVaR)。我们提出了两个算法,获得一个局部风险最优的政策,采用四种工具:随机逼近,小批量,政策梯度和重要性抽样。这两种算法都结合了CVaR估计程序,沿着Bardou等人的路线。[2009],这反过来又基于Rockafellar-Uryasev的CVaR表示,并利用似然比原理估计一个成本函数(SSP的目标)之和的梯度和另一个成本函数(在SSP的约束下)之和的CVaR梯度。这些算法在近似CVaR估计值/必要梯度的方式上有所不同-第一种算法使用随机逼近,而第二种算法则根据蒙特卡罗方法的精神采用小批量。我们建立了这两个算法的渐近收敛性。此外,由于估计CVaR是与稀有事件模拟,我们将一个重要性抽样为基础的方差减少计划到我们提出的算法。
2014-05-12 cs.LG math.OC stat.ML
Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs
School of Mathematics(数学系)
本文研究连续状态和动作空间的无限时域熵正则化马尔可夫决策过程中策略梯度的全局收敛性,通过线性函数逼近的log-linear softmax策略,在$Q^π_τ$可实现性假设下建立非均匀Polyak--Łojasiewicz不等式,并识别两种特征机制下非均匀常数的有界性,证明正则化目标沿梯度流的全局线性收敛。
2026-05-24 cs.LG math.OC
A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学)
针对PPO算法理论基础不足的问题,提出面向回合式对抗线性MDPs的乐观PPO变体,推导得到更优悔界,采用多批次更新机制与新的覆盖数分析方法。
2023-06-08 cs.AI cs.LG math.OC
Algorithms for CVaR Optimization in MDPs
Stanford University(斯坦福大学);INRIA Lille(里尔法国国家信息与自动化研究所);Adobe Research(Adobe研究院)
在许多顺序决策问题中,我们可能希望通过最小化成本的可变性来管理风险,除了最小化标准之外。条件风险价值(CVaR)是一种相对较新的风险度量方法,它解决了众所周知的方差相关风险度量方法的一些缺点,并且由于其计算效率而在金融和运筹学中受到欢迎。在本文中,我们考虑的平均CVaR优化问题的MDPs。首先,我们推导出一个公式,用于计算这个风险敏感的目标函数的梯度。然后,我们设计的策略梯度和演员批评的算法,每个使用一个特定的方法来估计这个梯度和更新的下降方向的政策参数。我们建立我们的算法收敛到局部风险敏感的最优策略。最后,我们证明了我们的算法在最佳停止问题的有用性。
2014-07-10 cs.AI math.OC
Policy Synthesis for Factored MDPs with Graph Temporal Logic Specifications
我们研究了多智能体系统实现时空任务的策略合成。我们正式的问题作为一个因素马尔可夫决策过程受到所谓的图形时序逻辑规范。每个智能体的转移功能和时空任务取决于智能体本身及其邻近的智能体。在模型和规格的结构,使开发一个分布式算法,给定一个因子马尔可夫决策过程和图形时序逻辑公式,分解成一组较小的合成问题,每个代理的合成问题。我们证明了该算法运行在时间上的总代理数的线性。每个代理的合成问题的大小仅在相邻代理的数量上是指数的,这通常比代理的数量小得多。我们在疾病控制和城市安全的案例研究中证明了该算法。数值算例表明,该算法可以扩展到数百个智能体。
2020-01-24 cs.LO cs.MA math.OC
Efficient Global Planning in Large MDPs via Stochastic Primal-Dual Optimization
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种新的随机原始-对偶优化算法,用于求解具有生成模型和线性函数逼近的大折扣马尔可夫决策过程的规划问题。假设特征图近似满足标准的可实现性和贝尔曼封闭性条件,并且所有状态-动作对的特征向量都可表示为状态-动作对的小核心集的凸组合,我们证明了我们的方法在对生成模型进行多项式次数的查询后输出接近最优的策略。我们的方法是计算效率高,它的主要优点是,它输出一个单一的softmax政策,是compatible表示的低维参数向量,并不需要在运行时执行计算昂贵的本地规划子程序。
2023-01-31 cs.LG math.OC
Convergence and sample complexity of natural policy gradient primal-dual methods for constrained MDPs
University of Tennessee, Knoxville(田纳西大学);University of Maryland, College Park(马里兰大学);Apple Inc.(苹果公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
针对约束马尔可夫决策过程,提出自然策略梯度原始-对偶方法,实现非凸优化下全局次线性收敛且维度无关,并提供样本复杂度保证与实验验证。
2025-10-15 cs.AI cs.LG cs.SY
On the Detection of Markov Decision Processes
我们研究了有限集的马尔可夫决策过程(MDP)的检测问题,其中MDP具有相同的状态和动作空间,但可能不同的概率转移函数。这些MDP中的任何一个都可以是一些潜在的受控随机过程的模型,但是先验地不知道哪个MDP是基础事实。我们调查是否有可能渐近检测地面真理MDP模型完美的基础上,一个单一的观察历史(状态动作序列)。由于生成的历史依赖于所采取的政策来控制MDP,我们讨论的存在和合成的政策,允许完美的检测。我们从两个MDP的情况下,并建立了一个充要条件的存在政策,导致完美的检测。基于这个条件,然后我们开发了一个算法,有效地(在时间多项式的大小的MDP)确定存在的政策,并合成一个当它们存在。我们进一步扩展的结果,更一般的情况下,有两个以上的MDP的候选集,我们开发了一个策略合成算法的基础上的广度优先搜索和递归。我们通过数值例子证明了我们的算法的有效性。
2021-12-23 eess.SP math.OC
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto(多伦多大学);Ben Gurion University of the Negev(内盖夫本古里安大学)
本文提出CGPO框架,将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划,可给出误差、最优性差距与高概率性能保证,并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
Linear Dynamics meets Linear MDPs: Closed-Form Optimal Policies via Reinforcement Learning
针对电力系统等领域中动态系统与难建模随机环境交互的问题,结合线性二次调节器(LQR)和线性马尔可夫决策过程(MDPs)框架,推导闭式最优策略并提供稳定性保证与样本复杂度分析,数值示例验证其有效性。
2025-08-24 cs.SY eess.SY math.OC
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania(宾夕法尼亚大学);University of Virginia(弗吉尼亚大学);University of Maryland, College Park(马里兰大学帕克分校)
本文针对约束马尔可夫决策过程,提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法,首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院);Gran Sasso Science Institute - GSSI(格兰萨索科学研究院(GSSI))
在本文中,我们考虑解决折扣马尔可夫决策过程(MDP)的约束下,所产生的政策是稳定的。实际上,MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果,建议使用模型预测控制(MPC)作为强化学习背景下的结构化策略,使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案,以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此,我们将首先在本文中表明,稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略,如果贴现MDP是稳定的,则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University(上海交通大学);SIMIS(上海数学与交叉学科研究院);Stanford University(斯坦福大学)
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界,排除其强多项式性,并与单纯形法形成指数分离,揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Policy Synthesis for Interval MDPs via Polyhedral Lyapunov Functions
School of Computing, Newcastle University(纽卡斯尔大学计算机学院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Birmingham(伯明翰大学)
本文提出利用多面体李雅普诺夫函数进行区间马尔可夫决策过程的策略合成,通过构建吸引不变集确保收敛性并减少不确定性影响,通过回收机器人和电动汽车电池案例验证了方法的有效性。
2026-01-06 cs.FL cs.SY eess.SY
Primal-Dual Stochastic Mirror Descent for MDPs
研究了无限时域马尔可夫决策过程的最优策略学习问题。为此,本文对具有Lipschitz连续泛函的凸规划问题提出了随机镜像下降的一种变形。一个重要的细节是使用函数约束的不精确值和计算对偶变量值的能力。我们分析了这种算法在一般情况下,并获得估计的收敛速度,不积累错误的操作过程中的方法。使用该算法,我们得到了第一个将平均奖励MDP与生成模型混合而不减少折扣MDP的并行算法。所提出的方法的主要特征之一是在分布式集中式设置中的低通信成本,即使是非常大的网络。
2022-02-27 math.OC stat.ML
Efficiently Solving MDPs with Stochastic Mirror Descent
Stanford University(斯坦福大学)
提出了一个基于原始对偶随机镜像下降的统一框架,用于近似求解给定生成模型的无限时域马尔可夫决策过程(MDP)。当应用于具有$A_{tot}$总状态-动作对和混合时间界限$t_{mix}$的平均回报MDP时,我们的方法计算具有来自状态转移矩阵的预期$\widetilde{O}(t_{mix}^2 A_{tot} ε^{-2})$样本的$ε$ -最优策略,去除了现有技术的遍历依赖性。当应用于具有$A_{tot}$总状态-动作对的$γ$ -折扣MDP时,我们的方法计算具有预期$\widetilde{O}((1-γ)^{-4} A_{tot} ε^{-2})$样本的$ε$ -最优策略,与先前的最新技术水平相匹配,直到达到$(1-γ)^{-1}$因子。这两种方法都是无模型的,同时更新状态值和策略,并且在时间上与所取样本的数量成线性关系。我们实现这些结果通过一个更一般的随机镜像下降框架解决双线性鞍点问题的单纯形和盒域,我们证明了这个框架的灵活性,通过提供进一步的应用程序,以约束MDPs。
2020-08-28 cs.DS cs.LG math.OC
Towards Tight Bounds on the Sample Complexity of Average-reward MDPs
Stanford University(斯坦福大学)
我们证明了新的上界和下界的样本复杂性,找到一个$ε$最优的政策的无限地平线平均回报马尔可夫决策过程(MDP)访问生成模型。当所有策略的概率转移矩阵的混合时间最多为$t_\mathrm{mix}$时,我们提供了一种算法,该算法使用每个状态-动作对的$\widetilde{O}(t_\mathrm{mix} ε^{-3})$(不经意)样本来解决该问题。此外,我们提供了一个下限表明,在最坏的情况下,任何算法计算不经意的样本的线性依赖于$t_\mathrm{mix}$是必要的。我们得到我们的结果,通过建立无限地平线平均回报MDP和折扣MDP可能进一步的效用之间的连接。
2021-06-13 cs.DS cs.LG math.OC
Recursive Entropic Risk Optimization in Discounted MDPs: Sample Complexity Bounds with a Generative Model
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
本文研究了在有限折扣马尔可夫决策过程(MDP)中使用递归熵风险度量(ERM)进行风险敏感强化学习的问题,引入了基于模型的算法Model-Based ERM Q-Value Iteration(MB-RS-QVI),并推导了该算法在价值学习和策略学习中的PAC型样本复杂性界,证明了在最坏情况下样本复杂性与|β|/(1-γ)呈指数关系,为递归ERM在风险规避和风险寻求情形下的样本复杂性提供了首次严格保证。
2026-05-18 cs.AI cs.LG math.OC
From Optimization to Control: Quasi Policy Iteration
本文提出一种基于准牛顿方法的准策略迭代算法,用于马尔可夫决策过程,通过引入Hessian矩阵的近似和线性约束,提升收敛性能和鲁棒性。
2026-01-03 cs.LG cs.SY eess.SY
Span-Based Optimal Sample Complexity for Average Reward MDPs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究生成模型下平均奖励MDP的最优策略学习,通过将其归约为折扣MDP并开发基于偏置函数跨度的改进方差上界,首次在所有参数上实现了极小极大最优的样本复杂度。
2024-03-19 cs.IT cs.LG math.IT