Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong(香港城市大学);University of New Hampshire(新罕布什尔大学)
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题,提出双环鲁棒策略镜像下降方法,具备全局最优收敛保证,适配多类空间设置,实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent(赛博agent公司)
本文针对非马尔可夫决策过程提出蒙特卡洛树学习(MCTL)方法,并将其与策略梯度(PG)结合,利用双时间尺度随机逼近推导收敛条件,设计出能收敛到合理解的算法,数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
Policy Gradient With Serial Markov Chain Reasoning
King’s College London(伦敦国王学院)
我们引入了一个新的框架,执行决策的强化学习(RL)作为一个迭代推理过程。我们的代理行为模型的稳态分布的参数化推理马尔可夫链(RMC),优化与一个新的易于处理的估计的策略梯度。我们通过模拟RMC足够的推理步骤来接近其稳态分布来执行动作选择。我们展示了我们的框架有几个有用的属性,这些属性是传统RL固有的。例如,它允许代理行为近似任何连续分布的动作参数化的RMC与一个简单的高斯转换函数。此外,达到收敛的推理步骤的数量可以随着每个动作选择决策的难度自适应地缩放,并且可以通过重用过去的解决方案来加速。我们得到的算法在流行的Mujoco和DeepMind Control基准测试中实现了最先进的性能,无论是本体感受任务还是基于像素的任务。
2022-10-13 cs.AI cs.LG
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis(加州大学戴维斯分校)
最近发现的有限状态-动作折扣马尔可夫决策过程(MDP)的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明,价值空间是一个联盟的许多细胞相同的超平面安排,并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发,我们提出了一种新的算法,几何策略迭代(GPI),以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作,然后立即更新价值函数,来更新单个状态的策略。这种新的更新规则旨在更快地提高值,而不影响计算效率。此外,我们的算法允许异步更新的状态值,这是更灵活和有利的传统的策略迭代相比,当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$,并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Online Markov decision processes with policy iteration
Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学)
在线马尔可夫决策过程(MDP)是经典马尔可夫决策过程的推广,它包含了不断变化的奖励函数。在本文中,我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是,它可以很容易地与函数逼近相结合,从而可以有效地处理大的和可能连续的状态空间。通过实验,我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University(普渡大学)
针对无限时域折扣奖励马尔可夫决策过程,提出加速自然策略梯度(ANPG)算法,在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度,改进现有最优样本复杂度,且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
Decision Making Agent Searching for Markov Models in Near-Deterministic World
Eötvös Loránd University(厄特沃什·罗兰大学)
强化学习具有坚实的基础,但在部分观察(非马尔可夫)环境中变得低效。因此,一个学习代理--天生就有一个表示和一个策略--可能希望研究马尔可夫性质在多大程度上成立。我们提出了一个学习架构,利用组合策略优化来克服非马尔可夫性,并开发有效的行为,这是很容易继承的,测试的行为状态的马尔可夫属性,并纠正非马尔可夫性通过运行一个确定性因子有限状态模型,它可以学习。我们说明了近确定性的女士吃豆人游戏中的架构的属性。我们从进化、个体和社会学习的角度分析了这种体系结构。
2011-03-01 cs.AI cs.LG
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester(曼彻斯特大学)
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态,而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了,如果学习率是很好的选择,那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria(法国国家信息与自动化研究所)
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程,它是已知的,存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代,众所周知,可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的,我们开发的变化值和政策迭代计算非平稳的政策,可以达到$\frac{2γ}{1-γ}ε$ -最优的,这构成了一个显着的改善通常情况下,当$γ$接近1。令人惊讶的是,这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University(康奈尔大学);Harvard University(哈佛大学)
强化学习中的非策略评估(OPE)允许人们评估新的决策策略,而不需要进行探索,这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程(MDP),行动,奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比,我们称之为双强化学习(DRL)。我们表明,DRL是有效的,当两个组件估计在四根率,也是双重的强大时,只有一个组件是一致的。我们调查这些属性的经验,并证明了性能的好处,由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago(芝加哥大学);Meta Platforms, Inc.(元平台公司);University of Michigan(密歇根大学);Northwestern University(西北大学);Yale University(耶鲁大学)
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注,但当有多个智能体在潜在竞争环境中玩耍时,理论上知之甚少。我们采取措施,提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化,但未知的过渡。我们考虑两类转移结构:因子独立转移和单控制器转移。对于这两种情况下,我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后,$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后,在事后观察整个政策序列。我们的算法结合了上置信界(UCB)型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时,他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York(纽约州立大学布法罗分校);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
在鲁棒马尔可夫决策过程(MDP)中,转移核中的不确定性是通过找到一个策略来解决的,该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs,强大的平均回报MDPs仍然在很大程度上未被探索。在本文中,我们专注于鲁棒平均奖励MDP,其目标是找到一个政策,优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法,使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时,鲁棒折扣价值函数收敛于鲁棒平均报酬,并且当$γ$较大时,鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法,并从理论上证明了它的收敛性。然后,我们直接研究鲁棒平均报酬MDP,而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程,证明了最优策略可以从其解导出,并进一步设计了一个鲁棒相对值迭代算法,该算法可证明地找到其解,或等价地,找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Finite Sample Analysis of the GTD Policy Evaluation Algorithms in Markov Setting
Beijing Jiaotong University(北京交通大学);Microsoft Research(微软研究院);Chinese Academy of Sciences(中国科学院)
在强化学习(RL)中,关键组件之一是策略评估,其旨在估计价值函数(即,长期积累的回报)。有了好的策略评估方法,强化学习算法可以更准确地估计价值函数,从而找到更好的策略。当状态空间较大或连续时,采用线性函数逼近的\emph{Gradient-based Temporal Difference(GTD)}策略评估算法被广泛使用。考虑到评估数据的收集既费时又费力,对策略评估算法的有限样本性能有一个清晰的认识对强化学习非常重要。假设数据是独立同分布的。产生的,以前的工作提供了有限样本分析的GTD算法的恒定步长,将它们转换成凹凸鞍点问题。然而,众所周知,数据是从马尔可夫过程而不是i.i.d.生成的。在RL问题中。本文在现实马尔可夫环境下,给出了一般凸凹鞍点问题的有限样本界,从而也给出了GTD算法的有限样本界。我们有以下讨论基于我们的界限。(1)随着步长的变化,GTD算法收敛。(2)收敛速度由步长决定,系数为马尔可夫过程的混合时间。马尔可夫过程混合越快,收敛越快。(3)我们解释了经验重放技巧是有效的,通过改善混合性质的马尔可夫过程。据我们所知,我们的分析是第一个提供有限样本的马尔可夫设置的GTD算法的界限。
2018-09-21 cs.AI cs.LG math.OC
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina(南卡罗来纳大学);Virginia Tech(弗吉尼亚理工大学)
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏(MPG),它扩展了正常形式的潜在游戏的概念,有状态的设置,包括重要的特殊情况下,完全合作的设置,其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化,表格和参数化的一般函数逼近器,如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次,我们推导了两种设置下的策略梯度的有限时间性能:1)使用对数屏障正则化,以及2)使用最佳响应动态(NPG-BR)下的自然策略梯度。最后,通过推广正规型博弈中的无政府无政府代价(POA)和光滑性的概念,我们引入了MPG的POA,并给出了NPG-BR的POA界。据我们所知,这是求解MPG的第一个POA界。为了支持我们的理论结果,我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
On the connection between Bregman divergence and value in regularized Markov decision processes
DeepMind(深度思维)
在这个简短的说明中,我们得到了从当前策略到最优策略的Bregman发散与正则化马尔可夫决策过程中当前价值函数的次优性之间的关系。这一结果对多任务强化学习、离线强化学习和函数逼近下的后悔分析等都有意义。
2022-11-06 cs.AI cs.LG math.OC
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University(清华大学);Meta AI Research(Meta人工智能研究院);Princeton University(普林斯顿大学);University of Washington(华盛顿大学)
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而,它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近,并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类,我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知,这是第一个证明有效的政策优化算法与函数近似,解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine(加州大学欧文分校)
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中,但目前对混合合作/竞争环境知之甚少。在本文中,我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏(MPGs),其中包括合作游戏作为一种特殊情况。最近的研究结果表明,独立的策略梯度收敛MPG,但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法,主要的挑战在于马尔可夫势博弈没有唯一的最优值(如单智能体设置所示),因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明,自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Robust Batch Policy Learning in Markov Decision Processes
George Washington University(乔治华盛顿大学);Harvard University(哈佛大学)
在马尔可夫决策过程(MDP)框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力,我们建议通过一组平均奖励来评估每个策略,这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集,我们的目标是在预先指定的策略类中学习一个鲁棒的策略,该策略类可以最大化这个集合的最小值。利用半参数统计理论,我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究中心,科技研究局(A*STAR));Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡高性能计算研究所,科技研究局(A*STAR));College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
本文提出一种镜像下降策略优化方法,用于鲁棒约束马尔可夫决策过程,通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
First-order Policy Optimization for Robust Markov Decision Process
Georgia Institute of Technology(佐治亚理工学院)
该研究针对鲁棒马尔可夫决策过程问题,提出鲁棒策略镜像下降(RPMD)及其随机变体SRPMD,证明了二者的迭代与样本复杂度,为该领域基于策略的一阶方法提供了全新结果。
2023-06-10 cs.AI cs.LG math.OC
Rate-Optimal Policy Optimization for Linear Markov Decision Processes
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);School of Electrical Engineering, Tel Aviv University(特拉维夫大学电气工程学院);Google Research(谷歌研究院)
该研究针对在线回合式线性马尔可夫决策过程的遗憾最小化问题,通过策略优化方法分别在随机老虎机反馈和全信息对抗设定下首次得到关于回合数K的速率最优$\tilde O(\text{K})$遗憾界。
2024-05-16 cs.LG
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体,证明其以指数速度收敛,并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻,同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
为了在强化学习中对风险厌恶进行建模,一种新兴的研究方法采用了熟悉的算法来优化相干风险泛函,这是一个包括条件风险价值(CVaR)的类。由于在马尔可夫决策过程中优化相关风险是困难的,最近的工作往往集中在马尔可夫相关风险(MCR),一个时间一致的代理。虽然,策略梯度(PG)的更新已得出这一目标,它仍然不清楚(i)PG是否找到一个全球最佳的MCR;(ii)如何估计梯度在一个易于处理的方式。在本文中,我们证明,在一般情况下,MCR目标(不同于预期收益)不是梯度主导的,驻点一般不能保证是全局最优的。此外,我们提出了一个严格的上界的次优学习政策,其依赖于目标的非线性和风险规避程度的特点。解决(ii),我们提出了一个实际的实现PG,使用状态分布重新加权,以克服以前的限制。通过实验,我们证明了当最优性差距很小时,PG可以学习风险敏感的政策。然而,我们发现,具有较大次优差距的实例是丰富的,易于构建,概述了未来研究的一个重要挑战。
2021-03-05 cs.AI cs.LG stat.ML
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院)
多智能体强化学习(MARL)--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展,但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战,不幸的是,现有理论仍然高度不足。在本文中,我们专注于竞争性多智能体RL的最基本的设置,即两个玩家零和马尔可夫游戏,并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理,其中的政策是通过熵正则化的乐观乘性权重更新(OMWU)的方法更新和更新的值在一个较慢的时间尺度。我们表明,在全信息表格设置中,所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡,这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性,并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
Off-Policy Risk Assessment in Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
为了解决安全性与人类偏好的一致性以及学习效率等不同目的,越来越多的强化学习研究关注依赖于整个收益分布的风险泛函。最近的工作\emph{off-policy risk assessment}(OPRA)的上下文土匪介绍了一致的估计目标政策的CDF的回报以及有限的样本保证,扩展到(并同时举行)所有的风险。在本文中,我们解除OPRA马尔可夫决策过程(MDPs),其中重要性采样(IS)CDF估计遭受高方差较长的轨迹,由于有效样本量小。为了缓解这些问题,我们将基于模型的估计开发的第一个双稳健(DR)估计CDF的回报MDP。该估计量具有显著较小的方差,并且当模型被很好地指定时,达到Cramer-Rao方差下限。此外,对于许多风险泛函,下游估计享有更低的偏差和更低的方差。此外,我们推导出了第一个极大极小的下边界的非政策CDF和风险估计,这与我们的误差界匹配到一个常数因子。最后,我们证明了我们的DR CDF估计在几个不同的环境实验的精度。
2022-09-21 cs.AI cs.LG stat.ML
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology(以色列理工学院)
在本文中,我们扩展的时间差的政策评估算法的性能标准,包括方差的累积奖励。这些标准对风险管理很有用,在财务和流程控制等领域也很重要。我们提出了TD(0)和LSTD(lambda)变量与线性函数逼近,证明了它们的收敛性,并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Intrinsically Motivated Hierarchical Policy Learning in Multi-objective Markov Decision Processes
针对非平稳多目标马尔可夫决策过程,提出双阶段内在动机强化学习方法,先学习通用技能,再快速引导各环境动态下的策略覆盖集演化,并在动态机器人任务中优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Policy Mirror Descent with Temporal Difference Learning: Sample Complexity under Online Markov Data
Wenye Li(李文悦);Hongxu Chen(陈红旭);Jiacai Liu(刘家才);Ke Wei(魏凯)
本文提出基于时间差学习的策略镜像下降算法,通过自适应步长实现在线马尔可夫数据下的样本复杂性优化。
2025-12-30 cs.LG math.OC
Boosting Trust Region Policy Optimization by Normalizing Flows Policy
Columbia University(哥伦比亚大学)
我们提出了改进的信赖域策略搜索与规范化流的政策。我们说明了当信任区域由KL发散约束构造时,规范化流策略生成远离前一策略的“中心”的样本,这可能使更好的探索,并有助于避免坏的局部最优。通过广泛的比较,我们表明,规范化流政策显着改善基线架构,特别是在高维任务与复杂的动态。
2019-02-01 cs.AI cs.LG stat.ML
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University(斯坦福大学)
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器,证明其一致性与极小极大收敛速率,表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.(赛博艾坚特公司)
政策外评估(OPE)是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下,大多数研究都集中在单人情况下,而不是多人情况下。在这项研究中,我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性,该可利用性通常用作确定策略配置文件(即,一组策略)是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后,我们提出的方法来找到最佳的候选人的政策配置文件,选择的政策配置文件,最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后,我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation
Cornell University(康奈尔大学);University of Science and Technology of China(中国科学技术大学);Duke University(杜克大学)
针对分布偏移下的鲁棒强化学习,提出DR-RPO算法,结合参考策略正则化与线性函数逼近,实现次线性遗憾和样本效率,理论与实证验证其鲁棒性。
2025-10-16 cs.AI cs.LG stat.ML
Robust Lagrangian and Adversarial Policy Gradient for Robust Constrained Markov Decision Processes
Agency for Science, Technology and Research(新加坡科技研究局);CFAR(新加坡未来城市实验室)
针对鲁棒约束马尔可夫决策过程现有RCPG方法的缺陷,提出两种改进算法,经理论推导与扰动实验验证,性能优于传统变体与消融模型,其中对抗式RCPG表现尤为突出。
2024-05-15 cs.AI cs.LG cs.NE
Generalised Policy Improvement with Geometric Policy Composition
DeepMind(深度思维)
我们引入了一种策略改进方法,该方法介于基于值的强化学习(RL)的贪婪方法和基于模型的RL的典型全规划方法之间。新方法建立在几何地平线模型(GHM,也称为伽马模型)的概念上,该模型对给定策略的贴现状态访问分布进行建模。我们表明,我们可以评估任何非马尔可夫政策之间切换的一组基本马尔可夫政策与固定的概率仔细组成的基本政策GHM,没有任何额外的学习。然后,我们可以将广义策略改进(GPI)应用于这些非马尔可夫策略的集合,以获得一个新的马尔可夫策略,该策略通常会优于其前体。我们对这种方法进行了深入的理论分析,开发了转移和标准RL的应用程序,并在一个具有挑战性的深度RL连续控制任务上实证了其对标准GPI的有效性。我们还提供了对GHM训练方法的分析,证明了先前提出的方法的新收敛结果,并展示了如何在深度RL设置中稳定地训练这些模型。
2022-06-17 cs.LG stat.ML
A Minimax Learning Approach to Off-Policy Evaluation in Confounded Partially Observable Markov Decision Processes
London School of Economics and Political Science(伦敦政治经济学院);Cornell University(康奈尔大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑部分可观测马尔可夫决策过程(POMDPs)中的离政策评估(OPE),其中评估策略仅取决于可观测变量,而行为策略取决于不可观测的潜变量。现有的作品要么假设没有不可测量的混杂因素,或专注于设置的观察和状态空间是表格。在这项工作中,我们首先提出了新的识别方法OPE POMDPs与潜在的混淆,通过引入桥梁功能,连接目标政策的价值和观察到的数据分布。接下来,我们提出了极小极大估计方法学习这些桥函数,并构造三个估计器的基础上,这些估计的桥函数,相应的价值函数为基础的估计,边缘化重要性采样估计,和双重鲁棒估计。我们的建议允许一般函数近似,因此适用于连续或大的观测/状态空间的设置。详细研究了估计量的非渐近性和渐近性。
2022-06-15 cs.LG stat.ML
Learning in Markov Games with Adaptive Adversaries: Policy Regret, Fundamental Barriers, and Efficient Algorithms
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究含自适应对手的 Markov 博弈学习,提出以策略遗憾替代外部遗憾,刻画无界记忆、非平稳及指数策略集导致的根本障碍,并在一致对手条件下给出达到 √T 遗憾的高效算法。
2024-12-09 cs.AI cs.GT cs.LG
Conformal Off-Policy Evaluation in Markov Decision Processes
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出一种基于共形预测的离线策略评估方法,通过输出具有规定确定性水平的区间来估计目标策略的真实奖励,并针对分布偏移提出多种处理策略,在保持确定性水平的同时缩短了区间长度。
2023-09-19 cs.AI cs.LG cs.SY
Hidden Markov Models with Multiple Observation Processes
University of Melbourne(墨尔本大学)
我们考虑一个隐马尔可夫模型与多个观察过程,其中之一是选择在每个时间点的政策-信息状态的确定性函数-并试图确定哪些政策最小化的信息状态的限制预期熵。针对一种特殊情况,我们用解析的方法证明了信息态总是按分布收敛的,并导出了一个极限熵的计算公式,该公式可用于高精度的计算。利用这个公式,我们发现在计算上,最优策略总是一个阈值策略,使得它很容易找到。我们还发现,贪婪策略几乎是最优的。
2011-05-05 cs.IT cs.LG math.IT
Convergence of off-policy TD(0) with linear function approximation for reversible Markov chains
研究反政策TD(0)在可逆马尔可夫链中使用线性函数逼近的收敛性,通过限制可逆性条件,证明在折扣因子上限下收敛,实现零投影Bellman误差。
2025-10-29 cs.LG stat.ML
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
马尔可夫跳变线性系是一类重要的动力系统,在许多控制应用中得到了广泛的应用。在本文中,我们介绍了控制未知(离散时间)MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程(MDP)与混合连续/离散状态变量。与传统的线性二次型调节器(LQR)相比,我们提出的问题导致了一个特殊的混合MDP(与混合连续和离散变量),并提出了重大的新的挑战,由于一个潜在的马尔可夫跳变参数的出现,管理模式的系统动态。具体而言,MJLS的状态不形成马尔可夫链,因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而,可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后,我们修改了广泛使用的自然策略梯度法,直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了(数据驱动的)自然策略梯度法。我们的仿真结果表明,自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Off-Policy Confidence Interval Estimation with Confounded Markov Decision Process
London School of Economics and Political Science(伦敦政治经济学院);Sun Yat-sen University(中山大学);Didi Chuxing(滴滴出行);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);North Carolina State University(北卡罗来纳州立大学)
本文基于预先收集的观测数据,在无限时域下离线构造目标策略值的置信区间。大多数现有的作品假设没有不可测量的变量存在混淆观察到的行动。然而,在实际应用中,如医疗保健和技术行业,这一假设可能会被违反。在本文中,我们表明,通过一些调节行为对系统动态影响的辅助变量,目标策略的值在混杂的马尔可夫决策过程中是可识别的。基于这一结果,我们开发了一个有效的政策外价值估计,是强大的潜在的模型误指定,并提供严格的不确定性量化。我们的方法是合理的理论结果,模拟和实际数据集从乘车共享公司。建议过程的Python实现可在https://github.com/Mamba413/cope上获得。
2022-11-04 cs.LG stat.ML
Provable Policy Gradient Methods for Average-Reward Markov Potential Games
Texas A&M University(德克萨斯农工大学);Univeristy of California, LA(加州大学洛杉矶分校)
该研究针对平均回报马尔可夫势博弈,证明了多种策略梯度算法的全局收敛性,给出了时间与样本复杂度分析,并通过仿真验证了相关结论。
2024-03-09 cs.GT cs.LG
Multi-Timescale Ensemble Q-learning for Markov Decision Process Policy Optimization
University of Southern California(南加州大学);USC + Amazon Center on Secure and Trusted Machine Learning(南加州大学+亚马逊安全可信机器学习中心)
本文提出一种多时间尺度集成Q学习算法,通过在多个结构相关的马尔可夫环境中并行运行Q学习并基于Jensen-Shannon散度自适应融合输出,以低复杂度获得近似最优策略,实验表明其策略误差和运行时复杂度均显著优于现有Q学习算法。
2024-02-08 cs.LG eess.SP
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院);Gran Sasso Science Institute - GSSI(格兰萨索科学研究院(GSSI))
在本文中,我们考虑解决折扣马尔可夫决策过程(MDP)的约束下,所产生的政策是稳定的。实际上,MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果,建议使用模型预测控制(MPC)作为强化学习背景下的结构化策略,使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案,以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此,我们将首先在本文中表明,稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略,如果贴现MDP是稳定的,则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Warm-up Free Policy Optimization: Improved Regret in Linear Markov Decision Processes
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文提出一种免预热的策略优化算法,用简单高效的收缩机制替代昂贵的纯探索预热阶段,在线性MDP的对抗性全信息反馈和随机老虎机反馈两种设置下均实现速率最优遗憾,并改善了对时间范围和函数逼近维度的依赖。
2024-07-03 cs.LG stat.ML
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University(东北大学);Texas A&M University(德克萨斯A&M大学)
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法,通过引入次优性间隙,证明其在O(1/ε)次迭代内达到ε-纳什均衡,改进了此前O(1/ε^2)的结果,并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science(印度科学理工学院);Indian Institute of Technology Bombay(印度理工学院孟买分校);Xerox Research Centre India(施乐印度研究中心)
强化学习(RL)框架中的一个最近的目标是选择一系列动作或策略,以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题,其底层马尔可夫决策过程(MDP)的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略,同时最大限度地减少遗憾。在这项工作中,我们开发了新的RL算法,利用最优策略的结构,以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明,该算法具有更好的性能,易于实现,运行时间短,所需的随机数生成次数少.
2016-08-17 cs.LG
Navigating to the Best Policy in Markov Decision Processes
ENS Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
我们研究了经典的主动纯探索问题在马尔可夫决策过程中,代理顺序选择的行动,并从由此产生的系统轨迹,旨在确定尽可能快的最佳政策。我们提出了一个问题相关的下限的平均步骤数之前,可以给出一个正确的答案,概率至少$1-δ$。我们进一步提供了第一个算法,在此设置中具有特定于实例的样本复杂度。该算法解决了通信MDP的一般情况下,我们还提出了一个额外的遍历性假设下的探索率降低(因此收敛速度更快)的变体。这项工作扩展了以前的结果相对于\emph{generative setting} ~ \cite{pmlr-v139-marjani21a},其中代理可以在每一步查询任何(状态,动作)对的随机结果。相反,我们在这里展示如何处理由\emph{online setting}诱导的\emph{navigation constraints}。我们的分析依赖于遍历定理的非齐次马尔可夫链,我们认为广泛的兴趣在马尔可夫决策过程的分析。
2021-10-25 cs.LG stat.ML
A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学)
针对PPO算法理论基础不足的问题,提出面向回合式对抗线性MDPs的乐观PPO变体,推导得到更优悔界,采用多批次更新机制与新的覆盖数分析方法。
2023-06-08 cs.AI cs.LG math.OC
Policy Learning for Robust Markov Decision Process with a Mismatched Generative Model
Tsinghua University(清华大学);UT Austin(德克萨斯大学奥斯汀分校)
在医疗和自动驾驶等高风险场景中,在线收集实验数据来训练智能体是有风险的,甚至是不可行的。基于模拟的训练可以缓解这个问题,但可能会受到模拟器和真实环境的固有不匹配的影响。因此,必须利用模拟器来学习真实世界部署的强大策略。在这项工作中,我们考虑策略学习的鲁棒马尔可夫决策过程(RMDP),代理试图寻求一个强大的政策,对环境的意外扰动。具体来说,我们专注于训练环境可以被描述为生成模型的设置,并且在测试期间可以向模型添加约束扰动。我们的目标是确定一个接近最优的鲁棒性政策的扰动测试环境,这引入了额外的技术困难,因为我们需要同时估计样本的训练环境的不确定性,并找到最坏情况下的扰动测试。为了解决这个问题,我们提出了一个通用的方法,形式化的扰动作为一个对手,以获得一个两个玩家的零和游戏,并进一步表明,纳什均衡对应的鲁棒政策。我们证明了,从生成模型的多项式数量的样本,我们的算法可以找到一个接近最优的鲁棒策略,具有很高的概率。我们的方法是能够处理一般的扰动下,一些温和的假设,也可以扩展到更复杂的问题,如鲁棒的部分可观测马尔可夫决策过程,由于博弈论的制定。
2022-03-15 cs.LG stat.ML
Near-Optimal Policy Optimization for Correlated Equilibrium in General-Sum Markov Games
Yale University(耶鲁大学);University of Southern California(南加州大学);University of Virginia(弗吉尼亚大学)
本文针对一般和马尔可夫博弈中的相关均衡计算问题,提出一种结合平滑值更新与乐观跟随正则化领导者算法的无耦合策略优化方法,将收敛速率提升至近最优水平。
2024-05-01 cs.GT cs.LG math.OC
Safe Policy Improvement in Constrained Markov Decision Processes
TU Wien(维也纳工业大学)
通过强化学习(RL)从给定的一组正式需求自动合成策略取决于奖励信号的构造,并且由许多策略改进步骤的迭代应用组成。合成算法必须在单一目标中平衡目标、安全性和舒适性要求,并保证策略改进不会增加违反安全要求的数量,特别是对于安全关键型应用。在这项工作中,我们提出了一个解决方案的综合问题,解决其两个主要的挑战:从一组正式的要求和安全的政策更新的奖励塑造。对于前者,我们提出了一个自动奖励整形过程,定义了一个标量奖励信号符合任务规范。对于后者,我们引入了一个算法,以确保该政策的改进,在一个安全的方式与高置信度的保证。我们还讨论了采用基于模型的RL算法,以有效地使用收集到的数据和训练预测轨迹上的无模型代理,其中安全违规不会产生与现实世界中相同的影响。最后,我们在标准控制基准中证明了即使在超参数的严重扰动下,所得到的学习过程也是有效的和鲁棒的。
2022-10-20 cs.AI cs.FL cs.LG
Learning Policies for Markov Decision Processes from Data
Boston University(波士顿大学);IIT-Bombay(印度理工学院孟买分校);Zhejiang University(浙江大学)
我们认为学习的政策的马尔可夫决策过程与数据捕获的状态动作对遵循的政策的问题。我们假设该策略属于一类参数化策略,这些策略使用与状态-动作对相关联的特征来定义。这些特征是先验已知的,然而,只有它们中的未知子集可能是相关的。使用最佳拟合所观察的状态-动作样本的$\ell_1$ -正则化逻辑斯谛回归来恢复对应于所观察的目标策略的策略参数。我们建立的估计和原始政策(遗憾)的推广误差和遍历系数的基本马尔可夫链的平均回报之间的差异的界限。为此,我们结合样本复杂性理论和马尔可夫链平稳分布的灵敏度分析。我们的分析表明,要在$O(\sqrtε)$阶内实现后悔,使用$Ω(\log n \cdot poly(1/ε))$阶的训练样本量就足够了,其中$n$是特征的数量。我们证明了我们的方法的有效性合成机器人导航的例子。
2017-01-21 cs.LG math.OC stat.ML