Policy Space Identification in Configurable Environments
Politecnico di Milano(米兰理工大学)
我们研究的问题,确定的学习代理的政策空间,有机会获得一组示范产生的最佳政策。我们引入了一种基于统计测试的方法来确定代理可以控制的政策参数集,在一个更大的参数政策空间。在提出了两个识别规则(组合和简化),适用于不同的假设下的政策空间,我们提供了一个概率分析的简化的情况下,线性政策属于指数家庭。为了提高我们的识别规则的性能,我们在最近推出的可配置马尔可夫决策过程的框架的问题,利用配置环境的机会,诱导代理透露它可以控制的参数。最后,我们提供了一个实证评估,离散和连续域,证明我们的识别规则的有效性。
2019-09-09 cs.AI cs.LG stat.ML
Warm-up Free Policy Optimization: Improved Regret in Linear Markov Decision Processes
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文提出一种免预热的策略优化算法,用简单高效的收缩机制替代昂贵的纯探索预热阶段,在线性MDP的对抗性全信息反馈和随机老虎机反馈两种设置下均实现速率最优遗憾,并改善了对时间范围和函数逼近维度的依赖。
2024-07-03 cs.LG stat.ML
Navigating to the Best Policy in Markov Decision Processes
ENS Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
我们研究了经典的主动纯探索问题在马尔可夫决策过程中,代理顺序选择的行动,并从由此产生的系统轨迹,旨在确定尽可能快的最佳政策。我们提出了一个问题相关的下限的平均步骤数之前,可以给出一个正确的答案,概率至少$1-δ$。我们进一步提供了第一个算法,在此设置中具有特定于实例的样本复杂度。该算法解决了通信MDP的一般情况下,我们还提出了一个额外的遍历性假设下的探索率降低(因此收敛速度更快)的变体。这项工作扩展了以前的结果相对于\emph{generative setting} ~ \cite{pmlr-v139-marjani21a},其中代理可以在每一步查询任何(状态,动作)对的随机结果。相反,我们在这里展示如何处理由\emph{online setting}诱导的\emph{navigation constraints}。我们的分析依赖于遍历定理的非齐次马尔可夫链,我们认为广泛的兴趣在马尔可夫决策过程的分析。
2021-10-25 cs.LG stat.ML
Policy Learning for Robust Markov Decision Process with a Mismatched Generative Model
Tsinghua University(清华大学);UT Austin(德克萨斯大学奥斯汀分校)
在医疗和自动驾驶等高风险场景中,在线收集实验数据来训练智能体是有风险的,甚至是不可行的。基于模拟的训练可以缓解这个问题,但可能会受到模拟器和真实环境的固有不匹配的影响。因此,必须利用模拟器来学习真实世界部署的强大策略。在这项工作中,我们考虑策略学习的鲁棒马尔可夫决策过程(RMDP),代理试图寻求一个强大的政策,对环境的意外扰动。具体来说,我们专注于训练环境可以被描述为生成模型的设置,并且在测试期间可以向模型添加约束扰动。我们的目标是确定一个接近最优的鲁棒性政策的扰动测试环境,这引入了额外的技术困难,因为我们需要同时估计样本的训练环境的不确定性,并找到最坏情况下的扰动测试。为了解决这个问题,我们提出了一个通用的方法,形式化的扰动作为一个对手,以获得一个两个玩家的零和游戏,并进一步表明,纳什均衡对应的鲁棒政策。我们证明了,从生成模型的多项式数量的样本,我们的算法可以找到一个接近最优的鲁棒策略,具有很高的概率。我们的方法是能够处理一般的扰动下,一些温和的假设,也可以扩展到更复杂的问题,如鲁棒的部分可观测马尔可夫决策过程,由于博弈论的制定。
2022-03-15 cs.LG stat.ML
Optimizing over a Restricted Policy Class in Markov Decision Processes
University of Waterloo(滑铁卢大学);Adobe Research(奥多比研究院);DeepMind(深度思维);Netflix(网飞)
我们解决的问题,找到一个最佳的政策在马尔可夫决策过程下的限制政策类定义的凸包的一组基本政策。这个问题是非常感兴趣的应用程序中,一些合理的好(或安全)的政策是已知的,我们只感兴趣的优化在其凸包。我们表明,这个问题是NP-难的精确解决以及近似到任意精度。然而,在一个条件下,这是类似于占用措施的基本政策有很大的重叠,我们表明,存在一个有效的算法,找到一个政策,几乎是最好的凸组合的基本政策。该算法的运行时间与状态数成线性关系,与基本策略数成多项式关系。在实践中,我们证明了一个有效的实现大型状态的问题。与传统的策略梯度方法相比,该方法的优点在于,除了需要计算一些基本策略的占用测度外,迭代法在优化过程中不需要与环境交互。这在复杂的系统中尤其重要,在复杂的系统中,估计策略的价值可能是一个耗时的过程。
2018-02-26 cs.LG stat.ML
Online Reinforcement Learning of Optimal Threshold Policies for Markov Decision Processes
Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
为了克服动态规划方法求解马尔可夫决策过程问题时的维数和模型问题,在实际应用中采用了强化学习方法。与传统的RL算法不考虑最优策略的结构特性相反,我们提出了一种结构感知的学习算法来利用最优策略的有序多阈值结构。我们证明了所提出的算法的最优策略的渐近收敛性。由于策略空间的减小,该算法在存储和计算复杂性方面都比经典强化学习算法有显著的改进。仿真结果表明,该算法比其他RL算法具有更快的收敛速度。
2021-08-22 cs.LG stat.ML
A Structure-aware Online Learning Algorithm for Markov Decision Processes
IIT Bombay(孟买印度理工学院);IIT Kanpur(坎普尔印度理工学院)
为了克服动态规划(DP)方法在求解经典马尔可夫决策过程(MDP)问题时的维数灾难和建模灾难,强化学习(RL)算法受到广泛关注。本文考虑了一个无限期平均报酬MDP问题,在一定条件下证明了阈值策略的最优性。传统的RL技术在学习时没有利用最优策略的阈值性质。在本文中,我们提出了一种新的RL算法,利用已知的阈值结构的最优策略,同时学习,减少可行的政策空间。我们建立,该算法收敛到最优策略。它提供了一个显着的改进,在收敛速度和计算和存储复杂度比传统的RL算法。所提出的技术可以应用于各种各样的优化问题,包括节能数据传输和队列管理。我们展示了改进的收敛速度的算法比其他RL算法通过模拟。
2018-11-28 cs.LG stat.ML
A Theory of Regularized Markov Decision Processes
Google Research(谷歌研究院);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
许多最近成功的(深度)强化学习算法利用正则化,通常基于熵或Kullback-Leibler散度。我们提出了一个一般的正则化马尔可夫决策过程的理论,概括这些方法在两个方向:我们考虑一个更大的类的正则化,我们认为一般修改的政策迭代方法,包括政策迭代和值迭代。该理论的核心构建块是正则化Bellman算子和Legendre-Fenchel变换的概念,Legendre-Fenchel变换是凸优化的经典工具。这种方法允许一般的算法方案的错误传播分析,其中(可能的变种)的经典算法,如信赖域策略优化,软Q学习,随机演员批评或动态策略编程的特殊情况。这也与近端凸优化,特别是镜像下降相关联。
2019-06-04 cs.LG stat.ML
Online Markov decision processes with policy iteration
Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学)
在线马尔可夫决策过程(MDP)是经典马尔可夫决策过程的推广,它包含了不断变化的奖励函数。在本文中,我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是,它可以很容易地与函数逼近相结合,从而可以有效地处理大的和可能连续的状态空间。通过实验,我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Robust Batch Policy Learning in Markov Decision Processes
George Washington University(乔治华盛顿大学);Harvard University(哈佛大学)
在马尔可夫决策过程(MDP)框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力,我们建议通过一组平均奖励来评估每个策略,这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集,我们的目标是在预先指定的策略类中学习一个鲁棒的策略,该策略类可以最大化这个集合的最小值。利用半参数统计理论,我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Optimal Best Markovian Arm Identification with Fixed Confidence
University of California Berkeley(加州大学伯克利分校)
本文给出了单参数马尔可夫强盗模型中最佳马尔可夫臂识别的采样复杂度的完整刻画。我们推导出具体实例的非渐近和渐近的下界,推广的IID设置。我们分析的跟踪和停止策略,最初提出的IID设置,我们证明,渐近它是最多的一个因素,除了下界。我们的单参数马尔可夫强盗模型是基于指数族的随机阵的概念,我们建立了许多有用的属性。为了分析跟踪-停止策略,我们导出了一个新的马尔可夫链的浓度不等式,它本身可能是有趣的。
2020-07-28 cs.LG math.ST stat.ML
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.(赛博艾坚特公司)
政策外评估(OPE)是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下,大多数研究都集中在单人情况下,而不是多人情况下。在这项研究中,我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性,该可利用性通常用作确定策略配置文件(即,一组策略)是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后,我们提出的方法来找到最佳的候选人的政策配置文件,选择的政策配置文件,最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后,我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University(康奈尔大学);Harvard University(哈佛大学)
强化学习中的非策略评估(OPE)允许人们评估新的决策策略,而不需要进行探索,这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程(MDP),行动,奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比,我们称之为双强化学习(DRL)。我们表明,DRL是有效的,当两个组件估计在四根率,也是双重的强大时,只有一个组件是一致的。我们调查这些属性的经验,并证明了性能的好处,由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria(法国国家信息与自动化技术研究所);University of Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工大学);Villeneuve-d’Ascq, France(法国里尔大学城)
研究结构化MDP中最优策略的几何特性,提出基于边界的策略近似方法,直接学习策略区域,并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
Learning Policies for Markov Decision Processes from Data
Boston University(波士顿大学);IIT-Bombay(印度理工学院孟买分校);Zhejiang University(浙江大学)
我们认为学习的政策的马尔可夫决策过程与数据捕获的状态动作对遵循的政策的问题。我们假设该策略属于一类参数化策略,这些策略使用与状态-动作对相关联的特征来定义。这些特征是先验已知的,然而,只有它们中的未知子集可能是相关的。使用最佳拟合所观察的状态-动作样本的$\ell_1$ -正则化逻辑斯谛回归来恢复对应于所观察的目标策略的策略参数。我们建立的估计和原始政策(遗憾)的推广误差和遍历系数的基本马尔可夫链的平均回报之间的差异的界限。为此,我们结合样本复杂性理论和马尔可夫链平稳分布的灵敏度分析。我们的分析表明,要在$O(\sqrtε)$阶内实现后悔,使用$Ω(\log n \cdot poly(1/ε))$阶的训练样本量就足够了,其中$n$是特征的数量。我们证明了我们的方法的有效性合成机器人导航的例子。
2017-01-21 cs.LG math.OC stat.ML
Finite Sample Analysis of the GTD Policy Evaluation Algorithms in Markov Setting
Beijing Jiaotong University(北京交通大学);Microsoft Research(微软研究院);Chinese Academy of Sciences(中国科学院)
在强化学习(RL)中,关键组件之一是策略评估,其旨在估计价值函数(即,长期积累的回报)。有了好的策略评估方法,强化学习算法可以更准确地估计价值函数,从而找到更好的策略。当状态空间较大或连续时,采用线性函数逼近的\emph{Gradient-based Temporal Difference(GTD)}策略评估算法被广泛使用。考虑到评估数据的收集既费时又费力,对策略评估算法的有限样本性能有一个清晰的认识对强化学习非常重要。假设数据是独立同分布的。产生的,以前的工作提供了有限样本分析的GTD算法的恒定步长,将它们转换成凹凸鞍点问题。然而,众所周知,数据是从马尔可夫过程而不是i.i.d.生成的。在RL问题中。本文在现实马尔可夫环境下,给出了一般凸凹鞍点问题的有限样本界,从而也给出了GTD算法的有限样本界。我们有以下讨论基于我们的界限。(1)随着步长的变化,GTD算法收敛。(2)收敛速度由步长决定,系数为马尔可夫过程的混合时间。马尔可夫过程混合越快,收敛越快。(3)我们解释了经验重放技巧是有效的,通过改善混合性质的马尔可夫过程。据我们所知,我们的分析是第一个提供有限样本的马尔可夫设置的GTD算法的界限。
2018-09-21 cs.AI cs.LG math.OC
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong(香港城市大学);University of New Hampshire(新罕布什尔大学);Imperial College London(帝国理工学院)
鲁棒马尔可夫决策过程(MDP)允许计算可靠的动态决策问题的解决方案,其演变是由奖励和部分已知的转移概率建模。不幸的是,考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性,这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代,一个新的,高效的,灵活的,和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间,几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明,所提出的方法是许多数量级的速度比国家的最先进的方法,使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Bounds on sample size for policy evaluation in Markov environments
强化学习是指在不了解环境动态的情况下,在马尔可夫环境中找到最优的行动方案。该领域中使用的随机优化算法依赖于对策略值的估计。通常,策略的值是根据在环境中模拟该策略的结果来估计的。这种方法需要大量的模拟,因为要考虑政策空间中的不同点。在本文中,我们开发了价值估计器,利用使用一种策略时收集的数据来估计使用另一种策略的价值,从而产生更有效的数据算法。我们考虑的问题,积累了足够的经验,并给出PAC式的界限。
2001-05-17 cs.AI cs.CC cs.LG
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的,行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术,该技术重新加权政策外回报,以考虑两个政策之间回报可能性的差异。在本文中,我们研究了重要性采样与估计的行为政策,其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现,这种估计往往降低了均方误差的政策评估相比,重要性采样与真正的行为政策或使用的行为政策,估计从一个单独的数据集。直观地,以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样,并表明,估计一个非马尔可夫行为的政策,可以进一步降低大样本的均方误差,即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Partial Counterfactual Identification for Infinite Horizon Partially Observable Markov Decision Process
Columbia University(哥伦比亚大学)
本文研究了给定一组观测数据的反事实查询的可能输出的边界问题。虽然各种文献的作品已经描述了方法来生成有效的算法,提供了一个最佳的边界的反事实查询,所有这些都假设一个有限的地平线因果图。本文旨在通过修改Q-学习算法来扩展以前的工作,以提供无限时域因果图的因果查询的信息边界。通过仿真,我们的算法被证明是更好地执行相比,现有的算法。
2022-08-31 cs.LG
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine(加州大学欧文分校)
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中,但目前对混合合作/竞争环境知之甚少。在本文中,我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏(MPGs),其中包括合作游戏作为一种特殊情况。最近的研究结果表明,独立的策略梯度收敛MPG,但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法,主要的挑战在于马尔可夫势博弈没有唯一的最优值(如单智能体设置所示),因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明,自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay(印度理工学院孟买分校)
由于强化学习在过去几年中的兴趣增长,基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的,因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势,并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战,因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策,使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究中心,科技研究局(A*STAR));Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡高性能计算研究所,科技研究局(A*STAR));College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
本文提出一种镜像下降策略优化方法,用于鲁棒约束马尔可夫决策过程,通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Rate-Optimal Policy Optimization for Linear Markov Decision Processes
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);School of Electrical Engineering, Tel Aviv University(特拉维夫大学电气工程学院);Google Research(谷歌研究院)
该研究针对在线回合式线性马尔可夫决策过程的遗憾最小化问题,通过策略优化方法分别在随机老虎机反馈和全信息对抗设定下首次得到关于回合数K的速率最优$\tilde O(\text{K})$遗憾界。
2024-05-16 cs.LG
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
为了在强化学习中对风险厌恶进行建模,一种新兴的研究方法采用了熟悉的算法来优化相干风险泛函,这是一个包括条件风险价值(CVaR)的类。由于在马尔可夫决策过程中优化相关风险是困难的,最近的工作往往集中在马尔可夫相关风险(MCR),一个时间一致的代理。虽然,策略梯度(PG)的更新已得出这一目标,它仍然不清楚(i)PG是否找到一个全球最佳的MCR;(ii)如何估计梯度在一个易于处理的方式。在本文中,我们证明,在一般情况下,MCR目标(不同于预期收益)不是梯度主导的,驻点一般不能保证是全局最优的。此外,我们提出了一个严格的上界的次优学习政策,其依赖于目标的非线性和风险规避程度的特点。解决(ii),我们提出了一个实际的实现PG,使用状态分布重新加权,以克服以前的限制。通过实验,我们证明了当最优性差距很小时,PG可以学习风险敏感的政策。然而,我们发现,具有较大次优差距的实例是丰富的,易于构建,概述了未来研究的一个重要挑战。
2021-03-05 cs.AI cs.LG stat.ML
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine(加州大学欧文分校);The George Washington University(乔治华盛顿大学)
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发,我们开发了一个非参数识别结果,通过一系列所谓的V桥函数的帮助下,随时间变化的代理变量的政策价值估计。然后,我们开发了一个合适的Q评估型算法来估计V桥函数递归,其中一个非参数工具变量(NPIV)的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题,我们建立了有限样本误差界估计的V-桥功能,从而评估政策的价值,在样本量,地平线的长度和所谓的(本地)措施在每一步的不适定性。据我们所知,这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
Off-Policy Risk Assessment in Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
为了解决安全性与人类偏好的一致性以及学习效率等不同目的,越来越多的强化学习研究关注依赖于整个收益分布的风险泛函。最近的工作\emph{off-policy risk assessment}(OPRA)的上下文土匪介绍了一致的估计目标政策的CDF的回报以及有限的样本保证,扩展到(并同时举行)所有的风险。在本文中,我们解除OPRA马尔可夫决策过程(MDPs),其中重要性采样(IS)CDF估计遭受高方差较长的轨迹,由于有效样本量小。为了缓解这些问题,我们将基于模型的估计开发的第一个双稳健(DR)估计CDF的回报MDP。该估计量具有显著较小的方差,并且当模型被很好地指定时,达到Cramer-Rao方差下限。此外,对于许多风险泛函,下游估计享有更低的偏差和更低的方差。此外,我们推导出了第一个极大极小的下边界的非政策CDF和风险估计,这与我们的误差界匹配到一个常数因子。最后,我们证明了我们的DR CDF估计在几个不同的环境实验的精度。
2022-09-21 cs.AI cs.LG stat.ML
Stochastic first-order methods for average-reward Markov decision processes
School of Industrial and Systems Engineering(工业与系统工程学院);School of Computer Science(计算机学院);Georgia Institute of Technology(佐治亚理工学院)
本文针对平均奖励马尔可夫决策过程提出平均奖励随机策略镜像下降和方差缩减时序差分方法,解决策略优化与评估中的探索不足和样本复杂度问题,并建立两种噪声模型下的样本复杂度保证。
2024-09-28 cs.LG math.OC stat.ML
Policy Testing in Markov Decision Processes
CyberAgent;National Tsing Hua University(国立清华大学);KTH, Digital Futures(KTH数字未来)
本文研究了在固定置信度下,通过生成模型进行静态采样时,如何在最小化样本数的情况下判断给定策略的价值是否超过指定阈值。提出了一种新算法,通过将问题转化为反向马尔可夫决策过程中的策略优化任务,解决了非凸约束带来的挑战。
2026-04-20 cs.LG math.ST stat.ML
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University(普渡大学)
本文针对无限时域平均奖励MDP,提出通用策略梯度算法,证明其全局收敛性,并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Policy Gradient Methods for Non-Markovian Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science(印度科学研究院计算机科学与自动化系);Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系);Department of Electrical and Electronics Engineering, Nanyang Technological University(南洋理工大学电气与电子工程系);CMAP, CNRS, École polytechnique, Institut Polytechnique d́e Paris(巴黎理工学院先进材料与工艺中心、国家科学研究中心、巴黎理工学院)
本文研究非马尔可夫决策过程中的策略梯度方法,提出基于奖励的策略优化框架,通过递归更新内部状态提升非马尔可夫任务性能。
2026-05-11 cs.AI cs.LG
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University(斯坦福大学)
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器,证明其一致性与极小极大收敛速率,表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME
Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近,由于对强化学习的兴趣越来越大,用于控制目的的策略优化重新受到关注。本文研究离散马尔可夫跳变线性系二次最优控制的基于梯度的策略最优化方法的整体收敛性。首先,我们研究了MJLS的直接策略优化的优化景观,静态状态反馈控制器和二次性能成本。尽管结果问题的非凸性,我们仍然能够确定几个有用的属性,如bandwidth,梯度优势,几乎光滑。基于这些性质,我们证明了三种策略最优化方法的整体收敛:梯度下降法,高斯-牛顿法和自然策略梯度法。我们证明了这三种方法收敛到最优的状态反馈控制器MJLS在一个线性的速度,如果初始化在一个控制器,这是均方稳定。给出了一些数值例子来支持理论。这项工作带来了新的见解,了解性能的政策梯度法的马尔可夫跳跃线性二次控制问题。
2020-11-24 cs.LG cs.SY eess.SY
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子科技)
安全策略改进(SPI)旨在可证明的保证,学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping(Soft-SPIBB),我们在他们的方法中发现了理论问题,提供了一个正确的理论,并推导出一个新的算法,该算法在有限马尔可夫决策过程(MDP)上可证明是安全的。此外,我们提供了一个启发式算法,表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外,我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性:而平均性能的算法,将不确定性作为一个惩罚的动作值是较高的,积极限制的政策集更一致地产生良好的政策,因此,更安全。
2022-01-28 cs.AI cs.LG
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时,例如在医疗保健或教育中,普遍关注的是观察到的行为可能会受到未观察到的因素的影响,从而导致在完美马尔可夫决策过程(MDP)模型假设下得出的混淆和偏差估计。在这里,我们通过考虑部分观察MDP(POMDP)中的政策外评估来解决这个问题。具体来说,我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹,只有部分状态观测产生的不同的和未知的政策,可能取决于未观察到的状态。我们解决两个问题:什么条件下,让我们从观察到的数据,并确定目标的政策价值,给定的识别,如何最好地估计它。为了回答这些问题,我们扩展的框架,近端因果推理我们的POMDP设置,提供了各种设置,其中识别是可能的存在所谓的桥梁功能。然后,我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习(PRL)。我们证明了PRL的好处,在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
Non-Markovian policies occupancy measures
Microsoft Research Montréal(微软研究院蒙特利尔);MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学)
强化学习(RL)的一个中心研究对象是马尔可夫策略,其中代理的行为是从无记忆概率分布中选择的,仅以其当前状态为条件。马尔可夫政策家族的范围足够广,令人感兴趣,但又足够简单,便于分析。然而,强化学习往往涉及更复杂的政策:政策的合奏,政策的选择,政策更新在线等,我们的主要贡献是证明,任何非马尔可夫政策的占用措施,即,与它一起收集的过渡样本的分布可以等效地由马尔可夫策略生成。这个结果允许定理的马尔可夫政策类直接扩展到其非马尔可夫对应,大大简化了证明,特别是那些涉及重放缓冲区和数据集。我们在强化学习领域提供了各种应用实例。
2022-05-27 cs.LG cs.SY eess.SY
Policy Gradient for Rectangular Robust Markov Decision Processes
Technion(以色列理工学院);MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学);NVIDIA Research(英伟达研究院)
针对矩形鲁棒 MDP,本文提出 RPG,通过最差占用测度闭式解与鲁棒 Q 值估计获得显式鲁棒梯度,并以非鲁棒方法相同的时间复杂度降低训练计算负担。
2023-12-11 cs.AI cs.LG
Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong(香港城市大学);University of New Hampshire(新罕布什尔大学)
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题,提出双环鲁棒策略镜像下降方法,具备全局最优收敛保证,适配多类空间设置,实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近,由于对强化学习的兴趣越来越大,用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先,我们研究的直接政策优化MJLS的优化景观,特别是,显示,尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来,我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率,如果初始化在一个控制器,稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后,我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
马尔可夫跳变线性系是一类重要的动力系统,在许多控制应用中得到了广泛的应用。在本文中,我们介绍了控制未知(离散时间)MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程(MDP)与混合连续/离散状态变量。与传统的线性二次型调节器(LQR)相比,我们提出的问题导致了一个特殊的混合MDP(与混合连续和离散变量),并提出了重大的新的挑战,由于一个潜在的马尔可夫跳变参数的出现,管理模式的系统动态。具体而言,MJLS的状态不形成马尔可夫链,因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而,可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后,我们修改了广泛使用的自然策略梯度法,直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了(数据驱动的)自然策略梯度法。我们的仿真结果表明,自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina(南卡罗来纳大学);Virginia Tech(弗吉尼亚理工大学)
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏(MPG),它扩展了正常形式的潜在游戏的概念,有状态的设置,包括重要的特殊情况下,完全合作的设置,其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化,表格和参数化的一般函数逼近器,如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次,我们推导了两种设置下的策略梯度的有限时间性能:1)使用对数屏障正则化,以及2)使用最佳响应动态(NPG-BR)下的自然策略梯度。最后,通过推广正规型博弈中的无政府无政府代价(POA)和光滑性的概念,我们引入了MPG的POA,并给出了NPG-BR的POA界。据我们所知,这是求解MPG的第一个POA界。为了支持我们的理论结果,我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Provable Policy Gradient Methods for Average-Reward Markov Potential Games
Texas A&M University(德克萨斯农工大学);Univeristy of California, LA(加州大学洛杉矶分校)
该研究针对平均回报马尔可夫势博弈,证明了多种策略梯度算法的全局收敛性,给出了时间与样本复杂度分析,并通过仿真验证了相关结论。
2024-03-09 cs.GT cs.LG
Multi-Timescale Ensemble Q-learning for Markov Decision Process Policy Optimization
University of Southern California(南加州大学);USC + Amazon Center on Secure and Trusted Machine Learning(南加州大学+亚马逊安全可信机器学习中心)
本文提出一种多时间尺度集成Q学习算法,通过在多个结构相关的马尔可夫环境中并行运行Q学习并基于Jensen-Shannon散度自适应融合输出,以低复杂度获得近似最优策略,实验表明其策略误差和运行时复杂度均显著优于现有Q学习算法。
2024-02-08 cs.LG eess.SP
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体,证明其以指数速度收敛,并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻,同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院);Gran Sasso Science Institute - GSSI(格兰萨索科学研究院(GSSI))
在本文中,我们考虑解决折扣马尔可夫决策过程(MDP)的约束下,所产生的政策是稳定的。实际上,MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果,建议使用模型预测控制(MPC)作为强化学习背景下的结构化策略,使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案,以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此,我们将首先在本文中表明,稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略,如果贴现MDP是稳定的,则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Sample Complexity of an Adversarial Attack on UCB-based Best-arm Identification Policy
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在这项工作中,我研究的问题的对抗扰动奖励,在多臂强盗(MAB)设置。具体来说,我专注于对抗攻击的UCB型最佳臂识别策略应用于随机MAB。[1]中提出的UCB攻击导致非常频繁地拉动目标臂K。利用文献[1]的攻击模型,推导出了选择目标臂K作为最佳臂所需的样本复杂度,证明了文献[2]中给出的基于UCB的最佳臂识别算法的停止条件,可以由目标臂K在T轮内达到,其中T仅取决于臂的总数和臂的$σ^2-$亚高斯随机奖励的$σ$参数。
2022-09-13 cs.AI cs.CR cs.LG
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University(东北大学);Texas A&M University(德克萨斯A&M大学)
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法,通过引入次优性间隙,证明其在O(1/ε)次迭代内达到ε-纳什均衡,改进了此前O(1/ε^2)的结果,并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Policy Dispersion in Non-Markovian Environment
本文针对非马尔可夫环境中策略相似导致过拟合的问题,提出一种策略分散方案,通过transformer学习策略嵌入并构建正定分散矩阵以获取多样策略,显著提升了智能体在环境扰动下的鲁棒性。
2024-06-03 cs.AI cs.LG
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago(芝加哥大学);Meta Platforms, Inc.(元平台公司);University of Michigan(密歇根大学);Northwestern University(西北大学);Yale University(耶鲁大学)
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注,但当有多个智能体在潜在竞争环境中玩耍时,理论上知之甚少。我们采取措施,提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化,但未知的过渡。我们考虑两类转移结构:因子独立转移和单控制器转移。对于这两种情况下,我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后,$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后,在事后观察整个政策序列。我们的算法结合了上置信界(UCB)型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时,他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent(赛博agent公司)
本文针对非马尔可夫决策过程提出蒙特卡洛树学习(MCTL)方法,并将其与策略梯度(PG)结合,利用双时间尺度随机逼近推导收敛条件,设计出能收敛到合理解的算法,数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
Policy Gradient With Serial Markov Chain Reasoning
King’s College London(伦敦国王学院)
我们引入了一个新的框架,执行决策的强化学习(RL)作为一个迭代推理过程。我们的代理行为模型的稳态分布的参数化推理马尔可夫链(RMC),优化与一个新的易于处理的估计的策略梯度。我们通过模拟RMC足够的推理步骤来接近其稳态分布来执行动作选择。我们展示了我们的框架有几个有用的属性,这些属性是传统RL固有的。例如,它允许代理行为近似任何连续分布的动作参数化的RMC与一个简单的高斯转换函数。此外,达到收敛的推理步骤的数量可以随着每个动作选择决策的难度自适应地缩放,并且可以通过重用过去的解决方案来加速。我们得到的算法在流行的Mujoco和DeepMind Control基准测试中实现了最先进的性能,无论是本体感受任务还是基于像素的任务。
2022-10-13 cs.AI cs.LG
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University(上海交通大学);SIMIS(上海数学与交叉学科研究院);Stanford University(斯坦福大学)
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界,排除其强多项式性,并与单纯形法形成指数分离,揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis(加州大学戴维斯分校)
最近发现的有限状态-动作折扣马尔可夫决策过程(MDP)的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明,价值空间是一个联盟的许多细胞相同的超平面安排,并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发,我们提出了一种新的算法,几何策略迭代(GPI),以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作,然后立即更新价值函数,来更新单个状态的策略。这种新的更新规则旨在更快地提高值,而不影响计算效率。此外,我们的算法允许异步更新的状态值,这是更灵活和有利的传统的策略迭代相比,当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$,并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG