Off-Policy Confidence Interval Estimation with Confounded Markov Decision Process
London School of Economics and Political Science（伦敦政治经济学院）；Sun Yat-sen University（中山大学）；Didi Chuxing（滴滴出行）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；North Carolina State University（北卡罗来纳州立大学）
本文基于预先收集的观测数据，在无限时域下离线构造目标策略值的置信区间。大多数现有的作品假设没有不可测量的变量存在混淆观察到的行动。然而，在实际应用中，如医疗保健和技术行业，这一假设可能会被违反。在本文中，我们表明，通过一些调节行为对系统动态影响的辅助变量，目标策略的值在混杂的马尔可夫决策过程中是可识别的。基于这一结果，我们开发了一个有效的政策外价值估计，是强大的潜在的模型误指定，并提供严格的不确定性量化。我们的方法是合理的理论结果，模拟和实际数据集从乘车共享公司。建议过程的Python实现可在https://github.com/Mamba413/cope上获得。
2022-11-04 cs.LG stat.ML
Warm-up Free Policy Optimization: Improved Regret in Linear Markov Decision Processes
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文提出一种免预热的策略优化算法，用简单高效的收缩机制替代昂贵的纯探索预热阶段，在线性MDP的对抗性全信息反馈和随机老虎机反馈两种设置下均实现速率最优遗憾，并改善了对时间范围和函数逼近维度的依赖。
2024-07-03 cs.LG stat.ML
Policy Learning for Robust Markov Decision Process with a Mismatched Generative Model
Tsinghua University（清华大学）；UT Austin（德克萨斯大学奥斯汀分校）
在医疗和自动驾驶等高风险场景中，在线收集实验数据来训练智能体是有风险的，甚至是不可行的。基于模拟的训练可以缓解这个问题，但可能会受到模拟器和真实环境的固有不匹配的影响。因此，必须利用模拟器来学习真实世界部署的强大策略。在这项工作中，我们考虑策略学习的鲁棒马尔可夫决策过程（RMDP），代理试图寻求一个强大的政策，对环境的意外扰动。具体来说，我们专注于训练环境可以被描述为生成模型的设置，并且在测试期间可以向模型添加约束扰动。我们的目标是确定一个接近最优的鲁棒性政策的扰动测试环境，这引入了额外的技术困难，因为我们需要同时估计样本的训练环境的不确定性，并找到最坏情况下的扰动测试。为了解决这个问题，我们提出了一个通用的方法，形式化的扰动作为一个对手，以获得一个两个玩家的零和游戏，并进一步表明，纳什均衡对应的鲁棒政策。我们证明了，从生成模型的多项式数量的样本，我们的算法可以找到一个接近最优的鲁棒策略，具有很高的概率。我们的方法是能够处理一般的扰动下，一些温和的假设，也可以扩展到更复杂的问题，如鲁棒的部分可观测马尔可夫决策过程，由于博弈论的制定。
2022-03-15 cs.LG stat.ML
Optimizing over a Restricted Policy Class in Markov Decision Processes
University of Waterloo（滑铁卢大学）；Adobe Research（奥多比研究院）；DeepMind（深度思维）；Netflix（网飞）
我们解决的问题，找到一个最佳的政策在马尔可夫决策过程下的限制政策类定义的凸包的一组基本政策。这个问题是非常感兴趣的应用程序中，一些合理的好（或安全）的政策是已知的，我们只感兴趣的优化在其凸包。我们表明，这个问题是NP-难的精确解决以及近似到任意精度。然而，在一个条件下，这是类似于占用措施的基本政策有很大的重叠，我们表明，存在一个有效的算法，找到一个政策，几乎是最好的凸组合的基本政策。该算法的运行时间与状态数成线性关系，与基本策略数成多项式关系。在实践中，我们证明了一个有效的实现大型状态的问题。与传统的策略梯度方法相比，该方法的优点在于，除了需要计算一些基本策略的占用测度外，迭代法在优化过程中不需要与环境交互。这在复杂的系统中尤其重要，在复杂的系统中，估计策略的价值可能是一个耗时的过程。
2018-02-26 cs.LG stat.ML
Online Reinforcement Learning of Optimal Threshold Policies for Markov Decision Processes
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
为了克服动态规划方法求解马尔可夫决策过程问题时的维数和模型问题，在实际应用中采用了强化学习方法。与传统的RL算法不考虑最优策略的结构特性相反，我们提出了一种结构感知的学习算法来利用最优策略的有序多阈值结构。我们证明了所提出的算法的最优策略的渐近收敛性。由于策略空间的减小，该算法在存储和计算复杂性方面都比经典强化学习算法有显著的改进。仿真结果表明，该算法比其他RL算法具有更快的收敛速度。
2021-08-22 cs.LG stat.ML
A Structure-aware Online Learning Algorithm for Markov Decision Processes
IIT Bombay（孟买印度理工学院）；IIT Kanpur（坎普尔印度理工学院）
为了克服动态规划（DP）方法在求解经典马尔可夫决策过程（MDP）问题时的维数灾难和建模灾难，强化学习（RL）算法受到广泛关注。本文考虑了一个无限期平均报酬MDP问题，在一定条件下证明了阈值策略的最优性。传统的RL技术在学习时没有利用最优策略的阈值性质。在本文中，我们提出了一种新的RL算法，利用已知的阈值结构的最优策略，同时学习，减少可行的政策空间。我们建立，该算法收敛到最优策略。它提供了一个显着的改进，在收敛速度和计算和存储复杂度比传统的RL算法。所提出的技术可以应用于各种各样的优化问题，包括节能数据传输和队列管理。我们展示了改进的收敛速度的算法比其他RL算法通过模拟。
2018-11-28 cs.LG stat.ML
A Theory of Regularized Markov Decision Processes
Google Research（谷歌研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
许多最近成功的（深度）强化学习算法利用正则化，通常基于熵或Kullback-Leibler散度。我们提出了一个一般的正则化马尔可夫决策过程的理论，概括这些方法在两个方向：我们考虑一个更大的类的正则化，我们认为一般修改的政策迭代方法，包括政策迭代和值迭代。该理论的核心构建块是正则化Bellman算子和Legendre-Fenchel变换的概念，Legendre-Fenchel变换是凸优化的经典工具。这种方法允许一般的算法方案的错误传播分析，其中（可能的变种）的经典算法，如信赖域策略优化，软Q学习，随机演员批评或动态策略编程的特殊情况。这也与近端凸优化，特别是镜像下降相关联。
2019-06-04 cs.LG stat.ML
Adaptive Sampling for Best Policy Identification in Markov Decision Processes
UMPA, ENS Lyon（里昂高等师范学校 UMPA）；KTH, Royal Institute of Technology（瑞典皇家理工学院）
我们研究了折扣马尔可夫决策过程（MDP）的最佳策略识别问题时，学习者有机会获得一个生成模型。我们的目标是设计一个学习算法返回的最佳政策，尽可能早。我们首先推导出一个特定于问题的样本复杂度的下界满足任何学习算法。这个下限对应于一个最佳的样本分配，解决了一个非凸的程序，因此，很难利用在设计有效的算法。然后，我们提供了一个简单的和严格的样本复杂度下限的上限，其相应的接近最优的样本分配变得明确。上界取决于MDP的特定泛函，例如次优间隙和下一状态值函数的方差，从而真正捕获MDP的硬度。最后，我们设计KLB-TS（KL球跟踪和停止），跟踪这个接近最优的分配算法，并提供渐近保证其样本复杂性（几乎肯定和预期）。KLB-TS对国家的最先进的算法的优势进行了讨论和数值说明。
2021-05-10 cs.LG stat.ML
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Robust Batch Policy Learning in Markov Decision Processes
George Washington University（乔治华盛顿大学）；Harvard University（哈佛大学）
在马尔可夫决策过程（MDP）框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力，我们建议通过一组平均奖励来评估每个策略，这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集，我们的目标是在预先指定的策略类中学习一个鲁棒的策略，该策略类可以最大化这个集合的最小值。利用半参数统计理论，我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
On Reinforcement Learning for Turn-based Zero-sum Markov Games
MIT（麻省理工学院）；Cornell University（康奈尔大学）
研究了两人回合制零和博弈的纳什均衡求解问题。受AlphaGo Zero（AGZ）算法的启发，我们开发了一种基于强化学习的方法。具体来说，我们提出了探索-改进-监督（EIS）方法，结合“探索”，“政策改进”“和“监督学习“，以找到价值函数和政策相关的纳什均衡。我们确定这样的方法的收敛性和正确性的充分条件。对于EIS的一个具体实例，其中随机策略用于“探索”，蒙特卡罗树搜索用于“策略改进”，最近邻用于“监督学习“，我们建立了这种方法找到一个$\varepsilon$ -近似价值函数的纳什均衡在$\widetilde{O}(\varepsilon^{-(d+4)})$步骤时，潜在的状态空间的游戏是连续的和$d$维。这几乎是最优的，因为我们为任何策略建立了$\widetildeΩ(\varepsilon^{-(d+2)})$的下限。
2020-02-25 cs.LG stat.ML
Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret Learning in Markov Games
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究分散的策略学习在马尔可夫博弈中，我们控制一个单一的代理人发挥非平稳和可能的敌对对手。我们的目标是开发一个无遗憾的在线学习算法，（i）根据代理观察到的本地信息采取行动，（ii）能够在事后找到最佳策略。对于这样的问题，由于变化的对手的非平稳状态转换构成了一个重大的挑战。鉴于最近的硬度结果\citep{liu2022learning}，我们专注于设置对手的以前的政策是透露给代理决策。有了这样的信息结构，我们提出了一个新的算法，\underline{D} ecentralized \underline{O}乐观炒作\underline{R} policy m \underline{I} rror de \underline{S} cent（DORIS），它实现了$\sqrt{K}$ -遗憾的背景下，一般函数近似，其中$K$是情节的数量。此外，当所有的代理商采用DORIS，我们证明了他们的混合策略构成一个近似的粗相关均衡。特别地，DORIS维护\textit{hyperpolicy}，其是策略空间上的分布。超策略通过镜像下降更新，其中更新方向通过最小二乘策略评估的乐观变体获得。此外，为了说明我们的方法的力量，我们将DORIS应用于约束和向量值的MDP，它可以被制定为零和马尔可夫游戏与一个虚构的对手。
2022-06-03 cs.LG stat.ML
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.（赛博艾坚特公司）
政策外评估（OPE）是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下，大多数研究都集中在单人情况下，而不是多人情况下。在这项研究中，我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性，该可利用性通常用作确定策略配置文件（即，一组策略）是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后，我们提出的方法来找到最佳的候选人的政策配置文件，选择的政策配置文件，最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后，我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
强化学习中的非策略评估（OPE）允许人们评估新的决策策略，而不需要进行探索，这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程（MDP），行动，奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比，我们称之为双强化学习（DRL）。我们表明，DRL是有效的，当两个组件估计在四根率，也是双重的强大时，只有一个组件是一致的。我们调查这些属性的经验，并证明了性能的好处，由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
Learning Policies for Markov Decision Processes from Data
Boston University（波士顿大学）；IIT-Bombay（印度理工学院孟买分校）；Zhejiang University（浙江大学）
我们认为学习的政策的马尔可夫决策过程与数据捕获的状态动作对遵循的政策的问题。我们假设该策略属于一类参数化策略，这些策略使用与状态-动作对相关联的特征来定义。这些特征是先验已知的，然而，只有它们中的未知子集可能是相关的。使用最佳拟合所观察的状态-动作样本的$\ell_1$ -正则化逻辑斯谛回归来恢复对应于所观察的目标策略的策略参数。我们建立的估计和原始政策（遗憾）的推广误差和遍历系数的基本马尔可夫链的平均回报之间的差异的界限。为此，我们结合样本复杂性理论和马尔可夫链平稳分布的灵敏度分析。我们的分析表明，要在$O(\sqrtε)$阶内实现后悔，使用$Ω(\log n \cdot poly(1/ε))$阶的训练样本量就足够了，其中$n$是特征的数量。我们证明了我们的方法的有效性合成机器人导航的例子。
2017-01-21 cs.LG math.OC stat.ML
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
Finite Sample Analysis of the GTD Policy Evaluation Algorithms in Markov Setting
Beijing Jiaotong University（北京交通大学）；Microsoft Research（微软研究院）；Chinese Academy of Sciences（中国科学院）
在强化学习（RL）中，关键组件之一是策略评估，其旨在估计价值函数（即，长期积累的回报）。有了好的策略评估方法，强化学习算法可以更准确地估计价值函数，从而找到更好的策略。当状态空间较大或连续时，采用线性函数逼近的\emph{Gradient-based Temporal Difference(GTD)}策略评估算法被广泛使用。考虑到评估数据的收集既费时又费力，对策略评估算法的有限样本性能有一个清晰的认识对强化学习非常重要。假设数据是独立同分布的。产生的，以前的工作提供了有限样本分析的GTD算法的恒定步长，将它们转换成凹凸鞍点问题。然而，众所周知，数据是从马尔可夫过程而不是i.i.d.生成的。在RL问题中。本文在现实马尔可夫环境下，给出了一般凸凹鞍点问题的有限样本界，从而也给出了GTD算法的有限样本界。我们有以下讨论基于我们的界限。(1)随着步长的变化，GTD算法收敛。(2)收敛速度由步长决定，系数为马尔可夫过程的混合时间。马尔可夫过程混合越快，收敛越快。(3)我们解释了经验重放技巧是有效的，通过改善混合性质的马尔可夫过程。据我们所知，我们的分析是第一个提供有限样本的马尔可夫设置的GTD算法的界限。
2018-09-21 cs.AI cs.LG math.OC
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的，行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术，该技术重新加权政策外回报，以考虑两个政策之间回报可能性的差异。在本文中，我们研究了重要性采样与估计的行为政策，其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现，这种估计往往降低了均方误差的政策评估相比，重要性采样与真正的行为政策或使用的行为政策，估计从一个单独的数据集。直观地，以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样，并表明，估计一个非马尔可夫行为的政策，可以进一步降低大样本的均方误差，即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Bounds on sample size for policy evaluation in Markov environments
强化学习是指在不了解环境动态的情况下，在马尔可夫环境中找到最优的行动方案。该领域中使用的随机优化算法依赖于对策略值的估计。通常，策略的值是根据在环境中模拟该策略的结果来估计的。这种方法需要大量的模拟，因为要考虑政策空间中的不同点。在本文中，我们开发了价值估计器，利用使用一种策略时收集的数据来估计使用另一种策略的价值，从而产生更有效的数据算法。我们考虑的问题，积累了足够的经验，并给出PAC式的界限。
2001-05-17 cs.AI cs.CC cs.LG
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
为了在强化学习中对风险厌恶进行建模，一种新兴的研究方法采用了熟悉的算法来优化相干风险泛函，这是一个包括条件风险价值（CVaR）的类。由于在马尔可夫决策过程中优化相关风险是困难的，最近的工作往往集中在马尔可夫相关风险（MCR），一个时间一致的代理。虽然，策略梯度（PG）的更新已得出这一目标，它仍然不清楚（i）PG是否找到一个全球最佳的MCR;（ii）如何估计梯度在一个易于处理的方式。在本文中，我们证明，在一般情况下，MCR目标（不同于预期收益）不是梯度主导的，驻点一般不能保证是全局最优的。此外，我们提出了一个严格的上界的次优学习政策，其依赖于目标的非线性和风险规避程度的特点。解决（ii），我们提出了一个实际的实现PG，使用状态分布重新加权，以克服以前的限制。通过实验，我们证明了当最优性差距很小时，PG可以学习风险敏感的政策。然而，我们发现，具有较大次优差距的实例是丰富的，易于构建，概述了未来研究的一个重要挑战。
2021-03-05 cs.AI cs.LG stat.ML
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine（加州大学欧文分校）
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中，但目前对混合合作/竞争环境知之甚少。在本文中，我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏（MPGs），其中包括合作游戏作为一种特殊情况。最近的研究结果表明，独立的策略梯度收敛MPG，但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法，主要的挑战在于马尔可夫势博弈没有唯一的最优值（如单智能体设置所示），因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明，自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Rate-Optimal Policy Optimization for Linear Markov Decision Processes
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；School of Electrical Engineering, Tel Aviv University（特拉维夫大学电气工程学院）；Google Research（谷歌研究院）
该研究针对在线回合式线性马尔可夫决策过程的遗憾最小化问题，通过策略优化方法分别在随机老虎机反馈和全信息对抗设定下首次得到关于回合数K的速率最优$\tilde O(\text{K})$遗憾界。
2024-05-16 cs.LG
Off-Policy Risk Assessment in Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
为了解决安全性与人类偏好的一致性以及学习效率等不同目的，越来越多的强化学习研究关注依赖于整个收益分布的风险泛函。最近的工作\emph{off-policy risk assessment}（OPRA）的上下文土匪介绍了一致的估计目标政策的CDF的回报以及有限的样本保证，扩展到（并同时举行）所有的风险。在本文中，我们解除OPRA马尔可夫决策过程（MDPs），其中重要性采样（IS）CDF估计遭受高方差较长的轨迹，由于有效样本量小。为了缓解这些问题，我们将基于模型的估计开发的第一个双稳健（DR）估计CDF的回报MDP。该估计量具有显著较小的方差，并且当模型被很好地指定时，达到Cramer-Rao方差下限。此外，对于许多风险泛函，下游估计享有更低的偏差和更低的方差。此外，我们推导出了第一个极大极小的下边界的非政策CDF和风险估计，这与我们的误差界匹配到一个常数因子。最后，我们证明了我们的DR CDF估计在几个不同的环境实验的精度。
2022-09-21 cs.AI cs.LG stat.ML
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay（印度理工学院孟买分校）
由于强化学习在过去几年中的兴趣增长，基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的，因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势，并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战，因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策，使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine（加州大学欧文分校）；The George Washington University（乔治华盛顿大学）
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发，我们开发了一个非参数识别结果，通过一系列所谓的V桥函数的帮助下，随时间变化的代理变量的政策价值估计。然后，我们开发了一个合适的Q评估型算法来估计V桥函数递归，其中一个非参数工具变量（NPIV）的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题，我们建立了有限样本误差界估计的V-桥功能，从而评估政策的价值，在样本量，地平线的长度和所谓的（本地）措施在每一步的不适定性。据我们所知，这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
Stochastic first-order methods for average-reward Markov decision processes
School of Industrial and Systems Engineering（工业与系统工程学院）；School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文针对平均奖励马尔可夫决策过程提出平均奖励随机策略镜像下降和方差缩减时序差分方法，解决策略优化与评估中的探索不足和样本复杂度问题，并建立两种噪声模型下的样本复杂度保证。
2024-09-28 cs.LG math.OC stat.ML
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Policy Testing in Markov Decision Processes
CyberAgent；National Tsing Hua University（国立清华大学）；KTH, Digital Futures（KTH数字未来）
本文研究了在固定置信度下，通过生成模型进行静态采样时，如何在最小化样本数的情况下判断给定策略的价值是否超过指定阈值。提出了一种新算法，通过将问题转化为反向马尔可夫决策过程中的策略优化任务，解决了非凸约束带来的挑战。
2026-04-20 cs.LG math.ST stat.ML
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Policy Gradient Methods for Non-Markovian Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science（印度科学研究院计算机科学与自动化系）；Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）；Department of Electrical and Electronics Engineering, Nanyang Technological University（南洋理工大学电气与电子工程系）；CMAP, CNRS, École polytechnique, Institut Polytechnique d́e Paris（巴黎理工学院先进材料与工艺中心、国家科学研究中心、巴黎理工学院）
本文研究非马尔可夫决策过程中的策略梯度方法，提出基于奖励的策略优化框架，通过递归更新内部状态提升非马尔可夫任务性能。
2026-05-11 cs.AI cs.LG
NaP-Control: Navigating Diffusion Prior for Versatile and Fast Character Control
ETH Zurich（苏黎世联邦理工学院）
本文提出NaP-Control方法，通过强化学习操控任务无关的扩散策略先验的潜在噪声，实现快速、鲁棒且高保真的字符控制，同时通过环境交互优化任务奖励，提升成功率并适应挑战性场景。
2026-07-21 cs.GR cs.LG cs.RO
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University（斯坦福大学）
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器，证明其一致性与极小极大收敛速率，表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME
TADPO: Reinforcement Learning Goes Off-road
Robotics Institute, School of Computer Science, Carnegie Mellon University（机器人研究所，计算机科学学院，卡内基梅隆大学）
TADPO通过改进的策略梯度方法，首次在全规模越野平台上实现了基于强化学习的自动驾驶解决方案，能够应对复杂地形和低信号奖励环境。
2026-07-15 cs.AI cs.LG cs.RO
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子科技）
安全策略改进（SPI）旨在可证明的保证，学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping（Soft-SPIBB），我们在他们的方法中发现了理论问题，提供了一个正确的理论，并推导出一个新的算法，该算法在有限马尔可夫决策过程（MDP）上可证明是安全的。此外，我们提供了一个启发式算法，表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外，我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性：而平均性能的算法，将不确定性作为一个惩罚的动作值是较高的，积极限制的政策集更一致地产生良好的政策，因此，更安全。
2022-01-28 cs.AI cs.LG
Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究离散马尔可夫跳变线性系二次最优控制的基于梯度的策略最优化方法的整体收敛性。首先，我们研究了MJLS的直接策略优化的优化景观，静态状态反馈控制器和二次性能成本。尽管结果问题的非凸性，我们仍然能够确定几个有用的属性，如bandwidth，梯度优势，几乎光滑。基于这些性质，我们证明了三种策略最优化方法的整体收敛：梯度下降法，高斯-牛顿法和自然策略梯度法。我们证明了这三种方法收敛到最优的状态反馈控制器MJLS在一个线性的速度，如果初始化在一个控制器，这是均方稳定。给出了一些数值例子来支持理论。这项工作带来了新的见解，了解性能的政策梯度法的马尔可夫跳跃线性二次控制问题。
2020-11-24 cs.LG cs.SY eess.SY
Non-Markovian policies occupancy measures
Microsoft Research Montréal（微软研究院蒙特利尔）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）
强化学习（RL）的一个中心研究对象是马尔可夫策略，其中代理的行为是从无记忆概率分布中选择的，仅以其当前状态为条件。马尔可夫政策家族的范围足够广，令人感兴趣，但又足够简单，便于分析。然而，强化学习往往涉及更复杂的政策：政策的合奏，政策的选择，政策更新在线等，我们的主要贡献是证明，任何非马尔可夫政策的占用措施，即，与它一起收集的过渡样本的分布可以等效地由马尔可夫策略生成。这个结果允许定理的马尔可夫政策类直接扩展到其非马尔可夫对应，大大简化了证明，特别是那些涉及重放缓冲区和数据集。我们在强化学习领域提供了各种应用实例。
2022-05-27 cs.LG cs.SY eess.SY
Policy Gradient for Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；NVIDIA Research（英伟达研究院）
针对矩形鲁棒 MDP，本文提出 RPG，通过最差占用测度闭式解与鲁棒 Q 值估计获得显式鲁棒梯度，并以非鲁棒方法相同的时间复杂度降低训练计算负担。
2023-12-11 cs.AI cs.LG
Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题，提出双环鲁棒策略镜像下降方法，具备全局最优收敛保证，适配多类空间设置，实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Xerox Research Centre India（施乐印度研究中心）
强化学习（RL）框架中的一个最近的目标是选择一系列动作或策略，以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题，其底层马尔可夫决策过程（MDP）的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略，同时最大限度地减少遗憾。在这项工作中，我们开发了新的RL算法，利用最优策略的结构，以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明，该算法具有更好的性能，易于实现，运行时间短，所需的随机数生成次数少.
2016-08-17 cs.LG
Provable Policy Gradient Methods for Average-Reward Markov Potential Games
Texas A&M University（德克萨斯农工大学）；Univeristy of California, LA（加州大学洛杉矶分校）
该研究针对平均回报马尔可夫势博弈，证明了多种策略梯度算法的全局收敛性，给出了时间与样本复杂度分析，并通过仿真验证了相关结论。
2024-03-09 cs.GT cs.LG
Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Multi-Timescale Ensemble Q-learning for Markov Decision Process Policy Optimization
University of Southern California（南加州大学）；USC + Amazon Center on Secure and Trusted Machine Learning（南加州大学+亚马逊安全可信机器学习中心）
本文提出一种多时间尺度集成Q学习算法，通过在多个结构相关的马尔可夫环境中并行运行Q学习并基于Jensen-Shannon散度自适应融合输出，以低复杂度获得近似最优策略，实验表明其策略误差和运行时复杂度均显著优于现有Q学习算法。
2024-02-08 cs.LG eess.SP
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对PPO算法理论基础不足的问题，提出面向回合式对抗线性MDPs的乐观PPO变体，推导得到更优悔界，采用多批次更新机制与新的覆盖数分析方法。
2023-06-08 cs.AI cs.LG math.OC
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University（东北大学）；Texas A&M University（德克萨斯A&M大学）
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法，通过引入次优性间隙，证明其在O(1/ε)次迭代内达到ε-纳什均衡，改进了此前O(1/ε^2)的结果，并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Policy Dispersion in Non-Markovian Environment
本文针对非马尔可夫环境中策略相似导致过拟合的问题，提出一种策略分散方案，通过transformer学习策略嵌入并构建正定分散矩阵以获取多样策略，显著提升了智能体在环境扰动下的鲁棒性。
2024-06-03 cs.AI cs.LG
On the Fundamental Limitations of Dual Static CVaR Decompositions in Markov Decision Processes
Department of Computer Science（计算机科学系）；Université Laval（拉瓦尔大学）；Canada-CIFAR AI Chair（加拿大CIFAR人工智能主席）
本文研究了基于对偶形式的动态规划方法在马尔可夫决策过程中的局限性，指出静态CVaR评估的双重最小化问题及风险分配一致性约束的空交集导致评估误差，证明单一最优策略在双CVaR分解中的根本限制。
2026-04-15 cs.LG
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent（赛博agent公司）
本文针对非马尔可夫决策过程提出蒙特卡洛树学习（MCTL）方法，并将其与策略梯度（PG）结合，利用双时间尺度随机逼近推导收敛条件，设计出能收敛到合理解的算法，数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）；University of Michigan（密歇根大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注，但当有多个智能体在潜在竞争环境中玩耍时，理论上知之甚少。我们采取措施，提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化，但未知的过渡。我们考虑两类转移结构：因子独立转移和单控制器转移。对于这两种情况下，我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后，$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后，在事后观察整个政策序列。我们的算法结合了上置信界（UCB）型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时，他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
