A Kernel Perspective on Behavioural Metrics for Markov Decision Processes
Google DeepMind（谷歌DeepMind）；University of Toronto（多伦多大学）；McGill University（麦吉尔大学）
本文从正定核视角重新定义马尔可夫决策过程的行为度量，证明其等价于MICo距离，并给出值函数差异界与低失真有限维嵌入等新理论结果，辅以实验验证其表示学习效果。
2023-10-05 cs.AI cs.LG
Incentivize without Bonus: Provably Efficient Model-based Online Multi-agent RL for Markov Games
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Meta
针对马尔可夫博弈中现有样本高效MARL方法存在的局限，提出基于模型的VMG算法，通过偏向模型参数经验估计激励探索，允许玩家解耦更新策略，理论上在线线性函数近似下对NE和CCE实现近最优遗憾。
2025-02-13 cs.AI cs.GT cs.LG
Provably Efficient Exploration in Constrained Reinforcement Learning:Posterior Sampling Is All You Need
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（杰罗尼默斯数据科学学院）；Tilburg University（蒂尔堡大学）
针对无限视野无折扣通信型 CMDP，提出基于后验采样的探索算法，获得接近最优的贝叶斯遗憾界，并在实验中优于现有约束强化学习方法。
2023-09-27 cs.LG
Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes
Stanford University（斯坦福大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）
针对部分可观测马尔可夫决策过程中存在混杂的离线强化学习问题，本文提出P3O算法，通过近端因果推断构造悲观置信区域，在局部覆盖假设下首次实现n^{-1/2}次优性的可证明高效学习。
2024-04-01 cs.AI cs.LG math.ST
Provably Efficient RL under Episode-Wise Safety in Constrained MDPs with Linear Function Approximation
The University of Tokyo（东京大学）；New Jersey Institute of Technology（新泽西理工学院）；OMRON SINIC X（欧姆龙SINIC X）；NexaScience；Kyoto University（京都大学）；Institute of Science Tokyo（东京科学大学）；DENSO IT Laboratory（电装IT实验室）
本文提出了一种在约束马尔可夫决策过程中的强化学习算法，实现episode级安全性和$\tilde{\mathcal{O}}(\sqrt{K})$的遗憾，同时具有多项式计算效率。
2026-01-27 cs.LG
Decentralized Optimistic Hyperpolicy Mirror Descent: Provably No-Regret Learning in Markov Games
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究分散的策略学习在马尔可夫博弈中，我们控制一个单一的代理人发挥非平稳和可能的敌对对手。我们的目标是开发一个无遗憾的在线学习算法，（i）根据代理观察到的本地信息采取行动，（ii）能够在事后找到最佳策略。对于这样的问题，由于变化的对手的非平稳状态转换构成了一个重大的挑战。鉴于最近的硬度结果\citep{liu2022learning}，我们专注于设置对手的以前的政策是透露给代理决策。有了这样的信息结构，我们提出了一个新的算法，\underline{D} ecentralized \underline{O}乐观炒作\underline{R} policy m \underline{I} rror de \underline{S} cent（DORIS），它实现了$\sqrt{K}$ -遗憾的背景下，一般函数近似，其中$K$是情节的数量。此外，当所有的代理商采用DORIS，我们证明了他们的混合策略构成一个近似的粗相关均衡。特别地，DORIS维护\textit{hyperpolicy}，其是策略空间上的分布。超策略通过镜像下降更新，其中更新方向通过最小二乘策略评估的乐观变体获得。此外，为了说明我们的方法的力量，我们将DORIS应用于约束和向量值的MDP，它可以被制定为零和马尔可夫游戏与一个虚构的对手。
2022-06-03 cs.LG stat.ML
Breaking the Curse of Multiagency: Provably Efficient Decentralized Multi-Agent RL with Function Approximation
Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
多智能体强化学习（MARL）中的一个独特挑战是多智能体的诅咒，其中游戏的描述长度以及许多现有学习算法的复杂性随着智能体的数量呈指数级增长。虽然最近的工作成功地解决了这一挑战下的表格马尔可夫博弈模型，其机制严重依赖于有限的状态和小的数量，并没有扩展到实际的情况下，巨大的状态空间，函数近似必须使用近似价值函数或政策。本文提出了第一行的MARL算法，可证明解决诅咒的多机构下的功能近似。设计了一种新的分散学习算法--策略重放的V-学习算法，给出了在分散线性函数近似下学习马尔可夫博弈的近似粗相关均衡（CCE）的第一多项式样本复杂度结果.我们的算法总是输出马尔可夫CCE，并实现了$\widetilde{\mathcal{O}}(ε^{-2})$的最佳率为找到$ε$ -最优的解决方案。此外，当限制到表格的情况下，我们的结果改善了目前最好的分散结果$\widetilde{\mathcal{O}}(ε^{-3})$寻找马尔可夫CCE。我们进一步提出了一种替代算法-分散乐观策略镜像下降，它发现使用多项式数量的样本的策略类限制的CCE。作为学习较弱版本的CCE的交换，该算法适用于通用函数近似下的更广泛的问题，例如线性二次博弈和具有低“边际"Eluder维数的MARL问题。
2023-03-02 cs.AI cs.GT cs.LG
Provably Efficient Multi-Task Reinforcement Learning with Model Transfer
University of Arizona（亚利桑那大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文研究了多任务强化学习（RL）在表格式情景马尔可夫决策过程（MDP）中的应用。我们制定了一个异构的多玩家强化学习问题，其中一组玩家同时面临类似的，但不一定相同的MDP，通过玩家间的信息共享，以提高他们的集体表现的目标。我们设计和分析了一个算法的基础上的模型转移的想法，并提供了间隙相关和间隙无关的上限和下限，表征问题的内在复杂性。
2022-01-16 cs.LG
A Self-Play Posterior Sampling Algorithm for Zero-Sum Markov Games
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
现有的研究证明有效的算法马尔可夫游戏（MG）几乎完全建立在“乐观面对不确定性”（OFU）的原则。这项工作的重点是后验采样的不同方法，这是庆祝在许多土匪和强化学习设置，但仍然是欠开发的MG。具体地说，对于情节两人零和MG，一种新的后验抽样算法的一般函数近似。理论分析表明，后验抽样算法对于低解耦系数的问题具有$\sqrt{T}$ -后悔界，这是一种新的MG复杂性度量，其中$T$表示事件的数量.当专门为线性MG，所获得的遗憾界匹配的国家的最先进的结果。据我们所知，这是第一个可证明有效的后验抽样算法的MG与频率后悔保证，这丰富了工具箱MG和促进广泛的适用性后验抽样。
2022-10-04 cs.AI cs.GT cs.LG
Provably Efficient Representation Selection in Low-rank Markov Decision Processes: From Online to Offline RL
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究实验室）
研究低秩MDPs中的表示选择问题，提出ReLEX算法用于在线和离线RL，ReLEX-UCB在覆盖条件下实现严格更优的常数遗憾，ReLEX-LCB首次在离线RL表示学习中实现常数样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Provably Efficient Third-Person Imitation from Offline Observation
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study, Princeton（普林斯顿高等研究院）
模仿学习中的领域自适应是提高泛化能力的重要一步。然而，即使在第三人模仿的限制设置之间的同构马尔可夫决策过程的转移，有没有强有力的保证转让政策的性能。我们提出了依赖于问题的，统计学习保证第三人称模仿从观察在离线设置，并在在线设置的性能下限。
2020-02-27 cs.LG stat.ML
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Provably Efficient Generalized Lagrangian Policy Optimization for Safe Multi-Agent Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Meta；Yale University（耶鲁大学）；Northwestern University（西北大学）；University of Southern California（南加州大学）
本文针对带约束马尔可夫博弈中的在线安全多智能体强化学习问题，提出基于广义拉格朗日函数的上置信算法，首次实现遗憾与约束违反的次线性保证。
2023-05-31 cs.AI cs.LG cs.SY
TRIDENT: Breaking the Hybrid-Safety-Physics Coupling for Provably Safe Multi-Agent Reinforcement Learning
Peking University（北京大学）；Xiamen University（厦门大学）；National Taiwan University（国立台湾大学）；WHU（武汉大学）；THU / Jimei University（清华大学 / 集美大学）
针对混合离散-连续动作、训练时安全约束和物理动力学形成的耦合问题，提出TRIDENT框架，通过Richardson-Romberg梯度校正、Lyapunov约束序列信任域更新和物理信息残差评论家，实现可证明的安全收敛，显著降低训练违规并提升奖励。
2026-06-18 cs.AI cs.LG
Provably Invincible Adversarial Attacks on Reinforcement Learning Systems: A Rate-Distortion Information-Theoretic Approach
University of Iowa（爱荷华大学）；University of California, Davis（加州大学戴维斯分校）
本文提出一种基于率失真信息论的可证明无敌的强化学习对抗攻击，通过随机扰动观测使智能体获得零或有限信息，并推导了奖励遗憾下界，验证了对多种算法的影响。
2025-10-15 cs.AI cs.LG
Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
受使用无监督学习进行强化学习（RL）问题有效探索的流行范式的启发[tang 2017 exploration，bellemare 2016 unifying]，我们调查了这种范式何时被证明是有效的。我们研究情节马尔可夫决策过程与丰富的意见，从少量的潜在状态。我们提出了一个通用的算法框架，它是建立在两个组件：一个无监督学习算法和一个无遗憾的表格RL算法。从理论上证明了只要无监督学习算法具有多项式样本复杂度保证，就可以找到一个样本复杂度多项式的近似最优策略，其潜在状态数显著小于观测数.经验上，我们实例化我们的框架上一类困难的探索问题，以证明我们的理论的实用性。
2020-12-01 cs.AI cs.LG math.OC
MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
Seoul National University（首尔国立大学）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学技术研究所（UNIST））
MATE通过使用累积转移嵌入的记忆架构，解决了由未观察上下文参数化的上下文马尔可夫决策过程（CMDPs），在保持后验信念的同时，避免了传统方法的计算和梯度问题，实现了高效且性能优异的解决方案。
2026-05-17 cs.AI cs.LG
Diverse Policies Converge in Reward-free Markov Decision Processe
Tsinghua University（清华大学）；Paradigm Inc.（第四范式公司）
针对现有多样性强化学习算法缺乏收敛性与效率理论支撑的问题，本文提出统一的研究框架，分析多样化策略训练的收敛性，提出可证明高效的算法，并通过数值实验验证有效性。
2023-08-23 cs.AI cs.LG
A Sharp Analysis of Model-based Reinforcement Learning with Self-Play
Princeton University（普林斯顿大学）；MIT（麻省理工学院）；Salesforce Research（Salesforce研究院）
基于模型的算法--通过构建和利用估计模型来探索环境的算法--广泛用于强化学习实践，理论上可以实现马尔可夫决策过程（MDP）中单代理强化学习的最佳样本效率。然而，对于马尔可夫博弈中的多智能体强化学习，基于模型的算法目前最知名的样本复杂度是次优的，与最近的无模型方法相比是不利的。在本文中，我们提出了一个尖锐的分析模型为基础的自我发挥算法的多智能体马尔可夫游戏。我们设计了一个两人零和马尔可夫博弈的算法--乐观纳什值迭代算法（Nash-VI），该算法能够在博弈的$\tilde{\mathcal{O}}(H^3SAB/ε^2)$情节中输出一个$ε$ -近似纳什策略，其中$S$是状态数，$A,B$是两人各自的行动数，$H$是视界长度.这显著地改进了$\tilde{\mathcal{O}}(H^4S^2AB/ε^2)$的最佳已知的基于模型的保证，并且是除了$\min\{A,B\}$因子之外第一个匹配信息理论下限$Ω(H^3S(A+B)/ε^2)$的保证。此外，我们的保证比较有利的最知名的无模型算法，如果$\min \{A,B\}=o(H^3)$，并输出一个单一的马尔可夫策略，而现有的样本效率的无模型算法输出的马尔可夫策略，一般是非马尔可夫的嵌套混合，而不方便存储和执行。我们进一步调整我们的分析，以设计一个可证明有效的零和马尔可夫游戏的任务不可知算法，并设计第一行的可证明样本有效的多玩家一般和马尔…
2021-02-07 cs.AI cs.LG stat.ML
Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
Huawei Noah’s Ark Lab（华为诺亚实验室）；Huawei R&D Munich（华为慕尼黑研发部）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
本文从约束马尔可夫决策过程视角研究LLM蒸馏，提出无需部署期访问教师模型或状态增强的奖励优化框架，在数学推理任务上提升约束满足率与推理能力。
2025-09-26 cs.AI cs.LG
Deep neural networks can provably solve Bellman equations for Markov decision processes without the curse of dimensionality
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；University of Wuppertal（伍珀塔尔大学）
本文证明带leaky ReLU激活的深度神经网络能在$L^2$意义下逼近无限时域MDPs的Bellman方程解$Q$-函数，且参数量随状态维度和误差倒数至多多项式增长，克服了维数灾难。
2025-06-28 cs.LG cs.NA math.NA
Provably Efficient Exploration in Reward Machines with Low Regret
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Information and Communication Technologies, Universitat Pompeu Fabra（庞培法布拉大学信息与通信技术系）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文针对具有未知动态的概率奖励机和非马尔可夫奖励的强化学习问题，提出一种利用奖励机结构的基于模型算法，并给出遗憾上界、下界及相对忽略结构算法的增益证明。
2024-12-26 cs.AI cs.LG
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子科技）
安全策略改进（SPI）旨在可证明的保证，学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping（Soft-SPIBB），我们在他们的方法中发现了理论问题，提供了一个正确的理论，并推导出一个新的算法，该算法在有限马尔可夫决策过程（MDP）上可证明是安全的。此外，我们提供了一个启发式算法，表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外，我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性：而平均性能的算法，将不确定性作为一个惩罚的动作值是较高的，积极限制的政策集更一致地产生良好的政策，因此，更安全。
2022-01-28 cs.AI cs.LG
Provably Efficient Algorithms for Multi-Objective Competitive RL
Massachusetts Institute of Technology（麻省理工学院）
我们研究了多目标强化学习（RL），其中代理的奖励表示为向量。在智能体与对手竞争的环境中，其性能通过其平均返回向量到目标集的距离来衡量。我们开发了统计和计算效率高的算法来接近相关的目标集。我们的研究结果扩展了Blackwell的可接近性定理（Blackwell，1956年），以表格RL，战略探索成为必不可少的。提出的算法是自适应的，他们的保证举行，即使没有布莱克威尔的可接近性条件。如果对手使用固定的政策，我们给一个更好的速度接近目标集，同时也解决了更雄心勃勃的目标，同时最小化标量成本函数。我们讨论我们的分析，这种特殊情况下，我们的结果与以前的作品约束RL。据我们所知，这项工作提供了第一个可证明有效的算法向量值马尔可夫游戏和我们的理论保证是接近最优的。
2021-02-05 cs.LG
Provably Efficient Maximum Entropy Exploration
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）；Google AI（谷歌人工智能）
假设一个智能体在没有奖励信号的情况下处于一个（可能是未知的）马尔可夫决策过程中，我们希望智能体能够有效地学习做什么？这项工作研究了广泛的一类目标，仅定义为功能的状态访问频率是由代理的行为如何引起的。例如，一个自然的、内在定义的客观问题是，智能体学习一个策略，该策略在状态空间上诱导尽可能均匀的分布，这可以在熵的意义上测量。我们提供了一个有效的算法来优化这样的内在定义的目标，当访问一个黑盒规划预言（这是强大的功能近似）。此外，当限制到表格设置，我们有样本为基础的访问MDP，我们提出的算法是证明有效的，无论是在其样本和计算复杂性。我们的算法方法的关键是利用条件梯度法（a.k.a. Frank-Wolfe算法），其利用近似MDP求解器。
2019-01-26 cs.AI cs.LG stat.ML
Provably Efficient Model-Free Constrained RL with Linear Function Approximation
The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）
我们研究了约束强化学习问题，在这个问题中，智能体的目标是在效用函数的期望总值受到约束的情况下最大化期望的累积奖励。与现有的基于模型的方法或无模型的方法伴随着一个“模拟器”，我们的目标是开发第一个无模型，无模拟器的算法，实现了次线性的遗憾和次线性约束违反，即使在大型系统。为此，我们考虑了具有线性函数逼近的情节约束马尔可夫决策过程，其中过渡动力学和奖励函数可以表示为一些已知特征映射的线性函数。我们表明，$\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$遗憾和$\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$约束违反界限可以实现，其中$d$是特征映射的维度，$H$是情节的长度，和$T$是总步骤数。我们的界限是在没有明确估计未知的过渡模型或需要一个模拟器，它们只通过特征映射的维度依赖于状态空间。因此，即使当状态数量趋于无穷大时，我们的界限也成立。我们的主要成果是通过新的适应标准LSVI-UCB算法。特别是，我们首先引入原始-对偶优化LSVI-UCB算法之间的遗憾和约束违反的平衡。更重要的是，我们取代了标准的贪婪选择相对于LSVI-UCB的状态-动作功能与软最大的政策。事实证明，这是关键，在建立统一的浓度约束的情况下，通过其近似平滑权衡。我们还表明，可以实现一个甚至零约束违反，同时仍然保持相同的顺序相对于$T$。
2023-01-07 cs.AI cs.LG cs.SY
Provably Efficient Offline Multi-agent Reinforcement Learning via Strategy-wise Bonus
University of Washington（华盛顿大学）
本文考虑离线多智能体强化学习。我们提出了战略明智的集中原则，直接建立一个置信区间的联合战略，在对比逐点集中原则，建立一个置信区间的联合行动空间中的每个点。对于两人零和马尔可夫博弈，利用策略奖金的凸性，提出了一种计算效率高的算法，其样本复杂度对动作数的依赖性优于基于点数奖金的已有算法.此外，对于离线多智能体广义和马尔可夫博弈，基于策略奖励和一个新的代理函数，我们给出了第一个样本复杂度仅为$\sum_{i=1}^mA_i$的算法，其中$A_i$是第$i$个参与者的动作大小，$m$是参与者的数量.与此形成鲜明对比的是，由于多智能体的诅咒，基于逐点奖励的方法的样本复杂度将随着联合动作空间$Π_{i=1}^m A_i$的大小而缩放。最后，我们所有的算法都可以自然地将预先指定的策略类$Π$作为输入，并输出接近$Π$中最佳策略的策略。在此设置中，样本复杂度仅与$\log |Π|$而不是$\sum_{i=1}^mA_i$成比例。
2022-10-14 cs.AI cs.GT cs.LG
Bellman Unbiasedness: Toward Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation
Seoul National University（首尔大学）
本文研究通用值函数逼近下分布式强化学习的样本效率，提出 Bellman 无偏性并证明矩泛函的独特性，进而给出达到紧遗憾界的 SF-LSVI 算法。
2025-05-13 cs.AI cs.LG stat.ML
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统，例如玩视频游戏，模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而，这些方法不能保证找到最优随机策略，并且高方差梯度估计使收敛不稳定。为了解决这些问题，我们提出了一种技术，使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略，并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University（西北大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）；Yale University（耶鲁大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文首次在平均奖励设定下研究方差约束的风险敏感深度强化学习，通过拉格朗日对偶与Fenchel对偶将原问题转化为无约束鞍点优化问题，提出行动者-评论家算法，并证明其能以次线性速率找到全局最优策略。
2023-09-17 cs.LG math.OC stat.ML
Initial Distribution Sensitivity of Constrained Markov Decision Processes
本研究针对约束马尔可夫决策过程（CMDPs）因无全局最优策略需随初始分布重解的问题，通过对偶分析与线性规划扰动分析推导最优值随初始分布变化的边界，并展示其用于分析策略遗憾值的应用。
2025-09-30 cs.LG
When is Offline Two-Player Zero-Sum Markov Game Solvable?
我们研究什么样的数据集假设允许解决离线两个玩家零和马尔可夫游戏。在形成鲜明对比的离线单代理马尔可夫决策过程中，我们表明，单一的战略浓度假设是不足以学习的纳什均衡（NE）的策略，在离线两个球员零和马尔可夫游戏。另一方面，我们提出了一个新的假设命名为单边浓度，并设计了一个悲观型算法，证明是有效的，在此假设下。此外，我们表明，单边浓度的假设是必要的学习NE策略。此外，我们的算法可以实现极大极小样本的复杂性没有任何修改的两个广泛研究的设置：数据集与均匀浓度假设和回合为基础的马尔可夫游戏。我们的工作是理解离线多智能体强化学习的重要的第一步。
2022-10-14 cs.AI cs.GT cs.LG
Provably Safe Reinforcement Learning for Stochastic Reach-Avoid Problems with Entropy Regularization
Section of Automation \& Control, Aalborg University, 9220 Aalborg East, Denmark
本文提出一种基于熵正则化的安全强化学习算法，用于解决随机到达-避免问题，通过优化策略并控制学习过程中的安全约束。
2026-01-19 cs.LG
From Causal Graphs to Markovian States: Multi-Order State Exposure for Deep RL
Cornell Tech（康奈尔科技）
本文研究了如何在深度强化学习中构建满足马尔可夫性质的MDP状态，提出MOSE方法通过多阶历史状态提升性能，证明了最小充分性不足，需引入受控冗余以利用因果状态信息。
2026-10-15 cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Provably Efficient Reinforcement Learning with Aggregated States
Stanford University（斯坦福大学）；New York University（纽约大学）
我们建立了一个乐观的Q-学习的变体应用于一个固定的地平线情节马尔可夫决策过程的聚合状态表示招致遗憾$\tilde{\mathcal{O}}(\sqrt{H^5 M K} + εHK)$，其中$H$是地平线，$M$是聚合状态的数量，$K$是情节的数量，和$ε$是任何一对最佳状态动作值之间的最大差异与一个共同的聚合状态。值得注意的是，这个遗憾界不依赖于状态或动作的数量，并表明渐近每周期遗憾不大于$ε$，独立于地平线。据我们所知，这是第一个这样的结果，适用于强化学习与非平凡值函数近似没有任何限制的转移概率。
2020-02-19 cs.LG math.OC stat.ML
Provably Efficient Model-Free Algorithm for MDPs with Peak Constraints
Purdue University（普渡大学）；AI Sweden（瑞典人工智能研究所）
在动态系统的优化中，变量通常具有约束。这些问题可以被建模为约束马尔可夫决策过程（CMDP）。本文考虑了峰值约束马尔可夫决策过程（PCMDP），在该过程中，智能体选择的策略使有限时间内的总报酬最大化，同时在每个时间点以概率1满足约束条件。我们提出了一个无模型算法，将PCMDP问题转化为一个无约束的问题和Q学习为基础的方法。我们定义的概念可能近似正确（PAC）的建议PCMDP问题。证明了当事件数为$K\geqΩ(\frac{I^2H^6SA\ell}{ε^2})$（其中$S$和$A$分别为状态数和动作数）时，该算法能实现$(ε,p)$-PAC策略. $H$是每次发作的时期数。$I$是约束函数的数量，而$\ell=\log(\frac{SAT}{p})$。我们注意到，这是第一个结果PAC的分析PCMDP与峰值的限制，其中的过渡动力学是不知道的先验。我们证明了所提出的算法上的能量收集问题和单机调度问题，它的研究最优化问题的理论上界。
2022-06-13 cs.LG cs.SY eess.SY
Actor-Critic Provably Finds Nash Equilibria of Linear-Quadratic Mean-Field Games
Northwestern University（西北大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
我们研究离散时间平均场马尔可夫博弈与无限数量的代理，每个代理的目标是最小化其遍历成本。我们认为设置代理具有相同的线性状态转换和二次费用函数，而代理的聚集效应被捕获的人口平均他们的状态，即平均场状态。对于这样的博弈，基于纳什确定性等价原理，给出了其纳什均衡存在唯一的充分条件。此外，为了找到纳什均衡，我们提出了一个平均场的线性函数近似的行动者-评论家算法，它不需要知道的动力学模型。具体来说，在我们的算法的每次迭代中，我们使用单代理actor-critic算法来近似地获得每个代理的最优策略给定当前的平均场状态，然后更新平均场状态。特别是，我们证明了我们的算法收敛到纳什均衡的线性速率。据我们所知，这是第一次成功地将无模型强化学习与函数逼近应用于离散时间平均场马尔可夫博弈，并具有可证明的非渐近整体收敛保证。
2019-10-16 cs.GT cs.LG cs.MA
Solution Methods for Constrained Markov Decision Process with Continuous Probability Modulation
IBM T.J. Watson Research Center（IBM T.J. Watson研究中心）
我们提出了解决方法，以前未解决的约束MDPs中的行动可以不断修改的转移概率在一些可接受的集合。虽然已经提出了许多方法来解决具有大状态集的规则MDP，但很少有实用的方法来解决具有大动作集的约束MDP。特别是，我们表明，连续的行动集可以取代他们的极端点时，奖励是线性的调制。我们还开发了一个易于处理的凹奖励函数的优化公式，令人惊讶的是，还将其扩展到非凹奖励函数，通过使用其凹信封。我们评估的有效性的方法上的问题，管理拖欠贷款组合。
2013-09-26 cs.AI
Robust Lagrangian and Adversarial Policy Gradient for Robust Constrained Markov Decision Processes
Agency for Science, Technology and Research（新加坡科技研究局）；CFAR（新加坡未来城市实验室）
针对鲁棒约束马尔可夫决策过程现有RCPG方法的缺陷，提出两种改进算法，经理论推导与扰动实验验证，性能优于传统变体与消融模型，其中对抗式RCPG表现尤为突出。
2024-05-15 cs.AI cs.LG cs.NE
Provably Efficient Model-Free Algorithms for Non-stationary CMDPs
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）
我们研究无模型强化学习（RL）算法在情节非平稳约束马尔可夫决策过程（CMDPs），其中代理的目标是最大化的预期累积奖励的预期效用（成本）的累积约束。在非平稳环境中，只要累积变化不超过某些变化预算，奖励、效用函数和过渡内核可以随时间任意变化。我们提出了第一个无模型，无模拟器RL算法与次线性遗憾和零约束违反非平稳CMDPs在表格和线性函数近似设置与可证明的性能保证。我们的结果上的遗憾界和约束违反表格的情况下相匹配的最佳结果为固定CMDPs时，总预算是已知的。此外，我们提出了一个通用的框架，用于解决与分析非平稳CMDPs相关的众所周知的挑战，而不需要事先知道的变化预算。我们适用于表格和线性近似设置的方法。
2023-03-10 cs.LG
Communication-Efficient Actor-Critic Methods for Homogeneous Markov Games
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
协作式多智能体强化学习（MARL）最近的成功依赖于集中式训练和策略共享。集中式训练消除了非平稳性MARL的问题，但引起了巨大的通信成本，政策共享是经验上的关键，在某些任务的有效学习，但缺乏理论依据。在本文中，我们正式刻画了合作马尔可夫博弈的一个子类，其中代理表现出一定形式的同质性，使得策略共享可证明不会产生次优性。这使我们能够开发出第一个基于共识的去中心化参与者-批评者方法，其中共识更新适用于参与者和批评者，同时确保收敛。我们还开发了基于分散式演员-评论家方法的实用算法，以降低训练过程中的通信成本，同时仍然产生与集中式训练相当的策略。
2022-03-31 cs.AI cs.GT cs.LG
Independent Learning in Constrained Markov Potential Games
ETH Zürich（苏黎世联邦理工学院）
针对约束 Markov 势博弈，提出无需集中协调的独立策略梯度算法，结合正则化约束集的邻近点更新与随机切换梯度求解，并证明其收敛至近似约束 Nash 均衡。
2024-02-27 cs.GT cs.LG cs.MA
Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
University of California, Berkeley（加州大学伯克利分校）
我们考虑基于原始-对偶的强化学习（RL）在具有非平稳目标和约束的情景约束马尔可夫决策过程（CMDPs）中的应用，它在确保RL在时变环境中的安全性方面起着核心作用。在这个问题中，奖励/效用函数和状态转换函数都允许随时间任意变化，只要它们的累积变化不超过某些已知的变化预算。在时变环境中设计安全RL算法特别具有挑战性，因为需要集成约束违反减少，安全探索和适应非平稳性。为此，我们确定了两个可供选择的条件下，我们可以保证在长期的安全随时间变化的约束。我们还提出了\underline{P}周期性\underline{R}启动\underline{O}乐观\underline{P}原始- \underline{D} ual \underline{P} roximal \underline{P}优化\underline{O}策略（PROPD-PPO）算法，该算法可以协调这两种情况。此外，在线性核CMDP函数逼近和表格CMDP函数逼近两种情况下，分别建立了该算法的动态后悔界和约束违反界.本文提供了第一个可证明有效的算法与安全的探索非平稳CMDPs。
2022-11-19 cs.LG
Taming the Curses of Multiagency in Robust Markov Games with Large State Space through Linear Function Approximation
CMU Machine Learning Department（卡内基梅隆大学机器学习系）；Machine Learning Department, Carnegie Mellon University（机器学习系，卡内基梅隆大学）；Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）
本文提出通过线性函数近似解决大规模马尔可夫游戏中多智能体的样本复杂度诅咒，开发了在生成模型和新提出的在线交互设置中具有证明数据效率的算法。
2026-05-06 cs.LG
Provably Efficient Causal Model-Based Reinforcement Learning for Systematic Generalization
Politecnico di Milano（米兰理工大学）；ETH Zurich（苏黎世联邦理工学院）；Imperial College London（伦敦帝国理工学院）；Twitter（推特公司）；University of Oxford（牛津大学）
在顺序决策设置中，代理的目标是在一个大的，可能是无限的环境集上实现系统的泛化。这种环境被建模为离散马尔可夫决策过程的状态和动作表示通过一个特征向量。环境的基本结构允许将过渡动态因素分解为两个部分：一个是特定于环境的，另一个是共享的。考虑一组共享运动定律的环境作为示例。在这种情况下，代理可以从这些环境的子集中获取有限数量的无奖励交互。然后，智能体必须能够近似地解决在原始集合中的任何环境上定义的任何规划任务，仅依赖于上述交互。我们能否设计出一种可证明有效的算法来实现系统化推广这一雄心勃勃的目标？本文对此问题给出了部分肯定的回答。首先，我们提供了一个易于处理的系统推广的制定采用因果的观点。然后，在特定的结构假设下，我们提供了一个简单的学习算法，保证任何所需的规划误差到一个不可避免的次优项，同时展示一个多项式样本的复杂性。
2023-03-30 cs.LG
Synthesis of Provably Correct Autonomy Protocols for Shared Control
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
我们综合共享控制协议的概率时序逻辑规范。更具体地说，我们开发了一个框架，在这个框架中，人类和自治协议可以发出命令来执行某项任务。我们将这些命令混合到机器人的关节输入中。我们建模的人与机器人之间的交互作为一个马尔可夫决策过程（MDP），代表了共享的控制方案。使用逆强化学习，我们获得了人类的行为和决策的抽象。我们使用随机策略来解释人类决策的随机性，这是由任务规范的复杂性或不完美的界面等因素造成的。我们设计的自治协议，以确保由此产生的机器人的行为满足给定的安全和性能规范的概率时序逻辑。此外，所产生的策略生成的行为尽可能类似于人类命令所诱导的行为。我们有效地解决了潜在的问题，使用拟凸规划。涉及自主轮椅导航和无人机任务规划的案例研究展示了我们的方法的适用性。
2019-05-15 cs.AI cs.LG cs.RO
The Complexity of Decentralized Control of Markov Decision Processes
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
从决策论的角度考虑了具有部分状态信息的分布式智能体的规划问题.我们描述了广义的MDP和POMDP模型，允许分散控制。即使是少量的代理人，我们的两个模型对应的有限时域问题是完整的非确定性指数时间。这些复杂性的结果说明了马尔可夫过程的集中控制和分散控制之间的根本区别。与MDP和POMDP问题相比，我们考虑的问题可证明不允许多项式时间算法，并且在最坏的情况下很可能需要双指数时间来解决。因此，我们提供了相应的数学证据的直觉，分散的规划问题不能很容易地减少到集中的问题，并解决了使用既定的技术。
2013-01-16 cs.AI
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
本文提出迭代帕累托参照优化（IPRO），将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题，在保证收敛的同时给出未发现解距离的上界，并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
Provably Efficient Partially Observable Risk-Sensitive Reinforcement Learning with Hindsight Observation
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
本文研究带事后观测的部分可观测风险敏感强化学习，将其纳入POMDP与熵风险度量框架，提出首个可证明高效算法，并利用测度变换和beta向量给出多项式遗憾保证。
2024-02-28 cs.LG stat.ML
Provably Efficient Convergence of Primal-Dual Actor-Critic with Nonlinear Function Approximation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）
在非凸-非凹原始-对偶形式下，研究了非线性函数逼近下的actor-critic算法的收敛性。应用随机梯度下降上升与鲁棒学习率的自适应最近项。我们显示了第一个有效的收敛结果与原始-对偶演员评论家的收敛速度为$\mathcal{O}\left(\sqrt{\frac{\ln \left(N d G^2 \right)}{N}}\right)$马尔可夫抽样下，其中$G$是元素的最大值的梯度，$N$是迭代次数，和$d$是梯度的维数。我们的结果只给出了对偶变量的Polyak-Jasojasiewicz条件，这很容易验证，适用于广泛的强化学习（RL）场景。该算法和分析是通用的，足以适用于其他RL设置，如多智能体RL。OpenAI Gym连续控制任务的实证结果证实了我们的理论发现。
2022-02-28 cs.LG stat.ML
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
