TensorPlan and the Few Actions Lower Bound for Planning in MDPs under Linear Realizability of Optimal Value Functions
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
我们认为，在固定时间马尔可夫决策过程（MDP）与线性函数逼近的生成模型的在线规划的极大极小查询复杂度。根据最近的工作，我们考虑广泛的问题，其中（i）最佳价值函数$v^\star$或（ii）最佳动作价值函数$q^\star$位于某些功能的线性跨度;或（iii）$v^\star$和$q^\star$都位于线性跨度时，限制到从起始状态可达的状态。最近，Weisz等人（2021 b）表明，在（ii）条件下，当动作集的大小$A$在$\min(d,H)$中可以被选择为指数时，任何规划算法的极小极大查询复杂度在水平$H$或特征维度$d$中至少是指数的。另一方面，对于设置（i），Weisz等人（2021 a）引入了TensorPlan，这是一种规划器，当动作数量固定时，其查询成本在所有相关量中都是多项式。除其他外，这两个作品留下了一个问题，多项式查询复杂性是否可能时，$A$是次指数在$\min(d,H)$。在本文中，我们回答这个问题的否定：我们表明，指数大的下限举行时，$A=Ω(\min(d^{1/4},H^{1/2}))$，根据（i），（ii）或（iii）。特别是，这意味着与Du等人（2021）的工作相比，查询复杂度可能会出现令人惊讶的指数分离，Du等人（2021）证明了当（iii）对所有状态都成立时的多项式上限。此外，我们证明了TensorPlan的上界可以扩展到（iii）下，对于具有确定性转…
2022-03-10 cs.AI cs.LG stat.ML
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策，满足形式规格的形式，一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性，在他们的能力，以捕捉理想的代理行为，他们的价值是有限的，当得出决策政策，满足某些类型的渐近行为在一般系统模型。特别是，我们感兴趣的是指定代理的稳态行为的约束，它捕获代理在每个状态下花费的时间比例，因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为，除非在其图形结构的连接性方面对底层模型施加强限制，否则相关的规划问题面临着重大挑战。在本文中，我们将探讨这个稳态规划问题，包括推导出一个决策的代理政策，使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程（MDP）一般情况的线性规划解，并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
Twice regularized MDPs and the equivalence between robustness and regularization
Technion（以色列理工学院）；Google Research, Brain Team（谷歌研究院大脑团队）；NVIDIA Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。最后，我们将正则化的MDP推广到两次正则化的MDP（R ${}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的Bellman算子使得能够开发具有收敛性和鲁棒性保证的策略迭代方案。它还将健壮的MDP中的规划和学习减少到正则化的MDP。
2021-10-12 cs.LG math.OC
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；KAIST Graduate School of AI（韩国科学技术院人工智能学院）
元规划，或从经验中学习指导规划，是一种有前途的方法，以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到，（1）施加约束可以诱导特定于上下文的独立性，使域的某些方面不相关，（2）代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程（CAMP），一个抽象的因素MDP，提供有效的规划。然后，我们描述了如何学习约束，使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者，包括机器人在可移动障碍物之间的导航（NAMO），机器人任务和顺序操作的运动规划，以及经典规划。我们发现，使用学习过的CAMP进行规划，可以始终优于基线，包括Stilman的NAMO特定算法。视频：https://youtu.be/wTXt6djcAd4代码：https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.（Cycorp公司）；Tufts University（塔夫茨大学）；Oregon State University（俄勒冈州立大学）
我们形式化一个简单而自然的子类服务域的关系规划问题，以对象为中心，独立的外源事件和附加奖励捕获，例如，库存控制问题。针对这一子类，我们提出了一个新的符号规划算法，这是第一个算法，具有明确的性能保证关系MDP与外源事件。特别是，在某些技术条件下，我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法，我们提出了新的评估和减少技术的广义一阶决策图，一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态，作为训练集，简化和近似的符号解决方案，因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
On Convergence of Average-Reward Off-Policy Control Algorithms in Weakly Communicating MDPs
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
我们展示了两种平均回报的非策略控制算法，差分Q学习（Wan，Naik，& Sutton 2021a）和RVI Q学习（Abounadi Bertsekas & Borkar 2001），收敛于弱通信的MDP。弱通信MDP是最一般的MDP，可以通过具有单个经验流的学习算法来解决。这两个算法的原始收敛性证明要求平均报酬最优性方程的解集只有一个自由度，这对于弱通信的MDP不一定是真的。据我们所知，我们的研究结果是第一次显示平均奖励的政策外控制算法收敛于弱通信MDPs。作为一个直接的扩展，我们证明了Wan，Naik，& Sutton（2021 b）引入的时间抽象的平均回报期权算法收敛，如果期权诱导的半MDP是弱通信的。
2022-11-06 cs.LG
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Retrosynthesis Planning via Worst-path Policy Optimisation in Tree-structured MDPs
University of Warwick（沃里克大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对逆合成规划易受合成路线“最薄弱环节”影响的问题，将其重新定义为树结构MDP的最坏路径优化问题，提出InterRetro方法，在Retro*-190基准上实现100%目标解决率并缩短路线4.9%。
2025-11-17 cs.AI cs.CE cs.LG
On Query-efficient Planning in MDPs under Linear Realizability of the Optimal State-value Function
DeepMind；University College London（伦敦大学学院）；University of Illinois（伊利诺伊大学）；University of Cambridge（剑桥大学）；University of Alberta（阿尔伯塔大学）
我们认为，在最佳的价值函数位于接近的跨度的特征地图的假设下，在固定水平的MDP与生成模型的局部规划。生成模型提供了对MDP的本地访问：规划器可以要求从先前返回的状态和任意动作进行随机转换，并且仅可访问此过程中遇到的状态的特征。与之前的工作（例如Latestival et al.（2020））相反，假设所有策略都是线性可实现的，我们考虑了单个线性可实现（确定性）策略的显著宽松假设。Weisz等人（2020）最近的一个下限确定了当最优策略的动作价值函数是线性可实现的时，相关问题需要指数数量的查询，无论是在$H$（MDP的视野）还是$d$（特征映射的维度）中。它们的构建关键依赖于具有指数级大的动作集。相比之下，在这项工作中，我们建立了多$(H,d)$规划是可能的状态价值函数实现时，动作集有一个恒定的大小。特别是，我们提出了TensorPlan算法，它使用聚$((dH/δ)^A)$模拟器查询，以找到一个$δ$最优的政策相对于任何确定性的政策，其中的价值函数是线性实现与一些有界参数。这是第一个只使用单个竞争价值函数的线性可实现性来给出多项式查询复杂度保证的算法。计算成本是否同样有界仍然是一个悬而未决的问题。我们将上界扩展到近可实现的情况下，无限地平线贴现设置。我们还提出了一个下界在无限地平线的情节设置：Plancies，实现恒定的次优需要指数许多查询，无论是在$d$或行动的数量。
2021-07-09 cs.AI cs.LG stat.ML
Planning and Learning in Average Risk-aware MDPs
GERAD & HEC Montréal（GERAD与蒙特利尔HEC学院）；Mila - Québec AI Institute（魁北克AI研究所）
本文提出了一种相对价值迭代算法和两种基于多级蒙特卡洛方法的Q学习算法，用于在平均风险感知马尔可夫决策过程中实现最优策略的收敛与识别。
2025-12-19 cs.LG math.OC
POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cornell University（康奈尔大学）
蒙特卡洛规划，例如蒙特卡罗树搜索（MCTS），已被证明在有限空间的应用显着的性能。在本文中，我们考虑在连续状态-动作空间的环境中进行蒙特卡洛规划，这是一个在控制和机器人技术中具有重要应用的少得多的问题。我们介绍POLY-HOOT，这是一种用称为分层乐观优化（HOO）的连续武装强盗策略增强MCTS的算法（Bubeck等人，2011年）。具体来说，我们通过使用适当的多项式，而不是对数，奖金项的置信上限，以提高HOO。这样的多项式奖金是由AlphaGo Zero中的经验成功所激励的（Silver等人，2017 b），以及其在实现有限空间MCTS的理论保证方面的重要作用（Shah等人，2019年）。我们调查，第一次，增强HOO算法在非平稳强盗问题的遗憾。使用这个结果作为一个积木，我们建立非渐近收敛保证POLY-HOOT：值估计收敛到一个任意小的邻域的最佳价值函数在一个多项式的速度。我们进一步提供了实验结果，证实了我们的理论研究结果。
2020-12-30 cs.AI cs.LG
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion（以色列理工学院）；Google Research（谷歌研究院）；Nvidia Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。然后，我们将正则化的MDP推广到两次正则化的MDP（$\text{R}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证，从而降低鲁棒性正则化。我们在数值上显示了这种双重优势，在表格和物理域，突出的事实，即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
Average-Reward Learning and Planning with Options
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；DeepMind
我们扩展了强化学习中的时间抽象的选项框架，从折扣马尔可夫决策过程（MDP）到平均奖励MDP。我们的贡献包括一般收敛的政策间的选择学习算法，选择内学习值和模型的算法，以及基于样本的规划变种我们的学习算法。我们的算法和收敛性证明扩展了最近开发的万，奈克和萨顿。我们还将期权中断行为的概念从贴现模型扩展到平均报酬模型。我们的四个房间域的持续版本的实验表明，所提出的算法的有效性。
2021-10-26 cs.LG
Learning and Planning for Time-Varying MDPs Using Maximum Likelihood Estimation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种形式化的方法，在线学习和规划代理商在先验未知的，时变的环境中工作。所提出的方法计算的最大可能的环境模型，给定的观察由代理在系统运行的早期，并假设知识的最大变化率的系统动态的约束的环境。这种方法推广了通常用于具有时不变转移概率的未知马尔可夫决策过程的学习算法中的估计方法，但也能够快速且正确地识别变化后的系统动态。基于所提出的方法，我们推广的探索奖金用于学习时不变的马尔可夫决策过程通过引入一个学习的时变模型的不确定性的概念，并开发一个控制策略的基础上开发和探索权衡的时变马尔可夫决策过程。我们证明了所提出的方法在四个数值例子：一个巡逻任务与系统动力学的变化，一个两个状态的MDP与定期变化的行动结果，一个风流量估计任务，和一个多臂土匪问题与定期变化的概率不同的奖励。
2021-02-08 cs.LG cs.SY eess.SY
Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对无奖励强化学习，提出一种用于线性混合MDPs的无视野算法，通过不确定性加权回归与高阶矩估计，实现了对规划视野仅多重对数依赖的最优样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Capacity-Aware Planning and Scheduling in Budget-Constrained Multi-Agent MDPs: A Meta-RL Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对预算和容量受限的多智能体MDP，提出基于LSAP分组与元训练PPO的两阶段方法，在工业机器人维修调度中有效提升平均正常运行时间并具备可扩展性。
2025-09-26 cs.AI cs.LG
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London（伦敦大学学院）
我们激励和分析一个新的树搜索算法，GPTS，基于最近的理论进展，在使用高斯过程的强盗问题。我们认为树路径的武器，我们假设目标/奖励功能是从GP分布。在观察数据之后，后验均值和方差用于定义函数值的置信区间，并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核：线性和高斯。遗憾以迭代次数T的平方根增长，直到对数因子，具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值，小于臂数。最后，我们将GPTS应用于折扣马尔可夫决策过程中的开环规划，通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Efficient Reinforcement Learning in Factored MDPs with Application to Constrained RL
Key Laboratory of Machine Perception, MOE（教育部机器感知重点实验室）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Amazon（亚马逊公司）；Center for Data Science, Peking University（北京大学数据科学中心）
研究了情景分解马尔可夫决策过程中的强化学习问题。我们提出了一个算法称为FMDP-BF，它利用了因子分解结构的FMDP。FMDP-BF的遗憾被证明是指数小于为非因式分解的MDP设计的最优算法，并通过一个因式分解的$\sqrt{H|\mathcal{S}_i|}$，其中$|\mathcal{S}_i|$是因式分解的状态子空间的基数和$H$是规划地平线上的FMDPs~ \citep{osband2014near}的最好的以前的结果。为了显示我们的边界的最优性，我们还提供了一个下界FMDP，这表明我们的算法是接近最优的w.r.t.时间步长$T$、水平$H$和分解的状态-动作子空间基数。最后，作为一个应用，我们研究了一个新的配方约束RL，被称为RL与背包约束（RLwK），并提供了第一个样本有效的算法的基础上FMDP-BF。
2021-03-10 cs.LG stat.ML
Improved Sample Complexity for Reward-free Reinforcement Learning under Low-rank MDPs
University of Science and Technology of China（中国科学技术大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
在无奖励强化学习（RL）中，智能体首先在没有任何奖励信息的情况下探索环境，以便在任何给定的奖励下实现特定的学习目标。在本文中，我们主要关注低秩MDP模型下的无报酬强化学习，其中表示和线性权重向量都是未知的。尽管针对无奖励低秩MDP已经提出了各种算法，但是相应的样本复杂度仍然远不能令人满意。在这项工作中，我们首先提供了第一个已知的样本复杂度下限，适用于低秩MDP下的任何算法。这个下限意味着它是严格难以找到一个接近最优的政策下低秩MDP比线性MDP。然后，我们提出了一种新的基于模型的算法，创造RAFFLE，并表明它既可以找到一个$ε$最优的政策，并实现了$ε$ -准确的系统辨识通过无奖励的探索，与样本的复杂性显着提高了以前的结果。这样的样本复杂度与我们对$ε$以及大$d$体系中的$K$的依赖性的下限相匹配，其中$d$和$K$分别表示表示维度和动作空间基数。最后，我们提供了一个规划算法（没有进一步与真实环境的互动）RAFFLE学习一个接近准确的表示，这是第一个已知的表示学习保证在相同的设置。
2023-03-20 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Non-Stationary Markov Decision Processes, a Worst-Case Approach using Model-Based Reinforcement Learning, Extended version
Université de Toulouse（图卢兹大学）；ONERA - The French Aerospace Lab（法国航空航天实验室（ONERA））；ISAE-SUPAERO（法国高等航空航天学院）
研究了非平稳随机环境下的鲁棒zero-shot规划问题。我们研究马尔可夫决策过程（MDP）随着时间的推移而演变，并考虑在此设置中的基于模型的强化学习算法。我们做两个假设：1）环境以有界的演化速率连续演化; 2）当前模型在每个决策时期是已知的，但不是其演化。我们的贡献可以从四个方面来阐述。1)我们定义了一种特定的MDP类，我们称之为非稳态MDP（NSMDP）。我们引入的概念，定期演变的Lipschitz连续性的过渡和奖励功能w.r.t.的假设。时间; 2）我们考虑使用环境的当前模型但不知道其未来演变的规划代理。这使我们考虑一个最坏的情况下的方法，环境被视为一个敌对的代理; 3）按照这种方法，我们提出了风险规避树搜索（RATS）算法，一个zero-shot基于模型的方法类似于极小极大搜索; 4）我们说明了RATS经验带来的好处，并比较其性能与参考基于模型的算法。
2020-01-15 cs.LG stat.ML
Confident Natural Policy Gradient for Local Planning in $q_π$-realizable Constrained MDPs
University of Alberta（阿尔伯塔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google DeepMind（谷歌DeepMind）
针对无限状态 $q_π$-可实现 CMDP，提出基于局部访问与离策略评估的置信自然策略梯度原对偶算法，实现多项式样本复杂度并高概率获得近优且严格满足约束的策略。
2024-12-09 cs.LG
REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供了一个算法，实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程（MDP）。该算法在情节中进行，在每个情节中，它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP，其最优偏置向量的跨度以H为界，我们给出了~O（HSpAT）的遗憾界。我们还将跨度与MDP相关的各种直径样量，展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Provably Efficient CVaR RL in Low-rank MDPs
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Cornell University（康奈尔大学）
本文研究低秩MDPs中具有非线性函数近似的CVaR强化学习，提出UCB奖励驱动算法平衡探索、利用与表示学习，实现多项式时间内的可证明高效样本复杂度。
2023-11-20 cs.LG stat.ML
A Model-free Learning Algorithm for Infinite-horizon Average-reward MDPs with Near-optimal Regret
近年来，无模型强化学习由于其简单、存储和计算效率高，以及与函数逼近相结合的灵活性而引起了研究的关注。在本文中，我们提出了探索增强Q学习（EE-QL），一个无模型算法的无限地平线平均回报马尔可夫决策过程（MDP），实现遗憾界的$O(\sqrt{T})$的一般类弱通信MDP，其中$T$是相互作用的数量。EE-QL假设最优平均奖励的在线集中近似是可用的。这是第一个无模型的学习算法，实现了$O(\sqrt T)$遗憾没有遍历假设，并匹配的下限$T$除了对数因子。实验表明，该算法的性能以及最知名的基于模型的算法。
2020-12-09 cs.LG stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Exploration-Exploitation in Constrained MDPs
Technion（以色列理工学院）；Facebook AI Research（Facebook人工智能研究院）
在许多序贯决策问题中，目标是优化效用函数，同时满足对不同效用的一组约束。这个学习问题通过约束马尔可夫决策过程（CMDPs）形式化。在本文中，我们研究了CMDPs中的探索-开发困境。当在未知的CMDP中学习时，Agent应该权衡探索以发现关于MDP的新信息，以及利用现有知识以在满足约束的情况下最大化奖励。虽然智能体最终会学习到一个好的或最优的策略，但我们不希望智能体在学习过程中过于频繁地违反约束。在这项工作中，我们分析了两种方法在CMDP学习。第一种方法利用CMDP的线性公式在每个事件中执行乐观规划。第二种方法利用CMDP的对偶公式（或鞍点公式）来执行原始变量和对偶变量的增量式乐观更新。我们发现，这两个实现次线性后悔w.r.t.主效用，同时对违反约束具有次线性遗憾。话虽如此，我们强调这两种方法之间的一个关键区别;线性规划方法比基于对偶公式的方法有更强的保证。
2020-03-04 cs.LG stat.ML
Lifted Model Checking for Relational MDPs
KU Leuven（鲁汶大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；Örebro University（厄勒布鲁大学）
概率模型检验是为了验证具有随机性和不确定性行为的系统而发展起来的。给定一个概率系统，概率模型检查器获取一个属性，并检查该属性在该系统中是否成立。因此，概率模型检验提供了严格的保证。然而，到目前为止，概率模型检验主要集中在命题模型上，其中状态由符号表示。另一方面，在规划和强化学习中通常需要进行关系抽象。各种框架处理关系域，例如，CNOPS规划和关系马尔可夫决策过程。在关系环境中使用命题模型检验需要将模型接地，这导致了众所周知的状态爆炸问题和棘手性。我们提出了pCTL-REBEL，一个提升的模型检验方法来验证pCTL属性的关系MDP。它将基于关系模型的强化学习技术REBEL扩展到关系pCTL模型检验. PCTL-REBEL被提升，这意味着该模型不是基于基础，而是利用对称性在关系级别上将一组对象作为一个整体进行推理。理论上，我们表明，pCTL模型检验是可判定的关系MDP有可能是无限的域，提供的状态有界的大小。在实践中，我们贡献的算法和实现解除关系模型检验，我们表明，解除的方法提高了可扩展性的模型检验方法。
2022-01-10 cs.AI cs.LG cs.LO
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程（SSP MDP）的概率推理。此外，我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中，视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP，并广泛用于人工智能社区。此外，我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约，证明满足遍历和快速混合条件时，慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值，并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity
University of Michigan（密歇根大学）；Bilkent University（比尔肯特大学）；Queen’s University（女王大学）
本文提出Quantized Q-Learning方法，在仅要求转移核弱连续的温和条件下，通过将状态和动作量化并视为POMDP，证明了针对连续空间MDP的Q-learning收敛性及近最优性。
2023-09-07 cs.LG cs.SY eess.SY
Near-Optimal Reward-Free Exploration for Linear Mixture MDPs with Plug-in Solver
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然基于模型的强化学习（RL）方法被认为是更有效的样本，但现有的算法通常依赖于复杂的规划算法来与模型学习过程紧密耦合。因此，学习的模型可能缺乏被更专业的规划者重用的能力。在本文中，我们解决了这个问题，并提供了在没有奖励信号指导的情况下有效学习RL模型的方法。特别是，我们采取了一个插件求解器的方法，我们专注于学习一个模型在探索阶段，并要求\emph{any planning algorithm}的学习模型可以给出一个接近最优的政策。具体地说，我们专注于线性混合MDP设置，其中概率转移矩阵是一组现有模型的（未知）凸组合。我们表明，通过建立一个新的探索算法，插件的方法学习一个模型，通过采取$\tilde{O}(d^2H^3/ε^2)$与环境的相互作用和\emph{any} $ε$ -最优规划的模型给出了一个$O(ε)$ -最优的政策，在原来的模型。该示例复杂度与非插件方法的下限相匹配，并且是\emph{statistically optimal}。我们实现这一结果，利用一个小心的最大总方差界使用伯恩斯坦不等式和属性指定的线性混合MDP。
2022-03-13 cs.LG
Missingness-MDPs: Bridging the Theory of Missing Data and POMDPs
Ruhr University Bochum（博德姆鲁尔大学）；Brno University of Technology（布拉格技术大学）；Radboud University Nijmegen（拉德博德大学奈杰姆）；Harvard University（哈佛大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出缺失性马尔可夫决策过程（miss-MDP），一种结合缺失数据理论的POMDP子类，通过学习缺失函数来解决未知缺失函数下的最优策略问题，证明所得策略在真miss-MDP中近似最优。
2026-05-12 cs.AI cs.LG
Regret Analysis of Average-Reward Unichain MDPs via an Actor-Critic Approach
Purdue University, USA（普渡大学）
本文提出带批处理的自然演员-评论家算法NAC-B，在单链假设下实现无限时域平均奖励MDP的阶最优遗憾，通过批处理缓解周期性与随机性，支持大规模状态动作空间。
2025-10-25 cs.LG stat.ML
Generalized Hidden Parameter MDPs Transferable Model-based RL in a Handful of Trials
Uber AI Labs（优步人工智能实验室）
人们对创建能够解决许多（相关）任务并在初始训练后适应新任务和环境的RL代理有广泛的兴趣。基于模型的强化学习利用学习的代理模型来描述单个任务的动态和奖励，以便在良好的代理中进行规划可以实现对真实系统的良好控制。分层模型不是从头开始单独解决每个任务，而是可以利用任务通常与（未观察到的）因果变化因素相关的事实，以实现有效的泛化，因为在学习物品的质量如何影响提升它所需的力时，可以泛化到以前未观察到的质量。我们提出了广义隐藏参数MDP（GHP-MDP），它描述了一个MDP家族，其中动态和奖励都可以作为隐藏参数的函数在任务中变化。GHP-MDP通过捕获这些隐藏参数的潜在变量来增强基于模型的RL，从而促进任务之间的传输。我们还探索了一个变体的模型，它包含了明确的潜在结构，反映了跨任务变化的因果因素（例如：代理属性，环境因素和目标）。我们通过实验证明了最先进的性能和样本效率的一个新的具有挑战性的MuJoCo任务，使用奖励和动态潜在空间，同时击败了以前的最先进的基线与$>10\times$更少的数据。使用测试时的推理的潜变量，我们的方法概括在一个单一的情节，以新颖的组合的动态和奖励，和新颖的奖励。
2020-02-08 cs.AI cs.LG stat.ML
Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs
University of Kentucky（肯塔基大学）；University of Virginia（弗吉尼亚大学）；Ohio State University（俄亥俄州立大学）
本文针对低秩MDP提出高效Actor-Critic算法，通过监督学习建立RL oracle层级，证明算法在样本复杂度上优于现有方法，且避免了高成本的规划或优化 oracle。
2026-05-02 cs.LG
RAPTOR: End-to-end Risk-Aware MDP Planning and Policy Learning by Backpropagation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
规划为在复杂环境中优化顺序决策提供了一个框架。最近在确定性或随机性高维域中的有效规划方面取得的进展，具有连续的动作空间，通过环境模型利用反向传播来直接优化动作。然而，现有的方法通常不考虑风险时，优化随机域，这可以有效地纳入MDP通过优化熵效用的回报。我们通过使用PyTorch（RAPTOR）引入风险感知规划来弥合这一差距，PyTorch是一种通过熵效用目标的端到端优化进行风险敏感规划的新框架。我们的方法的一个关键技术难点在于，由于环境随机性的存在，直接优化的熵效用的反向传播是不可能的。RAPTOR的新颖之处在于状态分布的重新参数化，这使得有可能通过从向前采样轨迹计算的熵效用的充分统计来应用随机反向传播。以端到端的方式直接优化这个经验目标被称为风险规避直线计划，它预先承诺一系列行动，并且在高度随机的领域中可能是次优的。我们通过在我们的框架中优化风险感知的深度反应策略（RaDRP）来解决这个缺点。我们评估和比较这两种形式的RAPTOR在三个高度随机域，包括非线性导航，HVAC控制，线性水库控制，展示了在复杂的MDP管理风险的能力。
2021-06-14 cs.LG
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑在马尔可夫决策过程（MDP）的在线规划。在在线计划中，智能体只关注其当前状态，从该状态开始仔细考虑可能的策略集，当被打断时，使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾，这是代理的预期性能损失时，选择的行动，而不是一个最佳的，遵循。到目前为止，国家的最先进的在线规划算法一般MDPs要么是最好的努力，或保证随着时间的推移，简单的遗憾，只有多项式率减少。在这里，我们介绍了一个新的蒙特卡罗树搜索算法，BRUE，保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案，MCTS2e，其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明，BRUE不仅提供了优越的性能保证，但在实践中也是非常有效的，并有利地比较国家的最先进的。“由此产生的一组算法，BRUE（alpha），概括了BRUE，提高了其减少率上限的指数因子，并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Quantizer Design for Finite Model Approximations, Model Learning, and Quantized Q-Learning for MDPs with Unbounded Spaces
Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Mathematics and Statistics, Queen’s University（女王大学数学与统计学系）
本文针对无界状态空间MDPs，通过优化量化器改进有限模型逼近误差上界，并分析量化Q学习与模型学习中的量化器设计，在Lyapunov条件下给出随箱数增加趋于零的显式上界。
2025-10-14 cs.LG math.OC
Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）在具有连续状态空间的复杂非线性马尔可夫决策过程（MDP）中是经验上成功的。相比之下，大多数理论RL文献要求MDP满足某种形式的线性结构，以保证样本有效RL。这种努力通常假设MDP的转换动态或价值函数由状态特征的线性函数描述。为了解决理论与实践之间的这种差异，我们引入了有效规划窗口（EPW）条件，这是MDP的结构条件，没有线性假设。我们证明了EPW条件允许样本有效的RL，通过提供一个算法，可证明解决MDPs满足这个条件。我们的算法需要最少的假设的政策类，其中可以包括多层神经网络的非线性激活函数。值得注意的是，EPW条件是直接受流行的游戏基准，我们表明，许多经典的雅达利游戏满足这一条件。我们还显示了必要性的条件，如EPW，通过证明，简单的MDP与轻微的非线性不能有效地解决样本。
2021-06-15 cs.AI cs.LG stat.ML
Symbolic Network: Generalized Neural Policies for Relational MDPs
Indian Institute of Technology Delhi（印度理工学院德里分校）
关系马尔可夫决策过程（Relational Markov Decision Process，RMDP）是一种一阶表示方法，用于表示单个概率规划域的所有实例，其中对象的数量可能是无限的。RMDPs的早期工作输出了广义（独立于实例）的一阶策略或价值函数，作为一种同时解决域的所有实例的方法。不幸的是，由于在这些策略或价值函数中使用的表示空间的固有限制，这类工作取得了有限的成功。神经模型是否可以通过轻松地表示更复杂的广义策略来提供缺失的环节，从而使它们对给定域的所有实例都有效？我们提出了SymNet，第一个神经方法来解决RMDPs的概率规划语言的RMDPs。SymNet使用来自域的训练实例为Rounds域训练一组共享参数。对于每个实例，SymNet首先将其转换为实例图，然后使用关系神经模型来计算节点嵌入。然后，它将每个地面动作作为一阶动作符号和与动作相关的节点嵌入的函数进行评分。给定来自同一域的新测试实例，具有预训练参数的SymNet架构会对每个地面动作进行评分并选择最佳动作。这可以在单个前向传递中完成，而无需对测试实例进行任何重新训练，从而隐式地表示整个域的神经广义策略。我们在IPPC的九个Rendezvous域上的实验表明，SymNet策略明显优于随机策略，有时甚至比从头开始训练最先进的深度反应策略更有效。
2020-06-29 cs.AI cs.LG stat.ML
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对弱通信平均奖励MDP，首次从单条轨迹建立有限样本复杂度保证，提出无模型方法，值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Efficient Model-free Reinforcement Learning in Metric Spaces
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
无模型强化学习（RL）算法（如Q学习[Watkins，Dayan 92]）已被广泛用于实践，并且可以在视频游戏等应用中实现人类水平的性能[Mnih等人15]。最近，配备了面对不确定性的乐观主义的想法，Q-学习算法[Jin，Allen-Zhu，Bubeck，Jordan 18]可以被证明是样本有效的离散表格马尔可夫决策过程（MDP），具有有限数量的状态和动作。在这项工作中，我们提出了一个有效的无模型的Q-学习为基础的算法在MDP的状态-动作空间上的自然度量-从而扩展有效的无模型的Q-学习算法连续状态-动作空间。与以前基于模型的度量空间RL算法[Kakade，Kearns，Langford 03]相比，我们的算法不需要访问黑盒规划预言机。
2019-05-01 cs.LG stat.ML
Reconnaissance and Planning algorithm for constrained MDP
Preferred Networks, Inc.（Preferred Networks公司）；The University of Tokyo（东京大学）
实际的强化学习问题通常被表述为约束马尔可夫决策过程（CMDP）问题，其中代理必须在满足一组指定的安全约束的情况下最大化期望收益。在这项研究中，我们提出了一种新的基于模拟器的方法来近似解决CMDP问题，而不会对安全约束做出任何妥协。我们通过将CMDP分解为一对MDP来实现这一点;侦察MDP和计划MDP。侦察MDP的目的是评估一组安全的行动，而规划MDP的目的是在使用侦察MDP授权的行动的同时使收益最大化。RMDP可以为任何给定的安全约束定义一组安全策略，这组安全策略可以用来解决另一个具有不同回报的CMDP问题。我们的方法不仅比以前的基于模拟器的CMDP方法在计算上要求更低，而且能够在高维环境中找到有竞争力的奖励寻求政策，包括涉及多个移动障碍物的环境。
2019-09-20 cs.LG stat.ML
On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Meta AI；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文将基于相对值迭代的Q-learning算法的几乎必然收敛性分析从单链扩展到弱连通MDPs，刻画了其收敛集性质，并推广至基于options框架的分层RL算法。
2024-08-29 cs.LG math.OC
Learning Infinite-Horizon Average-Reward Markov Decision Processes with Constraints
University of Southern California（南加州大学）
研究了在费用约束下的无限时域平均报酬马尔可夫决策过程的后悔最小化问题。我们首先设计了一个策略优化算法，精心设计的行动价值估计和奖金项，并表明，遍历MDP，我们的算法确保$\widetilde{O}(\sqrt{T})$遗憾和不断的约束违反，其中$T$是时间步的总数。这严格改进了（Singh等人，2020），其遗憾和约束违反均为$\widetilde{O}(T^{2/3})$。接下来，我们考虑最一般的弱通信MDPs类。通过有限时域近似，我们开发了另一种算法与$\widetilde{O}(T^{2/3})$遗憾和约束违反，它可以进一步改进为$\widetilde{O}(\sqrt{T})$通过一个简单的修改，虽然使算法计算效率低下。据我们所知，这些是第一套可证明算法的弱通信MDPs的成本约束。
2022-01-31 cs.LG
Projection-based Lyapunov method for fully heterogeneous weakly-coupled MDPs
Weiyang College, Tsinghua University（清华大学韦阳学院）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
本文提出基于投影的Lyapunov方法，解决了完全异质弱耦合马尔可夫决策过程的渐近最优性问题。
2026-01-15 cs.LG math.OC math.PR
Reinforcement Learning in Rich-Observation MDPs using Spectral Methods
University California, Irvine（加州大学欧文分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院）；California institute of technology（加州理工学院）
大状态空间马尔可夫决策过程的强化学习是一个具有挑战性的问题。标准强化学习算法的性能随着状态空间维数的增加而急剧下降。然而，在实践中，这些大的MDP通常包含潜在的或隐藏的低维结构。本文研究了富观测马尔可夫决策过程（ROMDP）的设定问题，其中有少量隐状态与观测状态具有内射映射.换句话说，每个观察状态都是通过单个隐藏状态生成的，并且这种映射是先验未知的。我们引入了一种谱分解方法，该方法始终学习该映射，更重要的是，以低遗憾实现该映射。估计映射被集成到乐观RL算法（UCRL），该算法对估计的隐藏空间进行操作。我们推导出有限时间遗憾的界限，我们的算法与观察空间的维数弱依赖。事实上，我们的算法渐近地实现了相同的平均遗憾的甲骨文UCRL算法，它具有从隐藏到观察空间的映射的知识。因此，我们得到一个有效的谱RL算法ROMDPs。
2018-06-19 cs.AI cs.LG stat.ML
Off-Policy Evaluation in Markov Decision Processes under Weak Distributional Overlap
针对MDP离策略评估中强分布重叠过强的问题，提出截断双重稳健TDR估计量，在弱重叠下保证一致性并给出极小极大收敛速度。
2025-09-28 cs.LG stat.ML
Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文研究了有限时间MDP中一般状态和动作的策略优化问题，提出PŁK条件以确保策略梯度方法在非凸情况下以非渐近速率收敛，并适用于多种控制和运营模型。
2026-03-08 cs.LG math.OC
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
Lyapunov-Based Sample Complexity Analysis for Weakly-Coupled MDPs
Department of Industrial and Systems Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校工业与系统工程系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
针对平均奖励弱耦合MDP和Restless Bandits，提出基于Lyapunov的分析框架，实现样本和计算复杂度关于臂数N的多项式级界限，并给出首个有限样本PAC保证。
2026-11-10 cs.LG math.OC math.PR
Achieving an $O(1/N)$ Optimality Gap in Average-Reward Weakly-Coupled MDPs
Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）
本文针对平均奖励弱耦合MDP，提出一种非优先级策略，在特定条件下实现$O(1/N)$最优性差距，优于先前$1/\sqrt{N}$的结果。
2026-09-30 cs.LG math.OC math.PR
Reducing Blackwell and Average Optimality to Discounted MDPs via the Blackwell Discount Factor
HEC Paris（巴黎高等商学院）；University of New Hampshire（新罕布什尔大学）
本文引入 Blackwell 折扣因子，证明当折扣因子超过其上界时折扣最优策略即为 Blackwell 最优和平均最优，从而首次在无假设条件下将平均与 Blackwell 最优性归约到折扣最优性，并给出多项式时间算法。
2023-01-31 cs.LG
