RAPTOR: End-to-end Risk-Aware MDP Planning and Policy Learning by Backpropagation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
规划为在复杂环境中优化顺序决策提供了一个框架。最近在确定性或随机性高维域中的有效规划方面取得的进展，具有连续的动作空间，通过环境模型利用反向传播来直接优化动作。然而，现有的方法通常不考虑风险时，优化随机域，这可以有效地纳入MDP通过优化熵效用的回报。我们通过使用PyTorch（RAPTOR）引入风险感知规划来弥合这一差距，PyTorch是一种通过熵效用目标的端到端优化进行风险敏感规划的新框架。我们的方法的一个关键技术难点在于，由于环境随机性的存在，直接优化的熵效用的反向传播是不可能的。RAPTOR的新颖之处在于状态分布的重新参数化，这使得有可能通过从向前采样轨迹计算的熵效用的充分统计来应用随机反向传播。以端到端的方式直接优化这个经验目标被称为风险规避直线计划，它预先承诺一系列行动，并且在高度随机的领域中可能是次优的。我们通过在我们的框架中优化风险感知的深度反应策略（RaDRP）来解决这个缺点。我们评估和比较这两种形式的RAPTOR在三个高度随机域，包括非线性导航，HVAC控制，线性水库控制，展示了在复杂的MDP管理风险的能力。
2021-06-14 cs.LG
Scaling Up Robust MDPs by Reinforcement Learning
The Technion - Israel Institute of Technology（以色列理工学院）；National University of Singapore（新加坡国立大学）
在鲁棒马尔可夫决策过程范式下，研究了具有参数不确定性的大规模马尔可夫决策过程。以往的研究表明，稳健的MDP，基于极大极小的方法来处理不确定性，可以解决使用动态规划的中小型问题。然而，由于“维数灾难”，模拟现实生活中的问题的MDP通常对于这种方法来说太大了。在这项工作中，我们采用了强化学习的方法来解决这个规划问题：我们开发了一个强大的近似动态规划方法的基础上，投影不动点方程近似解决大规模的强大MDP。我们证明了所提出的方法可证明是成功的，在一定的技术条件下，并证明其有效性，通过模拟的期权定价问题。据我们所知，这是第一次尝试扩大稳健的MDP范式。
2013-06-26 cs.LG stat.ML
Near-Optimal Learning and Planning in Separated Latent MDPs
MIT（麻省理工学院）；Archimedes AI（阿基米德人工智能）
针对潜在 MDP 学习的不可能性，论文提出多种分离条件，刻画高效学习所需视界长度的近精确统计阈值，并给出拟多项式算法及基于指数时间假设的近匹配下界。
2024-06-12 cs.AI cs.CC cs.LG
Bilinear Exponential Family of MDPs: Frequentist Regret Bound with Tractable Exploration and Planning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信号与自动化信息研究中心）
研究了具有未知奖励和转移的连续状态-动作空间中的情景强化学习问题。具体来说，我们考虑的设置中的奖励和过渡建模使用参数双线性指数家庭。我们提出了一种算法，BEF-RLSVI，a）使用惩罚最大似然估计学习未知参数，b）在奖励参数中注入校准的高斯噪声以确保探索，以及c）利用指数族相对于底层RKHS的线性来执行易处理的规划。我们进一步提供了BEF-RLSVI的频率主义后悔分析，得出$\tilde{\mathcal{O}}(\sqrt{d^3H^3K})$的上限，其中$d$是参数的维度，$H$是发作长度，$K$是发作次数。我们的分析改进了现有的双线性指数族的MDP的$\sqrt{H}$的界限，并删除了手工裁剪部署在现有的\RLSVI型算法。我们的遗憾界是关于$H$和$K$的序最优的。
2022-10-05 cs.LG
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；KAIST Graduate School of AI（韩国科学技术院人工智能学院）
元规划，或从经验中学习指导规划，是一种有前途的方法，以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到，（1）施加约束可以诱导特定于上下文的独立性，使域的某些方面不相关，（2）代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程（CAMP），一个抽象的因素MDP，提供有效的规划。然后，我们描述了如何学习约束，使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者，包括机器人在可移动障碍物之间的导航（NAMO），机器人任务和顺序操作的运动规划，以及经典规划。我们发现，使用学习过的CAMP进行规划，可以始终优于基线，包括Stilman的NAMO特定算法。视频：https://youtu.be/wTXt6djcAd4代码：https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
On Query-efficient Planning in MDPs under Linear Realizability of the Optimal State-value Function
DeepMind；University College London（伦敦大学学院）；University of Illinois（伊利诺伊大学）；University of Cambridge（剑桥大学）；University of Alberta（阿尔伯塔大学）
我们认为，在最佳的价值函数位于接近的跨度的特征地图的假设下，在固定水平的MDP与生成模型的局部规划。生成模型提供了对MDP的本地访问：规划器可以要求从先前返回的状态和任意动作进行随机转换，并且仅可访问此过程中遇到的状态的特征。与之前的工作（例如Latestival et al.（2020））相反，假设所有策略都是线性可实现的，我们考虑了单个线性可实现（确定性）策略的显著宽松假设。Weisz等人（2020）最近的一个下限确定了当最优策略的动作价值函数是线性可实现的时，相关问题需要指数数量的查询，无论是在$H$（MDP的视野）还是$d$（特征映射的维度）中。它们的构建关键依赖于具有指数级大的动作集。相比之下，在这项工作中，我们建立了多$(H,d)$规划是可能的状态价值函数实现时，动作集有一个恒定的大小。特别是，我们提出了TensorPlan算法，它使用聚$((dH/δ)^A)$模拟器查询，以找到一个$δ$最优的政策相对于任何确定性的政策，其中的价值函数是线性实现与一些有界参数。这是第一个只使用单个竞争价值函数的线性可实现性来给出多项式查询复杂度保证的算法。计算成本是否同样有界仍然是一个悬而未决的问题。我们将上界扩展到近可实现的情况下，无限地平线贴现设置。我们还提出了一个下界在无限地平线的情节设置：Plancies，实现恒定的次优需要指数许多查询，无论是在$d$或行动的数量。
2021-07-09 cs.AI cs.LG stat.ML
Efficient Global Planning in Large MDPs via Stochastic Primal-Dual Optimization
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种新的随机原始-对偶优化算法，用于求解具有生成模型和线性函数逼近的大折扣马尔可夫决策过程的规划问题。假设特征图近似满足标准的可实现性和贝尔曼封闭性条件，并且所有状态-动作对的特征向量都可表示为状态-动作对的小核心集的凸组合，我们证明了我们的方法在对生成模型进行多项式次数的查询后输出接近最优的策略。我们的方法是计算效率高，它的主要优点是，它输出一个单一的softmax政策，是compatible表示的低维参数向量，并不需要在运行时执行计算昂贵的本地规划子程序。
2023-01-31 cs.LG math.OC
Reward Tweaking: Maximizing the Total Reward While Planning for Short Horizons
Technion Institute of Technology（以色列理工学院）
在强化学习中，折扣因子$γ$控制智能体的有效规划范围。传统上，该参数被认为是MDP的一部分;然而，由于深度强化学习算法在有效规划范围较长时往往变得不稳定，最近的研究将$γ$称为超参数-从而改变了底层MDP，并可能导致代理在原始任务上的次优行为。在这项工作中，我们介绍了\emph{reward tweaking}。奖励调整学习用于折扣设置的代理奖励函数$\tilde r$，其在原始有限时域总奖励任务上诱导最优行为。理论上，我们证明了存在一个替代奖励，导致在原始任务的最优性，并讨论了我们的方法的鲁棒性。此外，我们在高维连续控制任务中进行了实验，结果表明，奖励调整引导代理实现更好的长期回报，尽管它计划短期回报。
2020-06-23 cs.LG stat.ML
TensorPlan and the Few Actions Lower Bound for Planning in MDPs under Linear Realizability of Optimal Value Functions
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
我们认为，在固定时间马尔可夫决策过程（MDP）与线性函数逼近的生成模型的在线规划的极大极小查询复杂度。根据最近的工作，我们考虑广泛的问题，其中（i）最佳价值函数$v^\star$或（ii）最佳动作价值函数$q^\star$位于某些功能的线性跨度;或（iii）$v^\star$和$q^\star$都位于线性跨度时，限制到从起始状态可达的状态。最近，Weisz等人（2021 b）表明，在（ii）条件下，当动作集的大小$A$在$\min(d,H)$中可以被选择为指数时，任何规划算法的极小极大查询复杂度在水平$H$或特征维度$d$中至少是指数的。另一方面，对于设置（i），Weisz等人（2021 a）引入了TensorPlan，这是一种规划器，当动作数量固定时，其查询成本在所有相关量中都是多项式。除其他外，这两个作品留下了一个问题，多项式查询复杂性是否可能时，$A$是次指数在$\min(d,H)$。在本文中，我们回答这个问题的否定：我们表明，指数大的下限举行时，$A=Ω(\min(d^{1/4},H^{1/2}))$，根据（i），（ii）或（iii）。特别是，这意味着与Du等人（2021）的工作相比，查询复杂度可能会出现令人惊讶的指数分离，Du等人（2021）证明了当（iii）对所有状态都成立时的多项式上限。此外，我们证明了TensorPlan的上界可以扩展到（iii）下，对于具有确定性转…
2022-03-10 cs.AI cs.LG stat.ML
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策，满足形式规格的形式，一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性，在他们的能力，以捕捉理想的代理行为，他们的价值是有限的，当得出决策政策，满足某些类型的渐近行为在一般系统模型。特别是，我们感兴趣的是指定代理的稳态行为的约束，它捕获代理在每个状态下花费的时间比例，因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为，除非在其图形结构的连接性方面对底层模型施加强限制，否则相关的规划问题面临着重大挑战。在本文中，我们将探讨这个稳态规划问题，包括推导出一个决策的代理政策，使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程（MDP）一般情况的线性规划解，并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程（SSP MDP）的概率推理。此外，我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中，视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP，并广泛用于人工智能社区。此外，我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.（Cycorp公司）；Tufts University（塔夫茨大学）；Oregon State University（俄勒冈州立大学）
我们形式化一个简单而自然的子类服务域的关系规划问题，以对象为中心，独立的外源事件和附加奖励捕获，例如，库存控制问题。针对这一子类，我们提出了一个新的符号规划算法，这是第一个算法，具有明确的性能保证关系MDP与外源事件。特别是，在某些技术条件下，我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法，我们提出了新的评估和减少技术的广义一阶决策图，一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态，作为训练集，简化和近似的符号解决方案，因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
Model-Based Reinforcement Learning with a Generative Model is Minimax Optimal
Microsoft（微软）；University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）
这项工作认为，在折扣马尔可夫决策过程（MDP）中获得一个$ε$ -最优策略的样本和计算复杂性，只提供一个生成模型。在这项工作中，我们研究了最自然的插件方法的有效性，以基于模型的规划：我们建立的最大似然估计的过渡模型中的MDP从观察，然后找到一个最佳的政策，在这个经验MDP。我们问可以说是最基本的和未解决的问题，在基于模型的规划：是天真的“插件”的方法，非渐近，极大极小最优的政策，它发现的质量，给定一个固定的样本量？这里，非渐近状态是指样本量在模型大小中是次线性的。通过访问生成模型，我们解决了这个问题，在最强的可能意义上：我们的主要结果表明，\emph{any}高精度的解决方案中的插件模型构建的$N$样本，提供了一个$ε$ -最优的政策，在真正的底层MDP（其中$ε$是极大极小的准确性与$N$样本在每个状态，动作对）。相比之下，所有先前的（非渐近）极大极小最优结果都使用无模型方法，例如方差降低Q值迭代算法（Sidford et al 2018），而最知名的基于模型的结果（例如Azar et al 2013）需要更大的样本量，因为它们依赖于规划范围或状态空间。值得注意的是，我们表明，基于模型的方法允许使用\emph{any}有效的规划算法的经验MDP，这简化了算法设计，因为这种方法不绑算法的采样过程。我们的分析的核心是avnovel“吸收MDP”建设，以解决统计依赖性问题，出现在基于模…
2020-04-05 cs.LG math.PR stat.ML
Retrosynthesis Planning via Worst-path Policy Optimisation in Tree-structured MDPs
University of Warwick（沃里克大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对逆合成规划易受合成路线“最薄弱环节”影响的问题，将其重新定义为树结构MDP的最坏路径优化问题，提出InterRetro方法，在Retro*-190基准上实现100%目标解决率并缩短路线4.9%。
2025-11-17 cs.AI cs.CE cs.LG
Confident Approximate Policy Iteration for Efficient Local Planning in $q^π$-realizable MDPs
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）；Omron Sinic X（欧姆龙Sinic X）
考虑了$γ$ -折扣马尔可夫决策过程的近似动态规划问题，并将其应用于线性值函数近似的近似规划问题。我们的第一个贡献是一个新的变种近似策略迭代（API），称为置信近似策略迭代（CAPI），它计算一个确定性的静态策略的最佳误差界线性缩放的产品的有效地平线$H$和最坏情况下的近似误差$ε$的动作-价值函数的静态政策。这种相对于API（其误差与$H^2$成比例）的改进是以存储器成本增加$H$倍为代价的。与Scherrer和Lesner [2012]不同，他们建议计算非静态策略以实现类似的改进（具有相同的内存开销），我们能够坚持静态策略。这使得我们的第二个贡献，应用CAPI规划与本地访问的模拟器和$d$维线性函数逼近。因此，我们设计了一个规划算法，应用CAPI获得一系列的政策与不断完善的准确性动态演变的一组状态。该算法输出后发出$\tilde O(dH^4/ε^2)$查询模拟器的$\tilde O(\sqrt{d}Hε)$ -最优策略，同时实现最佳的准确性界和最佳已知的查询复杂性界，而在文献中的早期算法只实现其中之一。该查询复杂性在除$H$之外的所有参数中都是严格的。这些改进的代价是算法及其输出策略的内存和计算成本的轻度（多项式）增加。
2022-10-27 cs.AI cs.LG stat.ML
Learning and Planning for Time-Varying MDPs Using Maximum Likelihood Estimation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种形式化的方法，在线学习和规划代理商在先验未知的，时变的环境中工作。所提出的方法计算的最大可能的环境模型，给定的观察由代理在系统运行的早期，并假设知识的最大变化率的系统动态的约束的环境。这种方法推广了通常用于具有时不变转移概率的未知马尔可夫决策过程的学习算法中的估计方法，但也能够快速且正确地识别变化后的系统动态。基于所提出的方法，我们推广的探索奖金用于学习时不变的马尔可夫决策过程通过引入一个学习的时变模型的不确定性的概念，并开发一个控制策略的基础上开发和探索权衡的时变马尔可夫决策过程。我们证明了所提出的方法在四个数值例子：一个巡逻任务与系统动力学的变化，一个两个状态的MDP与定期变化的行动结果，一个风流量估计任务，和一个多臂土匪问题与定期变化的概率不同的奖励。
2021-02-08 cs.LG cs.SY eess.SY
Average-Reward Learning and Planning with Options
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；DeepMind
我们扩展了强化学习中的时间抽象的选项框架，从折扣马尔可夫决策过程（MDP）到平均奖励MDP。我们的贡献包括一般收敛的政策间的选择学习算法，选择内学习值和模型的算法，以及基于样本的规划变种我们的学习算法。我们的算法和收敛性证明扩展了最近开发的万，奈克和萨顿。我们还将期权中断行为的概念从贴现模型扩展到平均报酬模型。我们的四个房间域的持续版本的实验表明，所提出的算法的有效性。
2021-10-26 cs.LG
Safe MDP Planning by Learning Temporal Patterns of Undesirable Trajectories and Averting Negative Side Effects
Singapore Management University（新加坡管理大学）；University of Toronto（多伦多大学）
针对状态表示保真度不足导致的负面副作用（NSEs）问题，提出通过监督学习从轨迹分类标签中学习非马尔可夫安全模式，并利用Lagrange乘子法将安全模型与MDP整合于单一计算图中，在优化总回报的同时有效满足复杂安全约束。
2023-04-06 cs.AI cs.LG
Blazing the trails before beating the path: Sample-efficient Monte-Carlo planning
SequeL team, INRIA Lille - Nord Europe（SequeL团队，INRIA里尔-北欧分校）；Google DeepMind（谷歌DeepMind）
本文提出TrailBlazer算法，通过高效样本探索近优状态结构，实现样本效率高的蒙特卡洛规划，兼顾策略优化与计算效率。
2026-10-06 cs.LG stat.ML
Planning and Learning in Average Risk-aware MDPs
GERAD & HEC Montréal（GERAD与蒙特利尔HEC学院）；Mila - Québec AI Institute（魁北克AI研究所）
本文提出了一种相对价值迭代算法和两种基于多级蒙特卡洛方法的Q学习算法，用于在平均风险感知马尔可夫决策过程中实现最优策略的收敛与识别。
2025-12-19 cs.LG math.OC
POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cornell University（康奈尔大学）
蒙特卡洛规划，例如蒙特卡罗树搜索（MCTS），已被证明在有限空间的应用显着的性能。在本文中，我们考虑在连续状态-动作空间的环境中进行蒙特卡洛规划，这是一个在控制和机器人技术中具有重要应用的少得多的问题。我们介绍POLY-HOOT，这是一种用称为分层乐观优化（HOO）的连续武装强盗策略增强MCTS的算法（Bubeck等人，2011年）。具体来说，我们通过使用适当的多项式，而不是对数，奖金项的置信上限，以提高HOO。这样的多项式奖金是由AlphaGo Zero中的经验成功所激励的（Silver等人，2017 b），以及其在实现有限空间MCTS的理论保证方面的重要作用（Shah等人，2019年）。我们调查，第一次，增强HOO算法在非平稳强盗问题的遗憾。使用这个结果作为一个积木，我们建立非渐近收敛保证POLY-HOOT：值估计收敛到一个任意小的邻域的最佳价值函数在一个多项式的速度。我们进一步提供了实验结果，证实了我们的理论研究结果。
2020-12-30 cs.AI cs.LG
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU（澳大利亚国立大学计算机科学研究学院）；Google DeepMind（谷歌DeepMind）
一般强化学习（GRL）领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”，它永远不会重复。一方面，这种通用性允许GRL对几乎所有可能的领域进行建模，例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面，在一般情况下，在GRL的近最优策略是完整的历史，这不仅阻碍了学习，而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此，它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合（ESA）框架已经将这一想法扩展到非马尔可夫抽象，而不影响通过（代理）MDP进行规划的可能性。ESA的一个显著特征是，它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界（其中$A$是动作数，$γ$是折扣因子，$\varepsilon$是最优间隙），其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的，我们表明，这个约束是非常松散的。我们提出了一种新的非MDP抽象，它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外，我们表明，这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
A Unifying Framework for Reinforcement Learning and Planning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高级计算机科学研究所）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程的优化，是人工智能的一个关键挑战。MDP优化的两种成功方法是强化学习和规划，它们在很大程度上都有自己的研究社区。然而，如果这两个研究领域解决的是同一个问题，那么我们也许能够解开它们解决方法中的共同因素。因此，本文提出了一个统一的算法框架，强化学习和规划（FRAP），确定MDP规划和学习算法必须决定的基本维度。在论文的最后，我们比较了各种著名的规划，无模型和基于模型的RL算法沿这些方面。总而言之，该框架可以帮助在规划和强化学习的算法设计空间中提供更深入的见解。
2022-03-31 cs.AI cs.LG cs.RO
Capacity-Aware Planning and Scheduling in Budget-Constrained Multi-Agent MDPs: A Meta-RL Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对预算和容量受限的多智能体MDP，提出基于LSAP分组与元训练PPO的两阶段方法，在工业机器人维修调度中有效提升平均正常运行时间并具备可扩展性。
2025-09-26 cs.AI cs.LG
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对无奖励强化学习，提出一种用于线性混合MDPs的无视野算法，通过不确定性加权回归与高阶矩估计，实现了对规划视野仅多重对数依赖的最优样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Improved Sample Complexity for Reward-free Reinforcement Learning under Low-rank MDPs
University of Science and Technology of China（中国科学技术大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
在无奖励强化学习（RL）中，智能体首先在没有任何奖励信息的情况下探索环境，以便在任何给定的奖励下实现特定的学习目标。在本文中，我们主要关注低秩MDP模型下的无报酬强化学习，其中表示和线性权重向量都是未知的。尽管针对无奖励低秩MDP已经提出了各种算法，但是相应的样本复杂度仍然远不能令人满意。在这项工作中，我们首先提供了第一个已知的样本复杂度下限，适用于低秩MDP下的任何算法。这个下限意味着它是严格难以找到一个接近最优的政策下低秩MDP比线性MDP。然后，我们提出了一种新的基于模型的算法，创造RAFFLE，并表明它既可以找到一个$ε$最优的政策，并实现了$ε$ -准确的系统辨识通过无奖励的探索，与样本的复杂性显着提高了以前的结果。这样的样本复杂度与我们对$ε$以及大$d$体系中的$K$的依赖性的下限相匹配，其中$d$和$K$分别表示表示维度和动作空间基数。最后，我们提供了一个规划算法（没有进一步与真实环境的互动）RAFFLE学习一个接近准确的表示，这是第一个已知的表示学习保证在相同的设置。
2023-03-20 cs.LG stat.ML
Efficient Reinforcement Learning in Factored MDPs with Application to Constrained RL
Key Laboratory of Machine Perception, MOE（教育部机器感知重点实验室）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Amazon（亚马逊公司）；Center for Data Science, Peking University（北京大学数据科学中心）
研究了情景分解马尔可夫决策过程中的强化学习问题。我们提出了一个算法称为FMDP-BF，它利用了因子分解结构的FMDP。FMDP-BF的遗憾被证明是指数小于为非因式分解的MDP设计的最优算法，并通过一个因式分解的$\sqrt{H|\mathcal{S}_i|}$，其中$|\mathcal{S}_i|$是因式分解的状态子空间的基数和$H$是规划地平线上的FMDPs~ \citep{osband2014near}的最好的以前的结果。为了显示我们的边界的最优性，我们还提供了一个下界FMDP，这表明我们的算法是接近最优的w.r.t.时间步长$T$、水平$H$和分解的状态-动作子空间基数。最后，作为一个应用，我们研究了一个新的配方约束RL，被称为RL与背包约束（RLwK），并提供了第一个样本有效的算法的基础上FMDP-BF。
2021-03-10 cs.LG stat.ML
Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic
The University of Iowa（爱荷华大学）；University of Oxford（牛津大学）；University of Science and Technology of China（中国科学技术大学）
研究了在连续状态空间和动作空间上转移概率未知的马尔可夫决策过程（MDP）模型下自治动力系统的运动规划问题。线性时序逻辑（LTL）用于描述无限时域上的高级任务，它可以转换为具有多个接受集的极限确定性广义Büchi自动机（LDGBA）。新颖之处是设计一个嵌入式产品MDP（EP-MDP）之间的LDGBA和MDP通过纳入一个同步跟踪前沿功能，记录未访问的接受集的自动机，并促进接受条件的满足。提出的基于LDGBA的无模型强化学习（RL）奖励塑造和折扣方案仅依赖于EP-MDP状态，可以克服奖励稀疏的问题。严格的分析表明，任何优化预期贴现收益的RL方法都能保证找到一个最优策略，其轨迹使满意概率最大化。一个模块化的深度确定性策略梯度（DDPG），然后开发，以产生这样的政策在连续的状态和动作空间。我们的框架的性能通过一系列OpenAI健身房环境进行评估。
2022-01-23 cs.AI cs.FL cs.LG
Improved Monte Carlo Planning via Causal Disentanglement for Structurally-Decomposed Markov Decision Processes
ETH Zürich（苏黎世联邦理工学院）
针对传统MDP未利用因果结构的问题，提出基于因果解缠的SD-MDP框架，将序列优化转化为对数线性复杂度的分数背包问题，可与MCTS集成，在多领域策略性能优于基准。
2025-10-03 cs.AI cs.LG cs.SY
Learning Abstract Models for Strategic Exploration and Fast Reward Transfer
Google Research（谷歌研究院）
基于模型的强化学习（RL）之所以有吸引力，是因为（i）它能够进行规划，从而进行更具战略性的探索，（ii）通过将动态与奖励解耦，它能够快速转移到新的奖励函数。然而，在高维状态（例如，原始像素）是极具挑战性的，因为它需要函数近似，这导致复合误差。相反，为了避免复合错误，我们建议在抽象状态上学习抽象MDP：状态的低维粗略表示（例如，捕获代理位置，忽略其他对象）。我们假设可以访问一个抽象函数，该函数将具体状态映射到抽象状态。在我们的方法中，我们构建了一个抽象的MDP，它通过规划进行战略探索而发展。与分层RL方法类似，抽象MDP的抽象操作由在抽象状态之间导航的学习子策略支持。我们的方法在三个最难的街机学习环境游戏（蒙特祖玛的复仇，陷阱！，和私家侦探），包括在陷阱超人的表现！没有示威。在对一个任务进行训练后，我们可以将学习到的抽象MDP重新用于新的奖励函数，从而在比从头开始训练的无模型方法少1000倍的样本中获得更高的奖励。
2020-07-12 cs.AI cs.LG stat.ML
Learning Abstract World Model for Value-preserving Planning with Options
Brown University（布朗大学）
针对通用智能体复杂决策难的问题，提出利用时间扩展动作结构学习抽象MDP的方法，保障规划策略值损失有界，在导航任务中提升了样本效率。
2024-06-22 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University（莱顿大学）；TU Delft（代尔夫特理工大学）
序列决策通常形式化为马尔可夫决策过程（MDP）优化，是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习（RL）和规划。本文介绍了这两个领域的整合，更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先，我们系统地介绍了动态模型学习的方法，包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次，我们提出了一个系统的分类规划学习集成，包括这样的方面：从哪里开始规划，什么预算分配到规划和真正的数据汇集，如何规划，以及如何整合规划的学习和行动循环。在这两个部分之后，我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案，并介绍了基于模型的强化学习的潜在好处。在此过程中，调查还与几个相关的RL领域建立了联系，如分层RL和迁移学习。总而言之，调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London（伦敦大学学院）
我们激励和分析一个新的树搜索算法，GPTS，基于最近的理论进展，在使用高斯过程的强盗问题。我们认为树路径的武器，我们假设目标/奖励功能是从GP分布。在观察数据之后，后验均值和方差用于定义函数值的置信区间，并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核：线性和高斯。遗憾以迭代次数T的平方根增长，直到对数因子，具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值，小于臂数。最后，我们将GPTS应用于折扣马尔可夫决策过程中的开环规划，通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan（密歇根大学）
探索-利用困境是强化学习（RL）的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而，完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金，这是一个功能的后验分布的环境，当添加到奖励计划与平均MDP，结果在一个代理，有效地探索。虽然我们的方法是类似于现有的方法，当给定一个无信息或非结构化的先验，与现有的方法不同，我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性，并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game
University of Michigan（密歇根大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）
为了在强化学习（RL）中实现样本效率，需要有效地探索底层环境。在离线设置下，解决探索挑战在于收集具有足够覆盖率的离线数据集。出于这样的挑战，我们研究了无奖励RL问题，其中代理的目标是彻底探索环境，而没有任何预先指定的奖励函数。然后，给定任何外部奖励，代理通过规划算法使用在探索阶段收集的离线数据来计算策略。此外，我们在函数逼近的背景下解决这个问题，利用强大的函数逼近器。具体来说，我们建议通过结合内核和神经函数近似的值迭代算法的乐观变体进行探索，其中我们采用相关的探索奖金作为探索奖励。此外，我们设计的探索和规划算法的单代理MDP和零和马尔可夫游戏，并证明我们的方法可以实现$\widetilde{\mathcal{O}}(1 /\varepsilon^2)$样本复杂度生成一个$\varepsilon$ -次优策略或$\varepsilon$ -近似纳什均衡时，给出了任意的外在奖励。据我们所知，我们建立了第一个可证明有效的无奖励RL算法与核函数和神经函数逼近器。
2022-02-13 cs.GT cs.LG stat.ML
Non-Stationary Markov Decision Processes, a Worst-Case Approach using Model-Based Reinforcement Learning, Extended version
Université de Toulouse（图卢兹大学）；ONERA - The French Aerospace Lab（法国航空航天实验室（ONERA））；ISAE-SUPAERO（法国高等航空航天学院）
研究了非平稳随机环境下的鲁棒zero-shot规划问题。我们研究马尔可夫决策过程（MDP）随着时间的推移而演变，并考虑在此设置中的基于模型的强化学习算法。我们做两个假设：1）环境以有界的演化速率连续演化; 2）当前模型在每个决策时期是已知的，但不是其演化。我们的贡献可以从四个方面来阐述。1)我们定义了一种特定的MDP类，我们称之为非稳态MDP（NSMDP）。我们引入的概念，定期演变的Lipschitz连续性的过渡和奖励功能w.r.t.的假设。时间; 2）我们考虑使用环境的当前模型但不知道其未来演变的规划代理。这使我们考虑一个最坏的情况下的方法，环境被视为一个敌对的代理; 3）按照这种方法，我们提出了风险规避树搜索（RATS）算法，一个zero-shot基于模型的方法类似于极小极大搜索; 4）我们说明了RATS经验带来的好处，并比较其性能与参考基于模型的算法。
2020-01-15 cs.LG stat.ML
Exploration-Exploitation in Constrained MDPs
Technion（以色列理工学院）；Facebook AI Research（Facebook人工智能研究院）
在许多序贯决策问题中，目标是优化效用函数，同时满足对不同效用的一组约束。这个学习问题通过约束马尔可夫决策过程（CMDPs）形式化。在本文中，我们研究了CMDPs中的探索-开发困境。当在未知的CMDP中学习时，Agent应该权衡探索以发现关于MDP的新信息，以及利用现有知识以在满足约束的情况下最大化奖励。虽然智能体最终会学习到一个好的或最优的策略，但我们不希望智能体在学习过程中过于频繁地违反约束。在这项工作中，我们分析了两种方法在CMDP学习。第一种方法利用CMDP的线性公式在每个事件中执行乐观规划。第二种方法利用CMDP的对偶公式（或鞍点公式）来执行原始变量和对偶变量的增量式乐观更新。我们发现，这两个实现次线性后悔w.r.t.主效用，同时对违反约束具有次线性遗憾。话虽如此，我们强调这两种方法之间的一个关键区别;线性规划方法比基于对偶公式的方法有更强的保证。
2020-03-04 cs.LG stat.ML
Near-Optimal Reward-Free Exploration for Linear Mixture MDPs with Plug-in Solver
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然基于模型的强化学习（RL）方法被认为是更有效的样本，但现有的算法通常依赖于复杂的规划算法来与模型学习过程紧密耦合。因此，学习的模型可能缺乏被更专业的规划者重用的能力。在本文中，我们解决了这个问题，并提供了在没有奖励信号指导的情况下有效学习RL模型的方法。特别是，我们采取了一个插件求解器的方法，我们专注于学习一个模型在探索阶段，并要求\emph{any planning algorithm}的学习模型可以给出一个接近最优的政策。具体地说，我们专注于线性混合MDP设置，其中概率转移矩阵是一组现有模型的（未知）凸组合。我们表明，通过建立一个新的探索算法，插件的方法学习一个模型，通过采取$\tilde{O}(d^2H^3/ε^2)$与环境的相互作用和\emph{any} $ε$ -最优规划的模型给出了一个$O(ε)$ -最优的政策，在原来的模型。该示例复杂度与非插件方法的下限相匹配，并且是\emph{statistically optimal}。我们实现这一结果，利用一个小心的最大总方差界使用伯恩斯坦不等式和属性指定的线性混合MDP。
2022-03-13 cs.LG
XLVIN: eXecuted Latent Value Iteration Nets
Mila（米拉）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思考）；University of Belgrade（贝尔格莱德大学）；HEC Montréal（蒙特利尔高等商学院）
价值迭代网络（VIN）已成为将规划算法纳入深度强化学习的流行方法，从而能够提高需要长期推理和理解环境动态的任务的性能。然而，这带来了几个限制：该模型没有以任何方式激励执行有意义的规划计算，底层状态空间被假设为离散的，并且马尔可夫决策过程（MDP）被假设为固定和已知的。我们提出了执行潜值迭代网络（XLVIN），它结合了对比自监督学习，图表示学习和神经算法推理的最新发展，以减轻所有上述限制，成功地部署VIN风格的模型在通用环境。当底层MDP是离散的、固定的和已知的时，XLVIN与VIN类模型的性能相匹配，并在三种通用MDP设置中对无模型基线进行了显著改进。
2020-12-06 cs.AI cs.LG stat.ML
Blackwell Online Learning for Markov Decision Processes
New York University（纽约大学）
这项工作提供了一个新的解释马尔可夫决策过程（MDP）从在线优化的观点。在这样的在线优化上下文中，MDP的策略被视为决策变量，而相应的价值函数被视为来自环境的回报反馈。基于这种解释，我们构建了一个Blackwell游戏诱导的MDP，它的桥梁之间的差距遗憾最小化，Blackwell可接近性理论，学习理论MDP。具体来说，从可逼近性理论，我们提出了1）Blackwell值迭代离线规划和2）Blackwell $Q-$学习在线学习在MDP，这两个都被证明是收敛到最优解。我们的理论保证得到了数值实验的证实。
2020-12-28 cs.LG
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Confident Natural Policy Gradient for Local Planning in $q_π$-realizable Constrained MDPs
University of Alberta（阿尔伯塔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google DeepMind（谷歌DeepMind）
针对无限状态 $q_π$-可实现 CMDP，提出基于局部访问与离策略评估的置信自然策略梯度原对偶算法，实现多项式样本复杂度并高概率获得近优且严格满足约束的策略。
2024-12-09 cs.LG
Missingness-MDPs: Bridging the Theory of Missing Data and POMDPs
Ruhr University Bochum（博德姆鲁尔大学）；Brno University of Technology（布拉格技术大学）；Radboud University Nijmegen（拉德博德大学奈杰姆）；Harvard University（哈佛大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出缺失性马尔可夫决策过程（miss-MDP），一种结合缺失数据理论的POMDP子类，通过学习缺失函数来解决未知缺失函数下的最优策略问题，证明所得策略在真miss-MDP中近似最优。
2026-05-12 cs.AI cs.LG
Scaling Value Iteration Networks to 5000 Layers for Extreme Long-Term Planning
Center of Excellence for Generative AI, King Abdullah University of Science and Technology（生成人工智能卓越中心，国王 Abdullah 科学与技术大学）；The Swiss AI Lab IDSIA/USI/SUPSI, Switzerland（瑞士人工智能实验室 IDSIA/USI/SUPSI，瑞士）；The University of Southampton（南安普顿大学）；National University of Singapore（新加坡国立大学）
针对价值迭代网络难以处理长期大规模规划的问题，提出动态转移VIN（DT-VIN），通过动态转移核增强潜在MDP表示能力，并引入自适应高速公路损失缓解梯度消失，成功扩展到5000层并在迷宫导航、连续控制及月球车导航等任务中取得突破。
2025-07-06 cs.AI cs.LG
Reinforcement Learning in the Wild with Maximum Likelihood-based Model Transfer
Zenseact；Chalmers University of Technology（查尔姆斯理工大学）；Scool；CRIStAL（里尔信号与自动化信息研究中心）；CNRS（法国国家科学研究中心）；University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）
在本文中，我们研究的问题，转移现有的马尔可夫决策过程（MDP）模型，学习和规划有效地在一个未知的，但类似的MDP。我们称之为\textit{Model Transfer Reinforcement Learning (MTRL)}问题。首先，我们制定MTRL离散MDP和线性二次调节器（LQR）连续状态行动。然后，我们提出了一个通用的两阶段算法，MLEMTRL，以解决离散和连续设置的MTRL问题。在第一阶段中，MLEMTRL使用基于\textit{constrained Maximum Likelihood Estimation (MLE)}的方法来使用一组已知的MDP模型来估计目标MDP模型。在第二阶段，使用估计的目标MDP模型，MLEMTRL部署一个基于模型的规划算法适合于MDP类。从理论上讲，我们证明了最坏情况下的遗憾界限MLEMTRL在可实现和不可实现的设置。我们的经验表明，MLEMTRL允许更快地学习新的MDP比从头开始学习，并达到接近最佳的性能取决于可用的MDP和目标MDP的相似性。
2023-02-18 cs.LG
Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）在具有连续状态空间的复杂非线性马尔可夫决策过程（MDP）中是经验上成功的。相比之下，大多数理论RL文献要求MDP满足某种形式的线性结构，以保证样本有效RL。这种努力通常假设MDP的转换动态或价值函数由状态特征的线性函数描述。为了解决理论与实践之间的这种差异，我们引入了有效规划窗口（EPW）条件，这是MDP的结构条件，没有线性假设。我们证明了EPW条件允许样本有效的RL，通过提供一个算法，可证明解决MDPs满足这个条件。我们的算法需要最少的假设的政策类，其中可以包括多层神经网络的非线性激活函数。值得注意的是，EPW条件是直接受流行的游戏基准，我们表明，许多经典的雅达利游戏满足这一条件。我们还显示了必要性的条件，如EPW，通过证明，简单的MDP与轻微的非线性不能有效地解决样本。
2021-06-15 cs.AI cs.LG stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Learning Compact Models for Planning with Exogenous Processes
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们解决的问题，近似模型最小化的MDP中的状态被划分为内源性和（更大）外源性成分。一个外生状态变量是一个其动态是独立的代理人的行动。我们形式化的面具学习问题，其中代理必须选择一个子集的外生状态变量的原因时，规划，在这样一个减少的状态空间规划往往可以显着更有效地比规划在完整的模型。然后，我们探讨了各种价值函数在此设置内发挥作用，并描述了条件下，减少模型的政策将是最佳的充分MDP。分析导致我们的一个易于处理的近似算法，借鉴了外生状态变量之间的互信息的概念。我们验证我们的方法在模拟机器人操作域中的机器人被放置在一个繁忙的环境中，其中有许多其他代理也与对象进行交互。访问http://tinyurl.com/chitnis-exogenous获取补充视频。
2019-09-30 cs.AI cs.LG cs.RO
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约，证明满足遍历和快速混合条件时，慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值，并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑在马尔可夫决策过程（MDP）的在线规划。在在线计划中，智能体只关注其当前状态，从该状态开始仔细考虑可能的策略集，当被打断时，使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾，这是代理的预期性能损失时，选择的行动，而不是一个最佳的，遵循。到目前为止，国家的最先进的在线规划算法一般MDPs要么是最好的努力，或保证随着时间的推移，简单的遗憾，只有多项式率减少。在这里，我们介绍了一个新的蒙特卡罗树搜索算法，BRUE，保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案，MCTS2e，其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明，BRUE不仅提供了优越的性能保证，但在实践中也是非常有效的，并有利地比较国家的最先进的。“由此产生的一组算法，BRUE（alpha），概括了BRUE，提高了其减少率上限的指数因子，并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Horizon-Free Reinforcement Learning in Polynomial Time: the Power of Stationary Policies
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
本文给出了表马尔可夫决策过程（MDP）的第一个具有后悔界\emph{independent on the planning horizon}的多项式时间算法。具体来说，我们考虑表格MDP与$S$状态，$A$行动，规划地平线$H$，总奖励由$1$界定，和代理播放$K$情节。我们设计了一个算法，实现了$O\left(\mathrm{poly}(S,A,\log K)\sqrt{K}\right)$遗憾，与现有的界限，要么有一个额外的$\mathrm{polylog}(H)$依赖性~ \citep{zhang2020reinforcement}或有一个指数依赖于$S$ ~ \citep{li2021settling}。我们的结果依赖于一系列新的结构引理建立的近似功率，稳定性和浓度属性的平稳政策，这可以在其他问题中的应用马尔可夫链。
2022-06-16 cs.LG
Value of Information-based Deceptive Path Planning Under Adversarial Interventions
U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对对抗性干预下的欺骗性路径规划问题，提出基于MDP的新模型与信息价值目标，通过选择低信息价值轨迹误导观察者选择次优干预，并利用线性规划理论推导出高效求解方法，实验证明其性能优于现有方法。
2025-03-31 cs.AI cs.LG math.OC
Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs
University of Kentucky（肯塔基大学）；University of Virginia（弗吉尼亚大学）；Ohio State University（俄亥俄州立大学）
本文针对低秩MDP提出高效Actor-Critic算法，通过监督学习建立RL oracle层级，证明算法在样本复杂度上优于现有方法，且避免了高成本的规划或优化 oracle。
2026-05-02 cs.LG
