Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University（普渡大学）
针对无限时域折扣奖励马尔可夫决策过程，提出加速自然策略梯度（ANPG）算法，在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度，改进现有最优样本复杂度，且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Optimal Rates of Convergence for Entropy Regularization in Discounted Markov Decision Processes
Department of Mathematics, RWTH Aachen University（数学系，亚琛工业大学）
本文研究了熵正则化在折扣马尔可夫决策过程中的收敛率，证明了误差随正则化强度倒数呈指数衰减，并改进了自然策略梯度方法的误差衰减特性。
2026-09-10 cs.LG cs.SY eess.SY
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
在鲁棒马尔可夫决策过程（MDP）中，转移核中的不确定性是通过找到一个策略来解决的，该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs，强大的平均回报MDPs仍然在很大程度上未被探索。在本文中，我们专注于鲁棒平均奖励MDP，其目标是找到一个政策，优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法，使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时，鲁棒折扣价值函数收敛于鲁棒平均报酬，并且当$γ$较大时，鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法，并从理论上证明了它的收敛性。然后，我们直接研究鲁棒平均报酬MDP，而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程，证明了最优策略可以从其解导出，并进一步设计了一个鲁棒相对值迭代算法，该算法可证明地找到其解，或等价地，找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Optimal Convergence Rate for Exact Policy Mirror Descent in Discounted Markov Decision Processes
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）
本文研究了精确策略评估下策略镜像下降（PMD）的收敛性，证明在自适应步长下无正则化PMD可实现与策略迭代相同的最优折扣因子$γ$速率，并扩展至不精确设置以改进样本复杂度。
2023-11-21 cs.LG math.OC math.ST
PAC Bounds for Discounted MDPs
Australian National University（澳大利亚国立大学）；ETH Zürich（苏黎世联邦理工学院）；NICTA（国家信息与通信技术研究院）
我们研究了有限状态折扣马尔可夫决策过程（MDP）中学习近优行为的样本复杂性的上界和下界。对于上界，我们假设每个动作导致最多两个可能的下一个状态，并证明了一个新的UCRL风格的算法的时间步长的数量时，它不是可能近似正确（PAC）的界限。新的下限通过更一般（适用于所有政策）和更严格来加强以前的工作。上界和下界与对数因子相匹配。
2012-02-17 cs.LG
Markovian Nonconvex ADMM for Reinforcement Learning: Bellman-Resolvent Stability Beyond Smooth Blocks
本研究揭示马尔可夫非凸ADMM中折扣Bellman预解算子可提供乘子稳定性，建立强化学习收敛性，并给出迭代与样本复杂度，证明覆盖的KKT点全局最优，提出可复用的结构原则。
2026-09-30 cs.LG
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Policy Synthesis and Reinforcement Learning for Discounted LTL
University of Pennsylvania（宾夕法尼亚大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文针对LTL对转移概率扰动敏感导致无法PAC学习的问题，提出在未知转移概率的MDP中使用折扣LTL进行策略综合，并证明当折扣因子相同时可通过奖励机将其归约为折扣和奖励。
2023-05-29 cs.LG cs.LO
Slowly Changing Adversarial Bandit Algorithms are Efficient for Discounted MDPs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究提出从折扣无限视野表格型强化学习到多臂赌博机的黑盒归约，证明满足遍历和快速混合条件时，慢变化对抗式赌博机算法可在折扣MDP中取得最优期望悔值，并用指数权重算法实例验证了该归约。
2024-03-10 cs.LG
A Gradient-Aware Search Algorithm for Constrained Markov Decision Processes
Illinois Institute of Technology（伊利诺伊理工学院）；Argonne National Laboratory（阿贡国家实验室）
有限约束马尔可夫决策过程（CMDPs）的规范求解方法是基于凸线性规划的，其目标是在期望的无限时域贴现成本约束下最大化期望的无限时域贴现报酬.本文首先证明了有限CMDP对偶线性规划的优化目标是关于Lagrange罚乘子的分段线性凸函数。接下来，我们提出了一种新的两级感知搜索（GAS）算法，该算法利用PWLC结构来找到有限CMDP的最佳状态价值函数和拉格朗日罚乘子。该算法被应用于两个随机控制问题的约束：机器人导航在网格世界和太阳能无人机（UAV）的无线网络管理。我们经验比较建议的GAS算法与二叉搜索（BS），拉格朗日原对偶优化（PDO），线性规划（LP）的收敛性能。与基准算法相比，该算法收敛速度更快，不需要超参数调整，对Lagrange罚乘子的初始化不敏感.
2020-05-07 cs.LG eess.SP math.OC
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海数学与交叉学科研究院）；Stanford University（斯坦福大学）
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界，排除其强多项式性，并与单纯形法形成指数分离，揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
The Number of Trials Matters in Infinite-Horizon General-Utility Markov Decision Processes
本文首次分析无限时域通用效用马尔可夫决策过程中试验次数对策略评估的影响，证明其关键作用，并给出折扣与平均情形下的理论界限及实证验证。
2025-07-01 cs.LG
Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）；Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学布拉德利电气与计算机工程学院）
本文研究约束马尔可夫决策过程的策略优化问题，提出在线原始-对偶自然演员-评论家算法，并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法，提出改进的导航子问题解决方法，实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
Efficient Solving of Large Single Input Superstate Decomposable Markovian Decision Process
Efrei Research Lab, Université Paris-Panthéon-Assas, Villejuif, 94800, France（埃弗里研究实验室，巴黎- panthéon-assas大学，维勒福）
针对大状态空间下无限时域马尔可夫决策过程策略评估计算量大的问题，提出结合单输入分解与单循环递推性质的SISDMDP结构，基于该结构开发的精确高效策略评估方法可适配两类回报设定的可扩展求解。
2025-08-01 cs.LG cs.PF math.OC
Regret-Optimal Model-Free Reinforcement Learning for Discounted MDPs with Short Burn-In Time
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）
针对折扣马尔可夫决策过程中现有强化学习算法非遗憾最优、成本高、预热时间长的问题，提出结合方差缩减与慢自适应策略切换的无模型算法，为首个该场景下短预热的遗憾最优无模型算法。
2023-12-12 cs.LG math.ST stat.ML
Average Reward Adjusted Discounted Reinforcement Learning: Near-Blackwell-Optimal Policies for Real-World Applications
University of Innsbruck（因斯布鲁克大学）
虽然近年来强化学习已经变得非常流行，但成功应用于不同类型运筹学问题的数量相当稀少。强化学习是基于研究充分的动态规划技术，因此也旨在为给定的马尔可夫决策过程找到最佳的静态策略，但相比之下，不需要任何模型知识。该策略仅在连续状态（或状态-动作对）上进行评估，这些状态在代理探索解决方案空间时被观察到。本文的贡献是多方面的。首先，我们为广泛应用的标准折扣强化学习框架提供了深刻的理论见解，这使得我们理解了为什么这些算法在永久提供非零奖励（如成本或利润）时是不合适的。其次，我们建立了一个新的近Blackwell最优的强化学习算法。与前一种方法相反，它单独评估每步的平均奖励，从而防止不同类型状态值的不谨慎组合。因此，洛朗级数展开的折扣状态值形成了基础，这一发展，也提供了两种方法之间的连接。最后，我们证明了我们的算法的可行性具有挑战性的问题集，其中包括一个研究良好的M/M/1接纳控制排队系统。与标准的折扣强化学习相比，我们的算法在所有测试问题上推断出最优策略。这些见解是，在运筹学领域的机器学习技术必须适应和先进的成功应用这些方法在我们的设置。
2020-04-02 cs.LG stat.ML
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
本文针对无限期平均奖励线性MDP，提出通过折扣MDP近似结合乐观值迭代的算法，首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Renewal Monte Carlo: Renewal theory based reinforcement learning
McGill University（麦吉尔大学）
针对具有指定起始状态的无限时域马尔可夫决策过程，提出了一种在线强化学习算法，称为更新蒙特卡罗（RMC）。RMC是一种蒙特卡罗算法，保留了蒙特卡罗方法的优点，包括低偏差，简单性和易于实现，同时避免了其高方差和延迟（事件结束）更新的关键缺点。RMC背后的关键思想如下。首先，在任何合理的策略下，奖励过程都是遍历的。因此，根据更新理论，策略的性能等于在一个再生周期内期望的折扣报酬与期望的折扣时间之比。其次，通过仔细检查性能梯度的表达式，我们提出了一个随机近似算法，只需要估计的预期折扣奖励和折扣时间在一个再生周期和它们的梯度。我们提出了两个无偏估计评估性能梯度-一个似然比估计和同时扰动估计-并表明，对于这两个估计，RMC收敛到一个局部最优的政策。我们将RMC算法推广到决策后的状态模型，并提出了一个更快收敛到近似最优策略的变体。最后，我们提出了一个随机生成的MDP，事件触发的通信和库存管理的数值实验。
2018-04-03 cs.LG stat.ML
Decentralized Bandit Learning of Markov Perfect Equilibria
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Princeton University（普林斯顿大学）
针对具有连续动作的一般和马尔可夫博弈，提出分散式多臂老虎机学习方法，基于同时扰动随机近似更新动作，证明其几乎必然收敛到唯一平稳马尔可夫完美均衡，收敛速率为$O(n^{-1/2})$，并扩展至情节有限时域学习。
2026-10-14 cs.LG math.OC
Solving Discounted Stochastic Two-Player Games with Near-Optimal Time and Sample Complexity
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们解决了折扣两人回合制零和随机对策的抽样复杂性达到多对数因子。给定一个带有折扣因子$γ\in(0,1)$的随机博弈，我们提供了一个算法，该算法可以从每个状态-动作对的转移函数中计算出具有高概率给定$\tilde{O}((1 - γ)^{-3} ε^{-2})$样本的$ε$最优策略。我们的算法在时间上运行的样本数量接近线性，并使用空间的状态-动作对的数量接近线性。由于随机游戏推广了马尔可夫决策过程（MDP），我们的运行时间和样本复杂度是最佳的，这是由于Azar et al（2013）。我们通过展示如何将基于MDP的近似最优Q学习算法，特别是Sidford et al（2018），推广到两人策略计算算法来实现我们的结果。这克服了标准Q学习和策略迭代或基于交替最小化的方法的局限性，我们希望通过促进MDP结果扩展到多智能体设置而几乎没有损失，为未来的强化学习结果铺平道路。
2019-08-29 cs.DS cs.LG stat.ML
Learning to Reason Efficiently with Discounted Reinforcement Learning
Amazon（亚马逊公司）；University of Alberta（阿尔伯塔大学）
针对大型推理模型消耗过多token导致计算成本高的问题，提出使用折扣强化学习（解释为小token成本）惩罚推理token，结合Blackwell最优性分析，在保持准确性的同时缩短推理链。
2026-07-07 cs.LG
Reducing Blackwell and Average Optimality to Discounted MDPs via the Blackwell Discount Factor
HEC Paris（巴黎高等商学院）；University of New Hampshire（新罕布什尔大学）
本文引入 Blackwell 折扣因子，证明当折扣因子超过其上界时折扣最优策略即为 Blackwell 最优和平均最优，从而首次在无假设条件下将平均与 Blackwell 最优性归约到折扣最优性，并给出多项式时间算法。
2023-01-31 cs.LG
On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA Research（英伟达研究院）
本文研究无限视野平均奖励表格型 MDP 中策略梯度的全局收敛，证明其以 O(1/T) 速率收敛并得到 O(log(T)) 遗憾，同时改进折扣奖励界并通过仿真验证。
2024-03-11 cs.LG cs.SY eess.SY
A Note on Quantum Markov Models
Clarkson University（克拉克森大学）
马尔可夫模型的研究是控制理论和机器学习的核心。部分可观察马尔可夫决策过程的量子模拟在（Barry，Barry和Aaronson，Phys. Rev. A，90，2014）中进行了研究。证明了目标态的可达性在量子环境下是不可判定的，而在经典环境下是可判定的。与这种从经典到量子的从可判定到不可判定的转变相反，我们观察到，在无限范围内最大化平均折扣奖励的最优策略的近似问题在量子环境中仍然是可判定的。考虑到大多数与马尔可夫决策过程相关的问题在经典上是不可判定的（这直接意味着量子情况下的不可判定性），这提供了量子问题易于处理的少数例子之一。
2019-11-05 cs.LG math.OC quant-ph
Does the Markov Decision Process Fit the Data: Testing for the Markov Property in Sequential Decision Making
London School of Economics and Political Science（伦敦政治经济学院）；North Carolina State University（北卡罗来纳州立大学）；Amazon（亚马逊公司（Amazon））
马尔可夫假设（MA）是强化学习经验有效性的基础。在本文中，我们提出了一种新的前向-后向学习过程来测试MA在顺序决策中的作用。该检验方法不需要假设观测数据的联合分布具有任何参数形式，对于高阶马尔可夫决策过程和部分可观测MDP中的最优策略识别具有重要作用.我们将我们的测试应用于合成数据集和移动健康研究的真实数据示例，以说明其实用性。
2020-02-05 cs.LG stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London（伦敦大学学院）
我们激励和分析一个新的树搜索算法，GPTS，基于最近的理论进展，在使用高斯过程的强盗问题。我们认为树路径的武器，我们假设目标/奖励功能是从GP分布。在观察数据之后，后验均值和方差用于定义函数值的置信区间，并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核：线性和高斯。遗憾以迭代次数T的平方根增长，直到对数因子，具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值，小于臂数。最后，我们将GPTS应用于折扣马尔可夫决策过程中的开环规划，通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Geometric Policy Iteration for Markov Decision Processes
University of California, Davis（加州大学戴维斯分校）
最近发现的有限状态-动作折扣马尔可夫决策过程（MDP）的价值函数的多面体结构有助于理解强化学习的成功。我们调查的价值函数多面体在更详细的和特点的多面体边界使用超平面安排。我们进一步表明，价值空间是一个联盟的许多细胞相同的超平面安排，并将其与多面体的经典线性规划制定的MDPs。受这些几何性质的启发，我们提出了一种新的算法，几何策略迭代（GPI），以解决折扣MDPs。GPI通过切换到映射到价值函数多面体边界的操作，然后立即更新价值函数，来更新单个状态的策略。这种新的更新规则旨在更快地提高值，而不影响计算效率。此外，我们的算法允许异步更新的状态值，这是更灵活和有利的传统的策略迭代相比，当状态集是大的。我们证明了GPI的复杂性达到了政策迭代的最佳已知界$\mathcal{O}\left(\frac{|\mathcal{A}|}{1 - γ}\log \frac{1}{1-γ}\right)$，并实证证明了GPI对各种大小的MDP的强度。
2022-06-24 cs.AI cs.LG
Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
在本文中，我们提供了更快的算法近似求解折扣马尔可夫决策过程的多参数制度。给定一个折扣马尔可夫决策过程（DMDP）与$|S|$状态，$|A|$行动，折扣因子$γ\in(0,1)$，并在$[-M, M]$范围内的奖励，我们展示了如何计算$ε$ -最优策略，概率$1 - δ$在时间\[ \tilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} \right) \log\left( \frac{M}ε \right) \log\left( \frac{1}δ \right) \right) ~ . \]这一贡献反映了第一近线性时间，近线性收敛算法求解DMDP的中间值$γ$。我们还展示了如何获得改进的次线性时间算法，我们可以从$O(1)$时间的过渡函数的样本。在此假设下，我们提供了一个算法，计算$ε$ -最优策略的概率$1 - δ$在时间\[ \tilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ\right) \right) ~. \]最后，我们将这两个算法扩展到解决有限时域MDP。我们的算法改进了以前最好的近似计算最优政策的固定地平线MDP在多参数制度。有趣的是，我们通过对近似值迭代的仔细修改来获得我们的结果。我们展示了如何将经典的近似值迭代…
2020-12-23 cs.DS cs.LG math.OC
Finite-Time Analysis of Discounted Exponential-Utility Reinforcement Learning
本研究针对带折扣的指数效用强化学习，为两种无模型不动点算法建立了异步马尔可夫采样下的有限时间收敛速率，采用无参数步长，提供了首个有限时间保证。
2026-08-04 cs.LG
Average-Reward Learning and Planning with Options
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；DeepMind
我们扩展了强化学习中的时间抽象的选项框架，从折扣马尔可夫决策过程（MDP）到平均奖励MDP。我们的贡献包括一般收敛的政策间的选择学习算法，选择内学习值和模型的算法，以及基于样本的规划变种我们的学习算法。我们的算法和收敛性证明扩展了最近开发的万，奈克和萨顿。我们还将期权中断行为的概念从贴现模型扩展到平均报酬模型。我们的四个房间域的持续版本的实验表明，所提出的算法的有效性。
2021-10-26 cs.LG
A Finite-Sample Analysis of an Actor-Critic Algorithm for Mean-Variance Optimization in a Discounted MDP
本文针对折扣MDP中的均值-方差优化问题，分析了带线性函数逼近的TD学习算法，推导出O(1/t)收敛速率的有限样本界，并将SPSA actor更新与LFA critic结合，建立了O(n^{-1/4})的收敛保证，为风险敏感actor-critic方法提供了理论支撑。
2025-03-12 cs.AI cs.LG
Teaching Precommitted Agents: Model-Free Policy Evaluation and Control in Quasi-Hyperbolic Discounted MDPs
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）
本文针对拟双曲折扣MDP中的预承诺智能体，首次证明最优策略可简化为一步非平稳形式，并设计了首个具有收敛保证的无模型策略评估与Q学习算法。
2025-09-07 cs.AI cs.LG
Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs
Computer Science and Automation, Indian Institute of Science, Bengaluru（印度科学研究院计算机科学与自动化部门，班加罗尔）；Computer Science and Engineering, Indian Institute of Technology Madras, Chennai（印度理工学院马德拉斯分校计算机科学与工程系，钦奈）；Tata Consultancy Services Limited, Hyderabad（海得拉巴市塔塔咨询公司）
本文研究了在折扣马尔可夫决策过程中的指数效用优化强化学习问题，提出两种无模型算法，并证明了其收敛性，为指数效用目标下的价值型强化学习提供了理论基础。
2026-05-08 cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria（法国国家信息与自动化研究所）
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程，它是已知的，存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代，众所周知，可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的，我们开发的变化值和政策迭代计算非平稳的政策，可以达到$\frac{2γ}{1-γ}ε$ -最优的，这构成了一个显着的改善通常情况下，当$γ$接近1。令人惊讶的是，这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Double Thompson Sampling in Finite stochastic Games
University of YYY（YYY大学）；Company Name（公司名称）；Institute of WWW（WWW研究所）
在有限折扣马尔可夫决策过程下，考虑了底层环境的状态转移矩阵未知的情况下的勘探与开发之间的权衡问题。针对这类问题，提出了一种双汤普森采样强化学习算法（简称双汤普森算法）。该算法利用$S$状态、$A$动作和直径$D$，在时间范围$T$内得到了总遗憾界为$\tilde{\mathcal{O}}(D\sqrt{SAT})$.该方法分为两部分，第一部分是传统的基于先验分布的转移矩阵后验抽样方法。在第二部分中，我们采用基于计数的后验更新方法来平衡局部最优行动和长期最优行动，以找到全局最优的博弈值。我们建立了$\tilde{\mathcal{O}}(\sqrt{T}/S^{2})$的后悔界限。这是目前已知的有限折扣马氏决策过程的最佳后悔界。数值结果证明了该方法的有效性和优越性。
2022-02-28 cs.GT cs.LG
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
A Simple Hypergraph Kernel Convolution based on Discounted Markov Diffusion Process
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent AI LAB（腾讯人工智能实验室）
离散结构上的核计算对象之间的成对相似性，从而捕获语义和固有拓扑信息。现有的离散结构核函数只利用图的拓扑信息（如邻接矩阵），而没有考虑对象的原始属性。本文提出了一个两阶段的范例，以聚合离散结构的折扣马尔可夫扩散可学习核（DMDLK）的综合信息。具体来说，基于DMDLK的底层投影，我们设计了一个简单超图核卷积（SHKC）隐藏表示的顶点。SHKC可以调整扩散步骤，而不是堆叠卷积层来聚合来自长范围邻域的信息，这可以防止现有超图卷积的过度平滑问题。此外，我们利用一致稳定性界定理在转导学习分析的关键因素的有效性和推广能力的SHKC从理论的角度。在多个节点分类任务的基准数据集上的实验结果验证了SHKC优于现有方法的性能。
2022-10-30 cs.LG
Risk Estimation in a Markov Cost Process: Lower and Upper Bounds
Indian Institute of Science（印度科学学院）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；TCS Research（塔塔咨询服务公司研究院）
该研究针对马尔可夫成本过程中无限时域折扣成本的风险度量估计问题，推导了方差、VaR、CVaR等风险度量估计的样本复杂度上下界，且下界可扩展至均值估计并优于现有结果。
2024-04-11 cs.LG stat.ML
Distances for Markov Chains, and Their Differentiation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出统一框架 OTM 距离生成马尔可夫链距离，包含 OTC 和 WL 距离，并引入可微的折扣 WL 距离解决现有方法局限，适用于图生成模型等学习框架。
2024-02-16 cs.LG
Efficiently Solving Discounted MDPs with Predictions on Transition Matrices
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹学与分析研究院）；Hong Kong University of Science and Technology（香港科技大学）；Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）
该研究提出带转移矩阵预测的折扣MDP求解框架，证明无预测精度先验时样本复杂度无法突破现有极小极大界，同时给出基于极小极大优化的算法，其样本复杂度界优于此前凸优化方法的结果，且得到数值实验验证。
2025-02-21 cs.LG
Markov flow policy -- deep MC
本文提出马尔可夫流策略（MFP），利用非负神经网络流进行前向视图预测，解决折扣算法的训练-测试偏差问题，并在MuJoCo基准上取得显著性能提升。
2024-08-30 cs.AI cs.LG
