Span-Based Optimal Sample Complexity for Weakly Communicating and General Average Reward MDPs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究平均奖励MDP的样本复杂度，提出基于跨度H和瞬态时间B的极小极大最优界，并通过改进折扣MDP分析实现二次视界依赖。
2024-06-04 cs.IT cs.LG math.IT
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对弱通信平均奖励MDP，首次从单条轨迹建立有限样本复杂度保证，提出无模型方法，值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Robustness to Model Approximation, Model Learning From Data, and Sample Complexity in Wasserstein Regular MDPs
Queen’s University（女王大学）
本文研究了Wasserstein正则马尔可夫决策过程中的模型近似鲁棒性、模型从数据学习及样本复杂性，探讨了在真实动态下最优策略的性能损失与Wasserstein距离的关系，并应用于扰动估计和经验模型学习。
2026-07-23 cs.SY eess.SY math.OC
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
Q学习是一种流行的强化学习（RL）算法，其在函数逼近的实践中被广泛使用（Mnih等人，2015）。相比之下，现有的理论结果是悲观的Q学习。例如，（Baird，1995）表明，Q-学习即使在线性MDP的线性函数近似下也不会收敛。此外，即使对于具有同步更新的表格MDP，Q学习也被证明具有次优的样本复杂度（Li等人，2021;Azar等人，2013年）。这项工作的目标是弥合Q学习的实际成功与相对悲观的理论结果之间的差距。我们工作的出发点是观察到，在实践中，Q-学习被用于两个重要的修改：（i）使用两个网络进行训练，同时称为在线网络和目标网络（在线目标学习，或OTL），以及（ii）经验重放（ER）（Mnih等人，2015）。虽然已经观察到它们在Q学习的实际成功中发挥了重要作用，但文献中缺少对这两种修改如何改善Q学习收敛行为的透彻理论理解。通过将Q学习与OTL和反向经验重放（RER）（一种经验重放形式）仔细结合，我们提出了新的方法Q-Rex和Q-RexDaRe（Q-Rex +数据重用）。我们表明，Q-Rex有效地找到了线性MDP的最佳策略（或更一般地为MDP与零固有贝尔曼误差线性近似（ZIBEL）），并提供样本复杂性的非渐近界-第一个这样的结果为Q-学习方法为这类MDP在标准假设下。此外，我们证明了Q-RexDaRe实际上在表格设置中实现了接近最佳的样本复杂度，改进了现有的香草Q学习结果。
2021-10-19 cs.LG math.OC
Span-Based Optimal Sample Complexity for Average Reward MDPs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究生成模型下平均奖励MDP的最优策略学习，通过将其归约为折扣MDP并开发基于偏置函数跨度的改进方差上界，首次在所有参数上实现了极小极大最优的样本复杂度。
2024-03-19 cs.IT cs.LG math.IT
Recursive Entropic Risk Optimization in Discounted MDPs: Sample Complexity Bounds with a Generative Model
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本文研究了在有限折扣马尔可夫决策过程（MDP）中使用递归熵风险度量（ERM）进行风险敏感强化学习的问题，引入了基于模型的算法Model-Based ERM Q-Value Iteration（MB-RS-QVI），并推导了该算法在价值学习和策略学习中的PAC型样本复杂性界，证明了在最坏情况下样本复杂性与|β|/(1-γ)呈指数关系，为递归ERM在风险规避和风险寻求情形下的样本复杂性提供了首次严格保证。
2026-05-18 cs.AI cs.LG math.OC
Policy Gradient Algorithms in Average-Reward Multichain MDPs
Seoul National University（首尔大学）；UCLA（加州大学洛杉矶分校）
本文提出了一种针对平均奖励多链MDP的策略梯度算法，通过建立策略梯度定理并分析收敛性和样本复杂度，实现了正政策下的ε-最优策略。
2026-02-20 cs.CC math.OC
Sample Complexity for Markov Decision Processes and Stochastic Optimal Control with Static Risk Measures
Pontificia Universidad Católica de Chile（智利天主教 Pontificia 大学）；Texas A&M University（德克萨斯农工大学）
本文提出一种状态扩展方法，用于处理静态风险度量下的总成本问题，通过构建扩展空间推导动态规划方程，并讨论了有限和无限时间 horizon 下的样本复杂性。
2026-07-08 math.OC
Convergence and sample complexity of natural policy gradient primal-dual methods for constrained MDPs
University of Tennessee, Knoxville（田纳西大学）；University of Maryland, College Park（马里兰大学）；Apple Inc.（苹果公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对约束马尔可夫决策过程，提出自然策略梯度原始-对偶方法，实现非凸优化下全局次线性收敛且维度无关，并提供样本复杂度保证与实验验证。
2025-10-15 cs.AI cs.LG cs.SY
Transience in Countable MDPs
Transience的目标不是无限频繁地访问任何状态。虽然这在有限的马尔可夫决策过程（MDP）中是不可能的，但它可以在可数的无限过程中得到满足，例如，如果转换图是非循环的。我们证明了以下基本性质的瞬态在可数无限MDPs。1.存在一致的$ε$ -最优的MD策略（无记忆确定性）的瞬态，即使在无限分支的MDPs。2.瞬时性的最优策略不需要存在，即使MDP是连续分支。然而，如果存在最优策略，则也存在最优MD策略。3.如果MDP是普遍瞬态的（即，在所有策略下几乎肯定是瞬时的），那么许多其他目标的策略复杂度比一般的MDP要低。例如，在一个示例中，$ε$ -最优策略的安全和co-Büchi和最优策略的$\{0,1,2\}$ -奇偶校验（如果它们存在）可以选择MD，即使MDP是无限分支。
2021-07-04 cs.FL cs.GT math.OC
An Empirical Dynamic Programming Algorithm for Continuous MDPs
提出了一种基于随机函数逼近的马尔可夫决策过程经验值迭代算法。“经验”的性质来自于每次迭代都是根据下一个状态的模拟所提供的样本经验地进行的。这使得Bellman算子成为随机算子。将参数化函数空间和再生核希尔伯特空间（RKHS）分别用于函数逼近的参数化和非参数化方法与EVI相结合。这两个函数空间都具有通用函数逼近性质。基函数是随机选取的。收敛性分析是使用随机算子框架与随机优势理论的技术。有限时间样本复杂性界推导出这两个通用的近似动态规划算法。数值实验证明了该方法的通用性和有效性。
2019-04-23 math.OC
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
The Plug-in Approach for Average-Reward and Discounted MDPs: Optimal Sample Complexity Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对平均奖励MDP的ε-最优策略学习问题，提出无需先验信息的插件方法，理论分析其样本复杂度，证明在直径、混合时间、跨度等场景下达到最优，填补理论空白并改进折扣MDP插件方法结果。
2025-02-11 cs.IT cs.LG math.IT
Lyapunov-Based Sample Complexity Analysis for Weakly-Coupled MDPs
Department of Industrial and Systems Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校工业与系统工程系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
针对平均奖励弱耦合MDP和Restless Bandits，提出基于Lyapunov的分析框架，实现样本和计算复杂度关于臂数N的多项式级界限，并给出首个有限样本PAC保证。
2026-11-10 cs.LG math.OC math.PR
Settling the Horizon-Dependence of Sample Complexity in Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
近年来，人们对强化学习（RL）中样本复杂性的水平依赖性有着浓厚的兴趣。值得注意的是，对于具有时域长度$H$的RL环境，先前的工作已经表明，存在可能近似正确（PAC）算法，该算法在状态和动作的数量固定时使用环境交互的$\mathrm{polylog}(H)$情节来学习$O(1)$ -最优策略。目前尚不清楚是否需要对$\mathrm{polylog}(H)$的依赖。在这项工作中，我们解决了这个问题，通过开发一种算法，实现了相同的PAC保证，同时只使用$O(1)$情节的环境相互作用，完全解决了水平依赖的样本复杂性在RL。我们实现了这一界限（i）建立之间的联系价值函数折扣和有限时域马尔可夫决策过程（MDP）和（ii）一个新的扰动分析MDP。我们相信我们的新技术是独立的利益，并可以应用于相关问题的强化学习。
2021-11-01 cs.AI cs.DS cs.LG
On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Meta AI；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文将基于相对值迭代的Q-learning算法的几乎必然收敛性分析从单链扩展到弱连通MDPs，刻画了其收敛集性质，并推广至基于options框架的分层RL算法。
2024-08-29 cs.LG math.OC
Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对无奖励强化学习，提出一种用于线性混合MDPs的无视野算法，通过不确定性加权回归与高阶矩估计，实现了对规划视野仅多重对数依赖的最优样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；University of Pennsylvania（宾夕法尼亚大学）
线性函数表示等低复杂度模型在实现样本高效强化学习（RL）方面发挥着关键作用。目前的文件涉及到一个场景与基于值的线性表示，它假设的线性可实现的最佳Q函数（也称为“线性$Q^{\star}$问题”）。虽然线性可实现性本身一般不允许样本有效的解决方案，但大的次优差距的存在是一个潜在的游戏规则改变者，这取决于所使用的采样机制。非正式地说，当生成模型可用时，样本效率可以通过较大的次优差距来实现，但不幸的是，当我们转向标准在线RL设置时，这是不可行的。在本文中，我们取得了进展，了解这个线性$Q^{\star}$的问题，通过调查一个新的采样协议，该协议以在线/探索的方式绘制样本，但允许回溯和重新访问以前的状态在一个控制和罕见的方式。该协议比标准的在线RL设置更灵活，同时与实际相关，并且比生成模型更具限制性。我们开发了一个算法，适合这种设置，实现了一个样本的复杂性，规模多项式的特征维度，地平线，和逆次优差距，但不是状态/动作空间的大小。我们的研究结果强调了RL中采样协议和低复杂度结构表示之间的基本相互作用。
2021-10-18 cs.IT cs.LG math.IT
Exploiting Exogenous Structure for Sample-Efficient Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Northwestern University（西北大学）
研究Exo-MDPs这类结构化马尔可夫决策过程，建立离散MDPs等之间的表示等价性，刻画其学习的极小极大遗憾值，证明不同情况下的遗憾值界，表明其解耦样本复杂度，通过实验验证相关见解。
2026-10-02 cs.LG math.OC stat.ML
Dual-Anchor Acceleration Is Near-Optimal for Stochastic Monotone Root-Finding
Johns Hopkins University（约翰斯·霍普金斯大学）
针对随机单调求根问题，本文结合双锚定与随机预解近似及优化方差控制，在无偏随机预言机下实现近乎最优的预言机复杂度，改进噪声主导区域的对数因子。
2026-09-30 cs.LG math.OC
Optimal Non-Asymptotic Rates of Value Iteration for Average-Reward Markov Decision Processes
Seoul National University（首尔大学）；UCLA（加州大学洛杉矶分校）
本文研究了平均奖励马尔可夫决策过程的价值迭代的非渐近收敛速率，提出了锚定价值迭代的O(1/k)速率结果及跨度基于复杂度下界。
2026-02-09 math.OC
Multi-User Reinforcement Learning with Low Rank Rewards
Google Research（谷歌研究院）；Amazon India（亚马逊印度）
本文研究协作多用户强化学习，提出一种在低秩奖励假设下协同探索多用户特定MDP奖励的算法，在表格和线性MDP设定下显著降低了样本复杂度。
2023-05-22 cs.LG math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中，我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先，我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法，比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation，Popov，和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定，并不同于涅斯捷罗夫的加速。然后，我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
Sample-Efficient Reinforcement Learning for Linearly-Parameterized MDPs with a Generative Model
Princeton University（普林斯顿大学）
维数灾难是强化学习（RL）中一个广为人知的问题。在状态空间$\mathcal{S}$和动作空间$\mathcal{A}$都是有限的表格设置中，为了获得具有对生成模型的采样访问的接近最优的策略，极小极大最优样本复杂度与$|\mathcal{S}|\times|\mathcal{A}|$线性地成比例，当$\mathcal{S}$或$\mathcal{A}$大时，$|\mathcal{S}|\times|\mathcal{A}|$可能非常大。本文考虑一个马尔可夫决策过程（MDP），它允许一组状态-动作特征，它可以线性地表示（或近似）它的概率转移核。我们表明，一个基于模型的方法（分别。$~$ Q-学习）可证明地学习$\varepsilon$ -最优策略（相应地，$~$ Q-函数），一旦样本量超过$\frac{K}{(1-γ)^{3}\varepsilon^{2}}$的数量级（分别为$~$ $\frac{K}{(1-γ)^{4}\varepsilon^{2}}$），直至某个对数因子。这里，$K$是特征维度，而$γ\in(0,1)$是MDP的折扣因子。这两个样本的复杂性界限是可证明的紧，我们的结果为基于模型的方法匹配的极大极小下限。我们的研究结果表明，对于任意大规模的MDP，无论是基于模型的方法和Q学习是样本有效的$K$是相对较小的，因此，本文的标题。
2022-10-26 cs.IT cs.LG math.IT
MDP Geometry, Normalization and Reward Balancing Solvers
Boston University（波士顿大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）
本文提出马尔可夫决策过程（MDP）的新几何解释与归一化过程，在不改变动作优势下调整值函数，由此提出Reward Balancing算法类，并证明其能改进未知转移概率MDP的最先进样本复杂度结果。
2025-03-05 cs.LG math.OC
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University（中山大学）
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战，由于动态规划的失败。在本文中，我们提出了一种新的方法来找到全局最优的政策，稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念，将原问题转化为一个双层MDP问题，其中内层是标准MDP优化伪均值-方差，外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP，我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法，可以找到全局最优的策略，通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性，进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知，我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
我们提出了一个有效的鲁棒值迭代\texttt{s} -矩形鲁棒马尔可夫决策过程（MDP）的时间复杂度相当于标准（非鲁棒）MDP这是显着快于任何现有的方法。我们这样做，通过推导出最佳的鲁棒贝尔曼算子的具体形式，使用我们的$L_p$水填充引理。我们揭示了最优策略的确切形式，这些策略是一种新的阈值策略，其采取行动的概率与其优势成正比。
2023-01-31 cs.LG math.OC
Exploring and Learning in Sparse Linear MDPs without Computationally Intractable Oracles
MIT（麻省理工学院）
本文研究 $k$-稀疏线性 MDP 中的特征选择问题，提出首个多项式时间算法，通过引入可高效计算的仿真器概念实现近最优策略学习，并推广到低深度决策树解码的块 MDP。
2023-09-19 cs.AI cs.DS cs.LG
Robust Markov Decision Processes on Continuous State Spaces
EPFL（洛桑联邦理工学院）；Rutgers University（罗格斯大学）；Texas A&M University（德克萨斯农工大学）
针对连续状态空间上的鲁棒马尔可夫决策过程，提出结构化矩形模糊集，利用动态规划引入随机一阶方法进行鲁棒策略评估，并证明其高概率收敛和样本复杂度，进而通过近似策略迭代得到ε-最优策略。
2026-05-27 math.OC
Linear Dynamics meets Linear MDPs: Closed-Form Optimal Policies via Reinforcement Learning
针对电力系统等领域中动态系统与难建模随机环境交互的问题，结合线性二次调节器（LQR）和线性马尔可夫决策过程（MDPs）框架，推导闭式最优策略并提供稳定性保证与样本复杂度分析，数值示例验证其有效性。
2025-08-24 cs.SY eess.SY math.OC
Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL
Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
本文研究了平均回报MDP中的离线强化学习，提出基于目标策略的精确样本复杂度界，并首次处理一般弱连通MDP，引入改进的悲观折扣价值迭代算法。
2026-04-21 cs.IT cs.LG math.IT
Bilinear Classes: A Structural Framework for Provable Generalization in RL
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
这项工作介绍了双线性类，一个新的结构框架，它允许泛化的强化学习在各种各样的设置，通过使用函数逼近。该框架包含了几乎所有现有的模型，其中多项式样本复杂度是可实现的，并且值得注意的是，还包括新的模型，如线性$Q^*/V^*$模型，其中最佳$Q$函数和最佳$V$函数在一些已知的特征空间中是线性的。我们的主要结果提供了一个RL算法，它具有多项式样本复杂度的双线性类，值得注意的是，这个样本的复杂度是在减少一个潜在的监督学习子问题的泛化误差。这些界限几乎匹配现有模型的最佳已知样本复杂性界限。此外，该框架还扩展到无限维（RKHS）设置：对于线性$Q^*/V^*$模型，线性MDP和线性混合MDP，我们提供的样本复杂度没有显式依赖于显式特征维数（可能是无限的），而是只依赖于信息理论量。
2021-07-11 cs.AI cs.LG math.OC
Efficient Learning for Entropy-Regularized Markov Decision Processes via Multilevel Monte Carlo
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics, Imperial College London（伦敦帝国学院数学系）
针对大规模或连续状态动作空间的熵正则化MDPs，提出结合不动点迭代与多层蒙特卡洛的算法族，通过误差分析证明无偏随机化多层近似可实现与状态动作空间规模无关的多项式样本复杂度，并用实验验证了理论保证。
2025-06-04 cs.LG math.OC math.PR
Adaptivity, Anchoring, and the Exact Oracle Complexity of Stochastic Fixed-Point Iterations
School of Mathematical Sciences, Zhejiang Normal University（浙江师范大学数学与计算机科学学院）
研究随机不动点迭代的锚定调度，揭示常数密度下的精确权衡，提出同时最优的稀疏调度，并给出压缩与非扩张算子的极小极大复杂度。
2026-10-02 cs.IT math.IT math.OC
From Optimization to Control: Quasi Policy Iteration
本文提出一种基于准牛顿方法的准策略迭代算法，用于马尔可夫决策过程，通过引入Hessian矩阵的近似和线性约束，提升收敛性能和鲁棒性。
2026-01-03 cs.LG cs.SY eess.SY
