Efficient Rate Optimal Regret for Adversarial Contextual MDPs Using Online Function Approximation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
提出 OMG-CMDP! 算法，在在线回归预言机与可实现函数类假设下，实现对抗性上下文 MDP 的高效、鲁棒且速率最优遗憾保证。
2023-08-14 cs.LG
Near-Optimal Regret for Policy Optimization in Contextual MDPs with General Offline Function Approximation
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country；Blavatnik School of Computer Science, Tel Aviv University；Google Research；School of Electrical Engineering, Tel Aviv University
OPO-CMDP在一般离线函数近似下，首次实现了Contextual MDPs中策略优化的近最优后悔界，提升了计算效率和理论性能。
2026-02-14 cs.LG
Model-based RL in Contextual Decision Processes: PAC bounds and Exponential Improvements over Model-free Approaches
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
我们研究了样本复杂性的基于模型的强化学习（以下简称RL）在一般的上下文决策过程中，需要战略探索，以找到一个接近最优的政策。我们设计了一个通用的模型类RL的新算法，并分析其统计特性。我们的算法样本的复杂性由一个新的结构参数称为证人的排名，我们证明是小的几个设置的兴趣，包括因素的MDP。我们还表明，证人秩永远不会大于最近提出的Bellman秩参数，该参数控制无模型算法OLIVE的样本复杂度（Jiang et al.，2017年），唯一的其他可证明的样本有效的算法，在这个水平的一般性的全球探索。聚焦于因子化的MDP的特殊情况，我们证明了一般类无模型方法的指数下界，包括OLIVE，当与我们的算法结果相结合时，在一些丰富的观测设置中，基于模型的RL和无模型RL之间表现出指数分离。
2019-05-30 cs.LG stat.ML
Eluder-based Regret for Stochastic Contextual MDPs
Balavatnick school of Computer Science, Tel Aviv University（特拉维夫大学巴拉瓦尼克计算机科学学院）；Google Research（谷歌研究院）
提出E-UC$^3$RL算法，在最小假设下实现随机上下文MDP的速率最优遗憾界，并扩展Eluder维度至一般有界度量。
2024-05-29 cs.LG
Memoryless Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
我们提出了一个算法，确定性连续马尔可夫决策过程的稀疏奖励，计算最优策略，完全不依赖于状态空间的大小。该算法的时间复杂度为$O( |R|^3 \times |A|^2 )$，存储复杂度为$O( |R| \times |A| )$，其中$|R|$为奖励源个数，$|A|$为动作个数.此外，我们描述了一个同伴算法，可以遵循从任何初始状态的最优策略，而不计算整个价值函数，而是按需计算的状态值，因为它们是需要的。该算法不依赖于状态空间的大小，无论是时间或内存的复杂性，并遵循最优策略的能力是线性的时间和空间的路径长度从初始状态遵循最优策略。我们证明了算法操作并排值迭代易处理的MDPs。
2018-05-17 cs.LG stat.ML
Learning with Safety Constraints: Sample Complexity of Reinforcement Learning for Constrained MDPs
许多物理系统都有潜在的安全考虑，要求所采用的策略确保满足一组约束。分析公式通常采用约束马尔可夫决策过程（CMDP）的形式。我们专注于CMDP是未知的情况下，RL算法获得的样本，发现模型和计算的最优约束策略。我们的目标是表征安全约束和样本数量之间的关系，以确保所需的准确性水平-目标最大化和约束满足-在PAC意义上。我们探索了两类RL算法，即（i）基于生成模型的方法，其中最初采用样本来估计模型，以及（ii）在线方法，其中模型随着样本的获得而更新。我们的主要发现是，相比于最好的已知的无约束制度的界限，约束RL算法的样本复杂性增加了一个因素，是对数的限制，这表明该方法可以很容易地利用在实际系统中。
2021-03-01 cs.LG stat.ML
Finding the Near Optimal Policy via Adaptive Reduced Regularization in MDPs
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
正则化的MDP充当原始MDP的平滑版本。然而，有偏的最优策略总是存在正则化的MDP。我们提出了一种自适应的λ约简方案来逼近原MDP的最优策略，而不是使正则项的系数λ足够小.结果表明，与设定足够小的λ相比，得到ε-最优策略的迭代复杂度可以降低.此外，该约简方法与直接求解原始MDP之间存在着很强的对偶关系，由此可以推导出对某些算法更具自适应性的约简方法。
2020-10-31 cs.LG stat.ML
Near Instance-Optimal PAC Reinforcement Learning for Deterministic MDPs
Meta AI；UMPA, ENS Lyon（里昂高等师范学院纯数学与应用数学实验室）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
在可能近似正确（PAC）强化学习（RL）中，需要代理以概率$1-δ$识别$ε$ -最优策略。虽然极大极小优化算法存在于这个问题，其实例依赖的复杂性仍然难以捉摸的情节马尔可夫决策过程（MDP）。在本文中，我们提出了第一个几乎匹配（到地平线平方因子和对数项）上界和下界的样本复杂性的PAC RL在确定性的情节MDP有限的状态和动作空间。特别是，我们的边界功能的状态-动作对，我们称之为确定性的回报差距的次优差距的新概念。虽然我们的实例相关的下限被写为线性规划，但我们的算法非常简单，并且在学习过程中不需要解决这样的优化问题。它们的设计和分析采用了新的思想，包括图论概念（最小流）和新的最大覆盖率探索策略。
2022-10-24 cs.LG stat.ML
Twice regularized MDPs and the equivalence between robustness and regularization
Technion（以色列理工学院）；Google Research, Brain Team（谷歌研究院大脑团队）；NVIDIA Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。最后，我们将正则化的MDP推广到两次正则化的MDP（R ${}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的Bellman算子使得能够开发具有收敛性和鲁棒性保证的策略迭代方案。它还将健壮的MDP中的规划和学习减少到正则化的MDP。
2021-10-12 cs.LG math.OC
A Primal-Dual Algorithm for Offline Constrained Reinforcement Learning with Linear MDPs
University of Michigan（密歇根大学）
针对无限时域折扣设置下的线性MDP离线强化学习，提出首个在部分数据覆盖假设下实现$O(ε^{-2})$样本复杂度且计算高效的原始-对偶算法，并扩展至离线约束RL。
2024-06-02 cs.LG stat.ML
Minimax PAC Bounds for Learning in Exogenous Contextual MDPs
CREST, ENSAE（CREST与ENSAE）；Criteo AI Lab（Criteo人工智能实验室）；FairPlay Joint Team（FairPlay联合团队）
针对外生上下文表格折扣MDP，提出方差缩减算法实现策略评估、最优值估计和最优策略提取，样本复杂度与上下文空间大小无关且达到极小极大最优。
2026-10-27 cs.LG stat.ML
Learning Efficiently Function Approximation for Contextual MDP
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究学习上下文MDPs使用的奖励和动态的函数近似。我们考虑的情况下，动力学依赖或独立的上下文。对于这两个模型，我们推导出多项式样本和时间复杂度（假设一个有效的ERM预言）。我们的方法给出了一个一般的减少从学习上下文MDP的监督学习。
2022-11-30 cs.LG
Soft Robust MDPs and Risk-Sensitive MDPs: Equivalence, Policy Gradient, and Sample Complexity
Harvard University（哈佛大学）
本文提出一种新的风险敏感MDP表述，证明其与软鲁棒MDP等价，推导策略梯度定理，并设计离线算法RFZI，分析其样本复杂度。
2024-05-24 cs.LG math.OC
A Note on Target Q-learning For Solving Finite MDPs with A Generative Oracle
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanjing University（南京大学）
具有函数逼近的Q学习可能在非策略设置中发散，目标网络是解决这个问题的强大技术。在这篇手稿中，我们研究的样本复杂性的相关目标Q-学习算法在表格的情况下，生成的预言。我们指出了[Lee and He，2020]中的一个误导性声明，并建立了一个严密的分析。特别地，我们证明了[Lee和He，2020]中目标Q学习算法的样本复杂度是$\widetilde{\mathcal O}(|\mathcal S|^2|\mathcal A|^2 (1-γ)^{-5}\varepsilon^{-2})$。此外，我们表明，这个样本的复杂性提高到$\widetilde{\mathcal O}(|\mathcal S||\mathcal A| (1-γ)^{-5}\varepsilon^{-2})$，如果我们可以顺序更新所有的状态-动作对和$\widetilde{\mathcal O}(|\mathcal S||\mathcal A| (1-γ)^{-4}\varepsilon^{-2})$，如果$γ$是进一步在$(1/2, 1)$。与普通Q学习相比，我们的结果得出结论，引入一个冻结的目标Q函数并没有牺牲样本的复杂性。
2022-03-22 cs.LG stat.ML
Instance-Dependent Near-Optimal Policy Identification in Linear MDPs via Online Experiment Design
University of Washington（华盛顿大学）
本研究针对线性函数逼近强化学习场景，提出基于在线实验设计的\textsc{Pedel}算法，首次实现该领域细粒度的依赖实例近最优策略学习复杂度度量，可针对不同实例自适应提升学习效率。
2023-07-20 cs.LG stat.ML
Online RL in Linearly $q^π$-Realizable MDPs Is as Easy as in Linear MDPs If You Learn What to Ignore
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
本文证明在线性 $q^π$-可实现 MDP 中，通过识别并跳过所有动作值近似相等的状态，可将问题转化为线性 MDP，从而实现在线 RL 的样本复杂度为 $\ ext{polylog}(H,d)/ε^2$，并给出首个多项式样本复杂度算法。
2023-12-20 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Training on Irrelevant States Implies Data Augmentation: Generalization in Contextual MDPs
研究上下文马尔可夫决策过程零样本策略转移中智能体泛化问题，提出Explore-Go方法，通过在训练开始引入纯探索阶段，结合现有纯探索策略提升智能体覆盖范围与准确性来增强泛化能力，经实验验证该方法在多种基准测试中有效。
2026-07-14 cs.AI cs.LG
Interaction-Grounded Learning for Contextual Markov Decision Processes with Personalized Feedback
University of Iowa（爱荷华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文提出了一种计算高效的算法，用于在具有个性化反馈的上下文性 Markov 决策过程中实现次线性遗憾保证，通过扩展奖励估计器构造并设计逆间隙加权算法，有效提升了多轮交互中学习个性化目标的能力。
2026-02-09 cs.LG stat.ML
Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs
Politecnico di Milano（米兰理工大学）
针对平滑连续空间 MDP，论文提出基于调和分析投影与正交三角多项式特征的扰动最小二乘值迭代，获得速率最优样本复杂度并统一 Lipschitz 与低秩 MDP 结果。
2024-05-10 cs.AI cs.LG
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion（以色列理工学院）；Google Research（谷歌研究院）；Nvidia Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。然后，我们将正则化的MDP推广到两次正则化的MDP（$\text{R}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证，从而降低鲁棒性正则化。我们在数值上显示了这种双重优势，在表格和物理域，突出的事实，即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
本文针对无限期平均奖励线性MDP，提出通过折扣MDP近似结合乐观值迭代的算法，首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Non-stationary Reinforcement Learning under General Function Approximation
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）；UC Santa Barbara（加州大学圣巴巴拉分校）
针对一般函数逼近下的非平稳 MDP，本文提出 DBE 维数与带滑动窗口的无模型算法 SW-OPEA，建立动态遗憾界并证明其优于现有 UCB 型方法。
2023-06-01 cs.LG stat.ML
Operator-Theoretic Foundations and Policy Gradient Methods for General MDPs with Unbounded Costs
The Ohio State University（俄亥俄州立大学）；McGill University（麦吉尔大学）
本文提出了一种新的策略梯度算法，用于解决具有无界成本的一般马尔可夫决策过程，通过算子理论和扰动理论建立了策略差分引理，并改进了策略梯度方法。
2026-03-31 cs.LG math.OC
Low-complexity modular policies: learning to play Pac-Man and a new framework beyond MDPs
在本文中，我们提出了一种学习玩吃豆人的方法。我们定义了一组高级观察和动作模块。动作在时间上被延长，并且多个动作模块可以同时生效。代理的决策被表示为基于规则的策略。对于学习，我们应用交叉熵方法，最近的全局优化算法。学习的策略比手工制定的策略得分更高，接近人类玩家的平均得分。我们认为，学习是成功的，主要是因为（i）政策空间包括个人行动的组合，因此它是足够丰富的，（ii）搜索是偏向于低复杂度的政策和低复杂度的解决方案，可以很快找到，如果它们存在。基于这些原则，我们制定了一个新的理论框架，可以在附录中找到作为支持材料。
2006-10-30 cs.AI cs.LG
Batch-iFDD for Representation Expansion in Large MDPs
Massachusetts Institute of Technology（麻省理工学院）
匹配追踪（MP）方法是一类很有前途的价值函数逼近特征构造算法。然而，现有的MP方法需要创建一个潜在的功能池，强制专家知识或枚举一个大的功能池，这两个都阻碍了可扩展性。本文介绍了批量增量特征依赖发现（Batch-iFDD）作为MP方法，继承了可证明的收敛性。此外，Batch-iFDD不需要大量特征，从而降低了计算复杂性。在三个域中，多达一百万个状态的经验策略评估结果突出了Batch-iFDD相对于先前最先进的MP算法的可扩展性。
2013-09-26 cs.LG stat.ML
Optimism in Face of a Context: Regret Guarantees for Stochastic Contextual MDP
Tel Aviv University（特拉维夫大学）；Google Research, Tel Aviv（谷歌研究（特拉维夫））
我们提出了遗憾最小化算法随机上下文MDP最小可达性假设下，使用离线最小二乘回归预言机。我们分析了三种不同的设置：其中的动态是已知的，其中的动态是未知的，但独立的上下文和最具挑战性的设置，其中的动态是未知的和上下文相关的。对于后者，我们的算法得到了遗憾界的$\widetilde{O}( (H+{1}/{p_{min}})H|S|^{3/2}\sqrt{|A|T\log(\max\{|\mathcal{G}|,|\mathcal{P}|\}/δ)})$概率$1-δ$，其中$\mathcal{P}$和$\mathcal{G}$是有限的和可实现的功能类，分别用于近似的动力学和奖励，$p_{min}$是最小可达性参数，$S$是一组状态，$A$的动作集，$H$的地平线，$T$的情节数。据我们所知，我们的方法是第一个应用于具有一般函数近似的上下文MDP的乐观方法（即，而不需要关于函数类的附加知识，例如它是线性的等等）。我们提出了一个下界的$Ω(\sqrt{T H |S| |A| \ln(|\mathcal{G}|)/\ln(|A|)})$，预期的遗憾，即使在已知的动态的情况下。最后，我们讨论了我们的结果的CMDPs没有最低可达性，获得$\widetilde{O}(T^{3/4})$遗憾的扩展。
2023-01-22 cs.LG
TensorPlan and the Few Actions Lower Bound for Planning in MDPs under Linear Realizability of Optimal Value Functions
DeepMind（深度思维）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
我们认为，在固定时间马尔可夫决策过程（MDP）与线性函数逼近的生成模型的在线规划的极大极小查询复杂度。根据最近的工作，我们考虑广泛的问题，其中（i）最佳价值函数$v^\star$或（ii）最佳动作价值函数$q^\star$位于某些功能的线性跨度;或（iii）$v^\star$和$q^\star$都位于线性跨度时，限制到从起始状态可达的状态。最近，Weisz等人（2021 b）表明，在（ii）条件下，当动作集的大小$A$在$\min(d,H)$中可以被选择为指数时，任何规划算法的极小极大查询复杂度在水平$H$或特征维度$d$中至少是指数的。另一方面，对于设置（i），Weisz等人（2021 a）引入了TensorPlan，这是一种规划器，当动作数量固定时，其查询成本在所有相关量中都是多项式。除其他外，这两个作品留下了一个问题，多项式查询复杂性是否可能时，$A$是次指数在$\min(d,H)$。在本文中，我们回答这个问题的否定：我们表明，指数大的下限举行时，$A=Ω(\min(d^{1/4},H^{1/2}))$，根据（i），（ii）或（iii）。特别是，这意味着与Du等人（2021）的工作相比，查询复杂度可能会出现令人惊讶的指数分离，Du等人（2021）证明了当（iii）对所有状态都成立时的多项式上限。此外，我们证明了TensorPlan的上界可以扩展到（iii）下，对于具有确定性转…
2022-03-10 cs.AI cs.LG stat.ML
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Recursive Entropic Risk Optimization in Discounted MDPs: Sample Complexity Bounds with a Generative Model
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本文研究了在有限折扣马尔可夫决策过程（MDP）中使用递归熵风险度量（ERM）进行风险敏感强化学习的问题，引入了基于模型的算法Model-Based ERM Q-Value Iteration（MB-RS-QVI），并推导了该算法在价值学习和策略学习中的PAC型样本复杂性界，证明了在最坏情况下样本复杂性与|β|/(1-γ)呈指数关系，为递归ERM在风险规避和风险寻求情形下的样本复杂性提供了首次严格保证。
2026-05-18 cs.AI cs.LG math.OC
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对弱通信平均奖励MDP，首次从单条轨迹建立有限样本复杂度保证，提出无模型方法，值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
Learning Infinite-horizon Average-reward MDPs with Linear Function Approximation
University of Southern California（南加州大学）
我们开发了几个新的算法学习马尔可夫决策过程中的一个无限地平线的平均回报设置与线性函数逼近。使用乐观原则，并假设MDP具有线性结构，我们首先提出了一个计算效率低下的算法与最佳的$\widetilde{O}(\sqrt{T})$遗憾和另一个计算效率高的变体与$\widetilde{O}(T^{3/4})$遗憾，其中$T$是互动的数量。接下来，从对抗性线性强盗中获得灵感，我们在不同的假设下开发了另一种有效的$\widetilde{O}(\sqrt{T})$后悔算法，改进了Hao等人（2020）使用$\widetilde{O}(T^{2/3})$后悔的最佳现有结果。此外，我们将该算法与Kakade（2002）提出的自然策略梯度算法联系起来，并表明我们的分析改进了Agarwal等人（2020）最近给出的样本复杂度界。
2021-04-26 cs.LG stat.ML
Near-Optimal Learning and Planning in Separated Latent MDPs
MIT（麻省理工学院）；Archimedes AI（阿基米德人工智能）
针对潜在 MDP 学习的不可能性，论文提出多种分离条件，刻画高效学习所需视界长度的近精确统计阈值，并给出拟多项式算法及基于指数时间假设的近匹配下界。
2024-06-12 cs.AI cs.CC cs.LG
Bad Values but Good Behavior: Learning Highly Misspecified Bandits and MDPs
Indian Institute of Science（印度科学学院）
本文研究奖励模型高度错误设定下的老虎机和MDP决策问题，识别出使ε-greedy、LinUCB和拟合Q学习等基础算法仍能学习最优策略的结构条件，证明存在大量对错误设定鲁棒的实例。
2024-02-22 cs.AI cs.LG
Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs
University of Kentucky（肯塔基大学）；University of Virginia（弗吉尼亚大学）；Ohio State University（俄亥俄州立大学）
本文针对低秩MDP提出高效Actor-Critic算法，通过监督学习建立RL oracle层级，证明算法在样本复杂度上优于现有方法，且避免了高成本的规划或优化 oracle。
2026-05-02 cs.LG
Sample Complexity of Episodic Fixed-Horizon Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
最近，通过推导紧样本复杂度边界，在理解贴现无限时域马尔可夫决策过程（MDP）中的强化学习方面取得了重大进展。然而，在许多现实世界的应用中，交互式学习代理在固定或有限的时间段内运行，例如辅导学生考试或处理客户服务请求。这种情况下，往往可以更好地处理为情节固定地平线的MDP，只有宽松的边界上的样本复杂性存在。在这种情况下，样本复杂性的一个自然概念是保证高概率（PAC保证）的特定性能所需的事件数量。在本文中，我们推导出一个PAC的上限$\tilde O(\frac{|\mathcal S|^2 |\mathcal A| H^2}{ε^2} \ln\frac 1 δ)$和PAC的下限$\tilde Ω(\frac{|\mathcal S| |\mathcal A| H^2}{ε^2} \ln \frac 1 {δ+ c})$，匹配的对数项和一个额外的线性依赖的状态数$|\mathcal S|$。下限是第一个这种设置。我们的上限利用伯恩斯坦不等式，以改善以前的情节有限的地平线MDPs的时间范围依赖至少$H^3$的界限。
2016-05-11 cs.AI cs.LG stat.ML
PAC Bounds for Discounted MDPs
Australian National University（澳大利亚国立大学）；ETH Zürich（苏黎世联邦理工学院）；NICTA（国家信息与通信技术研究院）
我们研究了有限状态折扣马尔可夫决策过程（MDP）中学习近优行为的样本复杂性的上界和下界。对于上界，我们假设每个动作导致最多两个可能的下一个状态，并证明了一个新的UCRL风格的算法的时间步长的数量时，它不是可能近似正确（PAC）的界限。新的下限通过更一般（适用于所有政策）和更严格来加强以前的工作。上界和下界与对数因子相匹配。
2012-02-17 cs.LG
Towards Theoretical Understandings of Robust Markov Decision Processes: Sample Complexity and Asymptotics
Peking University（北京大学）
本文研究了鲁棒马尔可夫决策过程（MDP）的最优鲁棒策略和值函数的非渐近和渐近性能，其中最优鲁棒策略和值函数仅由生成模型求解。虽然以前的工作集中在鲁棒MDP的非渐近性能的KL不确定性集和$(s,a)$ -矩形假设的设置受到限制，我们改进了他们的结果，并考虑其他不确定性集，包括$L_1$和$χ^2$球。我们的结果表明，当我们假设$(s,a)$ -矩形的不确定性集上，样本的复杂性约为$\widetilde{O}\left(\frac{|\mathcal{S}|^2|\mathcal{A}|}{\varepsilon^2ρ^2(1-γ)^4}\right)$。此外，我们将已有的结果从$(s,a)$ -矩形假设推广到$s$ -矩形假设.在这种情况下，样本的复杂性随着不确定性集的选择而变化，并且通常大于$(s,a)$ -矩形假设下的情况。此外，我们还证明了在$(s,a)$和$s$ -矩形假设下，最优鲁棒值函数是渐近正态的，具有典型的速率$\sqrt{n}$.
2022-08-12 cs.LG stat.ML
Sample Complexity of Average-Reward Q-Learning: From Single-agent to Federated Reinforcement Learning
CUHK Department of Statistics and Data Science, Chinese University of Hong Kong（中国香港中文大学统计与数据科学系）；CMU Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；CUHK（中国香港中文大学）；CMU（卡内基梅隆大学）；Yale Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
本文提出了一种针对平均奖励MDPs的Q学习算法，通过单智能体和联邦场景的样本复杂度分析，证明了在弱通信假设下，联邦设置能有效降低样本复杂度。
2026-01-20 cs.LG stat.ML
Regret Bounds for Discounted MDPs
University of California, San Diego（加州大学圣迭戈分校）
强化学习（RL）传统上是从情景的角度来理解的;非情景RL的概念，即没有重新启动，因此没有可靠的恢复，仍然是难以捉摸的。非情景强化学习的一个基本问题是如何衡量学习者的表现，并推导出最大化这种表现的算法。传统的观点是最大化学习者获得的平均奖励和最大长期平均奖励之间的差异。在本文中，我们认为，如果总的时间预算是相对有限的相比，环境的复杂性，这种比较可能无法反映有限的时间最优的学习。我们提出了一个家庭的措施，称为$γ$ -遗憾，我们相信，以更好地捕捉有限时间最优。我们给出了动机，并得出这些措施的下限和上限。注：后续工作（arXiv：2010.00587）改进了我们的下限和上限，差距现在关闭在$\tildeΘ\left(\frac{\sqrt{SAT}}{(1 - γ)^{\frac{1}{2}}}\right)$。
2021-05-27 cs.LG stat.ML
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
Q学习是一种流行的强化学习（RL）算法，其在函数逼近的实践中被广泛使用（Mnih等人，2015）。相比之下，现有的理论结果是悲观的Q学习。例如，（Baird，1995）表明，Q-学习即使在线性MDP的线性函数近似下也不会收敛。此外，即使对于具有同步更新的表格MDP，Q学习也被证明具有次优的样本复杂度（Li等人，2021;Azar等人，2013年）。这项工作的目标是弥合Q学习的实际成功与相对悲观的理论结果之间的差距。我们工作的出发点是观察到，在实践中，Q-学习被用于两个重要的修改：（i）使用两个网络进行训练，同时称为在线网络和目标网络（在线目标学习，或OTL），以及（ii）经验重放（ER）（Mnih等人，2015）。虽然已经观察到它们在Q学习的实际成功中发挥了重要作用，但文献中缺少对这两种修改如何改善Q学习收敛行为的透彻理论理解。通过将Q学习与OTL和反向经验重放（RER）（一种经验重放形式）仔细结合，我们提出了新的方法Q-Rex和Q-RexDaRe（Q-Rex +数据重用）。我们表明，Q-Rex有效地找到了线性MDP的最佳策略（或更一般地为MDP与零固有贝尔曼误差线性近似（ZIBEL）），并提供样本复杂性的非渐近界-第一个这样的结果为Q-学习方法为这类MDP在标准假设下。此外，我们证明了Q-RexDaRe实际上在表格设置中实现了接近最佳的样本复杂度，改进了现有的香草Q学习结果。
2021-10-19 cs.LG math.OC
Provably Efficient CVaR RL in Low-rank MDPs
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Cornell University（康奈尔大学）
本文研究低秩MDPs中具有非线性函数近似的CVaR强化学习，提出UCB奖励驱动算法平衡探索、利用与表示学习，实现多项式时间内的可证明高效样本复杂度。
2023-11-20 cs.LG stat.ML
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
Max-Plus Matching Pursuit for Deterministic Markov Decision Processes
Inria（法国国家信息与自动化研究所）；Département d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
我们考虑确定性马尔可夫决策过程（MDP）和应用最大代数工具来近似的值迭代算法的一个较小的维度的迭代的基础上表示的字典的价值函数。设置自然导致新的理论结果，这是简单地制定由于最大加代数结构。例如，当考虑固定（非自适应）有限基时，近似最优价值函数的计算复杂性与状态的数量不直接相关，而是与状态空间的覆盖数量的概念相关。为了打破因子化状态空间中的维数灾难，我们考虑自适应基础，可以适应特定的问题，导致类似于信号处理中的匹配追踪算法。他们目前没有理论上的保证，但工作经验以及简单的确定性MDP来自低维连续控制问题。我们主要集中在确定性的MDPs，但注意到，该框架可以适用于所有的MDPs考虑基于测量的配方。
2019-06-20 cs.LG stat.ML
A View of the Certainty-Equivalence Method for PAC RL as an Application of the Trajectory Tree Method
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究提出PAC强化学习的确定性等价方法可视为轨迹树方法的应用，给出更简洁的样本复杂度上界证明，放宽奖励假设，在小错误概率下改进非平稳与平稳MDP的上界，并证明非平稳情形的最小最大最优性。
2025-02-21 cs.LG stat.ML
Nearly Optimal Latent State Decoding in Block MDPs
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们研究了情景块MDP中的模型估计和无奖励学习问题。在这些MDP中，决策者可以访问从少量潜在状态生成的丰富观察或上下文。我们首先感兴趣的是基于在固定行为策略下生成的数据来估计潜在状态解码函数（从观察到潜在状态的映射）。我们推导出一个信息理论上的出错率估计这个函数的下限，并提出了一个算法接近这个基本限制。反过来，我们的算法还提供了MDP的所有组件的估计。然后，我们研究的问题，学习近最优的政策在无奖励的框架。基于我们高效的模型估计算法，我们表明，我们可以推断出一个政策收敛（收集的样本的数量越来越大）的最佳政策在尽可能好的速度。有趣的是，我们的分析提供了必要和充分的条件下，利用块结构产生的样本复杂性的改进，以确定接近最优的政策。当满足这些条件时，极小极大无奖励设置中的样本复杂度通过乘法因子$n$来改进，其中$n$是可能的上下文的数量。
2023-02-24 cs.LG math.ST stat.ML
No-regret Exploration in Contextual Reinforcement Learning
University of Michigan（密歇根大学）
我们认为最近提出的强化学习（RL）框架的上下文马尔可夫决策过程（CMDP），其中代理与（潜在的敌对）序列的情节表MDP的相互作用。此外，确定MDP参数的上下文向量在每个事件开始时可用于代理，从而允许其学习上下文相关的接近最优的策略。在本文中，我们提出了一个无遗憾的在线RL算法的设置中的MDP参数获得的背景下，使用广义线性映射（GLM）。我们提出并分析了乐观和随机的探索方法，使（时间和空间）有效的在线更新。基于GLM的模型包含了以前在这方面的工作，也提高了以前已知的边界的特殊情况下，上下文映射是线性的。此外，我们展示了一个通用的模板来获得置信集使用在线学习甲骨文，并给出了一个下限的设置。
2020-06-17 cs.AI cs.LG stat.ML
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法，提出改进的导航子问题解决方法，实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
Lyapunov-Based Sample Complexity Analysis for Weakly-Coupled MDPs
Department of Industrial and Systems Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校工业与系统工程系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
针对平均奖励弱耦合MDP和Restless Bandits，提出基于Lyapunov的分析框架，实现样本和计算复杂度关于臂数N的多项式级界限，并给出首个有限样本PAC保证。
2026-11-10 cs.LG math.OC math.PR
End-to-End Efficient RL for Linear Bellman Complete MDPs with Deterministic Transitions
Google Research, NYC（谷歌研究院纽约）；MIT（麻省理工学院）
针对线性Bellman完备MDP，提出一种在确定性转移下计算高效的算法，对有限动作空间端到端高效，对无限动作空间仅需标准argmax oracle，实现多项式样本与计算复杂度。
2026-07-01 cs.LG
$κ$-Explorer: Minimax Active Model Estimation in MDPs
University of California, San Diego（加州大学圣地亚哥分校）；University of Southern California（南加州大学）
$κ$-Explorer通过统一框架提升MDPs中主动模型估计的效率与精度
2026-10-20 cs.LG
Learning Robust State Abstractions for Hidden-Parameter Block MDPs
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；Mila（米拉研究所）
许多控制任务表现出类似的动态，可以建模为具有共同的潜在结构。隐参数马尔可夫决策过程（HiP-MDP）显式地对该结构进行建模，以提高多任务设置中的样本效率。然而，这种设置对状态的可观测性做出了很强的假设，这限制了它在具有丰富观测空间的真实世界场景中的应用。在这项工作中，我们利用的想法，共同的结构从HiP-MDP设置，并扩展它，使强大的状态抽象块MDP的启发。我们得到的多任务强化学习（MTRL）和Meta强化学习（元-RL）设置这一新框架的实例。此外，我们提供了基于任务和状态相似性的转移和泛化边界，以及依赖于跨任务的样本总数而不是任务数量的样本复杂性边界，这是对使用相同环境假设的先前工作的重大改进。为了进一步证明所提出的方法的有效性，我们实证比较并显示了多任务和Meta强化学习基线的改进。
2021-02-12 cs.AI cs.LG stat.ML
Provable General Function Class Representation Learning in Multitask Bandits and MDPs
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
虽然多任务表示学习已成为强化学习（RL）中提高样本效率的流行方法，但对它为什么以及如何工作的理论理解仍然有限。由于分析一般函数类的表示遇到了诸如泛化保证、抽象函数空间中置信界的确定等非平凡的技术障碍，以往的分析工作只能假设表示函数是智能体已知的或线性函数类已知的。然而，线性情况分析严重依赖于线性函数类的特殊性，而现实世界的实践通常采用一般的非线性表示函数，如神经网络。这大大降低了它的适用性。在这项工作中，我们将分析扩展到一般函数类表示。具体来说，我们认为代理播放$M$上下文土匪（或MDP）同时提取一个共享的表示功能$ϕ$从一个特定的功能类$Φ$使用我们提出的广义功能置信上限算法（GFUCB）。我们首次从理论上验证了多任务表示学习在一般函数类中对强盗和线性MDP的好处。最后，我们进行实验，以证明我们的算法与神经网络表示的有效性。
2022-10-21 cs.AI cs.LG
