Online learning in MDPs with side information
研究了边信息向量存在时有限马尔可夫决策过程（MDP）问题的在线学习。这个问题是由诸如临床试验、推荐系统等应用程序激发的。这些应用程序具有情节结构，其中每个情节对应于患者/客户。我们的目标是竞争的最优动态政策，可以考虑边信息。我们提出了一种计算效率高的算法，并表明其遗憾最多为$O(\sqrt{T})$，其中$T$是轮数。据我们所知，这是第一个遗憾注定为这个设置。
2014-06-26 cs.LG stat.ML
Continuous Online Learning and New Insights to Online Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
在线学习是分析迭代算法的有力工具。然而，经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机，我们建立了一个新的设置，称为连续在线学习（COL），在线损失函数的梯度不断变化，跨轮相对于学习者的决定。我们表明，COL涵盖并更恰当地描述了许多有趣的应用，从一般均衡问题（EPs）的优化，在情节MDPs。使用这个新的设置，我们重新审视实现次线性动态后悔的困难。我们证明了在COL中实现次线性动态遗憾和解决某些EP之间存在基本等价性，并且我们提出了从动态遗憾到静态遗憾和相关EP的收敛速度的减少。最后，我们将这些新的见解专门用于在线模仿学习，并对其学习稳定性进行了改进。
2019-12-03 cs.LG math.OC stat.ML
Online RL in Linearly $q^π$-Realizable MDPs Is as Easy as in Linear MDPs If You Learn What to Ignore
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
本文证明在线性 $q^π$-可实现 MDP 中，通过识别并跳过所有动作值近似相等的状态，可将问题转化为线性 MDP，从而实现在线 RL 的样本复杂度为 $\ ext{polylog}(H,d)/ε^2$，并给出首个多项式样本复杂度算法。
2023-12-20 cs.LG stat.ML
Dynamic Regret of Online Markov Decision Processes
Nanjing University（南京大学）
我们研究在线马尔可夫决策过程（MDP）的不利变化的损失函数和已知的过渡。我们选择动态后悔作为绩效指标，定义为学习者与任何可行的改变策略序列之间的绩效差异。该措施是严格强于标准的静态后悔基准学习者的表现与一个固定的比较政策。我们认为在线MDP的三个基本模型，包括情节无环随机最短路径（SSP），情节SSP，和无限地平线MDP。对于这三个模型，我们提出了新的在线集成算法，并建立他们的动态后悔保证，其中的结果情节（无环）SSP是可证明的minimax最优的时间范围和一定的非平稳性措施。此外，当学习者遇到的在线环境是可预测的，我们设计了改进的算法，并实现了更好的动态遗憾界的情节（无循环）SSP，而且，我们证明了不可能的结果为无限地平线MDPs。
2022-08-26 cs.LG stat.ML
A Primal-Dual Algorithm for Offline Constrained Reinforcement Learning with Linear MDPs
University of Michigan（密歇根大学）
针对无限时域折扣设置下的线性MDP离线强化学习，提出首个在部分数据覆盖假设下实现$O(ε^{-2})$样本复杂度且计算高效的原始-对偶算法，并扩展至离线约束RL。
2024-06-02 cs.LG stat.ML
Offline-Online Reinforcement Learning for Linear Mixture MDPs
Department of Industrial Engineering and Management Sciences, Northwestern University（工业工程与管理科学系，西北大学）
本文研究了在环境变化下线性混合马尔可夫决策过程中的离线-在线强化学习，提出了一种算法，能够自适应利用离线数据，在数据有信息时优于纯在线学习，在数据无信息时安全忽略并匹配纯在线性能，建立了明确的后悔上界和下界。
2026-04-13 cs.LG math.OC stat.ML
Efficient Reinforcement Learning in Factored MDPs with Application to Constrained RL
Key Laboratory of Machine Perception, MOE（教育部机器感知重点实验室）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Amazon（亚马逊公司）；Center for Data Science, Peking University（北京大学数据科学中心）
研究了情景分解马尔可夫决策过程中的强化学习问题。我们提出了一个算法称为FMDP-BF，它利用了因子分解结构的FMDP。FMDP-BF的遗憾被证明是指数小于为非因式分解的MDP设计的最优算法，并通过一个因式分解的$\sqrt{H|\mathcal{S}_i|}$，其中$|\mathcal{S}_i|$是因式分解的状态子空间的基数和$H$是规划地平线上的FMDPs~ \citep{osband2014near}的最好的以前的结果。为了显示我们的边界的最优性，我们还提供了一个下界FMDP，这表明我们的算法是接近最优的w.r.t.时间步长$T$、水平$H$和分解的状态-动作子空间基数。最后，作为一个应用，我们研究了一个新的配方约束RL，被称为RL与背包约束（RLwK），并提供了第一个样本有效的算法的基础上FMDP-BF。
2021-03-10 cs.LG stat.ML
Learning with Safety Constraints: Sample Complexity of Reinforcement Learning for Constrained MDPs
许多物理系统都有潜在的安全考虑，要求所采用的策略确保满足一组约束。分析公式通常采用约束马尔可夫决策过程（CMDP）的形式。我们专注于CMDP是未知的情况下，RL算法获得的样本，发现模型和计算的最优约束策略。我们的目标是表征安全约束和样本数量之间的关系，以确保所需的准确性水平-目标最大化和约束满足-在PAC意义上。我们探索了两类RL算法，即（i）基于生成模型的方法，其中最初采用样本来估计模型，以及（ii）在线方法，其中模型随着样本的获得而更新。我们的主要发现是，相比于最好的已知的无约束制度的界限，约束RL算法的样本复杂性增加了一个因素，是对数的限制，这表明该方法可以很容易地利用在实际系统中。
2021-03-01 cs.LG stat.ML
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
On Generalization of Adversarial Imitation Learning and Beyond
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
尽管有大量的经验评估，模仿学习的一个基本问题仍然没有完全解决：AIL（对抗性模仿学习）是否可以证明比BC（行为克隆）更好地推广？我们研究这个开放的问题与表格和情节MDPs。对于使用直接最大似然估计的香草AIL，我们在已知的过渡设置下提供了否定和肯定的答案。对于一些MDP，我们表明，香草AIL有一个更糟糕的样本复杂度比BC。关键的见解是，状态-动作分布匹配原则是薄弱的，使AIL可能概括较差，即使在访问状态的专家演示。对于另一类MDP，香草AIL被证明是推广以及非访问状态。有趣的是，它的样本复杂度是无水平线的，这可以证明远远优于BC。最后，我们建立了一个框架，在未知的过渡情况下，它允许AIL探索通过无奖励的探索策略。与最著名的在线学徒学习算法相比，该算法提高了样本复杂度和交互复杂度。
2022-02-11 cs.AI cs.LG
Online learning in MDPs with linear function approximation and bandit feedback
Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑一个在线学习问题，其中学习者与马尔可夫决策过程在一系列事件中进行交互，其中允许奖励函数以对抗的方式在事件之间变化，并且学习者只能观察与其行为相关的奖励。我们允许的状态空间是任意大的，但我们假设所有的动作价值函数可以表示为线性函数的一个已知的低维特征映射，学习者可以访问的环境，允许从真正的MDP动态生成轨迹的模拟器。我们的主要贡献是开发一个计算效率高的算法，我们称之为MDP-LinExp 3，并证明其遗憾是有界的$\widetilde{\mathcal{O}}\big(H^2 T^{2/3} (dK)^{1/3}\big)$，其中$T$是情节的数量，$H$是在每个情节的步骤数，$K$是行动的数量，和$d$是特征图的维度。我们还表明，遗憾可以改善$\widetilde{\mathcal{O}}\big(H^2 \sqrt{TdK}\big)$下更强的假设MDP动态。据我们所知，MDP-LinExp 3是第一个可证明有效的算法，这个问题的设置。
2021-06-12 cs.LG stat.ML
Representation Learning for Online and Offline RL in Low-rank MDPs
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
这项工作研究了RL中的表示学习问题：我们如何学习一个紧凑的低维表示，以便在表示的顶部，我们可以执行RL程序，如探索和开发，在一个样本有效的方式。我们专注于低秩马尔可夫决策过程（MDP）的过渡动态对应于一个低秩的转移矩阵。与假设表示是已知的（例如，线性MDP），这里我们需要学习低秩MDP的表示。我们研究了在线RL和离线RL设置。对于在线设置，使用FLAMBE（Agarwal www.example.com）中使用的相同计算预言机进行操作et.al，FLAMBE是用于在低秩MDP中学习表示的最先进算法，我们提出了一种用于RL的REP-UCB上界置信度驱动的表示学习算法，该算法显著地将样本复杂度从用于FLAMBE的$\widetilde{O}( A^9 d^7 / (ε^{10} (1-γ)^{22}))$提高到$d$是转移矩阵的秩的$\widetilde{O}( A^2 d^4 / (ε^2 (1-γ)^{5}) )$（或地面实况表示的维度），$A$是动作的数量，并且$γ$是折扣因子。值得注意的是，REP-UCB比FLAMBE更简单，因为它直接平衡了表示学习、探索和利用之间的相互作用，而FLAMBE是一种探索-然后-提交风格的方法，并且必须在时间上逐步执行无奖励的探索。对于离线RL设置，我们开发了一种算法，利用悲观主义在部分覆盖条件下学习：我们的算法能够与任何策略竞争，只要它被离线分布…
2022-01-06 cs.AI cs.LG stat.ML
Robust Constrained-MDPs: Soft-Constrained Robust Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
在本文中，我们专注于问题的鲁棒性强化学习（RL）算法与模型的不确定性。事实上，在基于模型的RL的框架中，我们建议将约束马尔可夫决策过程（CMDP）理论与鲁棒马尔可夫决策过程（RMDP）理论相结合，从而形成鲁棒约束MDP（RCMDP）。这个公式，简单的本质上，使我们能够设计RL算法，是强大的性能，并提供约束满足保证，相对于系统的状态转移概率的不确定性。对RCMPD的需求对于RL的实际应用非常重要。例如，这样的公式化可以在安全关键应用中从模拟到现实世界（Sim2Real）的策略转移中发挥重要作用，这将受益于相对于模型不确定性而言稳健的性能和安全保证。我们首先提出了一般的问题公式下的概念RCMDP，然后提出了一个拉格朗日公式的最优问题，导致鲁棒约束的策略梯度RL算法。最后，我们验证了这一概念的库存管理问题。
2020-10-10 cs.LG
Learning in Online MDPs: Is there a Price for Handling the Communicating Case?
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Michigan（密歇根大学）
值得注意的是，在专家问题和对抗性多臂强盗问题中可以实现相同的$O(\sqrt{T})$后悔率，尽管在后一种情况下对动作数量的依赖性更差。与此相反，它已被证明，即使在确定性转换的情况下，处理在线MDP与通信结构和强盗信息招致$Ω(T^{2/3})$遗憾。这是我们为处理通信结构所付出的代价，还是因为我们也有强盗反馈？在本文中，我们表明，充分的信息，在线MDPs仍然可以学习在一个$O(\sqrt{T})$率，即使在存在的通信结构。我们首先表明这一点，提出了一个有效的跟随扰动的领导者（FPL）算法的确定性过渡的情况下。然后，我们扩大我们的范围，考虑随机过渡，我们首先给一个低效的$O(\sqrt{T})$ -后悔算法（与一个温和的附加条件的动态）。然后，我们展示了如何实现$O\left(\sqrt{\frac{T}α}\right)$后悔率使用一个甲骨文有效的算法，但有额外的限制，即起始状态分布的质量至少$α$的每个状态。
2022-10-03 cs.LG
Lyapunov Robust Constrained-MDPs: Soft-Constrained Robustly Stable Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
安全性和鲁棒性是任何强化学习算法的两个期望属性。CMDPs可以处理额外的安全约束，RMDPs可以在模型不确定性下表现良好。在本文中，我们建议将这两个框架结合起来，产生强大的约束MDPs（RCMDPs）。我们的动机是开发一个框架，可以满足安全约束，同时也提供鲁棒性模型的不确定性。我们开发了RCMDP目标，推导出梯度更新公式来优化这个目标，然后提出了基于策略梯度的算法。我们还独立地提出了基于李雅普诺夫的奖励塑造的RCMDPs，产生更好的稳定性和收敛性。
2021-08-05 cs.LG cs.SY eess.SY
Cooperative Online Learning in Stochastic and Adversarial MDPs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了随机和对抗马尔可夫决策过程（MDP）中的合作在线学习.也就是说，在每个事件中，$m$代理同时与MDP交互并共享信息，以最小化他们各自的遗憾。我们考虑具有两种类型的随机性的环境：\emph{fresh} -每个代理的轨迹被i.i.d采样，以及\emph{non-fresh} -实现由所有代理共享（但每个代理的轨迹也受其自身行为的影响）。更准确地说，在非新鲜随机性中，每个成本和转换的实现在每个事件开始时都是固定的，并且在同一时间在同一状态下采取相同行动的代理会观察到相同的成本和下一个状态。我们彻底分析了所有相关的设置，突出的挑战和模型之间的差异，并证明几乎匹配的遗憾下限和上限。据我们所知，我们是第一个考虑合作强化学习（RL）与非新鲜的随机性或在对抗的MDP。
2022-09-01 cs.LG
Online Policy Evaluation for MDPs with Dynamic UBSR Measures
GERAD & Department of Decision Sciences, HEC Montréal（GERAD与蒙特利尔高等商学院决策科学系）
研究在具有动态UBSR测度的MDPs中进行策略评估，提出UBSR-TD算法及变体，通过纳入损失函数使现有算法可适应动态UBSR设置，经实验验证了方法有效性。
2026-07-28 cs.LG math.OC
Exploration-Exploitation in Constrained MDPs
Technion（以色列理工学院）；Facebook AI Research（Facebook人工智能研究院）
在许多序贯决策问题中，目标是优化效用函数，同时满足对不同效用的一组约束。这个学习问题通过约束马尔可夫决策过程（CMDPs）形式化。在本文中，我们研究了CMDPs中的探索-开发困境。当在未知的CMDP中学习时，Agent应该权衡探索以发现关于MDP的新信息，以及利用现有知识以在满足约束的情况下最大化奖励。虽然智能体最终会学习到一个好的或最优的策略，但我们不希望智能体在学习过程中过于频繁地违反约束。在这项工作中，我们分析了两种方法在CMDP学习。第一种方法利用CMDP的线性公式在每个事件中执行乐观规划。第二种方法利用CMDP的对偶公式（或鞍点公式）来执行原始变量和对偶变量的增量式乐观更新。我们发现，这两个实现次线性后悔w.r.t.主效用，同时对违反约束具有次线性遗憾。话虽如此，我们强调这两种方法之间的一个关键区别;线性规划方法比基于对偶公式的方法有更强的保证。
2020-03-04 cs.LG stat.ML
Online Learning for Unknown Partially Observable MDPs
University of Southern California（南加州大学）
求解部分可观测马尔可夫决策过程（POMDP）是一个困难的问题。当模型未知时，学习POMDPs的最优控制器是困难的。未知POMDP的最优控制器的在线学习，这需要使用有效权衡探索和利用的遗憾最小化算法的有效学习，甚至更难，并且目前不存在解决方案。本文研究了转移模型未知但观测模型已知的无限时间平均费用POMDP问题。我们提出了一种基于自然后验采样的强化学习算法（PSRL-POMDP），并证明了当参数集有限时，它达到了$O(\log T)$的遗憾界，其中$T$是时间范围。在一般情况下（连续参数集），我们表明，该算法实现了$O (T^{2/3})$遗憾的两个技术假设。据我们所知，这是POMDPs的第一个在线RL算法，具有次线性遗憾。
2021-06-14 cs.LG
Truly No-Regret Learning in Constrained MDPs
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）
本文针对受限马尔可夫决策过程，提出首个无误差抵消的原始-对偶算法，实现亚线性遗憾，确保学习过程安全。
2024-07-19 cs.LG stat.ML
Instance-Dependent Near-Optimal Policy Identification in Linear MDPs via Online Experiment Design
University of Washington（华盛顿大学）
本研究针对线性函数逼近强化学习场景，提出基于在线实验设计的\textsc{Pedel}算法，首次实现该领域细粒度的依赖实例近最优策略学习复杂度度量，可针对不同实例自适应提升学习效率。
2023-07-20 cs.LG stat.ML
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
Hybrid Reinforcement Learning Breaks Sample Size Barriers in Linear MDPs
The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
本文针对线性 MDP 中的混合强化学习，在不依赖单策略集中性假设下提出计算高效算法，同时突破纯离线与纯在线 RL 的样本复杂度下界，建立了当前最紧的理论保证。
2024-08-08 cs.LG stat.ML
Regret Analysis of Unichain Average Reward Constrained MDPs with General Parameterization
University of Maryland College Park（马里兰大学学院市分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
本文提出了一种基于对偶的自然策略-批评算法，解决了单链假设下具有通用参数化的无限时间平均奖励约束MDP的遗憾问题，实现了有限时间遗憾和约束违反的最优界。
2026-02-08 cs.LG
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
Q学习是一种流行的强化学习（RL）算法，其在函数逼近的实践中被广泛使用（Mnih等人，2015）。相比之下，现有的理论结果是悲观的Q学习。例如，（Baird，1995）表明，Q-学习即使在线性MDP的线性函数近似下也不会收敛。此外，即使对于具有同步更新的表格MDP，Q学习也被证明具有次优的样本复杂度（Li等人，2021;Azar等人，2013年）。这项工作的目标是弥合Q学习的实际成功与相对悲观的理论结果之间的差距。我们工作的出发点是观察到，在实践中，Q-学习被用于两个重要的修改：（i）使用两个网络进行训练，同时称为在线网络和目标网络（在线目标学习，或OTL），以及（ii）经验重放（ER）（Mnih等人，2015）。虽然已经观察到它们在Q学习的实际成功中发挥了重要作用，但文献中缺少对这两种修改如何改善Q学习收敛行为的透彻理论理解。通过将Q学习与OTL和反向经验重放（RER）（一种经验重放形式）仔细结合，我们提出了新的方法Q-Rex和Q-RexDaRe（Q-Rex +数据重用）。我们表明，Q-Rex有效地找到了线性MDP的最佳策略（或更一般地为MDP与零固有贝尔曼误差线性近似（ZIBEL）），并提供样本复杂性的非渐近界-第一个这样的结果为Q-学习方法为这类MDP在标准假设下。此外，我们证明了Q-RexDaRe实际上在表格设置中实现了接近最佳的样本复杂度，改进了现有的香草Q学习结果。
2021-10-19 cs.LG math.OC
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程，提出统计高效的框架，分离正则化原始-对偶动力学与演员近似及统计误差，实现无模型最后迭代收敛，并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
Policy Gradients for CVaR-Constrained MDPs
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）
我们研究的风险约束版本的随机最短路径（SSP）问题，其中考虑的风险度量是条件风险价值（CVaR）。我们提出了两个算法，获得一个局部风险最优的政策，采用四种工具：随机逼近，小批量，政策梯度和重要性抽样。这两种算法都结合了CVaR估计程序，沿着Bardou等人的路线。[2009]，这反过来又基于Rockafellar-Uryasev的CVaR表示，并利用似然比原理估计一个成本函数（SSP的目标）之和的梯度和另一个成本函数（在SSP的约束下）之和的CVaR梯度。这些算法在近似CVaR估计值/必要梯度的方式上有所不同-第一种算法使用随机逼近，而第二种算法则根据蒙特卡罗方法的精神采用小批量。我们建立了这两个算法的渐近收敛性。此外，由于估计CVaR是与稀有事件模拟，我们将一个重要性抽样为基础的方差减少计划到我们提出的算法。
2014-05-12 cs.LG math.OC stat.ML
Efficient Rate Optimal Regret for Adversarial Contextual MDPs Using Online Function Approximation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
提出 OMG-CMDP! 算法，在在线回归预言机与可实现函数类假设下，实现对抗性上下文 MDP 的高效、鲁棒且速率最优遗憾保证。
2023-08-14 cs.LG
Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本文提出SPOT算法，通过随机阈值在不确定环境中实现安全的强化学习，理论证明其在约束和奖励方面具有次线性遗憾性能。
2025-12-24 cs.AI cs.LG stat.ML
A Model-free Learning Algorithm for Infinite-horizon Average-reward MDPs with Near-optimal Regret
近年来，无模型强化学习由于其简单、存储和计算效率高，以及与函数逼近相结合的灵活性而引起了研究的关注。在本文中，我们提出了探索增强Q学习（EE-QL），一个无模型算法的无限地平线平均回报马尔可夫决策过程（MDP），实现遗憾界的$O(\sqrt{T})$的一般类弱通信MDP，其中$T$是相互作用的数量。EE-QL假设最优平均奖励的在线集中近似是可用的。这是第一个无模型的学习算法，实现了$O(\sqrt T)$遗憾没有遍历假设，并匹配的下限$T$除了对数因子。实验表明，该算法的性能以及最知名的基于模型的算法。
2020-12-09 cs.LG stat.ML
Primal-Only Actor Critic Algorithm for Robust Constrained Average Cost MDPs
University of Maryland（马里兰大学）；IIIT Bangalore（班加罗尔IIIT）；Purdue University（普渡大学）
本文针对鲁棒约束平均成本MDP中强对偶性缺失和Bellman算子非压缩的难题，提出一种仅原始变量的actor-critic算法，并证明其ε-可行性与ε-最优性及相应样本复杂度。
2025-11-07 cs.LG
Online Abstraction with MDP Homomorphisms for Deep Learning
Czech Technical University（捷克技术大学）；Northeastern University（东北大学）
马尔可夫决策过程的抽象是解决复杂问题的有用工具，因为它可以忽略环境中不重要的方面，简化学习最优策略的过程。在本文中，我们提出了一个新的算法，发现抽象的MDP环境中的连续状态空间。它基于MDP同态，MDP之间的结构保持映射。我们展示了我们的算法的能力，从收集的经验，学习抽象，并展示了如何重用的抽象，以指导探索代理遇到的新任务。在我们的大多数实验中，我们的新任务转移方法优于基于深度Q网络的基线。源代码位于https://github.com/ondrejba/aamas_19。
2019-04-03 cs.LG stat.ML
Adapting to Stochastic and Adversarial Losses in Episodic MDPs with Aggregate Bandit Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Washington（华盛顿大学）；University of Southern California（南加州大学）
针对聚合赌博机反馈的片段式MDP，提出首个两全其美算法，在随机和对抗环境下分别达到对数与平方根遗憾，并证明最优性。
2025-10-27 cs.LG stat.ML
Efficient Online Learning with Offline Datasets for Infinite Horizon MDPs: A Bayesian Approach
University of Southern California（南加州大学）；DeepMind
针对无限时域下带未知能力专家生成离线数据集的在线强化学习问题，提出建模专家行为策略的方法，推导informed PSRL算法的$\tilde{O}(\tilde{T})$遗憾上界，并提出Informed RLSVI算法高效近似该算法以降低累积遗憾。
2024-02-01 cs.AI cs.LG cs.SY
Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Google Research（谷歌研究院）
本文针对具有聚合bandit反馈的在线有限时域MDP，提出首个策略优化算法，在已知动态下取得最优遗憾界，在未知动态下显著改进现有结果。
2025-02-06 cs.LG
Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning
University of Chicago（芝加哥大学）；Northwestern University（西北大学）；Shanghai AI Laboratory（上海人工智能实验室）；Yale University（耶鲁大学）
该研究针对低秩转移的MDPs和MGs场景，提出融合对比损失的UCB类在线强化学习算法，从理论上证明其能恢复真实表示且具备样本效率，并通过实证验证了有效性，是首个可证明高效的结合对比学习做表示学习的在线RL算法。
2024-04-13 cs.LG stat.ML
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Evolving Robustness--Exploration Trade-off in Online Reinforcement Learning via Quantile Bayesian Risk MDPs
School of Industrial and Systems Engineering（工业与系统工程系）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于分位数贝叶斯风险MDP的自适应算法，通过动态调整分位数水平来平衡早期鲁棒性与后期探索，并证明了亚线性贝叶斯遗憾界。
2026-05-23 cs.LG
Optimal Strong Regret and Violation in Constrained MDPs via Policy Optimization
Politecnico di Milano（米兰理工大学）
本文针对约束马尔可夫决策过程的在线学习问题，提出一种高效的原始-对偶策略优化算法，首次在策略优化框架下实现了 $\widetilde{\mathcal{O}}(\sqrt{T})$ 的最优强遗憾与强约束违反界。
2024-10-03 cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
ACPO: A Policy Optimization Algorithm for Average MDPs with Constraints
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）
针对平均准则约束MDP，提出ACPO算法，基于信赖域与敏感性理论，提供性能保证，并在OpenAI Gym环境中优于现有方法。
2024-05-24 cs.AI cs.LG
Optimistic Natural Policy Gradient: a Simple Efficient Policy Optimization Framework for Online RL
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）
本文提出乐观自然策略梯度（Optimistic NPG），将经典 NPG 与乐观策略评估结合以鼓励探索，首次在计算高效的同时在线性 MDP 中实现最优维度依赖的样本复杂度，并成为一般函数逼近下首个达到多项式样本复杂度的策略优化算法。
2023-12-04 cs.LG stat.ML
Online Learning in MDPs with Partially Adversarial Transitions and Losses
Tel Aviv University（特拉维夫大学）；Meta AI；Google Research（谷歌研究院）
研究转移函数在大多数步骤随机但在每回合固定Λ个步骤可对抗的MDP中的强化学习，提出条件占用度量并设计两种算法，分别处理任意对抗步骤和连续对抗步骤，并给出全对抗设置下的遗憾界。
2026-06-01 cs.LG
Learning Policies with Zero or Bounded Constraint Violation for Constrained MDPs
Texas A&M University（德克萨斯农工大学）
我们解决了强化学习中的安全问题。我们提出的问题，在一个受约束的马尔可夫决策过程的情节框架。现有的结果表明，有可能实现$\tilde{\mathcal{O}}(\sqrt{K})$的奖励后悔，同时允许$K$事件中的$\tilde{\mathcal{O}}(\sqrt{K})$约束违反。出现的一个关键问题是是否有可能保持约束违反更小。我们表明，当一个严格安全的政策是已知的，然后可以限制系统的零约束违反任意高的概率，同时保持奖励遗憾顺序$\tilde{\mathcal{O}}(\sqrt{K})$。该算法采用乐观悲观的原则，在面对不确定性，以实现安全的探索。当没有严格安全的策略是已知的，虽然一个是已知的存在，那么它可以限制系统有界约束违反任意高的概率。这被证明是实现由一个原始的对偶算法，一个乐观的原始估计和悲观的双重更新。
2023-01-25 cs.LG
Provably Efficient RL under Episode-Wise Safety in Constrained MDPs with Linear Function Approximation
The University of Tokyo（东京大学）；New Jersey Institute of Technology（新泽西理工学院）；OMRON SINIC X（欧姆龙SINIC X）；NexaScience；Kyoto University（京都大学）；Institute of Science Tokyo（东京科学大学）；DENSO IT Laboratory（电装IT实验室）
本文提出了一种在约束马尔可夫决策过程中的强化学习算法，实现episode级安全性和$\tilde{\mathcal{O}}(\sqrt{K})$的遗憾，同时具有多项式计算效率。
2026-01-27 cs.LG
A Best-of-Both-Worlds Algorithm for Constrained MDPs with Long-Term Constraints
Politecnico di Milano（米兰理工大学）
本文针对情景式受约束马尔可夫决策过程（CMDP）的在线学习问题，提出了首个双最优算法，无需预知底层过程即可处理随机或对抗性选择的奖励与约束，并在随机设置下匹配最先进界限，在对抗设置下首次提供理论保证。
2024-08-29 cs.LG
Capacity-Aware Planning and Scheduling in Budget-Constrained Multi-Agent MDPs: A Meta-RL Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对预算和容量受限的多智能体MDP，提出基于LSAP分组与元训练PPO的两阶段方法，在工业机器人维修调度中有效提升平均正常运行时间并具备可扩展性。
2025-09-26 cs.AI cs.LG
A Policy Gradient Primal-Dual Algorithm for Constrained MDPs with Uniform PAC Guarantees
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙SINIC X公司）；Mizuho–DL Financial Technology（瑞穗-DL金融科技公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）；Osaka University（大阪大学）；Kyoto University（京都大学）
本文提出首个具有Uniform-PAC保证的策略梯度原始-对偶算法，用于在线约束MDP，同时实现收敛到最优策略、次线性遗憾和多项式样本复杂度，并在实验中验证其优于基线算法。
2024-07-01 cs.LG
Global Convergence of Average Reward Constrained MDPs with Neural Critic and General Policy Parameterization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园）；Indian Institute of Technology, Kanpur（印度理工学院坎浦尔）；Department of Electrical Engineering Indian Institute of Technology, Kanpur（电气工程系印度理工学院坎浦尔）；Department of Industrial Engineering Purdue University West Lafayette（工业工程系普渡大学威斯康星拉法叶）
本文提出了一种基于神经批评者和通用策略参数化的算法，实现了约束马尔可夫决策过程的全局收敛性保障，突破了传统线性批评者方法的限制。
2026-03-08 cs.LG
Efficient, Low-Regret, Online Reinforcement Learning for Linear MDPs
National University of Singapore（新加坡国立大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Huawei Shanghai Research Center（华为上海研究中心）
针对线性 MDP 中 LSVI-UCB 算法空间占用过高的问题，提出两种交替学习与不学习阶段的改进版本，在保持次线性遗憾的同时显著降低空间与时间开销。
2024-11-16 cs.DS cs.LG
Time-Constrained Robust MDPs
ISAE-SUPAERO（法国高等航空航天学院）；IRT Saint-Exupery（圣埃克苏佩里技术研究院）；INSA Toulouse（图卢兹国立应用科学学院）；Ecole polytechnique（巴黎综合理工学院）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）；Cohere（Cohere公司）
针对传统鲁棒强化学习矩形性假设导致策略过度保守的问题，提出考虑相关时变扰动的 TC-RMDP 及三种算法，在性能与鲁棒性间实现更优权衡。
2024-06-12 cs.LG
Learning Chance-Constrained MDPs with Bellman Distributional Certificates
Cornell University AI for Science Institute（康奈尔大学人工智能科学研究所）；Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文提出贝尔曼分布证书方法，用于解决机会约束马尔可夫决策过程，通过构建约束违反概率的贝尔曼递归，实现模型基上下界匹配，并提供无模型策略梯度算法，在合成和IEEE 14节点基准上验证安全性。
2026-09-28 cs.LG
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
