Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对未知转移与对抗性奖励的线性混合MDP，提出结合占用度量全局优化与策略方差感知回归的新算法，实现近最优动态遗憾并匹配下界。
2024-11-05 cs.LG stat.ML
Max-Plus Matching Pursuit for Deterministic Markov Decision Processes
Inria（法国国家信息与自动化研究所）；Département d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
我们考虑确定性马尔可夫决策过程（MDP）和应用最大代数工具来近似的值迭代算法的一个较小的维度的迭代的基础上表示的字典的价值函数。设置自然导致新的理论结果，这是简单地制定由于最大加代数结构。例如，当考虑固定（非自适应）有限基时，近似最优价值函数的计算复杂性与状态的数量不直接相关，而是与状态空间的覆盖数量的概念相关。为了打破因子化状态空间中的维数灾难，我们考虑自适应基础，可以适应特定的问题，导致类似于信号处理中的匹配追踪算法。他们目前没有理论上的保证，但工作经验以及简单的确定性MDP来自低维连续控制问题。我们主要集中在确定性的MDPs，但注意到，该框架可以适用于所有的MDPs考虑基于测量的配方。
2019-06-20 cs.LG stat.ML
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion（以色列理工学院）；Google Research（谷歌研究院）；Nvidia Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。然后，我们将正则化的MDP推广到两次正则化的MDP（$\text{R}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证，从而降低鲁棒性正则化。我们在数值上显示了这种双重优势，在表格和物理域，突出的事实，即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）
本文针对无限时域平均奖励线性混合MDP，提出一种结合跨度裁剪值迭代与加权岭回归的计算可行算法，实现了近极小极大最优遗憾界。
2024-10-19 cs.LG math.OC
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高，更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程（MDP）的无模型算法。第一个算法减少了问题的折扣奖励版本，并实现$\mathcal{O}(T^{2/3})$遗憾后，$T$步骤，弱通信的MDP的最小假设。据我们所知，这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展，对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$，虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人（2019 a）在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
在鲁棒马尔可夫决策过程（MDP）中，转移核中的不确定性是通过找到一个策略来解决的，该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs，强大的平均回报MDPs仍然在很大程度上未被探索。在本文中，我们专注于鲁棒平均奖励MDP，其目标是找到一个政策，优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法，使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时，鲁棒折扣价值函数收敛于鲁棒平均报酬，并且当$γ$较大时，鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法，并从理论上证明了它的收敛性。然后，我们直接研究鲁棒平均报酬MDP，而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程，证明了最优策略可以从其解导出，并进一步设计了一个鲁棒相对值迭代算法，该算法可证明地找到其解，或等价地，找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Partial Policy Iteration for L1-Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
鲁棒马尔可夫决策过程（MDP）允许计算可靠的动态决策问题的解决方案，其演变是由奖励和部分已知的转移概率建模。不幸的是，考虑转移概率的不确定性显著增加了求解鲁棒MDP的计算复杂性，这严重限制了它们的可扩展性。本文描述了新的有效算法来解决常见的类强大的MDP与s-和sa-矩形模糊集定义的加权$L_1$规范。我们提出了部分政策迭代，一个新的，高效的，灵活的，和一般的政策迭代计划的强大的MDP。我们还提出了快速的方法来计算鲁棒Bellman算子在准线性时间，几乎匹配的线性复杂性的非鲁棒Bellman算子。我们的实验结果表明，所提出的方法是许多数量级的速度比国家的最先进的方法，使用线性规划求解器结合一个强大的值迭代。
2020-06-16 cs.LG math.OC stat.ML
A Gauss-Newton Method for Markov Decision Processes
University College London（伦敦大学学院）
近似牛顿方法是一种标准的优化工具，其目的是保持牛顿方法的优点，例如快速收敛，同时减轻其缺点，例如计算昂贵的计算或逆Hessian的估计。在这项工作中，我们研究近似牛顿方法的政策优化马尔可夫决策过程（MDP）。我们首先分析了MDP目标函数的Hessian结构。我们表明，像梯度，海森表现出有用的结构的背景下，MDPs和我们使用这种分析，以激励两个高斯-牛顿方法MDPs。与非线性最小二乘法的高斯-牛顿法一样，这些方法涉及通过忽略海森函数中难以估计的某些项来近似海森函数。近似Hessians具有理想的性能，如负定性，我们证明了几个重要的性能保证，包括保证上升方向，仿射变换的参数空间的不变性，收敛保证。最后，我们提供了一个统一的角度来看，关键的政策搜索算法，证明我们的第二个高斯-牛顿算法是密切相关的EM算法和自然梯度上升应用于MDP，但在实践中表现得更好的一系列具有挑战性的领域。
2015-08-06 cs.AI cs.LG stat.ML
Optimistic Policy Iteration for MDPs with Acyclic Transient State Structure
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Sandia National Laboratories（桑迪亚国家实验室）
我们考虑马尔可夫决策过程（MDP），其中每个静态策略都为底层马尔可夫链引入相同的图结构，并且该图具有以下性质：如果我们将每个递归类替换为节点，则所得图是无环的。对于这样的MDP，我们证明了与Tsitsiklis（2002）中提出的乐观策略迭代（OPI）版本相关的随机动态的收敛性，其中与OPI每次迭代期间访问的所有节点相关的值都被更新。
2021-03-09 cs.LG
Causal Markov Decision Processes: Learning Good Interventions Efficiently
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
我们引入因果马尔可夫决策过程（C-MDP），一个新的形式主义顺序决策相结合的标准MDP制定因果结构的状态转移和奖励函数。许多当代和新兴的应用领域，如数字医疗和数字营销，可以受益于C-MDP建模，因为干预和状态/奖励之间的因果关系机制。我们提出了因果置信上限值迭代（C-UCBVI）算法，该算法利用C-MDP中的因果结构，并提高了不考虑因果知识的标准强化学习算法的性能。我们证明了C-UCBVI满足$\tilde{O}(HS\sqrt{ZT})$后悔界，其中$T$是总时间步，$H$是情节视界，$S$是状态空间的基数.值得注意的是，我们的后悔界限不与行动/干预的大小（$A$）成比例，而只与因果图相关的量$Z$成比例，$Z$可以指数地小于$A$。通过将C-UCBVI扩展到因子化的MDP设置，我们提出了因果因子化的UCBVI（CF-UCBVI）算法，该算法进一步减少了$S$方面的指数后悔。此外，我们表明，RL算法的线性MDP问题也可以纳入C-MDP。我们的经验表明，我们的因果关系的方法在各种设置的好处，以验证我们的算法和理论结果。
2021-02-15 cs.LG stat.ML
Performance Improvement Bounds for Lipschitz Configurable Markov Decision Processes
Dipartimento di Elettronica Informazione e Bioingegneria（电子、信息与生物工程系）
本文针对满足 Lipschitz 连续性的可配置马尔可夫决策过程，推导了改变策略与配置后γ-折扣平稳分布间 Wasserstein 距离的界，并进一步给出新的性能改进下界，推广了已有结果。
2024-02-21 cs.LG
Concentration bounds for SSP Q-learning for average cost MDPs
IIT Bombay（印度理工学院孟买分校）
基于等价的最短路问题，给出了平均费用马氏决策过程Q-学习算法的集中度界，并与基于相对值迭代的Q-学习算法进行了数值比较.
2022-06-12 cs.LG math.OC stat.ML
Scaling Up Robust MDPs by Reinforcement Learning
The Technion - Israel Institute of Technology（以色列理工学院）；National University of Singapore（新加坡国立大学）
在鲁棒马尔可夫决策过程范式下，研究了具有参数不确定性的大规模马尔可夫决策过程。以往的研究表明，稳健的MDP，基于极大极小的方法来处理不确定性，可以解决使用动态规划的中小型问题。然而，由于“维数灾难”，模拟现实生活中的问题的MDP通常对于这种方法来说太大了。在这项工作中，我们采用了强化学习的方法来解决这个规划问题：我们开发了一个强大的近似动态规划方法的基础上，投影不动点方程近似解决大规模的强大MDP。我们证明了所提出的方法可证明是成功的，在一定的技术条件下，并证明其有效性，通过模拟的期权定价问题。据我们所知，这是第一次尝试扩大稳健的MDP范式。
2013-06-26 cs.LG stat.ML
The regret lower bound for communicating Markov Decision Processes
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔科学与技术信息与自动化研究中心）
本文为通信马尔可夫决策过程建立更复杂的遗憾下界，揭示最优区域需过度访问的共探索现象，并证明该下界计算上为Σ₂^P难，同时给出近似算法。
2025-01-22 cs.LG stat.ML
Regret Analysis of Average-Reward Unichain MDPs via an Actor-Critic Approach
Purdue University, USA（普渡大学）
本文提出带批处理的自然演员-评论家算法NAC-B，在单链假设下实现无限时域平均奖励MDP的阶最优遗憾，通过批处理缓解周期性与随机性，支持大规模状态动作空间。
2025-10-25 cs.LG stat.ML
Learning Infinite-Horizon Average-Reward Markov Decision Processes with Constraints
University of Southern California（南加州大学）
研究了在费用约束下的无限时域平均报酬马尔可夫决策过程的后悔最小化问题。我们首先设计了一个策略优化算法，精心设计的行动价值估计和奖金项，并表明，遍历MDP，我们的算法确保$\widetilde{O}(\sqrt{T})$遗憾和不断的约束违反，其中$T$是时间步的总数。这严格改进了（Singh等人，2020），其遗憾和约束违反均为$\widetilde{O}(T^{2/3})$。接下来，我们考虑最一般的弱通信MDPs类。通过有限时域近似，我们开发了另一种算法与$\widetilde{O}(T^{2/3})$遗憾和约束违反，它可以进一步改进为$\widetilde{O}(\sqrt{T})$通过一个简单的修改，虽然使算法计算效率低下。据我们所知，这些是第一套可证明算法的弱通信MDPs的成本约束。
2022-01-31 cs.LG
Bayesian regularization of empirical MDPs
Carnegie Mellon University（卡内基梅隆大学）；Amazon.com, Inc.（亚马逊公司）；Stanford Unviersity（斯坦福大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在基于模型的马尔可夫决策过程的大多数应用中，未知的底层模型的参数往往是从经验数据估计。由于噪声的存在，从估计模型中学习到的策略往往与底层模型的最优策略相差甚远。当应用到底层模型的环境中时，学习到的策略会导致次优性能，因此需要具有更好泛化性能的解决方案。在这项工作中，我们采取贝叶斯的观点和规范的马尔可夫决策过程的目标函数与先验信息，以获得更强大的政策。提出了基于$L^1$正则化和基于相对熵正则化的两种方法。我们评估我们提出的算法合成模拟和现实世界中的搜索日志的大型网上购物商店。我们的研究结果证明了正则化MDP政策对模型中存在的噪声的鲁棒性。
2022-09-21 cs.LG stat.ML
Online learning in MDPs with side information
研究了边信息向量存在时有限马尔可夫决策过程（MDP）问题的在线学习。这个问题是由诸如临床试验、推荐系统等应用程序激发的。这些应用程序具有情节结构，其中每个情节对应于患者/客户。我们的目标是竞争的最优动态政策，可以考虑边信息。我们提出了一种计算效率高的算法，并表明其遗憾最多为$O(\sqrt{T})$，其中$T$是轮数。据我们所知，这是第一个遗憾注定为这个设置。
2014-06-26 cs.LG stat.ML
Exploration--Exploitation in MDPs with Options
Inria Lille（法国国家信息与自动化研究所里尔中心）
虽然大量的实证结果表明，时间扩展的动作和选项可能会显着影响智能体的学习性能，如何以及何时选项可以在在线强化学习是有益的理论理解是相对有限的。在本文中，我们推导出一个上下限的后悔的一个变种的UCRL使用选项。虽然我们首先分析了算法在一般情况下的半马尔可夫决策过程（SMDP），我们展示了如何将这些结果可以转化为具体情况下的MDP与选项，我们说明了简单的情况下，学习选项的遗憾可以是\textit{provably}远小于遗憾时所遭受的原始行动学习。
2017-04-17 cs.LG stat.ML
Approximate Kalman Filter Q-Learning for Continuous State-Space MDPs
Stanford University（斯坦福大学）
我们试图通过Q学习来学习具有连续状态的马尔可夫决策过程（MDP）的有效策略。给定一组基函数的状态动作对，我们搜索相应的一组线性权重，最小化平均贝尔曼残差。我们的算法使用卡尔曼滤波器模型来估计这些权重，并且我们已经开发了一个更简单的近似卡尔曼滤波器模型，该模型在几个标准基准问题上优于当前最先进的TD学习方法。
2013-09-26 cs.LG stat.ML
Efficient Planning in Large MDPs with Weak Linear Function Approximation
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；DeepMind
大规模马尔可夫决策过程（MDP）需要规划算法的运行时间独立的MDP的状态数。我们认为在MDP的规划问题，使用线性价值函数近似只有弱的要求：低近似误差的最佳价值函数，和一个小的“核心”状态，其功能跨越其他国家。特别是，我们不做任何假设的政策或非最优政策的价值函数的可代表性。我们的算法产生几乎最优的行动，为任何状态使用生成的预言机（模拟器）的MDP，而其计算时间尺度多项式的功能，核心状态，行动和有效的地平线的数量。
2020-07-13 cs.LG stat.ML
Statistical Estimation of Confounded Linear MDPs: An Instrumental Variable Approach
Peking University（北京大学）
在马尔可夫决策过程（MDP）中，不可观测的混杂因素会影响数据的生成过程，使得经典的离策略评估（OPE）估计器无法识别目标策略的真实价值函数.本文研究了具有可观测工具变量的混杂MDP中OPE的统计性质。具体地说，我们提出了一个两阶段的估计的基础上的工具变量，并建立其统计性质的混淆MDP的线性结构。对于非渐近分析，我们证明了一个$\mathcal{O}(n^{-1/2})$ -误差界，其中$n$是样本数。对于渐近分析，我们证明了两阶段估计量是渐近正态的，其典型速率为$n^{1/2}$。据我们所知，我们是第一个显示这样的统计结果的两阶段估计混杂线性MDP通过工具变量。
2022-09-12 cs.LG stat.ML
Maximum Expected Hitting Cost of a Markov Decision Process and Informativeness of Rewards
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出了一种新的马尔可夫决策过程复杂性测度--最大期望命中代价。这种措施通过考虑奖励结构来收紧密切相关的直径概念[JOA10]。我们发现，这个参数取代直径的最佳值跨度的扩展MDP的上限，从而完善相关的上限上的遗憾的几个UCRL 2-like算法。此外，我们表明，基于潜力的奖励塑造[NHR 99]可以诱导等效的奖励功能与不同的信息，MEHC测量。我们进一步建立，塑造可以减少或增加MEHC最多的一个因素，在一个大类的MDP有限MEHC和不饱和的最佳平均奖励的两个。
2019-11-04 cs.LG stat.ML
Non-Stationary Markov Decision Processes, a Worst-Case Approach using Model-Based Reinforcement Learning, Extended version
Université de Toulouse（图卢兹大学）；ONERA - The French Aerospace Lab（法国航空航天实验室（ONERA））；ISAE-SUPAERO（法国高等航空航天学院）
研究了非平稳随机环境下的鲁棒zero-shot规划问题。我们研究马尔可夫决策过程（MDP）随着时间的推移而演变，并考虑在此设置中的基于模型的强化学习算法。我们做两个假设：1）环境以有界的演化速率连续演化; 2）当前模型在每个决策时期是已知的，但不是其演化。我们的贡献可以从四个方面来阐述。1)我们定义了一种特定的MDP类，我们称之为非稳态MDP（NSMDP）。我们引入的概念，定期演变的Lipschitz连续性的过渡和奖励功能w.r.t.的假设。时间; 2）我们考虑使用环境的当前模型但不知道其未来演变的规划代理。这使我们考虑一个最坏的情况下的方法，环境被视为一个敌对的代理; 3）按照这种方法，我们提出了风险规避树搜索（RATS）算法，一个zero-shot基于模型的方法类似于极小极大搜索; 4）我们说明了RATS经验带来的好处，并比较其性能与参考基于模型的算法。
2020-01-15 cs.LG stat.ML
Soft Robust MDPs and Risk-Sensitive MDPs: Equivalence, Policy Gradient, and Sample Complexity
Harvard University（哈佛大学）
本文提出一种新的风险敏感MDP表述，证明其与软鲁棒MDP等价，推导策略梯度定理，并设计离线算法RFZI，分析其样本复杂度。
2024-05-24 cs.LG math.OC
Scalable methods for computing state similarity in deterministic Markov Decision Processes
Google Brain（谷歌大脑）
我们提出了新的算法计算和近似互模拟指标的马尔可夫决策过程（MDP）。互模拟度量是一种优雅的形式主义，它捕获状态之间的行为等价性，并为最佳行为的差异提供强有力的理论保证。不幸的是，他们的计算是昂贵的，需要一个表格表示的状态，这迄今为止，使他们不切实际的大问题。在本文中，我们提出了一个新版本的度量，是绑在一个MDP的行为政策，随着其理论性质的分析。然后，我们提出了两个新的算法近似互模拟度量大，确定性的MDP。第一个通过采样来实现，并保证收敛到真实的度量。第二个是可微损失，它使我们能够学习连续状态MDP的近似值，这在此之前是不可能的。
2019-11-21 cs.AI cs.LG stat.ML
Near-Optimal Reward-Free Exploration for Linear Mixture MDPs with Plug-in Solver
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然基于模型的强化学习（RL）方法被认为是更有效的样本，但现有的算法通常依赖于复杂的规划算法来与模型学习过程紧密耦合。因此，学习的模型可能缺乏被更专业的规划者重用的能力。在本文中，我们解决了这个问题，并提供了在没有奖励信号指导的情况下有效学习RL模型的方法。特别是，我们采取了一个插件求解器的方法，我们专注于学习一个模型在探索阶段，并要求\emph{any planning algorithm}的学习模型可以给出一个接近最优的政策。具体地说，我们专注于线性混合MDP设置，其中概率转移矩阵是一组现有模型的（未知）凸组合。我们表明，通过建立一个新的探索算法，插件的方法学习一个模型，通过采取$\tilde{O}(d^2H^3/ε^2)$与环境的相互作用和\emph{any} $ε$ -最优规划的模型给出了一个$O(ε)$ -最优的政策，在原来的模型。该示例复杂度与非插件方法的下限相匹配，并且是\emph{statistically optimal}。我们实现这一结果，利用一个小心的最大总方差界使用伯恩斯坦不等式和属性指定的线性混合MDP。
2022-03-13 cs.LG
Learning Policy from a Single Trajectory in Average-Reward Markov Decision Process
Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对弱通信平均奖励MDP，首次从单条轨迹建立有限样本复杂度保证，提出无模型方法，值函数和策略方法分别达到$\widetilde{O}(1/\varepsilon^2)$和$\widetilde{O}(1/\varepsilon^4)$的样本复杂度。
2026-06-16 cs.LG math.OC
Efficient Algorithms for Robust Markov Decision Processes with $s$-Rectangular Ambiguity Sets
Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）；Department of Computer Science, University of New Hampshire（新罕布什尔大学计算机科学系）；Imperial College Business School, Imperial College London（伦敦帝国理工学院商学院）
本文提出了一种高效算法，用于解决具有s-矩形模糊集的鲁棒马尔可夫决策过程，显著提升了求解速度。
2026-02-05 cs.LG math.OC
A Theoretical Analysis of Optimistic Proximal Policy Optimization in Linear Markov Decision Processes
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对PPO算法理论基础不足的问题，提出面向回合式对抗线性MDPs的乐观PPO变体，推导得到更优悔界，采用多批次更新机制与新的覆盖数分析方法。
2023-06-08 cs.AI cs.LG math.OC
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对无奖励强化学习，提出一种用于线性混合MDPs的无视野算法，通过不确定性加权回归与高阶矩估计，实现了对规划视野仅多重对数依赖的最优样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
强化学习（RL）算法可以用于提供个性化服务，这些服务依赖于用户的隐私和敏感数据。为了保护用户的隐私，需要保护隐私的强化学习算法。本文研究了具有线性函数逼近和局部差分隐私（LDP）保证的强化学习.提出了一种新的$(\varepsilon, δ)$算法来学习一类称为线性混合MDP的马尔可夫决策过程，并得到了一个$\tilde{\mathcal{O}}( d^{5/4}H^{7/4}T^{3/4}\left(\log(1/δ)\right)^{1/4}\sqrt{1/\varepsilon})$遗憾，其中$d$是特征映射的维数，$H$是规划视野的长度，$T$是与环境的交互次数.我们还证明了一个下界$Ω(dH\sqrt{T}/\left(e^{\varepsilon}(e^{\varepsilon}-1)\right))$学习线性混合MDP下$\varepsilon$ -LDP约束。在人工数据集上的实验验证了算法的有效性。据我们所知，这是第一个具有线性函数近似的可证明的隐私保护RL算法。
2021-10-19 cs.CR cs.LG math.OC
A Theoretical Analysis of State Similarity Between Markov Decision Processes
本文提出广义双模拟度量（GBSM）用于分析多个马尔可夫决策过程间状态相似性，通过理论分析和实验验证，提供了更精确的显式界限和样本复杂度。
2025-12-19 cs.LG
Reward is enough for convex MDPs
DeepMind（深度思维）
针对无法由平稳奖励表示、以平稳分布凸函数定义目标的凸 MDP，论文利用 Fenchel 对偶将其转化为策略与代价的 min-max 博弈，并提出统一多种现有算法的元算法。
2023-06-02 cs.AI cs.LG stat.ML
Reinforcement Learning in Rich-Observation MDPs using Spectral Methods
University California, Irvine（加州大学欧文分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院）；California institute of technology（加州理工学院）
大状态空间马尔可夫决策过程的强化学习是一个具有挑战性的问题。标准强化学习算法的性能随着状态空间维数的增加而急剧下降。然而，在实践中，这些大的MDP通常包含潜在的或隐藏的低维结构。本文研究了富观测马尔可夫决策过程（ROMDP）的设定问题，其中有少量隐状态与观测状态具有内射映射.换句话说，每个观察状态都是通过单个隐藏状态生成的，并且这种映射是先验未知的。我们引入了一种谱分解方法，该方法始终学习该映射，更重要的是，以低遗憾实现该映射。估计映射被集成到乐观RL算法（UCRL），该算法对估计的隐藏空间进行操作。我们推导出有限时间遗憾的界限，我们的算法与观察空间的维数弱依赖。事实上，我们的算法渐近地实现了相同的平均遗憾的甲骨文UCRL算法，它具有从隐藏到观察空间的映射的知识。因此，我们得到一个有效的谱RL算法ROMDPs。
2018-06-19 cs.AI cs.LG stat.ML
Clustering Markov Decision Processes For Continual Transfer
University of Edinburgh（爱丁堡大学）；Blue Yonder UK Ltd.（英国Blue Yonder有限公司）；Council for Scientific and Industrial Research（科学与工业研究理事会）；University of the Witwatersrand（威特沃特斯兰德大学）
我们提出的算法，有效地表示一组马尔可夫决策过程（MDP），其最佳政策已经学会，终身，基于策略重用的迁移学习强化学习的一个较小的源子集。当先前任务的数量很大并且测量相似性的成本抵消了转移的好处时，这是必要的。源子集在原始MDP集合上形成“$ε$ -网”，在这个意义上，对于每个先前的MDP $M_p$，存在其最优策略在$M_p$中具有$<ε$遗憾的源$M^s$。我们的贡献如下。我们提出了EXP-3-传输，一个原则性的策略重用算法，最佳地重用一个给定的源策略集时，学习一个新的MDP。我们提出了一个框架来聚类以前的MDP提取源子集。该框架包括：（i）一个距离$d_V$在MDP衡量MDP之间的基于策略的相似性;（ii）一个成本函数$g(\cdot)$，使用$d_V$来衡量一个特定的集群是如何产生有用的源任务的EXP-3-传输和（iii）一个可证明收敛的算法，MHAV，找到最佳的集群。我们验证我们的算法通过实验在一个监视域。
2016-05-01 cs.AI cs.LG
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Differentially Private Reinforcement Learning with Linear Function Approximation
Wayne State University（韦恩州立大学）
基于强化学习（RL）在个性化服务中的广泛应用，研究了差分隐私（DP）约束下有限时域马尔可夫决策过程（MDP）的后悔最小化问题.与现有的仅在表格有限状态，有限动作MDP上工作的私有RL算法相比，我们在具有大状态和动作空间的MDP中迈出了隐私保护学习的第一步。具体而言，我们认为MDP与线性函数近似（特别是线性混合MDP）的概念下的联合差分隐私（JDP），其中RL代理负责保护用户的敏感数据。我们设计了两种分别基于值迭代和策略优化的私有强化学习算法，并证明了它们在保证隐私保护的同时具有次线性后悔性能.此外，遗憾界与状态数无关，且最大程度上与行为数成比例，适用于大规模个性化服务中的隐私保护.我们的研究结果是通过一个一般的过程中学习线性混合MDP下不断变化的正则化，这不仅推广了以前的结果，非私人学习，但也作为一般的私人强化学习的积木。
2022-03-21 cs.LG
Data-driven robust Markov decision processes on Borel spaces: performance guarantees via an axiomatic approach
本文提出了一种数据驱动的鲁棒马尔可夫决策过程方法，通过公理化方法在博雷尔空间上提供性能保证，建立了鲁棒最优值函数与样本外值函数的收敛性及概率收敛速率。
2026-03-09 cs.LG math.OC stat.ML
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University（中山大学）
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战，由于动态规划的失败。在本文中，我们提出了一种新的方法来找到全局最优的政策，稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念，将原问题转化为一个双层MDP问题，其中内层是标准MDP优化伪均值-方差，外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP，我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法，可以找到全局最优的策略，通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性，进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知，我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
An Adaptive State Aggregation Algorithm for Markov Decision Processes
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
值迭代是求解马尔可夫决策过程（MDP）的一种众所周知的方法，它易于实现，并具有强大的理论收敛保证。然而，值迭代的计算成本很快变得不可行的状态空间的大小增加。已经提出了各种方法来克服这个问题，在大的状态和动作空间MDP的值迭代，通常在价格，但是，概括性和算法的简单性。在本文中，我们提出了一个直观的算法来解决MDP，通过动态地将具有相似的成本值的状态分组在一起来降低值迭代更新的成本。我们还证明了我们的算法几乎肯定收敛到\(2\varepsilon / (1 - γ)\)内的真正的最优值在\(\ell^\infty\)规范，其中\(γ\)是折扣因子和聚合状态不同的最多\(\varepsilon\)。在各种模拟环境下的数值实验证实了我们的算法的鲁棒性和它的能力，以更便宜的更新，特别是作为MDP问题的规模增加，解决MDP。
2021-07-23 cs.DS cs.LG math.OC
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA Research（英伟达研究院）
本文研究无限视野平均奖励表格型 MDP 中策略梯度的全局收敛，证明其以 O(1/T) 速率收敛并得到 O(log(T)) 遗憾，同时改进折扣奖励界并通过仿真验证。
2024-03-11 cs.LG cs.SY eess.SY
Logarithmic regret bounds for continuous-time average-reward Markov decision processes
The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）
本文研究连续时间平均奖励MDPs的强化学习，在转移概率和指数保持时间速率未知时，推导出对数级遗憾下界，并设计算法实现对数级有限时间遗憾上界。
2024-07-02 cs.LG math.OC stat.ML
On Convergence of Average-Reward Q-Learning in Weakly Communicating Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Meta AI；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文将基于相对值迭代的Q-learning算法的几乎必然收敛性分析从单链扩展到弱连通MDPs，刻画了其收敛集性质，并推广至基于options框架的分层RL算法。
2024-08-29 cs.LG math.OC
Horizon-free Reinforcement Learning in Adversarial Linear Mixture MDPs
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出首个无视界策略搜索算法，解决对抗性线性混合MDP中的强化学习问题，实现~O((d+log(|S|^2|A|))√K)遗憾界，并证明其近乎最优性。
2023-05-15 cs.LG math.OC stat.ML
Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity
University of Michigan（密歇根大学）；Bilkent University（比尔肯特大学）；Queen’s University（女王大学）
本文提出Quantized Q-Learning方法，在仅要求转移核弱连续的温和条件下，通过将状态和动作量化并视为POMDP，证明了针对连续空间MDP的Q-learning收敛性及近最优性。
2023-09-07 cs.LG cs.SY eess.SY
An Efficient Solution to s-Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
我们提出了一个有效的鲁棒值迭代\texttt{s} -矩形鲁棒马尔可夫决策过程（MDP）的时间复杂度相当于标准（非鲁棒）MDP这是显着快于任何现有的方法。我们这样做，通过推导出最佳的鲁棒贝尔曼算子的具体形式，使用我们的$L_p$水填充引理。我们揭示了最优策略的确切形式，这些策略是一种新的阈值策略，其采取行动的概率与其优势成正比。
2023-01-31 cs.LG math.OC
A PAC Learning Algorithm for LTL and Omega-regular Objectives in MDPs
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文针对 MDP 中的 omega-正则目标提出基于模型的 PAC 学习算法，引入 epsilon-复发时间度量策略收敛速度，并证明其样本复杂度为多项式级且经实验验证。
2024-02-21 cs.LG cs.LO
Robust Constrained-MDPs: Soft-Constrained Robust Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
在本文中，我们专注于问题的鲁棒性强化学习（RL）算法与模型的不确定性。事实上，在基于模型的RL的框架中，我们建议将约束马尔可夫决策过程（CMDP）理论与鲁棒马尔可夫决策过程（RMDP）理论相结合，从而形成鲁棒约束MDP（RCMDP）。这个公式，简单的本质上，使我们能够设计RL算法，是强大的性能，并提供约束满足保证，相对于系统的状态转移概率的不确定性。对RCMPD的需求对于RL的实际应用非常重要。例如，这样的公式化可以在安全关键应用中从模拟到现实世界（Sim2Real）的策略转移中发挥重要作用，这将受益于相对于模型不确定性而言稳健的性能和安全保证。我们首先提出了一般的问题公式下的概念RCMDP，然后提出了一个拉格朗日公式的最优问题，导致鲁棒约束的策略梯度RL算法。最后，我们验证了这一概念的库存管理问题。
2020-10-10 cs.LG
Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes
本文提出 RED 强化学习框架，利用平均回报 MDP 的结构性质同时处理多类学习子任务，并给出含收敛保证的预测与控制算法，首次实现完全在线 CVaR 风险感知策略优化。
2025-08-28 cs.AI cs.LG
Quantizer Design for Finite Model Approximations, Model Learning, and Quantized Q-Learning for MDPs with Unbounded Spaces
Department of Mathematics, Florida State University（佛罗里达州立大学数学系）；Department of Mathematics and Statistics, Queen’s University（女王大学数学与统计学系）
本文针对无界状态空间MDPs，通过优化量化器改进有限模型逼近误差上界，并分析量化Q学习与模型学习中的量化器设计，在Lyapunov条件下给出随箱数增加趋于零的显式上界。
2025-10-14 cs.LG math.OC
