Transition-based versus State-based Reward Functions for MDPs with Value-at-Risk
Concordia Institute of Information System Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
在强化学习中，对当前状态和动作的奖励函数被广泛应用。当目标仅仅是关于（贴现的）总回报的期望时，它完美地工作。但是，如果目标涉及总报酬分配，则结果将是错误的。本文研究了具有两个报酬函数的短期和长期马尔可夫决策过程（MDP）中的风险价值（VaR）问题。首先，我们证明了在VaR目标下，当真实的奖励函数是基于转移的（关于动作以及当前和下一个状态）时，简化的（基于状态，只关于动作和当前状态）奖励函数将改变VaR。其次，对于长期MDP，我们借助谱理论和中心极限定理估计了VaR函数。第三，由于该估计方法是针对报酬函数只在当前状态下的马尔可夫报酬过程的，因此我们给出了报酬函数在当前状态和下一状态下的马尔可夫报酬过程的转换算法，以估计具有完整总报酬分布的VaR函数。
2018-11-29 cs.AI
Modelling transition dynamics in MDPs with RKHS embeddings
University College London（伦敦大学学院）
我们提出了一种新的，非参数的方法来学习和表示马尔可夫决策过程（MDP），它可以很容易地结合动态规划方法的政策优化和价值估计的过渡动态。这种方法利用最近开发的再生核希尔伯特空间（RKHS）中的条件分布表示为\emph{embeddings}。这样的表示绕过了估计转移概率或密度的需要，并且适用于可以定义内核的任何域。这避免了需要计算棘手的积分，因为期望值被表示为RKHS内积，其计算在用于表示嵌入的点数中具有线性复杂度。我们提供的MDP中的应用程序的建议的保证：在一个值迭代算法的上下文中，我们证明收敛到最优策略，或最接近的投影的最优策略在我们的模型类（RKHS），在合理的假设。在实验中，我们研究了一个学习任务，在一个典型的经典控制设置（欠驱动摆），并在导航问题，只有从传感器的图像进行观察。对于政策优化，我们比较最小二乘政策迭代高斯过程用于价值函数估计。对于值估计，我们也比较了NPDP方法。我们的方法在所有实验中取得了更好的性能。
2012-06-18 cs.LG
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
在鲁棒马尔可夫决策过程（MDP）中，转移核中的不确定性是通过找到一个策略来解决的，该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs，强大的平均回报MDPs仍然在很大程度上未被探索。在本文中，我们专注于鲁棒平均奖励MDP，其目标是找到一个政策，优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法，使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时，鲁棒折扣价值函数收敛于鲁棒平均报酬，并且当$γ$较大时，鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法，并从理论上证明了它的收敛性。然后，我们直接研究鲁棒平均报酬MDP，而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程，证明了最优策略可以从其解导出，并进一步设计了一个鲁棒相对值迭代算法，该算法可证明地找到其解，或等价地，找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
Lecture Notes on Partially Known MDPs
Universiteit Antwerpen（安特卫普大学）
在这些笔记中，我们将解决为马尔可夫决策过程（MDP）寻找最优策略的问题，这对我们来说并不完全清楚。我们的目的是慢慢地从离线设置过渡到在线（学习）设置。也就是说，我们正在走向强化学习。
2022-06-20 cs.AI cs.FL
Polynomial Time Reinforcement Learning in Factored State MDPs with Linear Value Functions
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Southern California（南加州大学）
实践中的许多强化学习（RL）环境以巨大的状态空间为特征，该状态空间可以由“因子化”结构来描述，该结构可以由因子化马尔可夫决策过程（FMDPs）来建模。我们提出了第一个多项式时间算法RL的因子状态MDPs（推广FMDPs），既不依赖于一个Oracle计划，也不需要一个线性过渡模型，它只需要一个线性价值函数与一个合适的本地基础上的因式分解，允许有效的变量消除。在这个假设下，我们可以通过构造一个有效的凸优化分离预言机，在多项式时间内求解这类分解状态MDP。重要的是，与FMDPs的先前工作相反，我们不假设各种因素的转换是有条件独立的。
2022-03-06 cs.LG
Improved Regret Bounds for Linear Adversarial MDPs via Linear Optimization
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在对抗环境中学习马尔可夫决策过程（MDP）一直是一个具有挑战性的问题。这个问题在函数近似中变得更具挑战性，因为损失函数和过渡核的底层结构在变化的环境中特别难以估计。事实上，线性对抗MDP的最新结果实现了$\tilde{O}(K^{6/7})$的遗憾（$K$表示发作次数），这允许有很大的改进空间。在本文中，我们研究了一个新的观点，这减少了线性MDP线性优化通过巧妙地设置的强盗武器的特征映射。这种新的技术，探索性的假设下，产生一个改进的界限的$\tilde{O}(K^{4/5})$的线性对抗MDP没有访问一个过渡模拟器。新的观点可能是独立的利益解决其他MDP问题，具有线性结构。
2023-02-14 cs.AI cs.LG
Robust Shielding for Safe Reinforcement Learning
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）；Faculty of Computer Science & DSME, RWTH Aachen University（亚琛工业大学计算机科学与DSME学院）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Department of Computing, Imperial College London（伦敦帝国理工学院计算系）
提出一种针对鲁棒MDP的屏蔽框架，通过线性时序逻辑公式在最坏情况下的概率阈值保证安全性，并证明其可靠性与最优性。
2026-05-29 cs.AI cs.LG cs.LO
Multi-level meta-reinforcement learning with skill-based curriculum
本文提出基于技能的多级元强化学习框架，通过多级分解和策略分解实现技能转移，提升复杂MDP的求解效率与泛化能力。
2026-03-09 cs.AI cs.LG stat.ML
Robust Phi-Divergence MDPs
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）；Imperial College London（帝国理工学院）
针对动态决策中的不确定性问题，提出一种求解s-矩形phi-散度模糊集鲁棒MDPs的框架，通过分解为鲁棒Bellman更新与单纯形投影求解，速度显著优于现有方法，为实际应用提供了经典MDPs的替代方案。
2023-01-12 cs.LG math.OC
A Unified Algorithmic Framework for Hybrid Reinforcement Learning in Tabular MDPs with Shifted Transition Dynamics
Southern University of Science and Technology（南方科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；Fudan University（复旦大学）；Shanghai Academy of AI for Science（上海人工智能研究院）
研究表格型MDP中混合强化学习，提出含MIN-UCB-VI和MAX-LCB-VI的统一算法框架，利用细粒度偏差信息有效利用离线数据，给出理论保证并通过实验验证，解决离线数据因转移动态而无效的问题。
2026-07-29 cs.LG
The best of both worlds: stochastic and adversarial episodic MDPs with unknown transition
University of Southern California（南加利福尼亚大学）；Tsinghua University（清华大学）
我们认为最好的两个世界的问题，通过$T$情节学习一个情节马尔可夫决策过程，实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾时的损失是敌对的，同时$\mathcal{O}(\text{polylog}(T))$遗憾时的损失（几乎）随机的目标。[Jin and Luo，2020]最近的工作在已知固定跃迁的情况下实现了这一目标，并将未知跃迁的情况作为一个主要的开放问题。在这项工作中，我们解决了这个开放的问题，使用相同的跟随正规化的领导者（$\text{FTRL}$）的框架，以及一组新的技术。具体来说，我们首先在$\text{FTRL}$分析中提出了一个损失转移技巧，这大大简化了[Jin和Luo，2020]的方法，并且已经改进了他们对已知过渡情况的结果。然后，我们将这一想法扩展到未知的过渡情况下，并开发了一种新的分析，上界的过渡估计误差（一小部分）的遗憾本身在随机设置，一个关键属性，以确保$\mathcal{O}(\text{polylog}(T))$遗憾。
2021-10-17 cs.LG
Learning Policy Committees for Effective Personalization in MDPs with Diverse Tasks
针对多样任务MDP中个性化问题，提出学习策略委员会方法，保证高概率含近优策略，并提供两种算法，实验优于多任务、元学习和聚类基线。
2025-05-26 cs.AI cs.LG
Representation Learning for Online and Offline RL in Low-rank MDPs
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
这项工作研究了RL中的表示学习问题：我们如何学习一个紧凑的低维表示，以便在表示的顶部，我们可以执行RL程序，如探索和开发，在一个样本有效的方式。我们专注于低秩马尔可夫决策过程（MDP）的过渡动态对应于一个低秩的转移矩阵。与假设表示是已知的（例如，线性MDP），这里我们需要学习低秩MDP的表示。我们研究了在线RL和离线RL设置。对于在线设置，使用FLAMBE（Agarwal www.example.com）中使用的相同计算预言机进行操作et.al，FLAMBE是用于在低秩MDP中学习表示的最先进算法，我们提出了一种用于RL的REP-UCB上界置信度驱动的表示学习算法，该算法显著地将样本复杂度从用于FLAMBE的$\widetilde{O}( A^9 d^7 / (ε^{10} (1-γ)^{22}))$提高到$d$是转移矩阵的秩的$\widetilde{O}( A^2 d^4 / (ε^2 (1-γ)^{5}) )$（或地面实况表示的维度），$A$是动作的数量，并且$γ$是折扣因子。值得注意的是，REP-UCB比FLAMBE更简单，因为它直接平衡了表示学习、探索和利用之间的相互作用，而FLAMBE是一种探索-然后-提交风格的方法，并且必须在时间上逐步执行无奖励的探索。对于离线RL设置，我们开发了一种算法，利用悲观主义在部分覆盖条件下学习：我们的算法能够与任何策略竞争，只要它被离线分布…
2022-01-06 cs.AI cs.LG stat.ML
Online Learning in MDPs with Partially Adversarial Transitions and Losses
Tel Aviv University（特拉维夫大学）；Meta AI；Google Research（谷歌研究院）
研究转移函数在大多数步骤随机但在每回合固定Λ个步骤可对抗的MDP中的强化学习，提出条件占用度量并设计两种算法，分别处理任意对抗步骤和连续对抗步骤，并给出全对抗设置下的遗憾界。
2026-06-01 cs.LG
On Value Iteration Convergence in Connected MDPs
Boston University（波士顿大学）
针对连通 MDP，论文给出值迭代收敛的充分条件：唯一最优策略与遍历转移矩阵可保证折扣和平均回报准则下均获得快于 γ 的几何收敛速率。
2024-06-13 cs.LG
Learning in Online MDPs: Is there a Price for Handling the Communicating Case?
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Michigan（密歇根大学）
值得注意的是，在专家问题和对抗性多臂强盗问题中可以实现相同的$O(\sqrt{T})$后悔率，尽管在后一种情况下对动作数量的依赖性更差。与此相反，它已被证明，即使在确定性转换的情况下，处理在线MDP与通信结构和强盗信息招致$Ω(T^{2/3})$遗憾。这是我们为处理通信结构所付出的代价，还是因为我们也有强盗反馈？在本文中，我们表明，充分的信息，在线MDPs仍然可以学习在一个$O(\sqrt{T})$率，即使在存在的通信结构。我们首先表明这一点，提出了一个有效的跟随扰动的领导者（FPL）算法的确定性过渡的情况下。然后，我们扩大我们的范围，考虑随机过渡，我们首先给一个低效的$O(\sqrt{T})$ -后悔算法（与一个温和的附加条件的动态）。然后，我们展示了如何实现$O\left(\sqrt{\frac{T}α}\right)$后悔率使用一个甲骨文有效的算法，但有额外的限制，即起始状态分布的质量至少$α$的每个状态。
2022-10-03 cs.LG
Learning Adversarial MDPs with Bandit Feedback and Unknown Transition
Princeton University（普林斯顿大学）；University of Southern California（南加利福尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑的学习问题，情节有限时域马尔可夫决策过程的未知的过渡函数，强盗反馈，和对抗性损失。我们提出了一个有效的算法，实现$\mathcal{\tilde{O}}(L|X|\sqrt{|A|T})$遗憾的概率高，其中$L$是地平线，$|X|$是状态的数量，$|A|$是行动的数量，和$T$是情节的数量。据我们所知，我们的算法是第一个确保$\mathcal{\tilde{O}}(\sqrt{T})$在这种具有挑战性的设置中后悔的算法;事实上，它实现了与考虑更容易设置的完整信息反馈相同的后悔界限（Rosenberg & Mansour，2019 a）。我们的关键技术贡献是双重的：一个更严格的信心集的过渡功能，和乐观的损失估计，是由$\textit{upper occupancy bound}$逆加权。
2020-11-02 cs.LG stat.ML
Twice regularized MDPs and the equivalence between robustness and regularization
Technion（以色列理工学院）；Google Research, Brain Team（谷歌研究院大脑团队）；NVIDIA Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。最后，我们将正则化的MDP推广到两次正则化的MDP（R ${}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的Bellman算子使得能够开发具有收敛性和鲁棒性保证的策略迭代方案。它还将健壮的MDP中的规划和学习减少到正则化的MDP。
2021-10-12 cs.LG math.OC
A Fully Polynomial Time Approximation Scheme for Constrained MDPs and Stochastic Shortest Path under Local Transitions
Khalifa University（哈利法大学）
针对局部转移下即使视界为2仍NP难的约束MDP及CC-MDP/SSP变体，提出可计算近优确定性策略的完全多项式时间近似方案。
2023-04-18 cs.AI
Robust Active Measuring under Model Uncertainty
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；Eindhoven University of Technology（埃因霍温理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Ruhr-University Bochum（波鸿鲁尔大学）
针对序贯决策中的部分可观测与模型不确定性问题，该研究提出鲁棒主动测量MDP框架及高效求解启发式，抵消模型不确定性导致的测量减少问题，实验验证其可扩展性与性能优于多个基准。
2023-12-18 cs.AI cs.LG
Strategy Complexity of Mean Payoff, Total Payoff and Point Payoff Objectives in Countable MDPs
University of Edinburgh（爱丁堡大学）
研究了具有实值转移报酬的可数无限马尔可夫决策过程。每一次无限次的运行都会导致以下收益序列：1。点收益（直接看到的转换奖励的序列），2。总收益（到目前为止所有奖励的总和的序列），以及3。平均收益。对于每种收益类型，目标是最大化$\liminf$为非负的概率。我们建立了这些目标的战略复杂性的全貌，即，对于$\varepsilon$ -最佳（分别为最佳策略。有些情况下可以用无记忆确定性策略获胜，而其他情况下则需要一个步骤计数器，一个奖励计数器，或两者兼而有之。
2021-07-10 cs.AI math.PR
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题，提出k-自适应策略合成算法KAPS，可优化小策略集的极小极大遗憾，实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来搜索一个马尔可夫决策过程（MDP）或部分可观察马尔可夫决策过程（POMDP）的政策空间的问题，给定的模型。我们的方法是基于以下观察：任何（PO）MDP可以转化为一个“等效”POMDP中的所有状态转换（给定当前状态和动作）是确定性的。这将策略搜索的一般问题减少到我们只需要考虑具有确定性转换的POMDP的问题。我们给出了一个自然的方法来估计这些转换POMDPs中所有政策的价值。然后，通过搜索具有高估计值的策略来简单地执行策略搜索。我们还建立了我们的价值估计将是好的条件下，恢复类似于Kearns，Mansour和Ng（1999）的理论结果，但“样本复杂性”的界限，只有一个多项式，而不是指数依赖于地平线时间。我们的方法适用于任意POMDPs，包括无限状态和动作空间。我们还提出了一个小的离散问题，我们的方法的实证结果，并在一个复杂的连续状态/连续动作的问题，涉及学习骑自行车。
2013-01-16 cs.AI cs.LG
Priced Motion Through Optimal Faces: A Normal-Fan Geometry for Non-Stationary Adversarial MDPs
Komori Research（Komori研究）
本文提出法扇几何框架，将非平稳对抗MDP中的动态遗憾分解为面穿越价格与面内选择误差，区分了有代价与无害的非平稳性。
2026-06-27 cs.AI cs.LG
Optimizing Percentile Criterion Using Robust MDPs
University of New Hampshire（新罕布什尔大学）；City University of Hong Kong（香港城市大学）
我们解决了在有限数据的强化学习问题中计算可靠策略的问题。特别是，我们计算的政策，实现良好的回报与高信心时部署。这个目标称为\emph{percentile criterion}，可以使用Robust MDP ~（RMDP）进行优化。RMDPs将MDPs推广到允许从给定的模糊集中逆向选择不确定的转移概率。我们发现，RMDP解决方案的次优性取决于沿价值函数的模糊集的跨度。然后，我们提出了新的算法，最大限度地减少由加权$L_1$和$L_\infty$规范定义的模糊集的跨度。我们的主要重点是贝叶斯保证，但我们也描述了我们的方法如何适用于频率论的保证，并获得新的浓度不等式加权$L_1$和$L_\infty$规范。实验结果表明，我们优化的模糊集显着提高了以前的建设方法。
2021-02-25 cs.AI cs.LG stat.ML
FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs
Microsoft Research（微软研究院）
为了处理强化学习（RL）中的维数灾难，通常的做法是进行参数假设，其中值或策略是某些低维特征空间的函数。这项工作的重点是表示学习的问题：我们如何才能学习这样的功能？在基本（未知）动态对应于低秩过渡矩阵的假设下，我们展示了表示学习问题如何与特定的非线性矩阵分解问题相关。从结构上讲，我们在这些低秩MDP和潜变量模型之间建立了精确的联系，展示了它们如何显着地推广RL中表示学习的先验公式。在数学上，我们开发了FLAMBE，它从事探索和表示学习可证明有效的RL在低秩过渡模型。
2020-07-22 cs.LG stat.ML
Universal Policies for Software-Defined MDPs
Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）
我们介绍了一种新的编程范式，称为预言机引导的决策编程，其中一个程序指定了马尔可夫决策过程（MDP）和语言提供了一个通用的政策。我们原型一个新的程序设计语言，多多纳，体现了这种模式使用一个原始的“选择”代表非确定性的选择。Dodona解释器返回一个值或一个choicepoint，其中包括原则上做出最佳决策所需的所有信息的无损编码。元解释器在这些选择点上查询Dodona的（神经）预言以获得策略和值估计，它们可以使用这些估计来对底层MDP执行启发式搜索。我们展示了Dodona的潜力zero-shot启发式指导元学习超过数百个合成任务，模拟基本操作列表，树，教堂数据结构，多项式，一阶项和高阶项。
2020-12-21 cs.AI cs.PL
Beating Adversarial Low-Rank MDPs with Unknown Transition and Bandit Feedback
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
研究未知转移和对抗性损失下的低秩MDP遗憾最小化问题，改进了全信息反馈下的遗憾界，并首次在Bandit反馈与未知转移设置下提出基于线性结构假设的算法及oracle高效算法。
2024-11-11 cs.LG
Reward is enough for convex MDPs
DeepMind（深度思维）
针对无法由平稳奖励表示、以平稳分布凸函数定义目标的凸 MDP，论文利用 Fenchel 对偶将其转化为策略与代价的 min-max 博弈，并提出统一多种现有算法的元算法。
2023-06-02 cs.AI cs.LG stat.ML
$κ$-Explorer: Minimax Active Model Estimation in MDPs
University of California, San Diego（加州大学圣地亚哥分校）；University of Southern California（南加州大学）
$κ$-Explorer通过统一框架提升MDPs中主动模型估计的效率与精度
2026-10-20 cs.LG
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；KAIST Graduate School of AI（韩国科学技术院人工智能学院）
元规划，或从经验中学习指导规划，是一种有前途的方法，以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到，（1）施加约束可以诱导特定于上下文的独立性，使域的某些方面不相关，（2）代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程（CAMP），一个抽象的因素MDP，提供有效的规划。然后，我们描述了如何学习约束，使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者，包括机器人在可移动障碍物之间的导航（NAMO），机器人任务和顺序操作的运动规划，以及经典规划。我们发现，使用学习过的CAMP进行规划，可以始终优于基线，包括Stilman的NAMO特定算法。视频：https://youtu.be/wTXt6djcAd4代码：https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
Multi-Objective Approaches to Markov Decision Processes with Uncertain Transition Parameters
TU Dortmund（多特蒙德工业大学）；Saarland University（萨尔大学）
马尔可夫决策过程（MDP）是随机系统性能分析和优化的一个流行模型。MDP随机行为的参数是从系统的经验观察中估计的;它们的值并不精确。文献中存在不同类型的不确定的，不精确的或有界的转移率或概率和奖励的MDP。通常，对具有不确定性的模型的分析相当于寻找最稳健的政策，这意味着目标是生成具有最大性能下限（或者对称地，成本最低上限）的政策。然而，对冲不太可能出现的最坏情况可能会导致其他情况下的损失。一般来说，人们感兴趣的是在所有情况下表现良好的政策，从而导致决策的多目标观点。在本文中，我们考虑的政策，预期折扣奖励措施的MDP与不确定参数。特别是，该方法是针对有界参数MDP（BMDP）定义的[8]。在这种设置中，最坏的，最好的和平均情况下的性能的政策同时进行分析，这产生了一个多场景多目标优化问题。本文提出并评价了在价值向量空间中计算纯帕累托最优策略的方法。
2017-10-20 cs.AI cs.GT
Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California（南加州大学）
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证：当损失是随机的时，它实现了$\mathcal{O}(log T)$后悔，同时即使损失是对抗性的，它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性，其中$T$是事件的数量。更一般地，它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu（2013）的Follow-the-Regularized-Leader方法，其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。（2019 a，2019 b）用于多武装土匪的特殊情况。至关重要的是，我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献，可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；DeepMind（深度思考公司）
在本文中，我们提出了新的问题独立的下界的样本的复杂性和遗憾的情节MDP，特别关注的非平稳的情况下，过渡内核允许在每个阶段的情节变化。我们的主要贡献是一个新的下界的$Ω((H^3SA/ε^2)\log(1/δ))$的样本复杂性的$(\varepsilon,δ)$ -PAC算法的最佳策略识别在非平稳MDP。这个下限依赖于“硬MDPs”的建设，这是不同于以前在文献中使用的。使用这同一类的MDP，我们也提供了一个严格的证明的$Ω(\sqrt{H^3SAT})$遗憾界的非平稳MDP。最后，我们讨论了PAC-MDP下界的连接。
2020-10-07 cs.LG stat.ML
Reinforcement Learning in Low-Rank MDPs with Density Features
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有低秩转换的MDP-也就是说，转换矩阵可以分解为两个矩阵（左和右）的乘积-是一种高度代表性的结构，可以进行易于学习。左矩阵使得表达函数近似能够用于基于值的学习，并且已经被广泛研究。在这项工作中，我们研究了具有密度特征的样本有效学习，即，正确的矩阵，这导致强大的模型状态占用分布。此设置不仅有助于在RL中利用无监督学习，而且还支持凸RL的插件解决方案。在离线设置中，我们提出了一个算法的off-policy估计的占用率，可以处理非探索性数据。以此为子程序，我们进一步设计了一个在线算法，以逐层的方式构建探索性数据分布。作为一个核心技术挑战，占用估计的加性误差与数据覆盖范围的乘法定义不相容。在缺乏像可达性这样的强假设的情况下，这种不兼容性很容易导致指数误差爆炸，我们通过新的技术工具克服了这一点。我们的结果也很容易扩展到表示学习设置，当密度特征是未知的，必须从一个指数级大的候选集学习。
2023-02-04 cs.AI cs.LG stat.ML
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究老虎机反馈下带未知转移和对抗损失的线性混合MDP强化学习，提出利用全状态访问信息的最小二乘估计器与适配的自归一化浓度方法，得到更优的高概率遗憾界。
2024-03-07 cs.LG stat.ML
Solving Transition-Independent Multi-agent MDPs with Sparse Interactions (Extended version)
Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）；University of Liverpool（利物浦大学）
在不确定性条件下的多智能体序贯决策中，智能体必须协调一致，以找到一个最优的联合策略，使联合价值最大化。典型的算法在价值函数中利用加法结构，但是在完全可观察的多智能体MDP设置（MMDP）中不存在这样的结构。我们提出了一个新的最优求解器过渡独立的MMDPs，代理只能影响自己的状态，但他们的奖励取决于联合过渡。我们将这些依赖关系用条件返回图（CRG）表示。使用CRG的联合策略的值和部分指定的联合策略的界限可以有效地计算。我们提出了Core，一种新的分支定界策略搜索算法建立在CRG。Core通常需要比可用的替代方案更少的运行时间，并找到以前无法解决的问题的解决方案。
2016-02-11 cs.AI cs.MA
Bilinear Exponential Family of MDPs: Frequentist Regret Bound with Tractable Exploration and Planning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔信号与自动化信息研究中心）
研究了具有未知奖励和转移的连续状态-动作空间中的情景强化学习问题。具体来说，我们考虑的设置中的奖励和过渡建模使用参数双线性指数家庭。我们提出了一种算法，BEF-RLSVI，a）使用惩罚最大似然估计学习未知参数，b）在奖励参数中注入校准的高斯噪声以确保探索，以及c）利用指数族相对于底层RKHS的线性来执行易处理的规划。我们进一步提供了BEF-RLSVI的频率主义后悔分析，得出$\tilde{\mathcal{O}}(\sqrt{d^3H^3K})$的上限，其中$d$是参数的维度，$H$是发作长度，$K$是发作次数。我们的分析改进了现有的双线性指数族的MDP的$\sqrt{H}$的界限，并删除了手工裁剪部署在现有的\RLSVI型算法。我们的遗憾界是关于$H$和$K$的序最优的。
2022-10-05 cs.LG
RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk
University of New Hampshire（新罕布什尔大学）；Google Research（谷歌研究院）；Facebook（脸书）
针对以往安全强化学习分别处理两类不确定性的局限，提出结合风险厌恶与软鲁棒的RASR框架，用时变风险水平的动态规划高效求解最优策略，实验验证其在多风险指标下有效缓解不确定性。
2022-09-14 cs.AI cs.LG
Q-learning for Quantile MDPs: A Decomposition, Performance, and Convergence Analysis
University of New Hampshire（新罕布什尔大学）；HEC Montréal（蒙特利尔高等商学院）；GERAD（GERAD（蒙特利尔管理科学研究组））；MILA - Quebec AI Institute（魁北克人工智能研究所（MILA））；Université de Montréal（蒙特利尔大学）；Amazon AGI（亚马逊通用人工智能部门）
本文提出一种面向分位数MDP的新型Q学习算法，基于简洁的动态规划分解实现，无需已知转移概率或求解复杂鞍点方程，在表格环境中收敛性与性能均优于早期算法。
2024-10-31 cs.LG
Near-optimal Policy Optimization Algorithms for Learning Adversarial Linear Mixture MDPs
UCLA（加州大学洛杉矶分校）
在存在敌手的情况下学习马尔可夫决策过程（MDP）是强化学习（RL）中的一个具有挑战性的问题。本文研究了具有对抗性奖励和完全信息反馈的情节MDP中的强化学习，其中未知转移概率函数是给定特征映射的线性函数，奖励函数可以随情节任意变化.我们提出了一个乐观策略优化算法POWERS，并表明它可以实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$H$是情节的长度，$T$是与MDP的交互次数，和$d$是特征映射的维度。此外，我们还证明了一个匹配的下限$\tildeΩ(dH\sqrt{T})$的对数因子。我们的主要技术贡献是两方面的：（1）一个新的价值函数估计的基础上的重要性加权;（2）一个更严格的置信度设置的过渡内核。它们共同导致了近似极小极大的最优后悔。
2022-04-20 cs.LG math.OC stat.ML
Efficient Algorithms for Robust Markov Decision Processes with $s$-Rectangular Ambiguity Sets
Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）；Department of Computer Science, University of New Hampshire（新罕布什尔大学计算机科学系）；Imperial College Business School, Imperial College London（伦敦帝国理工学院商学院）
本文提出了一种高效算法，用于解决具有s-矩形模糊集的鲁棒马尔可夫决策过程，显著提升了求解速度。
2026-02-05 cs.LG math.OC
Deterministic MDPs with Adversarial Rewards and Bandit Feedback
TTIC（丰田技术研究所）；Microsoft Research（微软研究院）；University of Michigan（密歇根大学）
我们考虑一个马尔可夫决策过程与确定性的状态转移动态，adversarially产生的奖励，任意改变从一轮到另一轮，和一个强盗反馈模型，决策者只观察它收到的奖励。在这种情况下，我们提出了一种新的和有效的在线决策算法名为马可波罗。在过渡动力学结构的温和假设下，我们证明了马可波罗事后对最佳确定性策略的后悔度为O（T^（3/4）sqrt（log（T）。具体来说，我们的分析不依赖于严格的单链假设，这主导了以前关于这个主题的大部分工作。
2012-10-16 cs.GT cs.LG
Q-Learning for Reachability in MEC-Free MDPs
Georgia Institute of Technology（佐治亚理工学院）
本文提出Quasar，首个无模型Q学习算法，用于无最大端分量MDP的可达性，通过时序差分更新实现渐近最优，内存从O(|S|^2|A|)降至O(|S||A|)，样本效率显著优于基于模型方法。
2026-10-02 cs.AI cs.LG cs.LO
Risk-Averse MDPs under Reward Ambiguity
City University of Hong Kong（香港城市大学）
本文提出了一个风险和报酬模糊条件下的分布鲁棒收益-风险马尔可夫决策过程模型。该模型优化了平均和百分位绩效的加权平均值，并将分布鲁棒MDP和分布鲁棒机会约束MDP（均在奖励模糊下）作为特例。通过考虑未知的奖励分布位于Wasserstein模糊集，我们得到了我们的模型的易处理的重新制定。特别是，我们表明，回报风险模型也可以考虑风险从不确定的过渡内核时，只寻求确定性的政策，和一个分布稳健的MDP下的百分位数准则可以重新制定为它的名义上的对应调整后的风险水平。设计了一个可扩展的一阶算法来求解大规模问题，并通过数值实验验证了所提模型和算法的优越性。
2023-01-04 cs.LG math.OC
Meta reinforcement learning as task inference
DeepMind（深度思维）
人类通过依赖关于自然发生的任务结构的先验知识来实现有效的学习。设计具有类似性质的强化学习（RL）算法引起了人们极大的兴趣。这包括学习学习算法本身的建议，这一想法也被称为元学习。这个想法的一个正式解释是作为一个部分可观察的多任务RL问题，其中任务信息是隐藏的代理。这种未知的任务问题可以减少到马尔可夫决策过程（MDP）的基础上，通过增加一个代理的意见与过去的经验，对任务的信念估计。然而，估计的信念状态是棘手的，在大多数部分观察的MDP。我们提出了一种方法，分别学习的政策和任务信念，利用各种特权信息。我们的方法可以非常有效地解决标准元强化学习环境，以及奖励稀疏且需要长期记忆的复杂连续控制环境。
2019-10-22 cs.AI cs.LG stat.ML
Near-Optimal Dynamic Regret for Adversarial Linear Mixture MDPs
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对未知转移与对抗性奖励的线性混合MDP，提出结合占用度量全局优化与策略方差感知回归的新算法，实现近最优动态遗憾并匹配下界。
2024-11-05 cs.LG stat.ML
Provably Efficient Algorithm for Nonstationary Low-Rank MDPs
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
本文首次研究非平稳低秩MDPs中的强化学习，提出PORTAL及其无参数版本Ada-PORTAL算法，证明在非平稳性不太大时两种算法均能以多项式样本复杂度实现任意小的平均动态次优差距。
2023-08-10 cs.LG
Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
Aalborg University（奥尔堡大学）；Radboud University（拉德堡德大学）；Ruhr University Bochum（波鸿鲁尔大学）
本文针对已知MDP转移图但转移概率未知的场景，提出将概率屏蔽与在线模型学习结合的自适应方法，通过实验验证其在安全强化学习中的有效性。
2026-08-21 cs.AI cs.LG cs.LO
Prior-Aligned Meta-RL: Thompson Sampling with Learned Priors and Guarantees in Finite-Horizon MDPs
Department of Statistics, University of Science and Technology of China（统计系，中国科学技术大学）；Department of Epidemiology and Public Health, University of Maryland, Baltimore（流行病学与公共卫生系，马里兰大学巴尔的摩分校）；Department of Technology, Operations, and Statistics, Stern School of Business, New York University（技术、运营与统计系，纽约大学斯特恩商学院）
针对有限时域MDP的元强化学习，提出两种汤普森采样算法（MTSRL和MTSRL+），通过先验对齐技术学习Q函数先验，在任务数足够时获得优于先验无关方法的元遗憾保证，并在模拟中验证了有效性。
2025-10-06 cs.LG stat.ML
On Generalization of Adversarial Imitation Learning and Beyond
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
尽管有大量的经验评估，模仿学习的一个基本问题仍然没有完全解决：AIL（对抗性模仿学习）是否可以证明比BC（行为克隆）更好地推广？我们研究这个开放的问题与表格和情节MDPs。对于使用直接最大似然估计的香草AIL，我们在已知的过渡设置下提供了否定和肯定的答案。对于一些MDP，我们表明，香草AIL有一个更糟糕的样本复杂度比BC。关键的见解是，状态-动作分布匹配原则是薄弱的，使AIL可能概括较差，即使在访问状态的专家演示。对于另一类MDP，香草AIL被证明是推广以及非访问状态。有趣的是，它的样本复杂度是无水平线的，这可以证明远远优于BC。最后，我们建立了一个框架，在未知的过渡情况下，它允许AIL探索通过无奖励的探索策略。与最著名的在线学徒学习算法相比，该算法提高了样本复杂度和交互复杂度。
2022-02-11 cs.AI cs.LG
Solving Long-run Average Reward Robust MDPs via Stochastic Games
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Masaryk University（马萨里克大学）；Singapore Management University（新加坡管理大学）
本文将长期平均奖励多面体鲁棒MDP归约为基于回合的随机博弈，证明其阈值判定问题属于NP∩coNP，并提出更高效的鲁棒多面体策略迭代算法RPPI。
2024-04-30 cs.AI
Compact Mathematical Programs For DEC-MDPs With Structured Agent Interactions
BBN Technologies（BBN技术公司）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
为了解决分散式MDP中计算策略的复杂性，研究人员提出了利用结构化代理交互的模型。大多数代理动作都是独立的设置，除了影响其他代理的转换和/或奖励的少数动作之外，可以使用事件驱动的复杂奖励交互（EDI-CR）来建模。寻找最优联合策略可以用公式表示为优化问题。然而，现有的公式过于冗长和/或缺乏最优性保证。我们提出了一个紧凑的混合线性规划公式的EDI-CR实例。关键的见解是，一组代理的大多数动作序列对给定代理具有相同的效果。这使我们能够类似地处理这些序列，并使用更少的变量。实验表明，我们的配方更紧凑，导致更快的解决方案的时间和更好的解决方案比现有的配方。
2012-02-14 cs.AI
