Sample Complexity Characterization for Linear Contextual MDPs
The Ohio State University（俄亥俄州立大学）；National University of Singapore（新加坡国立大学）；University at Buffalo（纽约州立大学布法罗分校）
本文刻画了线性上下文马尔可夫决策过程的样本复杂度，提出了两种模型下的基于模型算法，分别达到多项式样本复杂度，并表明上下文变化特征优于共享表示。
2024-02-05 cs.LG stat.ML
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Offline Oracle-Efficient Learning for Contextual MDPs via Layerwise Exploration-Exploitation Tradeoff
本文提出一种从上下文马尔可夫决策过程到离线密度估计的高效归约算法，通过分层探索-利用权衡实现统计上接近最优的性能，仅需O(HlogT)次预言机调用，且无需结构假设。
2024-05-28 cs.LG stat.ML
No-regret Exploration in Contextual Reinforcement Learning
University of Michigan（密歇根大学）
我们认为最近提出的强化学习（RL）框架的上下文马尔可夫决策过程（CMDP），其中代理与（潜在的敌对）序列的情节表MDP的相互作用。此外，确定MDP参数的上下文向量在每个事件开始时可用于代理，从而允许其学习上下文相关的接近最优的策略。在本文中，我们提出了一个无遗憾的在线RL算法的设置中的MDP参数获得的背景下，使用广义线性映射（GLM）。我们提出并分析了乐观和随机的探索方法，使（时间和空间）有效的在线更新。基于GLM的模型包含了以前在这方面的工作，也提高了以前已知的边界的特殊情况下，上下文映射是线性的。此外，我们展示了一个通用的模板来获得置信集使用在线学习甲骨文，并给出了一个下限的设置。
2020-06-17 cs.AI cs.LG stat.ML
Training on Irrelevant States Implies Data Augmentation: Generalization in Contextual MDPs
研究上下文马尔可夫决策过程零样本策略转移中智能体泛化问题，提出Explore-Go方法，通过在训练开始引入纯探索阶段，结合现有纯探索策略提升智能体覆盖范围与准确性来增强泛化能力，经实验验证该方法在多种基准测试中有效。
2026-07-14 cs.AI cs.LG
Efficiently Solving MDPs with Stochastic Mirror Descent
Stanford University（斯坦福大学）
提出了一个基于原始对偶随机镜像下降的统一框架，用于近似求解给定生成模型的无限时域马尔可夫决策过程（MDP）。当应用于具有$A_{tot}$总状态-动作对和混合时间界限$t_{mix}$的平均回报MDP时，我们的方法计算具有来自状态转移矩阵的预期$\widetilde{O}(t_{mix}^2 A_{tot} ε^{-2})$样本的$ε$ -最优策略，去除了现有技术的遍历依赖性。当应用于具有$A_{tot}$总状态-动作对的$γ$ -折扣MDP时，我们的方法计算具有预期$\widetilde{O}((1-γ)^{-4} A_{tot} ε^{-2})$样本的$ε$ -最优策略，与先前的最新技术水平相匹配，直到达到$(1-γ)^{-1}$因子。这两种方法都是无模型的，同时更新状态值和策略，并且在时间上与所取样本的数量成线性关系。我们实现这些结果通过一个更一般的随机镜像下降框架解决双线性鞍点问题的单纯形和盒域，我们证明了这个框架的灵活性，通过提供进一步的应用程序，以约束MDPs。
2020-08-28 cs.DS cs.LG math.OC
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
Q学习是一种流行的强化学习（RL）算法，其在函数逼近的实践中被广泛使用（Mnih等人，2015）。相比之下，现有的理论结果是悲观的Q学习。例如，（Baird，1995）表明，Q-学习即使在线性MDP的线性函数近似下也不会收敛。此外，即使对于具有同步更新的表格MDP，Q学习也被证明具有次优的样本复杂度（Li等人，2021;Azar等人，2013年）。这项工作的目标是弥合Q学习的实际成功与相对悲观的理论结果之间的差距。我们工作的出发点是观察到，在实践中，Q-学习被用于两个重要的修改：（i）使用两个网络进行训练，同时称为在线网络和目标网络（在线目标学习，或OTL），以及（ii）经验重放（ER）（Mnih等人，2015）。虽然已经观察到它们在Q学习的实际成功中发挥了重要作用，但文献中缺少对这两种修改如何改善Q学习收敛行为的透彻理论理解。通过将Q学习与OTL和反向经验重放（RER）（一种经验重放形式）仔细结合，我们提出了新的方法Q-Rex和Q-RexDaRe（Q-Rex +数据重用）。我们表明，Q-Rex有效地找到了线性MDP的最佳策略（或更一般地为MDP与零固有贝尔曼误差线性近似（ZIBEL）），并提供样本复杂性的非渐近界-第一个这样的结果为Q-学习方法为这类MDP在标准假设下。此外，我们证明了Q-RexDaRe实际上在表格设置中实现了接近最佳的样本复杂度，改进了现有的香草Q学习结果。
2021-10-19 cs.LG math.OC
Causal Markov Decision Processes: Learning Good Interventions Efficiently
University of Michigan（密歇根大学）；Adobe Inc.（奥多比公司）
我们引入因果马尔可夫决策过程（C-MDP），一个新的形式主义顺序决策相结合的标准MDP制定因果结构的状态转移和奖励函数。许多当代和新兴的应用领域，如数字医疗和数字营销，可以受益于C-MDP建模，因为干预和状态/奖励之间的因果关系机制。我们提出了因果置信上限值迭代（C-UCBVI）算法，该算法利用C-MDP中的因果结构，并提高了不考虑因果知识的标准强化学习算法的性能。我们证明了C-UCBVI满足$\tilde{O}(HS\sqrt{ZT})$后悔界，其中$T$是总时间步，$H$是情节视界，$S$是状态空间的基数.值得注意的是，我们的后悔界限不与行动/干预的大小（$A$）成比例，而只与因果图相关的量$Z$成比例，$Z$可以指数地小于$A$。通过将C-UCBVI扩展到因子化的MDP设置，我们提出了因果因子化的UCBVI（CF-UCBVI）算法，该算法进一步减少了$S$方面的指数后悔。此外，我们表明，RL算法的线性MDP问题也可以纳入C-MDP。我们的经验表明，我们的因果关系的方法在各种设置的好处，以验证我们的算法和理论结果。
2021-02-15 cs.LG stat.ML
Reinforcement Learning in the Wild with Maximum Likelihood-based Model Transfer
Zenseact；Chalmers University of Technology（查尔姆斯理工大学）；Scool；CRIStAL（里尔信号与自动化信息研究中心）；CNRS（法国国家科学研究中心）；University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）
在本文中，我们研究的问题，转移现有的马尔可夫决策过程（MDP）模型，学习和规划有效地在一个未知的，但类似的MDP。我们称之为\textit{Model Transfer Reinforcement Learning (MTRL)}问题。首先，我们制定MTRL离散MDP和线性二次调节器（LQR）连续状态行动。然后，我们提出了一个通用的两阶段算法，MLEMTRL，以解决离散和连续设置的MTRL问题。在第一阶段中，MLEMTRL使用基于\textit{constrained Maximum Likelihood Estimation (MLE)}的方法来使用一组已知的MDP模型来估计目标MDP模型。在第二阶段，使用估计的目标MDP模型，MLEMTRL部署一个基于模型的规划算法适合于MDP类。从理论上讲，我们证明了最坏情况下的遗憾界限MLEMTRL在可实现和不可实现的设置。我们的经验表明，MLEMTRL允许更快地学习新的MDP比从头开始学习，并达到接近最佳的性能取决于可用的MDP和目标MDP的相似性。
2023-02-18 cs.LG
Pseudo-MDPs: A Novel Framework for Efficiently Optimizing Last Revealer Seed Manipulations in Blockchains
Nomadic Labs \& Université Paris Dauphine - PSL Paris France；Nomadic Labs \& Université Paris Dauphine - PSL
针对区块链最后揭示者攻击的MDP求解难题，提出伪MDP框架，通过双重归约将复杂度从指数级降至多项式级，并保证快速收敛，适用于资源受限场景。
2025-10-08 cs.CR cs.LG
Interaction-Grounded Learning for Contextual Markov Decision Processes with Personalized Feedback
University of Iowa（爱荷华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文提出了一种计算高效的算法，用于在具有个性化反馈的上下文性 Markov 决策过程中实现次线性遗憾保证，通过扩展奖励估计器构造并设计逆间隙加权算法，有效提升了多轮交互中学习个性化目标的能力。
2026-02-09 cs.LG stat.ML
Wasserstein Auto-encoded MDPs: Formal Verification of Efficiently Distilled RL Policies with Many-sided Guarantees
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文提出WAE-MDP潜空间模型，通过惩罚化最优传输蒸馏RL策略并提供互模拟等形式化保证，显著提升学习速度、模型质量与验证可行性。
2023-04-21 cs.AI cs.LG
SaVeR: Optimal Data Collection Strategy for Safe Policy Evaluation in Tabular MDP
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究表格型 MDP 中带安全约束的数据收集策略评估问题，提出 SaVeR 算法近似安全预言机以高效收集数据，在满足安全约束下实现低均方误差的策略评估。
2024-06-04 cs.LG
Model-based RL in Contextual Decision Processes: PAC bounds and Exponential Improvements over Model-free Approaches
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
我们研究了样本复杂性的基于模型的强化学习（以下简称RL）在一般的上下文决策过程中，需要战略探索，以找到一个接近最优的政策。我们设计了一个通用的模型类RL的新算法，并分析其统计特性。我们的算法样本的复杂性由一个新的结构参数称为证人的排名，我们证明是小的几个设置的兴趣，包括因素的MDP。我们还表明，证人秩永远不会大于最近提出的Bellman秩参数，该参数控制无模型算法OLIVE的样本复杂度（Jiang et al.，2017年），唯一的其他可证明的样本有效的算法，在这个水平的一般性的全球探索。聚焦于因子化的MDP的特殊情况，我们证明了一般类无模型方法的指数下界，包括OLIVE，当与我们的算法结果相结合时，在一些丰富的观测设置中，基于模型的RL和无模型RL之间表现出指数分离。
2019-05-30 cs.LG stat.ML
Online MDP with Transition Prototypes: A Robust Adaptive Approach
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；The University of Hong Kong（香港大学）
本文研究具有转移原型信息的在线鲁棒MDP，提出一种自适应模糊集算法，能在识别真实转移核的同时保证鲁棒策略性能，实现次线性遗憾界，并在数据有限时优于现有方法。
2024-12-19 cs.LG
Sample and Oracle Efficient Reinforcement Learning for MDPs with Linearly-Realizable Value Functions
Google（谷歌公司）
本文针对状态-动作价值函数线性可实现的MDP提出了一种样本与计算均高效的强化学习算法，通过多项式次数的回合和代价敏感分类预言机调用找到近最优策略，并在常数特征维度下显著降低了计算复杂度。
2024-10-03 cs.AI cs.LG
Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
本文提出了一种新的无模型算法--自适应多步Bootstrap（AMB），它具有更强的间隙相关后悔界。第一个创新是通过将乐观引导与自适应多步Monte Carlo推出相结合来估计最佳$Q$函数。第二个创新点是在不受任何其他行为支配的可容许行为中选择具有最大置信区间长度的行为。我们表明，当每个状态有一个独特的最佳行动，AMB实现了一个缺口依赖的遗憾界，只有规模与次优差距的倒数的总和。相比之下，Simchowitz和Jamieson（2019）表明，由于过度探索，所有置信上限（UCB）算法都会遭受额外的$Ω\left(\frac{S}{Δ_{min}}\right)$遗憾，其中$Δ_{min}$是最小次优间隙，$S$是状态数。我们进一步表明，对于一般的MDP，AMB遭受额外的$\frac{|Z_{mul}|}{Δ_{min}}$遗憾，其中$Z_{mul}$是一组状态-动作对$(s,a)$的满足$a$是一个非唯一的最佳行动$s$。我们补充我们的上限与下限显示依赖于$\frac{|Z_{mul}|}{Δ_{min}}$是不可避免的任何一致的算法。这个下限也意味着强化学习和上下文强盗之间的分离。
2021-07-02 cs.LG
Personalized Reinforcement Learning with a Budget of Policies
Technion（以色列理工学院）
本文提出表征马尔可夫决策过程（r-MDPs）框架，通过少量代表性策略在监管约束下实现个性化，并开发两种基于K-means思想的深度强化学习算法，在模拟环境中验证了其个性化效果与可扩展性。
2024-01-12 cs.LG
Extreme State Aggregation Beyond MDPs
Australian National University（澳大利亚国立大学）
我们考虑一个强化学习设置，其中智能体在观察-奖励-动作循环中与环境交互，而没有任何（特别是）MDP）对环境的假设。状态聚合和更一般的特征强化学习涉及将历史/原始状态映射到简化/聚合状态。两者背后的想法是，由此产生的简化过程（近似）形成一个小的稳态有限状态MDP，然后可以有效地求解或学习。我们大大推广现有的聚合结果表明，即使减少的过程是不是一个MDP，（q-）价值函数和（最佳）的政策相关联的MDP具有相同的状态空间大小解决了原来的问题，只要解决方案可以近似地表示为一个功能的减少状态。这意味着所需的状态空间大小的上限，保持一致的所有RL问题。这也可以解释为什么为MDP设计的RL算法有时表现得比MDP好。
2014-07-12 cs.AI cs.LG
Structure Matters: Dynamic Policy Gradient
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出动态策略梯度框架，将动态规划与策略梯度结合，分解无限时域MDP为上下文赌博机，实现多项式收敛，优于普通策略梯度的指数下界。
2024-11-07 cs.LG math.OC math.PR
Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs
University of Kentucky（肯塔基大学）；University of Virginia（弗吉尼亚大学）；Ohio State University（俄亥俄州立大学）
本文针对低秩MDP提出高效Actor-Critic算法，通过监督学习建立RL oracle层级，证明算法在样本复杂度上优于现有方法，且避免了高成本的规划或优化 oracle。
2026-05-02 cs.LG
A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning
Google Research（谷歌研究院）；NYU（纽约大学）；HKUST（香港科技大学）
汤普森抽样是上下文强盗最有效的方法之一，并已推广到某些MDP设置的后验抽样。然而，现有的用于强化学习的后验采样方法受到基于模型的限制，或者缺乏线性MDP之外的最坏情况理论保证。本文提出了一种新的无模型后验抽样公式，适用于更一般的情节强化学习问题的理论保证。我们引入了新的证明技术，以表明在适当的条件下，我们的后验抽样方法的最坏情况下的遗憾匹配的最佳已知的优化方法的结果。在线性MDP设置与尺寸，我们的算法的遗憾尺度与尺寸线性相比，现有的后验采样为基础的探索算法的二次依赖。
2022-08-23 cs.LG
Bad Values but Good Behavior: Learning Highly Misspecified Bandits and MDPs
Indian Institute of Science（印度科学学院）
本文研究奖励模型高度错误设定下的老虎机和MDP决策问题，识别出使ε-greedy、LinUCB和拟合Q学习等基础算法仍能学习最优策略的结构条件，证明存在大量对错误设定鲁棒的实例。
2024-02-22 cs.AI cs.LG
When Can You Poison Rewards? A Tight Characterization of Reward Poisoning in Linear MDPs
School of Electrical Engineering and Computer Science, Oregon State University, Corvallis, Oregon, USA（电子工程与计算机科学学院，俄勒冈州立大学，俄勒冈州科瓦利斯）；Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign, Urbana, Illinois, USA（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校，伊利诺伊州厄巴纳）；Princeton University, Princeton, New Jersey, USA（普林斯顿大学，新泽西州普林斯顿）；Faculty of Computing and Data Sciences, Boston University, Boston, Massachusetts, USA（计算与数据科学学院，波士顿大学，马萨诸塞州波士顿）
本文研究了强化学习中奖励污染攻击，通过约束预算操控奖励迫使目标智能体采用符合攻击者目标的策略。研究首次给出了线性MDP中攻击可行性的精确必要和充分条件，区分了易受攻击和固有鲁棒的RL实例。理论框架扩展至深度RL环境，证明其在理论和实践上的重要性。
2026-07-07 cs.LG
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Minimax PAC Bounds for Learning in Exogenous Contextual MDPs
CREST, ENSAE（CREST与ENSAE）；Criteo AI Lab（Criteo人工智能实验室）；FairPlay Joint Team（FairPlay联合团队）
针对外生上下文表格折扣MDP，提出方差缩减算法实现策略评估、最优值估计和最优策略提取，样本复杂度与上下文空间大小无关且达到极小极大最优。
2026-10-27 cs.LG stat.ML
Near-Optimal Reward-Free Exploration for Linear Mixture MDPs with Plug-in Solver
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然基于模型的强化学习（RL）方法被认为是更有效的样本，但现有的算法通常依赖于复杂的规划算法来与模型学习过程紧密耦合。因此，学习的模型可能缺乏被更专业的规划者重用的能力。在本文中，我们解决了这个问题，并提供了在没有奖励信号指导的情况下有效学习RL模型的方法。特别是，我们采取了一个插件求解器的方法，我们专注于学习一个模型在探索阶段，并要求\emph{any planning algorithm}的学习模型可以给出一个接近最优的政策。具体地说，我们专注于线性混合MDP设置，其中概率转移矩阵是一组现有模型的（未知）凸组合。我们表明，通过建立一个新的探索算法，插件的方法学习一个模型，通过采取$\tilde{O}(d^2H^3/ε^2)$与环境的相互作用和\emph{any} $ε$ -最优规划的模型给出了一个$O(ε)$ -最优的政策，在原来的模型。该示例复杂度与非插件方法的下限相匹配，并且是\emph{statistically optimal}。我们实现这一结果，利用一个小心的最大总方差界使用伯恩斯坦不等式和属性指定的线性混合MDP。
2022-03-13 cs.LG
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
A Bayesian Approach to Learning Bandit Structure in Markov Decision Processes
Harvard University（哈佛大学）；Brown University（布朗大学）
在强化学习文献中，有许多针对上下文Bandit（CB）或马尔可夫决策过程（MDP）环境开发的算法。然而，当在现实世界中部署强化学习算法时，即使具有领域专业知识，通常也很难知道将顺序决策问题视为CB还是MDP是否合适。换句话说，行为会影响未来的状态，还是只影响眼前的回报？对环境的性质做出错误的假设可能会导致低效的学习，甚至会阻止算法学习最优策略，即使有无限的数据。在这项工作中，我们开发了一个在线算法，使用贝叶斯假设检验方法来学习环境的性质。我们的算法允许从业者将先验知识的环境是否是CB或MDP，并有效地插在经典CB和基于MDP的算法，以减轻对错误指定的环境的影响。我们进行模拟，并证明，在CB设置我们的算法实现较低的遗憾比基于MDP的算法，而在非土匪MDP设置我们的算法能够学习最佳的政策，往往实现可比的遗憾基于MDP的算法。
2022-07-30 cs.AI cs.LG
Provable General Function Class Representation Learning in Multitask Bandits and MDPs
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
虽然多任务表示学习已成为强化学习（RL）中提高样本效率的流行方法，但对它为什么以及如何工作的理论理解仍然有限。由于分析一般函数类的表示遇到了诸如泛化保证、抽象函数空间中置信界的确定等非平凡的技术障碍，以往的分析工作只能假设表示函数是智能体已知的或线性函数类已知的。然而，线性情况分析严重依赖于线性函数类的特殊性，而现实世界的实践通常采用一般的非线性表示函数，如神经网络。这大大降低了它的适用性。在这项工作中，我们将分析扩展到一般函数类表示。具体来说，我们认为代理播放$M$上下文土匪（或MDP）同时提取一个共享的表示功能$ϕ$从一个特定的功能类$Φ$使用我们提出的广义功能置信上限算法（GFUCB）。我们首次从理论上验证了多任务表示学习在一般函数类中对强盗和线性MDP的好处。最后，我们进行实验，以证明我们的算法与神经网络表示的有效性。
2022-10-21 cs.AI cs.LG
Denoised MDPs: Learning World Models Better Than the World Itself
MIT（麻省理工学院）；University of Washington（华盛顿大学）；UC Berkeley（加州大学伯克利分校）；Meta AI
本研究提出去噪MDP框架，将外界信息按可控性和奖励相关性分为四类，明确排除噪声干扰因素，在多个基准测试中显著提升了世界模型在控制与非控制任务上的性能。
2023-04-06 cs.LG
RAPTOR: End-to-end Risk-Aware MDP Planning and Policy Learning by Backpropagation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
规划为在复杂环境中优化顺序决策提供了一个框架。最近在确定性或随机性高维域中的有效规划方面取得的进展，具有连续的动作空间，通过环境模型利用反向传播来直接优化动作。然而，现有的方法通常不考虑风险时，优化随机域，这可以有效地纳入MDP通过优化熵效用的回报。我们通过使用PyTorch（RAPTOR）引入风险感知规划来弥合这一差距，PyTorch是一种通过熵效用目标的端到端优化进行风险敏感规划的新框架。我们的方法的一个关键技术难点在于，由于环境随机性的存在，直接优化的熵效用的反向传播是不可能的。RAPTOR的新颖之处在于状态分布的重新参数化，这使得有可能通过从向前采样轨迹计算的熵效用的充分统计来应用随机反向传播。以端到端的方式直接优化这个经验目标被称为风险规避直线计划，它预先承诺一系列行动，并且在高度随机的领域中可能是次优的。我们通过在我们的框架中优化风险感知的深度反应策略（RaDRP）来解决这个缺点。我们评估和比较这两种形式的RAPTOR在三个高度随机域，包括非线性导航，HVAC控制，线性水库控制，展示了在复杂的MDP管理风险的能力。
2021-06-14 cs.LG
How to Find the Exact Pareto Front for Multi-Objective MDPs?
The Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）
针对多目标马尔可夫决策过程（MO-MDPs）难以找到精确帕累托前沿的问题，本文揭示其几何结构性质，提出仅需一次单目标MDP求解并遍历边的高效算法，大幅降低复杂度。
2025-02-10 cs.LG stat.ML
Stepsize Learning for Policy Gradient Methods in Contextual Markov Decision Processes
Politecnico di Milano（米兰理工大学）
针对基于策略的无模型强化学习超参数难调、异构任务表现差的问题，提出meta-MDP元强化学习框架，可动态推荐步长，经实验验证在异构环境中具备优势。
2023-06-13 cs.LG
MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
Seoul National University（首尔国立大学）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学技术研究所（UNIST））
MATE通过使用累积转移嵌入的记忆架构，解决了由未观察上下文参数化的上下文马尔可夫决策过程（CMDPs），在保持后验信念的同时，避免了传统方法的计算和梯度问题，实现了高效且性能优异的解决方案。
2026-05-17 cs.AI cs.LG
Low-Dimensional State and Action Representation Learning with MDP Homomorphism Metrics
University of Twente（特文特大学）；Saxion University of Applied Sciences（萨克逊应用科学大学）
深度强化学习已经显示出它直接从高维观测中解决复杂问题的能力。然而，在端到端设置中，强化学习算法不是样本效率高的，并且需要很长的训练时间和大量的数据。在这项工作中，我们提出了一个样本高效的强化学习框架，利用状态和动作表示将高维问题转化为低维问题。此外，我们试图找到最佳的政策映射潜在的状态，潜在的行动。因为现在的策略是在抽象表示上学习的，所以我们使用辅助损失函数来强制将这样的策略提升到原始问题域。结果表明，新框架可以有效地学习低维和可解释的状态和动作表示和最优的潜在策略。
2021-07-04 cs.AI cs.LG
Reinforcement Learning When All Actions are Not Always Available
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
马尔可夫决策过程（MDP）制定用于模拟许多现实世界的顺序决策问题，并没有有效地捕捉设置在每个时间步的可用决策（行动）的集合是随机的。最近，随机行动集马尔可夫决策过程（SAS-MDP）制定已被提出，它更好地捕捉的概念，随机行动集。在本文中，我们认为，现有的RL算法SAS-MDP可能会受到潜在的分歧问题，并提出新的策略梯度算法SAS-MDP，将方差降低技术独特的设置，并提供其收敛的条件。最后，我们通过实验证明了我们的方法在任务上的实用性，这些任务是由现实生活中的用例激发的，其中动作集是随机的。
2020-01-20 cs.LG stat.ML
Robust Active Measuring under Model Uncertainty
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；Eindhoven University of Technology（埃因霍温理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Ruhr-University Bochum（波鸿鲁尔大学）
针对序贯决策中的部分可观测与模型不确定性问题，该研究提出鲁棒主动测量MDP框架及高效求解启发式，抵消模型不确定性导致的测量减少问题，实验验证其可扩展性与性能优于多个基准。
2023-12-18 cs.AI cs.LG
Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University（中山大学）
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战，由于动态规划的失败。在本文中，我们提出了一种新的方法来找到全局最优的政策，稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念，将原问题转化为一个双层MDP问题，其中内层是标准MDP优化伪均值-方差，外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP，我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法，可以找到全局最优的策略，通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性，进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知，我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
From Restless to Contextual: A Thresholding Bandit Reformulation For Finite-horizon Improvement
Cornell Tech（康奈尔科技）；Causal Foundry
本文通过将在线动态老虎机重新公式化为预算阈值上下文老虎机，解决了现有算法在有限时间 horizon 性能差的问题，提出了一种实用学习策略，实现了亚线性遗憾，提升了累积奖励。
2026-04-06 cs.LG
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究遗憾最小化在非情节因子马尔可夫决策过程（FMDPs），其中所有现有的算法作出强烈的假设，因子结构的FMDPs是已知的学习者提前。在本文中，我们提供了第一个学习FMDP的结构，同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则，结合一个简单的统计方法的结构学习，并可以有效地实现了一个FMDP规划器的Oracle访问。此外，我们给我们的算法的一个变体，仍然是有效的，即使当预言是有限的非因子的行动，这是几乎所有现有的近似规划的情况。最后，我们利用我们的技术来证明已知结构情况下的一个新下界，缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Markov Decision Processes with Continuous Side Information
Univ. of Michigan（密歇根大学）；Microsoft Research（微软研究院）
我们考虑一个强化学习（RL）设置中的代理与一个序列的情节MDP相互作用。在每个情节开始时，代理可以访问一些边信息或上下文，这些边信息或上下文确定该情节的MDP的动态。我们的设置是出于医疗保健中的应用，其中在治疗事件开始时对患者的基线测量形成可以提供关于患者如何响应治疗决策的信息的背景。我们提出了学习算法，在这样的上下文马尔可夫决策过程（CMDPs）的假设下，未观察到的MDP参数随所观察到的上下文平滑变化。在光滑性假设下，我们也给出了PAC的上下界。因为我们的下界对维度具有指数依赖性，所以我们考虑一个易于处理的线性设置，其中上下文用于创建MDP的有限集合的线性组合。对于线性设置，我们给出了一个基于KWIK学习技术的PAC学习算法。
2017-11-15 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Exploration in Structured Reinforcement Learning
KTH（瑞典皇家理工学院）
我们解决了有限状态和动作空间的强化学习问题，其中底层MDP具有一些已知的结构，可以潜在地利用这些结构来最小化次优（状态，动作）对的探索率。对于任意的结构，我们得到特定问题的遗憾下限满足任何学习算法。这些下界是明确的非结构化MDPs和那些转移概率和平均奖励函数是Lipschitz连续的w.r.t.国家和行动。对于Lipschitz MDP，边界被示出为不与状态和动作空间的大小$S$和$A$成比例，即，它们小于$c\log T$，其中$T$是时间范围，常数$c$仅取决于Lipschitz结构、偏置函数的跨度和最小动作次优性间隙。这与非结构化MDP形成对比，在非结构化MDP中，遗憾下限通常按$SA\log T$缩放。我们设计了DEL（定向探索学习），一种符合我们遗憾下限的算法。我们进一步简化了Lipschitz MDP的算法，并表明简化后的版本仍然能够有效地利用结构。
2018-11-29 cs.LG stat.ML
Modeling transition dynamics in MDPs with RKHS embeddings of conditional distributions
我们提出了一种新的，非参数的方法来估计价值函数的强化学习。这种方法利用了最近开发的表示条件分布的功能，在再生核希尔伯特空间。这样的表示绕过了估计转移概率的需要，并且适用于可以定义内核的任何域。我们的方法避免了需要近似棘手的积分，因为期望表示为RKHS内积，其计算在样本大小上具有线性复杂度。因此，我们可以有效地执行价值函数估计在各种各样的设置，包括有限的状态空间，连续状态空间，和部分可观察的任务，只有传感器测量是可用的。该方法的第二个优点是，我们从训练样本中学习条件分布表示，并且不需要对状态空间进行详尽的探索。我们证明我们的方法收敛到最优策略，或在我们的模型类中最优策略的最接近的投影，在合理的假设下。在实验中，我们证明了我们的算法在连续状态空间（欠驱动摆）的学习任务上的性能，以及在导航问题上，只有从传感器的图像进行观察。我们比较最小二乘策略迭代高斯过程用于价值函数估计。我们的算法在这两个任务中取得了更好的性能。
2012-10-18 cs.LG
Model-Based Reinforcement Learning Under Confounding
Department of Systems Engineering, Cornell University（系统工程系，康奈尔大学）；School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学）
本文提出了一种基于模型的强化学习方法，解决上下文不可观测导致的混杂问题，通过近似离策略评估和行为平均转移模型，实现一致的MDP构造和因果熵框架整合。
2025-12-08 cs.AI cs.LG
Block Contextual MDPs for Continual Learning
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；UC Berkeley（加州大学伯克利分校）
在强化学习（RL）中，当定义马尔可夫决策过程（MDP）时，环境动态被隐含地假设为是平稳的。这种平稳性的假设虽然简单，但在许多情况下可能是不现实的。在连续强化学习场景中，任务序列是非平稳性的另一个来源。在这项工作中，我们建议通过块上下文MDP（BC-MDP）框架来检查这种连续的强化学习设置，这使我们能够放松平稳性的假设。这个框架挑战RL算法处理非平稳性和丰富的观察设置，并通过额外利用平滑特性，使我们能够研究此设置的泛化边界。最后，我们从自适应控制的灵感，提出了一种新的算法，解决了这个更现实的BC-MDP设置所带来的挑战，允许zero-shot适应在评估时间，并在几个非平稳环境中实现强大的性能。
2021-10-13 cs.AI cs.LG
Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）在具有连续状态空间的复杂非线性马尔可夫决策过程（MDP）中是经验上成功的。相比之下，大多数理论RL文献要求MDP满足某种形式的线性结构，以保证样本有效RL。这种努力通常假设MDP的转换动态或价值函数由状态特征的线性函数描述。为了解决理论与实践之间的这种差异，我们引入了有效规划窗口（EPW）条件，这是MDP的结构条件，没有线性假设。我们证明了EPW条件允许样本有效的RL，通过提供一个算法，可证明解决MDPs满足这个条件。我们的算法需要最少的假设的政策类，其中可以包括多层神经网络的非线性激活函数。值得注意的是，EPW条件是直接受流行的游戏基准，我们表明，许多经典的雅达利游戏满足这一条件。我们还显示了必要性的条件，如EPW，通过证明，简单的MDP与轻微的非线性不能有效地解决样本。
2021-06-15 cs.AI cs.LG stat.ML
Multi-User Reinforcement Learning with Low Rank Rewards
Google Research（谷歌研究院）；Amazon India（亚马逊印度）
本文研究协作多用户强化学习，提出一种在低秩奖励假设下协同探索多用户特定MDP奖励的算法，在表格和线性MDP设定下显著降低了样本复杂度。
2023-05-22 cs.LG math.OC
RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk
University of New Hampshire（新罕布什尔大学）；Google Research（谷歌研究院）；Facebook（脸书）
针对以往安全强化学习分别处理两类不确定性的局限，提出结合风险厌恶与软鲁棒的RASR框架，用时变风险水平的动态规划高效求解最优策略，实验验证其在多风险指标下有效缓解不确定性。
2022-09-14 cs.AI cs.LG
Stateful Offline Contextual Policy Evaluation and Learning
我们研究了关闭政策的评估和学习，从序列数据中的结构化类马尔可夫决策过程中产生的反复与外源序列的到来与上下文的相互作用，产生未知的个人层面的代理行动的反应。这个模型可以被认为是一个离线概括的上下文强盗资源约束。我们正式的相关因果结构的问题，如动态个性化定价和其他运营管理问题中存在的潜在高维用户类型。关键的见解是，个人层面的响应通常不会受到状态变量的因果影响，因此可以很容易地跨时间步和状态进行概括。当这是真的，我们研究的影响（双重强大的）关闭政策的评估和学习，而不是利用单时间步评估，估计期望通过人口的数据，在一个单一的到达，在边际MDP的拟合值迭代。我们研究样本的复杂性和分析错误放大，导致的持久性，而不是衰减，随着时间的推移，混淆错误。在动态和容量限制定价的模拟中，我们在这类相关问题中显示了改进的样本外政策性能。
2021-10-19 cs.LG stat.ML
Confident Natural Policy Gradient for Local Planning in $q_π$-realizable Constrained MDPs
University of Alberta（阿尔伯塔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google DeepMind（谷歌DeepMind）
针对无限状态 $q_π$-可实现 CMDP，提出基于局部访问与离策略评估的置信自然策略梯度原对偶算法，实现多项式样本复杂度并高概率获得近优且严格满足约束的策略。
2024-12-09 cs.LG
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
