Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
A Primal-Dual Algorithm for Offline Constrained Reinforcement Learning with Linear MDPs
University of Michigan（密歇根大学）
针对无限时域折扣设置下的线性MDP离线强化学习，提出首个在部分数据覆盖假设下实现$O(ε^{-2})$样本复杂度且计算高效的原始-对偶算法，并扩展至离线约束RL。
2024-06-02 cs.LG stat.ML
Improved Sample Complexity for Reward-free Reinforcement Learning under Low-rank MDPs
University of Science and Technology of China（中国科学技术大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
在无奖励强化学习（RL）中，智能体首先在没有任何奖励信息的情况下探索环境，以便在任何给定的奖励下实现特定的学习目标。在本文中，我们主要关注低秩MDP模型下的无报酬强化学习，其中表示和线性权重向量都是未知的。尽管针对无奖励低秩MDP已经提出了各种算法，但是相应的样本复杂度仍然远不能令人满意。在这项工作中，我们首先提供了第一个已知的样本复杂度下限，适用于低秩MDP下的任何算法。这个下限意味着它是严格难以找到一个接近最优的政策下低秩MDP比线性MDP。然后，我们提出了一种新的基于模型的算法，创造RAFFLE，并表明它既可以找到一个$ε$最优的政策，并实现了$ε$ -准确的系统辨识通过无奖励的探索，与样本的复杂性显着提高了以前的结果。这样的样本复杂度与我们对$ε$以及大$d$体系中的$K$的依赖性的下限相匹配，其中$d$和$K$分别表示表示维度和动作空间基数。最后，我们提供了一个规划算法（没有进一步与真实环境的互动）RAFFLE学习一个接近准确的表示，这是第一个已知的表示学习保证在相同的设置。
2023-03-20 cs.LG stat.ML
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Efficient Reinforcement Learning in Factored MDPs with Application to Constrained RL
Key Laboratory of Machine Perception, MOE（教育部机器感知重点实验室）；School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Amazon（亚马逊公司）；Center for Data Science, Peking University（北京大学数据科学中心）
研究了情景分解马尔可夫决策过程中的强化学习问题。我们提出了一个算法称为FMDP-BF，它利用了因子分解结构的FMDP。FMDP-BF的遗憾被证明是指数小于为非因式分解的MDP设计的最优算法，并通过一个因式分解的$\sqrt{H|\mathcal{S}_i|}$，其中$|\mathcal{S}_i|$是因式分解的状态子空间的基数和$H$是规划地平线上的FMDPs~ \citep{osband2014near}的最好的以前的结果。为了显示我们的边界的最优性，我们还提供了一个下界FMDP，这表明我们的算法是接近最优的w.r.t.时间步长$T$、水平$H$和分解的状态-动作子空间基数。最后，作为一个应用，我们研究了一个新的配方约束RL，被称为RL与背包约束（RLwK），并提供了第一个样本有效的算法的基础上FMDP-BF。
2021-03-10 cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
Inverse Reinforcement Learning in Contextual MDPs
我们考虑上下文马尔可夫决策过程（MDP）的逆强化学习的任务。在这种情况下，定义奖励和转换内核的上下文是从分布中采样的。此外，尽管奖励是上下文的函数，但它并不提供给代理。相反，代理观察来自最优策略的演示。目标是学习奖励映射，这样即使遇到以前看不见的上下文，代理也会采取最佳行动，也称为zero-shot transfer。我们将此问题表示为一个非微分凸优化问题，并提出了一种新的算法来计算它的次梯度。基于该方案，我们分析了几种方法，在理论上，我们比较了样本的复杂性和可扩展性，并经验。最重要的是，我们在理论上和经验表明，我们的算法执行zero-shot传输（推广到新的和看不见的上下文）。具体来说，我们提出了一个动态治疗方案的经验性实验，其目标是学习一个奖励函数，该函数根据他们治疗诊断为败血症的患者的记录数据来解释专家医生的行为。
2020-12-30 cs.LG stat.ML
Logarithmic Switching Cost in Reinforcement Learning beyond Linear MDPs
UC Santa Barbara（加州大学圣巴巴拉分校）
在许多现实生活中的强化学习（RL）问题中，部署新策略的成本很高。在这些场景中，算法必须解决探索（这需要自适应性），同时稀疏地切换部署的策略（这限制了自适应性）。在本文中，我们超越了现有的国家的最先进的这个问题，集中在线性马尔可夫决策过程（MDP）考虑线性贝尔曼完全MDP低固有贝尔曼错误。我们提出了ELEANOR LowSwitching算法，该算法实现了接近最优的遗憾，其切换成本在事件数量上是对数的，在时间范围$H$和特征维度$d$上是线性的。我们还证明了一个下界成比例的$dH$在所有的算法与次线性遗憾。此外，我们还展示了在ELEANOR LowSwitching中使用的“加倍技巧”可以进一步用于广义线性函数近似，在此基础上，我们设计了一种具有接近最佳切换成本的样本高效算法。
2023-02-24 cs.AI cs.LG stat.ML
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford（牛津大学）
主动强化学习（ARL）是强化学习的一种扭曲，其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则，如乐观主义、汤普森抽样和随机探索，对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法，使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明，该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上，它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为，我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Non-stationary Reinforcement Learning under General Function Approximation
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）；UC Santa Barbara（加州大学圣巴巴拉分校）
针对一般函数逼近下的非平稳 MDP，本文提出 DBE 维数与带滑动窗口的无模型算法 SW-OPEA，建立动态遗憾界并证明其优于现有 UCB 型方法。
2023-06-01 cs.LG stat.ML
Polynomial Time Reinforcement Learning in Factored State MDPs with Linear Value Functions
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Southern California（南加州大学）
实践中的许多强化学习（RL）环境以巨大的状态空间为特征，该状态空间可以由“因子化”结构来描述，该结构可以由因子化马尔可夫决策过程（FMDPs）来建模。我们提出了第一个多项式时间算法RL的因子状态MDPs（推广FMDPs），既不依赖于一个Oracle计划，也不需要一个线性过渡模型，它只需要一个线性价值函数与一个合适的本地基础上的因式分解，允许有效的变量消除。在这个假设下，我们可以通过构造一个有效的凸优化分离预言机，在多项式时间内求解这类分解状态MDP。重要的是，与FMDPs的先前工作相反，我们不假设各种因素的转换是有条件独立的。
2022-03-06 cs.LG
DARLING: Detection Augmented Reinforcement Learning with Non-Stationary Guarantees
ECE and CSL, The Grainger College of Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系和计算机科学实验室，伊利诺伊大学厄巴纳-香槟分校）
本文研究了在无先验知识的非平稳有限时间episodic马尔可夫决策过程中的模型无关强化学习，提出DARLING方法，通过模块化包装实现对表格和线性MDP的适应，并在非平稳基准测试中超越现有方法。
2026-05-11 cs.LG stat.ML
Exploration in Structured Reinforcement Learning
KTH（瑞典皇家理工学院）
我们解决了有限状态和动作空间的强化学习问题，其中底层MDP具有一些已知的结构，可以潜在地利用这些结构来最小化次优（状态，动作）对的探索率。对于任意的结构，我们得到特定问题的遗憾下限满足任何学习算法。这些下界是明确的非结构化MDPs和那些转移概率和平均奖励函数是Lipschitz连续的w.r.t.国家和行动。对于Lipschitz MDP，边界被示出为不与状态和动作空间的大小$S$和$A$成比例，即，它们小于$c\log T$，其中$T$是时间范围，常数$c$仅取决于Lipschitz结构、偏置函数的跨度和最小动作次优性间隙。这与非结构化MDP形成对比，在非结构化MDP中，遗憾下限通常按$SA\log T$缩放。我们设计了DEL（定向探索学习），一种符合我们遗憾下限的算法。我们进一步简化了Lipschitz MDP的算法，并表明简化后的版本仍然能够有效地利用结构。
2018-11-29 cs.LG stat.ML
Offline-Online Reinforcement Learning for Linear Mixture MDPs
Department of Industrial Engineering and Management Sciences, Northwestern University（工业工程与管理科学系，西北大学）
本文研究了在环境变化下线性混合马尔可夫决策过程中的离线-在线强化学习，提出了一种算法，能够自适应利用离线数据，在数据有信息时优于纯在线学习，在数据无信息时安全忽略并匹配纯在线性能，建立了明确的后悔上界和下界。
2026-04-13 cs.LG math.OC stat.ML
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs
Oregon State University（俄勒冈州立大学）
本文提出DAC-MDP，一种基于深度表示的非参数MDP方法，通过引入成本处理有限数据，实现可扩展且支持零样本调整的离线强化学习。
2025-02-04 cs.AI cs.LG stat.ML
Hybrid Reinforcement Learning Breaks Sample Size Barriers in Linear MDPs
The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
本文针对线性 MDP 中的混合强化学习，在不依赖单策略集中性假设下提出计算高效算法，同时突破纯离线与纯在线 RL 的样本复杂度下界，建立了当前最紧的理论保证。
2024-08-08 cs.LG stat.ML
Reinforcement Learning in Rich-Observation MDPs using Spectral Methods
University California, Irvine（加州大学欧文分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院）；California institute of technology（加州理工学院）
大状态空间马尔可夫决策过程的强化学习是一个具有挑战性的问题。标准强化学习算法的性能随着状态空间维数的增加而急剧下降。然而，在实践中，这些大的MDP通常包含潜在的或隐藏的低维结构。本文研究了富观测马尔可夫决策过程（ROMDP）的设定问题，其中有少量隐状态与观测状态具有内射映射.换句话说，每个观察状态都是通过单个隐藏状态生成的，并且这种映射是先验未知的。我们引入了一种谱分解方法，该方法始终学习该映射，更重要的是，以低遗憾实现该映射。估计映射被集成到乐观RL算法（UCRL），该算法对估计的隐藏空间进行操作。我们推导出有限时间遗憾的界限，我们的算法与观察空间的维数弱依赖。事实上，我们的算法渐近地实现了相同的平均遗憾的甲骨文UCRL算法，它具有从隐藏到观察空间的映射的知识。因此，我们得到一个有效的谱RL算法ROMDPs。
2018-06-19 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Active Reinforcement Learning over MDPs
在过去的十年中，强化学习得到了快速的发展，它通过大量的训练资源获得了令人印象深刻的性能。然而，RL中最大的挑战之一是泛化效率（即，单位时间内的泛化性能）。本文提出了一种基于MDP的主动强化学习（ARL）框架，通过实例选择来提高有限资源下的泛化效率。该算法在训练策略的同时，根据给定的实例数量，选择有价值的实例作为训练集，从而节省资源。与现有的方法不同，我们试图主动选择和使用训练数据，而不是对所有给定的数据进行训练，从而节省资源。此外，我们引入了一个通用的实例评估指标和选择机制的框架。实验结果表明，该框架以近端策略优化为策略优化器，较无选择和无偏选择方法能有效提高泛化效率。
2021-08-17 cs.LG
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
Local Linearity: the Key for No-regret Reinforcement Learning in Continuous MDPs
Politecnico di Milano（米兰理工大学）
针对连续状态动作空间MDP中RL无悔实现的开放难题，提出可局部线性化MDP新表示类与Cinderella无悔算法，证明其涵盖所有已知可行MDP族并取得当前最优遗憾界。
2024-10-31 cs.LG
Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection
Universitat Pompeu Fabra（庞培法布拉大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；Microsoft Research（微软研究院）；Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook人工智能研究院）
研究了线性结构有限时域马尔可夫决策过程中状态-行动价值函数的表示在后悔最小化中的作用。首先，我们推导出一个必要条件的表示，称为普遍生成的最佳功能（UNISOFT），以实现恒定的遗憾，在任何MDP与线性奖励函数。这个结果包含了低秩MDP的众所周知的设置，更一般地说，零固有贝尔曼误差（也称为贝尔曼闭包假设）。然后，我们证明了这一条件也是足够的，这些类的问题，推导出一个恒定的遗憾界的两个乐观算法（LSVI-UCB和ELEANOR）。最后，我们提出了一个算法表示选择，我们证明，它实现了恒定的遗憾时，给定的表示，或适当的组合，满足UNISOFT条件。
2021-10-27 cs.LG
Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本文提出SPOT算法，通过随机阈值在不确定环境中实现安全的强化学习，理论证明其在约束和奖励方面具有次线性遗憾性能。
2025-12-24 cs.AI cs.LG stat.ML
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高，更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程（MDP）的无模型算法。第一个算法减少了问题的折扣奖励版本，并实现$\mathcal{O}(T^{2/3})$遗憾后，$T$步骤，弱通信的MDP的最小假设。据我们所知，这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展，对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$，虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人（2019 a）在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Differentially Private Reinforcement Learning with Linear Function Approximation
Wayne State University（韦恩州立大学）
基于强化学习（RL）在个性化服务中的广泛应用，研究了差分隐私（DP）约束下有限时域马尔可夫决策过程（MDP）的后悔最小化问题.与现有的仅在表格有限状态，有限动作MDP上工作的私有RL算法相比，我们在具有大状态和动作空间的MDP中迈出了隐私保护学习的第一步。具体而言，我们认为MDP与线性函数近似（特别是线性混合MDP）的概念下的联合差分隐私（JDP），其中RL代理负责保护用户的敏感数据。我们设计了两种分别基于值迭代和策略优化的私有强化学习算法，并证明了它们在保证隐私保护的同时具有次线性后悔性能.此外，遗憾界与状态数无关，且最大程度上与行为数成比例，适用于大规模个性化服务中的隐私保护.我们的研究结果是通过一个一般的过程中学习线性混合MDP下不断变化的正则化，这不仅推广了以前的结果，非私人学习，但也作为一般的私人强化学习的积木。
2022-03-21 cs.LG
Efficient Policy Learning for Non-Stationary MDPs under Adversarial Manipulation
马尔可夫决策过程（MDP）是强化学习的流行模型。然而，其常用的静态动力学和奖励的假设是过于严格，并未能举行对抗，非平稳，或多智能体问题。我们研究了一个情节设置的参数MDP可以不同的情节。我们通过开发对抗强化学习（ARL）算法，将我们的MDP减少到一系列\emph{adversarial}强盗问题，来学习这种潜在对抗MDP的可靠策略。ARL实现了$O(\sqrt{SATH^3})$遗憾，这是最优的$S$，$A$，和$T$，其依赖于$H$是最好的（即使对于通常的平稳MDP）在现有的无模型的方法。
2019-08-21 cs.LG stat.ML
REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供了一个算法，实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程（MDP）。该算法在情节中进行，在每个情节中，它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP，其最优偏置向量的跨度以H为界，我们给出了~O（HSpAT）的遗憾界。我们还将跨度与MDP相关的各种直径样量，展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Nonstationary Reinforcement Learning with Linear Function Approximation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
该研究针对带线性函数逼近的非平稳回合式MDP，提出已知/未知变化预算下的两种带重启的乐观LSVI算法，推导了相关极小极大动态遗憾下界，并通过实验验证了算法有效性。
2024-04-13 cs.LG stat.ML
Learning Kernel-Based MDPs from Episodic Preferential Feedback
Cornell University（康奈尔大学）；MediaTek Research（联发科研究）
本文研究片段核MDP中的偏好学习，提出基于偏好比较的价值估计和置信集方法，并证明亚线性遗憾界。
2026-05-25 cs.LG stat.ML
Real-Time Reinforcement Learning
Mila（米拉研究所）；Element AI（Element AI公司）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）
马尔可夫决策过程（MDP）是强化学习（RL）中大多数算法的数学框架，通常被错误地假设代理环境的状态在动作选择期间不会改变。随着基于MDP的RL系统开始在现实世界的安全关键情况中找到应用，经典MDP的假设与实时的【形】计算的现实之间的这种不匹配可能导致不期望的结果。在本文中，我们引入了一个新的框架，在其中状态和动作同时演变，并显示它是如何与经典的MDP制定。我们分析现有的算法下的新的实时的【形】配方，并显示为什么他们是次优的实时的【形】使用时。然后，我们使用这些见解来创建一个新的算法实时的【形】Actor-Critic（RTAC），它在实时的【形】和非实时设置中的性能都优于现有的最先进的连续控制算法Soft Actor-Critic。代码和视频可以在https://github.com/rmst/rtrl上找到。
2019-12-12 cs.LG stat.ML
Regret Analysis in Deterministic Reinforcement Learning
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
我们考虑马尔可夫决策过程（MDP）的确定性转移和研究的遗憾最小化，这是中央的最佳学习算法的分析和设计的问题。我们提出了对数问题的具体遗憾的下限，明确地依赖于系统参数（与以前的极大极小方法相比），从而真正量化的基本限制的性能可实现的任何学习算法。确定性MDP可以被解释为图形和分析的周期，我们利用这一事实，以确定一类确定性MDP的遗憾下限可以确定数字。我们进一步证明了这一结果的确定性线搜索问题，和一个确定性的MDP与状态相关的奖励，其遗憾的下限，我们可以明确地状态。这些边界共享的相似性与已知的问题特定的约束的多臂强盗问题，并建议在一个确定性的MDP导航不需要有一个学习算法的性能上的影响。
2021-06-27 cs.LG stat.ML
Efficient Reinforcement Learning in Block MDPs: A Model-free Representation Learning Approach
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Google Research（谷歌研究院）
我们提出了BRIEE（具有交织探索利用的块结构表示学习），这是一种在具有块结构动态的马尔可夫决策过程中进行有效强化学习的算法（即，块MDP），其中丰富的观测结果是从一组未知的潜在状态中生成的。BRIEE将潜在状态发现、探索和利用交织在一起，并且可以证明学习一个接近最优的策略，其样本复杂度在潜在状态、动作和时间范围的数量上呈多项式缩放，而不依赖于潜在无限观测空间的大小。从经验上讲，我们表明，BRIEE比最先进的块MDP算法HOMER和其他经验RL基线更具样本效率，具有挑战性的丰富观测组合锁问题，需要深入探索。
2022-10-11 cs.AI cs.LG
Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning
Harvard University（哈佛大学）；The Ohio State University（俄亥俄州立大学）
在预测-然后-优化框架中，目标是训练预测模型，将环境特征映射到优化问题的参数，从而在随后求解优化时最大化决策质量。最近关于以决策为中心的学习的工作表明，与依赖中间损失函数来评估预测质量相比，在训练管道中嵌入优化问题可以提高决策质量，并有助于更好地推广到看不见的任务。我们研究了预测，然后优化框架的顺序决策问题（制定为MDP）的背景下，通过强化学习解决。特别是，我们给出了环境特征和一组来自训练MDP的轨迹，我们用它来训练一个预测模型，该模型可以推广到没有轨迹的看不见的测试MDP。在将以决策为中心的学习应用于MDP时，出现了两个重要的计算挑战：（i）大的状态和动作空间使得现有技术无法区分MDP问题，以及（ii）由神经网络参数化的高维策略空间使得通过策略进行区分变得昂贵。我们解决了第一个挑战，通过采样可证明无偏的衍生物近似和区分通过最优性条件，和第二个挑战，通过使用一个低秩近似的高维样本为基础的衍生物。我们实现贝尔曼-基于和策略梯度-基于决策为中心的学习三个不同的MDP问题与丢失的参数，并表明，决策为中心的学习表现更好的泛化看不见的任务。
2022-07-16 cs.LG
Lyapunov Robust Constrained-MDPs: Soft-Constrained Robustly Stable Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
安全性和鲁棒性是任何强化学习算法的两个期望属性。CMDPs可以处理额外的安全约束，RMDPs可以在模型不确定性下表现良好。在本文中，我们建议将这两个框架结合起来，产生强大的约束MDPs（RCMDPs）。我们的动机是开发一个框架，可以满足安全约束，同时也提供鲁棒性模型的不确定性。我们开发了RCMDP目标，推导出梯度更新公式来优化这个目标，然后提出了基于策略梯度的算法。我们还独立地提出了基于李雅普诺夫的奖励塑造的RCMDPs，产生更好的稳定性和收敛性。
2021-08-05 cs.LG cs.SY eess.SY
Convex Is Back: Solving Belief MDPs With Convexity-Informed Deep Reinforcement Learning
TU Munich（慕尼黑工业大学）；College of Engineering Penn State University（宾夕法尼亚州立大学工程学院）
本文提出在POMDP的深度强化学习中利用信念空间价值函数的凸性，通过硬强制和软强制凸性两种方法提升智能体性能与鲁棒性，并在两个标准环境中验证了其有效性。
2025-03-12 cs.LG
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；Kakao Brain
在本文中，我们提出了一类新的马尔可夫决策过程（MDP），称为Tsallis MDP，Tsallis熵最大化，推广现有的最大熵强化学习（RL）。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架，包括著名的标准香农-吉布斯（SG）熵，使用额外的实值参数，称为熵指数。通过控制熵指数，我们可以产生各种类型的熵，包括SG熵，不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析，包括最优性条件，性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题，我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值，并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题，我们发现，一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估，并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
Exploiting Exogenous Structure for Sample-Efficient Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Northwestern University（西北大学）
研究Exo-MDPs这类结构化马尔可夫决策过程，建立离散MDPs等之间的表示等价性，刻画其学习的极小极大遗憾值，证明不同情况下的遗憾值界，表明其解耦样本复杂度，通过实验验证相关见解。
2026-10-02 cs.LG math.OC stat.ML
Formal Controller Synthesis for Continuous-Space MDPs via Model-Free Reinforcement Learning
Ludwig Maximilian University of Munich（慕尼黑大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Newcastle University（纽卡斯尔大学）
提出了一种新的用于连续空间马尔可夫决策过程（MDP）策略综合的强化学习方法。该方案使人们能够应用无模型的，现成的强化学习算法的有限MDP计算相应的连续空间MDP的最佳策略，而无需显式地构建有限状态抽象。所提出的方法是基于抽象的系统与一个有限的MDP（没有明确地构建它）与未知的转移概率，综合战略的抽象MDP，然后映射到具体的连续空间MDP与近似最优性保证的结果。感兴趣的系统的属性属于一个片段的线性时序逻辑，被称为语法共同安全的线性时序逻辑（scLTL），和合成的要求是在给定的有界时间范围内的满意度的概率最大化。本文的一个关键贡献是利用有限MDP上强化学习的经典收敛结果，并提供控制策略，最大化未知连续空间MDP的满意概率，同时提供概率接近度保证。基于自动机的奖励函数通常是稀疏的;我们提出了一种新的基于潜力的奖励整形技术，以产生密集的奖励来加速学习。所提出的方法的有效性证明了将其应用到三个物理基准的调节房间的温度，控制的道路交通细胞，和一个7维的非线性模型的宝马320 i汽车。
2020-03-02 cs.LG cs.SY eess.SY
Feature Reinforcement Learning: Part I: Unstructured MDPs
通用的、智能的、学习型的智能体在复杂的、不确定的、未知的和非马尔可夫的观察、行动和奖励序列中循环。另一方面，强化学习对于小的有限状态马尔可夫决策过程（MDP）已经发展得很好。到目前为止，从裸观测中提取正确的状态表示，也就是说，将一般代理设置减少到MDP框架，是一门涉及设计人员大量工作的艺术。这项工作的主要目标是自动化的减少过程，从而显着扩大了许多现有的强化学习算法和代理，采用它们的范围。在我们考虑将这种寻找合适的MDP的过程机械化之前，我们需要一个正式的客观标准。本文的主要贡献是发展这样一个标准。我还将各个部分集成到一个学习算法中。扩展到更现实的动态贝叶斯网络开发在第二部分。POMDPs的作用也被认为是在那里。
2009-06-09 cs.AI cs.IT cs.LG
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano（米兰理工大学）
本文提出ν-平滑MDP假设，并基于勒让德多项式特征映射设计两种无遗憾强化学习算法，分别权衡计算效率与适用性，取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety
International Institute of Information Technology, Hyderabad, India（国际信息科技研究所，印度海得拉巴）；Meta SuperIntelligence, USA（Meta超智能，美国）
本文综述了安全强化学习和约束马尔可夫决策过程，涵盖单智能体和多智能体安全方法，总结了理论基础和最新算法，并提出五个开放性问题以推动该领域发展。
2026-04-29 cs.LG
Learning Robust State Abstractions for Hidden-Parameter Block MDPs
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）；Mila（米拉研究所）
许多控制任务表现出类似的动态，可以建模为具有共同的潜在结构。隐参数马尔可夫决策过程（HiP-MDP）显式地对该结构进行建模，以提高多任务设置中的样本效率。然而，这种设置对状态的可观测性做出了很强的假设，这限制了它在具有丰富观测空间的真实世界场景中的应用。在这项工作中，我们利用的想法，共同的结构从HiP-MDP设置，并扩展它，使强大的状态抽象块MDP的启发。我们得到的多任务强化学习（MTRL）和Meta强化学习（元-RL）设置这一新框架的实例。此外，我们提供了基于任务和状态相似性的转移和泛化边界，以及依赖于跨任务的样本总数而不是任务数量的样本复杂性边界，这是对使用相同环境假设的先前工作的重大改进。为了进一步证明所提出的方法的有效性，我们实证比较并显示了多任务和Meta强化学习基线的改进。
2021-02-12 cs.AI cs.LG stat.ML
Probabilistic Safety Guarantee for Stochastic Control Systems Using Average Reward MDPs
University of New Hampshire（新罕布什尔大学）
针对随机控制系统因状态变量不可预测演化难以满足安全约束的问题，提出将安全目标转化为平均奖励MDP目标的算法，通过线性规划计算安全策略，在双积分器和倒立摆系统验证得该方法比最小折扣奖励解更优。
2025-11-11 cs.LG cs.RO cs.SY
Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）在具有连续状态空间的复杂非线性马尔可夫决策过程（MDP）中是经验上成功的。相比之下，大多数理论RL文献要求MDP满足某种形式的线性结构，以保证样本有效RL。这种努力通常假设MDP的转换动态或价值函数由状态特征的线性函数描述。为了解决理论与实践之间的这种差异，我们引入了有效规划窗口（EPW）条件，这是MDP的结构条件，没有线性假设。我们证明了EPW条件允许样本有效的RL，通过提供一个算法，可证明解决MDPs满足这个条件。我们的算法需要最少的假设的政策类，其中可以包括多层神经网络的非线性激活函数。值得注意的是，EPW条件是直接受流行的游戏基准，我们表明，许多经典的雅达利游戏满足这一条件。我们还显示了必要性的条件，如EPW，通过证明，简单的MDP与轻微的非线性不能有效地解决样本。
2021-06-15 cs.AI cs.LG stat.ML
Reinforcement Learning in Low-Rank MDPs with Density Features
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有低秩转换的MDP-也就是说，转换矩阵可以分解为两个矩阵（左和右）的乘积-是一种高度代表性的结构，可以进行易于学习。左矩阵使得表达函数近似能够用于基于值的学习，并且已经被广泛研究。在这项工作中，我们研究了具有密度特征的样本有效学习，即，正确的矩阵，这导致强大的模型状态占用分布。此设置不仅有助于在RL中利用无监督学习，而且还支持凸RL的插件解决方案。在离线设置中，我们提出了一个算法的off-policy估计的占用率，可以处理非探索性数据。以此为子程序，我们进一步设计了一个在线算法，以逐层的方式构建探索性数据分布。作为一个核心技术挑战，占用估计的加性误差与数据覆盖范围的乘法定义不相容。在缺乏像可达性这样的强假设的情况下，这种不兼容性很容易导致指数误差爆炸，我们通过新的技术工具克服了这一点。我们的结果也很容易扩展到表示学习设置，当密度特征是未知的，必须从一个指数级大的候选集学习。
2023-02-04 cs.AI cs.LG stat.ML
Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs
McGill University（麦吉尔大学）；Mila；University of Massachusetts（马萨诸塞大学）；Facebook AI Research（Facebook人工智能研究院）；Microsoft Research（微软研究院）
研究了离线强化学习（RL）环境下约束条件下的安全策略改进（SPI）问题。我们考虑这样的场景：（i）我们有一个在已知基线策略下收集的数据集，（ii）从环境中接收到多个奖励信号，诱导尽可能多的目标进行优化。我们提出了一个SPI制定这个RL设置，考虑到算法的用户的偏好，以处理不同的奖励信号的权衡，同时确保新的政策执行至少以及沿每个单独的目标的基线政策。我们建立在传统的SPI算法上，并提出了一种基于安全策略迭代与基线引导的新方法（SPIBB，Laroche等人，2019年），它为真实环境中的代理性能提供了高概率保证。我们展示了我们的方法在合成网格世界安全任务上的有效性，以及在现实世界的重症监护环境中学习静脉输液和血管加压药治疗败血症的政策。
2021-10-29 cs.LG
Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning
KTH（瑞典皇家理工学院）
本文研究低秩强化学习中的矩阵估计问题，证明基于谱的方法能高效恢复奇异子空间并达到近乎最小的逐元素误差，并据此设计了低秩赌博机遗憾最小化和低秩MDP最佳策略识别两个达到最先进性能保证的算法。
2023-10-28 cs.LG stat.ML
Reinforcement Learning in MDPs with Information-Ordered Policies
Department of Industrial Engineering and Management Sciences, Northwestern University（西北大学工业工程与管理科学系）；Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Technology, Operations, and Statistics, Stern School of Business, New York University（纽约大学 Stern 商学院技术、运营与统计系）；School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）
本文提出一种利用策略类偏序结构的周期强化学习算法，用于无限时域平均成本MDP，实现与状态动作空间无关的遗憾界，并应用于库存控制和排队系统，取得新理论保证与实证结果。
2026-10-19 cs.LG math.OC stat.ML
Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs
Department of Computer Science（计算机科学系）；University of New Hampshire（新罕布什尔大学）
在强化学习中，鲁棒MDP（RMDP）可用于计算具有可证明的最坏情况保证的策略。RMDP解决方案的质量和鲁棒性由模糊集-合理转移概率集-决定，模糊集通常构造为多维置信区域。现有的方法构造模糊集的置信区域使用浓度不等式，导致过于保守的解决方案。本文提出了一种新的范例，可以实现更好的解决方案，具有相同的鲁棒性保证，而不使用置信区域作为模糊集。为了结合先验知识，我们的算法使用贝叶斯推理优化歧义集的大小和位置。我们的理论分析表明，所提出的方法的安全性，和实证结果表明其实际的承诺。
2019-02-20 cs.LG stat.ML
From Dueling Bandits to Episodic MDPs: Learning with Adversarial Preference Feedback
The University of Tokyo and RIKEN（东京大学和RIKEN）；University of Southern California（南加州大学）
本文提出基于对抗偏好的表格型 MDP 框架，针对 Borda 分数奖励建立遗憾下界，并设计策略优化算法在已知和未知转移下均达到 $T^{2/3}$ 量级的遗憾界。
2026-10-26 cs.LG stat.ML
Sample and Oracle Efficient Reinforcement Learning for MDPs with Linearly-Realizable Value Functions
Google（谷歌公司）
本文针对状态-动作价值函数线性可实现的MDP提出了一种样本与计算均高效的强化学习算法，通过多项式次数的回合和代价敏感分类预言机调用找到近最优策略，并在常数特征维度下显著降低了计算复杂度。
2024-10-03 cs.AI cs.LG
Regret-Optimal Model-Free Reinforcement Learning for Discounted MDPs with Short Burn-In Time
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）
针对折扣马尔可夫决策过程中现有强化学习算法非遗憾最优、成本高、预热时间长的问题，提出结合方差缩减与慢自适应策略切换的无模型算法，为首个该场景下短预热的遗憾最优无模型算法。
2023-12-12 cs.LG math.ST stat.ML
