REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供了一个算法，实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程（MDP）。该算法在情节中进行，在每个情节中，它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP，其最优偏置向量的跨度以H为界，我们给出了~O（HSpAT）的遗憾界。我们还将跨度与MDP相关的各种直径样量，展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University（首尔大学）
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
No-Regret Reinforcement Learning in Smooth MDPs
Politecnico di Milano（米兰理工大学）
本文提出ν-平滑MDP假设，并基于勒让德多项式特征映射设计两种无遗憾强化学习算法，分别权衡计算效率与适用性，取得最优遗憾保证。
2024-02-06 cs.AI cs.LG
Sample and Oracle Efficient Reinforcement Learning for MDPs with Linearly-Realizable Value Functions
Google（谷歌公司）
本文针对状态-动作价值函数线性可实现的MDP提出了一种样本与计算均高效的强化学习算法，通过多项式次数的回合和代价敏感分类预言机调用找到近最优策略，并在常数特征维度下显著降低了计算复杂度。
2024-10-03 cs.AI cs.LG
Block Contextual MDPs for Continual Learning
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；UC Berkeley（加州大学伯克利分校）
在强化学习（RL）中，当定义马尔可夫决策过程（MDP）时，环境动态被隐含地假设为是平稳的。这种平稳性的假设虽然简单，但在许多情况下可能是不现实的。在连续强化学习场景中，任务序列是非平稳性的另一个来源。在这项工作中，我们建议通过块上下文MDP（BC-MDP）框架来检查这种连续的强化学习设置，这使我们能够放松平稳性的假设。这个框架挑战RL算法处理非平稳性和丰富的观察设置，并通过额外利用平滑特性，使我们能够研究此设置的泛化边界。最后，我们从自适应控制的灵感，提出了一种新的算法，解决了这个更现实的BC-MDP设置所带来的挑战，允许zero-shot适应在评估时间，并在几个非平稳环境中实现强大的性能。
2021-10-13 cs.AI cs.LG
DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs
Oregon State University（俄勒冈州立大学）
本文提出DAC-MDP，一种基于深度表示的非参数MDP方法，通过引入成本处理有限数据，实现可扩展且支持零样本调整的离线强化学习。
2025-02-04 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Scaling Up Robust MDPs by Reinforcement Learning
The Technion - Israel Institute of Technology（以色列理工学院）；National University of Singapore（新加坡国立大学）
在鲁棒马尔可夫决策过程范式下，研究了具有参数不确定性的大规模马尔可夫决策过程。以往的研究表明，稳健的MDP，基于极大极小的方法来处理不确定性，可以解决使用动态规划的中小型问题。然而，由于“维数灾难”，模拟现实生活中的问题的MDP通常对于这种方法来说太大了。在这项工作中，我们采用了强化学习的方法来解决这个规划问题：我们开发了一个强大的近似动态规划方法的基础上，投影不动点方程近似解决大规模的强大MDP。我们证明了所提出的方法可证明是成功的，在一定的技术条件下，并证明其有效性，通过模拟的期权定价问题。据我们所知，这是第一次尝试扩大稳健的MDP范式。
2013-06-26 cs.LG stat.ML
Near-optimal Reinforcement Learning in Factored MDPs
Stanford University（斯坦福大学）
任何适用于所有马尔可夫决策过程（MDP）的强化学习算法都会在某些MDP上遭受$Ω(\sqrt{SAT})$遗憾，其中$T$是经过的时间，$S$和$A$是状态和动作空间的基数。这意味着需要$T = Ω(SA)$时间来保证接近最优的策略。在实际感兴趣的许多设置中，由于维数灾难，$S$和$A$可能非常巨大，以至于这种学习时间是不可接受的。我们建立，如果系统是已知的是一个\emph{factored} MDP，它是可能的，以实现遗憾，规模多项式的数量\emph{parameters}编码的因子MDP，这可能是指数小于$S$或$A$。我们提供了两种算法，满足近最佳的遗憾界在这种情况下：后验采样强化学习（PSRL）和置信上限算法（UCRL因子）。
2014-10-31 cs.LG stat.ML
Feature Reinforcement Learning: Part I: Unstructured MDPs
通用的、智能的、学习型的智能体在复杂的、不确定的、未知的和非马尔可夫的观察、行动和奖励序列中循环。另一方面，强化学习对于小的有限状态马尔可夫决策过程（MDP）已经发展得很好。到目前为止，从裸观测中提取正确的状态表示，也就是说，将一般代理设置减少到MDP框架，是一门涉及设计人员大量工作的艺术。这项工作的主要目标是自动化的减少过程，从而显着扩大了许多现有的强化学习算法和代理，采用它们的范围。在我们考虑将这种寻找合适的MDP的过程机械化之前，我们需要一个正式的客观标准。本文的主要贡献是发展这样一个标准。我还将各个部分集成到一个学习算法中。扩展到更现实的动态贝叶斯网络开发在第二部分。POMDPs的作用也被认为是在那里。
2009-06-09 cs.AI cs.IT cs.LG
Solving Continual Combinatorial Selection via Deep Reinforcement Learning
KAIST（韩国科学技术院）；King’s College London（伦敦国王学院）；Naver Corporation（Naver公司）
我们考虑马尔可夫决策过程（MDP）选择一个子集的项目在每一步，称为选择MDP（S-MDP）。S-MDP的大的状态和动作空间使得它们难以用典型的强化学习（RL）算法来解决，特别是当项目数量巨大时。在本文中，我们提出了一个深度RL算法来解决这个问题，采用以下关键思想。首先，我们将原始的S-MDP转换成迭代选择MDP（IS-MDP），这是等价于S-MDP的最优行动。IS-MDP将同时选择K个项目的联合动作分解为K个迭代选择，从而以指数级增加的状态为代价减少动作。其次，我们克服了这种状态空间爆炸，利用一种特殊的对称性IS-MDP与新的权重共享Q-网络，可证明保持足够的表达能力。各种实验表明，即使项目空间很大，我们的方法也能很好地工作，并且它可以扩展到项目空间与训练中使用的项目空间不同的环境。
2019-09-09 cs.AI cs.LG stat.ML
Logarithmic Switching Cost in Reinforcement Learning beyond Linear MDPs
UC Santa Barbara（加州大学圣巴巴拉分校）
在许多现实生活中的强化学习（RL）问题中，部署新策略的成本很高。在这些场景中，算法必须解决探索（这需要自适应性），同时稀疏地切换部署的策略（这限制了自适应性）。在本文中，我们超越了现有的国家的最先进的这个问题，集中在线性马尔可夫决策过程（MDP）考虑线性贝尔曼完全MDP低固有贝尔曼错误。我们提出了ELEANOR LowSwitching算法，该算法实现了接近最优的遗憾，其切换成本在事件数量上是对数的，在时间范围$H$和特征维度$d$上是线性的。我们还证明了一个下界成比例的$dH$在所有的算法与次线性遗憾。此外，我们还展示了在ELEANOR LowSwitching中使用的“加倍技巧”可以进一步用于广义线性函数近似，在此基础上，我们设计了一种具有接近最佳切换成本的样本高效算法。
2023-02-24 cs.AI cs.LG stat.ML
On the impact of MDP design for Reinforcement Learning agents in Resource Management
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
强化学习应用于资源管理的最新进展提出了MDP，但没有深入分析设计决策对代理性能的影响。本文比较和对比了四种不同的MDP变体，通过实证分析讨论了它们的计算要求以及对代理性能的影响。我们的结论表明，在我们的实验中，当使用多层感知器作为近似函数时，紧凑的状态表示允许环境之间的代理转移，并且转移的代理具有良好的性能，并且在80%的测试场景中优于专门的代理，即使没有重新训练。
2021-09-07 cs.AI
MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning
UvA-Bosch Deltalab（阿姆斯特丹大学-博世三角洲实验室）；University of Amsterdam（阿姆斯特丹大学）；Philips Lab（飞利浦实验室）；Delft University of Technology（代尔夫特理工大学）
本文介绍了用于深度强化学习的MDP同态网络。MDP同态网络是在MDP的联合状态-动作空间中的对称性下等变的神经网络。目前的深度强化学习方法通常不利用关于这种结构的知识。通过使用等方差约束将这些先验知识构建到策略和价值网络中，我们可以减小解空间的大小。我们特别关注群结构对称性（可逆变换）。此外，我们介绍了一种简单的方法，用于构造等变网络层的数值，所以系统设计者不需要解决的约束，通常是这样做的手。我们构造MDP同态MLP和CNN，它们在一组反射或旋转下是等变的。我们表明，这样的网络收敛速度比非结构化的基线CartPole，网格世界和乒乓球。
2021-01-20 cs.LG stat.ML
Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；DeepMind（深度思考公司）
在本文中，我们提出了新的问题独立的下界的样本的复杂性和遗憾的情节MDP，特别关注的非平稳的情况下，过渡内核允许在每个阶段的情节变化。我们的主要贡献是一个新的下界的$Ω((H^3SA/ε^2)\log(1/δ))$的样本复杂性的$(\varepsilon,δ)$ -PAC算法的最佳策略识别在非平稳MDP。这个下限依赖于“硬MDPs”的建设，这是不同于以前在文献中使用的。使用这同一类的MDP，我们也提供了一个严格的证明的$Ω(\sqrt{H^3SAT})$遗憾界的非平稳MDP。最后，我们讨论了PAC-MDP下界的连接。
2020-10-07 cs.LG stat.ML
Reinforcement Learning in the Wild with Maximum Likelihood-based Model Transfer
Zenseact；Chalmers University of Technology（查尔姆斯理工大学）；Scool；CRIStAL（里尔信号与自动化信息研究中心）；CNRS（法国国家科学研究中心）；University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）
在本文中，我们研究的问题，转移现有的马尔可夫决策过程（MDP）模型，学习和规划有效地在一个未知的，但类似的MDP。我们称之为\textit{Model Transfer Reinforcement Learning (MTRL)}问题。首先，我们制定MTRL离散MDP和线性二次调节器（LQR）连续状态行动。然后，我们提出了一个通用的两阶段算法，MLEMTRL，以解决离散和连续设置的MTRL问题。在第一阶段中，MLEMTRL使用基于\textit{constrained Maximum Likelihood Estimation (MLE)}的方法来使用一组已知的MDP模型来估计目标MDP模型。在第二阶段，使用估计的目标MDP模型，MLEMTRL部署一个基于模型的规划算法适合于MDP类。从理论上讲，我们证明了最坏情况下的遗憾界限MLEMTRL在可实现和不可实现的设置。我们的经验表明，MLEMTRL允许更快地学习新的MDP比从头开始学习，并达到接近最佳的性能取决于可用的MDP和目标MDP的相似性。
2023-02-18 cs.LG
Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act
Google Research（谷歌研究院）；Inria（法国国家信息与自动化研究所）；CRIStAL, CNRS, Université de Lille（里尔大学法国国家科学研究中心CRIStAL实验室）
传统上，强化学习（RL）旨在决定如何为人工智能体采取最佳行动。我们认为，决定何时采取行动同样重要。作为人类，我们会从默认的、本能的或记忆的行为转向专注的、深思熟虑的行为。为了增强具有这种能力的RL代理，我们建议增强标准马尔可夫决策过程，并提供一种新的行动模式：懒惰，这将决策推迟到默认策略。此外，我们惩罚非懒惰行为，以鼓励最小的努力，并使代理只关注关键决策。我们命名的形式主义懒惰的MDPs。我们研究了惰性MDP的理论性质，表达了价值函数并刻画了最优解。然后，我们实证表明，在懒惰的MDP学习的政策一般都带有一种形式的可解释性：通过建设，他们向我们展示了代理控制默认策略的状态。我们认为这些状态和相应的操作很重要，因为它们解释了默认策略和新的惰性策略之间的性能差异。使用次优策略作为默认（预训练或随机），我们观察到代理能够在Atari游戏中获得有竞争力的性能，同时只控制有限的状态子集。
2022-03-16 cs.AI cs.LG
Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Shanghai Jiao Tong University（上海交通大学）；Ford Motor Company（福特汽车公司）
本文提出MetaDreamer，一种基于上下文的元强化学习算法，通过潜在上下文插值想象和MDP想象减少数据需求，在数据效率和泛化上优于现有方法。
2023-11-11 cs.AI cs.LG cs.RO
On Practical Robust Reinforcement Learning: Practical Uncertainty Set and Double-Agent Algorithm
Hanyang University（汉阳大学）
本文针对鲁棒强化学习提出了一种排除不合理MDP的实用不确定性集合与基于样本的ARQ-Learning算法，并引入悲观智能体解决大状态空间扩展瓶颈，提出双智能体无模型算法，在保证收敛速度的同时提升了鲁棒性。
2023-11-20 cs.AI cs.LG
Reinforcement Learning: a Comparison of UCB Versus Alternative Adaptive Policies
Rutgers University（罗格斯大学）
在本文中，我们考虑的基本版本的强化学习（RL），涉及到计算最佳的数据驱动（自适应）的马尔可夫决策过程的转移概率未知的政策。我们提供了一个简短的调查，该地区的最先进的，我们比较了性能的经典UCB政策的\cc{bkmdp97}与一个新的政策，我们在这里开发的，我们称之为MDP-Deterministic最小经验分歧（MDP-DMED），和一个方法的基础上后验抽样（MDP-PS）。
2019-09-13 cs.AI cs.LG stat.ML
Extreme State Aggregation Beyond MDPs
Australian National University（澳大利亚国立大学）
我们考虑一个强化学习设置，其中智能体在观察-奖励-动作循环中与环境交互，而没有任何（特别是）MDP）对环境的假设。状态聚合和更一般的特征强化学习涉及将历史/原始状态映射到简化/聚合状态。两者背后的想法是，由此产生的简化过程（近似）形成一个小的稳态有限状态MDP，然后可以有效地求解或学习。我们大大推广现有的聚合结果表明，即使减少的过程是不是一个MDP，（q-）价值函数和（最佳）的政策相关联的MDP具有相同的状态空间大小解决了原来的问题，只要解决方案可以近似地表示为一个功能的减少状态。这意味着所需的状态空间大小的上限，保持一致的所有RL问题。这也可以解释为什么为MDP设计的RL算法有时表现得比MDP好。
2014-07-12 cs.AI cs.LG
Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs
Politecnico di Milano（米兰理工大学）
针对平滑连续空间 MDP，论文提出基于调和分析投影与正交三角多项式特征的扰动最小二乘值迭代，获得速率最优样本复杂度并统一 Lipschitz 与低秩 MDP 结果。
2024-05-10 cs.AI cs.LG
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Polynomial Time Reinforcement Learning in Factored State MDPs with Linear Value Functions
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Southern California（南加州大学）
实践中的许多强化学习（RL）环境以巨大的状态空间为特征，该状态空间可以由“因子化”结构来描述，该结构可以由因子化马尔可夫决策过程（FMDPs）来建模。我们提出了第一个多项式时间算法RL的因子状态MDPs（推广FMDPs），既不依赖于一个Oracle计划，也不需要一个线性过渡模型，它只需要一个线性价值函数与一个合适的本地基础上的因式分解，允许有效的变量消除。在这个假设下，我们可以通过构造一个有效的凸优化分离预言机，在多项式时间内求解这类分解状态MDP。重要的是，与FMDPs的先前工作相反，我们不假设各种因素的转换是有条件独立的。
2022-03-06 cs.LG
MDPGT: Momentum-based Decentralized Policy Gradient Tracking
Johnson Controls Inc.（江森自控有限公司）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
我们提出了一种新的策略梯度方法用于多智能体强化学习，该方法利用两种不同的方差减少技术，并且不需要大批量迭代。具体来说，我们提出了一个基于动量的分散策略梯度跟踪（MDPGT），其中一个新的基于动量的方差减少技术被用来近似的本地策略梯度代理的重要性采样，和一个中间参数被用来跟踪两个连续的策略梯度代理。此外，MDPGT可证明地实现了最佳的可用样本复杂度的$\mathcal{O}(N^{-1}ε^{-3})$收敛到一个$ε$ -平稳点的全局平均值的$N$本地性能函数（可能是非凹的）。这优于分散式无模型强化学习中最先进的样本复杂度，并且当用单个轨迹初始化时，样本复杂度与现有分散式策略梯度方法获得的样本复杂度相匹配。我们进一步验证了高斯策略函数的理论主张。当所需的误差容限$ε$足够小时，MDPGT导致线性加速，这在分散随机优化中已经建立，但对于强化学习则不是。最后，我们提供了一个多智能体强化学习基准环境的实证结果，以支持我们的理论研究结果。
2021-12-06 cs.AI cs.LG
Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）在具有连续状态空间的复杂非线性马尔可夫决策过程（MDP）中是经验上成功的。相比之下，大多数理论RL文献要求MDP满足某种形式的线性结构，以保证样本有效RL。这种努力通常假设MDP的转换动态或价值函数由状态特征的线性函数描述。为了解决理论与实践之间的这种差异，我们引入了有效规划窗口（EPW）条件，这是MDP的结构条件，没有线性假设。我们证明了EPW条件允许样本有效的RL，通过提供一个算法，可证明解决MDPs满足这个条件。我们的算法需要最少的假设的政策类，其中可以包括多层神经网络的非线性激活函数。值得注意的是，EPW条件是直接受流行的游戏基准，我们表明，许多经典的雅达利游戏满足这一条件。我们还显示了必要性的条件，如EPW，通过证明，简单的MDP与轻微的非线性不能有效地解决样本。
2021-06-15 cs.AI cs.LG stat.ML
Reinforcement Learning with Exogenous States and Rewards
Intercom Dublin（Intercom 布鲁姆斯贝克）；Collaborative Robotics and Intelligent Systems (CoRIS) Institute（协同机器人与智能系统研究所）；Oregon State University（俄勒冈州立大学）
本文提出了一种分解外源与内源状态和奖励的方法，通过分离外源噪声以提升强化学习效率。
2026-01-14 cs.AI cs.LG stat.ML
Local Linearity: the Key for No-regret Reinforcement Learning in Continuous MDPs
Politecnico di Milano（米兰理工大学）
针对连续状态动作空间MDP中RL无悔实现的开放难题，提出可局部线性化MDP新表示类与Cinderella无悔算法，证明其涵盖所有已知可行MDP族并取得当前最优遗憾界。
2024-10-31 cs.LG
Formal Controller Synthesis for Continuous-Space MDPs via Model-Free Reinforcement Learning
Ludwig Maximilian University of Munich（慕尼黑大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Newcastle University（纽卡斯尔大学）
提出了一种新的用于连续空间马尔可夫决策过程（MDP）策略综合的强化学习方法。该方案使人们能够应用无模型的，现成的强化学习算法的有限MDP计算相应的连续空间MDP的最佳策略，而无需显式地构建有限状态抽象。所提出的方法是基于抽象的系统与一个有限的MDP（没有明确地构建它）与未知的转移概率，综合战略的抽象MDP，然后映射到具体的连续空间MDP与近似最优性保证的结果。感兴趣的系统的属性属于一个片段的线性时序逻辑，被称为语法共同安全的线性时序逻辑（scLTL），和合成的要求是在给定的有界时间范围内的满意度的概率最大化。本文的一个关键贡献是利用有限MDP上强化学习的经典收敛结果，并提供控制策略，最大化未知连续空间MDP的满意概率，同时提供概率接近度保证。基于自动机的奖励函数通常是稀疏的;我们提出了一种新的基于潜力的奖励整形技术，以产生密集的奖励来加速学习。所提出的方法的有效性证明了将其应用到三个物理基准的调节房间的温度，控制的道路交通细胞，和一个7维的非线性模型的宝马320 i汽车。
2020-03-02 cs.LG cs.SY eess.SY
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；Kakao Brain
在本文中，我们提出了一类新的马尔可夫决策过程（MDP），称为Tsallis MDP，Tsallis熵最大化，推广现有的最大熵强化学习（RL）。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架，包括著名的标准香农-吉布斯（SG）熵，使用额外的实值参数，称为熵指数。通过控制熵指数，我们可以产生各种类型的熵，包括SG熵，不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析，包括最优性条件，性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题，我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值，并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题，我们发现，一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估，并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
本文针对无限期平均奖励线性MDP，提出通过折扣MDP近似结合乐观值迭代的算法，首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Reinforcement Learning in Rich-Observation MDPs using Spectral Methods
University California, Irvine（加州大学欧文分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院）；California institute of technology（加州理工学院）
大状态空间马尔可夫决策过程的强化学习是一个具有挑战性的问题。标准强化学习算法的性能随着状态空间维数的增加而急剧下降。然而，在实践中，这些大的MDP通常包含潜在的或隐藏的低维结构。本文研究了富观测马尔可夫决策过程（ROMDP）的设定问题，其中有少量隐状态与观测状态具有内射映射.换句话说，每个观察状态都是通过单个隐藏状态生成的，并且这种映射是先验未知的。我们引入了一种谱分解方法，该方法始终学习该映射，更重要的是，以低遗憾实现该映射。估计映射被集成到乐观RL算法（UCRL），该算法对估计的隐藏空间进行操作。我们推导出有限时间遗憾的界限，我们的算法与观察空间的维数弱依赖。事实上，我们的算法渐近地实现了相同的平均遗憾的甲骨文UCRL算法，它具有从隐藏到观察空间的映射的知识。因此，我们得到一个有效的谱RL算法ROMDPs。
2018-06-19 cs.AI cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection
Universitat Pompeu Fabra（庞培法布拉大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；Microsoft Research（微软研究院）；Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook人工智能研究院）
研究了线性结构有限时域马尔可夫决策过程中状态-行动价值函数的表示在后悔最小化中的作用。首先，我们推导出一个必要条件的表示，称为普遍生成的最佳功能（UNISOFT），以实现恒定的遗憾，在任何MDP与线性奖励函数。这个结果包含了低秩MDP的众所周知的设置，更一般地说，零固有贝尔曼误差（也称为贝尔曼闭包假设）。然后，我们证明了这一条件也是足够的，这些类的问题，推导出一个恒定的遗憾界的两个乐观算法（LSVI-UCB和ELEANOR）。最后，我们提出了一个算法表示选择，我们证明，它实现了恒定的遗憾时，给定的表示，或适当的组合，满足UNISOFT条件。
2021-10-27 cs.LG
Agnostic Reinforcement Learning with Low-Rank MDPs and Rich Observations
Cornell University（康奈尔大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
最近，关于可证明有效的强化学习（RL）在具有丰富观测空间的问题中取得了许多进展。然而，所有这些工作都有一个关于真实MDP的最优价值函数的强可实现性假设。这种可实现性假设往往过于强大，在实践中无法坚持。在这项工作中，我们考虑更现实的设置不可知RL丰富的观察空间和固定类的政策$Π$，可能不包含任何接近最优的政策。我们提供了一个算法，该设置的误差是有界的排名$d$的底层MDP。具体来说，我们的算法的样本复杂度界限为$\widetilde{O}\left((H^{4d} K^{3d} \log |Π|)/ε^2\right)$，其中$H$是剧集长度，$K$是动作数量，而$ε>0$是所需的次最优性。我们还提供了一个几乎匹配的下限，这个不可知的设置，表明指数依赖秩是不可避免的，没有进一步的假设。
2021-06-22 cs.AI cs.LG cs.SY
Parameterized MDPs and Reinforcement Learning Problems -- A Maximum Entropy Principle Based Framework
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个框架来解决一类顺序决策问题。我们的框架功能学习的最优控制政策与噪声数据的鲁棒性，确定未知的状态和动作参数，并进行灵敏度分析的问题参数。我们考虑两大类连续的决策问题建模为无限地平线马尔可夫决策过程（MDP）（和没有）的吸收状态。我们的框架的核心思想是量化探索的香农熵的MDP下的轨迹，并确定随机的政策，最大限度地提高它，同时保证沿轨迹的预期成本的低值。由此产生的策略增强了学习过程早期的探索质量，因此即使在存在噪声数据的情况下也可以实现更快的收敛速度和鲁棒的解决方案，这一点在我们与Q学习，双Q学习和熵正则化软Q学习等流行算法的比较中得到了证明。该框架扩展到参数化MDP和RL问题类，其中状态和动作是参数相关的，目标是确定最优参数以及相应的最优策略。这里，相关联的成本函数可能是具有多个差的局部最小值的非凸的。应用于5G小小区网络问题的仿真结果证明了通信路由和小小区位置的成功确定。我们还获得了问题参数的敏感性措施和噪声环境数据的鲁棒性。
2022-01-19 cs.AI cs.LG
Active Reinforcement Learning over MDPs
在过去的十年中，强化学习得到了快速的发展，它通过大量的训练资源获得了令人印象深刻的性能。然而，RL中最大的挑战之一是泛化效率（即，单位时间内的泛化性能）。本文提出了一种基于MDP的主动强化学习（ARL）框架，通过实例选择来提高有限资源下的泛化效率。该算法在训练策略的同时，根据给定的实例数量，选择有价值的实例作为训练集，从而节省资源。与现有的方法不同，我们试图主动选择和使用训练数据，而不是对所有给定的数据进行训练，从而节省资源。此外，我们引入了一个通用的实例评估指标和选择机制的框架。实验结果表明，该框架以近端策略优化为策略优化器，较无选择和无偏选择方法能有效提高泛化效率。
2021-08-17 cs.LG
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning
Harvard University（哈佛大学）；The Ohio State University（俄亥俄州立大学）
在预测-然后-优化框架中，目标是训练预测模型，将环境特征映射到优化问题的参数，从而在随后求解优化时最大化决策质量。最近关于以决策为中心的学习的工作表明，与依赖中间损失函数来评估预测质量相比，在训练管道中嵌入优化问题可以提高决策质量，并有助于更好地推广到看不见的任务。我们研究了预测，然后优化框架的顺序决策问题（制定为MDP）的背景下，通过强化学习解决。特别是，我们给出了环境特征和一组来自训练MDP的轨迹，我们用它来训练一个预测模型，该模型可以推广到没有轨迹的看不见的测试MDP。在将以决策为中心的学习应用于MDP时，出现了两个重要的计算挑战：（i）大的状态和动作空间使得现有技术无法区分MDP问题，以及（ii）由神经网络参数化的高维策略空间使得通过策略进行区分变得昂贵。我们解决了第一个挑战，通过采样可证明无偏的衍生物近似和区分通过最优性条件，和第二个挑战，通过使用一个低秩近似的高维样本为基础的衍生物。我们实现贝尔曼-基于和策略梯度-基于决策为中心的学习三个不同的MDP问题与丢失的参数，并表明，决策为中心的学习表现更好的泛化看不见的任务。
2022-07-16 cs.LG
Counteractive RL: Rethinking Core Principles for Efficient and Scalable Deep Reinforcement Learning
Ezgi Korkmaz
本文提出基于对抗性行动经验的理论新范式，解决高维MDP中状态空间爆炸导致的计算复杂性与策略成功率矛盾，通过实验验证方法在高维环境中的高效性和样本效率。
2026-03-16 cs.AI cs.LG
Learning is planning: near Bayes-optimal reinforcement learning via Monte-Carlo tree search
Rutgers University（罗格斯大学）
贝叶斯最优行为虽然定义明确，但往往难以实现。蒙特卡罗树搜索（MCTS）的最新进展表明，它是可能的行动接近最佳的马尔可夫决策过程（MDP）非常大或无限的状态空间。未知MDP中的贝叶斯最优行为等同于已知置信空间MDP中的最优行为，尽管该置信空间MDP的大小随着所保留的历史量呈指数增长，并且可能是无限的。我们展示了一个代理如何使用一个特定的MCTS算法，前向搜索稀疏采样（FSSS），在一个有效的方式采取行动几乎贝叶斯最优的所有步骤，但多项式数量，假设FSSS可以用来有效地采取行动，在任何可能的底层MDP。
2012-02-14 cs.AI
Joint MDPs and Reinforcement Learning in Coupled-Dynamics Environments
Elmore Family School of Electrical and Computer Engineering, Purdue University（电气与计算机工程学院，普渡大学）
本文提出联合MDP框架，用于处理耦合动态环境中的多动作因果结果耦合问题，并推导了第n阶回报矩的贝尔曼算子，提供收敛保证的动态规划算法。
2026-08-18 cs.LG math.OC
Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms and Tighter Regret Bounds for the Non-Episodic Setting
University of Michigan（密歇根大学）
我们研究了非情景因子马尔可夫决策过程（FMDPs）中的强化学习。我们提出了两个接近最佳和甲骨文效率的算法FMDPs。假设甲骨文访问FMDP计划，他们享受贝叶斯和频率论的遗憾界分别，这两个减少到接近最优的界$\widetilde{O}(DS\sqrt{AT})$标准的非因子MDP。我们提出了一个更严格的连接措施，因子跨度，FMDPs和证明了一个下界，取决于因子跨度，而不是直径$D$。为了减少上下界之间的差距，我们提出了一个自适应的REGAL. C算法，其遗憾界取决于因子跨度。我们的甲骨文高效的算法优于以前提出的计算机网络管理模拟接近最佳的算法。
2020-06-06 cs.LG stat.ML
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架，如$E^3$，$R_{max}$，汤普森采样假设一个单一的固定MDP，并不适合系统辨识在多任务设置。我们提出了一种新的方法，以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法，以学习底层的MDP分布，并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法，并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
Accelerating the Computation of UCB and Related Indices for Reinforcement Learning
Rutgers University（罗格斯大学）
在本文中，我们推导出一个有效的方法来计算与Burnetas和Katehakis（1997）的渐近最优置信上界算法（MDP-UCB）相关的指标，该算法只需要求解两个未知数的两个非线性方程组，而与马尔可夫决策过程（MDP）的状态空间的基数无关。此外，我们还开发了一种类似的加速方法，用于计算Cowan等人（2019）开发的MDP-确定性最小经验发散（MDP-DMED）算法的指数，该算法基于Honda和Takemura（2011）的想法，涉及求解一个变量的单个方程。我们提供的实验结果表明，这些算法的计算时间节省和遗憾的性能。在这些比较中，我们还考虑了乐观线性规划（OLP）算法（Tewari和Bartlett，2008）和基于后验采样的方法（MDP-PS）。
2019-09-28 cs.AI cs.LG stat.ML
LISPR: An Options Framework for Policy Reuse with Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们提出了一个框架，将任何现有的政策从一个潜在的未知源MDP的目标MDP。该框架（1）使得能够在目标域中重用任何形式的源策略，包括经典控制器、启发式策略或基于深度神经网络的策略，（2）在合适的理论条件下获得最优性，以及（3）保证在目标MDP中对源策略的改进。这些是通过将源策略打包为目标MDP中的黑盒选项并提供理论上有基础的方法来通过一般价值函数学习选项的初始集来实现的。我们的方法通过以下方式促进新策略的学习：（1）在黑盒选项的帮助下最大化目标MDP奖励，以及（2）将代理返回到黑盒选项的学习初始集中已经最优的状态。我们表明，这两个变种是等价的性能在某些条件下。通过在模拟环境中的一系列实验，我们证明了我们的框架表现出色的稀疏奖励问题（次）最优源政策，并改善现有技术的传输方法，如持续学习和渐进网络，缺乏我们的框架的理想的理论属性。
2020-12-29 cs.AI cs.LG
Low-Dimensional State and Action Representation Learning with MDP Homomorphism Metrics
University of Twente（特文特大学）；Saxion University of Applied Sciences（萨克逊应用科学大学）
深度强化学习已经显示出它直接从高维观测中解决复杂问题的能力。然而，在端到端设置中，强化学习算法不是样本效率高的，并且需要很长的训练时间和大量的数据。在这项工作中，我们提出了一个样本高效的强化学习框架，利用状态和动作表示将高维问题转化为低维问题。此外，我们试图找到最佳的政策映射潜在的状态，潜在的行动。因为现在的策略是在抽象表示上学习的，所以我们使用辅助损失函数来强制将这样的策略提升到原始问题域。结果表明，新框架可以有效地学习低维和可解释的状态和动作表示和最优的潜在策略。
2021-07-04 cs.AI cs.LG
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高，更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程（MDP）的无模型算法。第一个算法减少了问题的折扣奖励版本，并实现$\mathcal{O}(T^{2/3})$遗憾后，$T$步骤，弱通信的MDP的最小假设。据我们所知，这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展，对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$，虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人（2019 a）在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Observational Overfitting in Reinforcement Learning
Google（谷歌）；MIT（麻省理工学院）
无模型强化学习（RL）中过拟合的一个主要组成部分涉及代理可能错误地将奖励与马尔可夫决策过程（MDP）生成的观察结果中的某些虚假特征相关联的情况。我们提供了一个通用的框架来分析这种情况下，我们用它来设计多个合成基准，只修改一个MDP的观察空间。当一个代理过拟合到不同的观察空间，即使潜在的MDP动态是固定的，我们称之为观察过拟合。我们的实验揭示了有趣的特性，特别是关于隐式正则化，也证实了以前的工作在RL泛化和监督学习（SL）的结果。
2019-12-28 cs.AI cs.LG stat.ML
The Impact of Task Underspecification in Evaluating Deep Reinforcement Learning
MIT（麻省理工学院）
深度强化学习（DRL）方法的评估是该领域科学进步的一个组成部分。除了为一般智能设计DRL方法之外，设计特定任务的方法在现实世界的应用中变得越来越突出。在这些设置中，标准的评估实践涉及使用马尔可夫决策过程（MDP）的一些实例来表示任务。然而，由于底层环境的变化，特别是在现实世界的背景下，许多任务诱导一个大家庭的MDPs。例如，在交通信号控制中，变化可能源于交叉口几何形状和交通流量水平。因此，选择的MDP实例可能会无意中导致过拟合，缺乏统计能力来得出关于该方法在整个家族中的真实性能的结论。在这篇文章中，我们增加DRL评估，考虑参数化的家庭的MDP。我们发现，在选择MDP实例的DRL方法的评估相比，评估MDP家庭往往会产生一个显着不同的相对排名的方法，什么方法应该被认为是最先进的怀疑。我们验证这种现象在标准控制基准和现实世界中的应用交通信号控制。同时，我们表明，准确评估的MDP家庭是不平凡的。总的来说，这项工作确定了强化学习中经验严谨性的新挑战，特别是当DRL的结果渗透到下游决策中时。
2022-10-16 cs.AI cs.LG cs.RO
Differentially Private Reinforcement Learning with Linear Function Approximation
Wayne State University（韦恩州立大学）
基于强化学习（RL）在个性化服务中的广泛应用，研究了差分隐私（DP）约束下有限时域马尔可夫决策过程（MDP）的后悔最小化问题.与现有的仅在表格有限状态，有限动作MDP上工作的私有RL算法相比，我们在具有大状态和动作空间的MDP中迈出了隐私保护学习的第一步。具体而言，我们认为MDP与线性函数近似（特别是线性混合MDP）的概念下的联合差分隐私（JDP），其中RL代理负责保护用户的敏感数据。我们设计了两种分别基于值迭代和策略优化的私有强化学习算法，并证明了它们在保证隐私保护的同时具有次线性后悔性能.此外，遗憾界与状态数无关，且最大程度上与行为数成比例，适用于大规模个性化服务中的隐私保护.我们的研究结果是通过一个一般的过程中学习线性混合MDP下不断变化的正则化，这不仅推广了以前的结果，非私人学习，但也作为一般的私人强化学习的积木。
2022-03-21 cs.LG
Near Instance-Optimal PAC Reinforcement Learning for Deterministic MDPs
Meta AI；UMPA, ENS Lyon（里昂高等师范学院纯数学与应用数学实验室）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
在可能近似正确（PAC）强化学习（RL）中，需要代理以概率$1-δ$识别$ε$ -最优策略。虽然极大极小优化算法存在于这个问题，其实例依赖的复杂性仍然难以捉摸的情节马尔可夫决策过程（MDP）。在本文中，我们提出了第一个几乎匹配（到地平线平方因子和对数项）上界和下界的样本复杂性的PAC RL在确定性的情节MDP有限的状态和动作空间。特别是，我们的边界功能的状态-动作对，我们称之为确定性的回报差距的次优差距的新概念。虽然我们的实例相关的下限被写为线性规划，但我们的算法非常简单，并且在学习过程中不需要解决这样的优化问题。它们的设计和分析采用了新的思想，包括图论概念（最小流）和新的最大覆盖率探索策略。
2022-10-24 cs.LG stat.ML
Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
Aalborg University（奥尔堡大学）；Radboud University（拉德堡德大学）；Ruhr University Bochum（波鸿鲁尔大学）
本文针对已知MDP转移图但转移概率未知的场景，提出将概率屏蔽与在线模型学习结合的自适应方法，通过实验验证其在安全强化学习中的有效性。
2026-08-21 cs.AI cs.LG cs.LO
Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning
Sapienza University of Rome（罗马萨皮恩扎大学）；King’s College London（伦敦国王学院）
本文提出可实现的抽象概念，通过定义新的关系解决HRL中抽象的表达能力和效率保证问题，并提出RARL算法生成近最优的低层策略。
2025-12-04 cs.AI cs.LG
