Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University（首尔大学）
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act
Google Research（谷歌研究院）；Inria（法国国家信息与自动化研究所）；CRIStAL, CNRS, Université de Lille（里尔大学法国国家科学研究中心CRIStAL实验室）
传统上，强化学习（RL）旨在决定如何为人工智能体采取最佳行动。我们认为，决定何时采取行动同样重要。作为人类，我们会从默认的、本能的或记忆的行为转向专注的、深思熟虑的行为。为了增强具有这种能力的RL代理，我们建议增强标准马尔可夫决策过程，并提供一种新的行动模式：懒惰，这将决策推迟到默认策略。此外，我们惩罚非懒惰行为，以鼓励最小的努力，并使代理只关注关键决策。我们命名的形式主义懒惰的MDPs。我们研究了惰性MDP的理论性质，表达了价值函数并刻画了最优解。然后，我们实证表明，在懒惰的MDP学习的政策一般都带有一种形式的可解释性：通过建设，他们向我们展示了代理控制默认策略的状态。我们认为这些状态和相应的操作很重要，因为它们解释了默认策略和新的惰性策略之间的性能差异。使用次优策略作为默认（预训练或随机），我们观察到代理能够在Atari游戏中获得有竞争力的性能，同时只控制有限的状态子集。
2022-03-16 cs.AI cs.LG
On Practical Robust Reinforcement Learning: Practical Uncertainty Set and Double-Agent Algorithm
Hanyang University（汉阳大学）
本文针对鲁棒强化学习提出了一种排除不合理MDP的实用不确定性集合与基于样本的ARQ-Learning算法，并引入悲观智能体解决大状态空间扩展瓶颈，提出双智能体无模型算法，在保证收敛速度的同时提升了鲁棒性。
2023-11-20 cs.AI cs.LG
DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs
Oregon State University（俄勒冈州立大学）
本文提出DAC-MDP，一种基于深度表示的非参数MDP方法，通过引入成本处理有限数据，实现可扩展且支持零样本调整的离线强化学习。
2025-02-04 cs.AI cs.LG stat.ML
Extreme State Aggregation Beyond MDPs
Australian National University（澳大利亚国立大学）
我们考虑一个强化学习设置，其中智能体在观察-奖励-动作循环中与环境交互，而没有任何（特别是）MDP）对环境的假设。状态聚合和更一般的特征强化学习涉及将历史/原始状态映射到简化/聚合状态。两者背后的想法是，由此产生的简化过程（近似）形成一个小的稳态有限状态MDP，然后可以有效地求解或学习。我们大大推广现有的聚合结果表明，即使减少的过程是不是一个MDP，（q-）价值函数和（最佳）的政策相关联的MDP具有相同的状态空间大小解决了原来的问题，只要解决方案可以近似地表示为一个功能的减少状态。这意味着所需的状态空间大小的上限，保持一致的所有RL问题。这也可以解释为什么为MDP设计的RL算法有时表现得比MDP好。
2014-07-12 cs.AI cs.LG
Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs
Politecnico di Milano（米兰理工大学）
针对平滑连续空间 MDP，论文提出基于调和分析投影与正交三角多项式特征的扰动最小二乘值迭代，获得速率最优样本复杂度并统一 Lipschitz 与低秩 MDP 结果。
2024-05-10 cs.AI cs.LG
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
MDPGT: Momentum-based Decentralized Policy Gradient Tracking
Johnson Controls Inc.（江森自控有限公司）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
我们提出了一种新的策略梯度方法用于多智能体强化学习，该方法利用两种不同的方差减少技术，并且不需要大批量迭代。具体来说，我们提出了一个基于动量的分散策略梯度跟踪（MDPGT），其中一个新的基于动量的方差减少技术被用来近似的本地策略梯度代理的重要性采样，和一个中间参数被用来跟踪两个连续的策略梯度代理。此外，MDPGT可证明地实现了最佳的可用样本复杂度的$\mathcal{O}(N^{-1}ε^{-3})$收敛到一个$ε$ -平稳点的全局平均值的$N$本地性能函数（可能是非凹的）。这优于分散式无模型强化学习中最先进的样本复杂度，并且当用单个轨迹初始化时，样本复杂度与现有分散式策略梯度方法获得的样本复杂度相匹配。我们进一步验证了高斯策略函数的理论主张。当所需的误差容限$ε$足够小时，MDPGT导致线性加速，这在分散随机优化中已经建立，但对于强化学习则不是。最后，我们提供了一个多智能体强化学习基准环境的实证结果，以支持我们的理论研究结果。
2021-12-06 cs.AI cs.LG
Solving Continual Combinatorial Selection via Deep Reinforcement Learning
KAIST（韩国科学技术院）；King’s College London（伦敦国王学院）；Naver Corporation（Naver公司）
我们考虑马尔可夫决策过程（MDP）选择一个子集的项目在每一步，称为选择MDP（S-MDP）。S-MDP的大的状态和动作空间使得它们难以用典型的强化学习（RL）算法来解决，特别是当项目数量巨大时。在本文中，我们提出了一个深度RL算法来解决这个问题，采用以下关键思想。首先，我们将原始的S-MDP转换成迭代选择MDP（IS-MDP），这是等价于S-MDP的最优行动。IS-MDP将同时选择K个项目的联合动作分解为K个迭代选择，从而以指数级增加的状态为代价减少动作。其次，我们克服了这种状态空间爆炸，利用一种特殊的对称性IS-MDP与新的权重共享Q-网络，可证明保持足够的表达能力。各种实验表明，即使项目空间很大，我们的方法也能很好地工作，并且它可以扩展到项目空间与训练中使用的项目空间不同的环境。
2019-09-09 cs.AI cs.LG stat.ML
On the impact of MDP design for Reinforcement Learning agents in Resource Management
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
强化学习应用于资源管理的最新进展提出了MDP，但没有深入分析设计决策对代理性能的影响。本文比较和对比了四种不同的MDP变体，通过实证分析讨论了它们的计算要求以及对代理性能的影响。我们的结论表明，在我们的实验中，当使用多层感知器作为近似函数时，紧凑的状态表示允许环境之间的代理转移，并且转移的代理具有良好的性能，并且在80%的测试场景中优于专门的代理，即使没有重新训练。
2021-09-07 cs.AI
Logarithmic Switching Cost in Reinforcement Learning beyond Linear MDPs
UC Santa Barbara（加州大学圣巴巴拉分校）
在许多现实生活中的强化学习（RL）问题中，部署新策略的成本很高。在这些场景中，算法必须解决探索（这需要自适应性），同时稀疏地切换部署的策略（这限制了自适应性）。在本文中，我们超越了现有的国家的最先进的这个问题，集中在线性马尔可夫决策过程（MDP）考虑线性贝尔曼完全MDP低固有贝尔曼错误。我们提出了ELEANOR LowSwitching算法，该算法实现了接近最优的遗憾，其切换成本在事件数量上是对数的，在时间范围$H$和特征维度$d$上是线性的。我们还证明了一个下界成比例的$dH$在所有的算法与次线性遗憾。此外，我们还展示了在ELEANOR LowSwitching中使用的“加倍技巧”可以进一步用于广义线性函数近似，在此基础上，我们设计了一种具有接近最佳切换成本的样本高效算法。
2023-02-24 cs.AI cs.LG stat.ML
REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs
University of California at Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供了一个算法，实现了最佳的遗憾率在未知的弱通信马尔可夫决策过程（MDP）。该算法在情节中进行，在每个情节中，它基于最优偏置向量的跨度使用正则化来选择策略。对于具有S个状态和A个作用的MDP，其最优偏置向量的跨度以H为界，我们给出了~O（HSpAT）的遗憾界。我们还将跨度与MDP相关的各种直径样量，展示了我们的结果如何改善以前的遗憾界限。
2012-05-09 cs.LG
Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping
University of California, Los Angeles（加州大学洛杉矶分校）
强化学习中的现代任务具有大的状态和动作空间。为了有效地处理它们，人们通常使用预定义的特征映射来表示低维空间中的状态和动作。本文研究了折扣马尔可夫决策过程的强化学习，其中转移核可以参数化为特定特征映射的线性函数。我们提出了一种新的算法，利用特征映射，并获得一个$\tilde O(d\sqrt{T}/(1-γ)^2)$遗憾，其中$d$是特征空间的维度，$T$是时间范围和$γ$是折扣因子的MDP。据我们所知，这是第一个多项式遗憾界，没有访问生成模型或作出强假设，如遍历的MDP。通过构造一类特殊的MDP，我们还证明了对于任何算法，遗憾是由$Ω(d\sqrt{T}/(1-γ)^{1.5})$下界。我们的上限和下限结果一起表明，所提出的强化学习算法是接近最佳的$(1-γ)^{-0.5}$因素。
2021-02-22 cs.AI cs.LG math.OC
Scaling Up Robust MDPs by Reinforcement Learning
The Technion - Israel Institute of Technology（以色列理工学院）；National University of Singapore（新加坡国立大学）
在鲁棒马尔可夫决策过程范式下，研究了具有参数不确定性的大规模马尔可夫决策过程。以往的研究表明，稳健的MDP，基于极大极小的方法来处理不确定性，可以解决使用动态规划的中小型问题。然而，由于“维数灾难”，模拟现实生活中的问题的MDP通常对于这种方法来说太大了。在这项工作中，我们采用了强化学习的方法来解决这个规划问题：我们开发了一个强大的近似动态规划方法的基础上，投影不动点方程近似解决大规模的强大MDP。我们证明了所提出的方法可证明是成功的，在一定的技术条件下，并证明其有效性，通过模拟的期权定价问题。据我们所知，这是第一次尝试扩大稳健的MDP范式。
2013-06-26 cs.LG stat.ML
Feature Reinforcement Learning: Part I: Unstructured MDPs
通用的、智能的、学习型的智能体在复杂的、不确定的、未知的和非马尔可夫的观察、行动和奖励序列中循环。另一方面，强化学习对于小的有限状态马尔可夫决策过程（MDP）已经发展得很好。到目前为止，从裸观测中提取正确的状态表示，也就是说，将一般代理设置减少到MDP框架，是一门涉及设计人员大量工作的艺术。这项工作的主要目标是自动化的减少过程，从而显着扩大了许多现有的强化学习算法和代理，采用它们的范围。在我们考虑将这种寻找合适的MDP的过程机械化之前，我们需要一个正式的客观标准。本文的主要贡献是发展这样一个标准。我还将各个部分集成到一个学习算法中。扩展到更现实的动态贝叶斯网络开发在第二部分。POMDPs的作用也被认为是在那里。
2009-06-09 cs.AI cs.IT cs.LG
Blackwell Online Learning for Markov Decision Processes
New York University（纽约大学）
这项工作提供了一个新的解释马尔可夫决策过程（MDP）从在线优化的观点。在这样的在线优化上下文中，MDP的策略被视为决策变量，而相应的价值函数被视为来自环境的回报反馈。基于这种解释，我们构建了一个Blackwell游戏诱导的MDP，它的桥梁之间的差距遗憾最小化，Blackwell可接近性理论，学习理论MDP。具体来说，从可逼近性理论，我们提出了1）Blackwell值迭代离线规划和2）Blackwell $Q-$学习在线学习在MDP，这两个都被证明是收敛到最优解。我们的理论保证得到了数值实验的证实。
2020-12-28 cs.LG
Near-optimal Reinforcement Learning in Factored MDPs
Stanford University（斯坦福大学）
任何适用于所有马尔可夫决策过程（MDP）的强化学习算法都会在某些MDP上遭受$Ω(\sqrt{SAT})$遗憾，其中$T$是经过的时间，$S$和$A$是状态和动作空间的基数。这意味着需要$T = Ω(SA)$时间来保证接近最优的策略。在实际感兴趣的许多设置中，由于维数灾难，$S$和$A$可能非常巨大，以至于这种学习时间是不可接受的。我们建立，如果系统是已知的是一个\emph{factored} MDP，它是可能的，以实现遗憾，规模多项式的数量\emph{parameters}编码的因子MDP，这可能是指数小于$S$或$A$。我们提供了两种算法，满足近最佳的遗憾界在这种情况下：后验采样强化学习（PSRL）和置信上限算法（UCRL因子）。
2014-10-31 cs.LG stat.ML
Reinforcement Learning in the Wild with Maximum Likelihood-based Model Transfer
Zenseact；Chalmers University of Technology（查尔姆斯理工大学）；Scool；CRIStAL（里尔信号与自动化信息研究中心）；CNRS（法国国家科学研究中心）；University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）
在本文中，我们研究的问题，转移现有的马尔可夫决策过程（MDP）模型，学习和规划有效地在一个未知的，但类似的MDP。我们称之为\textit{Model Transfer Reinforcement Learning (MTRL)}问题。首先，我们制定MTRL离散MDP和线性二次调节器（LQR）连续状态行动。然后，我们提出了一个通用的两阶段算法，MLEMTRL，以解决离散和连续设置的MTRL问题。在第一阶段中，MLEMTRL使用基于\textit{constrained Maximum Likelihood Estimation (MLE)}的方法来使用一组已知的MDP模型来估计目标MDP模型。在第二阶段，使用估计的目标MDP模型，MLEMTRL部署一个基于模型的规划算法适合于MDP类。从理论上讲，我们证明了最坏情况下的遗憾界限MLEMTRL在可实现和不可实现的设置。我们的经验表明，MLEMTRL允许更快地学习新的MDP比从头开始学习，并达到接近最佳的性能取决于可用的MDP和目标MDP的相似性。
2023-02-18 cs.LG
Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Shanghai Jiao Tong University（上海交通大学）；Ford Motor Company（福特汽车公司）
本文提出MetaDreamer，一种基于上下文的元强化学习算法，通过潜在上下文插值想象和MDP想象减少数据需求，在数据效率和泛化上优于现有方法。
2023-11-11 cs.AI cs.LG cs.RO
Reinforcement Learning: a Comparison of UCB Versus Alternative Adaptive Policies
Rutgers University（罗格斯大学）
在本文中，我们考虑的基本版本的强化学习（RL），涉及到计算最佳的数据驱动（自适应）的马尔可夫决策过程的转移概率未知的政策。我们提供了一个简短的调查，该地区的最先进的，我们比较了性能的经典UCB政策的\cc{bkmdp97}与一个新的政策，我们在这里开发的，我们称之为MDP-Deterministic最小经验分歧（MDP-DMED），和一个方法的基础上后验抽样（MDP-PS）。
2019-09-13 cs.AI cs.LG stat.ML
Parameterized MDPs and Reinforcement Learning Problems -- A Maximum Entropy Principle Based Framework
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个框架来解决一类顺序决策问题。我们的框架功能学习的最优控制政策与噪声数据的鲁棒性，确定未知的状态和动作参数，并进行灵敏度分析的问题参数。我们考虑两大类连续的决策问题建模为无限地平线马尔可夫决策过程（MDP）（和没有）的吸收状态。我们的框架的核心思想是量化探索的香农熵的MDP下的轨迹，并确定随机的政策，最大限度地提高它，同时保证沿轨迹的预期成本的低值。由此产生的策略增强了学习过程早期的探索质量，因此即使在存在噪声数据的情况下也可以实现更快的收敛速度和鲁棒的解决方案，这一点在我们与Q学习，双Q学习和熵正则化软Q学习等流行算法的比较中得到了证明。该框架扩展到参数化MDP和RL问题类，其中状态和动作是参数相关的，目标是确定最优参数以及相应的最优策略。这里，相关联的成本函数可能是具有多个差的局部最小值的非凸的。应用于5G小小区网络问题的仿真结果证明了通信路由和小小区位置的成功确定。我们还获得了问题参数的敏感性措施和噪声环境数据的鲁棒性。
2022-01-19 cs.AI cs.LG
Polynomial Time Reinforcement Learning in Factored State MDPs with Linear Value Functions
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Southern California（南加州大学）
实践中的许多强化学习（RL）环境以巨大的状态空间为特征，该状态空间可以由“因子化”结构来描述，该结构可以由因子化马尔可夫决策过程（FMDPs）来建模。我们提出了第一个多项式时间算法RL的因子状态MDPs（推广FMDPs），既不依赖于一个Oracle计划，也不需要一个线性过渡模型，它只需要一个线性价值函数与一个合适的本地基础上的因式分解，允许有效的变量消除。在这个假设下，我们可以通过构造一个有效的凸优化分离预言机，在多项式时间内求解这类分解状态MDP。重要的是，与FMDPs的先前工作相反，我们不假设各种因素的转换是有条件独立的。
2022-03-06 cs.LG
Counteractive RL: Rethinking Core Principles for Efficient and Scalable Deep Reinforcement Learning
Ezgi Korkmaz
本文提出基于对抗性行动经验的理论新范式，解决高维MDP中状态空间爆炸导致的计算复杂性与策略成功率矛盾，通过实验验证方法在高维环境中的高效性和样本效率。
2026-03-16 cs.AI cs.LG
MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning
UvA-Bosch Deltalab（阿姆斯特丹大学-博世三角洲实验室）；University of Amsterdam（阿姆斯特丹大学）；Philips Lab（飞利浦实验室）；Delft University of Technology（代尔夫特理工大学）
本文介绍了用于深度强化学习的MDP同态网络。MDP同态网络是在MDP的联合状态-动作空间中的对称性下等变的神经网络。目前的深度强化学习方法通常不利用关于这种结构的知识。通过使用等方差约束将这些先验知识构建到策略和价值网络中，我们可以减小解空间的大小。我们特别关注群结构对称性（可逆变换）。此外，我们介绍了一种简单的方法，用于构造等变网络层的数值，所以系统设计者不需要解决的约束，通常是这样做的手。我们构造MDP同态MLP和CNN，它们在一组反射或旋转下是等变的。我们表明，这样的网络收敛速度比非结构化的基线CartPole，网格世界和乒乓球。
2021-01-20 cs.LG stat.ML
Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；DeepMind（深度思考公司）
在本文中，我们提出了新的问题独立的下界的样本的复杂性和遗憾的情节MDP，特别关注的非平稳的情况下，过渡内核允许在每个阶段的情节变化。我们的主要贡献是一个新的下界的$Ω((H^3SA/ε^2)\log(1/δ))$的样本复杂性的$(\varepsilon,δ)$ -PAC算法的最佳策略识别在非平稳MDP。这个下限依赖于“硬MDPs”的建设，这是不同于以前在文献中使用的。使用这同一类的MDP，我们也提供了一个严格的证明的$Ω(\sqrt{H^3SAT})$遗憾界的非平稳MDP。最后，我们讨论了PAC-MDP下界的连接。
2020-10-07 cs.LG stat.ML
LISPR: An Options Framework for Policy Reuse with Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们提出了一个框架，将任何现有的政策从一个潜在的未知源MDP的目标MDP。该框架（1）使得能够在目标域中重用任何形式的源策略，包括经典控制器、启发式策略或基于深度神经网络的策略，（2）在合适的理论条件下获得最优性，以及（3）保证在目标MDP中对源策略的改进。这些是通过将源策略打包为目标MDP中的黑盒选项并提供理论上有基础的方法来通过一般价值函数学习选项的初始集来实现的。我们的方法通过以下方式促进新策略的学习：（1）在黑盒选项的帮助下最大化目标MDP奖励，以及（2）将代理返回到黑盒选项的学习初始集中已经最优的状态。我们表明，这两个变种是等价的性能在某些条件下。通过在模拟环境中的一系列实验，我们证明了我们的框架表现出色的稀疏奖励问题（次）最优源政策，并改善现有技术的传输方法，如持续学习和渐进网络，缺乏我们的框架的理想的理论属性。
2020-12-29 cs.AI cs.LG
Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）在具有连续状态空间的复杂非线性马尔可夫决策过程（MDP）中是经验上成功的。相比之下，大多数理论RL文献要求MDP满足某种形式的线性结构，以保证样本有效RL。这种努力通常假设MDP的转换动态或价值函数由状态特征的线性函数描述。为了解决理论与实践之间的这种差异，我们引入了有效规划窗口（EPW）条件，这是MDP的结构条件，没有线性假设。我们证明了EPW条件允许样本有效的RL，通过提供一个算法，可证明解决MDPs满足这个条件。我们的算法需要最少的假设的政策类，其中可以包括多层神经网络的非线性激活函数。值得注意的是，EPW条件是直接受流行的游戏基准，我们表明，许多经典的雅达利游戏满足这一条件。我们还显示了必要性的条件，如EPW，通过证明，简单的MDP与轻微的非线性不能有效地解决样本。
2021-06-15 cs.AI cs.LG stat.ML
Low-Dimensional State and Action Representation Learning with MDP Homomorphism Metrics
University of Twente（特文特大学）；Saxion University of Applied Sciences（萨克逊应用科学大学）
深度强化学习已经显示出它直接从高维观测中解决复杂问题的能力。然而，在端到端设置中，强化学习算法不是样本效率高的，并且需要很长的训练时间和大量的数据。在这项工作中，我们提出了一个样本高效的强化学习框架，利用状态和动作表示将高维问题转化为低维问题。此外，我们试图找到最佳的政策映射潜在的状态，潜在的行动。因为现在的策略是在抽象表示上学习的，所以我们使用辅助损失函数来强制将这样的策略提升到原始问题域。结果表明，新框架可以有效地学习低维和可解释的状态和动作表示和最优的潜在策略。
2021-07-04 cs.AI cs.LG
Local Linearity: the Key for No-regret Reinforcement Learning in Continuous MDPs
Politecnico di Milano（米兰理工大学）
针对连续状态动作空间MDP中RL无悔实现的开放难题，提出可局部线性化MDP新表示类与Cinderella无悔算法，证明其涵盖所有已知可行MDP族并取得当前最优遗憾界。
2024-10-31 cs.LG
Reinforcement Learning with Exogenous States and Rewards
Intercom Dublin（Intercom 布鲁姆斯贝克）；Collaborative Robotics and Intelligent Systems (CoRIS) Institute（协同机器人与智能系统研究所）；Oregon State University（俄勒冈州立大学）
本文提出了一种分解外源与内源状态和奖励的方法，通过分离外源噪声以提升强化学习效率。
2026-01-14 cs.AI cs.LG stat.ML
Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning
Sapienza University of Rome（罗马萨皮恩扎大学）；King’s College London（伦敦国王学院）
本文提出可实现的抽象概念，通过定义新的关系解决HRL中抽象的表达能力和效率保证问题，并提出RARL算法生成近最优的低层策略。
2025-12-04 cs.AI cs.LG
Deep reinforcement learning for weakly coupled MDP's with continuous actions
UPV/EHU, Univ. of the Basque Country（巴斯克大学）；UPPA, Université de Pau et des Pays de l’Adour（波城与阿杜尔地区大学）；IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3（图卢兹第三大学）；IKERBASQUE - Basque Foundation for Science（巴斯克科学基金会）；INRIA Sophia Antipolis（索菲亚·安蒂波利斯国立计算机与自动化研究所）
本文针对连续动作弱耦合 MDP 的资源约束问题，提出基于拉格朗日松弛和神经网络 Q 值计算的 LPCA 算法，并通过差分进化与贪婪变体验证其资源分配和奖励优化优势。
2024-06-12 cs.AI cs.LG cs.MA
Iterative Bounding MDPs: Learning Interpretable Policies via Non-Interpretable Methods
Carnegie Mellon University（卡内基梅隆大学）
当前在可解释强化学习中的工作通常以状态空间上的决策树的形式产生策略。这些策略可用于正式的安全验证、代理行为预测和重要功能的手动检查。然而，现有的方法在训练之后拟合决策树，或者使用与新的学习技术（诸如使用神经网络的那些学习技术）不兼容的定制学习过程。为了解决这个问题，我们提出了一种新的马尔可夫决策过程（MDP）类型的学习决策树政策：迭代边界MDP（IBMDP）。IBMDP是围绕基本MDP构建的，因此在使用与方法无关的掩码过程时，保证每个IBMDP策略对应于基本MDP的决策树策略。由于这种决策树等价性，在训练期间可以使用任何函数近似器，包括神经网络，同时产生用于基本MDP的决策树策略。我们提出了所需的掩蔽过程，以及修改后的值更新步骤，允许IBMDP使用现有的算法来解决。我们应用这个过程来产生最近的强化学习方法的IBMDP变体。我们的经验表明，我们的方法的好处，通过解决IBMDP产生决策树政策的基础MDP。
2021-02-25 cs.AI cs.LG
Near-Optimal Reinforcement Learning for Constrained Recurrence Objectives
NTU Singapore（南洋理工大学）
本文提出了一种结合$ω$-正则目标与约束的强化学习算法，以解决安全性和性能之间的权衡问题。
2026-08-04 cs.AI cs.LG
Exploring compact reinforcement-learning representations with linear regression
Rutgers University（罗格斯大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种新的在线线性回归算法，其效率保证满足KWIK（知道它知道什么）框架的要求。该算法提高了在这种情况下，目前的最先进的程序的复杂性界限。我们探讨了该算法的几个应用程序学习紧凑的强化学习表示。我们表明，KWIK线性回归可用于学习因子化MDP的奖励函数以及随机随机MDP和面向对象MDP中的动作结果概率，这些都没有被证明在RL设置中是有效学习的。我们还将KWIK线性回归与其他KWIK学习器相结合，以学习这些模型的更大部分，包括一起学习因子化MDP转换和奖励函数的实验。
2012-05-09 cs.AI cs.LG
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
马尔可夫决策过程（Markov Decision Process，MDP）是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的，并且已经被广泛研究，其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而，大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛，通常必须重新计算，如果改变奖励函数。本文介绍了一种新的替代方法，准确，有效地解决确定性，连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时，例如网格世界，我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$，其中$|R|$是奖励源的数量，$|A|$是动作的数量，$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径，对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法，并给出了数值实验结果，以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；Kakao Brain
在本文中，我们提出了一类新的马尔可夫决策过程（MDP），称为Tsallis MDP，Tsallis熵最大化，推广现有的最大熵强化学习（RL）。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架，包括著名的标准香农-吉布斯（SG）熵，使用额外的实值参数，称为熵指数。通过控制熵指数，我们可以产生各种类型的熵，包括SG熵，不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析，包括最优性条件，性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题，我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值，并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题，我们发现，一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估，并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程（SSP MDP）的概率推理。此外，我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中，视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP，并广泛用于人工智能社区。此外，我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
Reinforcement Learning in Rich-Observation MDPs using Spectral Methods
University California, Irvine（加州大学欧文分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院）；California institute of technology（加州理工学院）
大状态空间马尔可夫决策过程的强化学习是一个具有挑战性的问题。标准强化学习算法的性能随着状态空间维数的增加而急剧下降。然而，在实践中，这些大的MDP通常包含潜在的或隐藏的低维结构。本文研究了富观测马尔可夫决策过程（ROMDP）的设定问题，其中有少量隐状态与观测状态具有内射映射.换句话说，每个观察状态都是通过单个隐藏状态生成的，并且这种映射是先验未知的。我们引入了一种谱分解方法，该方法始终学习该映射，更重要的是，以低遗憾实现该映射。估计映射被集成到乐观RL算法（UCRL），该算法对估计的隐藏空间进行操作。我们推导出有限时间遗憾的界限，我们的算法与观察空间的维数弱依赖。事实上，我们的算法渐近地实现了相同的平均遗憾的甲骨文UCRL算法，它具有从隐藏到观察空间的映射的知识。因此，我们得到一个有效的谱RL算法ROMDPs。
2018-06-19 cs.AI cs.LG stat.ML
Cooperative Online Learning in Stochastic and Adversarial MDPs
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了随机和对抗马尔可夫决策过程（MDP）中的合作在线学习.也就是说，在每个事件中，$m$代理同时与MDP交互并共享信息，以最小化他们各自的遗憾。我们考虑具有两种类型的随机性的环境：\emph{fresh} -每个代理的轨迹被i.i.d采样，以及\emph{non-fresh} -实现由所有代理共享（但每个代理的轨迹也受其自身行为的影响）。更准确地说，在非新鲜随机性中，每个成本和转换的实现在每个事件开始时都是固定的，并且在同一时间在同一状态下采取相同行动的代理会观察到相同的成本和下一个状态。我们彻底分析了所有相关的设置，突出的挑战和模型之间的差异，并证明几乎匹配的遗憾下限和上限。据我们所知，我们是第一个考虑合作强化学习（RL）与非新鲜的随机性或在对抗的MDP。
2022-09-01 cs.LG
Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection
Universitat Pompeu Fabra（庞培法布拉大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；Microsoft Research（微软研究院）；Politecnico di Milano（米兰理工大学）；Facebook AI Research（Facebook人工智能研究院）
研究了线性结构有限时域马尔可夫决策过程中状态-行动价值函数的表示在后悔最小化中的作用。首先，我们推导出一个必要条件的表示，称为普遍生成的最佳功能（UNISOFT），以实现恒定的遗憾，在任何MDP与线性奖励函数。这个结果包含了低秩MDP的众所周知的设置，更一般地说，零固有贝尔曼误差（也称为贝尔曼闭包假设）。然后，我们证明了这一条件也是足够的，这些类的问题，推导出一个恒定的遗憾界的两个乐观算法（LSVI-UCB和ELEANOR）。最后，我们提出了一个算法表示选择，我们证明，它实现了恒定的遗憾时，给定的表示，或适当的组合，满足UNISOFT条件。
2021-10-27 cs.LG
A Validation Tool for Designing Reinforcement Learning Environments
Northeastern University（东北大学）；Facebook（脸书）
强化学习（RL）在学术界和科技行业中越来越受到关注，推出了各种有影响力的应用程序和产品。虽然在许多方面正在积极进行研究（例如，离线RL、性能等），许多强化学习的实践者面临着一个很大程度上被忽视的挑战：确定设计的马尔可夫决策过程（MDP）是否有效和有意义。本研究提出一种基于经验的特征分析方法来验证MDP是否是良好的制定。我们认为，适合应用RL的MDP应该包含一组状态特征，这些特征既对动作敏感，又能预测奖励。我们在构建的环境中测试了我们的方法，表明我们的方法可以识别某些无效的环境配方。据我们所知，进行有效性分析的RL问题制定是一个新的方向。我们设想我们的工具将作为一个激励性的例子，帮助从业者更容易地将RL应用于现实世界的问题。
2021-12-10 cs.AI cs.LG
Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes
本文提出 RED 强化学习框架，利用平均回报 MDP 的结构性质同时处理多类学习子任务，并给出含收敛保证的预测与控制算法，首次实现完全在线 CVaR 风险感知策略优化。
2025-08-28 cs.AI cs.LG
Online learning in MDPs with side information
研究了边信息向量存在时有限马尔可夫决策过程（MDP）问题的在线学习。这个问题是由诸如临床试验、推荐系统等应用程序激发的。这些应用程序具有情节结构，其中每个情节对应于患者/客户。我们的目标是竞争的最优动态政策，可以考虑边信息。我们提出了一种计算效率高的算法，并表明其遗憾最多为$O(\sqrt{T})$，其中$T$是轮数。据我们所知，这是第一个遗憾注定为这个设置。
2014-06-26 cs.LG stat.ML
Online MDP with Transition Prototypes: A Robust Adaptive Approach
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；The University of Hong Kong（香港大学）
本文研究具有转移原型信息的在线鲁棒MDP，提出一种自适应模糊集算法，能在识别真实转移核的同时保证鲁棒策略性能，实现次线性遗憾界，并在数据有限时优于现有方法。
2024-12-19 cs.LG
Active Reinforcement Learning over MDPs
在过去的十年中，强化学习得到了快速的发展，它通过大量的训练资源获得了令人印象深刻的性能。然而，RL中最大的挑战之一是泛化效率（即，单位时间内的泛化性能）。本文提出了一种基于MDP的主动强化学习（ARL）框架，通过实例选择来提高有限资源下的泛化效率。该算法在训练策略的同时，根据给定的实例数量，选择有价值的实例作为训练集，从而节省资源。与现有的方法不同，我们试图主动选择和使用训练数据，而不是对所有给定的数据进行训练，从而节省资源。此外，我们引入了一个通用的实例评估指标和选择机制的框架。实验结果表明，该框架以近端策略优化为策略优化器，较无选择和无偏选择方法能有效提高泛化效率。
2021-08-17 cs.LG
ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs
UCL（伦敦大学学院）；DeepMind（深度思维）
近年来，强化学习（RL）已被应用于现实世界的问题越来越成功。这样的应用程序通常需要对代理的行为进行约束。现有的约束RL（CRL）算法依赖于梯度下降-上升，但这种方法有一个警告。虽然这些算法保证平均收敛，但它们不保证最后收敛，即，代理的当前策略可能永远不会收敛到最优解。在实践中，人们经常观察到，政策在满足约束和最大化奖励之间交替，很少同时实现这两个目标。在这里，我们通过引入带有乐观上升下降（ReLOAD）的强化学习来解决这个问题，这是一种具有保证最后收敛性的原则CRL方法。我们证明了它的经验有效性的各种CRL问题，包括离散MDP和连续控制。在这个过程中，我们建立了一个具有挑战性的CRL问题的基准。
2023-03-06 cs.LG
Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning
Harvard University（哈佛大学）；The Ohio State University（俄亥俄州立大学）
在预测-然后-优化框架中，目标是训练预测模型，将环境特征映射到优化问题的参数，从而在随后求解优化时最大化决策质量。最近关于以决策为中心的学习的工作表明，与依赖中间损失函数来评估预测质量相比，在训练管道中嵌入优化问题可以提高决策质量，并有助于更好地推广到看不见的任务。我们研究了预测，然后优化框架的顺序决策问题（制定为MDP）的背景下，通过强化学习解决。特别是，我们给出了环境特征和一组来自训练MDP的轨迹，我们用它来训练一个预测模型，该模型可以推广到没有轨迹的看不见的测试MDP。在将以决策为中心的学习应用于MDP时，出现了两个重要的计算挑战：（i）大的状态和动作空间使得现有技术无法区分MDP问题，以及（ii）由神经网络参数化的高维策略空间使得通过策略进行区分变得昂贵。我们解决了第一个挑战，通过采样可证明无偏的衍生物近似和区分通过最优性条件，和第二个挑战，通过使用一个低秩近似的高维样本为基础的衍生物。我们实现贝尔曼-基于和策略梯度-基于决策为中心的学习三个不同的MDP问题与丢失的参数，并表明，决策为中心的学习表现更好的泛化看不见的任务。
2022-07-16 cs.LG
Online Policy Optimization for Robust MDP
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tsinghua University（清华大学）
强化学习（RL）在许多合成环境中（如视频游戏和围棋）已经超过了人类的表现。然而，端到端RL模型的实际部署并不常见，因为RL模型对环境的轻微扰动非常敏感。鲁棒马尔可夫决策过程（MDP）框架-其中转移概率属于标称模型周围的不确定性集-提供了一种开发鲁棒模型的方法。虽然之前的分析表明，RL算法在假设访问生成模型的情况下是有效的，但目前尚不清楚RL在更现实的在线设置下是否有效，这需要在探索和利用之间保持谨慎的平衡。在这项工作中，我们考虑在线鲁棒MDP通过与一个未知的标称系统。我们提出了一个鲁棒的乐观策略优化算法，可证明是有效的。为了解决对抗性环境引起的额外不确定性，我们的模型具有通过Fenchel共轭导出的新的乐观更新规则。我们的分析建立了第一个遗憾的在线强大的MDPs。
2022-09-28 cs.LG stat.ML
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan（密歇根大学）；KAIST（韩国科学技术院）
本文针对无限期平均奖励线性MDP，提出通过折扣MDP近似结合乐观值迭代的算法，首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Representation Learning for Online and Offline RL in Low-rank MDPs
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
这项工作研究了RL中的表示学习问题：我们如何学习一个紧凑的低维表示，以便在表示的顶部，我们可以执行RL程序，如探索和开发，在一个样本有效的方式。我们专注于低秩马尔可夫决策过程（MDP）的过渡动态对应于一个低秩的转移矩阵。与假设表示是已知的（例如，线性MDP），这里我们需要学习低秩MDP的表示。我们研究了在线RL和离线RL设置。对于在线设置，使用FLAMBE（Agarwal www.example.com）中使用的相同计算预言机进行操作et.al，FLAMBE是用于在低秩MDP中学习表示的最先进算法，我们提出了一种用于RL的REP-UCB上界置信度驱动的表示学习算法，该算法显著地将样本复杂度从用于FLAMBE的$\widetilde{O}( A^9 d^7 / (ε^{10} (1-γ)^{22}))$提高到$d$是转移矩阵的秩的$\widetilde{O}( A^2 d^4 / (ε^2 (1-γ)^{5}) )$（或地面实况表示的维度），$A$是动作的数量，并且$γ$是折扣因子。值得注意的是，REP-UCB比FLAMBE更简单，因为它直接平衡了表示学习、探索和利用之间的相互作用，而FLAMBE是一种探索-然后-提交风格的方法，并且必须在时间上逐步执行无奖励的探索。对于离线RL设置，我们开发了一种算法，利用悲观主义在部分覆盖条件下学习：我们的算法能够与任何策略竞争，只要它被离线分布…
2022-01-06 cs.AI cs.LG stat.ML
Learning is planning: near Bayes-optimal reinforcement learning via Monte-Carlo tree search
Rutgers University（罗格斯大学）
贝叶斯最优行为虽然定义明确，但往往难以实现。蒙特卡罗树搜索（MCTS）的最新进展表明，它是可能的行动接近最佳的马尔可夫决策过程（MDP）非常大或无限的状态空间。未知MDP中的贝叶斯最优行为等同于已知置信空间MDP中的最优行为，尽管该置信空间MDP的大小随着所保留的历史量呈指数增长，并且可能是无限的。我们展示了一个代理如何使用一个特定的MCTS算法，前向搜索稀疏采样（FSSS），在一个有效的方式采取行动几乎贝叶斯最优的所有步骤，但多项式数量，假设FSSS可以用来有效地采取行动，在任何可能的底层MDP。
2012-02-14 cs.AI
