A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化，未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数，这种依赖性使得传统的动态规划方法不适用，因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题，我们引入了一个伪平均值，将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数，并推导出一个折扣的均值-方差性能差异公式。利用伪均值，我们提出了一个统一的算法框架，具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题，包括但不限于，风险规避方差和均值方差优化贴现和平均MDP。此外，收敛性分析从文献中缺失，可以补充拟议的框架以及。以数值迭代为例，提出了一种折现均值-方差数值迭代算法，并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后，我们进行了一个数值实验的投资组合管理，以验证所提出的算法。
2022-01-15 cs.AI math.OC
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University（杜克大学）
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题，该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态，例如建模，宽单隐层神经网络的行为，通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下，我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University（普渡大学）
针对无限时域折扣奖励马尔可夫决策过程，提出加速自然策略梯度（ANPG）算法，在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度，改进现有最优样本复杂度，且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
Thompson Sampling for Infinite-Horizon Discounted Decision Processes
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；United Airlines（美国联合航空公司）；UNSW Business School, UNSW（新南威尔士大学商学院）
本文提出了一种适用于更广泛场景的学习概念，通过将折扣无限时间MDP建模为具有Borel状态和动作空间的马尔可夫决策过程，并引入新的度量标准来分析适应性学习算法，证明了汤普森采样在特定条件下能实现完全学习。
2026-09-22 cs.LG math.OC stat.ML
Inverse Reinforcement Learning via Matching of Optimality Profiles
ETH Zürich（苏黎世联邦理工学院）
逆强化学习（IRL）的目标是推断出解释执行任务的代理的行为的奖励函数。大多数方法的假设是，所演示的行为接近最优。然而，在许多现实世界的场景中，真正最优行为的示例是稀缺的，并且期望有效地利用次优或异构性能的演示集，这些演示集更容易获得。我们提出了一种算法，学习奖励函数，从这样的演示与弱监督信号的形式分布在演示过程中收集的奖励（或更一般地说，分布在累积折扣的未来奖励）。我们认为这样的分布，我们也被称为最优配置文件，作为总结的最优程度的示范，可能，例如，反映了人类专家的意见。给定一个最优配置文件和少量的额外监督，我们的算法适合奖励函数，建模为神经网络，基本上最小化相应的诱导分布和最优配置文件之间的Wasserstein距离。我们证明了我们的方法能够学习奖励函数，使得经过训练以优化它们的策略优于用于拟合奖励函数的演示。
2020-11-19 cs.AI cs.LG
A Generalised Inverse Reinforcement Learning Framework
ANEO；Criteo AI Lab（科韬人工智能实验室）；CREST, ENSAE（法国国立统计与经济管理学院经济与统计研究中心）
逆强化学习（IRL）的总体目标是根据观测到的最优策略轨迹来估计某个MDP的未知代价函数。经典的方法包括调整这个成本函数，使相关的最佳轨迹（最小化累积折扣成本，即经典的RL损失）是“类似”的观察。以前的贡献集中在惩罚退化的解决方案和提高算法的可扩展性。非常正交的，他们，我们的问题的相关性的特征最优的累积贴现成本，因为它会导致一个隐含的偏见，对政策的混合时间较长。最先进的基于值的RL算法通过求解Bellman最优算子的不动点来规避这个问题，Bellman最优算子是一个更强的标准，对于逆问题没有很好的定义。为了减轻IRL中的这种偏差，我们引入了一种替代的训练损失，它对未来的状态赋予更多的权重，从而产生了（最大熵）IRL问题的重新表述。我们设计的算法在多个OpenAI健身房环境中表现出比现有算法更好的性能（和类似的易处理性）。
2021-05-25 cs.LG
Renewal Monte Carlo: Renewal theory based reinforcement learning
McGill University（麦吉尔大学）
针对具有指定起始状态的无限时域马尔可夫决策过程，提出了一种在线强化学习算法，称为更新蒙特卡罗（RMC）。RMC是一种蒙特卡罗算法，保留了蒙特卡罗方法的优点，包括低偏差，简单性和易于实现，同时避免了其高方差和延迟（事件结束）更新的关键缺点。RMC背后的关键思想如下。首先，在任何合理的策略下，奖励过程都是遍历的。因此，根据更新理论，策略的性能等于在一个再生周期内期望的折扣报酬与期望的折扣时间之比。其次，通过仔细检查性能梯度的表达式，我们提出了一个随机近似算法，只需要估计的预期折扣奖励和折扣时间在一个再生周期和它们的梯度。我们提出了两个无偏估计评估性能梯度-一个似然比估计和同时扰动估计-并表明，对于这两个估计，RMC收敛到一个局部最优的政策。我们将RMC算法推广到决策后的状态模型，并提出了一个更快收敛到近似最优策略的变体。最后，我们提出了一个随机生成的MDP，事件触发的通信和库存管理的数值实验。
2018-04-03 cs.LG stat.ML
Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning
UC Berkeley（加州大学伯克利分校）
强化学习中的各种算法在其收敛速度和最终精度方面表现出显着的变化，作为问题结构的函数。这种特定于实例的行为不会被现有的全局极大极小边界捕获，这些边界本质上是最坏情况。我们分析的问题，估计最佳的$Q$ -值函数的折扣马尔可夫决策过程的离散状态和行动，并确定一个依赖于实例的功能，控制估计的难度在$\ell_\infty$ -范数。使用一个局部极小极大框架，我们表明，这一功能出现在任何估计过程的准确性的下界。在另一个方向，我们建立我们的下界的锐度，在状态和动作空间的对数因子，通过分析方差减少版本的$Q$学习。我们的理论提供了一个精确的方式区分“容易”的问题，从“硬”的背景下，$Q$ -学习，如所示的合奏与连续的难度。
2021-06-28 cs.LG stat.ML
Linear-Quadratic Zero-Sum Mean-Field Type Games: Optimality Conditions and Policy Optimization
Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了无限时间折扣效用函数下具有线性动态和二次费用的零和平均场型对策。ZSMFTG是一类博弈，其中两个效用总和为零的决策者竞争影响大量不可区分的代理人。特别是，在这种情况下，过渡和效用函数依赖于状态，控制器的动作，和状态和动作的平均值，进行了研究。分析了开环控制和闭环控制下博弈的最优性条件，并给出了纳什均衡策略的显式表达式。此外，两个策略最优化方法，依赖于策略梯度提出了基于模型和基于样本的框架。在基于模型的情况下，使用模型精确地计算梯度，而在基于样本的情况下，使用蒙特卡罗模拟来估计梯度。数值实验表明，效用函数的收敛性以及两个球员的控制。
2020-09-01 cs.GT cs.LG math.OC
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Randomized Exploration for Non-Stationary Stochastic Linear Bandits
University of Michigan（密歇根大学）
我们研究了两种扰动方法，以克服保守性，乐观的算法长期遭受在实践中。第一种方法在使用置信集时用简单的随机化代替乐观。第二种方法在最大化预期回报之前，将随机扰动添加到其当前估计值中。对于非平稳线性强盗，其中每个动作与$d$维特征相关联，并且未知参数随总变差$B_T$而时变，我们通过两种扰动方法提出了两种随机化算法，贴现随机化LinUCB（D-RandLinUCB）和贴现线性Thompson采样（D-LinTS）。我们强调的统计最优性与计算效率之间的权衡，前者渐近实现最佳动态遗憾$\tilde{O}(d^{7/8} B_T^{1/4}T^{3/4})$，但后者是甲骨文效率与额外的对数因子相比，最小最优动态遗憾的武器数量。在仿真研究中，这两种算法在解决贴现LinUCB所面临的保守性问题上表现出了出色的性能。
2021-10-11 cs.LG stat.ML
Sample-Efficient Constrained Reinforcement Learning with General Parameterization
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Purdue University（普渡大学）
针对约束马尔可夫决策过程的样本效率问题，提出原始-对偶加速自然策略梯度算法，在通用参数化策略下显著提升样本复杂度并达到ε^{-1}维度的理论下界。
2024-10-31 cs.AI cs.LG
On the Near-Optimality of Local Policies in Large Cooperative Multi-Agent Reinforcement Learning
Purdue University（普渡大学）
我们表明，在一个合作的$N$代理网络，可以设计本地可执行的代理政策，使所得到的平均奖励（值）的折扣和很好地近似于所有（包括非本地）的政策计算的最优值。具体地说，我们证明，如果$|\mathcal{X}|, |\mathcal{U}|$表示状态的大小，和行动空间的个体代理，然后充分小的折扣因子，近似误差是由$\mathcal{O}(e)$其中$e\triangleq \frac{1}{\sqrt{N}}\left[\sqrt{|\mathcal{X}|}+\sqrt{|\mathcal{U}|}\right]$。此外，在奖励和状态转移函数独立于群体的动作分布的特殊情况下，误差改进为$\mathcal{O}(e)$，其中$e\triangleq \frac{1}{\sqrt{N}}\sqrt{|\mathcal{X}|}$。最后，我们还设计了一个算法来显式地构造一个本地策略。借助于我们的近似结果，我们进一步建立了所构造的局部策略是在最优策略的$\mathcal{O}(\max\{e,ε\})$距离内，并且对于任何$ε>0$，实现这样的局部策略的样本复杂度是$\mathcal{O}(ε^{-3})$。
2022-09-07 cs.LG cs.MA
Action-Dependent Optimality-Preserving Reward Shaping
针对现有基于势函数的奖励塑形方法不适用于长情节复杂稀疏奖励环境的问题，提出依赖动作的最优性保持塑形ADOPS，可在动作依赖内在回报下仍保持最优策略，在《蒙特祖玛的复仇》等极端稀疏环境中更有效。
2025-05-19 cs.LG
Optimal Convergence Rate for Exact Policy Mirror Descent in Discounted Markov Decision Processes
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）
本文研究了精确策略评估下策略镜像下降（PMD）的收敛性，证明在自适应步长下无正则化PMD可实现与策略迭代相同的最优折扣因子$γ$速率，并扩展至不精确设置以改进样本复杂度。
2023-11-21 cs.LG math.OC math.ST
Bellman Optimality of Average-Reward Robust Markov Decision Processes with a Constant Gain
本文研究了鲁棒马尔可夫决策过程中的平均奖励问题，通过分析常增益设置，探讨了鲁棒贝尔曼方程的解存在性及其与最优平均奖励的关系，为长期平均标准下的鲁棒动态决策提供了理论基础。
2026-10-21 cs.LG math.OC
Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
设计非策略强化学习算法通常是一项非常具有挑战性的任务，因为期望的迭代更新通常涉及对策略分布的期望。现有的非策略行动者-批评者（AC）算法已经引入了一种新的批评者，该批评者使用密度比来调节分布失配以稳定收敛，但是由于密度比和价值函数两者的估计误差而潜在地引入高偏差。在本文中，我们开发了一个双重强大的关闭政策AC（DR-关闭PAC）折扣MDP，它可以利用学习滋扰功能，以减少估计误差。此外，DR-Off-PAC采用单时间尺度结构，其中演员和评论家都以恒定的步长同时更新，因此比采用两个时间尺度或嵌套循环结构的现有算法更具样本效率。研究了DR-Off-PAC算法的有限时间收敛速度和样本复杂度，以获得$ε$ -精确的最优策略.我们还表明，DR-Off-PAC的整体收敛性对仅取决于逼近函数的表达能力的逼近误差具有双重鲁棒性。据我们所知，我们的研究建立了第一个整体样本复杂性分析一个单一的时间尺度的政策外AC算法。
2021-07-18 cs.LG stat.ML
Reinforcement Learning with an Abrupt Model Change
University of Pittsburgh（匹兹堡大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对环境模型突变的强化学习问题，提出一种结合最快变化检测与无模型策略学习的算法，实现长期折扣奖励最优，并给出快速检测与初始化建议。
2023-04-22 cs.LG cs.SY eess.SP
On the Theory of Policy Gradient Methods: Optimality, Approximation, and Distribution Shift
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；University of California San Diego（加州大学圣地亚哥分校）
策略梯度方法是解决具有大状态和/或动作空间的强化学习问题的最有效方法之一。然而，人们对它们最基本的理论收敛性质知之甚少，包括：它们是否收敛到全局最优解以及收敛速度有多快，或者它们如何处理由于使用一类受限的参数策略而导致的近似误差。这项工作提供了可证明的表征的计算，近似，和样本大小属性的策略梯度方法的背景下，折扣马尔可夫决策过程（MDP）。我们专注于两者：“表格”策略参数化，其中最优策略包含在类中，并且我们显示全局收敛到最优策略;和参数策略类（考虑对数线性和神经策略类），其可能不包含最优策略，并且我们提供不可知的学习结果。这项工作的一个核心贡献是在提供近似保证，是平均情况下-避免明确的最坏情况下的依赖关系的状态空间的大小-通过正式连接到监督学习下分布偏移。这种表征显示了估计误差、近似误差和探索（通过精确定义的条件数表征）之间的重要相互作用。
2020-10-14 cs.LG stat.ML
Safe Value Functions
RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Massachusetts Institute of Technology（麻省理工学院）
本文形式化定义了安全值函数，证明存在有限惩罚可同时保证任务最优性与安全约束，并揭示惩罚与奖励、折扣因子及动力学的交互结构，为安全控制中的奖励设计提供理论指导。
2022-12-01 cs.LG cs.RO cs.SY
Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens
该研究针对参数未知的折扣离散时间线性二次调节器问题，从强化学习视角提出无需两点梯度估计的算法，实现了O~(1/ε)的样本复杂度，显著优于现有非两点梯度估计类方法的性能。
2025-06-16 cs.LG cs.SY eess.SY
Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）；Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学布拉德利电气与计算机工程学院）
本文研究约束马尔可夫决策过程的策略优化问题，提出在线原始-对偶自然演员-评论家算法，并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
Predictable Reinforcement Learning Dynamics through Entropy Rate Minimization
University of Oxford（牛津大学）；Eindhoven University of Technology（埃因霍温理工大学）；Delft University of Technology（代尔夫特理工大学）
本文提出可预测性感知强化学习（PARL），通过最大化折扣奖励与负轨迹熵率的线性组合，在策略梯度算法中引入熵率价值函数估计，从而在保持近最优性能的同时诱导出可预测的智能体行为。
2025-06-03 cs.AI cs.LG cs.SY
Towards Painless Policy Optimization for Constrained MDPs
Simon Fraser University（西蒙弗雷泽大学）；SAIT AI Lab（SAIT人工智能实验室）；Amii（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
研究了无限时域$γ$ -折扣约束马尔可夫决策过程（CMDP）中的策略优化问题.我们的目标是返回一个策略，实现大的预期回报与一个小的约束违反。我们认为在线设置与线性函数近似，并假设全球访问相应的功能。我们提出了一个通用的原始-对偶框架，使我们能够约束奖励次优和约束违反任意算法的原始和对偶遗憾在线线性优化问题。我们实例化这个框架使用硬币投注算法，并提出硬币投注Politex（CBP）算法。假设动作-价值函数是$\varepsilon_b$ -接近$d$维状态-动作特征的跨度并且没有采样误差，我们证明了CBP的$T$迭代导致$O\left(\frac{1}{(1 - γ)^3 \sqrt{T}} + \frac{\varepsilon_b\sqrt{d}}{(1 - γ)^2} \right)$奖励次优和$O\left(\frac{1}{(1 - γ)^2 \sqrt{T}} + \frac{\varepsilon_b \sqrt{d}}{1 - γ} \right)$约束违反。重要的是，与梯度下降-上升和其他最近的方法不同，CBP不需要广泛的超参数调整。通过在合成环境和Cartpole环境下的实验，我们证明了CBP的有效性和鲁棒性。
2022-04-11 cs.AI cs.LG
Delayed Geometric Discounts: An Alternative Criterion for Reinforcement Learning
ANEO；Centre Borelli - ENS Paris-saclay（巴黎萨克雷高等师范学院博雷利中心）；ISIR Lab（智能系统与机器人研究所）；Sorbonne Université（索邦大学）
人工智能（AI）的目标是设计能够完成复杂任务的自主智能体。也就是说，强化学习（RL）提供了一个学习最佳行为的理论背景。在实践中，RL算法依赖于几何折扣来评估这种最优性。不幸的是，这并不包括未来回报价值不会呈指数级下降的决策过程。根据问题的不同，这种限制会导致样本效率低下（因为反馈呈指数衰减），并需要额外的课程/探索机制（以处理稀疏，欺骗性或对抗性的奖励）。在本文中，我们通过使用一族延迟目标函数来概括贴现问题公式来解决这些问题。我们研究基本的RL问题，以获得：1）最优稳态解和2）最优非稳态控制的近似。所设计的算法解决了表格环境中的困难探索问题，并提高了经典模拟机器人基准测试的样本效率。
2022-09-26 cs.AI cs.LG
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
Policy Iterations for Reinforcement Learning Problems in Continuous Time and Space -- Fundamental Theory and Methods
University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）
策略迭代（PI）是用于解决最优决策/控制问题的策略评估和改进的递归过程，或者换句话说，是强化学习（RL）问题。PI也是开发RL方法的基础。在本文中，我们提出了两种PI方法，称为微分PI（DPI）和积分PI（IPI），以及它们的变体，用于连续时间和空间（CTS）中的一般RL框架，其中环境由常微分方程（ODE）系统建模。所提出的方法继承了PI在经典RL和最优控制中的思想，并在理论上支持CTS中现有的RL算法：TD学习和基于值梯度（VGB）的贪婪策略更新。我们还提供了案例研究，包括1）折扣RL和2）最优控制任务。基本的数学性质--Bellman方程（BE）的解的可容许性、唯一性、Hamilton-Jacobi-Bellman方程（HJBE）的解的单调性改进、收敛性和最优性--都从现有的理论出发进行了深入的研究和改进，以及一般和案例研究。最后，建议的模拟与倒立摆模型及其基于模型和部分无模型的实现，以支持理论，并进一步研究他们超越。
2020-10-31 cs.AI cs.LG cs.SY
Nonparametric Stochastic Compositional Gradient Descent for Q-Learning in Continuous Markov Decision Problems
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文提出非参数随机组合梯度下降法用于连续马尔可夫决策问题中的Q学习，通过将贝尔曼最优性方程转化为嵌套非凸随机优化问题，并利用核诱导再生核希尔伯特空间进行参数化，最终证明算法在概率意义下收敛于问题的 stationary 点。
2018-04-19 cs.LG cs.SY eess.SY
Reward Tweaking: Maximizing the Total Reward While Planning for Short Horizons
Technion Institute of Technology（以色列理工学院）
在强化学习中，折扣因子$γ$控制智能体的有效规划范围。传统上，该参数被认为是MDP的一部分;然而，由于深度强化学习算法在有效规划范围较长时往往变得不稳定，最近的研究将$γ$称为超参数-从而改变了底层MDP，并可能导致代理在原始任务上的次优行为。在这项工作中，我们介绍了\emph{reward tweaking}。奖励调整学习用于折扣设置的代理奖励函数$\tilde r$，其在原始有限时域总奖励任务上诱导最优行为。理论上，我们证明了存在一个替代奖励，导致在原始任务的最优性，并讨论了我们的方法的鲁棒性。此外，我们在高维连续控制任务中进行了实验，结果表明，奖励调整引导代理实现更好的长期回报，尽管它计划短期回报。
2020-06-23 cs.LG stat.ML
Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
University of Alberta（阿尔伯塔大学）
针对多链MDP的平均奖励强化学习，提出基于Bather分解的层次化异步值迭代算法，收敛到最优增益并生成增益最优策略，进一步扩展两种算法提升瞬态性能，为一般多链MDP提供首批无模型平均奖励RL方法。
2026-10-08 cs.LG math.OC
Hypergradient-based Bilevel Reinforcement Learning with Improved Sample Complexity
针对现有双层强化学习算法可扩展性差或样本复杂度高的问题，提出基于玻尔兹曼策略最优性的无Hessian超梯度双层RL算法，实现更优的迭代与样本复杂度，且无需外层目标的PL条件假设。
2026-08-03 cs.AI cs.LG
Primal-Only Actor Critic Algorithm for Robust Constrained Average Cost MDPs
University of Maryland（马里兰大学）；IIIT Bangalore（班加罗尔IIIT）；Purdue University（普渡大学）
本文针对鲁棒约束平均成本MDP中强对偶性缺失和Bellman算子非压缩的难题，提出一种仅原始变量的actor-critic算法，并证明其ε-可行性与ε-最优性及相应样本复杂度。
2025-11-07 cs.LG
Learning Infinite-Horizon Average-Reward Linear Mixture MDPs of Bounded Span
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）
本文针对无限时域平均奖励线性混合MDP，提出一种结合跨度裁剪值迭代与加权岭回归的计算可行算法，实现了近极小极大最优遗憾界。
2024-10-19 cs.LG math.OC
Lifted Bellman Linear Programming for Offline Reinforcement Learning
NAVER LABS（NAVER 实验室）
本文提出提升的贝尔曼线性规划（LBLP）及其近似算法ALBUM，通过不等式约束实现样本内贝尔曼最优性，无需目标网络，在OGBench上以最少参数和内存达到与FQL相当的性能。
2026-09-28 cs.AI cs.LG
Is Plug-in Solver Sample-Efficient for Feature-based Reinforcement Learning?
Peking University（北京大学）
基于模型的强化学习方法被认为是降低样本复杂度的关键。然而，基于模型的RL的样本最优性的理解仍然在很大程度上缺失，即使是线性情况。这项工作认为样本的复杂性，找到一个$ε$ -最优的政策，在马尔可夫决策过程（MDP），承认一个线性添加剂的功能表示，只提供一个生成模型。我们解决这个问题，通过一个插件求解器的方法，建立一个经验模型，并计划在这个经验模型通过任意的插件求解器。我们证明了在锚状态假设下，这意味着在特征空间中的隐式非负性，在$γ$折扣MDP中找到$ε$ -最优策略的极小极大样本复杂度是$O(K/(1-γ)^3ε^2)$，它只依赖于特征空间的维数$K$，而不依赖于状态或动作空间。我们进一步扩展我们的结果，锚状态可能不存在，并表明一个插件的方法可以是样本效率，以及一个灵活的方法来设计基于模型的算法RL。
2020-10-17 cs.LG
Online inductive learning from answer sets for efficient reinforcement learning exploration
University of Verona（维罗纳大学）
该研究提出将归纳逻辑编程与强化学习结合的方法，通过在线学习回答集程序规则引导智能体探索，在吃豆人场景下提升了Q-learning的折扣回报且不增加计算耗时，同时具备可解释性。
2025-01-13 cs.AI
Towards Minimax Optimality of Model-based Robust Reinforcement Learning
CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris（CMAP、法国国家科学研究中心、巴黎综合理工学院、巴黎理工学院）；INRIA Paris, HeKA（法国国家信息与自动化研究所巴黎分部、HeKA）；Centre de Recherche des Cordeliers, INSERM, Universite de Paris, Sorbonne Universite（科尔德里耶研究所、法国国家健康与医学研究院、巴黎大学、索邦大学）；Cohere（科here公司）
本文研究鲁棒折扣MDP在生成模型下的样本复杂度，针对Lp球不确定性集合，将sa-和s-矩形情形的样本复杂度统一改进至H^4|S||A|/ε^2，并在不确定性足够小时恢复非鲁棒下界。
2024-06-06 cs.LG stat.ML
Model-Based Reinforcement Learning for Offline Zero-Sum Markov Games
Institute for Data, Systems, and Society, MIT（麻省理工学院数据、系统与社会研究所）；Department of Statistics, The Chinese University of Hong Kong（香港中文大学统计系）；Department of Statistics and Data Science, Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计与数据科学系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
针对离线两人零和 Markov 博弈的 Nash 均衡学习，提出悲观基于模型算法 VI-LCB-Game，在全准确率范围内取得改进 min{A,B} 倍的 minimax 最优样本复杂度。
2024-02-26 cs.GT cs.IT cs.LG
Span-Based Optimal Sample Complexity for Average Reward MDPs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究生成模型下平均奖励MDP的最优策略学习，通过将其归约为折扣MDP并开发基于偏置函数跨度的改进方差上界，首次在所有参数上实现了极小极大最优的样本复杂度。
2024-03-19 cs.IT cs.LG math.IT
