A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Optimistic Planning by Regularized Dynamic Programming
Universitat Pompeu Fabra（庞培法布拉大学）
本研究提出一种带正则化的近似值迭代方法用于无限时域折扣MDP的乐观规划，无需传统压缩性与单调性假设，适用于线性近似场景，可实现高效的近似最优策略学习与近最优统计保证。
2023-06-14 cs.LG stat.ML
A unified view of entropy-regularized Markov decision processes
Universitat Pompeu Fabra（庞培法布拉大学）
提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程（MDP）的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化，以适应凸正则化函数。我们的关键结果是表明，使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体，从而讨论这些方法的收敛特性。特别是，我们证明了Schulman等人（2015）的TRPO算法的精确版本实际上收敛到最优策略，而Mnih等人（2016）的熵正则化策略梯度方法可能无法收敛到固定点。最后，我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。
2017-05-22 cs.AI cs.LG stat.ML
Efficient Policy Iteration for Robust Markov Decision Processes via Regularization
Technion（以色列理工学院）；National University of Singapore（新加坡国立大学）
鲁棒马尔可夫决策过程（MDP）提供了一个通用的框架来建模决策问题，其中系统动态变化或仅部分已知。一些\texttt{sa} -矩形鲁棒MDP的有效方法存在，使用其与奖励正则化MDP的等价性，可推广到在线设置。与\texttt{sa} -矩形鲁棒MDP相比，\texttt{s} -矩形鲁棒MDP限制较少，但更难以处理。有趣的是，最近的工作已经建立了\texttt{s} -矩形鲁棒MDP和策略正则化MDP之间的等价性。但是，我们没有一个明确的认识，利用这种等价性，做政策改进的步骤，以获得最佳的价值函数或政策。我们对贪婪/最优策略没有一个清晰的理解，除了它可以是随机的。不存在可以自然地推广到无模型设置的方法。我们展示了\texttt{s} -矩形$L_p$鲁棒MDP和策略正则化MDP之间的清晰和明确的等价性，这些MDP非常类似于在实践中广泛使用的策略熵正则化MDP。进一步，我们深入研究了策略改进步骤，具体推导了\texttt{s} -矩形$L_p$鲁棒MDP的最优鲁棒Bellman算子.我们发现，在\texttt{s} -矩形$L_p$鲁棒MDP中，贪婪/最优策略是阈值策略，其$k$值大于某个阈值，与其优势的$(p-1)$次幂成正比.此外，我们还证明了（\texttt{sa}和\texttt{s} -矩形）$L_p$鲁棒MDP的时间复杂度与非鲁棒MDP的时间复杂度相同。我们的工作极大地扩…
2022-10-05 cs.AI
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
A Convergence Result for Regularized Actor-Critic Methods
在本文中，我们提出了一个概率1收敛证明，在适当的条件下，某一类演员批评算法的熵正则MDP使用随机逼近的机械找到近似解。为了获得这一总体结果，我们证明了使用线性近似架构时，一般正则化的政策评估的收敛性，并显示了熵正则化政策改进的收敛性。
2019-10-22 cs.LG stat.ML
Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs
School of Mathematics（数学系）
本文研究连续状态和动作空间的无限时域熵正则化马尔可夫决策过程中策略梯度的全局收敛性，通过线性函数逼近的log-linear softmax策略，在$Q^π_τ$可实现性假设下建立非均匀Polyak--Łojasiewicz不等式，并识别两种特征机制下非均匀常数的有界性，证明正则化目标沿梯度流的全局线性收敛。
2026-05-24 cs.LG math.OC
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University（胡安·卡洛斯国王大学）；University of Pennsylvania（宾夕法尼亚大学）
针对连续空间约束MDPs计算确定性最优策略的难题，提出具有非渐近收敛性的D-PGPD算法，通过二次正则化原始-对偶更新求解，并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Bayesian regularization of empirical MDPs
Carnegie Mellon University（卡内基梅隆大学）；Amazon.com, Inc.（亚马逊公司）；Stanford Unviersity（斯坦福大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在基于模型的马尔可夫决策过程的大多数应用中，未知的底层模型的参数往往是从经验数据估计。由于噪声的存在，从估计模型中学习到的策略往往与底层模型的最优策略相差甚远。当应用到底层模型的环境中时，学习到的策略会导致次优性能，因此需要具有更好泛化性能的解决方案。在这项工作中，我们采取贝叶斯的观点和规范的马尔可夫决策过程的目标函数与先验信息，以获得更强大的政策。提出了基于$L^1$正则化和基于相对熵正则化的两种方法。我们评估我们提出的算法合成模拟和现实世界中的搜索日志的大型网上购物商店。我们的研究结果证明了正则化MDP政策对模型中存在的噪声的鲁棒性。
2022-09-21 cs.LG stat.ML
Closing the Horizon Gap in Policy Optimization for Adversarial MDPs
The University of Tokyo（东京大学）；The University of Osaka（大阪大学）；RIKEN（理化学研究所）
该研究针对带对抗损失和多臂老虎机反馈的在线分段表格型MDP，用正则化Q函数缩小策略优化的视界差距，改进了遗憾界的视界依赖关系，还扩展到对抗线性混合MDP。
2026-10-09 cs.LG stat.ML
Simultaneously Learning Stochastic and Adversarial Episodic MDPs with Known Transition
University of Southern California（南加州大学）
本文研究了具有已知转移和强盗反馈的偶发马尔可夫决策过程的学习问题。我们开发的第一个算法具有“两全其美”的保证：当损失是随机的时，它实现了$\mathcal{O}(log T)$后悔，同时即使损失是对抗性的，它也能在最坏情况下保持$\tilde{\mathcal{O}}(\sqrt{T})$后悔的鲁棒性，其中$T$是事件的数量。更一般地，它在损失被$C$的总量破坏的中间设置中实现$\tilde{\mathcal{O}}(\sqrt{C})$遗憾。我们的算法基于Zimin和Neu（2013）的Follow-the-Regularized-Leader方法，其中一种新的混合正则化器受到Zimmert等人最近的作品的启发。（2019 a，2019 b）用于多武装土匪的特殊情况。至关重要的是，我们的正则化承认一个非对角海森与一个非常复杂的逆。分析这样一个正则化子并导出一个特定的自约束后悔保证是我们的关键技术贡献，可能是独立的兴趣。
2020-11-02 cs.LG stat.ML
Efficient Learning for Entropy-Regularized Markov Decision Processes via Multilevel Monte Carlo
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics, Imperial College London（伦敦帝国学院数学系）
针对大规模或连续状态动作空间的熵正则化MDPs，提出结合不动点迭代与多层蒙特卡洛的算法族，通过误差分析证明无偏随机化多层近似可实现与状态动作空间规模无关的多项式样本复杂度，并用实验验证了理论保证。
2025-06-04 cs.LG math.OC math.PR
Breiman meets Bellman: Non-Greedy Decision Trees with MDPs
UMR 9189 - CRIStAL Université de Lille CNRS, Inria, Centrale Lille（UMR 9189 - CRIStAL 威廉王大学 CNRS、Inria、Centrale Lille）
本文提出动态规划决策树（DPDT）框架，通过马尔可夫决策过程与启发式分裂生成构建近最优决策树，在显著降低计算复杂度的同时实现优于 CART 和最优决策树的泛化性能。
2025-06-01 cs.LG
Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs
University of Pennsylvania（宾夕法尼亚大学）；University of Virginia（弗吉尼亚大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文针对约束马尔可夫决策过程，提出RPG-PD和OPG-PD两种单时间尺度策略梯度原始-对偶算法，首次建立了策略末迭代的非渐近收敛性结果。
2024-01-17 cs.LG cs.SY eess.SY
LC-Tsallis-INF: Generalized Best-of-Both-Worlds Linear Contextual Bandits
Mizuho-DL Financial Technology（Mizuho-DL金融科技）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）
针对独立同分布上下文的线性老虎机问题，提出基于Tsallis熵的FTRL算法LC-Tsallis-INF，在随机与对抗环境下分别实现$O(\log T)$与$O(\sqrt T)$遗憾上界，并推广至一般边界条件。
2025-05-28 cs.LG stat.ML
Truly No-Regret Learning in Constrained MDPs
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）
本文针对受限马尔可夫决策过程，提出首个无误差抵消的原始-对偶算法，实现亚线性遗憾，确保学习过程安全。
2024-07-19 cs.LG stat.ML
Versatile Offline Imitation from Observations and Examples via Regularized State-Occupancy Matching
University of Pennsylvania（宾夕法尼亚大学）；University of Melbourne（墨尔本大学）
我们提出了状态匹配离线区分校正估计（SMODICE），一种新颖的和通用的基于回归的离线模仿学习（IL）算法，通过状态占用匹配。我们表明，SMODICE目标承认一个简单的优化过程，通过应用Fenchel对偶和解析解表MDPs。不需要访问专家的行动，SMODICE可以有效地应用于三个离线IL设置：（i）模仿观察（IfO），（ii）IfO与动态或形态不匹配的专家，和（iii）基于示例的强化学习，我们可以制定为一个状态占用匹配问题。我们广泛评估SMODICE在网格世界环境以及高维离线基准。我们的研究结果表明，SMODICE是有效的所有三个问题的设置，并显着优于现有的最先进的。
2022-06-18 cs.AI cs.LG
Parameterized MDPs and Reinforcement Learning Problems -- A Maximum Entropy Principle Based Framework
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个框架来解决一类顺序决策问题。我们的框架功能学习的最优控制政策与噪声数据的鲁棒性，确定未知的状态和动作参数，并进行灵敏度分析的问题参数。我们考虑两大类连续的决策问题建模为无限地平线马尔可夫决策过程（MDP）（和没有）的吸收状态。我们的框架的核心思想是量化探索的香农熵的MDP下的轨迹，并确定随机的政策，最大限度地提高它，同时保证沿轨迹的预期成本的低值。由此产生的策略增强了学习过程早期的探索质量，因此即使在存在噪声数据的情况下也可以实现更快的收敛速度和鲁棒的解决方案，这一点在我们与Q学习，双Q学习和熵正则化软Q学习等流行算法的比较中得到了证明。该框架扩展到参数化MDP和RL问题类，其中状态和动作是参数相关的，目标是确定最优参数以及相应的最优策略。这里，相关联的成本函数可能是具有多个差的局部最小值的非凸的。应用于5G小小区网络问题的仿真结果证明了通信路由和小小区位置的成功确定。我们还获得了问题参数的敏感性措施和噪声环境数据的鲁棒性。
2022-01-19 cs.AI cs.LG
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Refined Regret for Adversarial MDPs with Linear Function Approximation
Tsinghua University（清华大学）；University of Southern California（南加州大学）；Google Research（谷歌研究院）
本文研究对抗式线性 MDP 的在线学习遗憾，通过精细 FTRL 分析和幅度缩减损失估计，将有模拟器情形改进至 $\tilde{\mathcal O}(\sqrt K)$，并提升无模拟器情形的界。
2023-06-01 cs.AI cs.LG stat.ML
A Unified Analysis of Nonstochastic Delayed Feedback for Combinatorial Semi-Bandits, Linear Bandits, and MDPs
University of Amsterdam（阿姆斯特丹大学）；Tel Aviv University（特拉维夫大学）；Amazon Science（亚马逊科学部门）；Politecnico di Milano（米兰理工大学）
本文提出一种新的FTRL分析方法，分离延迟与赌博机反馈成本，为组合半赌博机、对抗性MDP和线性赌博机分别导出最优或近最优遗憾界，并证明FTRL在温和条件下跨轮稳定。
2023-05-15 cs.LG
Best of Both Worlds Policy Optimization
Google Research（谷歌研究院）
策略优化方法是实践中流行的强化学习算法。最近的工作已经建立了理论基础，证明了$\sqrt{T}$遗憾界，即使损失是敌对的。在最坏的情况下，这样的界限很紧，但往往过于悲观。在这项工作中，我们表明，在表马尔可夫决策过程（MDP），通过适当地设计正则化，探索奖金和学习率，可以实现更有利的polylog $(T)$遗憾时，损失是随机的，而不牺牲最坏情况下的保证，在对抗制度。据我们所知，这也是第一次一个缺口依赖polylog $(T)$遗憾界的政策优化。具体来说，我们通过在策略更新中利用Tsallis熵或Shannon熵正则化器来实现这一点。然后，我们表明，在已知的过渡，我们可以进一步获得一个一阶遗憾界的对抗制度，利用对数障碍正则化。
2023-02-18 cs.AI cs.LG stat.ML
Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ETH Zurich（苏黎世联邦理工学院）
自然行动者-批评者（NAC）及其变体，配备了神经网络的表示能力，在解决具有大状态空间的马尔可夫决策问题方面取得了令人印象深刻的经验成功。在本文中，我们提出了一个有限时间分析的NAC与神经网络近似，并确定的作用，神经网络，正则化和优化技术（例如，梯度裁剪和平均），以在样本复杂度、迭代复杂度和演员和评论家的过参数化界限方面实现可证明的良好性能。特别是，我们证明了（i）熵正则化和平均通过提供足够的探索来避免接近确定性和严格次优的策略来确保稳定性，以及（ii）正则化导致正则化MDP中的尖锐样本复杂性和网络宽度界限，从而在策略优化中产生有利的偏差方差权衡。在这个过程中，我们确定的重要性一致逼近能力的演员神经网络，以实现全局最优的政策优化，由于分布的转变。
2022-06-02 cs.LG math.OC stat.ML
Last-Iterate Convergence of General Parameterized Policies in Constrained MDPs
IIT Kanpur（IIT坎普尔）；Purdue University（普渡大学）
本文提出了一种基于对偶的正则化加速自然策略梯度算法，用于学习约束马尔可夫决策过程，改进了通用参数化CMDP的最后迭代保证。
2026-05-01 cs.AI cs.LG
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
我们研究多个回报价值函数的马尔可夫决策过程（MDP）的策略优化，这些回报函数根据给定的标准，如比例公平性（光滑凹标量化），硬约束（约束MDP），和最大最小的权衡进行联合优化。我们提出了一个变锚正则化自然策略梯度（ARNPG）框架，它可以系统地将性能良好的一阶方法的思想融入到多目标MDP问题的策略优化算法的设计中。理论上，基于ARNPG框架设计的算法实现了$\tilde{O}(1/T)$的全局收敛性和精确梯度。从经验上讲，ARNPG引导的算法也表现出优越的性能相比，一些现有的策略梯度为基础的方法，在精确的梯度和基于样本的情况下。
2022-10-18 cs.LG math.OC
The best of both worlds: stochastic and adversarial episodic MDPs with unknown transition
University of Southern California（南加利福尼亚大学）；Tsinghua University（清华大学）
我们认为最好的两个世界的问题，通过$T$情节学习一个情节马尔可夫决策过程，实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾时的损失是敌对的，同时$\mathcal{O}(\text{polylog}(T))$遗憾时的损失（几乎）随机的目标。[Jin and Luo，2020]最近的工作在已知固定跃迁的情况下实现了这一目标，并将未知跃迁的情况作为一个主要的开放问题。在这项工作中，我们解决了这个开放的问题，使用相同的跟随正规化的领导者（$\text{FTRL}$）的框架，以及一组新的技术。具体来说，我们首先在$\text{FTRL}$分析中提出了一个损失转移技巧，这大大简化了[Jin和Luo，2020]的方法，并且已经改进了他们对已知过渡情况的结果。然后，我们将这一想法扩展到未知的过渡情况下，并开发了一种新的分析，上界的过渡估计误差（一小部分）的遗憾本身在随机设置，一个关键属性，以确保$\mathcal{O}(\text{polylog}(T))$遗憾。
2021-10-17 cs.LG
Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action
Georgia Institute of Technology（佐治亚理工学院）；Rutgers University（罗格斯大学）
本文研究了有限时间MDP中一般状态和动作的策略优化问题，提出PŁK条件以确保策略梯度方法在非凸情况下以非渐近速率收敛，并适用于多种控制和运营模型。
2026-03-08 cs.LG math.OC
Regret Bounds for Information-Directed Reinforcement Learning
Deepmind（深度思维）
信息定向采样（IDS）作为一种数据高效的强化学习（RL）算法，已显示出其潜力。然而，对马尔可夫决策过程（MDP）的入侵检测系统的理论认识仍然有限。我们开发了新的信息理论工具来约束学习目标的信息比和累积信息增益。我们的理论结果揭示了选择学习目标的重要性，这样的从业者可以平衡的计算和遗憾的界限。因此，我们推导出无先验贝叶斯遗憾界香草IDS学习整个环境下的表格有限地平线MDPs。此外，我们提出了一个计算效率高的正则化IDS，最大化的加法形式，而不是比率形式，并表明它享有相同的遗憾界香草IDS。在率失真理论的帮助下，我们通过学习一个替代的、信息量较少的环境来提高遗憾边界。此外，我们将我们的分析扩展到线性MDP，并证明了类似的遗憾界汤普森采样作为一个副产品。
2022-11-24 cs.IT cs.LG math.IT
An Analysis of State-Relevance Weights and Sampling Distributions on L1-Regularized Approximate Linear Programming Approximation Accuracy
United States Naval Academy（美国海军学院）
最近对使用$L_1$正则化在使用价值函数近似中的兴趣包括Petrik等人。的介绍$L_1$ -正则化近似线性规划（RALP）。RALP在$L_1$正则化方法中是独特的，因为它使用策略外样本来近似最优价值函数。此外，它产生的策略优于以前的方法，如LSPI。RALP的价值函数近似质量的影响很大的选择状态相关权重的线性规划的目标函数，并从其中抽取样本的分布，但是，在以前的文献中没有讨论这些考虑。在本文中，我们讨论和解释的影响，在状态相关权值和抽样分布的选择近似质量，使用理论和实验说明。结果不仅提供了对这些影响的见解，而且还提供了对特别适合RALP近似的MDP类型的直观认识。
2014-04-24 cs.AI
Logistic Q-Learning
Universitat Pompeu Fabra（庞培法布拉大学）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的强化学习算法，该算法源自MDP中最优控制的正则化线性规划公式。该方法与Peters等人（2010）的经典相对熵策略搜索（REPS）算法密切相关，关键区别在于我们的方法引入了一个Q函数，可以实现高效精确的无模型实现。我们的算法（称为QREPS）的主要特点是一个凸的损失函数的政策评估，作为一个理论上健全的替代广泛使用的平方贝尔曼误差。我们提供了一个实用的鞍点优化方法，最大限度地减少这个损失函数，并提供了一个错误传播分析，涉及到个人更新的输出策略的性能的质量。最后，我们证明了我们的方法在一系列基准问题的有效性。
2021-02-25 cs.AI cs.LG stat.ML
Regularized Q-Learning with Linear Function Approximation
Texas A&M University（德克萨斯农工大学）
针对正则化MDP学习算法在函数近似下收敛性不明的问题，提出双层优化的线性近似正则化Q学习算法，通过双时间尺度更新实现有限时间收敛至平稳点，并为策略提供性能保证。
2025-02-10 cs.AI
Apprenticeship learning with prior beliefs using inverse optimization
Department of Mathematics（数学系）；University of Southern California（南加州大学）
本文提出基于先验信念的逆优化方法，将正则化应用于apprenticeship学习问题，通过随机镜像下降算法解决不恰当性问题，并验证正则化在学习成本函数和策略中的重要性。
2026-02-27 cs.LG math.OC
Fast Rates for Offline Q-Learning with KL Regularization
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）
针对有限时间马尔可夫决策过程的离线Q学习，提出KL正则化Q学习（KLQ）和带悲观性的KL正则化Q学习（KLPQ），证明KLPQ在保留快速收敛速率的同时消除了指数依赖，为离线Q学习提供了首个快速收敛保证。
2026-10-14 cs.AI cs.LG
State Regularized Policy Optimization on Data with Dynamics Shift
Nanyang Technological University（南洋理工大学）；Kuaishou Technology（快手科技）
针对动力学偏移导致样本效率低的问题，提出SRPO算法，利用相似结构环境下最优策略平稳状态分布的正则化实现数据重用，并可附加于在线与离线上下文RL算法，显著提升数据效率和整体性能。
2024-02-22 cs.AI cs.LG
Fast Rates for Maximum Entropy Exploration
HSE University（高等经济大学）；Artificial Intelligence Research Institute（人工智能研究院）；Duisburg-Essen University（杜伊斯堡-埃森大学）；Google DeepMind（谷歌DeepMind）；École Polytechnique（巴黎综合理工学院）；Mohamed Bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；IDEMIA（艾德米亚）；ENS Lyon（里昂高等师范学院）
本文研究稀疏或无奖励 RL 中的两类最大熵探索，提出博弈论与熵正则化算法，改进样本复杂度，并证明其相对无奖励探索的统计优势。
2023-06-06 cs.LG stat.ML
Demonstration-Regularized RL
École Polytechnique（巴黎综合理工学院）；HSE University（高等经济大学）；Google DeepMind（谷歌DeepMind）；Mohamed Bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；IDEMIA（Morpho公司（IDEMIA））；ENS Lyon（里昂高等师范学院）
本文从理论上量化了专家演示对强化学习样本复杂度的降低作用，证明 KL 正则化演示方法在有限和线性 MDP 中均能显著提升样本效率，并为 RLHF 提供了高效性理论保证。
2024-06-10 cs.LG stat.ML
Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning
本文提出一种计算高效算法，在无限 horizon 折扣线性马尔可夫决策过程（MDPs）中实现最优 regret 保证，结合乐观探索技术与正则化近似动态规划方案，达到 O(√(d³(1-γ)^(-7/2)T)) 的 regret，适用于模仿学习。
2026-03-13 cs.LG
$Q\sharp$: Provably Optimal Distributional RL for LLM Post-Training
本文提出 $Q\sharp$，用分布式 RL 学习 KL 正则化最优 $Q$ 函数以引导 LLM 后训练，在数学推理上性能更优且 KL 偏离更小，并给出可实现性下的可证明最优界。
2025-10-19 cs.AI cs.CL cs.LG
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
自然策略梯度（NPG）方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化（一种鼓励探索的算法方案）结合使用，并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功，NPG方法的理论基础仍然有限，即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证，重点是折扣马尔可夫决策过程（MDP）。假设访问精确的政策评估，我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外，该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率，并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
MDP Planning as Policy Inference
Offtopia
将周期性马尔可夫决策过程规划视为贝叶斯推断，通过策略作为隐变量，利用策略最优性的非归一化概率构建后验分布，结合变分序列蒙特卡洛方法近似后验分布，通过策略一致性扫面和粒子间转移随机性耦合避免模拟噪声干扰，最终通过后验预测采样生成随机控制策略。
2026-08-18 cs.LG
Feature Selection Using Regularization in Approximate Linear Programs for Markov Decision Processes
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Duke University（杜克大学）
近似动态规划已成功地应用于各种领域，但它依赖于一小部分提供的近似特征来可靠地计算解。由于样本数量有限，大量丰富的特征集可能会导致现有算法过拟合。我们使用$L_1$正则化近似线性规划来解决这个缺点。由于所提出的方法可以自动选择适当的丰富度的功能，其性能不会降低随着越来越多的功能。这些结果依赖于新的和更强的采样范围的正则化近似线性规划。我们还提出了一个计算效率高的同伦方法。实验结果表明，该方法在简单的MDP和标准基准问题上表现良好。
2010-05-20 cs.AI
Mutual-Information Regularization in Markov Decision Processes and Actor-Critic Learning
累积熵正则化为强化学习（RL）问题引入了一个监管信号，鼓励具有高熵行为的策略，这相当于强制执行与统一参考边际策略的小偏差。这已被证明可以提高探索性和鲁棒性，并解决了价值高估问题。它还导致表格和高维设置中的性能显着提高，如通过软Q学习（SQL）和软演员评论家（SAC）等算法所证明的那样。累积熵正则化已经被扩展到优化参考边际策略，而不是保持它固定，产生一个正则化，最大限度地减少状态和动作之间的互信息。虽然这最初是针对表格设置中的马尔可夫决策过程（MDP）提出的，但最近表明，对于具有离散动作和函数逼近器的高维域，类似的原理导致RL中的vanilla SQL的显着改进。在这里，我们遵循互信息正则化的动机从推理的角度和理论分析相应的贝尔曼算子。受此Bellman算子的启发，我们设计了一种新的互信息正则化行动者-评论家学习（MIRACLE）算法的连续动作空间，优化了参考边际政策。我们在Mujoco机器人模拟器中实证验证了MIRACLE，在那里我们证明了它可以与当代RL方法竞争。最值得注意的是，它可以改善无模型的最先进的SAC算法，其中隐含地假设一个固定的参考策略。
2019-09-11 cs.AI cs.LG stat.ML
A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance
Department of Computer Science University of Konstanz（康斯坦茨大学计算机科学系）；Department of Economics University of St.Gallen（圣加尔登大学经济学系）
本文提出PGDA-RL算法，结合正则化线性规划与随机逼近理论，解决正则化马尔可夫决策过程，实现双时间尺度分解与在线策略更新，证明其收敛性与有限时间保证。
2026-04-14 cs.LG math.OC
Convex Regularization in Monte-Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡洛规划和强化学习（RL）是顺序决策的基础。最近的AlphaGo和AlphaZero算法已经展示了如何成功地将这两种范式结合起来，以解决大规模的顺序决策问题。这些方法利用了著名的UCT算法的一个变体来权衡利用良好的动作和探索未访问的状态，但它们的经验成功是以样本效率差和计算时间长为代价的。在本文中，我们通过在蒙特卡罗树搜索（MCTS）中考虑凸正则化来克服这些限制，该算法已成功地用于RL以有效地驱动探索。首先，我们介绍了一个统一的理论在MCTS中使用通用凸正则化，得出遗憾分析和指数收敛速度提供保证。其次，我们利用我们的理论框架，引入新的正规化备份运营商的MCTS，基于相对熵的政策更新，和Tsallis熵的政策。最后，我们实证评估建议的运营商在AlphaGo和AlphaZero上的问题，增加维度和分支因子，从一个玩具的问题，几个雅达利游戏，显示其优越性w.r.t.代表性基线。
2021-02-16 cs.AI cs.LG
Improved Best-of-Both-Worlds Guarantees for Multi-Armed Bandits: FTRL with General Regularizers and Multiple Optimal Arms
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文证明FTRL算法在广泛正则化器族和新学习率调度下无需唯一最优臂假设即可同时实现随机与对抗环境的最优遗憾界，并推广到解耦探索与利用问题。
2023-10-26 cs.LG stat.ML
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文提出双重平滑策略迭代框架，将自然策略梯度等方法统一为贝尔曼算子形式，证明其分布无关的几何收敛性，且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
Bilevel Optimization over Saddle Points of Zero-Sum Markov Games
Shun Hing Institute of Advanced Engineering, The Chinese University of Hong Kong（香港中文大学先进工程学院）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）
针对下层为零和马尔可夫博弈的双层优化问题，提出基于惩罚的Nikaido-Isoda下降-上升方法（PANDA），避免计算超梯度且无需二阶信息，在无凸性假设下收敛到平稳点，达到与单策略下层MDP双层RL相当的最优速率。
2026-05-26 cs.AI cs.LG math.OC
Simultaneously Learning Stochastic and Adversarial Bandits under the Position-Based Model
Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）
在线学习排名（OLTR）交互式地学习基于描述用户点击行为的特定点击模型从大集合中选择项目列表。最近的工作，这个问题集中在随机环境中的项目吸引力被假定为在学习过程中是不变的。然而，在许多现实世界的场景中，环境可能是动态的，甚至是任意变化的。本文研究了基于位置模型（PBM）下随机环境和对抗环境下的OLTR问题。我们提出了一种基于Tsallis熵的FTRL框架的方法，并开发了一种新的自约束，特别是为PBM设计的。我们证明了该算法同时实现了随机环境下的$O(\log{T})$后悔和对抗环境下的$O(m\sqrt{nT})$后悔，其中$T$是轮数，$n$是项目数，$m$是位置数.我们还提供了对抗PBM的$Ω(m\sqrt{nT})$阶的下界，该下界与我们的上界相匹配，并在最先进的下界上有所改进。实验表明，我们的算法可以同时在随机和对抗性环境中学习，与现有的针对单一环境设计的方法相比具有竞争力。
2022-07-12 cs.LG
Performative Reinforcement Learning with Linear Markov Decision Process
University of Warwick（华威大学）；Max-Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文研究策略会改变奖励与状态转移的执行型强化学习，将重复再训练收敛理论推广到线性 MDP，并在有限样本与有界覆盖条件下给出原对偶算法及稳定解保证。
2025-03-14 cs.GT cs.LG
Revisiting Follow-the-Perturbed-Leader with Unbounded Perturbations in Bandit Problems
Seoul National University（首尔国立大学）；Kyoto University, RIKEN AIP（京都大学、RIKEN AIP）；The University of Tokyo, RIKEN AIP（东京大学、RIKEN AIP）
针对FTPL因分析挑战导致BOBW结果有限的问题，重探无界扰动下FTRL-FTPL对偶性，在非对称无界Fréchet型扰动族下建立BOBW结果，扩展FTPL分析基础并为替代策略设计提供新见解。
2025-08-26 cs.LG stat.ML
Inverse Concave-Utility Reinforcement Learning is Inverse Game Theory
Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）
针对凹效用强化学习CURL使经典Bellman方程失效、标准IRL理论不再适用的问题，论文利用CURL与平均场博弈的等价性，将I-CURL刻画为逆博弈论问题并重新定义可行奖励。
2024-08-01 cs.AI cs.GT cs.LG
A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets
International Research Center for Neurointelligence, The University of Tokyo（国际神经智能研究中心，东京大学）；ATR Neural Information Analysis Laboratories（ATR神经信息分析实验室）；Department of Information Science, Kyoto University（京都大学信息科学系）
本文研究了基于偏好条件的多目标强化学习，通过平滑Tchebycheff标量化方法证明了偏好与帕累托最优回报向量的唯一性和连续性，并提出CMDPI算法实现O(1/k)的收敛速度。
2026-05-09 cs.LG
