Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））
本文提出BDPO框架，将行为正则化扩展至扩散策略，通过解析计算KL正则化作为逆向时间转移核的累积差异，开发双时间尺度actor-critic算法，在D4RL基准上验证了有效性与优越性能。
2025-05-29 cs.AI cs.LG
On Pathologies in KL-Regularized Reinforcement Learning from Expert Demonstrations
University of Oxford（牛津大学）
来自专家演示的KL正则化强化学习已被证明成功地提高了深度强化学习算法的样本效率，使其能够应用于具有挑战性的物理现实任务。然而，我们发现，KL正则化强化学习与来自专家演示的行为参考策略可能会受到病态的训练动态，这可能导致缓慢，不稳定和次优的在线学习。我们的经验表明，病理发生通常选择的行为政策类，并证明其对样本效率和在线政策性能的影响。最后，我们证明了病理可以通过非参数行为参考策略来补救，这使得KL正则化强化学习在各种具有挑战性的运动和灵巧手操作任务上显着优于最先进的方法。
2022-12-28 cs.AI cs.LG stat.ME
Regularized Reward-Punishment Reinforcement Learning
Dept. of Brain Robot Interface, ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室脑机接口系）
提出KL耦合策略正则化(KCPR)框架，通过策略间动态先验交互实现奖惩强化学习中的策略协调，并衍生出KL耦合软最优性(KCSO)及深度实现klDMP，在网格世界和Gazebo机器人导航任务中提升了安全性和学习稳定性。
2026-06-29 cs.LG cs.RO
Mutual Information Regularized Offline Reinforcement Learning
Sea AI Lab
本文提出 MISA 框架，通过状态与动作的互信息下界约束离线 RL 的策略改进方向，并统一 CQL 与 TD3+BC，在 D4RL 上显著优于基线。
2024-02-28 cs.AI cs.LG
Mildly Conservative Regularized Evaluation for Offline Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；School of Engineering, University of Newcastle（新castle大学工程学院）
针对离线强化学习中的分布偏移与过估计问题，提出MCRE框架和MCRQ算法，通过在Bellman backup中结合TD误差与行为克隆项平衡保守性与性能，在基准数据集上优于现有强基线算法。
2025-08-08 cs.AI cs.LG
Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty
College of Engineering & Computer Science, Syracuse University（工程与计算机科学学院，苏利文大学）
研究针对强化学习中转移动态不确定性致策略性能下降问题，提出基于近端策略优化的PPO-PGDLC算法，集成投影梯度下降与李普希茨正则化评论家，实验表明该算法在环境扰动下性能更好且动作更平滑。
2026-07-09 cs.LG
Score Regularized Policy Optimization through Diffusion Behavior
Tsinghua University（清华大学）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
针对扩散策略采样缓慢的问题，提出从评论家与预训练扩散行为模型提取确定性推理策略，用行为分布得分函数正则化策略梯度，在D4RL任务上提速超25倍且性能最优。
2024-03-15 cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本文将离线策略正则化方法扩展至多目标强化学习，提出过滤偏好不一致示范和高表达能力正则化两种方案，并集成偏好条件标量化更新与正则化权重自适应，利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Bidirectional-Reachable Hierarchical Reinforcement Learning with Mutually Responsive Policies
Tsinghua University（清华大学）；Institute for AI Industry Research（人工智能产业研究院）
针对分层强化学习中子目标可达性受单侧主导限制的问题，提出双向可达分层策略优化算法，通过相互响应机制实现双向信息共享与纠错，在长期任务上优于现有基线，提升探索效率与鲁棒性。
2024-06-26 cs.AI cs.LG
Convergence Theorems for Entropy-Regularized and Distributional Reinforcement Learning
Rutgers University–Newark（罗格斯大学-新布朗斯维尔分校）；Mila–Québec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）
本文提出一种理论框架，通过消失的熵正则化和温度解耦策略，保证强化学习收敛到可解释且保持多样性的最优策略，并实现回报分布的精确估计。
2025-10-09 cs.LG
MDP Planning as Policy Inference
Offtopia
将周期性马尔可夫决策过程规划视为贝叶斯推断，通过策略作为隐变量，利用策略最优性的非归一化概率构建后验分布，结合变分序列蒙特卡洛方法近似后验分布，通过策略一致性扫面和粒子间转移随机性耦合避免模拟噪声干扰，最终通过后验预测采样生成随机控制策略。
2026-08-18 cs.LG
Q-Regularized Generative Auto-Bidding: From Suboptimal Trajectories to Optimal Policies
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）；Wuhan University（武汉大学）
QGA通过Q值正则化和双Q学习策略，提升自动出价策略的优化效果，实现从次优轨迹到最优策略的转变。
2026-08-18 cs.AI cs.IR cs.LG
Representation Convergence: Mutual Distillation is Secretly a Form of Regularization
HKUST(GZ)（香港科技大学（广州））；QLU（齐齐哈尔大学）；ETH Zurich（苏黎世联邦理工学院）；SCU（四川大学）
本文证明强化学习策略间的互蒸馏作为隐式正则化，防止过拟合无关特征，从而提升泛化性能，并在像素输入上自发涌现不变表示。
2025-09-24 cs.AI cs.LG
The Greedy Advantage in Finite-Horizon Bandits
Tsinghua University（清华大学）；Harvard Business School（哈佛商学院）
针对有限时间范围老虎机问题，提出正则化贪心算法，推导其有限时间范围遗憾包络并校准参数，实验显示其性能优于或匹配当前最优算法，为该问题提供有效方案。
2026-08-03 cs.LG stat.ML
Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization
HSE University（高等经济大学）；Constructor University（康斯特大学）；École polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥尔赛数学实验室）
针对 GFlowNets 中固定后向策略的限制，提出一种基于熵正则化 MDP 值函数直接最大化的后向策略优化算法，实验证明其在复杂环境中能实现更快收敛和更好的模式发现。
2025-03-03 cs.LG
State Regularized Policy Optimization on Data with Dynamics Shift
Nanyang Technological University（南洋理工大学）；Kuaishou Technology（快手科技）
针对动力学偏移导致样本效率低的问题，提出SRPO算法，利用相似结构环境下最优策略平稳状态分布的正则化实现数据重用，并可附加于在线与离线上下文RL算法，显著提升数据效率和整体性能。
2024-02-22 cs.AI cs.LG
Entropy-Regularized Reinforcement Learning for Linear-Quadratic Stackelberg Differential Games in Regime-Switching Diffusion Models
School of Mathematics and Statistics, Anhui Normal University（安徽师范大学数学与统计学学院）；School of Statistics, Key Laboratory of Advanced Theory and Application in Statistics and Data Science-MOE, Faculty of Economics and Management, East China Normal University（东华大学统计学院）；School of Mathematics, Southeast University（东南大学数学学院）
提出熵正则化强化学习方法求解连续时间体制切换扩散模型下的线性二次Stackelberg微分博弈，通过探索性耦合HJBI方程和神经网络逼近，有效避免次优均衡并处理高维PDE。
2026-06-27 cs.LG
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
School of Mathematics and Statistics（数学与统计学学院）；Department of Actuarial Studies and Business Analytics（精算学与商业分析系）；School of Statistics, KLATASDS-MOE, China Inclusive Ageing Finance Research Center（统计学学院，KLATASDS-MOE，中国包容性老龄化金融研究中心）；East China Normal University（华东师范大学）
针对随机微分博弈中参数误设和环境突变问题，提出分布控制方法，将最优策略建模为条件概率分布，并推导熵正则化零和随机微分博弈的耦合HJBI方程，通过Actor-Critic算法求解均衡策略。
2026-06-27 cs.LG
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
Improving Discrete Diffusion Unmasking Policies Beyond Explicit Reference Policies
Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院）；School of Computing, KAIST（计算学院，韩国科学技术院）
本文提出了一种基于学习调度器的改进离散扩散解掩策略，通过KL正则化马尔可夫决策过程优化，显著提升了在多个基准测试中的性能。
2026-02-26 cs.AI cs.CL cs.LG
Entropy-Regularized Adjoint Matching for Offline Reinforcement Learning
College of Computing（计算学院）；Mohammed VI Polytechnic University（穆莱·阿卜杜勒阿齐兹技术大学）
本文提出最大熵对偶匹配框架，通过镜像下降熵最大化和混合行为先验机制，缓解流行偏差和支撑绑定问题，提升离线数据中最优策略的提取能力。
2026-05-08 cs.AI cs.LG
Model-Free Robust $ϕ$-Divergence Reinforcement Learning Using Both Offline and Online Data
California Institute of Technology（加州理工学院）
针对名义模型与真实环境不匹配导致的参数不确定性，论文提出无模型 RPQ 与混合离线/在线数据的 HyTQ 算法，并在一般函数逼近和大状态空间下给出鲁棒策略的理论保证。
2024-05-08 cs.LG stat.ML
Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners
UC, Berkeley（伯克利大学）；University of Warsaw（华沙大学）；Nomagic（Nomagic公司）；CMU（卡内基梅隆大学）
本文提出使用高容量价值模型结合交叉熵和可学习任务嵌入，解决在线多任务强化学习中的任务干扰问题，在7个基准上实现最先进性能。
2025-05-29 cs.LG
Behavioral Cloning Outperforms Entropy-Regularized RL: Critic-Driven Failure of Actor-Critic Methods on Adaptive Tumor Treatment
Tilburg University（蒂尔堡大学）
本研究通过最优控制参考证明，行为克隆优于熵正则化强化学习，而演员-评论家方法因批评者误导在自适应肿瘤治疗中失败。
2026-09-09 cs.LG
Optimistic Planning by Regularized Dynamic Programming
Universitat Pompeu Fabra（庞培法布拉大学）
本研究提出一种带正则化的近似值迭代方法用于无限时域折扣MDP的乐观规划，无需传统压缩性与单调性假设，适用于线性近似场景，可实现高效的近似最优策略学习与近最优统计保证。
2023-06-14 cs.LG stat.ML
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation（万事达卡公司）；Georgia Institute of Technology（佐治亚理工学院）
我们探讨使用政策近似，以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法，它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下，通过更新正则化Q函数，算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力，转移以前的训练经验，使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案，以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡，同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究了熵正则化自然策略梯度在函数逼近下的线性收敛性，证明了其在正则化马尔可夫决策过程中具有线性收敛特性。
2024-02-08 cs.LG math.OC stat.ML
Critic Regularized Regression
DeepMind（深度思维）；Google Brain（谷歌大脑）
离线强化学习（RL），也称为批处理RL，提供了在没有在线环境交互的情况下从大型预记录数据集进行策略优化的前景。它解决了关于数据汇集和安全性的成本方面的挑战，这两者都与RL的实际应用特别相关。不幸的是，大多数非策略算法在从固定数据集学习时表现不佳。在本文中，我们提出了一种新的离线RL算法，使用一种形式的临界正则化回归（CRR）从数据中学习策略。我们发现CRR的表现令人惊讶地好，并且可以扩展到具有高维状态和动作空间的任务-在广泛的基准任务上，它的表现远远优于几种最先进的离线RL算法。
2021-09-22 cs.AI cs.LG stat.ML
Bigger, Regularized, Optimistic: scaling for compute and sample-efficient continuous control
NCBR（波兰国家研究与发展中心）；University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；Polish Academy of Sciences（波兰科学院）；Nomagic
本研究提出BRO算法，通过强正则化实现critic网络有效扩展并结合乐观探索，在40个复杂任务中显著优于领先算法，成为首个在Dog和Humanoid任务中实现近最优策略的无模型算法。
2024-12-03 cs.LG
Towards an Understanding of Default Policies in Multitask Policy Optimization
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学中心）；Inria（法国国家信息与自动化研究所）；Oxford University（牛津大学）；Microsoft Research（微软研究院）
最近深度强化学习的大部分成功都是由正则化策略优化（RPO）算法驱动的，这些算法在多个领域都具有强大的性能。在这一系列的方法中，智能体被训练来最大化累积奖励，同时惩罚偏离某些参考或默认策略的行为。除了经验上的成功，还有一个强大的理论基础来理解RPO方法应用于单一任务，与自然梯度，信赖域和变分方法的连接。然而，有有限的正式了解理想的属性默认政策的多任务设置，一个越来越重要的领域，该领域转向培训更普遍的能力代理。在这里，我们通过正式地将默认策略的质量与其对优化的影响联系起来，迈出了填补这一空白的第一步。使用这些结果，然后，我们推导出一个原则性的RPO算法多任务学习具有很强的性能保证。
2022-03-23 cs.LG
Convergence of regularized agent-state-based Q-learning in POMDPs
Department of Electrical and Computer Engineering, McGill University（麦吉尔大学电气与计算机工程系）；Earth Species Project（地球物种计划）
该研究针对实际常用的带策略正则化、基于非信念/信息态的智能体状态更新Q表的Q学习算法，提出分析框架，证明最简形式RASQL在温和条件下收敛于特定正则化MDP不动点，变体及数值实验也验证了理论结论。
2025-09-02 cs.LG
Value Function Approximation in Noisy Environments Using Locally Smoothed Regularized Approximate Linear Programs
United States Naval Academy（美国海军学院）；Duke University（杜克大学）
最近，Petrik等人证明了L1正则化近似线性规划（RALP）可以产生价值函数和策略，这些价值函数和策略与已建立的线性价值函数近似技术（如LSPI）相比是有利的。RALP的成功主要源于同时解决特征选择和价值函数近似步骤的能力。RALP的性能保证变得宽松，如果采样下一个状态使用。对于非常嘈杂的域，RALP需要精确的模型而不是样本，这在某些实际场景中可能是不现实的。在本文中，我们证明了这一弱点，然后介绍局部光滑L1-正则近似线性规划（LS-RALP）。我们证明，LS-RALP减轻了不准确性，即使没有一个准确的模型来自噪声。我们表明，在给定一些平滑假设的情况下，随着样本数量的增加，来自噪声的误差接近于零，并提供了LS-RALP在常见强化学习基准问题上成功的实验示例。
2012-10-16 cs.LG stat.ML
A Relation Analysis of Markov Decision Process Frameworks
Singapore Management University（新加坡管理大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了机器学习和计量经济学文献中不同的马尔可夫决策过程（MDP）框架之间的关系，包括标准MDP、熵和一般正则化MDP以及随机MDP，后者基于报酬函数是随机的并服从给定分布的假设。我们证明了熵正则化MDP等价于一个随机MDP模型，并且严格地被一般正则化MDP所包含。此外，我们提出了一个分布式随机MDP框架，假设报酬函数的分布是模糊的。我们进一步表明，分布随机MDP是等价的正则化MDP，在这个意义上，他们总是产生相同的最优策略。我们还提供了随机/正则化MDP和约束MDP之间的连接。我们的工作给出了几个重要的MDP框架，这将导致新的方法来解释（熵/一般）正则化MDP框架通过镜头的随机奖励，反之亦然。鉴于最近正则化MDP在（深度）强化学习中的流行，我们的工作带来了对这种算法方案如何工作的新理解，并提出了开发新算法的想法。
2020-08-18 cs.LG econ.EM math.OC
BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning
由于经济和安全问题，与环境进行在线交互以收集数据样本用于训练强化学习（RL）代理并不总是可行的。离线强化学习的目标是通过使用先前收集的数据集学习有效的策略来解决这个问题。标准的非策略RL算法容易高估分布外（较少探索）动作的值，因此不适合离线RL。行为正则化将学习到的策略约束在数据集的支持集内，已被提出来解决标准策略外算法的局限性。本文对行为正则化离线强化学习进行了改进，提出了BRAC+。首先，我们提出了量化的分布外的行动，并进行比较使用Kullback-Leibler分歧与使用最大均值离散作为正则化协议。我们提出了一个分析上界的KL分歧的行为正则化，以减少与基于样本的估计方差。其次，我们在数学上表明，即使在温和的假设下使用行为正则化策略更新，学习的Q值也会发散。这导致了Q值的过高估计和学习策略的性能恶化。为了缓解这个问题，我们增加了一个梯度惩罚项的政策评估目标。通过这样做，保证Q值收敛。在具有挑战性的离线RL基准测试中，BRAC+比基线行为正则化方法高出40%~87%，比最先进的方法高出6%。
2021-10-02 cs.LG
Finite-Time Analysis of Entropy-Regularized Neural Natural Actor-Critic Algorithm
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ETH Zurich（苏黎世联邦理工学院）
自然行动者-批评者（NAC）及其变体，配备了神经网络的表示能力，在解决具有大状态空间的马尔可夫决策问题方面取得了令人印象深刻的经验成功。在本文中，我们提出了一个有限时间分析的NAC与神经网络近似，并确定的作用，神经网络，正则化和优化技术（例如，梯度裁剪和平均），以在样本复杂度、迭代复杂度和演员和评论家的过参数化界限方面实现可证明的良好性能。特别是，我们证明了（i）熵正则化和平均通过提供足够的探索来避免接近确定性和严格次优的策略来确保稳定性，以及（ii）正则化导致正则化MDP中的尖锐样本复杂性和网络宽度界限，从而在策略优化中产生有利的偏差方差权衡。在这个过程中，我们确定的重要性一致逼近能力的演员神经网络，以实现全局最优的政策优化，由于分布的转变。
2022-06-02 cs.LG math.OC stat.ML
On Global Convergence Rates for Federated Softmax Policy Gradient under Heterogeneous Environments
CMAP, CNRS, École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院CMAP实验室，法国国家科学研究中心）；Université Paris-Saclay, CNRS, LMO（巴黎萨克雷大学，法国国家科学研究中心，数学与建模实验室）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；LRE EPITA（EPITA 研究与工程实验室）
本文研究了在异构环境中联邦Softmax策略梯度算法的收敛率，证明了其在平均代理价值方面的近优策略收敛，并通过投影类操作符获得了熵正则化策略梯度的首次明确常数收敛率。
2026-04-01 cs.LG
Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality
University of Vienna（维也纳大学）；The Ohio State University（俄亥俄州立大学）
本文提出Matryoshka策略梯度（MPG）算法，证明其在固定视野最大熵强化学习线性近似下的全局收敛性与最优策略唯一性，给出神经网络策略的全局最优判据并通过基准测试验证。
2024-10-07 cs.AI cs.LG
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies
Naver Labs Europe（纳维尔实验室欧洲分部）；Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
本文提出一种无监督的行为模式发现框架，用于在强化学习细调多模态生成策略时保持行为多样性，通过互信息作为内在奖励提升任务成功率。
2026-05-12 cs.LG cs.RO
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
Reinforcement Learning with Discrete Diffusion Policies for Combinatorial Action Spaces
Google Research（谷歌研究）；Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）；Nvidia Research（Nvidia研究）
本文提出了一种新的框架，用于在复杂的组合动作空间中训练高效的离散扩散模型策略，通过高效的在线训练过程和策略镜像下降方法，实现了稳定的策略改进，并在多个挑战性组合基准上取得了最先进的性能。
2026-05-19 cs.LG
ARAC: Adaptive Regularized Multi-Agent Soft Actor-Critic in Graph-Structured Adversarial Games
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对图结构多智能体对抗任务中稀疏奖励阻碍策略学习的问题，提出ARAC方法，结合注意力图神经网络建模智能体依赖与自适应散度正则化机制，实验证明其收敛更快、成功率更高且可扩展性更强。
2025-11-11 cs.LG
When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning
College of Engineering and Computer Science（工程与计算机科学学院）
研究探讨了在离线强化学习中，冻结的演员在部署时通过专家产品组合与目标条件先验进行适应，发现精度加权组合在退化或随机先验下仍能保持冻结演员的稳定性，而其他方法失效。同时揭示了在冻结演员设置下，PoE与KL正则化适应的闭式恒等式。
2026-04-23 cs.AI cs.LG
Entropy-regularized Diffusion Policy with Q-Ensembles for Offline Reinforcement Learning
Department of Information Technology, Uppsala University（乌普萨拉大学信息技术系）
针对离线强化学习，提出基于均值回复SDE的熵正则化扩散策略，并利用Q-Ensembles下置信界抑制OOD价值误差，在D4RL多数任务上达到SOTA。
2025-01-08 cs.LG cs.SY eess.SY
Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation
Cornell University（康奈尔大学）；University of Science and Technology of China（中国科学技术大学）；Duke University（杜克大学）
针对分布偏移下的鲁棒强化学习，提出DR-RPO算法，结合参考策略正则化与线性函数逼近，实现次线性遗憾和样本效率，理论与实证验证其鲁棒性。
2025-10-16 cs.AI cs.LG stat.ML
Wasserstein Unsupervised Reinforcement Learning
Tsinghua University（清华大学）
无监督强化学习旨在训练智能体在没有外部奖励的环境中学习少量策略或技能。这些预先训练好的策略在被赋予外部奖励时可以加速学习，也可以作为分层强化学习中的原始选项。传统的无监督技能发现方法通过向Agent提供一个潜在变量，并通过互信息（MI）最大化来释放其对Agent行为的授权。然而，通过基于MI的方法学习的策略不能充分地探索状态空间，尽管它们可以成功地彼此识别。因此，我们提出了一个新的框架Wasserstein无监督强化学习（WURL），我们直接最大化的状态分布的距离不同的政策。此外，我们克服了同时训练N（N >2）个策略的困难，并将整体奖励分摊到每一步。实验表明，我们的方法学习的策略优于基于MI的方法的Wasserstein距离的度量，同时保持高的可区分性。此外，WURL训练的智能体可以充分探索迷宫和MuJoCo任务中的状态空间，并且预先训练的策略可以通过分层学习应用于下游任务。
2021-10-15 cs.LG
Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Duke University（杜克大学）
针对离线强化学习中的动力学偏移问题，提出线性结构 $d$-RRMDP 框架与 R2PVI 算法，利用线性函数逼近和 $f$-divergence 正则化学习鲁棒策略，并从理论上证明其近似最优且计算高效。
2025-10-30 cs.AI cs.LG cs.RO
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
最近的平均场博弈（MFG）的形式主义，否则难以计算的近似纳什均衡在许多代理设置。在本文中，我们考虑离散时间有限MFG有限时域目标。我们发现，所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献，除非通过不动点迭代收敛。相反，我们将熵正则化和玻尔兹曼政策到不动点迭代。结果，我们获得了可证明的收敛到现有方法失败的近似不动点，并达到了近似纳什均衡的原始目标。所有提出的方法进行评估，就其可利用性，在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中，我们应用已建立的深度强化学习方法，并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
The Price of Failure Risk: Clipped Barrier Policy Gradients with Convex Regularization
本文提出双重正则化强化学习框架，结合平均场理论与Wasserstein梯度流解决连续空间安全约束问题，并提供了可解性条件与指数收敛保证。
2026-10-30 cs.AI cs.LG math.OC
Intrinsic Benefits of Categorical Distributional Loss: Uncertainty-aware Regularized Exploration in Reinforcement Learning
University of Alberta, Canada（阿尔伯塔大学）；Harbin Engineering University, China（哈尔滨工程大学）；Xi’an Jiaotong University, China（西安交通大学）
本文提出了一种基于类别分布损失的不确定性感知正则化方法，通过增强奖励信号提升强化学习的探索效率。
2025-12-24 cs.LG
Scalable Reinforcement Learning Policies for Multi-Agent Control
University of Pennsylvania（宾夕法尼亚大学）
我们开发了一个多智能体强化学习（MARL）方法来学习可扩展的目标跟踪控制策略。我们的方法可以处理任意数量的追求者和目标，我们显示的任务组成的1000个追求者跟踪1000个目标的结果。我们使用一个分散的，部分可观察的马尔可夫决策过程框架模型的追求者作为代理接收部分观察（范围和轴承）的目标，使用固定的，未知的政策。使用注意力机制来参数化代理的价值函数;该机制允许我们处理任意数量的目标。熵正则化的政策外RL方法用于训练一个随机的政策，我们讨论它如何使追求者之间的对冲行为，导致一个弱形式的合作，尽管完全分散控制执行。我们进一步开发了一个掩蔽启发式算法，允许在较小的问题上进行训练，很少有追求者目标，并且可以在更大的问题上执行。彻底的模拟实验，消融研究，并比较最先进的算法进行研究的方法和性能的鲁棒性，以不同数量的代理和目标的可扩展性。
2021-11-10 cs.LG cs.MA
Regularized Offline Policy Optimization with Posterior Hybrid Bayesian Belief
Zhejiang University, Hangzhou, China（浙江大学）
提出后验混合贝叶斯信念（PhyB）以统一量化离线强化学习中的认知不确定性，并基于此开发迭代正则化策略优化算法，实现单调改进直至收敛。
2026-07-21 cs.AI cs.LG
Policy Optimization finds Nash Equilibrium in Regularized General-Sum LQ Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协调科学实验室）
该研究探究相对熵正则化对一般和N智能体博弈纳什均衡的影响，证明满足熵正则化条件时策略优化算法可线性收敛到纳什均衡，还提出δ增强技术在正则化不足时实现ε-纳什均衡。
2024-09-13 cs.AI cs.GT cs.LG
