Wasserstein Distance Maximizing Intrinsic Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DeepMind
本文讨论的问题，学习技能的条件政策，有意义的行为在没有奖励信号。基于互信息的目标已经在学习技能方面显示出一些成功，这些技能在这种设置中达到不同的状态集合。这些目标包括KL-发散项，其通过访问不同的状态来最大化，即使这些状态在MDP中相距不远。本文提出了一种方法，奖励智能体学习技能，最大限度地提高他们的状态访问从开始状态的技能的Wasserstein距离。它表明，这样的目标导致的政策，覆盖更多的距离在MDP比多样性为基础的目标，并验证了各种雅达利环境的结果。
2021-10-28 cs.AI cs.LG
Policy Optimization as Wasserstein Gradient Flows
Duke University（杜克大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
策略优化是强化学习（RL）的核心组成部分，并且大多数现有的RL方法基于最大化期望总回报或其代理来直接优化策略的参数。虽然经常取得令人鼓舞的经验成功，其基本的数学原理{ \em policy-distribution}优化是不清楚的。我们把政策优化的概率措施的空间，并解释为Wasserstein梯度流。在概率测度空间上，在一定条件下，策略优化问题就成为一个关于分配优化的凸问题。为了使优化可行，我们开发了有效的算法，通过数值求解相应的离散梯度流。我们的技术适用于几个RL设置，并与许多国家的最先进的政策优化算法。实验结果验证了我们的框架的有效性，往往获得更好的性能相比，相关的算法。
2018-08-09 cs.LG stat.ML
Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究针对熵正则化线性二次控制问题，将Wasserstein策略梯度简化为有限维ODE并证明其指数收敛，明确了收敛指数在熵温度趋于0时的极限特性。
2026-08-10 cs.LG math.OC
Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
Wasserstein Distributionally Robust Policy Evaluation and Learning for Contextual Bandits
Duke University（杜克大学）
本文针对上下文赌博机中环境分布不匹配问题，提出基于Wasserstein距离的分布鲁棒策略评估与学习方法，并给出正则化随机梯度下降优化算法及理论复杂度分析，在卒中试验公开数据上验证了有效性。
2024-01-17 cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance（字节跳动）；Nankai University（南开大学）
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制，具有封闭多样性、不变性探索和自适应权衡三个特性，这有助于基于值的方法避免策略崩溃问题。然而，不存在一个并行的机制，基于策略的方法，实现所有三个特征。在本文中，我们提出了一个熵正则化的自由机制，设计的基于策略的方法，实现了封闭形式的多样性，不变性探索和自适应权衡。我们的实验表明，我们的机制是超级样本效率的基于策略的方法，并提高了基于策略的基线，以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
A note on convergence of Wasserstein policy optimization
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）
本文探讨了Wasserstein策略优化在连续状态和动作空间中的收敛性问题，通过利用均场分析和log-Sobole不等式，证明了在熵正则化的马尔可夫决策过程框架下，WPO算法能够线性收敛到全局最优解。
2026-05-21 cs.LG math.OC
DeepStock: Reinforcement Learning with Policy Regularizations for Inventory Management
Booth School of Business, University of Chicago（芝加哥大学商学院）；Taobao & Tmall Group（淘宝与天猫集团）；School of Economics, Sichuan University（四川大学经济学院）；Graduate School of Business, Columbia University（哥伦比亚大学商学院）；School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）
本文提出通过策略正则化改进深度强化学习在库存管理中的应用，加速超参数调优并提升性能，通过阿里巴巴电商平台的部署和合成实验验证了其有效性。
2026-10-06 cs.AI cs.LG
Wasserstein Auto-encoded MDPs: Formal Verification of Efficiently Distilled RL Policies with Many-sided Guarantees
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文提出WAE-MDP潜空间模型，通过惩罚化最优传输蒸馏RL策略并提供互模拟等形式化保证，显著提升学习速度、模型质量与验证可行性。
2023-04-21 cs.AI cs.LG
Offline Reinforcement Learning with On-Policy Q-Function Regularization
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；CMU（卡内基梅隆大学）；Google（谷歌）
本文提出通过SARSA式估计行为策略的Q函数并以其作为正则化目标，替代难以估计的行为策略本身，以解决离线强化学习中的外推误差问题，并在D4RL基准上验证了两种算法的强性能。
2023-07-25 cs.AI cs.LG
Quantile Geometry Regularization for Distributional Reinforcement Learning
Information Hub, AI Thrust（信息中心，人工智能方向）
本文提出RQIQN方法，通过分位数估计视角改进分布性强化学习，解决分位数估计退化问题，提升风险敏感导航和Atari游戏性能。
2026-05-05 cs.AI cs.LG
Optimistic Policy Regularization: Elite-Statistic Reward Shaping
OPR通过保留和强化历史成功轨迹提升深度强化学习的样本效率和最终性能
2026-10-23 cs.AI cs.LG
A Connection between One-Step Regularization and Critic Regularization in Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本研究揭示了强化学习中单步正则化与评论家正则化方法的关联，证明正则化系数为1的多步评论家正则化与单步RL策略一致，实验验证了分析对常用超参数下实用方法的预测准确性，表明强正则化场景下单步RL或具竞争力。
2023-07-24 cs.AI cs.LG
Federated Offline Policy Optimization with Dual Regularization
Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Zhongguancun Laboratory（中关村实验室）
本文提出离线联邦策略优化算法DRPO，通过双重正则化应对离线FRL中的双层分布偏移，使智能体无需环境交互即可协作学习，并确保每轮联邦学习中的严格策略改进。
2024-05-29 cs.AI cs.LG
Policy Regularization with Dataset Constraint for Offline Reinforcement Learning
Nanjing University（南京大学）；Polixir Technologies（Polixir科技）
针对离线强化学习中传统分布或支撑集约束过于保守的问题，本文提出PRDC，通过最近状态-动作样本的动作正则化策略，在保持保守性的同时缓解价值高估并取得最先进性能。
2023-08-15 cs.AI cs.LG
Policy Distillation with Selective Input Gradient Regularization for Efficient Interpretability
University of California, Irvine（加州大学欧文分校）
尽管深度强化学习（RL）在广泛的任务中已经证明是成功的，但它面临的一个挑战是应用于现实世界问题时的可解释性。显着图经常用于为深度神经网络提供可解释性。然而，在强化学习领域，现有的显着性图方法要么计算昂贵，因此不能满足现实世界的场景的实时要求，或者不能产生可解释的显着性图的强化学习策略。在这项工作中，我们提出了一种选择性输入梯度正则化（DIGR）的蒸馏方法，该方法使用策略蒸馏和输入梯度正则化来产生新的策略，从而在生成显着性图时实现高的可解释性和计算效率。我们的方法也被发现，以提高多个对抗攻击的RL政策的鲁棒性。我们在三个任务上进行实验，MiniGrid（获取对象），Atari（突破）和CARLA自动驾驶，以证明我们的方法的重要性和有效性。
2022-05-18 cs.AI cs.LG
Iteratively Refined Behavior Regularization for Offline Reinforcement Learning
Tianjin University（天津大学）；University of Alberta（阿尔伯塔大学）
本文提出一种基于保守策略迭代的迭代细化行为正则化算法，通过逐步优化参考策略，实现样本内最优策略学习，并在D4RL基准上超越现有方法。
2023-10-17 cs.AI cs.LG
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Global Convergence of Wasserstein Policy Gradient for Entropy-Regularized Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文通过利用熵正则化强化学习的Bellman结构，证明了Wasserstein策略梯度（WPG）方法的全局收敛性，并建立了分布Polyak-Łojasiewicz条件。
2026-06-08 cs.LG
Wasserstein Formulation of Reinforcement Learning. An Optimal Transport Perspective on Policy Optimization
IRMA（斯特拉斯堡大学机构）
本文从最优传输视角出发，提出一种几何框架，将策略视为动作概率空间的映射，定义了由稳态分布诱导的Riemann结构，推导了策略的切空间及测地线，并基于Otto算子构建梯度流，通过数值实验验证了方法的有效性。
2026-10-06 cs.LG math.OC math.PR
Diversity Actor-Critic: Sample-Aware Entropy Regularization for Sample-Efficient Exploration
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了样本感知的策略熵正则化，以加强传统的策略熵正则化，以更好地探索。利用可从重放缓冲器获得的样本分布，所提出的样本感知熵正则化最大化来自重放缓冲器的策略动作分布和样本动作分布的加权和的熵，以用于样本高效探索。提出了一种基于样本感知的熵正则化的策略迭代目标函数的实用算法--多样性参与者-批评者（DAC）。数值结果表明，DAC显着优于现有的强化学习的最新算法。
2021-06-09 cs.AI cs.LG stat.ML
Regularization Matters in Policy Optimization
University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
深度强化学习（Deep RL）由于其在各种控制任务上令人鼓舞的表现而受到越来越多的关注。然而，训练神经网络（例如，$L_2$正则化，dropout）在RL方法中很大程度上被忽略了，这可能是因为代理通常在相同的环境中进行训练和评估，并且因为深度RL社区更关注高级算法设计。在这项工作中，我们提出了第一个全面的研究正则化技术与多个政策优化算法的连续控制任务。有趣的是，我们发现策略网络上的常规正则化技术通常可以带来很大的改进，特别是在更困难的任务上。我们的研究结果显示出对训练超参数变化的鲁棒性。我们还比较了这些技术与更广泛使用的熵正则化。此外，我们研究了正则化不同的组件，发现只有正则化的政策网络通常是最好的。我们进一步分析了为什么正则化可以从四个角度帮助RL的泛化-样本复杂度，奖励分布，权重范数和噪声鲁棒性。我们希望我们的研究提供指导，在未来的实践规则化的政策优化算法。我们的代码可在https://github.com/xuanlinli17/iclr2021_rlreg上获得。
2021-11-28 cs.AI cs.LG stat.ML
Wasserstein Barycenter Soft Actor-Critic
WBSAC 通过结合悲观和乐观策略的 Wasserstein 聚合，提升连续控制任务中的样本效率。
2026-02-24 cs.LG cs.SY eess.SY
EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization
Amirkabir University of Technology（阿米尔卡比尔理工大学）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的策略搜索算法。它迭代地解决了限制连续策略相互接近的代理问题。TRPO是一种策略算法。基于策略的方法带来了许多好处，比如能够衡量每个结果策略。然而，他们通常会抛弃以前存在的关于政策的所有知识。在这项工作中，我们使用重放缓冲区借用的离策略学习设置TRPO。在强化学习中，熵正则化通常被用来改善策略优化。它被认为是通过鼓励更随机的政策选择来帮助探索和推广。我们在TRPO中添加了一个熵正则化项，以优于随时间步长累积的π。我们将此更新称为EnTRPO。我们的实验表明，与原始TRPO相比，EnTRPO在控制Cart-Pole系统方面实现了更好的性能
2021-10-26 cs.LG
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；University of Cambridge（剑桥大学）
提出了一种新的优化方法，应用于强化学习（RL）的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度（WNG）下降，利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题，即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明，与先进的基线相比，计算成本和性能都有所改善。
2021-03-18 cs.LG
Visual Transfer for Reinforcement Learning via Wasserstein Domain Confusion
Brown University（布朗大学）
我们介绍了Wasserstein对抗性近端策略优化（WAPPO），这是一种用于强化学习中视觉传递的新算法，它显式地学习对齐源任务和目标任务之间提取的特征的分布。WAPPO通过一个新的Wasserstein混淆目标来近似和最小化来自源域和目标域的特征分布之间的Wasserstein-1距离。WAPPO在视觉传输方面优于现有技术，并成功地在Visual Cartpole和16个OpenAI Procgen环境的两个实例中传输策略。
2020-06-04 cs.LG stat.ML
Offline Reinforcement Learning with Soft Behavior Regularization
JD Intelligent Cities Research, JD Technology（京东科技京东智能城市研究院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）
离线强化学习（RL）的大多数现有方法利用\textit{behavior regularization}，通常用测量策略和离线数据之间的分歧的惩罚来增强现有的非策略参与者评论算法。然而，这些方法缺乏保证的性能改进的行为策略。在这项工作中，我们从学习策略和行为策略之间的性能差异出发，我们推导出一个新的策略学习目标，可以用于离线设置，它对应于优势函数值的行为策略，乘以状态边际密度比。我们提出了一个实用的方法来计算密度比，并证明其等价于一个状态依赖的行为正则化。与先前方法中使用的状态无关正则化不同，这种\textit{soft}正则化允许在高置信度状态下更自由地进行策略偏离，从而导致更好的性能和稳定性。因此，我们将我们得到的算法软行为正则化演员评论（SBAC）。我们的实验结果表明，SBAC匹配或优于国家的最先进的一组连续控制运动和操纵任务。
2021-10-14 cs.LG
Well-Posed KL-Regularized Control via Wasserstein and Kalman-Wasserstein KL Divergences
Department of Mathematics, Technical University of Munich \& Munich Center for Machine Learning, Germany. The majority of the work was conducted while at the Institute of Mathematics at the Technical University of Berlin, Germany \& the Berlin Mathematical School.；Institute for Data Science Foundations, Hamburg University of Technology, Germany；Santa Fe Institute, USA
针对KL散度在支持不匹配和低噪声下失效的问题，提出基于传输几何的KL变体，消除线性时不变系统中的奇异性，实现适定控制并提升闭环性能。
2026-06-01 cs.LG math.OC
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington（华盛顿大学）；ETH Zrich（苏黎世联邦理工学院）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute for Discovery（威斯康星发现研究所）
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO，通过拉格朗日对偶推导闭式更新，理论上证明了单调提升与全局收敛，并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
Distributional Robustness and Regularization in Reinforcement Learning
Technion（以色列理工学院）
分布鲁棒优化（DRO）已经证明了分类和回归中鲁棒性和正则化之间的等价性，从而提供了正则化在统计学习中推广良好的分析原因。虽然DRO的扩展到顺序决策克服了$\textit{external uncertainty}$通过强大的马尔可夫决策过程（MDP）设置，由此产生的公式是很难解决的，特别是在大的域。另一方面，由于随机性，强化学习中现有的正则化方法仅解决$\textit{internal uncertainty}$。我们的研究旨在通过建立鲁棒MDP和正则化之间的对偶关系来促进鲁棒强化学习。我们引入Wasserstein分布鲁棒MDPs，并证明他们持有样本的性能保证。然后，我们引入了经验值函数的一个新的正则化子，并证明了它是Wasserstein分布鲁棒值函数的下界。我们将结果推广到大状态空间的线性值函数近似。我们的方法提供了一种替代配方的鲁棒性，保证有限样本的性能。此外，它建议使用正则化作为在强化学习方法中处理$\textit{external uncertainty}$的实用工具。
2020-07-14 cs.LG math.OC stat.ML
Manifold Regularization for Kernelized LSTD
Google（谷歌）
策略评估、价值函数或Q函数逼近是强化学习（RL）的关键步骤。它是策略迭代的必要组成部分，可用于策略梯度方法中的方差缩减。因此，它的质量对大多数RL算法有重大影响。受流形正则化学习的启发，我们提出了一种新的核化策略评估方法，该方法利用从数据中学习到的状态空间的内在几何结构，以实现更好的样本效率和更高的Q函数逼近精度。应用所提出的方法在最小二乘政策迭代（LSPI）框架，我们观察到优越的性能相比，广泛使用的参数基函数在两个标准的基准政策质量。
2017-10-15 cs.AI cs.LG stat.ML
Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Beihang University（北航）
提出Policy Split方法，将策略分裂为正常和高熵两种模式，通过协作双模式熵正则化在保持准确性的同时促进多样化探索，实验表明在通用和创造性任务上优于现有基线。
2026-06-03 cs.AI cs.CL cs.LG
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University（ITMO大学）
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明，雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中，我们试图回答以下问题：关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策？为了回答这个问题，我们进行了研究的雅可比条件行为在政策优化。据我们所知，这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法，并测试其性能的连续控制任务的范围。最后，我们比较了CoinRun环境中的算法与分离的训练结束测试水平，以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning
National University of Defense Technology（国防科技大学）；Shanghai Institute of Microsystem and Information Technology（上海微系统与信息技术研究所）；Chinese Academy of Sciences（中国科学院）；Delft University of Technology（代尔夫特理工大学）
针对离线强化学习中分布外问题导致现有策略正则化方法过度保守的缺陷，提出结合VAE的自适应优势引导策略正则化方法A2PR，理论上保障策略提升，在D4RL等基准上取得最优性能。
2024-07-15 cs.AI cs.LG cs.RO
On the Effect of Regularization in Policy Mirror Descent
本文通过在小型强化学习环境中运行超50万训练种子的大规模实证分析，研究了PMD中距离项与MDP正则化器的相互作用，发现两者的精确组合对实现鲁棒性能至关重要。
2025-07-11 cs.LG
Hypercube Policy Regularization Framework for Offline Reinforcement Learning
Sun Yat-Sen University（中山大学）
本文提出超立方体策略正则化框架，通过允许智能体探索相似状态对应的动作，提升离线强化学习在低质量数据集中的性能。
2026-02-11 cs.LG
ERPPO: Entropy Regularization-based Proximal Policy Optimization
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出ERPPO算法，通过引入熵正则化项解决多维环境中多智能体强化学习的非平稳观测问题，提升目标定位的准确性和稳定性。
2026-05-13 cs.LG cs.RO
Adversarial Intrinsic Motivation for Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
以最小化与参考分布的不匹配为目标的学习已经被证明对于生成建模和模仿学习是有用的。在本文中，我们调查是否这样一个目标，一个政策的状态访问分布和目标分布之间的Wasserstein-1距离，可以有效地利用强化学习（RL）任务。具体而言，本文重点研究目标条件强化学习，其中理想化（无法实现）的目标分布在目标上具有充分的度量。本文介绍了一个准度量特定的马尔可夫决策过程（MDP），并使用此准度量估计上述Wasserstein-1距离。它进一步表明，使Wasserstein-1距离最小化的策略是以尽可能少的步骤达到目标的策略。我们的方法，称为对抗性内在动机（AIM），通过其双重目标估计Wasserstein-1距离，并使用它来计算补充奖励函数。我们的实验表明，这个奖励函数的变化顺利相对于过渡MDP和指导代理的探索，以有效地找到目标。此外，我们将AIM与后见之明经验重放（HER）相结合，并表明与鼓励探索或加速学习的其他奖励相比，所产生的算法在几个模拟机器人任务上显着加速学习。
2021-10-28 cs.LG
EMAgnet: Parameter-Space EMA Regularization for Policy Gradient Self-Play in Large Games
Riot Games（拳头游戏）；University of California, Irvine（加州大学尔湾分校）；New York University（纽约大学）
提出EMAgnet，通过指数移动平均（EMA）对策略参数进行自适应正则化，替代均匀分布正则化，在两人零和博弈中降低可剥削性。
2026-06-24 cs.AI cs.GT cs.LG
Marginalized State Distribution Entropy Regularization in Policy Optimization
McGill University（麦吉尔大学）；Mila（米拉研究所）
在强化学习任务中，熵正则化被用来提高优化性能。正则化的一种常见形式是最大化策略熵，以避免过早收敛，并导致更多的随机策略通过行动空间进行探索。然而，这并不能确保在状态空间中的探索。在这项工作中，我们反而考虑状态的折扣权重的分布，并建议基于潜在空间状态表示来最大化状态权重的下界近似的熵。我们提出了基于边缘状态分布的熵正则化，以鼓励策略在状态空间上具有更均匀的分布以进行探索。我们的方法基于边缘状态分布实现了优越的状态空间覆盖复杂的网格世界域，转化为经验增益稀疏奖励3D迷宫导航和连续控制域相比，熵正则化随机政策。
2019-12-11 cs.LG stat.ML
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对离线强化学习面临的挑战，提出不确定性估计下的保守查询与自适应正则化框架，通过莫尔斯网络估计不确定性，采用保守查询策略与自适应正则化方案，与CQL集成并在D4RL基准测试，取得优异或有竞争力的性能。
2026-07-22 cs.LG
Finding the Near Optimal Policy via Adaptive Reduced Regularization in MDPs
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
正则化的MDP充当原始MDP的平滑版本。然而，有偏的最优策略总是存在正则化的MDP。我们提出了一种自适应的λ约简方案来逼近原MDP的最优策略，而不是使正则项的系数λ足够小.结果表明，与设定足够小的λ相比，得到ε-最优策略的迭代复杂度可以降低.此外，该约简方法与直接求解原始MDP之间存在着很强的对偶关系，由此可以推导出对某些算法更具自适应性的约简方法。
2020-10-31 cs.LG stat.ML
Lifelong Hyper-Policy Optimization with Multiple Importance Sampling Regularization
Politecnico di Milano（米兰理工大学）；University of Padova（帕多瓦大学）
在动态不断演变的终身环境中学习，是当前强化学习算法的一个严峻挑战。然而，这将是实际应用中非常需要的功能。在本文中，我们提出了一种方法，学习一个超政策，其输入是时间，输出的参数的政策在当时被查询。该超策略被训练以最大化估计的未来性能，通过重要性采样有效地重用过去的数据，以引入受控偏差为代价。我们结合未来的性能估计与过去的性能，以减轻灾难性遗忘。为了避免过度拟合收集的数据，我们推导出一个可微的方差界，我们嵌入作为惩罚项。最后，我们经验验证我们的方法，与国家的最先进的算法相比，在现实的环境中，包括水资源管理和交易。
2021-12-13 cs.LG
NashPG: A Policy Gradient Method with Iteratively Refined Regularization for Finding Nash Equilibria
University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
本文提出NashPG算法，通过在策略优化目标中直接引入正则化，解决了多智能体强化学习中两玩家零和不完全信息游戏寻找纳什均衡的挑战，实现了在经典基准游戏和大型领域中的高效收敛与高收益。
2026-08-04 cs.GT cs.LG
Stable Policy Optimization via Off-Policy Divergence Regularization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
信任域策略优化（TRPO）和近端策略优化（PPO）是深度强化学习（RL）中最成功的策略梯度方法之一。虽然这些方法在广泛的挑战性任务中实现了最先进的性能，但在策略学习的稳定性和如何使用非策略数据方面仍有改进的空间。在本文中，我们重新审视这些算法的理论基础，并提出了一个新的算法，通过一个邻近项，约束连续政策的折扣状态-动作的访问分布，以接近彼此稳定的政策改善。这个接近项，表示在访问分布之间的分歧，是在一个关闭政策和对抗的方式学习。我们的经验表明，我们提出的方法可以有一个有益的影响，稳定性和提高最终性能的基准高维控制任务。
2020-06-19 cs.LG stat.ML
Fast Policy Learning for Linear Quadratic Control with Entropy Regularization
Department of Industrial Engineering & Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）；Department of Mathematics, University of Oxford（数学系，牛津大学）；Department of Management Science & Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本文提出正则化策略梯度（RPG）和迭代策略优化（IPO）两种方法，用于带熵正则化的线性二次控制问题，证明其线性收敛，且IPO在局部区域及环境相近的迁移场景下可实现超线性收敛。
2025-10-07 cs.LG math.OC
The Price of Failure Risk: Clipped Barrier Policy Gradients with Convex Regularization
本文提出双重正则化强化学习框架，结合平均场理论与Wasserstein梯度流解决连续空间安全约束问题，并提供了可解性条件与指数收敛保证。
2026-10-30 cs.AI cs.LG math.OC
Wasserstein Adversarial Imitation Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
模仿学习描述了从演示中恢复专家策略的问题。虽然逆强化学习方法在专家演示方面是非常有效的，但它们通常需要问题相关的奖励函数或（任务）特定的奖励函数正则化。在本文中，我们展示了逆强化学习方法和最优运输之间的自然联系，它使更一般的奖励函数具有理想的属性（例如，平滑度）。基于我们的观察，我们提出了一种新的方法，称为Wasserstein对抗模仿学习。我们的方法将Kantorovich势视为奖励函数，并进一步利用正则化的最优传输来实现大规模应用。在几个机器人实验中，我们的方法在平均累积奖励方面优于基线，并且只需要一个专家演示，就可以显着提高样本效率。
2019-06-19 cs.LG stat.ML
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
Nested-Wasserstein Self-Imitation Learning for Sequence Generation
Duke University（杜克大学）；University at Buffalo（布法罗大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；DeepMind（深度思维）
强化学习（RL）已被广泛研究，以改善序列生成模型。然而，用于RL训练的传统奖励通常不能捕获足够的语义信息，因此呈现模型偏差。此外，稀疏和延迟的奖励使RL探索效率低下。为了缓解这些问题，我们提出了分布式语义匹配的嵌套Wasserstein距离的概念。为了进一步利用它，开发了一种新的嵌套Wasserstein自模仿学习框架，鼓励模型利用历史高回报序列进行增强的探索和更好的语义匹配。我们的解决方案可以理解为近似执行近端策略优化与Wasserstein信任区域。各种无条件和有条件的序列生成任务的实验表明，所提出的方法始终导致性能的提高。
2020-01-20 cs.CL cs.LG
Wasserstein Distributionally Robust Regret Optimization for Reinforcement Learning from Human Feedback
Department of Statistics and Operations Research, University of North Carolina（统计与运筹学系，北卡罗来纳大学）；Imperial Business School, Imperial College London（帝国理工学院伦敦商学院）；Department of Management Science and Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本文提出Wasserstein分布鲁棒遗憾优化（DRRO）用于强化学习从人类反馈，通过简单分配模型研究提示问题，展示在ℓ1-地面成本Wasserstein模糊集下，内最坏遗憾有精确解，最优策略具有水填充结构，从而实现高效政策梯度算法。
2026-08-11 cs.CL cs.LG math.OC
Linear Convergence of Independent Natural Policy Gradient in Games with Entropy Regularization
Northeastern University（东北大学）；Texas A&M University（德克萨斯农工大学）
本文研究多智能体强化学习中带熵正则化的独立自然策略梯度算法，证明在足够熵正则化下系统以线性速率收敛到分位数响应均衡，并通过多种博弈实验验证了理论结果。
2024-05-04 cs.LG cs.MA math.OC
Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
自然策略梯度（NPG）方法是当代强化学习中使用最广泛的策略优化算法之一。这类方法通常与熵正则化（一种鼓励探索的算法方案）结合使用，并且与软策略迭代和信赖域策略优化密切相关。尽管取得了经验上的成功，NPG方法的理论基础仍然有限，即使是表格设置。本文发展了softmax参数化下熵正则化NPG方法的$\textit{non-asymptotic}$收敛保证，重点是折扣马尔可夫决策过程（MDP）。假设访问精确的政策评估，我们证明了算法收敛线性-甚至二次一旦它进入一个局部区域周围的最优策略-计算最优值函数的正则化MDP。此外，该算法是可证明的稳定相对于政策评估的不精确性。我们的收敛结果适应了广泛的学习率，并揭示了熵正则化在实现快速收敛中的作用。
2021-04-08 cs.IT cs.LG math.IT
Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL
针对离线强化学习中固定正则化强度难以平衡外推误差与策略性能的问题，提出选择性状态自适应正则化方法，通过状态级信任与选择性约束高质量动作，在D4RL基准上显著优于现有方法。
2025-05-26 cs.LG stat.ML
