On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；University of Exeter（埃克塞特大学）
基于最近深度强化学习方法的成功，我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处，例如能够评估每个结果策略。然而，他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中，我们提出了自适应的重放缓冲区的概念，借用了离策略学习设置，创建的方法，结合的优势，和离策略学习。为了实现这一点，所提出的算法概括的$Q$，价值和优势函数的数据从多个政策。该方法使用信赖域优化，同时避免了TRPO或ACKTR等算法的一些常见问题：它使用超参数代替信赖域选择算法，以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下，该方法不仅改善了结果相比，最先进的信任区域同策略学习算法，如PPO，ACKTR和TRPO，但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
No Representation, No Trust: Connecting Representation, Collapse, and Trust Issues in PPO
EPFL（洛桑联邦理工学院）；Google DeepMind（谷歌DeepMind）
本文实证研究PPO在Atari和MuJoCo中的表示动态，发现特征秩退化和容量损失会加剧非平稳性并导致性能崩溃，且表示崩溃与信任区域退化相互加剧；为此提出近端特征优化（PFO）辅助损失，通过正则化表示动态有效缓解PPO智能体的性能崩溃。
2024-11-20 cs.LG
Supported Trust Region Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）
针对离线强化学习的分布外问题，提出支撑信任区域优化（STR），在行为策略支撑内约束策略，保证策略改进，并在 MuJoCo 和 AntMaze 上取得最优性能。
2023-11-15 cs.AI cs.LG
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化（PPO和TRPO）在深度强化学习中取得了显著的经验成功。然而，由于非凸性，PPO和TRPO的全局收敛性仍然不太清楚，这使理论与实践分离。在本文中，我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策，在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性，其中的梯度和梯度是由神经网络实例化。特别是，所需的表示能力和优化几何诱导过参数化的神经网络，使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington（华盛顿大学）；ETH Zrich（苏黎世联邦理工学院）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute for Discovery（威斯康星发现研究所）
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO，通过拉格朗日对偶推导闭式更新，理论上证明了单调提升与全局收敛，并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
Trust Region On-Policy Distillation
Samsung Research（三星研究院）；University of Oxford（牛津大学）；Peking University（北京大学）
提出信任区域在线策略蒸馏（TrOPD），通过信用分配策略和信任区域学习解决师生分布差异导致的训练不稳定问题，在数学推理、代码生成和通用基准上超越现有方法。
2026-06-18 cs.CL cs.LG
Quasi-Newton Trust Region Policy Optimization
MERL（三菱电机研究实验室）
我们提出了一个信赖域策略优化方法，采用拟牛顿近似的海森，称为拟牛顿信赖域策略优化QNTRPO。梯度下降是连续控制的强化学习任务的实际算法。该算法在广泛的任务中用于强化学习时达到了最先进的性能。然而，该算法有一些缺点，包括：缺乏步长选择标准，收敛速度慢。我们调查使用的信赖域方法，使用狗腿步骤和拟牛顿近似的Hessian策略优化。我们通过数值实验证明，在广泛的具有挑战性的连续控制任务，我们的特定选择是有效的样本数量和提高性能
2019-12-26 cs.AI cs.LG cs.RO
ETR: Outcome-Guided Elastic Trust Regions for Policy Optimization
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
ETR通过动态信任区域机制，提升策略优化的信号利用效率和探索稳定性。
2026-01-07 cs.LG
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最受欢迎的深度强化学习（RL）方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，作为一种无模型强化学习方法，PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析，指出PPO容易遭受探索不足的风险，尤其是在初始化不良的情况下，可能导致训练失败或陷入不良局部最优。为了解决这些问题，我们提出了一种新的策略优化方法，命名为信任区域引导的PPO（TRGPPO），自适应调整信任区域内的裁剪范围。我们正式表明，这种方法不仅提高了信任区域内的探索能力，但享有更好的性能界相比，原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
Simple Policy Optimization
The Hong Kong University of Science（香港科学与技术大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出无约束一阶算法 SPO，通过改进 PPO 的比率裁剪策略损失，在保持简单高效实现的同时增强信赖域约束与理论保证，并在大型复杂网络端到端训练中优于 PPO。
2025-07-26 cs.LG
Trust-Region Diffusion Policies for Massively Parallel On-Policy RL
University of Freiburg（弗赖堡大学）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
提出TruDi方法，通过信任区域优化约束扩散轨迹的KL散度，实现大规模并行在线强化学习中的稳定训练，在73个任务中优于或持平基线。
2026-06-16 cs.AI cs.LG
Faded-Experience Trust Region Policy Optimization for Model-Free Power Allocation in Interference Channel
Carleton University（卡尔顿大学）
策略梯度强化学习技术使智能体能够通过与环境的交互直接学习最优的行动策略。然而，尽管它的优点，它有时会受到缓慢的收敛速度。受人类决策方法的启发，我们通过增强智能体来记忆和使用最近学习的策略来提高其收敛速度。我们将我们的方法应用于信任区域策略优化（TRPO），主要是为运动任务开发的，并提出了衰落经验（FE）TRPO。为了证实其有效性，我们采用它来学习连续功率控制在干扰信道时，只有嘈杂的位置信息的设备是可用的。结果表明，与TRPO相比，FE-TRPO可以使学习速度几乎翻一番。重要的是，我们的方法既不会增加学习的复杂性，也不会造成性能损失。
2020-08-04 cs.IT cs.LG math.IT
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University（波士顿大学）
为了使强化学习技术在现实世界的决策过程中发挥作用，它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果，但它们在现实世界中的应用仍然有限，因为它们通常需要大量数据才能成功。当与小样本量相结合时，这些方法可能会导致不稳定的学习，因为它们依赖于基于高维样本的估计。在这项工作中，我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法，旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法，不确定性感知的信任域策略优化，生成强大的策略更新，以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Dealing with Non-Stationarity in MARL via Trust-Region Decomposition
East China Normal University（华东师范大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
非平稳性是协作多智能体强化学习（MARL）中的一个棘手问题。其中一个原因是代理人在学习过程中的政策变化。已有的一些工作已经讨论了各种测量指标的非平稳性所造成的各种后果。这使得现有算法的目标或目的不可避免地是不一致和不同的。在本文中，我们引入了一个新的概念，$δ$-测量，显式测量的非平稳性的政策序列，可以进一步证明是有界的连续联合政策的KL-分歧。一个直接但非常重要的方法是控制联合策略的分歧，这是很难准确估计的联合策略上施加信任区域约束。虽然将联合策略分解并对分解后的策略施加信任域约束具有较低的计算复杂性，但简单的策略分解（如平均场近似）会导致更大的策略分歧，这可以被认为是信任域分解困境。我们将联合策略建模为一个两两马尔可夫随机场，并提出了一个基于消息传递的信任区域分解网络（TRD-Net），以更准确地估计联合策略的分歧。通过端到端自适应调整局部策略的信任域，建立了带信任域分解的多Agent镜像下降策略算法（MAMT）。MAMT可以近似地约束连续联合策略的发散，以满足$δ$-平稳性，并缓解非平稳性问题。在不同复杂度的协作任务中，与基线相比，我们的方法可以带来显著和稳定的性能改善。
2022-02-10 cs.GT cs.LG cs.MA
Efficient Off-Policy Safe Reinforcement Learning Using Trust Region Conditional Value at Risk
Seoul National University（首尔大学）
本文提出离策略TRC方法，通过新颖替代函数和自适应信赖域约束缓解分布偏移，在CVaR约束下实现样本高效的安全强化学习，并在仿真和真实机器人任务中快速满足安全约束且获得高回报。
2023-12-01 cs.AI cs.LG
Diffusion Policies creating a Trust Region for Offline Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对扩散Q学习训练推理慢、加速易降性能的问题，提出含扩散策略与单步策略的DTQL双策略方法，通过扩散信任域损失关联二者，在多数D4RL基准任务上性能更优且训练推理效率更高。
2024-10-31 cs.AI cs.LG
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto（多伦多大学）；New York University（纽约大学）；Vector Institute（向量研究所）
在这项工作中，我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架，并建议使用Kronecker因子近似曲率（K-FAC）与信任区域优化演员和评论家，因此我们称我们的方法演员批评使用Kronecker因子信任区域（ACKTR）。据我们所知，这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比，我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
Differentially Private Policy Gradient
Noah’s Ark Lab Paris（巴黎诺亚方舟实验室）；Huawei Technologies France（华为法国技术公司）
针对强化学习部署中的个人数据隐私问题，提出一种差分隐私策略梯度算法，通过将其简化为计算信任区域来保持理论性质，并在隐私噪声与信任区域大小间取得平衡，在多个基准上表现优于现有在线RL的DP算法。
2025-01-31 cs.LG
Hindsight Trust Region Policy Optimization
Xi’an Jiaotong University（西安交通大学）；National University of Singapore（新加坡国立大学）
具有稀疏奖励的强化学习（RL）是一个主要挑战。我们提出了\emph{Hindsight Trust Region Policy Optimization}（HTRPO），一个新的RL算法，扩展了非常成功的TRPO算法与\emph{hindsight}，以解决稀疏奖励的挑战。后见之明指的是算法从跨目标的信息中学习的能力，包括那些不适用于当前任务的信息。HTRPO利用了两个主要思想。它引入了QKL，一个二次近似的KL散度约束的信赖域，导致减少KL散度估计的方差和改善的稳定性，在政策更新。它还提出了后见之明目标过滤（HGF）选择导电后见之明目标。在实验中，我们在各种稀疏奖励任务中评估HTRPO，包括简单的基准测试，基于图像的Atari游戏和模拟机器人控制。消融研究表明，QKL和HGF对学习稳定性和高绩效有很大贡献。比较结果表明，在所有的任务，HTRPO始终优于TRPO和HPG，一个国家的最先进的RL算法与稀疏奖励。
2021-05-17 cs.AI cs.LG stat.ML
Graph-attention-based Casual Discovery with Trust Region-navigated Clipping Policy Optimization
College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
本文提出信任区域导航的裁剪策略优化方法和改进的图注意力编码器SDGAT，以提升强化学习因果发现的搜索效率、稳定性及变量编码能力，并在合成与基准数据集上验证了其优越性。
2024-12-27 cs.AI cs.LG
Let the Batch Decide, On- or Off-Policy: Effective Sample Size for RL Post-Training
Boson AI
本文提出一种自适应策略优化方法，通过动态调整策略更新的信任区域和下策略正则化强度，以提高强化学习在训练后对数据分布变化的鲁棒性。
2026-10-20 cs.AI cs.LG
Value Enhancement of Reinforcement Learning via Efficient and Robust Trust Region Optimization
London School of Economics and Political Science（伦敦政治经济学院）；Shanghai University of Finance and Economics（上海财经大学）；The George Washington University（乔治华盛顿大学）
强化学习（RL）是一种强大的机器学习技术，它使智能代理能够学习最优策略，使连续决策的累积回报最大化。现有文献中的大多数方法都是在数据易于收集或模拟的\textit{online}设置中开发的。受移动健康研究等高风险领域有限和预先收集的数据的激励，本文研究了\textit{offline}强化学习方法。为了有效地使用这些数据集进行策略优化，我们提出了一种新的值增强方法，以提高现有最先进的RL算法计算的给定初始策略的性能。具体来说，当初始策略不一致时，我们的方法将输出一个策略，其值不会比初始策略更差，而且往往更好。当初始策略一致时，在一定的条件下，我们的方法将产生一个策略，其值以比初始策略更快的速度收敛到最优策略，实现所需的"价值增强”性质。所提出的方法通常可应用于属于某些预先指定的功能类（例如，深度神经网络）。进行了大量的数值研究，以证明我们的方法的优越性能。
2023-01-05 cs.LG stat.ML
Model-Ensemble Trust-Region Policy Optimization
Berkeley AI Research（伯克利人工智能研究中心）；University of California, Berkeley（加州大学伯克利分校）
无模型强化学习（RL）方法在越来越多的任务中取得了成功，这得益于深度学习的最新进展。然而，它们往往遭受高样本复杂性，这阻碍了它们在现实世界中的使用。或者，基于模型的强化学习有望降低样本复杂性，但往往需要仔细调整，迄今为止主要在简单模型足以进行学习的限制性领域取得了成功。在本文中，我们分析了当使用深度神经网络学习模型和策略时，香草基于模型的强化学习方法的行为，并表明学习的策略倾向于利用数据不足的区域来学习模型，从而导致训练不稳定。为了克服这个问题，我们建议使用一个集成的模型来保持模型的不确定性和正规化的学习过程。我们进一步表明，使用似然比导数产生更稳定的学习比反向传播通过时间。总而言之，我们的方法模型包围信任区域策略优化（ME-TRPO）与无模型深度RL方法相比，在具有挑战性的连续控制基准任务上显着降低了样本复杂度。
2018-10-05 cs.AI cs.LG cs.RO
Minimax-optimal trust-aware multi-armed bandits
University of Michigan（密歇根大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有多臂老虎机算法忽略人类信任因素导致性能下降的问题，本文提出两阶段信任感知流程，确立信任问题下的minimax遗憾值，证明其接近最优的统计保证，并通过仿真验证其优势。
2024-10-04 cs.LG math.ST stat.ME
Trust-Calibrated VLA Policy Post-Training with Evolving Imagination
Sun Yat-sen University（中山大学）；Shenzhen Loop Area Institute（深圳河套学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）；University of Oxford（牛津大学）；University of Science and Technology of China（中国科学技术大学）
针对VLA模型后训练的可靠性-效率权衡问题，提出MERL框架，通过信任校准的在线更新模拟器优化策略，在LIBERO-PRO任务及物理机器人任务上取得优异性能。
2026-10-14 cs.LG cs.RO
Embedding Safety into RL: A New Take on Trust Region Methods
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence（可扩展数据分析与人工智能中心）
针对强化学习智能体的不安全行为，提出C-TRPO方法，通过重塑策略空间几何确保信任域仅含安全策略，在保证训练全程满足安全约束的同时维持具竞争力的回报。
2025-08-15 cs.LG cs.SY eess.SY
Reinforced Model Predictive Control via Trust-Region Quasi-Newton Policy Optimization
针对现有强化学习优化模型预测控制时一阶更新收敛慢、数据需求大的问题，提出基于信赖域约束的拟牛顿策略优化算法，实现超线性收敛，在数据效率和精度上更优。
2024-10-31 cs.LG cs.SY eess.SY
Beyond Fixed Morphologies: Learning Graph Policies with Trust Region Compensation in Variable Action Spaces
ROBOTICS – Institute for Robotics and Flexible Production, JOANNEUM RESEARCH Forschungsgesellschaft mbH（机器人研究所，JOANNEUM RESEARCH研究公司）
针对信任区域方法在可变动作空间维度下行为不明的问题，本文理论分析TRPO和PPO在KL散度或策略裁剪约束下的优化景观，并通过Gymnasium Swimmer环境实证评估形态泛化能力。
2025-08-16 cs.LG cs.RO cs.SY
Stochastic Variance Reduction for Policy Gradient Estimation
Baidu Research（百度研究院）；Dartmouth College（达特茅斯学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略梯度方法和深度学习的最新进展已经证明了它们对复杂强化学习问题的适用性。然而，从仿真获得的性能梯度估计的方差通常过大，导致差的样本效率。在本文中，我们应用随机方差降低梯度下降（SVRG）的无模型策略梯度，显着提高采样效率。SVRG估计被纳入到一个信赖域牛顿共轭梯度框架的政策优化。在几个Mujoco任务上，我们的方法与机器人连续控制中最先进的无模型策略梯度方法（如信赖域策略优化（TRPO））相比，实现了更好的性能。
2018-03-29 cs.LG stat.ML
Finite-Sample Convergence Bounds for Trust Region Policy Optimization in Mean-Field Games
NYU Shanghai（上海纽约大学）
本文提出 MF-TRPO 算法，将 TRPO 扩展至平均场博弈框架以计算近似纳什均衡，并提供了其精确与基于样本形式的收敛性理论保证及有限样本复杂度。
2025-05-28 cs.LG math.ST stat.ML
Differentiable Trust Region Layers for Deep Reinforcement Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（蒂宾根大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
信赖域方法是强化学习中的一种流行工具，因为它们在连续和离散动作空间中产生鲁棒的策略更新。然而，在深度强化学习中实施这样的信任区域是困难的。因此，诸如信任域策略优化（TRPO）和近端策略优化（PPO）的许多方法是基于近似的。由于这些近似，它们违反了约束条件或无法在信赖域内找到最优解。此外，它们很难实施，往往缺乏足够的探索，并已被证明依赖于看似无关的实施选择。在这项工作中，我们提出了可微神经网络层，通过封闭形式的投影来执行深度高斯策略的信任区域。与现有的方法不同，这些层分别为每个状态形式化信任区域，并可以补充现有的强化学习算法。我们推导出基于Kullback-Leibler散度，Wasserstein L2距离和高斯分布的Frobenius范数的信赖域预测。我们的经验表明，这些投影层实现类似或更好的结果比现有的方法，同时几乎不可知的具体实施选择。该代码可在https://git.io/Jthb0上获得。
2021-03-09 cs.IT cs.LG math.IT
When to Trust Your Model: Model-Based Policy Optimization
University of California, Berkeley（加州大学伯克利分校）
设计有效的基于模型的强化学习算法是困难的，因为数据生成的容易性必须与模型生成的数据的偏差相权衡。本文从理论和实证两个方面研究了模型的使用在政策优化中的作用。我们首先制定和分析了一个基于模型的强化学习算法，保证在每一步的单调改善。在实践中，这种分析是过于悲观，并表明，真正的政策外数据总是优于模型生成的政策上的数据，但我们表明，模型泛化的经验估计可以纳入这样的分析，以证明模型的使用。受此分析的启发，我们证明了一个简单的过程，使用短模型生成的推出分支从真实数据具有更复杂的基于模型的算法的好处，而没有通常的陷阱。特别是，这种方法超越了以前的基于模型的方法的样本效率，匹配最好的无模型算法的渐近性能，并扩展到导致其他基于模型的方法完全失败的范围。
2021-11-29 cs.AI cs.LG stat.ML
Trust Region Q Adjoint Matching
KAIST AI（韩国科学技术院人工智能）；Seoul National University（首尔国立大学）；RLWRLD
针对预训练流策略的离策略强化学习不稳定性，提出信任区域Q伴随匹配方法，通过投影对偶下降自适应控制路径空间KL散度，实现稳定微调，在50个OGBench任务中离线RL成功率达68%。
2026-10-09 cs.AI cs.LG cs.RO
Mirror Descent Policy Optimization
University of Alberta（阿尔伯塔大学）；Technion（以色列理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
镜像下降法（Mirror Descent，MD）是约束凸优化中的一阶算法，近年来被证明是分析强化学习（Reinforcement Learning，RL）中信赖域算法的重要工具。然而，这些理论分析的算法和实际使用的算法之间仍然存在相当大的差距。受此启发，我们提出了一种高效的RL算法，称为{ \em镜像下降策略优化}（MDPO）。MDPO通过{ \em approximately}求解信赖域问题来迭代更新策略，该信赖域问题的目标函数由两个项组成：标准RL目标的线性化和限制两个连续策略彼此接近的邻近项.每次更新通过在该目标函数上采取多个梯度步骤来执行这种近似。我们推导出{ \em的政策}和{ \em的政策} MDPO的变体，同时强调重要的设计选择，激励现有理论的MD在RL。我们强调的政策MDPO和两个流行的信任区域RL算法：TRPO和PPO之间的连接，并表明，明确执行的信任区域约束实际上是{ \em不} TRPO的高性能增益的必要性。然后，我们展示了如何流行的软演员-评论家（SAC）算法可以通过轻微的修改，关闭政策MDPO。总体而言，MDPO源自MD原则，提供了一种统一的方法来查看许多流行的RL算法，并且在许多连续控制任务中表现优于或等同于TRPO，PPO和SAC。代码可在\url{https://github.com/manantomar/Mirror-Descent-Policy-…
2021-06-07 cs.AI cs.LG stat.ML
Learning to Trust Bellman Updates: Selective State-Adaptive Regularization for Offline RL
针对离线强化学习中固定正则化强度难以平衡外推误差与策略性能的问题，提出选择性状态自适应正则化方法，通过状态级信任与选择性约束高质量动作，在D4RL基准上显著优于现有方法。
2025-05-26 cs.LG stat.ML
Optimistic Distributionally Robust Policy Optimization
University of Washington（华盛顿大学）
信任域策略优化（TRPO）和近端策略优化（PPO）作为广泛使用的基于策略的强化学习（RL）方法，由于将策略表示限制在特定的参数分布类，容易收敛到次优解。为了解决这个问题，我们开发了一个创新的乐观分布鲁棒策略优化（ODRPO）算法，它有效地利用乐观分布鲁棒优化（DRO）方法来解决信任域约束优化问题，而无需参数化的政策。我们的算法改进TRPO和PPO具有更高的样本效率和更好的性能的最终政策，同时获得学习稳定性。此外，它实现了一个全局最优的策略更新，这是不承诺在流行的基于策略的RL算法。跨表域和机器人运动任务的实验证明了我们的方法的有效性。
2020-06-14 cs.LG math.OC stat.ML
PPO-BR: Dual-Signal Entropy-Reward Adaptation for Trust Region Policy Optimization
Department of Computer Science, Universitas Nasional（国立大学计算机科学系）
PPO-BR通过融合熵驱动的探索扩张与奖励引导的收敛收缩，形成有界信任区域，以极小开销实现29.1%更快收敛和更低方差，适用于安全关键系统。
2025-05-23 cs.AI cs.CL cs.LG
Truly Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最成功的深度学习方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，其优化行为还远未被完全理解。在本文中，我们表明，PPO既不能严格限制似然比，因为它试图这样做，也没有强制执行一个定义良好的信任域约束，这意味着它仍然可能遭受性能不稳定的风险。为了解决这个问题，我们提出了一个增强的PPO方法，命名为真正的PPO。该方法主要做了两个改进：1）采用新的裁剪函数支持回滚行为，以限制新旧策略之间的差异; 2）将裁剪的触发条件替换为基于信任域的触发条件，从而优化生成的代理目标函数，保证最终策略性能的单调改善。看来，通过更真实地坚持使算法接近-将策略限制在信任区域内，新算法在样本效率和性能上都提高了原始PPO。
2020-01-14 cs.AI cs.LG stat.ML
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好，形成了当代强化学习的基础，如信任域策略优化（TRPO）和近端策略优化（PPO）。本课堂讲稿旨在阐明自然策略梯度背后的直觉，着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Auckland（奥克兰大学）；Chongqing University（重庆大学）
本文提出信赖域奖励优化（TRRO）框架及其算法实例PIRO，通过次小化-最大化过程保证专家行为似然单调提升，解决了非对抗逆强化学习缺乏稳定性保证的问题，在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG
Trust Region Inverse Reinforcement Learning: Explicit Dual Ascent using Local Policy Updates
Technical University of Darmstadt（达姆斯塔特技术大学）；Lund University（隆德大学）；German Research Center for AI (DFKI)（人工智能研究中心（DFKI））；Robotics Institute Germany (RIG)（德国机器人研究所（RIG））；Huawei, Noah’s Ark Lab（华为诺亚实验室）；University College London（伦敦大学学院）
本文提出TRIRL算法，通过信任区域优化策略更新，实现奖励函数的单调改进，避免对抗方法的不稳定性，提升多任务表现。
2026-07-03 cs.AI cs.LG cs.RO
It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL
University of Southampton（索姆塞特大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出PSPO方法，通过概率平滑改进大语言模型强化学习中的信任区域，提升数学推理任务的性能。
2026-01-29 cs.AI cs.LG
When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
提出UECR-GRPO，通过熵校准信用分配统一在线蒸馏与GRPO，在响应和词元级别整合验证器与教师信号，在五个数学推理基准上超越最强基线。
2026-09-24 cs.AI cs.LG
Rethinking the Trust Region in LLM Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
针对PPO在LLM微调中因词表大导致的训练不稳定问题，提出基于策略散度直接约束的DPPO算法，并引入高效近似方法。
2026-06-15 cs.AI cs.CL cs.LG
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
f-Divergence constrained policy improvement
为了保证学习的稳定性，最先进的广义策略迭代算法增加了策略改进步骤与约束的信息损失的信任域约束。信赖域的大小通常由Kullback-Leibler（KL）散度决定，它不仅很好地捕捉了距离的概念，而且还产生了封闭形式的解。在本文中，我们考虑了一类更一般的f-分歧，并推导出相应的政策更新规则。通有解通过凸共轭函数对f的导数表示，并包括KL解作为特例。在f-分歧类中，我们进一步关注一个单参数的$α$ -分歧族，研究分歧的选择对政策改进的影响。对于不同的$α$值，出现了以前已知的以及新的策略更新。我们发现，每一种类型的政策更新都有一个兼容的政策评估所选择的f-发散。有趣的是，均方贝尔曼误差最小化是密切相关的政策评估与皮尔逊$χ^2$发散惩罚，而KL发散的结果在软最大的政策更新和对数和指数的批评。我们进行渐近分析的解决方案，为不同的值的$α$和演示使用不同的发散函数的影响，对多臂强盗问题和常见的标准强化学习问题。
2018-04-04 cs.AI cs.LG stat.ML
Trust Region Masking for Long-Horizon LLM Reinforcement Learning
针对LLM强化学习中因实现差异导致的off-policy误差随序列长度二次增长的问题，提出信任区域掩码（TRM）方法，通过掩码违反信任区域的整个序列，实现首个非平凡的长程单调改进保证。
2026-06-29 cs.AI cs.IT cs.LG
Boosting Trust Region Policy Optimization by Normalizing Flows Policy
Columbia University（哥伦比亚大学）
我们提出了改进的信赖域策略搜索与规范化流的政策。我们说明了当信任区域由KL发散约束构造时，规范化流策略生成远离前一策略的“中心”的样本，这可能使更好的探索，并有助于避免坏的局部最优。通过广泛的比较，我们表明，规范化流政策显着改善基线架构，特别是在高维任务与复杂的动态。
2019-02-01 cs.AI cs.LG stat.ML
Trust-Region-Free Policy Optimization for Stochastic Policies
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
信赖域策略优化（TRPO）是一种迭代法，它在每次迭代中同时最大化代理目标和对连续策略强制执行信赖域约束。代理目标最大化和信赖域执行的组合已被证明是至关重要的，以保证单调的政策改善。然而，求解信赖域约束优化问题可能是计算密集型的，因为它需要许多共轭梯度步骤和大量的策略样本。在本文中，我们表明，信任区域约束的政策可以安全地取代信任区域的自由约束，而不损害潜在的单调改善保证。其关键思想是推广的代理目标中使用的TRPO的方式，单调的改善保证仍然出现作为一个结果，限制政策之间的最大加权比。这个新的约束概述了迭代策略优化的保守机制，并揭示了优化广义代理目标的实用方法。我们表明，新的约束可以有效地加强保守优化广义目标函数在实践中。我们称该算法为无信任区域策略优化（TRFree），因为它没有任何显式的信任区域约束。实验结果表明，TREFree算法在策略性能和样本效率方面优于TRPO算法和近端策略优化算法。
2023-02-15 cs.AI cs.LG
Matrix Low-Rank Trust Region Policy Optimization
King Juan Carlos University（胡安·卡洛斯国王大学）
本文提出基于低秩矩阵的模型替代神经网络来估计TRPO参数，通过矩阵补全技术强制低秩性，在降低计算和样本复杂度的同时保持相当的累积奖励。
2024-05-27 cs.AI cs.LG
Trust-Region Behavior Blending for On-Policy Distillation
T-Tech
提出信任域行为混合（TRB）预热方法，通过在学生中心的KL信任域内用最接近教师的行为策略替换早期学生策略，解决在线策略蒸馏中早期学生轨迹质量差的问题，在数学推理蒸馏中取得最佳平均性能。
2026-05-29 cs.AI cs.LG
Trust Regions Sell, But Who's Buying? Overlap Geometry as an Alternative Trust Region for Policy Optimization
Birla Institute of Technology and Science（比拉理工学院和科学学院）
本文提出基于重叠几何的BTRPO和BPPO方法，通过Bhattacharyya系数约束分布重叠，以更有效地控制策略优化中的似然比偏离，提升训练稳定性与性能。
2026-02-06 cs.AI cs.LG
Trust Region Policy Distillation
Microsoft（微软）
研究将不稳定的策略蒸馏转化为稳定训练范式，核心方法是动态构建近端教师，贡献为增强训练稳定性、样本效率等，且无额外计算开销。
2026-10-28 cs.AI cs.LG
