Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(RIKEN高级智能项目中心)
本文提出耦合策略优化方法,通过KL约束调节策略多样性,提升大规模强化学习中的探索效率和学习性能。
2026-03-03 cs.AI cs.LG cs.RO
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington(华盛顿大学);ETH Zrich(苏黎世联邦理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Wisconsin Institute for Discovery(威斯康星发现研究所)
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO,通过拉格朗日对偶推导闭式更新,理论上证明了单调提升与全局收敛,并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
Trust Region Q Adjoint Matching
KAIST AI(韩国科学技术院人工智能);Seoul National University(首尔国立大学);RLWRLD
针对预训练流策略的离策略强化学习不稳定性,提出信任区域Q伴随匹配方法,通过投影对偶下降自适应控制路径空间KL散度,实现稳定微调,在50个OGBench任务中离线RL成功率达68%。
2026-10-09 cs.AI cs.LG cs.RO
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
近端策略优化(PPO)是最受欢迎的深度强化学习(RL)方法之一,在各种具有挑战性的任务中实现了最先进的性能。然而,作为一种无模型强化学习方法,PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析,指出PPO容易遭受探索不足的风险,尤其是在初始化不良的情况下,可能导致训练失败或陷入不良局部最优。为了解决这些问题,我们提出了一种新的策略优化方法,命名为信任区域引导的PPO(TRGPPO),自适应调整信任区域内的裁剪范围。我们正式表明,这种方法不仅提高了信任区域内的探索能力,但享有更好的性能界相比,原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
Off-Policy Shaping Ensembles in Reinforcement Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学)
梯度时间差方法的最新进展允许学习的政策外多个价值函数并行与牺牲收敛保证或计算效率。这为强化学习中的声音集成技术开辟了新的可能性。在这项工作中,我们提出了通过基于潜力的塑造奖励相关的政策学习的合奏。该集成通过在其组件上使用投票机制来诱导组合策略。学习是实时的发生的,我们的经验表明,组合策略优于集成的单个策略。
2014-05-21 cs.AI cs.LG
Trust-Region Diffusion Policies for Massively Parallel On-Policy RL
University of Freiburg(弗赖堡大学);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
提出TruDi方法,通过信任区域优化约束扩散轨迹的KL散度,实现大规模并行在线强化学习中的稳定训练,在73个任务中优于或持平基线。
2026-06-16 cs.AI cs.LG
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University(波士顿大学)
为了使强化学习技术在现实世界的决策过程中发挥作用,它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果,但它们在现实世界中的应用仍然有限,因为它们通常需要大量数据才能成功。当与小样本量相结合时,这些方法可能会导致不稳定的学习,因为它们依赖于基于高维样本的估计。在这项工作中,我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法,旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法,不确定性感知的信任域策略优化,生成强大的策略更新,以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning
Seoul National University(首尔国立大学);Ewha Woman University(成均馆大学);Geogia Institute of Technology(佐治亚理工学院)
QUATRO通过原则性优化直接施加信任区域约束,实现稳定且可控的LLM微调,提升训练稳定性与熵控制。
2026-09-18 cs.LG
EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization
Amirkabir University of Technology(阿米尔卡比尔理工大学)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的策略搜索算法。它迭代地解决了限制连续策略相互接近的代理问题。TRPO是一种策略算法。基于策略的方法带来了许多好处,比如能够衡量每个结果策略。然而,他们通常会抛弃以前存在的关于政策的所有知识。在这项工作中,我们使用重放缓冲区借用的离策略学习设置TRPO。在强化学习中,熵正则化通常被用来改善策略优化。它被认为是通过鼓励更随机的政策选择来帮助探索和推广。我们在TRPO中添加了一个熵正则化项,以优于随时间步长累积的π。我们将此更新称为EnTRPO。我们的实验表明,与原始TRPO相比,EnTRPO在控制Cart-Pole系统方面实现了更好的性能
2021-10-26 cs.LG
Trust Region Inverse Reinforcement Learning: Explicit Dual Ascent using Local Policy Updates
Technical University of Darmstadt(达姆斯塔特技术大学);Lund University(隆德大学);German Research Center for AI (DFKI)(人工智能研究中心(DFKI));Robotics Institute Germany (RIG)(德国机器人研究所(RIG));Huawei, Noah’s Ark Lab(华为诺亚实验室);University College London(伦敦大学学院)
本文提出TRIRL算法,通过信任区域优化策略更新,实现奖励函数的单调改进,避免对抗方法的不稳定性,提升多任务表现。
2026-07-03 cs.AI cs.LG cs.RO
Efficient Off-Policy Safe Reinforcement Learning Using Trust Region Conditional Value at Risk
Seoul National University(首尔大学)
本文提出离策略TRC方法,通过新颖替代函数和自适应信赖域约束缓解分布偏移,在CVaR约束下实现样本高效的安全强化学习,并在仿真和真实机器人任务中快速满足安全约束且获得高回报。
2023-12-01 cs.AI cs.LG
Diffusion Policies creating a Trust Region for Offline Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对扩散Q学习训练推理慢、加速易降性能的问题,提出含扩散策略与单步策略的DTQL双策略方法,通过扩散信任域损失关联二者,在多数D4RL基准任务上性能更优且训练推理效率更高。
2024-10-31 cs.AI cs.LG
Trust Region Policy Optimization
University of California, Berkeley(加州大学伯克利分校)
我们描述了一个迭代过程优化政策,保证单调改善。通过对理论上合理的过程进行几次近似,我们开发了一种实用的算法,称为信任域策略优化(TRPO)。该算法类似于自然策略梯度方法,对优化神经网络等大型非线性策略是有效的。我们的实验证明了它在各种任务上的强大性能:学习模拟机器人游泳,跳跃和行走步态;以及使用屏幕图像作为输入玩Atari游戏。尽管它的近似偏离理论,TRPO倾向于给出单调的改进,几乎没有调整超参数。
2017-04-20 cs.LG
Hindsight Trust Region Policy Optimization
Xi’an Jiaotong University(西安交通大学);National University of Singapore(新加坡国立大学)
具有稀疏奖励的强化学习(RL)是一个主要挑战。我们提出了\emph{Hindsight Trust Region Policy Optimization}(HTRPO),一个新的RL算法,扩展了非常成功的TRPO算法与\emph{hindsight},以解决稀疏奖励的挑战。后见之明指的是算法从跨目标的信息中学习的能力,包括那些不适用于当前任务的信息。HTRPO利用了两个主要思想。它引入了QKL,一个二次近似的KL散度约束的信赖域,导致减少KL散度估计的方差和改善的稳定性,在政策更新。它还提出了后见之明目标过滤(HGF)选择导电后见之明目标。在实验中,我们在各种稀疏奖励任务中评估HTRPO,包括简单的基准测试,基于图像的Atari游戏和模拟机器人控制。消融研究表明,QKL和HGF对学习稳定性和高绩效有很大贡献。比较结果表明,在所有的任务,HTRPO始终优于TRPO和HPG,一个国家的最先进的RL算法与稀疏奖励。
2021-05-17 cs.AI cs.LG stat.ML
Scenario-Agnostic Zero-Trust Defense with Explainable Threshold Policy: A Meta-Learning Approach
New York University(纽约大学)
日益增长的连接性和复杂的远程访问环境使传统的基于边界的网络防御变得脆弱。零信任成为一种很有前途的方法,提供防御策略的基础上以代理为中心的信任评估。然而,对代理人轨迹的有限观测带来了决策中的信息不对称。为了促进人类对策略和技术采用的理解,需要创建一个零信任防御,该防御可以向人类解释并适应不同的攻击场景。为此,我们提出了一种基于部分可观察马尔可夫决策过程(POMDP)和一阶元学习的不可知的零信任防御方法,只使用少数几个示例场景。该框架导致一个可解释的和可推广的信任阈值防御策略。为了解决经验安全数据集和现实之间的分布偏移,我们将模型扩展到一个鲁棒的零信任防御,最大限度地减少最坏情况下的损失。我们使用案例研究和现实世界的攻击来证实结果。
2023-03-06 cs.AI cs.CR
Graph-attention-based Casual Discovery with Trust Region-navigated Clipping Policy Optimization
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院)
本文提出信任区域导航的裁剪策略优化方法和改进的图注意力编码器SDGAT,以提升强化学习因果发现的搜索效率、稳定性及变量编码能力,并在合成与基准数据集上验证了其优越性。
2024-12-27 cs.AI cs.LG
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化(PPO和TRPO)在深度强化学习中取得了显著的经验成功。然而,由于非凸性,PPO和TRPO的全局收敛性仍然不太清楚,这使理论与实践分离。在本文中,我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策,在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性,其中的梯度和梯度是由神经网络实例化。特别是,所需的表示能力和优化几何诱导过参数化的神经网络,使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
Guaranteed Trust Region Optimization via Two-Phase KL Penalization
University of Southern California(南加州大学)
本文提出 FixPO,通过 KL 惩罚与 fixup 阶段以低于 5% 的额外梯度步数保证每次策略更新满足信赖域约束,并在多种架构和动作空间上取得竞争力。
2023-12-08 cs.LG
Towards Applicable Reinforcement Learning: Improving the Generalization and Sample Efficiency with Policy Ensemble
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
由于训练和评估之间的噪声观测和环境转换,使得强化学习(RL)算法在金融交易和物流系统等实际应用中取得成功具有挑战性。因此,它需要高的样本效率和泛化来解决现实世界的任务。然而,直接应用典型的RL算法可能会导致在这种情况下性能不佳。考虑到集成方法在有监督学习(SL)中在准确性和泛化能力方面的优异性能,设计了一种鲁棒性和实用性强的集成策略优化方法--Ensemble近端策略优化(EPPO),它以端到端的方式学习集成策略。值得注意的是,EPPO将每个策略和策略集合有机地结合起来,并同时优化两者。此外,EPPO在策略空间上采用了多样性增强正则化,这有助于推广到不可见的状态并促进探索。我们从理论上证明了EPPO提高了探索效率,并通过对各种任务的综合实验评估,我们证明了EPPO实现了更高的效率,并且与香草策略优化算法和其他集成方法相比,对现实世界的应用具有鲁棒性。代码和补充材料可在www.example.com上获得。
2022-05-19 cs.AI cs.LG
Let the Batch Decide, On- or Off-Policy: Effective Sample Size for RL Post-Training
Boson AI
本文提出一种自适应策略优化方法,通过动态调整策略更新的信任区域和下策略正则化强度,以提高强化学习在训练后对数据分布变化的鲁棒性。
2026-10-20 cs.AI cs.LG
Trust-Calibrated VLA Policy Post-Training with Evolving Imagination
Sun Yat-sen University(中山大学);Shenzhen Loop Area Institute(深圳河套学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai AI Laboratory(上海人工智能实验室);University of Oxford(牛津大学);University of Science and Technology of China(中国科学技术大学)
针对VLA模型后训练的可靠性-效率权衡问题,提出MERL框架,通过信任校准的在线更新模拟器优化策略,在LIBERO-PRO任务及物理机器人任务上取得优异性能。
2026-10-14 cs.LG cs.RO
Rethinking Ratio-Based Trust Regions for Policy Optimization in Multi-Agent Reinforcement Learning
Northeastern University(东北大学);STR;University of California, Irvine(加州大学尔湾分校)
本文提出MARS方法,通过乘法对称几何屏障替代传统比率信任区域机制,提升多智能体策略优化性能。
2026-05-09 cs.LG
Faded-Experience Trust Region Policy Optimization for Model-Free Power Allocation in Interference Channel
Carleton University(卡尔顿大学)
策略梯度强化学习技术使智能体能够通过与环境的交互直接学习最优的行动策略。然而,尽管它的优点,它有时会受到缓慢的收敛速度。受人类决策方法的启发,我们通过增强智能体来记忆和使用最近学习的策略来提高其收敛速度。我们将我们的方法应用于信任区域策略优化(TRPO),主要是为运动任务开发的,并提出了衰落经验(FE)TRPO。为了证实其有效性,我们采用它来学习连续功率控制在干扰信道时,只有嘈杂的位置信息的设备是可用的。结果表明,与TRPO相比,FE-TRPO可以使学习速度几乎翻一番。重要的是,我们的方法既不会增加学习的复杂性,也不会造成性能损失。
2020-08-04 cs.IT cs.LG math.IT
Trust Region On-Policy Distillation
Samsung Research(三星研究院);University of Oxford(牛津大学);Peking University(北京大学)
提出信任区域在线策略蒸馏(TrOPD),通过信用分配策略和信任区域学习解决师生分布差异导致的训练不稳定问题,在数学推理、代码生成和通用基准上超越现有方法。
2026-06-18 cs.CL cs.LG
Trust Is Not Enough: Influence Calibration for On-Policy Self-Distillation in Agentic RL
针对策略内自蒸馏的信任-效用不匹配问题,提出ICSD方法,在多基准任务上提升语言智能体性能,降低反向令牌的教师支持占比并提高梯度兼容性。
2026-08-18 cs.AI cs.CL
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology(以色列理工学院)
信赖域策略优化(TRPO)是强化学习(RL)中一种流行的、经验上成功的策略搜索算法。然而,TRPO一直被认为是一个启发式算法的启发式保守策略迭代(CPI)。我们表明,TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO,在规划设置中,我们可以访问模型和整个状态空间。然后,我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是,自适应缩放机制使我们能够分析TRPO正则化的MDPs,我们证明了快速的$\tilde O(1/N)$,很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Dealing with Non-Stationarity in MARL via Trust-Region Decomposition
East China Normal University(华东师范大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
非平稳性是协作多智能体强化学习(MARL)中的一个棘手问题。其中一个原因是代理人在学习过程中的政策变化。已有的一些工作已经讨论了各种测量指标的非平稳性所造成的各种后果。这使得现有算法的目标或目的不可避免地是不一致和不同的。在本文中,我们引入了一个新的概念,$δ$-测量,显式测量的非平稳性的政策序列,可以进一步证明是有界的连续联合政策的KL-分歧。一个直接但非常重要的方法是控制联合策略的分歧,这是很难准确估计的联合策略上施加信任区域约束。虽然将联合策略分解并对分解后的策略施加信任域约束具有较低的计算复杂性,但简单的策略分解(如平均场近似)会导致更大的策略分歧,这可以被认为是信任域分解困境。我们将联合策略建模为一个两两马尔可夫随机场,并提出了一个基于消息传递的信任区域分解网络(TRD-Net),以更准确地估计联合策略的分歧。通过端到端自适应调整局部策略的信任域,建立了带信任域分解的多Agent镜像下降策略算法(MAMT)。MAMT可以近似地约束连续联合策略的发散,以满足$δ$-平稳性,并缓解非平稳性问题。在不同复杂度的协作任务中,与基线相比,我们的方法可以带来显著和稳定的性能改善。
2022-02-10 cs.GT cs.LG cs.MA
Beyond Fixed Morphologies: Learning Graph Policies with Trust Region Compensation in Variable Action Spaces
ROBOTICS – Institute for Robotics and Flexible Production, JOANNEUM RESEARCH Forschungsgesellschaft mbH(机器人研究所,JOANNEUM RESEARCH研究公司)
针对信任区域方法在可变动作空间维度下行为不明的问题,本文理论分析TRPO和PPO在KL散度或策略裁剪约束下的优化景观,并通过Gymnasium Swimmer环境实证评估形态泛化能力。
2025-08-16 cs.LG cs.RO cs.SY
Trust-Region Twisted Policy Improvement
Delft University of Technology(代尔夫特理工大学)
针对MCTS并行扩展困难,提出信赖域扭曲SMC(TRT-SMC)规划器,通过约束采样与终止处理改进数据生成,提升策略和价值估计,在离散与连续域中优于基线方法。
2025-07-08 cs.LG
When to Trust Your Model: Model-Based Policy Optimization
University of California, Berkeley(加州大学伯克利分校)
设计有效的基于模型的强化学习算法是困难的,因为数据生成的容易性必须与模型生成的数据的偏差相权衡。本文从理论和实证两个方面研究了模型的使用在政策优化中的作用。我们首先制定和分析了一个基于模型的强化学习算法,保证在每一步的单调改善。在实践中,这种分析是过于悲观,并表明,真正的政策外数据总是优于模型生成的政策上的数据,但我们表明,模型泛化的经验估计可以纳入这样的分析,以证明模型的使用。受此分析的启发,我们证明了一个简单的过程,使用短模型生成的推出分支从真实数据具有更复杂的基于模型的算法的好处,而没有通常的陷阱。特别是,这种方法超越了以前的基于模型的方法的样本效率,匹配最好的无模型算法的渐近性能,并扩展到导致其他基于模型的方法完全失败的范围。
2021-11-29 cs.AI cs.LG stat.ML
MEPG: A Minimalist Ensemble Policy Gradient Framework for Deep Reinforcement Learning
Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science Carnegie Mellon University(卡内基梅隆大学计算机学院)
在强化学习(RL)智能体的训练过程中,由于智能体的行为随时间变化,训练数据的分布是非平稳的。因此,存在代理过度专业化到特定分布的风险,并且其性能在更大范围内受到影响。EnergyRL可以通过学习一个强大的策略来缓解这个问题。然而,它遭受沉重的计算资源消耗,由于新引入的价值和政策的功能。在本文中,为了避免臭名昭著的资源消耗问题,我们设计了一个新颖而简单的集成深度RL框架,将多个模型集成到一个模型中。具体来说,我们提出了\underline{M}最小\underline{E} numerical \underline{P} policy \underline{G} radient framework(MEPG),它通过利用修改的dropout算子引入最小集合一致的Bellman更新。MEPG通过保持Bellman方程两边的丢弃一致性来保持系综性质。此外,dropout算子还提高了MEPG的泛化能力。此外,我们从理论上表明,在MEPG的政策评估阶段保持两个同步的深高斯过程。为了验证MEPG框架的泛化能力,我们在健身房模拟器上进行了实验,这表明MEPG框架优于或达到了与当前最先进的集成方法和无模型方法相似的性能水平,而不会增加额外的计算资源成本。
2022-07-09 cs.AI cs.LG
Deconstructing Off-Policy Ratios: Entropy-Normalized Trust Regions for Asynchronous Reinforcement Learning
Baidu(百度)
研究异步强化学习中离策略数据问题,提出熵缩放信任区域(ESTR)方法,通过令牌局部熵缩放离策略偏差,无需辅助前向传递等,在多任务和基准测试中优于现有异步方法,提升训练-推理一致性与速度。
2026-10-09 cs.AI
Mirror Descent Policy Optimization
University of Alberta(阿尔伯塔大学);Technion(以色列理工学院);Microsoft Research(微软研究院);Google Research(谷歌研究院)
镜像下降法(Mirror Descent,MD)是约束凸优化中的一阶算法,近年来被证明是分析强化学习(Reinforcement Learning,RL)中信赖域算法的重要工具。然而,这些理论分析的算法和实际使用的算法之间仍然存在相当大的差距。受此启发,我们提出了一种高效的RL算法,称为{ \em镜像下降策略优化}(MDPO)。MDPO通过{ \em approximately}求解信赖域问题来迭代更新策略,该信赖域问题的目标函数由两个项组成:标准RL目标的线性化和限制两个连续策略彼此接近的邻近项.每次更新通过在该目标函数上采取多个梯度步骤来执行这种近似。我们推导出{ \em的政策}和{ \em的政策} MDPO的变体,同时强调重要的设计选择,激励现有理论的MD在RL。我们强调的政策MDPO和两个流行的信任区域RL算法:TRPO和PPO之间的连接,并表明,明确执行的信任区域约束实际上是{ \em不} TRPO的高性能增益的必要性。然后,我们展示了如何流行的软演员-评论家(SAC)算法可以通过轻微的修改,关闭政策MDPO。总体而言,MDPO源自MD原则,提供了一种统一的方法来查看许多流行的RL算法,并且在许多连续控制任务中表现优于或等同于TRPO,PPO和SAC。代码可在\url{https://github.com/manantomar/Mirror-Descent-Policy-…
2021-06-07 cs.AI cs.LG stat.ML
Preventing Imitation Learning with Adversarial Policy Ensembles
UC Berkeley(加州大学伯克利分校)
模仿学习可以通过观察专家来复制策略,这带来了关于策略隐私的问题。策略,如人类或部署机器人的策略,都可以在未经所有者同意的情况下克隆。我们如何防止外部观察者克隆我们的专有策略?为了回答这个问题,我们引入了一个新的强化学习框架,在这里我们训练一个接近最优的政策,其演示保证是无用的外部观察员。我们制定这个想法的约束优化问题,其目标是提高专有政策,并在同一时间恶化的虚拟政策的最终外部观察员。通过对标准策略梯度算法的改进,设计了一个易于处理的算法来解决这个新的优化问题。我们的表述可以从保密性和对抗性行为的角度来解释,这使得这项工作有了更广泛的视角。我们证明了存在“非克隆”的合奏,提供了一个解决方案,上述优化问题,这是我们的修改后的策略梯度算法计算。据我们所知,这是强化学习中关于策略保护的第一项工作。
2020-08-02 cs.AI cs.LG stat.ML
Minimax-optimal trust-aware multi-armed bandits
University of Michigan(密歇根大学);The Chinese University of Hong Kong(香港中文大学)
针对现有多臂老虎机算法忽略人类信任因素导致性能下降的问题,本文提出两阶段信任感知流程,确立信任问题下的minimax遗憾值,证明其接近最优的统计保证,并通过仿真验证其优势。
2024-10-04 cs.LG math.ST stat.ME
PPO-BR: Dual-Signal Entropy-Reward Adaptation for Trust Region Policy Optimization
Department of Computer Science, Universitas Nasional(国立大学计算机科学系)
PPO-BR通过融合熵驱动的探索扩张与奖励引导的收敛收缩,形成有界信任区域,以极小开销实现29.1%更快收敛和更低方差,适用于安全关键系统。
2025-05-23 cs.AI cs.CL cs.LG
Truly Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
近端策略优化(PPO)是最成功的深度学习方法之一,在各种具有挑战性的任务中实现了最先进的性能。然而,其优化行为还远未被完全理解。在本文中,我们表明,PPO既不能严格限制似然比,因为它试图这样做,也没有强制执行一个定义良好的信任域约束,这意味着它仍然可能遭受性能不稳定的风险。为了解决这个问题,我们提出了一个增强的PPO方法,命名为真正的PPO。该方法主要做了两个改进:1)采用新的裁剪函数支持回滚行为,以限制新旧策略之间的差异; 2)将裁剪的触发条件替换为基于信任域的触发条件,从而优化生成的代理目标函数,保证最终策略性能的单调改善。看来,通过更真实地坚持使算法接近-将策略限制在信任区域内,新算法在样本效率和性能上都提高了原始PPO。
2020-01-14 cs.AI cs.LG stat.ML
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Auckland(奥克兰大学);Chongqing University(重庆大学)
本文提出信赖域奖励优化(TRRO)框架及其算法实例PIRO,通过次小化-最大化过程保证专家行为似然单调提升,解决了非对抗逆强化学习缺乏稳定性保证的问题,在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG
Local Guidance, Global Impact: Gaussian-Reshaped Trust Region Unlocks Behavior Transitions
Hong Kong University of Science and Technology(香港科技大学);Mila - Québec AI Institute(魁北克AI研究院);Université de Montréal(蒙特利尔大学);Fudan University(复旦大学);City University of Hong Kong(香港城市大学)
针对PPO在非平稳环境中优化失效的问题,提出高斯信任区域策略优化(GTR),通过高斯核重塑信任区域实现非单调约束,在保持局部稳定性的同时允许必要的大幅策略更新,并在多种任务中取得强性能。
2026-06-04 cs.AI cs.LG
Balancing policy constraint and ensemble size in uncertainty-based offline reinforcement learning
Warwick Medical School, University of Warwick(华威大学华威医学院);WMG, University of Warwick(华威大学华威制造集团);Department of Statistics, University of Warwick(华威大学统计系);Alan Turing Institute(艾伦·图灵研究所)
离线强化学习代理从固定的数据集中寻求最优策略。由于环境相互作用被禁止,智能体面临着重大挑战,即防止价值估计中的错误加剧并随后导致学习过程崩溃。使用集成的不确定性估计通过惩罚高方差值估计来补偿这一点,允许代理基于数据驱动的动作来学习鲁棒的策略。然而,需要大的合奏,以促进足够的惩罚结果在显着的计算开销。在这项工作中,我们研究的作用,政策约束作为一种机制,用于调节不确定性,以及相应的平衡水平的约束和合奏大小。通过将行为克隆纳入政策更新,我们的经验表明,足够的惩罚可以实现一个小得多的合奏大小,大大减少计算需求,同时保留最先进的性能基准任务。此外,我们展示了这样的方法可以促进稳定的在线微调,允许持续的政策改善,同时避免严重的性能下降。
2023-03-26 cs.LG
Embedding Safety into RL: A New Take on Trust Region Methods
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Center for Scalable Data Analytics and Artificial Intelligence(可扩展数据分析与人工智能中心)
针对强化学习智能体的不安全行为,提出C-TRPO方法,通过重塑策略空间几何确保信任域仅含安全策略,在保证训练全程满足安全约束的同时维持具竞争力的回报。
2025-08-15 cs.LG cs.SY eess.SY
DEFT: Diverse Ensembles for Fast Transfer in Reinforcement Learning
深度集成已经被证明可以将典型集成学习中的积极效果扩展到神经网络和强化学习(RL)。然而,仍有许多工作要做,以提高这种集成模型的效率。在这项工作中,我们提出了用于RL中快速传输的多样化集成(DEFT),这是一种新的基于集成的方法,用于高度多模态环境中的强化学习,并改进了对未知环境的传输。该算法被分解为两个主要阶段:训练集合成员,以及将集合成员合成(或微调)为在新环境中工作的策略。该算法的第一阶段涉及并行地训练常规策略梯度或行动者-批评者代理,但是向损失添加一个项,该项鼓励这些策略彼此不同。这使得个体单峰代理探索最优政策的空间,并比单个行为者捕获更多的环境多模态。DEFT的第二阶段涉及将组件策略合成为一个新策略,该新策略以两种方式之一在修改后的环境中工作良好。为了评估DEFT的性能,我们从一个基本版本的近端策略优化(PPO)算法开始,并扩展它与DEFT的修改。我们的研究结果表明,预训练阶段是有效的,在多模态环境中产生不同的政策。DEFT通常比其他方法更快地收敛到高回报,例如没有DEFT的随机初始化和对集合成员的微调。虽然在理论上分析DEFT并将其扩展到更强大方面还有更多的工作要做,但我们相信它提供了一个强大的框架,可以在环境中捕获多模态,同时仍然使用具有简单策略表示的RL方法。
2022-09-26 cs.AI cs.LG
Off-Policy Reward Shaping with Ensembles
Vrije Universiteit Brussel(布鲁塞尔自由大学)
基于潜力的奖励塑造(PBRS)是一种有效且流行的技术,通过利用领域知识来加速强化学习。虽然PBRS被证明始终保持最优策略,但其对学习速度的影响取决于其潜在函数的质量,而潜在函数的质量又取决于底层启发式和规模。要知道哪种启发式算法将被证明是有效的,需要事先测试选项,并且确定适当的尺度需要调整,这两者都引入了额外的样本复杂性。我们制定了一个PBRS框架,降低学习速度,但不会产生额外的样本复杂性。为此,我们建议同时学习一套政策,形成w.r.t.许多化学品和一系列规模。然后通过投票获得目标策略。集成需要能够有效和可靠地学习离线策略:最近的部落架构满足的要求,我们将其作为我们的基础。我们的经验表明,(1)我们的合奏政策优于基本政策,其单一的启发式组件,和(2)合奏在一般范围内的规模执行至少以及一个最佳调整组件。
2015-03-23 cs.AI
It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL
University of Southampton(索姆塞特大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出PSPO方法,通过概率平滑改进大语言模型强化学习中的信任区域,提升数学推理任务的性能。
2026-01-29 cs.AI cs.LG
How Ensembles of Distilled Policies Improve Generalisation in Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
本文证明训练后策略蒸馏的泛化界,提出训练蒸馏策略集成并利用尽可能多的训练数据可提升强化学习零样本迁移的泛化性能,实验验证了该方法的有效性。
2025-10-23 cs.AI cs.LG
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington(华盛顿大学)
面对不确定性,明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程(MDP)上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准,但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解:在没有不确定性的情况下,每个潜在的MDP更容易解决。我们首先获得一组专家,每个潜在的MDP一个,并融合他们的建议来计算基线策略。接下来,我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法,贝叶斯残差策略优化(BRPO),进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合,并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
No Representation, No Trust: Connecting Representation, Collapse, and Trust Issues in PPO
EPFL(洛桑联邦理工学院);Google DeepMind(谷歌DeepMind)
本文实证研究PPO在Atari和MuJoCo中的表示动态,发现特征秩退化和容量损失会加剧非平稳性并导致性能崩溃,且表示崩溃与信任区域退化相互加剧;为此提出近端特征优化(PFO)辅助损失,通过正则化表示动态有效缓解PPO智能体的性能崩溃。
2024-11-20 cs.LG
Finite-Sample Convergence Bounds for Trust Region Policy Optimization in Mean-Field Games
NYU Shanghai(上海纽约大学)
本文提出 MF-TRPO 算法,将 TRPO 扩展至平均场博弈框架以计算近似纳什均衡,并提供了其精确与基于样本形式的收敛性理论保证及有限样本复杂度。
2025-05-28 cs.LG math.ST stat.ML
Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一个算法框架,学习鲁棒政策的非对称信息博弈,其中的联合奖励可能取决于不确定的对手类型(一个私人信息只知道对手本身和它的盟友)。为了最大化奖励,主角Agent必须通过Agent建模来推断对手类型。我们使用多智能体强化学习(MARL)通过自我游戏来学习对手模型,它捕获了智能体之间的完整策略交互和推理。然而,从自我游戏中学习的代理策略可能会受到相互过度拟合的影响。包围训练方法可以用来提高Agent策略对不同对手的鲁棒性,但它也显著增加了计算开销。为了实现一个很好的权衡之间的鲁棒性的学习政策和计算复杂性,我们建议训练一个单独的对手政策对主角代理评估的目的。由于强化学习器固有的随机性,这个对手所获得的奖励是主角代理策略鲁棒性的噪声度量。为了处理这种随机性,我们应用随机优化方案来动态更新对手集成,以优化目标函数,在鲁棒性和计算复杂性之间取得平衡。我们的经验表明,在相同的有限的计算预算下,所提出的方法比标准集成训练更强大的策略学习。
2020-03-03 cs.AI cs.LG
Graph, Loop, and Harness Engineering for Zero-Trust Agentic Data Engineering and Analytical Processing
Tata Research Development and Design Centre(塔塔研发与设计中心)
针对云数据工程与分析中智能体协调可靠性问题,提出两个零信任框架,通过图、循环和智能体框架工程实现证据门控、有界恢复与零信任执行,实验验证了完成、恢复、授权及OLAP执行等指标。
2026-09-25 cs.AI cs.LG
Reinforced Model Predictive Control via Trust-Region Quasi-Newton Policy Optimization
针对现有强化学习优化模型预测控制时一阶更新收敛慢、数据需求大的问题,提出基于信赖域约束的拟牛顿策略优化算法,实现超线性收敛,在数据效率和精度上更优。
2024-10-31 cs.LG cs.SY eess.SY
Value Enhancement of Reinforcement Learning via Efficient and Robust Trust Region Optimization
London School of Economics and Political Science(伦敦政治经济学院);Shanghai University of Finance and Economics(上海财经大学);The George Washington University(乔治华盛顿大学)
强化学习(RL)是一种强大的机器学习技术,它使智能代理能够学习最优策略,使连续决策的累积回报最大化。现有文献中的大多数方法都是在数据易于收集或模拟的\textit{online}设置中开发的。受移动健康研究等高风险领域有限和预先收集的数据的激励,本文研究了\textit{offline}强化学习方法。为了有效地使用这些数据集进行策略优化,我们提出了一种新的值增强方法,以提高现有最先进的RL算法计算的给定初始策略的性能。具体来说,当初始策略不一致时,我们的方法将输出一个策略,其值不会比初始策略更差,而且往往更好。当初始策略一致时,在一定的条件下,我们的方法将产生一个策略,其值以比初始策略更快的速度收敛到最优策略,实现所需的"价值增强”性质。所提出的方法通常可应用于属于某些预先指定的功能类(例如,深度神经网络)。进行了大量的数值研究,以证明我们的方法的优越性能。
2023-01-05 cs.LG stat.ML
An Analytical Update Rule for General Policy Optimization
University of Rhode Island(罗德岛大学)
我们提出了一个分析的政策更新规则,是独立的参数函数逼近。该策略更新规则适用于一般随机策略的优化,并具有单调改进保证。它是来自一个封闭形式的解决方案,以信赖域优化使用变分法,以下一个新的理论结果,收紧现有的界限,使用信赖域方法的政策改进。更新规则在策略搜索方法和价值函数方法之间建立连接。此外,可以从更新规则导出策略外强化学习算法,因为它不需要计算策略内状态的积分。此外,更新规则立即扩展到合作的多代理系统时,一次由一个代理执行策略更新。
2022-07-15 cs.AI
POLTER: Policy Trajectory Ensemble Regularization for Unsupervised Reinforcement Learning
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文提出 POLTER,通过预训练中发现的策略轨迹集成正则化 URL 先验策略,可通用提升多种基于数据和知识的算法,并在 URLB 上取得无模型方法新最优。
2023-12-15 cs.LG cs.RO