Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中,我们提出了广义悲观主义学习(GPL),一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是,我们建议学习这个惩罚与批评双TD学习,一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差,而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合,我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Safe Reinforcement Learning with Chance-constrained Model Predictive Control
UC Berkeley(加州大学伯克利分校)
现实世界中的强化学习(RL)问题通常要求智能体通过遵守一组设计的约束来安全地行为。我们通过将基于模型预测控制(MPC)的安全指南与线性设置中具有连续动作的修改后的策略梯度框架相耦合来解决安全RL的挑战。该指南通过在MPC公式中嵌入安全要求作为机会约束来强制执行系统的安全操作。然后,策略梯度训练步骤包括训练基本策略以安全地运行的安全惩罚。我们从理论上证明,这种惩罚允许一个可证明安全的最佳基础政策,并说明我们的方法与模拟线性化四旋翼实验。
2022-03-28 cs.LG cs.SY eess.SY
Penalized Proximal Policy Optimization for Safe Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);JD Explore Academy(京东探索研究院);School of Artificial Intelligence, Peking University(北京大学人工智能学院)
安全强化学习旨在学习满足安全约束的最优策略,这在实际应用中至关重要。然而,目前的算法仍然难以有效的策略更新与硬约束满足。在本文中,我们提出了惩罚性近端策略优化(P3 O),它通过对等效无约束问题的单个最小化来解决繁琐的约束策略迭代。具体地说,P3O利用一个简单而有效的惩罚函数来消除成本约束,并通过裁剪代理目标来消除信任域约束。我们从理论上证明了所提出的方法的精确性与有限的惩罚因子,并提供了一个最坏情况下的近似误差分析时,评估样本轨迹。此外,我们将P3O扩展到更具挑战性的多约束和多代理场景,这些场景在以前的工作中研究较少。大量的实验表明,P3O优于国家的最先进的算法方面的奖励改善和约束满足的一组受约束的机车任务。
2022-06-17 cs.AI cs.LG math.OC
Enhanced Penalty-based Bidirectional Reinforcement Learning Algorithms
Cleveland State University(克利夫兰州立大学);Florida International University(佛罗里达国际大学);Argonne National Laboratory(阿贡国家实验室)
本研究通过整合惩罚函数引导智能体避免不期望动作,并引入双向学习方法从初始与终止状态学习,提出Penalty-Based Bidirectional方法,在Mani skill基准上成功率提升约4%,增强了复杂环境下的策略学习与整体性能。
2025-04-04 cs.LG
Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology(西门子技术);Technical University of Munich(慕尼黑工业大学)
在离线强化学习中,需要从单个预先收集的数据集中学习策略。通常,策略因此在训练期间被正则化,以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法,它直接约束的政策,而不是在其权重空间,并在实验中证明了其有效性。
2021-07-12 cs.LG
A Reinforcement Learning Approach to Parameter Selection for Distributed Optimal Power Flow
Georgia Institute of Technology(佐治亚理工学院);Argonne National Laboratory(阿贡国家实验室)
随着分布式能源的日益普及,分布式优化算法由于其潜在的优越的可扩展性、隐私性和对单点故障的鲁棒性而引起了电力系统应用的极大关注。交替方向乘子法(ADMM)是一种流行的分布式优化算法,但其收敛性能严重依赖于惩罚参数的选择,而惩罚参数的选择通常是随机的。在这项工作中,我们使用强化学习(RL)开发一个自适应的惩罚参数选择政策的AC最优潮流(ACOPF)问题,通过ADMM解决的目标是最小化迭代次数,直到收敛。我们使用深度Q学习来训练我们的RL策略,并表明这种策略可以显著加速收敛(与现有的曲率通知惩罚参数选择方法相比,迭代次数减少了59%)。此外,我们表明,我们的RL政策表现出的承诺,推广,以及在看不见的负载计划下,以及在看不见的线路和发电机的损失(高达50%的迭代减少)。因此,这项工作提供了一个概念验证使用RL的参数选择在ADMM的电力系统应用。
2022-05-05 cs.LG cs.SY eess.SY
Offline Reinforcement Learning with Fisher Divergence Critic Regularization
New York University(纽约大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
离线强化学习(RL)的许多现代方法利用行为正则化,通常用测量策略与离线数据的偏差的惩罚来增强无模型演员评论算法。在这项工作中,我们提出了一种替代方法,鼓励学习的政策,以保持接近的数据,即参数化的批评日志行为的政策,产生的离线数据,加上一个状态动作值偏移项,可以使用神经网络学习。然后,行为正则化对应于偏移项上的适当正则化子。我们建议使用梯度惩罚正则化的偏移项,并证明其等价于Fisher发散正则化,建议连接到分数匹配和基于生成能量的模型文献。因此,我们将我们的算法称为Fisher-BRC(行为正则化批评)。在标准的离线RL基准测试中,Fisher-BRC实现了比现有最先进方法更高的性能和更快的收敛速度。
2021-03-14 cs.LG
Constrained Policy Improvement for Safe and Efficient Reinforcement Learning
Bar-Ilan University(巴伊兰大学);UC Berkeley(加州大学伯克利分校)
提出了一种强化学习(RL)的策略改进算法--重路由行为改进(RBI)。RBI被设计为考虑Q函数的评估误差。当从有限的过去经验数据学习$Q$值时,这种错误在RL中是常见的。忽略这些错误的贪婪策略或甚至受约束的策略优化算法可能遭受改进惩罚(即,负策略改进)。为了最小化改进惩罚,RBI的想法是衰减低概率动作的快速策略变化,这些动作的采样频率较低。这种方法被证明可以避免灾难性的性能下降,并减少后悔时,从一批过去的经验学习。通过一个双臂强盗高斯分布的奖励的例子,我们表明,它也提高了数据的效率时,最佳的行动有一个高的方差。我们在Atari学习环境中的两项任务中评估RBI:(1)从多个行为策略的观察中学习和(2)迭代RL。我们的研究结果表明,RBI的优势,贪婪的政策和其他有约束的政策优化算法作为一个安全的学习方法,并作为一个通用的数据有效的学习算法。我们的RBI实现的匿名Github存储库可以在https://github.com/eladsar/rbi找到。
2019-07-10 cs.AI cs.LG stat.ML
TIDE: Token-Level Credit Assignment via Entropy-Gated Bounded Deviation
Peking University(北京大学);SJTU(上海交通大学);Tsinghua University(清华大学)
DGPO通过引入分布引导的策略优化框架,解决传统方法在细粒度信用分配中的不足,通过Hellinger距离和熵门机制实现安全探索与有效区分真实推理突破,提升大语言模型在复杂推理任务中的性能。
2026-11-13 cs.AI cs.LG
Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain(谷歌大脑)
在本文中,我们重新审视了由Hallak等人(2017)开创的强化学习(COP-TD)的政策外校正方法。在这种方法下,在线更新的价值函数被重新加权,以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的,它不能容易地转移到非线性函数逼近。首先,它需要一个投影到概率单纯形上的步骤;其次,即使描述离策略学习算法的预期行为的算子是收敛的,但它并不知道是一个收缩映射,因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为,发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚,可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域,我们发现折扣COP-TD在实践中表现得更好,比软正常化处罚。最后,我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估,在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
Model-based Chance-Constrained Reinforcement Learning via Separated Proportional-Integral Lagrangian
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
安全性是强化学习(RL)应用于现实世界的关键。增加机会约束(或概率约束)是一种合适的方式来提高RL安全性下的不确定性。现有的机会约束RL方法,如惩罚方法和拉格朗日方法,要么表现出周期性振荡,要么学习一个过于保守或不安全的政策。在本文中,我们提出了一个分离的比例积分拉格朗日(SPIL)算法来解决这些缺点。首先从反馈控制的角度对约束策略优化过程进行了回顾,将惩罚权重作为控制输入,安全概率作为控制输出。在此基础上,罚函数法被构造成比例控制器,拉格朗日法被构造成积分控制器。然后,我们统一了它们,并提出了一个比例积分拉格朗日方法,以获得两者的优点,与积分分离技术,以限制在一个合理的范围内的积分值。为了加速训练,以基于模型的方式计算安全概率的梯度。我们证明了我们的方法可以减少振荡和保守性的RL政策在跟驰仿真。为了证明其实用性,我们还将我们的方法应用于现实世界的移动机器人导航任务,在那里我们的机器人成功地避免了移动障碍物具有高度不确定性,甚至侵略性的行为。
2021-08-26 cs.LG cs.RO cs.SY
Fairness Aware Reinforcement Learning via Proximal Policy Optimization
针对多智能体系统的奖励公平分配问题,提出融合回顾性与前瞻性惩罚分量的Fair-PPO算法,在两个测试场景中实现了优于PPO的公平性,性能比肩现有先进公平强化学习算法。
2025-09-02 cs.LG cs.MA
Multi-Agent Reinforcement Learning for Visibility-based Persistent Monitoring
University of Maryland, College Park(马里兰大学帕克分校)
基于可见性的持续监控(VPM)问题旨在为机器人找到一组轨迹(或控制器),以持续监控不断变化的环境。每个机器人都有一个传感器,如摄像头,其视野有限,会被环境中的障碍物阻挡。机器人可能需要相互协调,以确保环境中的任何一点都不会长时间处于不受监控的状态。我们对问题进行建模,使得如果一个点未被监控,则每个时间步都会产生一个惩罚。然而,我们不知道惩罚的动态。我们提出了一种用于VPM问题的多智能体强化学习(MARL)算法。具体来说,我们提出了一个多代理图形注意力近端策略优化(MA-G-PPO)算法,作为输入的所有代理的本地观察结合一个低分辨率的全球地图,学习每个代理的政策。图形注意力允许代理与其他人共享他们的信息,从而产生有效的联合策略。我们的主要重点是了解MARL对VPM问题的有效性。我们调查了五个研究问题,这个更广泛的目标。我们发现,MA-G-PPO是能够学习一个更好的政策比非RL基线在大多数情况下,有效性取决于代理共享信息与对方,和政策学习显示紧急行为的代理。
2021-10-07 cs.AI cs.LG cs.RO
FedKL: Tackling Data Heterogeneity in Federated Reinforcement Learning by Penalizing KL Divergence
the Hong Kong University of Science and Technology(香港科技大学)
针对联邦强化学习中的数据异质性,提出基于KL散度的惩罚方法,在分布空间约束模型输出,实现训练速度与收敛的更好权衡,并在两个RL平台上验证了加速和稳定训练的优势。
2022-09-22 cs.LG
Learn Zero-Constraint-Violation Policy in Model-Free Constrained Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
在强化学习(RL)的试错机制中,当我们期望学习一个安全策略时,一个众所周知的矛盾出现了:如何在没有足够的数据和关于危险区域的先验模型的情况下学习一个安全策略?现有的方法大多对危险行为采用后验惩罚,即智能体在经历危险后才受到惩罚。这一事实导致即使在收敛之后,代理也不能学习零违规策略。否则,它不会受到任何惩罚,也不会失去对危险的认知。在本文中,我们提出了安全集演员-评论家(SSAC)算法,它限制了策略更新,使用面向安全的能量函数,或安全指标。安全指数被设计成对于潜在危险的动作快速增加,这允许我们在动作空间上定位安全集,或者控制安全集。因此,我们可以识别危险的行动之前,采取他们,并进一步获得一个零约束违反政策后,收敛。我们声称,我们可以学习的能量函数在一个无模型的方式类似于学习一个价值函数。通过使用能量函数转换作为约束目标,我们制定了一个约束RL问题。我们证明,我们的拉格朗日为基础的解决方案,确保学习的政策将收敛到约束最优在一定的假设。所提出的算法进行评估的复杂的仿真环境和硬件在环(HIL)实验与真正的控制器从自主车辆。实验结果表明,在所有环境中的收敛策略实现零约束违反和基于模型的基线相当的性能。
2021-11-25 cs.AI cs.LG cs.RO
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);University of Cambridge(剑桥大学)
提出了一种新的优化方法,应用于强化学习(RL)的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度(WNG)下降,利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题,即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明,与先进的基线相比,计算成本和性能都有所改善。
2021-03-18 cs.LG
Principled Penalty-based Methods for Bilevel Reinforcement Learning and RLHF
Rensselaer Polytechnic Institute(伦斯勒理工学院);Yale University(耶鲁大学)
针对动态目标的双层强化学习问题,提出首个基于罚函数原则的算法框架,并提供理论分析与策略梯度算法,在Stackelberg马尔可夫博弈、RLHF和激励设计中验证了有效性。
2024-06-01 cs.LG math.OC stat.ML
Reward Constrained Policy Optimization
Technion Israel Institute of Technology(以色列理工学院);DeepMind(深度思维)
在强化学习中解决任务并不容易。由于智能体的目标是最大化累积的奖励,它经常学会利用奖励信号中的漏洞和错误指定,从而导致不必要的行为。虽然约束可以解决这个问题,但对于一般约束没有封闭形式的解决方案。在这项工作中,我们提出了一种新的多时间尺度的约束策略优化方法,称为“奖励约束策略优化”(RCPO),它使用一个替代的惩罚信号,以指导政策对一个约束满足。我们证明了我们的方法的收敛性,并提供了经验证据,它的能力,训练约束满足政策。
2018-12-26 cs.AI cs.LG stat.ML
Entropic Regularization of Markov Decision Processes
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
对于给定的马尔可夫决策过程(MDP),最优反馈控制器原则上可以通过值迭代或策略迭代来合成。然而,如果系统动力学和奖励函数是未知的,学习代理必须通过与环境的直接交互来发现最优控制器。这种交互式数据收集通常会导致发散到状态空间的危险或无信息区域,除非采取额外的正则化措施。先前的工作提出了在每个策略改进步骤中限制由Kullback-Leibler(KL)发散度量的信息损失,以消除学习动态中的不稳定性。在本文中,我们认为一个更广泛的家庭的$f$ -分歧,更具体的$α$ -分歧,继承了有益的财产提供的政策改进步骤在封闭的形式,同时产生相应的双重目标的政策评估。这种熵近端策略优化视图给出了关于兼容的行动者-批评者架构的统一视角。特别是,常见的最小二乘价值函数估计加上加权最大似然策略的改进,以对应于皮尔逊$χ^2$发散惩罚。对于惩罚生成函数$f$的各种选择,会出现其他行动者-批评者对。在我们的框架与$α$发散的具体实例,我们进行了渐近分析的解决方案,为不同的值的$α$,并展示了常见的标准强化学习问题的发散函数的选择的影响。
2019-07-18 cs.LG stat.ML
Revisiting Temporal Regularization for Smooth Control in Deep Reinforcement Learning
Kyung Hee University(庆熙大学)
本研究重新审视时序正则化,证明其能提供空间平滑性,并提出CATS方法结合时序惩罚与线性渐进提升,在减少动作振荡的同时保持任务性能,经仿真和实物实验验证有效。
2026-11-09 cs.LG cs.RO
From Evaluation to Optimisation: Hierarchy-Aware Training Signals for CWE Prediction in Python
研究Python中CWE预测,比较监督微调、双头分类损失、强化学习三种机制,发现监督方法在分布转移下不佳,GRPO成功,最佳策略降低了Qwen2.5-Coder-7B在SVEN数据集上的累积ALPHA惩罚,表明分层惩罚作训练信号的价值取决于传递直接性。
2026-07-24 cs.LG
KLip-PPO: A per-sample KL perspective on PPO-Clip
University of California, Berkeley(加州大学伯克利分校)
本文通过逐样本KL散度惩罚重新表述PPO-Clip,证明其梯度与KL惩罚等价,并揭示了裁剪替代目标中隐含的逐样本惩罚系数结构,为算法泛化提供了新设计方向。
2026-06-24 cs.LG
What is the Alignment Objective of GRPO?
London School of Economics(伦敦政治经济学院);KAIST AI(韩国科学技术院人工智能部门)
本文建立框架刻画 GRPO 的平稳策略,揭示其偏好聚合不同于 RLHF 的对数池化,并分析二元、成对及大组情形与 KL 惩罚变体。
2025-03-13 cs.AI cs.LG
ROSARL: Reward-Only Safe Reinforcement Learning
University of the Witwatersrand(威特沃特斯兰德大学);Duke University(杜克大学)
本文提出ROSARL,通过综合环境可控性与直径求解不安全状态奖励的Minmax penalty上界,并以无模型算法在学习任务策略时同步学习该惩罚,从而在高维连续控制中获得安全策略。
2023-05-31 cs.LG
On Sample Complexity of Projection-Free Primal-Dual Methods for Learning Mixture Policies in Markov Decision Processes
Stanford University(斯坦福大学)
研究了一类具有大量状态的无限时域、折扣费用马尔可夫决策过程的学习策略问题。我们计算的政策,几乎一样好的政策选择一个合适的预言机从一个给定的混合政策类的特点是由一组已知的基本政策的凸包的行动。为了学习混合模型的系数,我们将问题重新定义为MDP的近似线性规划(ALP)公式,其中特征向量对应于在状态-动作空间上定义的基本策略的占用度量。然后,我们提出了一个无投影的随机原始-对偶方法与Bregman分歧解决的特征ALP。此外,我们分析了所提出的随机算法的可能近似正确(PAC)样本的复杂性,即达到接近最优的目标值所需的查询数量。我们还提出了一个修改我们所提出的算法与多面体约束采样的平滑ALP,其中的限制下边界近似放松。此外,我们提出的算法应用到排队问题,并比较其性能与罚函数算法。数值结果表明,原始-对偶实现了更好的效率和低方差在不同的试验相比,罚函数方法。
2019-08-30 cs.LG stat.ML
Offline Reinforcement Learning with Soft Behavior Regularization
JD Intelligent Cities Research, JD Technology(京东科技京东智能城市研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院)
离线强化学习(RL)的大多数现有方法利用\textit{behavior regularization},通常用测量策略和离线数据之间的分歧的惩罚来增强现有的非策略参与者评论算法。然而,这些方法缺乏保证的性能改进的行为策略。在这项工作中,我们从学习策略和行为策略之间的性能差异出发,我们推导出一个新的策略学习目标,可以用于离线设置,它对应于优势函数值的行为策略,乘以状态边际密度比。我们提出了一个实用的方法来计算密度比,并证明其等价于一个状态依赖的行为正则化。与先前方法中使用的状态无关正则化不同,这种\textit{soft}正则化允许在高置信度状态下更自由地进行策略偏离,从而导致更好的性能和稳定性。因此,我们将我们得到的算法软行为正则化演员评论(SBAC)。我们的实验结果表明,SBAC匹配或优于国家的最先进的一组连续控制运动和操纵任务。
2021-10-14 cs.LG
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Mila(蒙特利尔大学Mila)
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题,提出用梯度正则化使训练偏向奖励更准确区域,理论推导并实证验证,还改进方法,结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
Imminent Collision Mitigation with Reinforcement Learning and Vision
Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学)
这项工作研究了强化学习在减少道路碰撞的严重程度,通过控制速度和转向的情况下,接触是迫在眉睫的作用。我们构建了一个模型,给定摄像机图像作为输入,能够学习和预测障碍物,汽车和行人的动态,并使用此模型训练我们的政策。控制制动和转向的两种策略与基线进行比较,其中所采取的唯一行动是(传统的)直线制动。这两种策略使用两种不同的奖励结构进行训练,一种是任何和所有碰撞都会产生固定的惩罚,第二种是根据已经建立的伤害严重程度的delta-v模型计算惩罚。结果表明,这两种策略都超过了基线的性能,使用损伤模型训练的策略具有最高的性能。
2019-01-03 cs.AI cs.CV cs.LG
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子科技)
安全策略改进(SPI)旨在可证明的保证,学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping(Soft-SPIBB),我们在他们的方法中发现了理论问题,提供了一个正确的理论,并推导出一个新的算法,该算法在有限马尔可夫决策过程(MDP)上可证明是安全的。此外,我们提供了一个启发式算法,表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外,我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性:而平均性能的算法,将不确定性作为一个惩罚的动作值是较高的,积极限制的政策集更一致地产生良好的政策,因此,更安全。
2022-01-28 cs.AI cs.LG
Decoupled Exploration and Exploitation Policies for Sample-Efficient Reinforcement Learning
New York University(纽约大学);DeepMind(深度思维)
尽管探索和样本效率之间存在密切联系,但大多数最先进的强化学习算法除了最大化策略熵之外不包括探索考虑因素。在这项工作中,我们解决这个似乎错过的机会。我们观察到,深度RL中最常见的定向探索公式,即基于奖励的探索(BBE),在少样本制度中存在偏差和覆盖缓慢。这导致BBE在许多控制任务中对策略学习是积极有害的。我们表明,通过解耦的任务政策的探索政策,定向探索可以是非常有效的样本有效的连续控制。我们的方法,解耦的探索和开发策略(DEEP),可以与任何非策略RL算法相结合,无需修改。当与软行动者-批评者结合使用时,DEEP在密集奖励环境中不会导致性能损失。在稀疏环境中,由于更好的探索,DEEP在数据效率方面提供了几倍的提高。
2021-07-01 cs.LG
CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University(复旦大学智能医学信息研究所)
针对离线强化学习中数据腐败导致策略过度保守的问题,提出抗腐败优势加权回归(CAWR),通过鲁棒损失函数和优势优先经验回放过滤不良探索,在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
University of Oxford(牛津大学)
本文提出Soft Q(λ),一种基于效用追踪的离策略方法,通过引入新的Soft Tree Backup操作符,扩展了软Q学习的多步框架,实现了高效的信用分配。
2026-07-20 cs.AI cs.LG
ZAPS-DA: Zero-Phase Action Policy Smoothing with Decoupled Actor for Continuous Control in Reinforcement Learning
Independent Researcher(独立研究者)
提出ZAPS-DA框架,通过解耦演员网络模仿零相位滤波目标,在不引入相位延迟和后处理的情况下减少连续控制策略的动作抖动,并在驾驶仿真中验证了其有效性。
2026-07-10 cs.LG cs.RO cs.SY
ANO: Robust Policy Optimization via Bounded, Redescending Gain Fields
University of Macau(澳门大学);Wuhan University(武汉大学);National University of Singapore(新加坡国立大学);University of Hong Kong(香港大学)
针对PPO硬裁剪与SPO无界惩罚的稳定性-效率困境,提出ANO方法,直接设计有界再下降增益场,在Atari和MuJoCo上排名第一,且对学习率变化高度稳健。
2026-09-24 cs.AI cs.LG
DROMO: Distributionally Robust Offline Model-based Policy Optimization
Affiliated High School of South China Normal University(华南师范大学附属中学)
研究了基于模型控制的离线强化学习问题,其目标是从经验回放中学习一个动力学模型,并在学习的模型下获得一个面向悲观的智能体.当前基于模型的约束包括显式不确定性惩罚和隐式保守正则化,其将分布外状态-动作对的Q值向下推,而分布内状态-动作对的Q值向上推。虽然前者所依赖的不确定性估计可以对复杂动态进行松散校准,但后者的性能略好。为了扩展正则化的基本思想而不进行不确定性量化,我们提出了分布式鲁棒离线基于模型的策略优化(DROMO),它利用分布式鲁棒优化中的思想来惩罚超出标准经验分布外Q值最小化的更广泛的分布外状态-动作对。我们从理论上表明,我们的方法优化了地面实况政策评估的下限,它可以被纳入任何现有的策略梯度算法。我们还分析了DROMO的线性和非线性实例化的理论性质。
2021-09-15 cs.AI cs.LG
Fast Best-in-Class Regret for Contextual Bandits
本文研究了在无偏设定下随机上下文老虎机问题,提出首个快速遗憾率算法,通过悲观目标和熵假设实现快速最佳类遗憾率。
2026-08-20 cs.LG stat.ML
Semantic-aware Wasserstein Policy Regularization for Large Language Model Alignment
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
本文提出Wasserstein策略正则化方法,通过语义感知的Wasserstein距离改进大语言模型对齐效果,实验表明其优于传统KL散度方法。
2026-02-02 cs.AI cs.LG
Thinking Beyond Visibility: A Near-Optimal Policy Framework for Locally Interdependent Multi-Agent MDPs
Department of Electrical and Computer Engineering, Carnegie Mellon University(电气与计算机工程系,卡内基梅隆大学)
本文针对局部相互依赖多智能体MDP提出扩展截断策略类,通过记忆超出可见范围的智能体,解决小可见性下的惩罚抖动问题,实现指数级接近最优并保证部分可观测下的联合最优行为。
2025-06-04 cs.AI cs.LG cs.MA
Rethinking Ratio-Based Trust Regions for Policy Optimization in Multi-Agent Reinforcement Learning
Northeastern University(东北大学);STR;University of California, Irvine(加州大学尔湾分校)
本文提出MARS方法,通过乘法对称几何屏障替代传统比率信任区域机制,提升多智能体策略优化性能。
2026-05-09 cs.LG
f-Divergence constrained policy improvement
为了保证学习的稳定性,最先进的广义策略迭代算法增加了策略改进步骤与约束的信息损失的信任域约束。信赖域的大小通常由Kullback-Leibler(KL)散度决定,它不仅很好地捕捉了距离的概念,而且还产生了封闭形式的解。在本文中,我们考虑了一类更一般的f-分歧,并推导出相应的政策更新规则。通有解通过凸共轭函数对f的导数表示,并包括KL解作为特例。在f-分歧类中,我们进一步关注一个单参数的$α$ -分歧族,研究分歧的选择对政策改进的影响。对于不同的$α$值,出现了以前已知的以及新的策略更新。我们发现,每一种类型的政策更新都有一个兼容的政策评估所选择的f-发散。有趣的是,均方贝尔曼误差最小化是密切相关的政策评估与皮尔逊$χ^2$发散惩罚,而KL发散的结果在软最大的政策更新和对数和指数的批评。我们进行渐近分析的解决方案,为不同的值的$α$和演示使用不同的发散函数的影响,对多臂强盗问题和常见的标准强化学习问题。
2018-04-04 cs.AI cs.LG stat.ML
Interpreting Primal-Dual Algorithms for Constrained Multiagent Reinforcement Learning
University of Washington(华盛顿大学);National Renewable Energy Laboratory(国家可再生能源实验室)
本文分析 C-MARL 中原始-对偶惩罚项的结构,改进惩罚以支持机会约束与 CVaR 约束,并提出 C-MAA2C,提升安全联合策略的价值估计与收敛速度。
2023-04-26 cs.LG cs.MA cs.SY
BPPO: Binary Prefix Policy Optimization for Efficient GRPO-Style Reasoning RL with Concise Responses
TeleAI;Shanghai Jiao Tong University(上海交通大学)
针对GRPO更新成本高且易产生冗长推理的问题,提出BPPO方法,通过仅使用最短正确和错误完成作为更新单元并聚焦前缀优化,实现6倍加速并缩短30-50%响应长度。
2026-05-27 cs.LG
$β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation
University of Maryland(马里兰大学)
β-OPSD是将普通OPSD扩展为含可控正则化参数β的策略优化通用形式,通过蒸馏近似策略优化解,在数学推理基准上性能与稳定性均优于普通OPSD。
2026-07-31 cs.LG
ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Dartmouth College(达特茅斯学院)
研究大语言模型强化学习训练不稳定问题,提出ARMOR框架,通过锚展开利用离策略数据保留解决方案模式,混合优化重新制定策略目标实现可控探索,经实验验证可有效减轻验证崩溃,提升性能。
2026-07-22 cs.AI cs.CL cs.LG
Overcoming Valid Action Suppression in Unmasked Policy Gradient Algorithms
该研究揭示了未遮蔽策略梯度算法中有效动作抑制的机制,并通过实验验证了可行性分类在无需oracle遮蔽的部署中的有效性。
2026-03-10 cs.LG
Nonconvex Regularization for Feature Selection in Reinforcement Learning
Institute of Science Tokyo, Japan Department of Information
本文针对强化学习特征选择提出基于非凸PMC惩罚的批量算法,并给出FRBS算法的新收敛条件,在噪声特征多的场景下显著优于现有方法。
2025-09-19 cs.LG
Constrained Policy Optimization for Controlled Self-Learning in Conversational AI Systems
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本研究提出一种基于用户定义约束和元梯度学习的可扩展框架,用于对话式AI的自学习,在策略价值与约束满足间取得最佳平衡。
2022-09-17 cs.AI cs.CL cs.LG
Conservative State Value Estimation for Offline Reinforcement Learning
McGill University(麦吉尔大学);University of Sci. and Tech. of China(中国科学技术大学);Microsoft(微软);Microsoft 365(微软365)
本文提出保守状态价值估计(CSVE)方法,通过直接惩罚分布外状态学习保守 V 函数,并基于此开发演员-评论家算法,在 D4RL 连续控制任务上优于保守 Q 学习方法,达到 SOTA 竞争力。
2023-12-02 cs.AI cs.LG
Unlocking Reasoning Capabilities in LLMs via Reinforcement Learning Exploration
Westlake University(西湖大学)
针对RLVR训练模型随采样预算增加优势减弱的问题,提出RAPO算法,通过前向KL惩罚和参考策略重加权促进更广泛且聚焦的探索,使模型超越基座性能上限并解决更多难题。
2025-10-31 cs.AI cs.CL cs.LG
A Unified and Constrained View of Regularization-Based Robust Reinforcement Learning
Mohammed VI Polytechnic University(穆罕默德六世理工大学);Khalifa University(哈利法大学);Concordia University(康考迪亚大学)
本文统一了基于正则化的鲁棒强化学习方法,推导出性能差距上界,并将鲁棒训练转化为约束优化问题,通过联合更新拉格朗日乘子自动调整正则化权重,在连续控制任务上验证了理论分析。
2026-10-15 cs.LG
Is Pessimism Provably Efficient for Offline RL?
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Northwestern University(西北大学);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
我们研究了离线强化学习(RL),其目的是基于先验收集的数据集学习最优策略。由于缺乏与环境的进一步交互,离线RL遭受数据集覆盖不足的问题,这回避了大多数现有的理论分析。在本文中,我们提出了一个悲观的值迭代算法(PEI),它采用了一个不确定性量化作为惩罚函数的变种。这样的惩罚函数简单地翻转了奖励函数的符号,以促进在线RL中的探索,这使得它易于实现,并与一般函数逼近器兼容。在不假设数据集的充分覆盖的情况下,我们建立了一般马尔可夫决策过程(MDP)的PEVI次优性的数据依赖上界。当专门用于线性MDP时,它将信息理论下限与维度和水平的乘法因子相匹配。换句话说,悲观主义不仅可以证明是有效的,而且是最小最大最优的。特别是,给定数据集,学习的策略是所有策略中的“最佳努力”,因为没有其他策略可以做得更好。我们的理论分析确定了悲观主义在消除虚假相关性概念方面的关键作用,虚假相关性是从数据集覆盖较少的“不相关”轨迹中出现的,并且对于最优策略没有信息。
2022-05-04 cs.AI cs.LG math.OC
Incentivizing Safer Actions in Policy Optimization for Constrained Reinforcement Learning
Indian Institute of Technology Kharagpur(印度理工学院克拉格浦尔分校);Synopsys(Synopsys公司)
针对约束强化学习中策略优化在约束边界附近不稳定的问题,提出带自适应激励和增量惩罚的IP3O算法,在基准上优于现有安全RL算法,并提供最坏情况误差的理论保证。
2025-09-11 cs.AI cs.LG
Safe Deep Reinforcement Learning by Verifying Task-Level Properties
Northeastern University(东北大学);University of Verona(维罗纳大学)
安全深度强化学习(DRL)中通常采用成本函数。然而,由于难以量化状态空间中的策略决策的风险,成本通常被编码为指示函数。这样的编码要求代理访问许多不安全的状态,以学习成本-价值函数来驱动学习过程朝向安全。因此,增加了不安全的相互作用的数量并降低了样本效率。在本文中,我们研究了另一种方法,使用领域知识来量化的风险,在附近的这种状态,通过定义一个违规度量。此度量通过验证任务级属性(形状为输入输出条件)来计算,并用作惩罚,以使策略偏离不安全状态,而无需学习其他价值函数。我们调查的好处,使用违规指标在标准的安全DRL基准和机器人无地图导航任务。导航实验弥合了安全日间行车灯和机器人之间的差距,引入了一个框架,允许在真正的机器人上进行快速测试。我们的实验表明,使用违规惩罚训练的策略在安全DRL基线上实现了更高的性能,并显着减少了访问的不安全状态的数量。
2023-02-20 cs.AI cs.LG
FAPO: Flawed-Aware Policy Optimization for Efficient and Reliable Reasoning
Soochow University(苏州大学);ByteDance Seed(字节跳动种子)
FAPO通过引入缺陷感知机制,优化策略以提升大语言模型在高效可靠推理中的性能,提高结果正确性与训练稳定性。
2026-02-27 cs.LG