Improving Stochastic Action-Constrained Reinforcement Learning via Truncated Distributions
本文提出通过截断分布改进动作约束强化学习,解决策略更新和计算效率问题,并在基准环境中验证了性能提升。
2025-11-27 cs.LG cs.SY eess.SY
Partial advantage estimator for proximal policy optimization
JumpW AI Group(JumpW人工智能集团);Queen Mary University of London(伦敦玛丽女王大学)
在策略梯度方法中,价值的估计是一个基本问题。广义优势估计(GAE)是一个类似于$λ$ -return的优势函数的指数加权估计。它大大减少了策略梯度估计的方差,但代价是偏差。在实际应用中,由于轨迹的不完整性,使用截断的GAE,这导致在估计过程中有很大的偏差。为了解决这一挑战,而不是使用整个截断的GAE,我们建议在计算更新时采取一部分,这大大减少了不完整的轨迹造成的偏差。我们在MuJoCo和$μ$ RTS中进行实验,以研究不同的偏系数和采样长度的影响。我们表明,我们的部分GAE方法在这两种环境中产生更好的实证结果。
2023-01-26 cs.AI cs.LG
ReinFlow: Fine-tuning Flow Matching Policy with Online Reinforcement Learning
ReinFlow通过在线强化学习微调流匹配策略,提升连续机器人控制性能,实现高效去噪与训练稳定性。
2026-01-08 cs.LG cs.RO
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低,并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法(PTR-PPO),该算法结合了on-policy和off-policy方法,通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点:前两个是最大和平均轨迹优先级的一步经验广义优势估计(GAE)值的基础上,最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后,将优先轨迹重放引入到PPO算法中,提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题,并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能,实现了最先进的性能。此外,通过分析训练过程中优先级内存中各个位置的优先级变化热图,我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响,从而影响算法的性能。
2021-12-08 cs.LG
CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee
The Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
在安全强化学习(SRL)问题中,智能体探索环境以最大化期望的总回报,同时避免违反对若干期望总成本的某些约束。一般来说,这样的SRL问题有非凸目标函数受到多个非凸约束,因此是非常具有挑战性的解决,特别是提供一个全局最优的政策。许多流行的SRL算法采用原始-对偶结构,利用对偶变量的更新来满足约束。相比之下,我们提出了一个原始的方法,称为约束校正策略优化(CRPO),更新的政策之间的目标改进和约束满足交替。CRPO提供了一个原始类型的算法框架来解决SRL问题,其中每个策略更新可以采取任何策略优化步骤的变体。为了证明CRPO的理论性能,我们采用自然策略梯度(NPG)的每个政策更新步骤,并表明CRPO实现了$\mathcal{O}(1/\sqrt{T})$收敛速度的全局最优政策的约束政策集和约束满足的$\mathcal{O}(1/\sqrt{T})$误差界。这是第一次有限时间分析的原始SRL算法的全局最优性保证。我们的实证结果表明,CRPO可以优于现有的原始-对偶基线算法显着。
2021-05-31 cs.LG stat.ML
Adapting to Changes in Agent Behavior via Finite-Depth Policy Sensitivity
George Mason University(乔治梅森大学)
本文提出有限深度策略敏感性框架,通过近似策略Hessian和混合导数估计智能体行为变化的影响,在追逃博弈中实现更优的估计精度与策略适应,并提升零样本回报和微调效果。
2026-10-07 cs.LG
Nearly Minimax Optimal Reward-free Reinforcement Learning
Tsinghua University(清华大学);University of Washington(华盛顿大学)
我们研究了无奖励的强化学习框架,该框架特别适用于批量强化学习和需要多个奖励函数的策略的场景。该框架分为两个阶段。在探索阶段,智能体通过与环境交互来收集轨迹,而不使用任何奖励信号。在规划阶段,代理需要返回一个接近最优的策略,任意的奖励函数。本文提出了一种新的高效算法\textbf{S} taged \textbf{S} random + \textbf{T} runcated \textbf{P} lanning(\algoname),该算法在探索阶段与环境交互的次数最多为$O\left( \frac{S^2A}{ε^2}\text{poly}\log\left(\frac{SAH}ε\right) \right)$次,并保证在规划阶段对任意奖励函数输出一个接近最优的策略.这里,$S$是状态空间的大小,$A$是动作空间的大小,$H$是规划范围,$ε$是相对于总回报的目标准确度。值得注意的是,我们的样本复杂度尺度只有\emph{logarithmically}与$H$,与所有现有的结果,规模\emph{polynomially}与$H$。此外,该界限与极大极小下限$Ω\left(\frac{S^2A}{ε^2}\right)$匹配到对数因子。我们的结果依赖于三个新的技术:1)一个新的充分条件的数据集规划的$ε$ -次优策略; 2)一种新的方法来有效地规划在所提出的条件下使用软截断规划;…
2020-10-23 cs.LG
Incremental Truncated LSTD
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Indiana University(印第安纳大学)
计算效率和样本效率之间的平衡是强化学习的重要目标。时间差(TD)学习算法随机更新价值函数,在特征数量上具有线性时间复杂度,而最小二乘时间差(LSTD)算法是样本有效的,但在特征数量上可以是二次的。在这项工作中,我们开发了一个有效的增量低秩LSTD(λ)算法,朝着更好地平衡计算和样本效率的目标前进。该算法将计算和存储复杂度降低为特征数乘以所选秩参数,同时有效地对过去的样本进行汇总,几乎获得LSTD的样本复杂度。我们推导出截断低秩近似给出的解决方案的模拟界,说明了依赖于秩的选择的偏差方差权衡。我们证明,该算法有效地平衡了计算复杂性和样本效率的基准任务和高维能量分配域的政策评估。
2016-11-18 cs.AI cs.LG
Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions
Khoury College of Computer Sciences(库里计算机科学学院);Northeastern University(东北大学)
来自多步返回的离策略学习对于样本有效的强化学习至关重要,特别是在现在常用于深度神经网络的经验重放设置中。传统上,政策外估计偏差是以每决策的方式校正的:过去的时间差误差在每次行动后由瞬时重要性采样(IS)比率(通过资格跟踪)重新加权。许多重要的非策略算法,如树备份和回溯依赖于这种机制以及不同的协议,用于截断(“切割”)比率(“痕迹”),以抵消IS估计器的过度变化。不幸的是,在每个决策的基础上切割轨迹不一定是有效的;一旦轨迹根据本地信息被切割,这种效果以后就不能逆转,可能导致估计收益的过早截断和较慢的学习。为了激励高效的离线策略算法,我们提出了一个多步算子,允许任意的过去依赖的痕迹。我们证明了我们的运营商是收敛的政策评估,和最优控制时,目标贪婪的限制政策。我们的定理建立了许多现有的算法,包括截断IS,非马尔可夫回溯,历史依赖TD($λ$)的第一个收敛保证。我们的理论研究结果也提供了指导的新算法,共同考虑多个过去的决策,更好的信用分配和更快的学习的发展。
2021-12-23 cs.LG
EasyPPO: Stabilizing the Critic Is Key
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
EasyPPO通过仅过滤演员的过长轨迹、噪声归一化评论家回归和更小的评论家小批量,稳定了PPO中的评论家,在多个任务上显著优于基线。
2026-09-30 cs.LG
Scalable Multi-Agent Reinforcement Learning with General Utilities
University of California at Berkeley(加州大学伯克利分校);J.P. Morgan AI Research(摩根大通人工智能研究院)
针对通用效用下多智能体强化学习的完全可观测性限制问题,提出带影子奖励的分布式策略梯度算法,利用空间相关性衰减实现局部策略优化,首次在无完全观测条件下达成ε平稳收敛。
2023-08-27 cs.AI cs.LG cs.MA
Conformal Prediction Beyond the Horizon: Distribution-Free Inference for Policy Evaluation
KLATASDS - MOE School of Statistics East China Normal University(KLATASDS - 教育部统计学系华东师范大学)
可靠的不确定性量化对于高风险环境中的强化学习(RL)至关重要。我们提出了一个统一的共形预测框架的无限地平线的政策评估,构建分布免费的预测区间{回报}在政策和政策设置。我们的方法集成了分布式RL与共形校准,解决了未观察到的回报,时间依赖性和分布变化等挑战。我们提出了一个模块化的伪返回构造截断推出和时间感知的校准策略,使用经验重放和加权子采样的基础上。这些创新减轻了模型偏差,恢复了近似的互换性,即使在政策变化的情况下也能量化不确定性。我们的理论分析提供了覆盖保证,占模型误指定和重要性权重估计。实证结果,包括在合成和基准环境中的实验,如山地车,表明我们的方法显着提高了覆盖率和可靠性超过标准的分布式RL基线。
2025-10-29 cs.LG stat.ML
Sample Efficient Actor-Critic with Experience Replay
DeepMind;CIFAR(加拿大高级研究院);Oxford University(牛津大学)
本文提出了一种具有经验重放的行动者-评论者深度强化学习代理,该代理稳定,样本效率高,并且在具有挑战性的环境中表现出色,包括离散57游戏Atari域和几个连续控制问题。为了实现这一点,本文介绍了几个创新,包括截断重要性采样与偏差校正,随机决斗网络架构,和一个新的信任域策略优化方法。
2017-07-10 cs.LG
On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method
Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学);University of Alberta(阿尔伯塔大学);Deepmind(深度思维)
策略梯度(PG)产生了丰富的一类强化学习(RL)方法。最近,已经出现了通过\emph{variance reduction}技术来加速现有PG方法(诸如REINFORCE)的趋势。然而,所有现有的方差减少PG方法严重依赖于一个不可检查的重要性权重假设的算法的每一个单一的迭代。本文提出了一种简单的梯度截断机制来解决这个问题。此外,我们设计了一个截断随机增量方差减少的策略梯度(TSIVR-PG)方法,它不仅能够最大化的累积奖励和,但也是一个一般的效用函数的政策的长期访问分布。我们展示了一个$\tilde{\mathcal{O}}(ε^{-3})$样本的复杂性TSIVR-PG找到一个$ε$平稳的政策。通过假设策略的过参数化和利用问题的隐凸性,我们进一步证明了TSIVR-PG在$\tilde{\mathcal{O}}(ε^{-2})$样本下收敛于全局$ε$ -最优策略.
2021-05-27 cs.LG stat.ML
Time-Efficient Reinforcement Learning with Stochastic Stateful Policies
Intelligent Autonomous Systems(智能自主系统实验室);Locomotion Laboratory(运动实验室);German Research Center for AI (DFKI)(德国人工智能研究中心(DFKI));Centre for Cognitive Science(认知科学中心);TU Darmstadt(达姆施塔特工业大学)
针对传统BPTT训练有状态策略存在训练慢、梯度消失/爆炸及截断梯度导致更新有偏的问题,提出将有状态策略分解为随机内部状态核与无状态策略并联合优化的方法,推导相关梯度定理,在连续控制任务上验证其高效可扩展,可作为BPTT的更优替代。
2023-11-07 cs.LG
Composite Q-learning: Multi-scale Q-function Decomposition and Separable Optimization
University of Freiburg(弗莱堡大学)
在过去的几年中,非策略强化学习方法在机器人控制中的应用显示出了良好的效果。然而,深度Q学习仍然存在数据效率低下的问题,并且容易受到环境或奖励函数的随机性的影响,这在现实世界的应用中是有限的。我们通过提出两种新的非策略时间差公式来缓解这些问题:(1)截断Q函数,其表示目标策略推出的前n个步骤的返回。完整的动作值和(2)移位的Q函数,在该截断的展开之后充当远见的返回。这种分解使我们能够优化这两个部分各自的学习率,实现显着的学习加速。我们证明了这些短期和长期预测的组合是完全回报的表示,从而导致复合Q-学习算法。我们在表格中展示了复合Q学习的有效性,并将深度复合Q学习与TD 3和TD 3(Delta)进行了比较,TD 3(Delta)是TD(Delta)的非策略变体。此外,我们表明,复合TD 3在多个模拟机器人任务的数据效率方面明显优于TD 3以及最先进的组合Q学习方法,复合Q学习对随机环境和奖励函数具有鲁棒性。
2020-08-14 cs.AI cs.LG stat.ML
Off-Policy Self-Critical Training for Transformer in Visual Paragraph Generation
最近,已经提出了几种方法来解决语言生成问题。Transformer是目前语言生成中最先进的seq-to-seq模型。强化学习(Reinforcement Learning,RL)在解决seq-to-seq语言学习中的暴露偏差和优化不可微度量方面非常有用。然而,Transformer很难与RL结合,因为采样需要昂贵的计算资源。我们解决这个问题,提出了一个政策外的RL学习算法的行为策略表示的GRUs执行采样。针对重要性采样(IS)的高方差问题,采用截断相对重要性采样(TRIS)技术和Kullback-Leibler(KL)-控制概念. TRIS是一种简单而有效的技术,并且有理论证明KL控制有助于减少IS的方差。我们制定了这种基于自临界序列训练的非策略强化学习。具体来说,我们使用基于transformer的字幕模型作为目标策略,并使用图像引导的语言自动编码器作为行为策略来探索环境。该算法实现了最先进的性能上的视觉段落生成和改进的结果上的图像描述。
2020-06-21 cs.CV cs.LG
Bridging the Gap between Newton-Raphson Method and Regularized Policy Iteration
Laboratory for Information and Decision Systems, Massachusetts Institute of Technology(信息与决策系统实验室,麻省理工学院);Department of Mechanical Engineering, Tsinghua University(机械工程系,清华大学);College of Artificial Intelligence and the School of Vehicle and Mobility, Tsinghua University(人工智能学院和车辆与移动系统学院,清华大学)
研究正则化策略迭代(RPI)的理论基础,证明其与牛顿-拉夫逊方法等价,实现统一收敛分析,得出RPI局部二次收敛性等结论,还研究了不精确策略评估下的RPI并提出新算法,推进了强化学习正则化理论理解与算法设计。
2026-07-17 cs.LG
Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations
New York University(纽约大学);Duke University(杜克大学);University of Toronto(多伦多大学);Brown University(布朗大学)
提出Rectified Distribution Matching Regularization (RDMReg)损失,通过将表示对齐到Rectified Generalized Gaussian分布,实现稀疏且最大熵的表示,从而改进联合嵌入预测架构(JEPA)的性能。
2026-05-28 cs.CV cs.LG
Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning
本文提出了一种通过行为策略收集数据以降低回报估计方差的方法,提升离线强化学习的样本效率和性能。
2026-01-03 cs.AI cs.LG
Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach
Politecnico di Milano(米兰理工大学)
针对蒙特卡洛策略评估中固定长度轨迹数据收集的次优性问题,提出自适应算法RIDO,通过将交互预算划分为小批量并最小化估计器误差替代指标,动态调整轨迹调度,显著提升了最终估计质量。
2024-10-17 cs.LG
Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
针对离线策略分层强化学习中子目标重标记导致的价值更新偏差问题,提出HTB方法,通过时间感知引导、多步回报及非负残差约束,在AntFall任务上显著优于HIRO。
2026-10-06 cs.AI cs.LG
GIPO: Gaussian Importance Sampling Policy Optimization
University of Science and Technology of China(中国科学技术大学)
该研究提出了一种基于截断重要性采样的策略优化目标GIPO,通过使用基于对数比率的高斯信任权重替代硬裁剪,以软化极端重要性比率同时保持非零梯度,从而提高数据效率,实验表明GIPO在多种回放缓冲区大小下均取得最佳性能,表现出优越的偏差-方差权衡、高训练稳定性及改进的样本效率。
2026-07-07 cs.AI cs.LG
AdvantageFlow: Regularized Advantage-Weighted RL in Flow Models
Adobe Research(Adobe研究)
提出AdvantageFlow算法,通过优势加权前向过程预测损失和 rollout 策略正则化,在图像生成任务中优于Flow-GRPO和负感知微调基线。
2026-09-30 cs.AI cs.CV cs.LG
Policy-Guided Diffusion
University of Oxford(牛津大学)
本文提出策略引导扩散,用扩散模型生成行为分布下的完整轨迹并由目标策略引导,以更低动力学误差产生高目标概率的合成经验,显著提升多种离线强化学习算法性能。
2024-04-09 cs.AI cs.LG cs.RO
Autonomous Reinforcement Learning Robot Control with Intel's Loihi 2 Neuromorphic Hardware
U.S. Naval Research Laboratory Naval(美国海军研究实验室);Intel Labs(英特尔实验室)
本文提出将强化学习策略转换为神经形态硬件的端到端流程,用于实现低功耗的机器人控制。
2025-12-03 cs.AI cs.LG cs.RO
Predictive Divergence Masks for LLM RL
Tencent Hunyuan(腾讯混元);UIUC(伊利诺伊大学厄巴纳 - 香槟分校);NUS(新加坡国立大学)
研究大语言模型强化学习中PPO方向标准不足,提出预测性散度掩码,通过判断策略梯度步骤对散度的影响改进训练,针对离散softmax策略推导预测并开发轻量级估计器,提升不同模型规模和精度设置下的强化学习训练效果。
2026-07-14 cs.LG
Notes on Uniform Policy Score Bounds and Lipschitz Continuity for Truncated Gaussian, Product Cauchy, Boltzmann, and Softmax Policies
Xi’an Jiaotong University(西安交通大学)
该研究针对截断高斯、乘积柯西、玻尔兹曼及Softmax策略,在明确参数化下建立了均匀策略得分界与利普希茨连续性。
2026-10-14 cs.LG math.PR stat.ML
Beyond Timestamps: Decision-Aligned On-Policy Distillation for Long-Horizon Agents
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心);Tsinghua University(清华大学);Beihang University(北京航空航天大学)
针对长时程智能体强化学习中特权监督与决策时间戳错位的问题,提出AlignOPSD方法,通过决策对齐监督修正和半马尔可夫层次信用分配,在多个基准上显著优于现有方法。
2026-09-29 cs.AI cs.LG
Policy Mirror Descent Inherently Explores Action Space
Georgia Institute of Technology(佐治亚理工学院)
在线策略梯度方法在有限状态和动作空间上解决一般的强化学习问题时,假设在动作空间中进行显式探索是必不可少的,以避免样本复杂性的急剧下降。在本文中,我们首次建立了一个$\tilde{\mathcal{O}}(1/ε^2)$样本复杂性的在线策略梯度方法,而不纳入任何探索策略。基本的发展包括两个新的政策评估运营商和一个新的分析随机政策镜像下降法(SPMD)。带有第一个评估算子的SPMD,称为基于值的估计,适合Kullback-Leibler发散。假设生成策略的状态空间上的马尔可夫链与非递减的最小访问测度一致混合,得到了一个与动作空间大小线性相关的$\tilde{\mathcal{O}}(1/ε^2)$样本复杂度.具有第二评估算子的SPMD,即截断策略蒙特卡罗(TOMC),获得$\tilde{\mathcal{O}}(\mathcal{H}_{\mathcal{D}}/ε^2)$样本复杂度,其中$\mathcal{H}_{\mathcal{D}}$温和地取决于有效范围和具有适当选择的Bregman发散的动作空间的大小(例如,Tsallis分歧)。带有TOMC的SPMD也表现出更强的收敛特性,因为它以高概率而不是期望控制最优性间隙。与显式探索相比,这些新的策略梯度方法可以防止在搜索最优策略时重复执行潜在的高风险操作。
2023-03-21 cs.AI cs.LG math.OC
Gated Q-learning: Add Off-Policy Bias to Taste
该研究针对Q学习中离策略偏差与多步信用分配的张力,提出门控Q学习框架,通过状态-动作依赖的门控机制替代重要性采样,实现平滑插值,提升初始学习速度并支持定制化视界与偏差量。
2026-10-14 cs.AI cs.LG
Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration
Faculty of Mechanical Engineering(机械工程学院);Delft University of Technology(代尔夫特理工大学);Faculty of Electrical Engineering, Mathematics and Computer Science(电气工程、数学和计算机科学学院)
本文提出COX-Q算法,通过约束乐观探索和保守离线分布价值学习,解决非策略安全强化学习中的约束违反问题,实现在安全关键应用中的高效样本利用和可控数据收集成本。
2026-03-25 cs.LG cs.RO
Off-Policy Evaluation in Markov Decision Processes under Weak Distributional Overlap
针对MDP离策略评估中强分布重叠过强的问题,提出截断双重稳健TDR估计量,在弱重叠下保证一致性并给出极小极大收敛速度。
2025-09-28 cs.LG stat.ML
SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning
ETH AI Center, ETH Zürich(苏黎世联邦理工学院人工智能中心);EPFL(瑞士联邦理工学院);Allen Institute for AI(人工智能研究所)
本文指出,混合策略方法的性能提升源于两个错误:DeepSpeed优化器在梯度累积中丢失中间微批次,以及OpenRLHF损失聚合错误加权。修正后,标准SFT-然后-RL流程在数学基准上超越了所有混合策略方法。
2026-04-26 cs.AI cs.CL cs.LG
ESPO: Early-Stopping Proximal Policy Optimization
Tongyi Lab(通义实验室);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
提出ESPO算法,通过在强化学习训练大语言模型时在线检测轨迹失败并提前终止,节省计算资源并提升数学推理性能。
2026-05-28 cs.AI cs.LG
Limiting-Kernel Q($λ$): Bridging Short and Long Horizons
Delft University of Technology(代尔夫特理工大学);Alpha Brain Technologies;University of Toronto(多伦多大学)
本文提出极限核 Q($λ$)(LKQL)离策略价值估计器,结合 $n$ 步截断与极限核长视界近似,在保持计算复杂度的同时加速策略评估,并在 MuJoCo 基准上验证其优于 $n$ 步基线,尤其擅长长视界任务。
2026-10-14 cs.LG math.OC
Target Networks and Over-parameterization Stabilize Off-policy Bootstrapping with Function Approximation
Department of Computing Science, University of Alberta(谷歌DeepMind);School of Data Science, The Chinese University of Hong Kong, Shenzhen;School of Computational Science;Google DeepMind;CIFAR AI Chair, Amii;The work was done while the author was at Google.
本文证明目标网络与过参数化线性函数逼近相结合,可为离策略自举价值估计建立更弱收敛条件,并扩展至截断轨迹与 Q-learning 控制。
2025-10-19 cs.AI cs.LG
SeFA-Policy: Fast and Accurate Visuomotor Policy Learning with Selective Flow Alignment
University of Southern California(南加州大学)
针对机器人模仿学习中视觉运动策略学习难题,提出SeFA框架,用选择性流对齐策略,借助专家示范纠正动作,统一整流流效率与观测一致动作生成,实验显示其超越现有策略,准确性、鲁棒性高且推理延迟大幅降低。
2026-07-10 cs.LG cs.RO
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
Sea AI Lab(Sea AI实验室);National University of Singapore(新加坡国立大学)
本文提出AnytimeReasoner框架,通过截断思考过程并引入密集可验证奖励,结合预算相对策略优化(BRPO)技术,在可变token预算下提升大语言模型推理的训练与token效率,并在数学推理任务中优于GRPO。
2026-11-02 cs.AI cs.CL cs.LG
Accelerated Policy Learning with Parallel Differentiable Simulation
NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);University of Sydney(悉尼大学);University of Toronto(多伦多大学)
深度强化学习可以生成复杂的控制策略,但需要大量的训练数据才能有效工作。最近的工作试图解决这个问题,利用微分模拟器。然而,固有的问题,如局部最小值和爆炸/消失的数值梯度,防止这些方法被普遍应用于控制任务与复杂的接触丰富的动态,如人形运动在经典的RL基准。在这项工作中,我们提出了一个高性能的微分模拟器和一个新的策略学习算法(SHAC),可以有效地利用模拟梯度,即使在存在非平滑。我们的学习算法通过平滑的评价函数来解决局部极小值问题,通过截断的学习窗口来避免梯度消失/爆炸,并允许许多物理环境并行运行。我们评估我们的方法对经典的RL控制任务,并表现出显着的改善,在样本效率和挂钟时间超过国家的最先进的RL和可微的基于模拟的算法。此外,我们通过将其应用于具有较大动作空间的肌肉驱动运动的具有挑战性的高维问题,证明了我们方法的可扩展性,与性能最佳的已建立RL算法相比,训练时间减少了17倍以上。
2022-04-14 cs.AI cs.GR cs.LG
An Approximate Ascent Approach To Prove Convergence of PPO
Institute of Mathematics, University of Mannheim(数学研究所,曼海姆大学);Department of Mathematics & Informatics(数学与信息学系)
本文通过近似上升法证明PPO的收敛性,并指出截断广义优势估计中存在未被注意到的问题,通过权重修正提升性能。
2026-02-03 cs.AI cs.LG math.OC
Rethinking Training-Inference Mismatch in LLM Reinforcement Learning: Where It Arises and How to Correct It
针对大语言模型强化学习中训练与推理引擎概率不一致的问题,提出校准重要性采样(CIS),通过置信度感知截断修正策略更新,在三个混合专家模型和五个数学基准上取得最佳平均性能。
2026-09-29 cs.AI cs.LG
Pipeline PSRO: A Scalable Approach for Finding Approximate Nash Equilibria in Large Games
University of California, Irvine(加利福尼亚大学欧文分校)
当信息状态数很大时,在零和信息博弈中寻找近似纳什均衡是一个挑战。策略空间响应预言机(PSRO)是一种基于博弈论的深度强化学习算法,保证收敛到近似纳什均衡。然而,PSRO需要在每次迭代时训练强化学习策略,这对于大型游戏来说太慢了。我们通过反例和实验表明,DCH和整流PSRO,现有的两种方法来扩大PSRO,未能收敛,即使在小游戏。我们介绍管道PSRO(P2SRO),第一个可扩展的一般方法,在大型零和信息博弈中寻找近似纳什均衡。P2SRO能够通过维护强化学习工作者的分层管道来并行化PSRO,并保证收敛,每个工作者都针对层次结构中较低级别生成的策略进行训练。我们发现,与现有的方法不同,P2SRO收敛到一个近似的纳什均衡,这样做的速度更快的并行工人的数量增加,在各种不完美的信息游戏。我们还介绍了一个开源的环境,拦河坝,一个变种的拦河坝,一个近似的游戏树的复杂性$10^{50}$。P2SRO能够在弹幕机器人上实现最先进的性能,并击败所有现有的机器人。实验代码可在https://www.example.com上获得。github.com/JBLanier/pipeline-psro
2021-02-18 cs.AI cs.GT cs.LG
Deep Constrained Q-learning
University of Freiburg(弗赖堡大学);BrainLinks-BrainTools(脑连接-脑工具)
在许多现实世界的应用中,强化学习代理必须优化多个目标,同时遵循某些规则或满足一系列约束。基于奖励塑造的经典方法,即奖励信号中不同目标的加权组合,或拉格朗日方法,包括损失函数中的约束,不能保证代理在所有时间点都满足约束,并且可能导致不期望的行为。当从动作-价值函数中提取离散策略时,可以通过将动作空间限制在最大化来确保安全动作,但是可能导致可行替代方案中的次优解。在这项工作中,我们提出了约束Q-学习,一种新的政策外强化学习框架,直接在Q-更新中限制动作空间,以学习诱导的约束MDP和相应的安全策略的最佳Q-函数。除了单步约束只涉及到下一个动作,我们介绍了一个制定近似的多步约束下的当前目标政策的基础上截断值函数。我们分析了约束Q学习在表格情况下的优势,并将约束DQN与奖励塑造和拉格朗日方法在自动驾驶高级决策中的应用进行了比较,考虑了安全性,保持正确性和舒适性的约束。我们在开源模拟器SUMO和真实的HighD数据集上训练我们的代理。
2020-09-14 cs.LG cs.RO stat.ML
Truncating Trajectories in Monte Carlo Reinforcement Learning
Politecnico di Milano(米兰理工大学)
本文提出一种先验预算分配策略,通过截断轨迹来最小化策略期望回报估计的置信区间宽度,并扩展POIS算法,数值实验表明该方法能提升性能。
2023-05-07 cs.AI cs.LG
Ensemble-MIX: Enhancing Sample-Efficiency in Multi-Agent RL via Selective Ensemble-Based Exploration
本文提出结合分解集中批评者与去中心化集合学习的新算法,通过集合kurtosis实现选择性探索,提升样本效率,优于现有基线方法。
2026-10-14 cs.LG cs.SY eess.SY
Adaptively Calibrated Critic Estimates for Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);University of Technology Nuremberg(纽伦堡工业大学)
精确的值估计对于离线强化学习是重要的。基于时间差异学习的算法通常倾向于随着时间的推移而建立过度或低估偏差。在本文中,我们提出了一种通用的方法,称为自适应校准的批评(ACC),使用最近的高方差,但无偏的政策推出,以减轻低方差的时间差异目标的偏见。我们将ACC应用于截断分位数批评,这是一种用于连续控制的算法,允许使用每个环境调整的超参数来调节偏差。由此产生的算法在训练过程中自适应地调整参数,使超参数搜索变得不必要,并在所有不为每个环境调整超参数的算法中,在OpenAI健身房连续控制基准上设置了一个新的最新技术水平。ACC在Meta-World机器人基准测试的不同任务上进一步实现了改进的结果。此外,我们证明了ACC的一般性,通过将其应用到TD 3,并在此设置中显示出更好的性能。
2022-10-21 cs.AI cs.LG cs.RO
Towards Fast Rates for Federated and Multi-Task Reinforcement Learning
North Carolina State University(北卡罗来纳州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对异质 MDP 下联邦多任务强化学习,提出带偏差校正的 Fast-FedPG,证明精确梯度线性收敛、噪声截断梯度线性加速且无异构偏差。
2024-09-09 cs.LG cs.SY eess.SY
Truncated Variance Reduced Value Iteration
Stanford University(斯坦福大学)
本文提出截断方差缩减值迭代算法,在采样与稀疏离线MDP设置中降低计算$ε$-最优策略的复杂度,并缩小无模型与基于模型方法的样本复杂度差距。
2024-05-21 cs.DS cs.LG math.OC
PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF
提出PS-PPO方法,通过前缀采样和重要性加权修正,在无评论者RLHF中减少训练计算和内存,保持准确率。
2026-07-28 cs.AI cs.LG
Differentiable Information Enhanced Model-Based Reinforcement Learning
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室);State Key Laboratory of General Artificial Intelligence, BIGAI(北京通用人工智能研究院通用人工智能国家重点实验室);Institute of automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出可微信息增强的MBRL方法MB-MIX,通过Sobolev模型训练提升动态预测精度,并引入截断学习窗口混合长度降低策略梯度估计方差以增强训练稳定性,在多项机器人控制任务中优于现有方法。
2025-03-03 cs.LG cs.RO
When Does Non-Uniform Replay Matter in Reinforcement Learning?
ETH Zurich(苏黎世联邦理工学院);University of Warsaw(华沙大学);UC Berkeley(伯克利加州大学);Amazon FAR(亚马逊FAR)
本文研究了非均匀回放在强化学习中的有效性,发现回放体积、预期近期性和回放分布熵是决定因素,并提出了一种简单有效的截断几何回放策略以提高样本效率。
2026-05-17 cs.AI cs.LG
Automating Control of Overestimation Bias for Reinforcement Learning
Samsung AI Center(三星人工智能中心);Artificial Intelligence Research Institute(人工智能研究所);National Research University Higher School of Economics(高等经济研究大学)
高估偏差控制技术被大多数高性能的非策略强化学习算法所使用。然而,这些技术中的大多数依赖于预定义的偏差校正策略,这些策略要么不够灵活,要么需要环境特定的超参数调整。在这项工作中,我们提出了一个通用的数据驱动的方法,用于自动选择偏置控制超参数。我们证明了它的有效性三个算法:截断分位数批评,加权延迟DDPG,和最大最小Q学习。所提出的技术消除了对广泛的超参数搜索的需要。我们表明,它导致显着减少的实际数量的相互作用,同时保持性能。
2022-01-28 cs.AI cs.LG cs.RO
Manifold-Constrained Energy-Based Transition Models for Offline Reinforcement Learning
Department of Electrical and Computer Engineering, George Washington University(乔治华盛顿大学电气与计算机工程系);Department of Electrical and Computer Engineering, Northeastern University(东北大学电气与计算机工程系)
MC-ETM通过流形约束能量模型提升离线强化学习在分布偏移下的鲁棒性,通过能量景观优化和悲观惩罚稳定策略优化。
2026-02-02 cs.AI cs.LG