Residual Q-Learning: Offline and Online Policy Customization without Value
University of California Berkeley(加州大学伯克利分校);Toyota Research Institute, USA(丰田研究院)
本文提出残差Q学习框架,在无需先验策略价值函数或固有奖励的情况下,通过结合示范固有奖励与下游任务附加奖励的MDP,实现离线和在线策略定制。
2024-01-15 cs.AI cs.LG
Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley(加州大学伯克利分校)
本文提出残差策略梯度(RPG),将残差Q学习扩展到策略梯度方法,实现策略定制,并从奖励视角重新审视KL正则化目标,实验验证其有效性。
2025-05-23 cs.LG
Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach
KTH Royal Institute of Technology(瑞典皇家理工学院);Ericsson Research(爱立信研究院)
控制蜂窝网络中的天线倾斜对于在网络覆盖和容量之间达到有效的折衷是必要的。在本文中,我们设计的算法学习最佳的倾斜控制策略,从现有的数据(在所谓的被动学习设置)或从数据主动生成的算法(主动学习设置)。我们将此类算法的设计形式化为上下文线性多臂强盗(CL-MAB)中的最佳策略识别(BPI)问题。手臂表示天线倾斜更新;上下文捕获当前网络条件;奖励对应于性能的改善,混合覆盖范围和容量;目标是以给定的置信水平识别近似最优策略(将上下文映射到具有最大奖励的手臂的函数)。对于CL-MAB在主动和被动的学习设置,我们推导出信息理论的下限所需的样本数量的任何算法返回一个近似最优的政策与给定的确定性水平,并设计算法实现这些基本限制。我们将我们的算法应用到蜂窝网络中的远程电跟踪(RET)优化问题,并表明它们可以产生最佳的倾斜更新策略,使用更少的数据样本比天真的或现有的基于规则的学习算法。
2022-01-06 cs.LG
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington(华盛顿大学)
面对不确定性,明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程(MDP)上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准,但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解:在没有不确定性的情况下,每个潜在的MDP更容易解决。我们首先获得一组专家,每个潜在的MDP一个,并融合他们的建议来计算基线策略。接下来,我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法,贝叶斯残差策略优化(BRPO),进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合,并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
Accelerating Residual Reinforcement Learning with Uncertainty Estimation
本文提出改进残差强化学习方法,通过不确定性估计提升样本效率,并使其适用于随机基策略。在Robosuite和D4RL任务中,该方法在多种模拟环境和现实部署中均表现优异。
2026-03-13 cs.AI cs.LG cs.RO
MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention
University of California, Berkeley(加州大学伯克利分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
MEReQ通过推断残差奖励函数并采用残差Q学习,实现从人类干预中样本高效地对齐机器人行为与人类偏好。
2025-10-24 cs.AI cs.LG cs.RO
Residual Policy Learning
MIT(麻省理工学院)
我们提出了残差策略学习(RPL):一种使用无模型深度强化学习改进不可微策略的简单方法。RPL在复杂的机器人操作任务中蓬勃发展,其中良好但不完美的控制器可用。在这些任务中,从头开始的强化学习仍然是数据效率低下或难以处理的,但在初始控制器之上学习残差可以产生实质性的改进。我们研究RPL在六个具有挑战性的MuJoCo任务,涉及部分可观测性,传感器噪声,模型误设定,控制器误校准。对于初始控制器,我们考虑手工设计的政策和模型预测控制器与已知或学习的过渡模型。通过将学习与控制算法相结合,RPL可以执行长期的、稀疏奖励的任务,而强化学习单独无法完成这些任务。此外,我们发现,RPL一致,并大大提高了初始控制器。我们认为,RPL是一种很有前途的方法,可以结合深度强化学习和机器人控制的互补优势,推动两者独立实现的界限。视频和代码在https://k-r-allen.github.io/residual-policy-learning/。
2019-01-03 cs.LG cs.RO
Efficient Real-World Autonomous Racing via Attenuated Residual Policy Optimization
本文提出α-RPO方法,通过逐步衰减基础策略生成独立神经策略,减少系统复杂度并提升驾驶性能,适用于现实世界机器人部署。
2026-03-13 cs.AI cs.RO
BRACE: Anchored Bellman-Residual Correction for Stale Critics in Asynchronous RL
Beijing University of Posts and Telecommunications(北京邮电大学);Baidu Inc.(百度公司);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
BRACE通过锚定贝尔曼残差校正,解决异步RL中评论家偏差问题,提升BrowseComp-Plus性能2.4%,速度提升2.46倍。
2026-09-16 cs.AI cs.LG
Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning
UW-Madison(威斯康星大学麦迪逊分校);MIT(麻省理工学院)
针对LLM推理中基于策略的RL方法占主导、基于价值的方法未被充分探索的问题,提出轨迹贝尔曼残差最小化(TBRM)算法,无需评论家等组件,在数学推理基准上优于PPO等基线且开销低,为LLM推理提供高效替代方案。
2025-11-12 cs.AI cs.CL cs.LG
Offline Policy Evaluation via Mixed Bellman Residuals and Adaptive Critic Representations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于混合一步与两步贝尔曼残差及自适应评论家表示的离线策略评估方法,通过数据依赖的核表示和样本分割控制过拟合,在模拟与MetaWorld任务中验证了中间残差组合对值估计的改进效果。
2026-09-29 cs.LG stat.ML
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab(腾讯人工智能实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
离线强化学习(RL)试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括:1)生成建模,即,使用固定数据近似策略;以及2)学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分,通过减少由训练数据的分布偏移引起的价值函数近似的自举误差,但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL(动作条件Q学习),一个剩余生成模型,以减少离线RL的策略近似误差。我们表明,我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外,我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场(MOBA)游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Warp: Structured Output-Space Adaptation for Frozen Robot Policies
University of Sydney(悉尼大学);NVIDIA(英伟达)
针对残差强化学习在动力学偏移下无法调整分布形状的问题,提出Warp RL方法,通过可逆状态条件变换重塑基础策略的动作分布,在ManiSkill3任务和真实机器人插销任务中优于残差校正。
2026-11-05 cs.LG cs.RO
Residual Feedback Learning for Contact-Rich Manipulation Tasks with Uncertainty
Albert-Ludwigs-Universität Freiburg(阿尔伯特-路德维希-弗莱堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
虽然经典控制理论在许多问题场景中提供了最先进的解决方案,但通常希望改进这些解决方案的结构并超越其局限性。为此,残差策略学习(RPL)提供了一个公式,以改善现有的控制器与强化学习(RL)通过学习一个附加的“残差”的输出一个给定的控制器。然而,这种方法的适用性高度依赖于控制器的结构。通常,控制器的内部反馈信号限制RL算法充分改变策略,从而学习任务。我们提出了一个新的配方,解决这些限制,也修改反馈信号的控制器与RL政策,并显示我们的方法在位置和方向的不确定性下的接触丰富的挂钩插入任务的优越性能。此外,我们使用最近的笛卡尔阻抗控制架构的控制框架,可以提供给我们作为一个黑盒子,而假设没有关于其输入/输出结构的知识,并显示标准RPL的困难。此外,我们引入了一个自适应的课程,为给定的任务,逐步增加任务的位置和方向的不确定性方面的难度。显示结果的视频可以在https://youtu.be/SAZm_Krze7U上找到。
2021-08-06 cs.AI cs.LG cs.RO
Bellman Residual Orthogonalization for Offline Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
我们提出并分析了一个强化学习原理,该原理通过仅沿用户定义的测试函数空间执行其有效性来近似Bellman方程。专注于无模型离线RL与函数近似的应用程序,我们利用这一原则来获得置信区间的政策评估,以及在规定的政策类内的政策进行优化。我们证明了一个预言不等式我们的政策优化过程中的任意比较政策的价值和不确定性之间的权衡。测试函数空间的不同选择使我们能够在一个共同的框架内解决不同的问题。我们的特点的效率损失,从政策上的政策,关闭数据使用我们的程序,并建立连接到集中系数在过去的工作中研究。我们深入研究我们的方法与线性函数近似的实现,并提供理论保证多项式时间的实现,即使贝尔曼封闭不成立。
2022-10-12 cs.LG
An Experimental Comparison Between Temporal Difference and Residual Gradient with Neural Network Approximation
Shanghai Jiao Tong University(上海交通大学);CMA-Shanghai(上海国家应用数学中心)
梯度下降或其变体在训练神经网络中很受欢迎。然而,在具有神经网络近似的深度Q学习中,一种类型的强化学习,梯度下降(也称为残差梯度(RG))几乎没有用于解决贝尔曼残差最小化问题。相反,时间差分(TD),不完全梯度下降方法占主导地位。在这项工作中,我们进行了大量的实验,以表明TD优于RG,即当训练导致一个小的贝尔曼残差时,TD找到的解决方案具有更好的政策,对神经网络参数的扰动更具鲁棒性。通过实验进一步揭示了强化学习和监督学习的一个关键区别,即在强化学习中,小的Bellman残差对应于一个坏的策略,而在监督学习中,测试损失函数是一个衡量性能的标准指标。我们还实证研究,TD中的缺失项是RG表现不佳的一个关键原因。我们的工作表明,深度Q学习解决方案的性能与训练动态密切相关,不完全梯度下降方法如何找到一个好的策略是未来研究的重点。
2022-11-14 cs.AI cs.LG
Learning Value Functions in Deep Policy Gradients using Residual Variance
Inria(法国国家信息与自动化研究所);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心)
策略梯度算法已被证明是成功的,在不同的决策和控制任务。然而,这些方法遭受高样本复杂性和不稳定性问题。在本文中,我们通过提供一种不同的方法来解决这些挑战,在演员-评论家框架中训练评论家。我们的工作建立在最近的研究表明,传统的演员-评论家算法不成功拟合真正的价值函数,需要确定一个更好的目标的批评。在我们的方法中,评论家使用一个新的状态值(分别为)。状态-动作-值)函数近似,其学习状态(分别为状态-动作对)相对于它们的平均值,而不是如传统的行动者-批评者中的绝对值。我们证明了新的梯度估计的理论一致性,并观察到戏剧性的经验改进,在各种连续的控制任务和算法。此外,我们在稀疏奖励任务中验证了我们的方法,在那里我们提供了实验证据和理论见解。
2021-03-15 cs.AI cs.LG math.OC
Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学)
该研究提出了一种小脑启发的残差控制框架,通过在线纠正动作实现故障恢复,提升机器人在训练后扰动下的鲁棒性和性能。
2026-02-06 cs.LG cs.RO
Reinforcement Learning Experience Reuse with Policy Residual Representation
Nanjing University(南京大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
经验重用是样本高效强化学习的关键。其中一个关键问题是如何表现和存储体验。以前,经验可以以特征、个体模型和平均模型的形式存储,每种形式都位于不同的粒度。但是,新任务可能需要跨多个粒度的经验。在本文中,我们提出了策略剩余表示(PRR)网络,它可以提取和存储多个层次的经验。PRR网络是在一组具有多级架构的任务上训练的,其中每个级别中的模块对应于任务的子集。因此,PRR网络以类似频谱的方式表示体验。当训练一个新的任务时,PRR可以提供不同层次的经验来加速学习。我们实验PRR网络上的一组网格世界导航任务,运动任务,并在视频游戏中的战斗任务。结果表明,PRR网络导致更好地重用的经验,从而优于一些国家的最先进的方法。
2019-05-31 cs.LG stat.ML
Physics Enhanced Residual Policy Learning (PERPL) for safety cruising in mixed traffic platooning under actuator and communication delay
提出PERPL框架,结合物理模型与RL残差策略,用于混合交通队列分散控制,在执行器与通信延迟下实现更小车头误差与更好振荡阻尼。
2024-09-23 cs.AI eess.SP
What Makes Value Learning Efficient in Residual Reinforcement Learning?
Nanyang Technical University(南洋理工大学);Mila - Quebec AI Institute(魁北克AI研究所);National University of Singapore(新加坡国立大学)
DAWN通过数据锚定预热和归一化解决残差强化学习中价值学习的冷启动和尺度不匹配问题,提升效率。
2026-02-11 cs.LG
Greedy and Transformer-Based Multi-Port Selection for Slow Fluid Antenna Multiple Access
University of A Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心);Defense University Center at the Spanish Naval Academy(西班牙海军学院国防大学中心);University of Granada(格拉纳达大学);Research Centre for Information and Communication Technologies (CITIC-UGR)(信息与通信技术研究中心(CITIC-UGR))
本文提出两种策略:贪心前向选择与基于Transformer的神经网络,提升流体天线多址接入的频谱效率。
2026-04-06 cs.AI cs.LG
Is the Bellman residual a bad proxy?
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Univ. Lille(里尔大学);Centrale Lille(里尔中央理工学院);Inria(法国国家信息与自动化研究所);Google DeepMind(谷歌DeepMind)
本文旨在从理论和实证上比较强化学习的两个标准优化准则:i)均值最大化和ii)贝尔曼残差最小化。为了这个目的,我们把自己的政策搜索算法的框架中,通常是为了最大限度地提高平均值,并得出一个方法,最大限度地减少剩余$\|T_* v_π- v_π\|_{1,ν}$的政策。理论分析表明,这种代理是如何好的政策优化,特别是它比它的价值为基础的同行。我们还提出了随机生成的通用马尔可夫决策过程的实验,专门设计用于研究所涉及的集中系数的影响。他们表明,贝尔曼残差通常是一个坏的代理政策优化和直接最大化的平均值要好得多,尽管目前缺乏深入的理论分析。这似乎是显而易见的,因为直接解决感兴趣的问题通常更好,但考虑到基于值的强化学习中(投影)贝尔曼残差最小化的普遍性,我们认为这个问题值得考虑。
2017-12-12 cs.LG stat.ML
Amortized Score-Hamiltonian Policy Iteration: A Grid-Free Scheme for Relaxed Stochastic Control Problems
Florida State University(佛罗里达州立大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出摊销无网格的得分-哈密顿策略迭代算法,用于熵正则化松弛随机控制问题,通过共享条件采样器和参数化评论家实现耦合演员-评论家学习,并给出误差界限与高维数值验证。
2026-11-09 cs.LG math.OC
Continuous Versatile Jumping Using Learned Action Residuals
University of Washington(华盛顿大学);Google(谷歌)
本文提出融合最优控制与强化学习的分层框架,通过学习动作残差增强手动加速度控制器,使四足机器人能够直接从仿真部署到实机并完成连续多功能跳跃。
2023-04-17 cs.AI cs.LG cs.RO
Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis
Robotics Institute(机器人学院);Carnegie Mellon University(卡内基梅隆大学)
强化学习通过从运动捕捉数据中学习类人控制策略,在合成逼真的人类行为方面表现出很大的潜力。然而,要重现像芭蕾舞这样复杂的人类技能,或者稳定地模仿具有复杂过渡的长期人类行为,仍然非常具有挑战性。主要困难在于类人模型和真实人之间的动力学失配。也就是说,真实人类的运动对于类人模型在物理上可能是不可能的。为了克服动态失配,我们提出了一种新的方法,剩余力控制(RFC),增加了一个人形控制策略,通过添加外部剩余力到动作空间。在训练过程中,基于RFC的策略学习向人形机器人施加残余力,以补偿动力学失配并更好地模仿参考运动。广泛的动态运动的实验表明,我们的方法优于国家的最先进的方法在收敛速度和学习运动的质量。值得注意的是,我们展示了一个由RFC授权的基于物理的虚拟角色,可以执行高度敏捷的芭蕾舞动作,如旋转,阿拉伯式和jeté。此外,我们提出了一个双策略控制框架,其中运动学策略和基于RFC的策略协同工作,在没有任何任务指导或用户输入的情况下合成多模态无限时域人体运动。我们的方法是第一个成功地从大规模人体运动数据集(Human3.6M)中学习并生成各种长期运动的人形控制方法。代码和视频可在https://www.ye-yuan.com/rfc上获得。
2020-10-22 cs.CV cs.GR cs.LG
Towards Provable Log Density Policy Gradient
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对策略梯度估计中的残差误差,提出利用状态-动作折扣分布的对数密度梯度,并给出TD近似与仅需同策略样本的min-max优化,证明其唯一性、收敛性及m^{-1/2}样本复杂度。
2024-03-03 cs.AI cs.LG stat.ML
Deep Weighted Bellman Residual Minimization for $Q^*$ Estimation
Wuhan University(武汉大学)
本文提出深度加权贝尔曼残差最小化框架,通过密度比加权整合专家演示与行为数据,解决离线强化学习中的分布偏移和Q值高估问题,并显著提升数值性能与策略泛化。
2026-09-29 cs.LG stat.ML
Residual Off-Policy RL for Finetuning Behavior Cloning Policies
Amazon FAR (Frontier AI & Robotics)(亚马逊前沿人工智能与机器人实验室);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
提出残差学习框架,以行为克隆策略为黑盒基础,用离策略强化学习学习轻量残差修正,仅需稀疏二值奖励,首次在灵巧手人形机器人上实现真实世界RL训练,达到最先进性能。
2025-09-25 cs.LG cs.RO
ARCA: Adapter-Residual Credit Assignment When Token Signals Degenerate
Rodney Lafuente-Mercado(罗伊德·拉福恩特-默茨)
针对LoRA微调下令牌级信用分配信号退化的问题,提出ARCA方法,利用适配器隐藏状态残差作为令牌显著性度量,无需学习奖励模型或价值头。
2026-05-29 cs.AI cs.LG
Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample
Yuanlong Chen(陈元龙)
针对非均匀更新频率下的蒙特卡洛乐观策略迭代,本文通过一个三状态MDP反例证明标量步长非均匀异步值迭代可能不收敛,并揭示了各向异性畸变导致的切换吸引环。
2026-06-16 cs.LG
Off-Policy Evaluation for Large Action Spaces via Conjunct Effect Modeling
Cornell University(康奈尔大学)
针对大离散动作空间下上下文老虎机离策略评估传统重要性加权方法方差过大的问题,提出基于合取效应模型的OffCEM估计器,结合簇级重要性加权与两步式模型估计,在局部正确性条件下无偏,实验证明其偏差和方差均优于传统方法。
2023-06-02 cs.AI cs.LG stat.ML
The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
University of Science and Technology of China(中国科学技术大学);Rutgers University(罗格斯大学);Zhejiang University(浙江大学)
针对在线策略蒸馏中学生难以超越教师的问题,提出RIDE方法,在表示空间直接外推RL诱导的残差方向,在多种规模与架构上稳定超越教师。
2026-10-15 cs.LG
Residual Reinforcement Learning for Robot Teleoperation under Stochastic Delays
Technical University of Munich(慕尼黑技术大学)
针对随机延迟导致的信号不连续问题,本文提出一种混合控制框架,通过LSTM状态估计器与残差强化学习策略相结合,提升遥控稳定性与性能。
2026-05-14 cs.AI cs.RO
What Does a ProcGen Generalization Gap Measure? Action Rules, Residual Entropy, and the Missing Random Floor
本研究指出强化学习泛化差距报告缺失随机基线,通过 ProcGen 实验和代码审计揭示动作规则与收敛性影响,建议标准化报告协议。
2026-10-05 cs.AI cs.LG
ARC - Actor Residual Critic for Adversarial Imitation Learning
Carnegie Mellon University(卡内基梅隆大学);Intel Labs(英特尔实验室)
对抗性模仿学习(AIL)是机器人技术中常用的一类流行的最先进的模仿学习算法。在AIL中,人工对手的错误分类被用作奖励信号,该奖励信号由任何标准的强化学习(RL)算法优化。与大多数RL设置不同,AIL中的奖励是$differentiable$,但当前的无模型RL算法没有利用此属性来训练策略。奖励是AIL也是成形的,因为它来自对手。我们利用形状AIL奖励函数的可微性,并制定了一类演员残差评论(ARC)RL算法。ARC算法与RL文献中的标准Actor-Critic(AC)算法并行,并使用残差评论家$C$函数(而不是标准$Q$函数)来仅近似贴现的未来回报(不包括即时奖励)。ARC算法具有与标准AC算法相似的收敛特性,其额外的优点是通过即时奖励的梯度是精确的。对于离散(表格)的情况下,有限的状态,行动,和已知的动态,我们证明了政策迭代与$C$功能收敛到一个最优的政策。在连续的情况下,函数逼近和未知的动态,我们的实验表明,ARC辅助AIL优于标准AIL在模拟连续控制和真正的机器人操作任务。ARC算法易于实现,并且可以与AC算法合并到任何现有的AIL实现中。视频和代码链接可在https://sites.google.com/view/actor-residual-critic上获得。
2022-11-30 cs.LG cs.RO
ARBoids: Adaptive Residual Reinforcement Learning With Boids Model for Cooperative Multi-USV Target Defense
Robotics and Control Laboratory, School of Advanced Manufacturing and Robotics, and the State Key Laboratory of Turbulence and Complex Systems, Peking University(机器人与控制实验室,先进制造与机器人学院,湍流与复杂系统国家重点实验室,北京大学);National Innovation Institute of Defense Technology(国防技术创新研究院)
ARBoids通过结合Boids模型和深度强化学习,提出了一种自适应残差强化学习框架,用于提升多无人水下航行器在对抗性机动下的目标拦截性能。
2025-11-25 cs.CR cs.LG cs.RO
Variational Actor-Critic Algorithms
University of California, San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
我们介绍了一类变分演员评论家算法的基础上变分制定的价值函数和政策。变分公式的目标函数由两部分组成:一部分用于最大化价值函数,另一部分用于最小化Bellman残差。除了同时使用价值函数和策略更新的香草梯度下降算法外,为了加快收敛速度,我们还提出了两种改进算法:裁剪法和翻转法。证明了当Bellman残差的前因子足够大时,算法的不动点接近于最优策略。
2023-01-14 cs.LG math.OC
ResAct: Reinforcing Long-term Engagement in Sequential Recommendation with Residual Actor
Nanyang Technological University(南洋理工大学);Kuaishou Technology(快手科技);Hong Kong University of Science and Technology(香港科技大学)
针对序列推荐中RL优化长期参与度时在线交互成本高、价值估计与探索难的问题,提出ResAct方法,通过残差智能体优化接近在线服务的策略,结合信息论正则项提取长期特征,在多数据集上显著优于现有基线。
2023-06-16 cs.IR cs.LG
Pareto Deterministic Policy Gradients and Its Application in 5G Massive MIMO Networks
Virginia Tech(弗吉尼亚理工学院暨州立大学);Samsung Research America(三星美国研究院)
在本文中,我们考虑通过强化学习(RL)方法联合优化小区负载平衡和网络吞吐量,其中小区间切换(即,用户关联分配)和大规模MIMO天线倾斜被配置为要学习的RL策略。我们使用RL的基本原理是规避分析建模用户移动性和网络动态的挑战。为了实现这种联合优化,我们将向量奖励集成到RL值网络中,并通过单独的策略网络进行RL操作。我们将这种方法称为帕累托确定性策略梯度(PDPG)。它是一种行动者-批评者、无模型和确定性的策略算法,可以处理耦合目标,具有以下两个优点:1)它通过利用向量奖励的自由度而不是选择手工标量奖励来解决优化问题; 2)可以显着减少多个策略的交叉验证。因此,RL使能网络以自组织的方式表现:它通过测量历史了解底层用户移动性,以在没有环境假设的情况下主动操作切换和天线倾斜。我们的数值计算表明,引入RL方法优于基于标量奖励的方法。同时,为了自成一体,包括一个理想的静态优化的暴力搜索求解器作为基准。比较结果表明,RL方法执行以及这种理想的策略,虽然前者是有限的环境观测和较低的动作频率的约束,而后者有充分的访问用户的移动性。我们所介绍的方法的收敛性也测试在不同的用户移动性环境下,我们的测量数据从一个真实的场景。
2020-12-02 cs.LG cs.NI
Learning-based Cooperative Robotic Paper Wrapping: A Unified Control Policy with Residual Force Control
Department of Systems Innovation, Graduate School of Engineering Science, Osaka University(大阪大学系统创新部门,工学研究科);OMRON SINIC X Corporation(OMRON SINIC X公司);The National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院)
本文提出一种结合LLM高层规划与低层混合模仿学习和强化学习的统一控制策略,通过子任务感知机器人Transformer(START)引入子任务ID实现长时程时间定位,在真实礼品包装任务中达到97%成功率,有效桥接高层意图与细粒度力控制。
2025-11-05 cs.LG cs.RO
Physics-Informed Policy Optimization via Analytic Dynamics Regularization
EmPACT Lab, Nanyang Technological University, Singapore(EmPACT实验室,南洋理工大学,新加坡)
本文提出PIPER框架,通过在神经策略优化中引入解析软物理约束,提升机器人控制的效率和物理一致性。
2026-03-21 cs.LG cs.RO
Residual Policy Learning for Vehicle Control of Autonomous Racing Cars
Technical University of Munich(慕尼黑工业大学)
本文提出一种用于自动驾驶赛车的残差车辆控制器,通过残差策略学习修正经典路径跟随控制器,在F1TENTH仿真环境及十二条真实赛道评估中平均将单圈时间缩短4.55%,并能在未知赛道上获得提升。
2023-05-31 cs.LG cs.RO cs.SY
Hierarchical Residual Policy Learning for Real-World Mobile Manipulation with Sparse Human Guidance
Northeastern University(东北大学);University of California, Riverside(加州大学河滨分校);Georgia Institute of Technology(佐治亚理工学院)
本文提出HiRe-MoMa框架,通过分层残差架构与专家引导值对齐,仅用约30分钟在线交互即可在TIAGo++平台上高效微调移动操作系统,提升任务性能,为复杂机器人部署提供实用范式。
2026-10-15 cs.AI cs.LG cs.RO
Beyond Absolute Imitation: Anchored Residual Guidance for Privileged On-Policy Distillation
South China University of Technology(华南理工大学)
提出锚定残差在线蒸馏(AR-OPD),通过部分特权教师建立局部兼容锚点并注入受控残差,解决特权在线蒸馏中后见偏差导致的局部不可达问题,在推理任务上平均提升2.3个点。
2026-06-09 cs.AI cs.LG
Distributional Off-policy Evaluation with Bellman Residual Minimization
Texas A&M University(德克萨斯农工大学);George Washington University(乔治·华盛顿大学)
本文针对分布外策略评估中传统上确界型统计距离难以估计的问题,提出基于期望扩展统计距离的能量贝尔曼残差最小化器(EBRM)方法,并在无需完备性假设的条件下建立了有限样本误差界。
2025-03-12 cs.LG stat.ML
Temporally Centered SIGReg Improves LeWorldModel Representations for Robot Policy Learning
Graduate School of Engineering, The University of Tokyo(东京大学工程学院)
该研究针对SIGReg在多任务LeWM中导致表示混叠的问题,提出将其应用于时间中心残差的改进方法,在LIBERO基准上显著提升了多任务世界模型的下游性能。
2026-08-27 cs.LG cs.RO
Krylov-Bellman boosting: Super-linear policy evaluation in general state spaces
UC Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
我们提出并分析了Krylov-Bellman Boosting(KBB)算法在一般状态空间的政策评估。它交替使用非参数回归拟合Bellman残差(如boosting),并通过最小二乘时间差(LSTD)程序估计值函数,该程序应用了随时间自适应增长的特征集。通过利用Krylov方法的连接,我们配备了两个有吸引力的保证,这种方法。首先,我们提供了一个通用的收敛界,允许单独的估计误差在残差拟合和LSTD计算。与我们的数值实验相一致,这个界限表明收敛速度取决于限制的谱结构,并且是典型的超线性。其次,通过将此元结果与残差拟合和LSTD计算的样本大小相关保证相结合,我们获得了具体的统计保证,这些保证取决于样本量以及用于拟合残差的函数类的复杂性。我们说明了KBB算法的各种类型的政策评估问题的行为,并通常发现大量减少样本的复杂性相对于标准的方法拟合值iterationn。
2022-10-20 cs.LG math.OC math.ST
On-Policy Residual Learning for Diffusion Language Models
Together AI;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);University of California, Santa Cruz(加州大学圣克鲁兹分校);Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出ORL框架,通过在线策略残差学习优化扩散语言模型,在Qwen3-4B转换的4B模型上提升TPF达6.2倍、端到端吞吐量约6.9倍,还可迁移至其他DLMs,在多硬件上实现高速解码且质量相当。
2026-10-16 cs.LG
Physics-Informed Policy Iteration for High-Dimensional Hamilton--Jacobi--Bellman Equations: Interior Error Bounds without Boundary Data
该研究提出无边界数据的物理信息策略迭代方法求解高维HJB方程,推导内部误差界,在多个控制问题上验证其有效性,同时揭示局限性并给出保障措施。
2026-08-11 cs.CE cs.LG cs.NA
Multi-residual Mixture of Experts Learning for Cooperative Control in Multi-vehicle Systems
Massachusetts Institute of Technology(麻省理工学院);Toyota InfoTech Labs(丰田信息技术实验室)
针对自动驾驶车辆在多样交通场景下的拉格朗日交通控制泛化难题,提出MRMEL框架,通过混合专家机制动态选择名义策略并学习残差校正进行增强,实验证明其在多城交叉口协同生态驾驶中能额外减少4%-9%的车辆总排放。
2025-07-14 cs.AI cs.LG cs.MA
SPAR: Support-Preserving Action Rectification
Zhejiang University(浙江大学)
提出支持保持的动作纠正(SPAR)框架,通过将全局学习转化为局部残差纠正,并引入潜在自模仿机制,解决了离线策略改进中价值最大化与数据分布拟合之间的冲突,在D4RL基准上达到最优性能。
2026-05-27 cs.AI cs.LG
Compliant Residual DAgger: Improving Real-World Contact-Rich Manipulation with Human Corrections
CR-DAgger通过合规干预接口和残差策略提升现实接触密集操作任务的性能,以64%的提升率改进基线策略。
2025-12-25 cs.LG cs.RO
Monotone Neural Policy Iteration for High-Dimensional First-Order Hamilton--Jacobi--Bellman Equations
Seoul National University of Science and Technology(首尔科学技术大学);POSTECH;Gachon University(成均馆大学)
本文提出稳定神经HJB求解器,通过混合方法分析误差并应用于强化学习,验证了求解器在模型误差和策略不匹配下的稳定性。
2026-09-11 cs.AI cs.LG cs.NA