Representation Learning Enables Scalable Multitask Deep Reinforcement Learning
Mila – Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);CIFAR AI Chair(CIFAR人工智能 chair);Google DeepMind(谷歌DeepMind)
本文提出一种结合预测性表示学习与高容量值函数近似的无模型算法MR.Q,在无需规划的情况下,在多任务连续控制任务中超越基于世界模型的方法和多种深度强化学习基线,并显著降低计算开销。
2026-06-04 cs.AI cs.LG
Learning Where, What and How to Transfer: A Multi-Role Reinforcement Learning Approach for Evolutionary Multitasking
针对进化多任务算法知识迁移需定制设计的问题,本文提出多角色强化学习框架,从迁移配对、知识占比、迁移强度三方面实现可泛化的知识迁移策略,实验验证其性能达到当前最优。
2025-11-19 cs.LG cs.NE
Data Valuation for Offline Reinforcement Learning
L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
深度强化学习(DRL)的成功取决于训练数据的可用性,这些数据通常是通过大量的环境交互获得的。在许多现实世界的场景中,成本和风险与收集这些数据有关。离线强化学习领域通过将数据收集外包给领域专家或仔细监控的程序并随后搜索批量约束的最优策略来解决这些问题。随着数据市场的出现,内部构建数据集的另一种选择是购买外部数据。然而,虽然最先进的离线强化学习方法已经显示出很大的前景,但它们目前依赖于精心构建的数据集,这些数据集与预期的目标领域保持一致。这就提出了关于在外部获取的数据上训练的离线强化学习代理的可转移性和鲁棒性的问题。在本文中,我们经验性地评估了当前最先进的离线强化学习方法在两个MuJoCo环境中处理源-目标域不匹配的能力,发现当前最先进的离线强化学习算法在目标域中表现不佳。为了解决这个问题,我们提出了离线强化学习(DVORL)的数据估值,这使我们能够识别相关和高质量的转换,提高离线强化学习算法学习的策略的性能和可移植性。结果表明,我们的方法优于两个MuJoCo环境下的离线强化学习基线。
2022-05-19 cs.LG
Modular Multitask Reinforcement Learning with Policy Sketches
University of California, Berkeley(加州大学伯克利分校)
我们描述了一个由策略草图指导的多任务深度强化学习框架。草图用命名的子任务序列来注释任务,提供关于任务之间的高级结构关系的信息,但不提供如何实现它们-特别是不提供以前关于RL学习策略抽象的许多工作所使用的详细指导(例如,中间奖励,子任务完成信号或内在动机)。为了从草图中学习,我们提出了一个模型,该模型将每个子任务与模块化子策略相关联,并通过在共享子策略中绑定参数来联合最大化整个任务特定策略的奖励。优化是通过一个解耦的演员-评论家训练目标,促进学习共同的行为,从多个不同的奖励功能。我们评估了我们的方法在三个环境中的有效性,这些环境具有离散和连续控制,并且只有在完成一些高级别子目标后才能获得稀疏奖励。实验表明,使用我们的方法来学习由草图指导的策略,比现有的学习特定于任务或共享策略的技术具有更好的性能,同时自然地诱导出一个可解释的原始行为库,这些行为可以重新组合以快速适应新任务。
2017-06-17 cs.LG cs.NE
Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks
University of Michigan(密歇根大学);Harvard University(哈佛大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
该研究聚焦多任务强化学习中探索被忽视的问题,从理论证明了多样化任务下短视探索算法可实现样本高效,并通过合成机器人控制实验验证了任务多样性对样本效率的提升作用。
2024-03-06 cs.LG stat.ML
Distral: Robust Multitask Reinforcement Learning
DeepMind
大多数深度强化学习算法在复杂和丰富的环境中数据效率低下,限制了它们对许多场景的适用性。提高数据效率的一个方向是具有共享神经网络参数的多任务学习,其中可以通过在相关任务之间的转移来提高效率。然而,在实践中,这通常不会被观察到,因为不同任务的梯度可能会产生负面影响,使学习不稳定,有时甚至降低数据效率。另一个问题是任务之间的奖励方案不同,这很容易导致一个任务主导共享模型的学习。我们提出了一种新的多任务联合训练方法,我们称之为Distral(Distill &迁移学习)。我们建议共享一个“蒸馏”的政策,捕捉跨任务的共同行为,而不是在不同的工人之间共享参数。每个工作者都被训练来解决自己的任务,同时被约束为接近共享策略,而共享策略则通过蒸馏被训练为所有任务策略的质心。学习过程的两个方面都是通过优化联合目标函数来实现的。我们表明,我们的方法支持复杂的3D环境中的高效传输,优于几个相关的方法。此外,所提出的学习过程更鲁棒,更稳定--这些属性在深度强化学习中至关重要。
2017-07-13 cs.LG stat.ML
Multitask Neuroevolution for Reinforcement Learning with Long and Short Episodes
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology (SIMTech)(新加坡制造技术研究院);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Sun Yat-sen University(中山大学);A*Star Center for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
研究表明演化策略(ES)是深度神经网络的强化学习(RL)的一种有前途的方法。然而,高样本复杂度的问题仍然存在于ES在长期的深度RL应用中。本文是第一个通过一种新的神经进化多任务(NuEMT)算法来解决当今方法的缺点,该算法旨在将信息从一组辅助任务(短情节长度)转移到目标(全长)RL任务。从目标中提取的辅助任务允许代理在较短的时间范围内更新和快速评估策略。然后,进化的技能被转移到指导更长和更难的任务,以实现最佳策略。我们证明了NuEMT算法实现了数据高效的进化RL,减少了昂贵的代理-环境交互数据需求。我们的关键算法的贡献,在这种情况下,是第一次介绍,一个多任务的技能转移机制的基础上的统计重要性采样技术。此外,自适应资源分配策略被用来分配计算资源的辅助任务的基础上收集的有用性。在OpenAI Gym的一系列连续控制任务上进行的实验证实,与最近的ES基线相比,我们提出的算法是有效的。
2022-11-13 cs.LG cs.NE
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University(南京大学);The University of Hong Kong(香港大学)
价值函数估计是强化学习中不可或缺的子程序,在离线环境下变得更加具有挑战性。在本文中,我们提出了混合值估计(HVE),以减少值估计误差,通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明,HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此,我们分别提供了两个具体的算法Off-policy HVE(OPHVE)和Model-based Offline HVE(MOHVE)。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法,而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
MOORe: Model-based Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
随着离线强化学习(RL)的成功,离线训练的RL策略在在线部署时有可能进一步改进。策略的平稳传输在安全的实际部署中至关重要。此外,策略的快速自适应在实际的在线性能改进中起着至关重要的作用。为了解决这些挑战,我们提出了一种简单而有效的算法,基于模型的离线到在线强化学习(MOORe),它采用了一个优先级的采样方案,可以动态调整离线和在线数据的平滑和有效的在线适应的政策。我们提供了一个理论基础,我们的算法设计。在D4RL基准测试上的实验结果表明,该算法在实现样本有效的在线自适应的同时,能够平滑地从离线阶段过渡到在线阶段,并且性能也明显优于现有方法。
2022-01-25 cs.LG
Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology(西门子技术);Technical University of Munich(慕尼黑工业大学)
在离线强化学习中,需要从单个预先收集的数据集中学习策略。通常,策略因此在训练期间被正则化,以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法,它直接约束的政策,而不是在其权重空间,并在实验中证明了其有效性。
2021-07-12 cs.LG
Rethinking Optimal Transport in Offline Reinforcement Learning
AIRI;ITMO(ITMO大学);Skoltech(斯科尔科沃科学技术研究院);MIPT(莫斯科物理技术学院);Yandex(Yandex公司);HSE University(高等经济大学)
本文将离线强化学习重新建模为最优传输问题,提出一种将状态映射到最佳专家动作部分分布的新算法,并在D4RL连续控制任务上取得优于现有方法的效果。
2024-10-17 cs.LG
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL(伦敦大学学院);DeepMind(深度思维)
离线强化学习(RL)允许从离线数据集训练有能力的代理,而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是,我们应该如何理想地微调从离线RL训练中获得的代理?虽然离线RL算法原则上可以用于微调,但在实践中,它们的在线性能提高缓慢。相比之下,我们表明,它是可以使用标准的在线离线策略算法更快的改进。然而,我们发现这种方法可能遭受政策崩溃,其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题,以及它如何涉及到数据的多样性,算法的选择和在线重放分布。基于这些见解,我们提出了一个保守的策略优化过程,可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning
Westlake University(西湖大学);Zhejiang University(浙江大学);Westlake Institute for Advanced Study(西湖高等研究院)
离线强化学习算法有望适用于固定数据集可用且无法获得新经验的环境。然而,这样的公式化不可避免地是离线数据饥渴的,并且在实践中,在一个特定环境中为一个特定任务收集大量离线数据集也是昂贵且费力的。因此,在本文中,我们1)通过使用从另一个动态收集的(源)离线数据来制定离线动态自适应,以放松对广泛的(目标)离线数据的要求,2)表征先前的离线方法不能很好地扩展的动态偏移问题,以及3)从无模型和基于模型的离线设置中导出一个简单的动态感知奖励增强(DARA)框架。具体而言,DARA强调从那些适应目标环境的源转换对中学习,并通过表征状态-动作-下一状态对而不是先前离线RL方法描绘的典型状态-动作分布来减轻离线动态变化。实验结果表明,DARA通过增加源离线数据集的奖励,可以获得目标环境的自适应策略,同时显著降低对目标离线数据的需求。只有少量的目标离线数据,我们的性能始终优于以前的离线RL方法在模拟和现实世界的任务。
2022-03-13 cs.LG
World Value Functions: Knowledge Representation for Multitask Reinforcement Learning
University of the Witwatersrand(金山大学)
人工智能中的一个开放问题是如何学习和表示知识,这些知识对于需要在给定世界中解决多个任务的一般代理来说是足够的。在这项工作中,我们提出了世界价值函数(WVF),这是一种通用的价值函数与世界的掌握-他们不仅代表如何解决一个给定的任务,但也如何解决任何其他目标达成的任务。为了实现这一点,我们为智能体配备了一个内部目标空间,定义为它经历终端过渡的所有世界状态-任务结果。然后,智能体可以修改任务奖励以定义自己的奖励函数,这可以证明驱动它学习如何实现所有可实现的内部目标,以及在当前任务中这样做的价值。我们展示了WVF的一些好处。当代理的内部目标空间是整个状态空间,我们证明了过渡函数可以推断出从学习WVF,它允许代理计划使用学习价值函数。此外,我们表明,在同一个世界中的任务,一个预先训练的代理,已经学会了任何WVF,然后可以推断的政策和价值函数的任何新的任务直接从它的奖励。最后,长寿代理的一个重要属性是能够重用现有知识来解决新任务。使用WVF作为学习任务的知识表示,我们表明,代理是能够解决他们的逻辑组合zero-shot,从而在他们的一生中组合增加技能的数量。
2022-05-18 cs.LG
Comparing Model-free and Model-based Algorithms for Offline Reinforcement Learning
Siemens Technology(西门子技术部);Technical University of Munich(慕尼黑工业大学)
离线强化学习(RL)算法通常是在考虑MuJoCo等环境的情况下设计的,其中规划范围非常长并且不存在噪声。我们在各种工业基准(IB)数据集上比较了无模型,基于模型以及混合离线RL方法,以在更接近真实世界问题的设置中测试算法,包括复杂的噪声和部分可观察状态。我们发现,在IB上,混合方法面临着严重的困难,更简单的算法,如基于推出的算法或具有更简单正则化器的无模型算法在数据集上表现最好。
2022-01-14 cs.LG
Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
本文提出动作影响规律性(AIR)假设,将状态分为内生与外生部分,并基于拟合Q迭代设计算法,在模拟和真实环境中验证其优于现有离线强化学习方法。
2023-05-03 cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点,无论是在与环境交互时的在线情况下,还是在从固定数据集学习时的离线情况下。然而,到目前为止,没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中,我们描述了重新分析算法,该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标,从而可以有效地学习数据预算,这些数据预算变化了几个数量级。我们进一步表明,Reanalyse也可以用于完全从演示中学习,而无需任何环境交互,就像离线强化学习(离线RL)一样。结合Reanalyze和MuZero算法,我们引入了MuZero Unplugged,这是一个适用于任何数据预算的统一算法,包括离线RL。与以前的工作相比,我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在高风险应用中训练强化学习(RL)代理可能过于禁止,因为与探索相关的风险。因此,代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能,我们专注于优化风险规避标准,即CVaR。特别是,我们提出了离线规避风险的演员批评(O-RAAC),一个无模型的RL算法,能够在完全离线的设置学习规避风险的政策。我们表明,O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外,考虑风险厌恶的标准,保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明,在存在自然分布的变化,O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck(因斯布鲁克大学)
充分的探索对于强化学习代理的成功至关重要。然而,探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为,这些指标在关于直观简单分布的文献中描述,并强调了使用它们时要注意的问题。我们提出了第四个指标,统一的相对熵,并实现它使用k-最近邻或最近邻比估计,强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
本文提出离线强化学习应学习自适应策略先验而非静态策略,通过记忆、探索和自我纠错在后续交互中保持改进能力,并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习,提升样本效率和探索能力,实现高效且可扩展的学习。
2025-12-22 cs.LG
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University(斯坦福大学)
我们提出了一个基于模型的离线强化学习策略性能下限,明确捕捉动态模型的误指定和分布失配,我们提出了一个经验算法的最佳离线策略选择。在理论上,我们通过建立对价值函数的悲观近似,证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略:只要动态模型可以准确地表示给定策略访问的状态-动作对的动态,就可以近似该特定策略的值。我们分析了我们的下限在LQR设置,也显示出竞争力的性能,以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
On the Role of Discount Factor in Offline Reinforcement Learning
Tsinghua University(清华大学)
离线强化学习(RL)能够在不进行探索的情况下从先前收集的数据中进行有效学习,这在探索昂贵甚至不可行的现实世界应用中显示出巨大的前景。折扣因子$γ$在提高在线RL样本效率和估计精度方面起着至关重要的作用,但折扣因子在离线RL中的作用还没有得到很好的探讨。本文通过理论分析,研究了$γ$在离线强化学习中的两种不同效应,即正则化效应和悲观效应。一方面,$γ$是在现有离线技术上权衡最优性与样本效率的调节器。另一方面,较低的指导$γ$也可以被视为一种悲观的方式,我们在最糟糕的模型中优化政策的性能。我们用表格式MDP和标准D4RL任务实证验证了上述理论观察。结果表明,折扣因子对离线RL算法的性能起着至关重要的作用,无论是在现有离线方法的小数据范围内,还是在没有其他保守方法的大数据范围内。
2022-06-15 cs.LG
Offline Reinforcement Learning with Fisher Divergence Critic Regularization
New York University(纽约大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
离线强化学习(RL)的许多现代方法利用行为正则化,通常用测量策略与离线数据的偏差的惩罚来增强无模型演员评论算法。在这项工作中,我们提出了一种替代方法,鼓励学习的政策,以保持接近的数据,即参数化的批评日志行为的政策,产生的离线数据,加上一个状态动作值偏移项,可以使用神经网络学习。然后,行为正则化对应于偏移项上的适当正则化子。我们建议使用梯度惩罚正则化的偏移项,并证明其等价于Fisher发散正则化,建议连接到分数匹配和基于生成能量的模型文献。因此,我们将我们的算法称为Fisher-BRC(行为正则化批评)。在标准的离线RL基准测试中,Fisher-BRC实现了比现有最先进方法更高的性能和更快的收敛速度。
2021-03-14 cs.LG
In-Distribution Imagination for Model-Based Offline Reinforcement Learning
针对基于模型的离线强化学习中模型误差导致轨迹偏离数据分布的问题,提出分布内想象(IDI)框架,通过轨迹级支持估计与截断控制,结合轨迹正则化强化学习,在有限数据下提升性能。
2026-10-01 cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架,通过从无奖励离线数据中学习潜在后继度量表示,再利用偏好数据进行对比搜索和微调,显著提升了偏好效率。
2026-05-31 cs.LG
ConfigX: Modular Configuration for Evolutionary Algorithms via Multitask Reinforcement Learning
South China University of Technology(华南理工大学);Massachusetts Institute of Technology(麻省理工学院);Singapore Management University(新加坡管理大学)
ConfigX提出一种基于多任务强化学习和模块化系统的通用进化算法配置框架,通过大规模预训练实现零样本泛化与终身学习,显著提升多种进化算法的性能。
2024-12-15 cs.LG cs.NE
BraVE: Offline Reinforcement Learning for Discrete Combinatorial Action Spaces
University of Virginia(弗吉尼亚大学);MBZUAI(马克斯·普朗克智能系统研究所)
BraVE通过树状结构动作遍历,在离线强化学习中有效处理离散组合动作空间,实现性能提升20倍。
2026-01-07 cs.LG
User-Interactive Offline Reinforcement Learning
Siemens Technology(西门子技术);TU Munich(慕尼黑工业大学)
离线强化学习算法在实践中仍然缺乏信任,这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时,离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法,允许用户在运行时调整这个超参数,从而同时解决上述两个问题。这允许用户从原始行为开始,并连续授予更大的偏差,以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Google Research(谷歌研究院)
强化学习(RL)在各种在线设置中取得了令人印象深刻的性能,其中代理查询环境的转换和奖励的能力实际上是无限的。然而,在许多实际应用中,情况正好相反:代理可以访问大量无定向的离线体验数据,而对在线环境的访问则受到严重限制。在这项工作中,我们专注于这种离线设置。我们的主要观点是,当呈现由各种行为组成的离线数据时,利用这些数据的有效方法是在使用这些原语进行下游任务学习之前提取连续空间的重复和时间扩展的原语行为。以这种方式提取的原语有两个目的:它们描述了数据支持的行为与不支持的行为,使它们有助于避免离线RL中的分布偏移;它们提供了一定程度的时间抽象,这降低了有效范围,从而在理论上产生更好的学习,并在实践中改进了离线RL。除了有利于离线策略优化,我们还表明,以这种方式执行离线原始学习也可以用于改善Few-Shot模仿学习以及在线RL中各种基准领域的探索和转移。可视化可在https://sites.google.com/view/opal-iclr上获得
2021-05-04 cs.LG
Fully Distributed Actor-Critic Architecture for Multitask Deep Reinforcement Learning
Secondmind
我们提出了一个完全分布式的演员-评论家架构,命名为Diff-DAC,应用于多任务强化学习(MRL)。在学习过程中,代理将其价值和政策参数传达给邻居,在代理网络中传播信息,而不需要中心站。每个代理只能访问其本地任务中的数据,但目标是学习对整个任务集执行良好的通用策略。该架构是可扩展的,因为每个代理的计算和通信成本取决于邻居的数量,而不是代理的总数。我们从对偶理论中推导出Diff-DAC,并对演员-评论家框架提供了新的见解,表明它实际上是对偶上升方法的一个实例。我们证明了几乎肯定收敛的Diff-DAC的一个共同的政策下,即使是深神经网络近似的一般假设。对于更严格的假设,我们还证明了这一共同的政策是一个稳定点的近似原问题。对常见连续控制基准的多任务扩展的数值结果表明,Diff-DAC稳定学习,并具有正则化效果,比以前的架构具有更高的性能和更好的泛化性能。
2021-10-23 cs.DC cs.LG cs.NE
RoiRL: Efficient, Self-Supervised Reasoning with Offline Iterative Reinforcement Learning
Criteo AI Lab(Criteo人工智能实验室);Ecole Polytechnique Paris(巴黎高等理工学院)
针对大语言模型推理强化学习依赖真实奖励或在线计算成本高的问题,提出轻量级离线迭代强化学习方法RoiRL,无需参考模型,训练更快且推理性能更优,为无标签自提升大模型提供可扩展路径。
2025-10-03 cs.LG
Reducing Conservativeness Oriented Offline Reinforcement Learning
Tsinghua University(清华大学)
在离线强化学习中,策略学习使用固定的数据集合来最大化累积奖励。对于保守策略,现有方法选择正则化行为策略或学习价值函数的下界。然而,过度的保守性往往会削弱策略的泛化能力,降低其性能,特别是对于混合数据集。本文提出了一种面向强化学习的降低保守性的方法。一方面,该策略被训练为更多地关注静态数据集中的少数样本,以解决数据不平衡问题。另一方面,我们给出了一个更严格的下限的价值函数比以前的方法来发现潜在的最优行动。因此,我们提出的方法是能够解决所提供的数据集的偏态分布,并得出一个价值函数更接近预期的价值函数。实验结果表明,该方法在D4RL离线强化学习评估任务和我们自己设计的混合数据集上的性能优于现有方法。
2021-02-27 cs.LG
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法,结合RCSL的稳定性与Q函数的缝合能力,通过自适应整合Q-辅助到损失函数中,提升离线强化学习性能。
2026-03-13 cs.LG
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University(山东大学软件学院)
本文提出目标条件均值流策略,通过引入平均速度场改进离线目标条件强化学习的层级策略建模,解决高阶策略生成有效子目标的难题,并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
Diff-DAC: Distributed Actor-Critic for Average Multitask Deep Reinforcement Learning
Information Processing and Telecommunications Center - Universidad Politécnica de Madrid(信息处理与电信中心 - 马德里理工大学)
我们提出了一个完全分布式的演员-评论家算法,近似于深度神经网络,命名为\textit{Diff-DAC},应用于单任务和平均多任务强化学习(MRL)。每个代理只能访问其本地任务的数据,但它的目标是学习一个策略,该策略对整个任务集的平均性能都很好。在学习过程中,代理将其价值策略参数传达给邻居,在网络中传播信息,以便它们收敛到一个共同的策略,而不需要中心节点。该方法是可扩展的,因为每个代理的计算和通信成本的增长与其邻居的数量。我们从对偶理论中推导出Diff-DAC,并对标准的演员-评论家框架提供了新的见解,表明它实际上是一个近似线性规划解的双上升方法的实例。实验表明,Diff-DAC可以优于单一的先前分布式MRL方法(即,Dist-MTLPS),甚至是集中式架构。
2020-10-25 cs.LG cs.MA math.OC
The Least Restriction for Offline Reinforcement Learning
强化学习(RL)的许多实际应用限制代理从已经收集的记录交互的固定离线数据集学习,而不提供进一步的数据汇集的可能性。然而,常用的非策略RL算法,如深度Q网络和深度确定性策略梯度,在没有与当前策略下的分布相关的数据的情况下无法学习,使得它们对于这种离线设置无效。作为研究离线强化学习算法的第一步,我们分析了标准离线强化学习算法不稳定的原因。这是由于bootstrapping错误。避免此错误的关键是确保代理的动作空间不会超出固定的离线数据集。基于我们的考虑,本文提出了一个创造性的离线RL框架,最小约束(LR)。LR将选择动作视为从概率分布中抽取样本。它只是对动作选择设置了一个小小的限制,这不仅避免了动作在离线数据集之外,还消除了早期方法(例如批量约束深度Q学习)中的所有不合理限制。在进一步的研究中,我们将证明LR能够从不同的离线数据集(包括随机和次优演示)中鲁棒地学习一系列实际控制任务。
2021-07-05 cs.LG
CLUE: Calibrated Latent Guidance for Offline Reinforcement Learning
Zhejiang University(浙江大学);Westlake University(西湖大学)
CLUE利用条件变分自编码器学习校准潜在空间,以专家数据驱动内在奖励,消除外在奖励需求,提升稀疏奖励离线RL性能、超越离线IL基线并发现多样技能。
2023-10-15 cs.LG
Augmenting Offline Reinforcement Learning with State-only Interactions
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出利用无奖励的仅状态在线交互,通过条件扩散模型生成高回报轨迹并与离线数据拼接增强,从而提升下游离线强化学习性能。
2024-10-02 cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University(台湾大学);MediaTek Research(联发科技研究院)
本文提出一种基于核函数近似的离线强化学习算法,有效利用低成本无标签数据,并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Offline Reinforcement Learning for Mobile Notifications
LinkedIn Corporation(领英公司)
移动通知系统在推动和维持在线平台的用户参与方面发挥了重要作用。对于机器学习从业者来说,它们是有趣的推荐系统,具有更多的顺序和长期反馈考虑。通知系统中的大多数机器学习应用都是围绕响应预测模型构建的,试图将短期影响和长期影响归因于通知决策。然而,用户的体验取决于一系列通知,并且将影响归因于单个通知并不总是准确的,如果不是不可能的话。在本文中,我们认为,强化学习是一个更好的框架通知系统的性能和迭代速度。我们提出了一个离线强化学习框架来优化驱动用户参与的顺序通知决策。我们描述了一种状态边缘化的重要性采样策略评估方法,该方法可用于离线评估策略和调整学习超参数。通过模拟近似的通知生态系统,我们展示了离线评估方法的性能和优势,作为强化学习建模方法的一部分。最后,我们通过生产系统的在线探索收集数据,训练离线双深Q网络,在线发布成功的策略。我们还讨论了实际的考虑和结果,通过部署这些政策的大规模推荐系统用例。
2022-02-04 cs.LG
The Challenges of Exploration for Offline Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
离线强化学习(ORL)使我们能够分别研究强化学习的两个相互关联的过程:收集信息经验和推断最佳行为。第二步已经在离线环境中得到了广泛的研究,但对于数据高效的RL来说,同样重要的是收集信息数据。数据汇集的任务不可知设置(其中任务不是先验已知的)特别令人感兴趣,因为可以收集单个数据集并在出现时使用它来解决多个下游任务。我们通过好奇心为基础的内在动机,一个家庭的探索方法,鼓励代理人探索那些状态或过渡,它还没有学会模型的设置。使用Explore2Offline,我们建议通过传输收集的数据并使用奖励重新标记和标准离线RL算法推断策略来评估收集的数据的质量。我们评估了各种各样的数据汇集策略,包括一个新的勘探代理,内在模型预测控制(IMPC),使用该计划,并展示其性能的各种任务。我们使用这个解耦的框架来加强关于探索的直觉和有效离线RL的数据先决条件。
2022-02-19 cs.LG
Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
Department of Computer Science, Johns Hopkins University, Baltimore, MD, U.S.A.(约翰霍普金斯大学计算机科学系);AMLab, University of Amsterdam, Amsterdam, Netherlands(阿姆斯特丹大学AM实验室)
提出DUAL框架,利用扩散模型先验知识蒸馏快速采样扩散策略和转移模型,并通过拉普拉斯近似和距离转移状态偏移检测进行不确定性量化,以改进在线阶段的探索与利用平衡。
2026-05-29 cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文提出OASIS,利用条件扩散模型塑形离线数据分布,以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题,在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东方理工大学);Southeast University(东南大学)
针对离线视觉RL的表征过拟合与奖励高估偏差问题,提出基于模型的CoWorld方法,借助现成RL模拟器搭建离线策略试验台并缓解跨域差异,实现在线到离线知识迁移,性能显著优于现有方法。
2024-10-29 cs.LG
Hybrid Reinforcement Learning from Offline Observation Alone
Carnegie Mellon University(卡内基梅隆大学);Aurora Innovation(奥罗拉创新公司)
本文研究仅观测离线数据下的混合强化学习,在迹模型和可采纳性假设下提出首个可证明匹配复位模型算法性能的方法,并通过实验验证其有效性。
2024-06-11 cs.LG
Distorted Distributional Policy Evaluation for Offline Reinforcement Learning
IBM Research - Tokyo, Japan(IBM东京研究院)
本研究提出分位数扭曲方法,通过调整保守程度改进离线强化学习中回报分位数的估计,提升泛化能力和性能。
2026-01-05 cs.LG
Offline Reinforcement Learning Hands-On
InstaDeep;Sorbonne Université(索邦大学)
离线强化学习(RL)旨在将大型数据集转化为强大的决策引擎,而无需与环境进行任何在线交互。这一伟大的承诺激发了大量的研究,希望复制RL在模拟环境中所取得的成功。这项工作的野心,以反映这些努力,从从业者的观点。我们首先讨论数据集属性,我们假设这些属性可以确定最成功的离线方法的类型。然后,我们通过一组实验验证了这些说法,并设计了从离散和连续动作空间环境中生成的数据集。我们通过实验验证了数据中的多样性和高回报的例子对离线RL的成功至关重要,并表明与同时代人相比,行为克隆仍然是一个强有力的竞争者。总的来说,这项工作是一个教程,可以帮助人们建立对当今离线RL方法及其适用性的直觉。
2020-11-29 cs.LG
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学)
实践中的许多强化学习(RL)问题都是离线的,纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的,这需要量化与不同行为相关的风险。在在线设置中,分布式RL算法通过学习收益分布(即,累积回报)而不是预期回报;除了量化风险之外,他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评(CODAC),一个离线RL算法,适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明,CODAC学习保守的回报分布-特别是,对于有限的MDPs,CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中,在两个具有挑战性的机器人导航任务,CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外,在预期和风险敏感性能方面,CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理,而无需任何交互。为了解决OOD(分布外)行动的高估问题,保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外,这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计(DCE),它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时,引入了V-函数,避免了分布内作用的误差。此外,我们的算法使用了一个可控的惩罚项,改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明,两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Unsupervised Data Generation for Offline Reinforcement Learning: A Perspective from Model
本文从基于模型的离线强化学习优化视角,理论分析了批次数据对算法性能的影响,提出UDG方法在任务无关设置下生成并选择数据,有效缩小与最优策略的性能差距并在未知任务上超越监督式数据生成。
2025-06-24 cs.LG
Data-Incremental Continual Offline Reinforcement Learning
School of Engineering, Westlake University(西湖大学工程学院)
提出数据增量式持续离线强化学习设置,针对主动遗忘问题,设计基于经验回放的集成隐式Q学习算法,有效缓解遗忘并提升性能。
2024-12-16 cs.LG
Measuring Data Quality for Dataset Selection in Offline Reinforcement Learning
Siemens Technology(西门子技术);Technical University of Munich(慕尼黑工业大学)
最近开发的离线强化学习算法使得直接从预先收集的数据集学习策略成为可能,这给从业者带来了一个新的困境:由于算法能够提供的性能在很大程度上取决于呈现给他们的数据集,从业者需要在可用的数据集中选择正确的数据集。这个问题迄今为止还没有在相应的文献中讨论过。我们讨论了如何选择有前途的数据集的想法,并提出了三个非常简单的指标:估计相对收益改善(ERI)和估计行动随机性(EAS),以及两者的组合(COI),并根据经验表明,尽管它们很简单,但它们可以非常有效地用于数据集选择。
2021-11-26 cs.LG
MAHALO: Unifying Offline Reinforcement Learning and Imitation Learning from Observations
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文提出MAHALO,一种基于悲观性能下界和对抗训练的通用离线PLfO方法,统一处理离线IL、ILfO和RL,并在多类任务上优于或匹配专门算法。
2023-08-06 cs.LG