Bootstrapped Transformer for Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
离线强化学习（RL）旨在从先前收集的静态轨迹数据中学习策略，而无需与真实环境进行交互。最近的工作提供了一个新的视角，通过查看离线RL作为一个通用的序列生成问题，采用序列模型，如Transformer架构，以模拟分布轨迹，并重新利用束搜索作为规划算法。然而，在一般离线RL任务中使用的训练数据集是相当有限的，并且经常遭受不足的分布覆盖，这可能对训练序列生成模型有害，但在以前的工作中尚未引起足够的关注。在本文中，我们提出了一种新的算法名为Bootstrapped Transformer，它结合了自举的思想，并利用学习的模型来自我生成更多的离线数据，以进一步提高序列模型的训练。我们在两个离线RL基准上进行了大量的实验，并证明我们的模型可以在很大程度上弥补现有的离线RL训练限制，并击败其他强大的基线方法。我们还分析了生成的伪数据，揭示的特征可能会对离线RL训练有所启发。这些代码可在https://seqml.github.io/bootorl上获得。
2022-10-18 cs.AI cs.LG cs.RO
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.（Offworld公司）
批量（离线）强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果，并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见，现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习，但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此，我们提出了一种新的方法，使用不确定性估计来触发人类演示数据的注入，并引导策略训练向最佳行为，同时降低整体样本的复杂性。我们的实验表明，这种方法是更有效的样本相比，一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习，并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展，聚焦二者交叉的离线基于模型强化学习领域，总结现有方法解决分布偏移问题的思路，提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习的目标是从固定的数据集中学习策略，而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说，这种设置将成为一个越来越重要的范例，其中数据汇集速度缓慢，并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间（PLAS）中学习策略，以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能，优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University（多特蒙德工业大学）
离线强化学习（RL）提供了一个从离线数据中学习决策的框架，因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车（SDV）学习一种策略，这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中，可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法，该方法利用规划。然而，目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划（UMBRELLA）方法，该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind（谷歌DeepMind）
本研究证明离线演员-评论家强化学习可扩展至大型模型，遵循与监督学习相似的缩放规律，并在132个连续控制任务上超越行为克隆基线，引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo（东京大学）
研究针对离线强化学习中轨迹规划器的问题，提出捷径轨迹规划（STP）框架，将捷径模型作为轨迹生成器，单阶段训练条件捷径轨迹模型，支持可调推理，用增强可行性感知校正的评论家选候选计划，在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Swapped goal-conditioned offline reinforcement learning
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
离线目标条件强化学习（GCRL）由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能，我们提出了一个目标交换过程，生成额外的轨迹。为了减轻噪声和外推误差的问题，我们提出了一种通用的离线强化学习方法，称为确定性Q优势策略梯度（DQAPG）。在实验中，DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法，目标交换进一步改善了测试结果。值得注意的是，所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能，而先前的方法失败了。
2023-02-17 cs.AI cs.LG
ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Bilibili（哔哩哔哩）
针对离线到在线强化学习在线阶段性能下降和提升慢的问题，提出ENOTO框架，通过增加Q网络数量、放宽悲观估计并引入集成探索，显著提升训练稳定性、学习效率与最终性能。
2024-07-21 cs.AI cs.LG cs.RO
When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
在离线强化学习（RL）中，深度Q函数在分布外（OOD）区域的误差积累是影响策略学习的一个重要问题。不幸的是，现有的离线RL方法往往过于保守，不可避免地会损害数据分布之外的泛化性能。在我们的研究中，一个有趣的观察是，深度Q函数在训练数据的凸包内很好地近似。受此启发，我们提出了一种新方法DOGE（Distance-sensitive Offline RL with better GEneralization）。DOGE将数据集几何与离线RL中的深度函数近似器结合在一起，并在可推广的OOD领域进行开发，而不是严格限制数据分布中的策略。具体来说，DOGE训练了一个状态条件距离函数，可以很容易地插入到标准的行动者-批评者方法中作为策略约束。简单而优雅，我们的算法在D4 RL基准测试中比最先进的方法具有更好的泛化能力。理论分析表明，我们的方法的优越性，现有的方法是完全基于数据分布或支持的限制。
2023-02-08 cs.AI cs.LG cs.RO
Contextual Conservative Q-Learning for Offline Reinforcement Learning
离线强化学习是一种在离线数据集上无需在线交互的有效学习策略，由于其潜在的实际应用前景而受到了持续的研究关注。然而，由于分布偏移而产生的外推误差仍会导致离线策略对过渡到分布外（out-of-distribution，OOD）状态的动作估计过高，从而降低了离线策略的可靠性和鲁棒性。在本文中，我们提出了上下文保守的Q学习（C-CQL）学习一个鲁棒可靠的政策，通过捕获的上下文信息通过逆动力学模型。由于扰动状态是OOD状态的一种常见类型，在逆动力学模型的监督下，它倾向于学习在扰动状态下产生稳定过渡的策略。以这种方式，我们使学习的策略更有可能生成过渡，该过渡的目的是离线数据集的经验下一个状态分布，即，稳定可靠的过渡。此外，我们从理论上揭示了C-CQL是保守Q学习（CQL）和积极状态偏差校正（SDC）的推广。最后，实验结果表明，所提出的C-CQL在大多数离线Mujoco套件和嘈杂的Mujoco设置的环境中实现了最先进的性能。
2023-01-16 cs.AI cs.LG cs.RO
Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations
University of Oxford（牛津大学）
本文针对基于视觉观测的连续控制离线强化学习，提出一套更贴近真实数据分布的基准任务，并通过对 DreamerV2 和 DrQ-v2 进行简单修改建立了超越现有方法的竞争性基线，同时系统比较了基于模型与无模型方法的差异。
2023-07-06 cs.AI cs.CV cs.LG
Conservative Data Sharing for Multi-Task Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
离线强化学习（RL）算法在有大量预收集数据的领域已经显示出有希望的结果。然而，先前的方法专注于用离线数据集从头开始解决单个问题，而没有考虑离线RL代理如何获得多种技能。我们认为，离线强化学习的一个自然用例是在这样的环境中，我们可以将在各种场景中收集的大量数据集中起来解决不同的任务，并利用所有这些数据更有效地学习所有任务的行为，而不是孤立地训练每一个任务。然而，在多任务离线RL中的所有任务之间共享数据在实践中表现得非常差。通过深入的实证分析，我们发现共享数据实际上会加剧学习策略和数据集之间的分布变化，这反过来会导致学习策略的发散和性能低下。为了解决这一挑战，我们开发了一种简单的技术，用于多任务离线RL中的数据共享，该技术基于对特定任务数据的改进来路由数据。我们称这种方法为保守数据共享（CDS），它可以应用于多个单任务离线RL方法。在一系列具有挑战性的多任务运动，导航和基于视觉的机器人操作问题上，与先前的离线多任务RL方法和先前的数据共享方法相比，CDS实现了最佳或相当的性能。
2021-09-16 cs.AI cs.LG cs.RO
Offline Reinforcement Learning at Multiple Frequencies
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
利用离线机器人数据的许多来源需要解决这些数据的异构性。在本文中，我们专注于异质性的一个特定方面：从不同控制频率收集的离线数据中学习。在不同的实验室中，控制器的离散化、传感器的采样率以及感兴趣的任务的需求可能不同，从而导致聚合数据集中的频率混合。我们研究了离线强化学习（RL）算法在训练过程中如何适应具有混合频率的数据。我们观察到，对于不同的离散化，$Q$值以不同的速率传播，这导致了许多现成的离线RL的学习挑战。我们提出了一个简单而有效的解决方案，强制一致的$Q$值更新的速度，以稳定学习。通过将$N$步长返回中的$N$值与离散化大小进行缩放，我们有效地平衡了$Q$值传播，从而导致更稳定的收敛。在三个模拟的机器人控制问题上，我们根据经验发现，这种简单的方法平均比单纯的混合方法好50%。
2022-07-26 cs.AI cs.LG cs.RO
Offline Reinforcement Learning with Discrete Diffusion Skills
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
提出离散扩散技能（DDS）用于离线强化学习，利用Transformer编码器和扩散解码器构建紧凑离散技能空间，在长时程任务上显著提升性能，并增强可解释性与稳定性。
2025-03-26 cs.AI cs.LG cs.RO
Offline Reinforcement Learning for Visual Navigation
UC Berkeley（加州大学伯克利分校）
强化学习可以使机器人导航到遥远的目标，同时优化用户指定的奖励功能，包括遵循车道，停留在铺砌的路径上或避免新割的草地的偏好。然而，从真实世界机器人的试错中进行在线学习在逻辑上是具有挑战性的，相反，可以利用机器人导航数据的现有数据集的方法可以具有更大的可扩展性，并实现更广泛的泛化。在本文中，我们介绍了ReViND，这是第一个用于机器人导航的离线RL系统，可以利用以前收集的数据来优化现实世界中用户指定的奖励函数。我们评估了我们的越野导航系统，而无需任何额外的数据汇集或微调，并表明它可以仅使用该数据集的离线训练导航到遥远的目标，并表现出基于用户指定的奖励函数而定性不同的行为。
2022-12-16 cs.CV cs.LG cs.RO
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence（佛罗伦萨大学）；SEED – Electronic Arts（SEED – 艺电）
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题，提出基于世界模型的状态增强策略，可提升离线预训练效果，大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering（科学与工程研究生院）；Chiba University（千叶大学）；Graduate School of Informatics（信息科学研究生院）；Zuse Institute Berlin（柏林泽尼奇研究所）
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性，发现其比在线方法更脆弱，表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University（庆应义塾大学）；Sony AI（索尼AI）
在本文中，我们介绍了d3rlpy，一个开源的离线深度强化学习（RL）库。d3rlpy支持一组离线深度RL算法，以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题，我们使用D4RL和Atari 2600数据集进行了大规模基准测试，以确保实现质量，并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到：\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim，一种基于模型的离线逆强化学习框架，通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构，提升探索性和泛化能力，无需与真实环境交互。
2026-03-25 cs.AI cs.LG
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习（RL）中不太明显，因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中，我们提出了离线RL（ExORL）的探索性数据，这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据，然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现，探索性数据允许香草离线策略RL算法，没有任何离线特定的修改，在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明，数据生成与离线RL的算法进步一样重要，因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
Fully Offline Reinforcement Learning
研究完全离线强化学习问题，提出基于贝叶斯模型的SOReL方法及扩展的TOReL方法，通过学习动力学后验、预测不确定性估计策略值实现完全离线超参数选择，建立实用且有理论基础的完全离线强化学习框架。
2026-11-02 cs.AI cs.LG
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题，提出SAMG范式，通过冻结离线评论家提供状态-动作级引导，无需重训离线数据，在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University（清华大学）
离线强化学习（RL）显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中，我们采用了一个不同的框架，它学习V函数而不是Q函数，以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化，我们提出了期望V学习（EVL），它平滑地插入最优值学习和行为克隆之间。此外，我们沿着离线轨迹引入隐式规划，以增强学习的V值并加速收敛。同时，我们提出了一种新的离线方法，称为基于价值的情景记忆（VEM）。我们提供了我们提出的VEM方法的收敛特性的理论分析，并在D4RL基准测试的实证结果表明，我们的方法在大多数任务，特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Data Valuation for Offline Reinforcement Learning
L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
深度强化学习（DRL）的成功取决于训练数据的可用性，这些数据通常是通过大量的环境交互获得的。在许多现实世界的场景中，成本和风险与收集这些数据有关。离线强化学习领域通过将数据收集外包给领域专家或仔细监控的程序并随后搜索批量约束的最优策略来解决这些问题。随着数据市场的出现，内部构建数据集的另一种选择是购买外部数据。然而，虽然最先进的离线强化学习方法已经显示出很大的前景，但它们目前依赖于精心构建的数据集，这些数据集与预期的目标领域保持一致。这就提出了关于在外部获取的数据上训练的离线强化学习代理的可转移性和鲁棒性的问题。在本文中，我们经验性地评估了当前最先进的离线强化学习方法在两个MuJoCo环境中处理源-目标域不匹配的能力，发现当前最先进的离线强化学习算法在目标域中表现不佳。为了解决这个问题，我们提出了离线强化学习（DVORL）的数据估值，这使我们能够识别相关和高质量的转换，提高离线强化学习算法学习的策略的性能和可移植性。结果表明，我们的方法优于两个MuJoCo环境下的离线强化学习基线。
2022-05-19 cs.LG
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley（加州大学伯克利分校）；Google Research, Brain Team（谷歌研究大脑团队）
在这篇教程文章中，我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具：强化学习算法利用以前收集的数据，而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略，从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而，当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战，特别是在现代深度强化学习方法的背景下，并描述在最近的工作中探索的一些潜在解决方案，以减轻这些挑战，以及最近的应用，以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（Offline reinforcement learning，RL）将经典RL算法的范式扩展到纯粹从静态数据集学习，而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性，这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响，我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外，我们训练一个动力学模型来实现这种正则化，并更好地估计当前策略的平稳分布，减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上，我们的方法显示出有竞争力的性能，这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Dealing with the Unknown: Pessimistic Offline Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）已被证明是有效的，在这些领域中，代理可以通过主动与其操作环境交互来学习策略。然而，如果我们将RL方案更改为离线设置，其中代理只能通过静态数据集更新其策略，则出现离线强化学习中的一个主要问题，即分布偏移。我们提出了一种Pessiphon离线强化学习（PessORL）算法，通过操纵价值函数，主动引导智能体回到它熟悉的区域。我们专注于由分布外（OOD）状态引起的问题，并故意惩罚训练数据集中不存在的状态处的高值，以便学习到的悲观价值函数在状态空间内的任何地方都有真实值的下限。我们评估的PessORL算法在各种基准任务，在那里我们表明，我们的方法获得更好的性能显式处理OOD状态相比，这些方法只考虑OOD行动。
2021-11-09 cs.LG cs.RO
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文针对离线强化学习零样本泛化问题，提出悲观经验风险最小化和悲观近端策略优化两种方法，并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University（中南大学）
针对运营车队无法探索及模拟器与目标动态差异问题，提出完成度感知的跨保真度离线到在线强化学习方法，用于多线路公交驻站控制，解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Contextual Transformer for Offline Meta Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；University College London（伦敦大学学院）；Chinese Academy of Sciences（中国科学院）；King’s College London（伦敦国王学院）
大规模序列模型中的预训练-微调范式在自然语言处理和计算机视觉任务中取得了重大进展。然而，这样的范例仍然受到强化学习（RL）中的几个挑战的阻碍，包括缺乏基于离线数据的自监督预训练算法和对看不见的下游任务的有效微调/微调。在这项工作中，我们将探讨如何提示可以改善基于序列建模的离线强化学习（离线-RL）算法。首先，我们提出了提示微调离线RL，其中上下文向量序列与输入连接，以指导有条件的策略生成。因此，我们可以在离线数据集上预训练具有自我监督损失的模型，并学习提示以引导策略实现所需的操作。其次，我们将我们的框架扩展到元强化学习设置，并提出上下文Meta Transformer（CMT）; CMT利用不同任务之间的上下文作为提示，以提高未见过的任务的泛化。我们在三种不同的离线RL设置中进行了广泛的实验：D4 RL数据集上的离线单代理RL，MuJoCo基准测试上的离线Meta-RL和SMAC基准测试上的离线MARL。优越的结果验证了我们的方法的强大性能和通用性。
2022-11-15 cs.AI cs.LG
Uncertainty Estimation Using Riemannian Model Dynamics for Offline Reinforcement Learning
Technion Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
基于模型的离线强化学习方法通常依赖于模型误差的界限。估计这些界限通常通过不确定性估计方法来实现。在这项工作中，我们结合了参数和非参数方法的不确定性估计，通过一种新的潜在空间为基础的度量。特别是，我们建立在黎曼几何的生成模型的最新进展，构建一个回调度量的编码器-解码器为基础的前向模型。我们提出的度量标准既衡量了分布外样本的质量，也衡量了数据中示例的差异。我们利用我们的方法在一个悲观的基于模型的框架不确定性估计，显示了显着的改进，当代基于模型的离线方法的连续控制和自动驾驶基准。
2022-10-28 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）
传统的强化学习（RL）需要一个环境来收集新的数据，当在线交互成本高昂时，这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而，如果离线数据集的质量很差，它将产生不令人满意的性能。在本文中，我们考虑了一个离线到在线的设置，代理首先从离线数据集学习，然后在线训练，并提出了一个框架，称为自适应策略学习，有效地利用离线和在线数据。具体来说，我们显式地考虑在线和离线数据之间的差异，并相应地应用自适应更新方案，即，离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后，我们对流行的连续控制任务进行了大量的实验，结果表明，即使在离线数据集质量较差的情况下，我们的算法也能以较高的样本效率学习专家策略，例如，随机数据集。
2023-03-14 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
On the Opportunities and Challenges of Offline Reinforcement Learning for Recommender Systems
Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；UNSW Sydney（新南威尔士大学悉尼分校）；UCSD（加利福尼亚大学圣地亚哥分校）；University of Klagenfurt（克拉根福大学）
针对强化学习推荐系统数据效率低的问题，本文介绍适配推荐系统海量离线数据的离线强化学习框架，综述该领域现有研究，指出挑战、机遇与未来方向，推动相关研究发展。
2023-08-22 cs.AI cs.IR
Offline Reinforcement Learning with Adaptive Behavior Regularization
Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
离线强化学习（RL）定义了一种样本高效的学习范式，其中从静态和先前收集的数据集学习策略，而无需与环境进行额外的交互。离线RL的主要障碍是评估分布外动作的价值所产生的估计误差。为了解决这个问题，大多数现有的离线RL方法试图获得一个策略，既“接近”包含在数据集中的行为，并充分改善它们，这需要在两个可能冲突的目标之间进行权衡。在本文中，我们提出了一种新的方法，我们称之为自适应行为正则化（ABR），以平衡这一关键的权衡。通过简单地利用基于样本的正则化，ABR使策略能够在克隆和改进用于生成数据集的策略之间自适应地调整其优化目标。在D4RL数据集上的评估中，广泛采用的离线强化学习的基准，ABR可以实现与现有的最先进的算法相比，改进或有竞争力的性能。
2022-11-15 cs.AI cs.LG
On the Statistical Complexity for Offline and Low-Adaptive Reinforcement Learning with Structures
Princeton University（普林斯顿大学）；UC San Diego（加州大学圣迭戈分校）
本文综述离线RL中OPE与OPL的统计复杂性、近最优依实例方法及证明技术，并引入低自适应探索以弥合离线与在线RL。
2025-01-03 cs.AI cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）
研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Trajectory-Level Data Augmentation for Offline Reinforcement Learning
University of Applied Sciences Kempten（凯普滕应用科学大学）
本文提出一种离线强化学习的数据增强方法，通过利用任务结构和奖励、价值函数及日志策略的几何关系，提升有限子最优轨迹下的模型训练效果。
2026-05-13 cs.LG cs.RO stat.ML
Offline-Online Reinforcement Learning for Energy Pricing in Office Demand Response: Lowering Energy and Data Costs
University of California, Berkeley（加州大学伯克利分校）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力，将为社区提供价值，但为强化学习代理收集训练数据的成本很高，而且会受到限制。在这项工作中，我们研究如何利用离线培训来最大限度地减少数据成本（加速融合）和计划实施成本。我们提出了两种方法来做到这一点：预训练我们的模型，以热启动实验与模拟任务，并使用一个规划模型训练，以模拟现实世界的奖励代理。我们提出的结果表明，实用的离线强化学习，以有效的价格设定的能源需求响应问题。
2021-08-14 cs.AI cs.LG
DiffStitch: Boosting Offline Reinforcement Learning with Diffusion-based Trajectory Stitching
Jilin University（吉林大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出DiffStitch，一种基于扩散的轨迹拼接数据增强方法，通过连接低奖励与高奖励轨迹生成全局最优轨迹，在D4RL上显著提升多种离线强化学习算法的性能。
2024-02-22 cs.AI cs.LG
Exclusively Penalized Q-learning for Offline Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；UNIST（蔚山科学技术院）
针对离线强化学习中惩罚价值函数可能引入不必要欠估计偏差的问题，提出 EPQ，仅选择性惩罚易产生估计误差的状态，从而降低偏差并提升多种离线控制任务性能。
2024-10-24 cs.AI cs.LG
Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning
Aalto University（阿尔托大学）；Technical University Darmstadt（达姆施塔特工业大学）
离线强化学习通过从固定数据集学习，使得在不与环境交互的情况下学习代理行为成为可能。然而，根据离线数据集的质量，这种预先训练的代理可能具有有限的性能，并且还需要通过与环境交互来在线微调。在在线微调期间，由于从离线数据到在线数据的突然分布偏移，预先训练的代理的性能可能迅速崩溃。虽然离线RL方法（如行为克隆丢失）强制执行的约束在一定程度上防止了这一点，但这些约束也通过迫使代理保持接近行为策略来显着减缓在线微调。我们提出了自适应权衡行为克隆损失在线微调的基础上代理的性能和训练的稳定性。此外，我们使用一个随机的Q函数集成，通过执行大量的学习更新，进一步提高在线微调的样本效率。实验表明，该方法产生的最先进的离线到在线强化学习性能流行的D4RL基准。代码可用：\url{https://github.com/zhaoyi11/adaptive_bc}。
2022-10-25 cs.LG cs.RO
On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（离线RL）考虑仅使用先前收集的样本执行学习的问题，并且对于收集新数据成本高或风险大的设置很有帮助。在基于模型的离线RL中，学习者使用根据经验转换频率构建的模型执行估计（或优化）。我们分析了样本复杂性香草模型为基础的离线RL与相关样本在无限时域折扣奖励设置。在我们的设置中，样本服从马尔可夫决策过程的动态，因此，可能具有相互依赖性。在没有独立样本的假设下，我们提供了一个高概率，多项式样本的复杂性约束香草模型为基础的关闭政策的评估，需要部分或均匀覆盖。我们将这一结果推广到一致覆盖下的非策略优化问题。作为基于模型的方法的比较，我们分析了香草重要性采样在无限时域设置的离政策评估的样本复杂性。最后，我们提供了一个估计，优于样本均值估计几乎确定性的动态，普遍存在于强化学习。
2023-03-07 cs.AI cs.LG
Offline Reinforcement Learning with Penalized Action Noise Injection
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室公司）
本文提出带惩罚的动作噪声注入方法PANI，通过覆盖动作空间并依据噪声量惩罚来增强离线强化学习，无需扩散模型即可在多个基准上显著提升性能。
2025-07-03 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Hokoff: Real Game Dataset from Honor of Kings and its Offline Reinforcement Learning Benchmarks
Tsinghua University（清华大学）；Tencent Timi Studio（腾讯天美工作室）；Tencent AI Lab（腾讯AI实验室）
本文提出 Hokoff 数据集及框架，基于《王者荣耀》构建离线 RL 和离线 MARL 基准，并针对分层动作空间提出新基线算法，揭示现有离线 RL 方法在任务复杂性、泛化和多任务学习上的不足。
2024-11-22 cs.AI cs.LG
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
自我监督方法通过利用数据本身来减少对昂贵注释的需求，对于推进深度学习至关重要。然而，如何以原则性的方式进行自监督离线强化学习（RL）的问题仍然不清楚。在本文中，我们解决这个问题，通过研究在半监督设置中的线性马尔可夫决策过程（MDP）中利用无奖励数据的理论优势。此外，我们提出了一种新的，可证明的数据共享算法（PDS），利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估，确保算法的保守性。我们在各种离线RL任务上的结果表明，PDS显着提高了离线RL算法的性能与无奖励数据。总的来说，我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处，同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST（韩国科学技术院）
针对离线强化学习中设计奖励信号成本高的问题，提出基于大型视觉语言模型的奖励生成方法RG-VLM，无需人类参与即可从离线数据生成奖励，能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Benchmarking Offline Reinforcement Learning on Real-Robot Hardware
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Harvard University（哈佛大学）；KTH Stockholm（斯德哥尔摩皇家理工学院）
针对真实机器人离线强化学习，提出包含灵巧操作数据和真机执行选项的基准，评估开源算法并提供可复现实验设置。
2023-07-28 cs.LG cs.RO
