Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence（佛罗伦萨大学）；SEED – Electronic Arts（SEED – 艺电）
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题，提出基于世界模型的状态增强策略，可提升离线预训练效果，大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University（庆应义塾大学）；Sony AI（索尼AI）
在本文中，我们介绍了d3rlpy，一个开源的离线深度强化学习（RL）库。d3rlpy支持一组离线深度RL算法，以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题，我们使用D4RL和Atari 2600数据集进行了大规模基准测试，以确保实现质量，并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到：\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim，一种基于模型的离线逆强化学习框架，通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构，提升探索性和泛化能力，无需与真实环境交互。
2026-03-25 cs.AI cs.LG
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习（RL）中不太明显，因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中，我们提出了离线RL（ExORL）的探索性数据，这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据，然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现，探索性数据允许香草离线策略RL算法，没有任何离线特定的修改，在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明，数据生成与离线RL的算法进步一样重要，因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
Fully Offline Reinforcement Learning
研究完全离线强化学习问题，提出基于贝叶斯模型的SOReL方法及扩展的TOReL方法，通过学习动力学后验、预测不确定性估计策略值实现完全离线超参数选择，建立实用且有理论基础的完全离线强化学习框架。
2026-11-02 cs.AI cs.LG
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题，提出SAMG范式，通过冻结离线评论家提供状态-动作级引导，无需重训离线数据，在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University（清华大学）
离线强化学习（RL）显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中，我们采用了一个不同的框架，它学习V函数而不是Q函数，以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化，我们提出了期望V学习（EVL），它平滑地插入最优值学习和行为克隆之间。此外，我们沿着离线轨迹引入隐式规划，以增强学习的V值并加速收敛。同时，我们提出了一种新的离线方法，称为基于价值的情景记忆（VEM）。我们提供了我们提出的VEM方法的收敛特性的理论分析，并在D4RL基准测试的实证结果表明，我们的方法在大多数任务，特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（Offline reinforcement learning，RL）将经典RL算法的范式扩展到纯粹从静态数据集学习，而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性，这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响，我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外，我们训练一个动力学模型来实现这种正则化，并更好地估计当前策略的平稳分布，减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上，我们的方法显示出有竞争力的性能，这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文针对离线强化学习零样本泛化问题，提出悲观经验风险最小化和悲观近端策略优化两种方法，并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University（中南大学）
针对运营车队无法探索及模拟器与目标动态差异问题，提出完成度感知的跨保真度离线到在线强化学习方法，用于多线路公交驻站控制，解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展，聚焦二者交叉的离线基于模型强化学习领域，总结现有方法解决分布偏移问题的思路，提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Contextual Transformer for Offline Meta Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；University College London（伦敦大学学院）；Chinese Academy of Sciences（中国科学院）；King’s College London（伦敦国王学院）
大规模序列模型中的预训练-微调范式在自然语言处理和计算机视觉任务中取得了重大进展。然而，这样的范例仍然受到强化学习（RL）中的几个挑战的阻碍，包括缺乏基于离线数据的自监督预训练算法和对看不见的下游任务的有效微调/微调。在这项工作中，我们将探讨如何提示可以改善基于序列建模的离线强化学习（离线-RL）算法。首先，我们提出了提示微调离线RL，其中上下文向量序列与输入连接，以指导有条件的策略生成。因此，我们可以在离线数据集上预训练具有自我监督损失的模型，并学习提示以引导策略实现所需的操作。其次，我们将我们的框架扩展到元强化学习设置，并提出上下文Meta Transformer（CMT）; CMT利用不同任务之间的上下文作为提示，以提高未见过的任务的泛化。我们在三种不同的离线RL设置中进行了广泛的实验：D4 RL数据集上的离线单代理RL，MuJoCo基准测试上的离线Meta-RL和SMAC基准测试上的离线MARL。优越的结果验证了我们的方法的强大性能和通用性。
2022-11-15 cs.AI cs.LG
Uncertainty Estimation Using Riemannian Model Dynamics for Offline Reinforcement Learning
Technion Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
基于模型的离线强化学习方法通常依赖于模型误差的界限。估计这些界限通常通过不确定性估计方法来实现。在这项工作中，我们结合了参数和非参数方法的不确定性估计，通过一种新的潜在空间为基础的度量。特别是，我们建立在黎曼几何的生成模型的最新进展，构建一个回调度量的编码器-解码器为基础的前向模型。我们提出的度量标准既衡量了分布外样本的质量，也衡量了数据中示例的差异。我们利用我们的方法在一个悲观的基于模型的框架不确定性估计，显示了显着的改进，当代基于模型的离线方法的连续控制和自动驾驶基准。
2022-10-28 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）
传统的强化学习（RL）需要一个环境来收集新的数据，当在线交互成本高昂时，这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而，如果离线数据集的质量很差，它将产生不令人满意的性能。在本文中，我们考虑了一个离线到在线的设置，代理首先从离线数据集学习，然后在线训练，并提出了一个框架，称为自适应策略学习，有效地利用离线和在线数据。具体来说，我们显式地考虑在线和离线数据之间的差异，并相应地应用自适应更新方案，即，离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后，我们对流行的连续控制任务进行了大量的实验，结果表明，即使在离线数据集质量较差的情况下，我们的算法也能以较高的样本效率学习专家策略，例如，随机数据集。
2023-03-14 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Offline Reinforcement Learning with Adaptive Behavior Regularization
Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
离线强化学习（RL）定义了一种样本高效的学习范式，其中从静态和先前收集的数据集学习策略，而无需与环境进行额外的交互。离线RL的主要障碍是评估分布外动作的价值所产生的估计误差。为了解决这个问题，大多数现有的离线RL方法试图获得一个策略，既“接近”包含在数据集中的行为，并充分改善它们，这需要在两个可能冲突的目标之间进行权衡。在本文中，我们提出了一种新的方法，我们称之为自适应行为正则化（ABR），以平衡这一关键的权衡。通过简单地利用基于样本的正则化，ABR使策略能够在克隆和改进用于生成数据集的策略之间自适应地调整其优化目标。在D4RL数据集上的评估中，广泛采用的离线强化学习的基准，ABR可以实现与现有的最先进的算法相比，改进或有竞争力的性能。
2022-11-15 cs.AI cs.LG
On the Statistical Complexity for Offline and Low-Adaptive Reinforcement Learning with Structures
Princeton University（普林斯顿大学）；UC San Diego（加州大学圣迭戈分校）
本文综述离线RL中OPE与OPL的统计复杂性、近最优依实例方法及证明技术，并引入低自适应探索以弥合离线与在线RL。
2025-01-03 cs.AI cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）
研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Offline-Online Reinforcement Learning for Energy Pricing in Office Demand Response: Lowering Energy and Data Costs
University of California, Berkeley（加州大学伯克利分校）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力，将为社区提供价值，但为强化学习代理收集训练数据的成本很高，而且会受到限制。在这项工作中，我们研究如何利用离线培训来最大限度地减少数据成本（加速融合）和计划实施成本。我们提出了两种方法来做到这一点：预训练我们的模型，以热启动实验与模拟任务，并使用一个规划模型训练，以模拟现实世界的奖励代理。我们提出的结果表明，实用的离线强化学习，以有效的价格设定的能源需求响应问题。
2021-08-14 cs.AI cs.LG
DiffStitch: Boosting Offline Reinforcement Learning with Diffusion-based Trajectory Stitching
Jilin University（吉林大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出DiffStitch，一种基于扩散的轨迹拼接数据增强方法，通过连接低奖励与高奖励轨迹生成全局最优轨迹，在D4RL上显著提升多种离线强化学习算法的性能。
2024-02-22 cs.AI cs.LG
Exclusively Penalized Q-learning for Offline Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；UNIST（蔚山科学技术院）
针对离线强化学习中惩罚价值函数可能引入不必要欠估计偏差的问题，提出 EPQ，仅选择性惩罚易产生估计误差的状态，从而降低偏差并提升多种离线控制任务性能。
2024-10-24 cs.AI cs.LG
On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（离线RL）考虑仅使用先前收集的样本执行学习的问题，并且对于收集新数据成本高或风险大的设置很有帮助。在基于模型的离线RL中，学习者使用根据经验转换频率构建的模型执行估计（或优化）。我们分析了样本复杂性香草模型为基础的离线RL与相关样本在无限时域折扣奖励设置。在我们的设置中，样本服从马尔可夫决策过程的动态，因此，可能具有相互依赖性。在没有独立样本的假设下，我们提供了一个高概率，多项式样本的复杂性约束香草模型为基础的关闭政策的评估，需要部分或均匀覆盖。我们将这一结果推广到一致覆盖下的非策略优化问题。作为基于模型的方法的比较，我们分析了香草重要性采样在无限时域设置的离政策评估的样本复杂性。最后，我们提供了一个估计，优于样本均值估计几乎确定性的动态，普遍存在于强化学习。
2023-03-07 cs.AI cs.LG
Offline Reinforcement Learning with Penalized Action Noise Injection
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室公司）
本文提出带惩罚的动作噪声注入方法PANI，通过覆盖动作空间并依据噪声量惩罚来增强离线强化学习，无需扩散模型即可在多个基准上显著提升性能。
2025-07-03 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Hokoff: Real Game Dataset from Honor of Kings and its Offline Reinforcement Learning Benchmarks
Tsinghua University（清华大学）；Tencent Timi Studio（腾讯天美工作室）；Tencent AI Lab（腾讯AI实验室）
本文提出 Hokoff 数据集及框架，基于《王者荣耀》构建离线 RL 和离线 MARL 基准，并针对分层动作空间提出新基线算法，揭示现有离线 RL 方法在任务复杂性、泛化和多任务学习上的不足。
2024-11-22 cs.AI cs.LG
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
自我监督方法通过利用数据本身来减少对昂贵注释的需求，对于推进深度学习至关重要。然而，如何以原则性的方式进行自监督离线强化学习（RL）的问题仍然不清楚。在本文中，我们解决这个问题，通过研究在半监督设置中的线性马尔可夫决策过程（MDP）中利用无奖励数据的理论优势。此外，我们提出了一种新的，可证明的数据共享算法（PDS），利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估，确保算法的保守性。我们在各种离线RL任务上的结果表明，PDS显着提高了离线RL算法的性能与无奖励数据。总的来说，我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处，同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST（韩国科学技术院）
针对离线强化学习中设计奖励信号成本高的问题，提出基于大型视觉语言模型的奖励生成方法RG-VLM，无需人类参与即可从离线数据生成奖励，能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Offline Reinforcement Learning with Reverse Model-based Imagination
Tsinghua University（清华大学）；Baidu Inc.（百度）
在离线强化学习（offline RL）中，一个主要的挑战是处理学习策略和给定数据集之间的分布变化。为了解决这个问题，最近的离线RL方法试图引入保守主义偏见，以鼓励在高置信度区域学习。无模型方法使用保守正则化或特殊网络结构将这种偏差直接编码到策略或价值函数学习中，但其受限的策略搜索限制了离线数据集之外的泛化。基于模型的方法学习具有保守性量化的前向动力学模型，然后生成假想的轨迹来扩展离线数据集。然而，由于离线数据集的样本有限，保守性量化往往遭受过度泛化的支持区域。不可靠的保守度量会将基于正向模型的想象误导到不期望的区域，导致过度激进的行为。为了鼓励更多的保守主义，我们提出了一种新的基于模型的离线RL框架，称为反向离线基于模型的想象（ROMI）。我们学习了一个反向动态模型与一个新的反向策略，它可以生成导致离线数据集内的目标状态的推出。这些逆向想象为无模型策略学习提供了有根据的数据增强，并使离线数据集之外的保守泛化成为可能。ROMI可以有效地结合现成的无模型算法，使基于模型的泛化具有适当的保守性。实验结果表明，我们的方法可以产生更保守的行为，并实现最先进的性能离线RL基准任务。
2021-11-14 cs.AI cs.LG
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University（麦吉尔大学）；Quebec AI Institute（魁北克人工智能研究所）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
强化学习（RL）代理被广泛用于解决复杂的顺序决策任务，但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明，使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力，即使用自监督学习（SSL），但它们在离线RL设置中挣扎，即从静态数据集学习。我们发现，在RL的泛化在线算法的性能可能会受到阻碍，由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架，称为广义相似性函数（GSF），它使用对比学习训练离线RL代理聚合观察的基础上，他们的预期未来行为的相似性，在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明，GSF是一般的，足以恢复现有的SSL目标，同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试，离线Procgen。
2021-11-29 cs.AI cs.LG
Measurement Scheduling for ICU Patients with Offline Reinforcement Learning
University of Toronto（多伦多大学）
针对ICU患者冗余实验室检查问题，本研究为新发布的MIMIC-IV数据集引入预处理流程，并探索最先进Offline-RL方法在优化检查调度策略上的有效性及实用性。
2024-02-12 cs.AI cs.LG
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Syracuse University（雪城大学）
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题，提出CauCRL算法，通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
针对联邦离线强化学习中简单结合标准方法性能差的问题，提出基于集成学习提炼客户端智慧的FEDORA算法，在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
Permutation Equivariant Model-based Offline Reinforcement Learning for Auto-bidding
Alibaba Group（阿里巴巴集团）
本文提出PE-MORL算法，通过排列等变模型和悲观Q学习弥合模拟器与现实差距，在真实数据上扩展状态覆盖，超越现有自动出价方法。
2025-06-22 cs.AI cs.LG
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley（加州大学伯克利分校）；Google Research, Brain Team（谷歌研究大脑团队）
在这篇教程文章中，我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具：强化学习算法利用以前收集的数据，而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略，从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而，当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战，特别是在现代深度强化学习方法的背景下，并描述在最近的工作中探索的一些潜在解决方案，以减轻这些挑战，以及最近的应用，以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
Offline Trajectory Optimization for Offline Reinforcement Learning
Shandong University（山东大学）；Leiden University（莱顿大学）；Westlake University（西湖大学）
提出OTTO离线轨迹优化方法，通过World Transformers生成长时序模拟轨迹，并利用基于不确定性的World Evaluator评估与校正数据，有效提升了离线RL算法在复杂环境中的性能。
2025-07-10 cs.AI cs.LG
Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills
Afeka College of Engineering（阿菲卡工程学院）；Bosch Center for AI（博世人工智能中心）
本文提出离线技能图（OSG）框架，通过三个模块利用离线强化学习技能进行规划，使智能体从历史数据中泛化解决长时域任务，并在机器人手臂上验证其有效性。
2023-06-23 cs.AI cs.LG cs.RO
Offline Reinforcement Learning with Behavioral Supervisor Tuning
Imperial College London（帝国理工学院）
提出TD3-BST算法，通过训练不确定性模型引导策略在数据集支持范围内选择动作，无需针对数据集调整超参数即可在基准测试中取得最佳性能。
2024-07-27 cs.AI cs.LG
Constraints Penalized Q-learning for Safe Offline Reinforcement Learning
Xidian University（西安电子科技大学）；JD Technology（京东科技）；JD Intelligent Cities Research（京东智能城市研究院）；Tsinghua University（清华大学）
研究了安全的离线强化学习（RL）问题，目标是学习一种策略，在满足安全约束的同时，只给离线数据，而不与环境进一步交互。这个问题对于现实世界的RL应用程序更有吸引力，其中数据汇集是昂贵的或危险的。强制执行约束满足是不平凡的，特别是在离线设置中，因为在策略分布和数据分布之间存在潜在的大的差异，从而导致在估计安全约束的值时的错误。我们表明，结合安全RL和离线RL技术的天真方法只能学习次优解决方案。因此，我们开发了一个简单而有效的算法，约束惩罚Q学习（CPQ），来解决这个问题。我们的方法允许使用由混合行为策略生成的数据。我们提出了一个理论分析和经验证明，我们的方法可以学习强大的各种基准控制任务，优于几个基线。
2022-04-08 cs.AI cs.LG
Bayes Adaptive Monte Carlo Tree Search for Offline Model-based Reinforcement Learning
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出贝叶斯自适应蒙特卡洛树搜索算法，用于提升离线模型驱动强化学习的性能，显著优于现有方法。
2026-01-27 cs.AI cs.LG
Preference Elicitation for Offline Reinforcement Learning
ETH AI Center（ETH人工智能中心）；ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（智能系统马克斯·普朗克研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；University of Zürich（苏黎世大学）
本文提出Sim-OPRL算法，通过环境模型在模拟轨迹上引发偏好，结合悲观与乐观策略，解决离线偏好强化学习中的偏好获取问题，并提供样本复杂度保证与实验验证。
2025-02-28 cs.AI cs.LG
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST（韩国科学技术院）
本文提出FINO方法，通过注入噪声的流匹配提升离线到在线强化学习的样本效率，结合熵引导采样平衡探索与利用，实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Behavior Prior Representation learning for Offline Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；MILA（蒙特利尔学习算法研究所）；Microsoft Research Montreal（微软研究院蒙特利尔）
离线强化学习（RL）在具有丰富和嘈杂输入的环境中挣扎，其中代理只能访问固定的数据集，而没有环境交互。过去的作品提出了共同的解决方案的基础上，预先培训的国家代表，其次是政策培训。在这项工作中，我们介绍了一种简单而有效的方法来学习状态表示。我们的方法，行为先验表示（BPR），学习状态表示与一个易于集成的目标的基础上行为克隆的数据集：我们首先学习状态表示通过模仿动作从数据集，然后训练一个政策上的固定表示，使用任何现成的离线RL算法。从理论上讲，我们证明了BPR进行性能保证时，集成到算法，无论是政策改进保证（保守算法）或产生下界的政策值（悲观算法）。从经验上讲，我们表明，BPR与现有的最先进的离线RL算法相结合，导致在几个离线控制基准显着改善。代码可在\url{https://github.com/bit1029public/offline_bpr}上获得。
2023-02-28 cs.AI cs.LG
Offline Reinforcement Learning from Datasets with Structured Non-Stationarity
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
本文提出一种基于对比预测编码的离线强化学习方法，用于处理数据集中的结构化非平稳性，在训练时考虑并在评估时预测变化，在连续控制和运动任务中达到oracle性能并优于基线。
2024-05-28 cs.AI cs.LG
Offline Reinforcement Learning with OOD State Correction and OOD Action Suppression
Tsinghua University（清华大学）
针对离线强化学习中未被充分研究的分布外状态导致性能下降的问题，提出统一分布外状态校正与动作抑制的SCAS方法，无需额外调优即有优异性能且抗扰动鲁棒性更强。
2024-11-01 cs.AI cs.LG
Expressive Value Learning for Scalable Offline Reinforcement Learning
Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Kempner Institute（凯普纳研究所）；Harvard University（哈佛大学）
针对离线强化学习依赖随时间反向传播或策略蒸馏导致计算昂贵或复合误差的问题，提出EVOR方法，通过流匹配学习正则化Q函数并利用拒绝采样进行推理时策略提取，在多样化任务上优于基线。
2025-10-09 cs.AI cs.LG
FOVA: Offline Federated Reinforcement Learning with Mixed-Quality Data
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络科学与技术学院）；Department of Computer Science and Technology, BNRist, Tsinghua University（清华大学计算机科学与技术系）；Zhongguancun Laboratory（中关村实验室）
FOVA通过引入投票机制和优势加权回归，有效提升离线联邦强化学习在混合质量数据下的性能和稳定性。
2025-12-02 cs.AI cs.LG
Enhancing Robustness of Offline Reinforcement Learning Under Data Corruption via Sharpness-Aware Minimization
本文提出通过尖锐意识最小化提升离线强化学习在数据腐蚀下的鲁棒性，通过整合SAM优化器改进IQL和RIQL算法，在D4RL基准测试中显著提升性能。
2025-11-14 cs.AI cs.LG
RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
离线强化学习（RL）的目标是在没有进一步环境交互的情况下从记录的数据中找到性能策略。基于模型的算法，从数据集学习环境模型，并在该模型内执行保守的策略优化，已经成为解决这个问题的一种有前途的方法。在这项工作中，我们提出了鲁棒的基于模型的离线RL（RAMBO），这是一种基于模型的离线RL的新方法。我们制定的问题作为一个两个球员零和游戏对抗的环境模型。该模型经过训练，以最小化价值函数，同时仍然准确地预测数据集中的转换，迫使策略在数据集未覆盖的区域保守地采取行动。为了近似地解决两个玩家的游戏，我们在优化策略和对抗性地优化模型之间交替。我们解决的问题配方是理论上的基础，导致在一个可能近似正确（PAC）的性能保证和悲观的价值函数的下限在真实的环境中的价值函数。我们在广泛研究的离线RL基准测试中评估了我们的方法，并证明它优于现有的最先进的基线。
2022-10-11 cs.AI cs.LG
Model-Based Offline Reinforcement Learning with Adversarial Data Augmentation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；City University of Hong Kong（香港城市大学）；School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院）；Department of Computer Science, University of Liverpool（利物浦大学计算机系）
针对离线强化学习中静态数据导致策略不稳健的问题，提出MORAL方法，利用对抗性数据增强和集成模型交替采样扩展训练数据，并引入差分因子正则化，在D4RL基准上优于现有方法。
2025-03-26 cs.AI cs.LG
Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning?
University of Oxford（牛津大学）；Toyota Research Institute, USA（丰田研究所（美国））
本文研究离线强化学习中因果混淆问题，提出通过主动采样从演示数据中选取关键点以消除因果歧义，实证表明主动采样比均匀采样更高效地减少因果混淆，提升部署安全性。
2023-12-28 cs.AI cs.LG
Deploying Offline Reinforcement Learning with Human Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）
强化学习（RL）在现实世界的应用中已经显示出对决策任务的承诺。一个实用的框架涉及从离线数据集训练参数化策略模型，然后将其部署到在线环境中。然而，这种方法可能存在风险，因为离线训练可能并不完美，导致RL模型的性能较差，可能会采取危险的行动。为了解决这个问题，我们提出了一个替代框架，涉及到一个人监督RL模型，并在在线部署阶段提供额外的反馈。我们正式这个在线部署问题，并开发两种方法。第一种方法使用模型选择和置信上限算法从训练的离线RL模型的候选集合中自适应地选择要部署的模型。第二种方法涉及在监督信号到达时在线部署阶段对模型进行微调。我们证明了这些方法的有效性，机器人运动控制和交通灯控制任务，通过实证验证。
2023-03-13 cs.AI cs.LG
Adversarial Policy Optimization for Offline Preference-based Reinforcement Learning
Seoul National University（首尔国立大学）
本文提出APPO算法，将离线偏好强化学习建模为策略与模型的双人博弈，在不依赖显式置信集的情况下实现可处理的保守性，并给出样本复杂度界，是首个兼具统计效率与实际适用性的离线PbRL方法。
2025-06-03 cs.AI cs.LG
