Accountability in Offline Reinforcement Learning: Explaining Decisions with a Corpus of Examples
University of Cambridge（剑桥大学）
本文提出可问责离线控制器AOC，以离线数据集为决策语料库并通过语料库子集选择示例来解释决策，在低数据和离线模仿场景下兼顾性能与问责制，并在医疗场景中验证了有效性。
2023-10-27 cs.AI cs.LG cs.RO
Swapped goal-conditioned offline reinforcement learning
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
离线目标条件强化学习（GCRL）由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能，我们提出了一个目标交换过程，生成额外的轨迹。为了减轻噪声和外推误差的问题，我们提出了一种通用的离线强化学习方法，称为确定性Q优势策略梯度（DQAPG）。在实验中，DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法，目标交换进一步改善了测试结果。值得注意的是，所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能，而先前的方法失败了。
2023-02-17 cs.AI cs.LG
Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系）；School of Computing and Data Science, Xiamen University Malaysia（厦门大学马来西亚分校计算与数据科学学院）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法，通过逆动力学恢复控制策略，在保证奖励的同时显著提升轨迹生成的安全性。
2026-06-12 cs.LG cs.RO cs.SY
LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy
LexiSafe通过字典序优先级与结构偏差的统一，提供了一种理论严谨且实用的离线安全强化学习框架，以提升物理系统中的安全性能。
2026-03-11 cs.LG cs.SY eess.SY
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence（佛罗伦萨大学）；SEED – Electronic Arts（SEED – 艺电）
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题，提出基于世界模型的状态增强策略，可提升离线预训练效果，大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University（庆应义塾大学）；Sony AI（索尼AI）
在本文中，我们介绍了d3rlpy，一个开源的离线深度强化学习（RL）库。d3rlpy支持一组离线深度RL算法，以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题，我们使用D4RL和Atari 2600数据集进行了大规模基准测试，以确保实现质量，并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到：\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim，一种基于模型的离线逆强化学习框架，通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构，提升探索性和泛化能力，无需与真实环境交互。
2026-03-25 cs.AI cs.LG
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习（RL）中不太明显，因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中，我们提出了离线RL（ExORL）的探索性数据，这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据，然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现，探索性数据允许香草离线策略RL算法，没有任何离线特定的修改，在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明，数据生成与离线RL的算法进步一样重要，因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
Fully Offline Reinforcement Learning
研究完全离线强化学习问题，提出基于贝叶斯模型的SOReL方法及扩展的TOReL方法，通过学习动力学后验、预测不确定性估计策略值实现完全离线超参数选择，建立实用且有理论基础的完全离线强化学习框架。
2026-11-02 cs.AI cs.LG
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题，提出SAMG范式，通过冻结离线评论家提供状态-动作级引导，无需重训离线数据，在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University（清华大学）
离线强化学习（RL）显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中，我们采用了一个不同的框架，它学习V函数而不是Q函数，以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化，我们提出了期望V学习（EVL），它平滑地插入最优值学习和行为克隆之间。此外，我们沿着离线轨迹引入隐式规划，以增强学习的V值并加速收敛。同时，我们提出了一种新的离线方法，称为基于价值的情景记忆（VEM）。我们提供了我们提出的VEM方法的收敛特性的理论分析，并在D4RL基准测试的实证结果表明，我们的方法在大多数任务，特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Data Valuation for Offline Reinforcement Learning
L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
深度强化学习（DRL）的成功取决于训练数据的可用性，这些数据通常是通过大量的环境交互获得的。在许多现实世界的场景中，成本和风险与收集这些数据有关。离线强化学习领域通过将数据收集外包给领域专家或仔细监控的程序并随后搜索批量约束的最优策略来解决这些问题。随着数据市场的出现，内部构建数据集的另一种选择是购买外部数据。然而，虽然最先进的离线强化学习方法已经显示出很大的前景，但它们目前依赖于精心构建的数据集，这些数据集与预期的目标领域保持一致。这就提出了关于在外部获取的数据上训练的离线强化学习代理的可转移性和鲁棒性的问题。在本文中，我们经验性地评估了当前最先进的离线强化学习方法在两个MuJoCo环境中处理源-目标域不匹配的能力，发现当前最先进的离线强化学习算法在目标域中表现不佳。为了解决这个问题，我们提出了离线强化学习（DVORL）的数据估值，这使我们能够识别相关和高质量的转换，提高离线强化学习算法学习的策略的性能和可移植性。结果表明，我们的方法优于两个MuJoCo环境下的离线强化学习基线。
2022-05-19 cs.LG
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley（加州大学伯克利分校）；Google Research, Brain Team（谷歌研究大脑团队）
在这篇教程文章中，我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具：强化学习算法利用以前收集的数据，而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略，从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而，当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战，特别是在现代深度强化学习方法的背景下，并描述在最近的工作中探索的一些潜在解决方案，以减轻这些挑战，以及最近的应用，以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills
Afeka College of Engineering（阿菲卡工程学院）；Bosch Center for AI（博世人工智能中心）
本文提出离线技能图（OSG）框架，通过三个模块利用离线强化学习技能进行规划，使智能体从历史数据中泛化解决长时域任务，并在机器人手臂上验证其有效性。
2023-06-23 cs.AI cs.LG cs.RO
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（Offline reinforcement learning，RL）将经典RL算法的范式扩展到纯粹从静态数据集学习，而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性，这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响，我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外，我们训练一个动力学模型来实现这种正则化，并更好地估计当前策略的平稳分布，减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上，我们的方法显示出有竞争力的性能，这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文针对离线强化学习零样本泛化问题，提出悲观经验风险最小化和悲观近端策略优化两种方法，并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University（中南大学）
针对运营车队无法探索及模拟器与目标动态差异问题，提出完成度感知的跨保真度离线到在线强化学习方法，用于多线路公交驻站控制，解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent AI Lab（腾讯人工智能实验室）
离线强化学习（RL）的一个很有前途的范例是约束学习到的策略保持接近数据集的行为，称为策略约束离线RL。然而，现有的工作严重依赖于数据的纯度，表现出性能下降，甚至灾难性的失败时，从污染的数据集包含不同级别的不纯轨迹学习。例如，在一个实施例中，专家级、中级等，而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况，我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后，我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明，所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法，在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Contextual Transformer for Offline Meta Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；University College London（伦敦大学学院）；Chinese Academy of Sciences（中国科学院）；King’s College London（伦敦国王学院）
大规模序列模型中的预训练-微调范式在自然语言处理和计算机视觉任务中取得了重大进展。然而，这样的范例仍然受到强化学习（RL）中的几个挑战的阻碍，包括缺乏基于离线数据的自监督预训练算法和对看不见的下游任务的有效微调/微调。在这项工作中，我们将探讨如何提示可以改善基于序列建模的离线强化学习（离线-RL）算法。首先，我们提出了提示微调离线RL，其中上下文向量序列与输入连接，以指导有条件的策略生成。因此，我们可以在离线数据集上预训练具有自我监督损失的模型，并学习提示以引导策略实现所需的操作。其次，我们将我们的框架扩展到元强化学习设置，并提出上下文Meta Transformer（CMT）; CMT利用不同任务之间的上下文作为提示，以提高未见过的任务的泛化。我们在三种不同的离线RL设置中进行了广泛的实验：D4 RL数据集上的离线单代理RL，MuJoCo基准测试上的离线Meta-RL和SMAC基准测试上的离线MARL。优越的结果验证了我们的方法的强大性能和通用性。
2022-11-15 cs.AI cs.LG
Uncertainty Estimation Using Riemannian Model Dynamics for Offline Reinforcement Learning
Technion Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
基于模型的离线强化学习方法通常依赖于模型误差的界限。估计这些界限通常通过不确定性估计方法来实现。在这项工作中，我们结合了参数和非参数方法的不确定性估计，通过一种新的潜在空间为基础的度量。特别是，我们建立在黎曼几何的生成模型的最新进展，构建一个回调度量的编码器-解码器为基础的前向模型。我们提出的度量标准既衡量了分布外样本的质量，也衡量了数据中示例的差异。我们利用我们的方法在一个悲观的基于模型的框架不确定性估计，显示了显着的改进，当代基于模型的离线方法的连续控制和自动驾驶基准。
2022-10-28 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）
传统的强化学习（RL）需要一个环境来收集新的数据，当在线交互成本高昂时，这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而，如果离线数据集的质量很差，它将产生不令人满意的性能。在本文中，我们考虑了一个离线到在线的设置，代理首先从离线数据集学习，然后在线训练，并提出了一个框架，称为自适应策略学习，有效地利用离线和在线数据。具体来说，我们显式地考虑在线和离线数据之间的差异，并相应地应用自适应更新方案，即，离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后，我们对流行的连续控制任务进行了大量的实验，结果表明，即使在离线数据集质量较差的情况下，我们的算法也能以较高的样本效率学习专家策略，例如，随机数据集。
2023-03-14 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
On the Opportunities and Challenges of Offline Reinforcement Learning for Recommender Systems
Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；UNSW Sydney（新南威尔士大学悉尼分校）；UCSD（加利福尼亚大学圣地亚哥分校）；University of Klagenfurt（克拉根福大学）
针对强化学习推荐系统数据效率低的问题，本文介绍适配推荐系统海量离线数据的离线强化学习框架，综述该领域现有研究，指出挑战、机遇与未来方向，推动相关研究发展。
2023-08-22 cs.AI cs.IR
Offline Reinforcement Learning with Adaptive Behavior Regularization
Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
离线强化学习（RL）定义了一种样本高效的学习范式，其中从静态和先前收集的数据集学习策略，而无需与环境进行额外的交互。离线RL的主要障碍是评估分布外动作的价值所产生的估计误差。为了解决这个问题，大多数现有的离线RL方法试图获得一个策略，既“接近”包含在数据集中的行为，并充分改善它们，这需要在两个可能冲突的目标之间进行权衡。在本文中，我们提出了一种新的方法，我们称之为自适应行为正则化（ABR），以平衡这一关键的权衡。通过简单地利用基于样本的正则化，ABR使策略能够在克隆和改进用于生成数据集的策略之间自适应地调整其优化目标。在D4RL数据集上的评估中，广泛采用的离线强化学习的基准，ABR可以实现与现有的最先进的算法相比，改进或有竞争力的性能。
2022-11-15 cs.AI cs.LG
On the Statistical Complexity for Offline and Low-Adaptive Reinforcement Learning with Structures
Princeton University（普林斯顿大学）；UC San Diego（加州大学圣迭戈分校）
本文综述离线RL中OPE与OPL的统计复杂性、近最优依实例方法及证明技术，并引入低自适应探索以弥合离线与在线RL。
2025-01-03 cs.AI cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）
研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Offline-Online Reinforcement Learning for Energy Pricing in Office Demand Response: Lowering Energy and Data Costs
University of California, Berkeley（加州大学伯克利分校）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力，将为社区提供价值，但为强化学习代理收集训练数据的成本很高，而且会受到限制。在这项工作中，我们研究如何利用离线培训来最大限度地减少数据成本（加速融合）和计划实施成本。我们提出了两种方法来做到这一点：预训练我们的模型，以热启动实验与模拟任务，并使用一个规划模型训练，以模拟现实世界的奖励代理。我们提出的结果表明，实用的离线强化学习，以有效的价格设定的能源需求响应问题。
2021-08-14 cs.AI cs.LG
DiffStitch: Boosting Offline Reinforcement Learning with Diffusion-based Trajectory Stitching
Jilin University（吉林大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出DiffStitch，一种基于扩散的轨迹拼接数据增强方法，通过连接低奖励与高奖励轨迹生成全局最优轨迹，在D4RL上显著提升多种离线强化学习算法的性能。
2024-02-22 cs.AI cs.LG
Exclusively Penalized Q-learning for Offline Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；UNIST（蔚山科学技术院）
针对离线强化学习中惩罚价值函数可能引入不必要欠估计偏差的问题，提出 EPQ，仅选择性惩罚易产生估计误差的状态，从而降低偏差并提升多种离线控制任务性能。
2024-10-24 cs.AI cs.LG
On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
离线强化学习（离线RL）考虑仅使用先前收集的样本执行学习的问题，并且对于收集新数据成本高或风险大的设置很有帮助。在基于模型的离线RL中，学习者使用根据经验转换频率构建的模型执行估计（或优化）。我们分析了样本复杂性香草模型为基础的离线RL与相关样本在无限时域折扣奖励设置。在我们的设置中，样本服从马尔可夫决策过程的动态，因此，可能具有相互依赖性。在没有独立样本的假设下，我们提供了一个高概率，多项式样本的复杂性约束香草模型为基础的关闭政策的评估，需要部分或均匀覆盖。我们将这一结果推广到一致覆盖下的非策略优化问题。作为基于模型的方法的比较，我们分析了香草重要性采样在无限时域设置的离政策评估的样本复杂性。最后，我们提供了一个估计，优于样本均值估计几乎确定性的动态，普遍存在于强化学习。
2023-03-07 cs.AI cs.LG
Offline Reinforcement Learning with Penalized Action Noise Injection
Korea University（韩国大学）；Gauss Labs Inc.（Gauss实验室公司）
本文提出带惩罚的动作噪声注入方法PANI，通过覆盖动作空间并依据噪声量惩罚来增强离线强化学习，无需扩散模型即可在多个基准上显著提升性能。
2025-07-03 cs.AI cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Hokoff: Real Game Dataset from Honor of Kings and its Offline Reinforcement Learning Benchmarks
Tsinghua University（清华大学）；Tencent Timi Studio（腾讯天美工作室）；Tencent AI Lab（腾讯AI实验室）
本文提出 Hokoff 数据集及框架，基于《王者荣耀》构建离线 RL 和离线 MARL 基准，并针对分层动作空间提出新基线算法，揭示现有离线 RL 方法在任务复杂性、泛化和多任务学习上的不足。
2024-11-22 cs.AI cs.LG
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
自我监督方法通过利用数据本身来减少对昂贵注释的需求，对于推进深度学习至关重要。然而，如何以原则性的方式进行自监督离线强化学习（RL）的问题仍然不清楚。在本文中，我们解决这个问题，通过研究在半监督设置中的线性马尔可夫决策过程（MDP）中利用无奖励数据的理论优势。此外，我们提出了一种新的，可证明的数据共享算法（PDS），利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估，确保算法的保守性。我们在各种离线RL任务上的结果表明，PDS显着提高了离线RL算法的性能与无奖励数据。总的来说，我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处，同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST（韩国科学技术院）
针对离线强化学习中设计奖励信号成本高的问题，提出基于大型视觉语言模型的奖励生成方法RG-VLM，无需人类参与即可从离线数据生成奖励，能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
MOORe: Model-based Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着离线强化学习（RL）的成功，离线训练的RL策略在在线部署时有可能进一步改进。策略的平稳传输在安全的实际部署中至关重要。此外，策略的快速自适应在实际的在线性能改进中起着至关重要的作用。为了解决这些挑战，我们提出了一种简单而有效的算法，基于模型的离线到在线强化学习（MOORe），它采用了一个优先级的采样方案，可以动态调整离线和在线数据的平滑和有效的在线适应的政策。我们提供了一个理论基础，我们的算法设计。在D4RL基准测试上的实验结果表明，该算法在实现样本有效的在线自适应的同时，能够平滑地从离线阶段过渡到在线阶段，并且性能也明显优于现有方法。
2022-01-25 cs.LG
Offline Reinforcement Learning with Reverse Model-based Imagination
Tsinghua University（清华大学）；Baidu Inc.（百度）
在离线强化学习（offline RL）中，一个主要的挑战是处理学习策略和给定数据集之间的分布变化。为了解决这个问题，最近的离线RL方法试图引入保守主义偏见，以鼓励在高置信度区域学习。无模型方法使用保守正则化或特殊网络结构将这种偏差直接编码到策略或价值函数学习中，但其受限的策略搜索限制了离线数据集之外的泛化。基于模型的方法学习具有保守性量化的前向动力学模型，然后生成假想的轨迹来扩展离线数据集。然而，由于离线数据集的样本有限，保守性量化往往遭受过度泛化的支持区域。不可靠的保守度量会将基于正向模型的想象误导到不期望的区域，导致过度激进的行为。为了鼓励更多的保守主义，我们提出了一种新的基于模型的离线RL框架，称为反向离线基于模型的想象（ROMI）。我们学习了一个反向动态模型与一个新的反向策略，它可以生成导致离线数据集内的目标状态的推出。这些逆向想象为无模型策略学习提供了有根据的数据增强，并使离线数据集之外的保守泛化成为可能。ROMI可以有效地结合现成的无模型算法，使基于模型的泛化具有适当的保守性。实验结果表明，我们的方法可以产生更保守的行为，并实现最先进的性能离线RL基准任务。
2021-11-14 cs.AI cs.LG
Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions
McGill University（麦吉尔大学）；Quebec AI Institute（魁北克人工智能研究所）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
强化学习（RL）代理被广泛用于解决复杂的顺序决策任务，但仍然表现出难以推广到训练过程中看不到的场景。虽然先前的在线方法表明，使用奖励函数之外的额外信号可以在RL代理中产生更好的泛化能力，即使用自监督学习（SSL），但它们在离线RL设置中挣扎，即从静态数据集学习。我们发现，在RL的泛化在线算法的性能可能会受到阻碍，由于观察之间的相似性估计不良的离线设置。我们提出了一个新的理论动机的框架，称为广义相似性函数（GSF），它使用对比学习训练离线RL代理聚合观察的基础上，他们的预期未来行为的相似性，在那里我们量化这种相似性使用\emph{generalized value functions}。我们表明，GSF是一般的，足以恢复现有的SSL目标，同时也提高了zero-shot泛化性能的一个复杂的离线RL基准测试，离线Procgen。
2021-11-29 cs.AI cs.LG
Measurement Scheduling for ICU Patients with Offline Reinforcement Learning
University of Toronto（多伦多大学）
针对ICU患者冗余实验室检查问题，本研究为新发布的MIMIC-IV数据集引入预处理流程，并探索最先进Offline-RL方法在优化检查调度策略上的有效性及实用性。
2024-02-12 cs.AI cs.LG
Offline Meta-Reinforcement Learning with Advantage Weighting
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
本文介绍了离线Meta强化学习（离线元RL）问题设置，并提出了一种算法，在这种设置表现良好。离线元RL类似于广泛成功的监督学习策略，即在大量固定的预先收集的数据（可能来自各种任务）上预训练模型，并将模型微调为具有相对较少数据的新任务。也就是说，在离线元RL中，我们对来自多个任务的固定的、预先收集的数据进行元训练，以便用来自新任务的非常少量的数据（少于5个轨迹）来适应新任务。由于离线的性质，用于离线元RL的算法可以利用最大可能的可用训练数据池，并消除元训练期间潜在的不安全或昂贵的数据汇集。这种设置继承了离线RL的挑战，但它有很大的不同，因为离线RL通常不考虑a）转移到新任务或b）来自测试任务的有限数据，这两种情况我们都在离线元RL中面临。针对离线元RL设置，我们提出了具有优势权重的元演员评论（MACAW），这是一种基于优化的元学习算法，它使用简单的监督回归目标进行元训练的内部和外部循环。在常见的元强化学习基准的离线变体上，我们根据经验发现这种方法能够实现完全离线的Meta强化学习，并比以前的方法取得了显着的收益。
2021-07-21 cs.AI cs.LG stat.ML
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.（Offworld公司）
批量（离线）强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果，并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见，现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习，但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此，我们提出了一种新的方法，使用不确定性估计来触发人类演示数据的注入，并引导策略训练向最佳行为，同时降低整体样本的复杂性。我们的实验表明，这种方法是更有效的样本相比，一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习，并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Syracuse University（雪城大学）
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题，提出CauCRL算法，通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
针对联邦离线强化学习中简单结合标准方法性能差的问题，提出基于集成学习提炼客户端智慧的FEDORA算法，在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
RORL: Robust Offline Reinforcement Learning via Conservative Smoothing
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Tencent Robotics X（腾讯Robotics X实验室）；Shanghai AI Laboratory（上海人工智能实验室）
离线强化学习为利用大量离线数据进行复杂决策提供了一个很有前途的方向。由于分布偏移问题，当前离线RL算法通常被设计为在值估计和动作选择上是保守的。然而，这种保守性可能会损害学习策略的鲁棒性时，遇到的观察偏差在现实条件下，如传感器错误和对抗攻击。为了平衡鲁棒性和保守性，我们提出了鲁棒离线强化学习（RORL）与一种新的保守平滑技术。在RORL中，我们显式地引入了策略的正则化和数据集附近状态的价值函数，以及对这些状态的额外保守值估计。理论上，我们表明RORL享有更严格的次优界比最近的理论结果在线性MDPs。我们证明了RORL可以在一般的离线RL基准测试中实现最先进的性能，并且对对抗性观测扰动具有相当强的鲁棒性。
2022-10-22 cs.AI cs.LG stat.ML
Permutation Equivariant Model-based Offline Reinforcement Learning for Auto-bidding
Alibaba Group（阿里巴巴集团）
本文提出PE-MORL算法，通过排列等变模型和悲观Q学习弥合模拟器与现实差距，在真实数据上扩展状态覆盖，超越现有自动出价方法。
2025-06-22 cs.AI cs.LG
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara（加州大学圣巴巴拉分校）；Princeton（普林斯顿大学）
离线强化学习试图利用离线/历史数据来优化顺序决策策略，在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势，现有的努力通常会强制使用强大的函数表示模型（例如，神经网络）来学习最佳策略。然而，精确理解函数表示的统计极限仍然是难以捉摸的，即使这样的表示是线性的。为了实现这一目标，我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界，我们设计了方差感知的悲观值迭代（VAPVI），它采用时间非齐次的情节线性马尔可夫决策过程（MDP）的价值函数的条件方差信息. VAPVI利用价值函数的估计方差，在最小二乘悲观值迭代中对Bellman残差进行重新加权，并在最知名的现有结果上提供改进的离线学习边界（而Bellman残差通过设计进行了同等加权）。更重要的是，我们的学习边界表示的系统数量，这提供了自然的实例依赖的特征，以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
Offline Trajectory Optimization for Offline Reinforcement Learning
Shandong University（山东大学）；Leiden University（莱顿大学）；Westlake University（西湖大学）
提出OTTO离线轨迹优化方法，通过World Transformers生成长时序模拟轨迹，并利用基于不确定性的World Evaluator评估与校正数据，有效提升了离线RL算法在复杂环境中的性能。
2025-07-10 cs.AI cs.LG
Semi-Offline Reinforcement Learning for Optimized Text Generation
Changyu Chen, Xiting Wang, Yiqiao Jin, Victor Ye Dong, Li Dong, Jie Cao, Yi Liu, Rui Yan（未知机构）
本文提出了一种半离线强化学习方法，平衡了探索能力和训练成本，并在优化成本、渐近误差和过拟合误差界方面实现了最优的强化学习设置。
2026-06-04 cs.AI cs.CL cs.LG
Offline Reinforcement Learning with Behavioral Supervisor Tuning
Imperial College London（帝国理工学院）
提出TD3-BST算法，通过训练不确定性模型引导策略在数据集支持范围内选择动作，无需针对数据集调整超参数即可在基准测试中取得最佳性能。
2024-07-27 cs.AI cs.LG
Constraints Penalized Q-learning for Safe Offline Reinforcement Learning
Xidian University（西安电子科技大学）；JD Technology（京东科技）；JD Intelligent Cities Research（京东智能城市研究院）；Tsinghua University（清华大学）
研究了安全的离线强化学习（RL）问题，目标是学习一种策略，在满足安全约束的同时，只给离线数据，而不与环境进一步交互。这个问题对于现实世界的RL应用程序更有吸引力，其中数据汇集是昂贵的或危险的。强制执行约束满足是不平凡的，特别是在离线设置中，因为在策略分布和数据分布之间存在潜在的大的差异，从而导致在估计安全约束的值时的错误。我们表明，结合安全RL和离线RL技术的天真方法只能学习次优解决方案。因此，我们开发了一个简单而有效的算法，约束惩罚Q学习（CPQ），来解决这个问题。我们的方法允许使用由混合行为策略生成的数据。我们提出了一个理论分析和经验证明，我们的方法可以学习强大的各种基准控制任务，优于几个基线。
2022-04-08 cs.AI cs.LG
Bayes Adaptive Monte Carlo Tree Search for Offline Model-based Reinforcement Learning
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出贝叶斯自适应蒙特卡洛树搜索算法，用于提升离线模型驱动强化学习的性能，显著优于现有方法。
2026-01-27 cs.AI cs.LG
Hyperparameter Selection for Offline Reinforcement Learning
DeepMind；Google（谷歌）
离线强化学习（RL纯粹来自日志数据）是在现实世界场景中部署RL技术的重要途径。然而，现有的超参数选择方法离线RL打破了离线的假设，通过评估对应于每个超参数设置的环境中的政策。这种在线执行通常是不可行的，因此破坏了离线RL的主要目标。因此，在这项工作中，我们专注于\textit{offline hyperparameter selection}，即从一组使用不同超参数训练的许多策略中选择最佳策略的方法，只给出记录的数据。通过大规模的实证评估，我们发现：1）离线RL算法对超参数选择不鲁棒，2）诸如离线RL算法和估计Q值的方法等因素可能对超参数选择产生很大影响，以及3）当我们仔细控制这些因素时，我们可以可靠地跨超参数选择对策略进行排名，并因此选择接近该组中的最佳策略的策略。总的来说，我们的研究结果提出了一个乐观的观点，即离线超参数选择是触手可及的，即使在具有像素观测，高维动作空间和长视野的挑战性任务中。
2020-07-17 cs.AI cs.LG stat.ML
