Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning
Mila, McGill University（麦吉尔大学 Mila 研究院）；DeepMind
我们假设，经验性地研究离线强化学习（RL）的样本复杂度对于RL在现实世界中的实际应用至关重要。最近的几项工作已经证明了直接从离线数据中学习策略的能力。在这项工作中，我们问的问题的依赖于从离线数据学习的样本的数量。我们的目标是强调研究离线RL的样本复杂性是重要的，并且是现有离线算法的有用性的指标。提出了一种离线强化学习样本复杂度分析的评价方法。
2021-12-31 cs.AI cs.LG
Rethinking Optimal Transport in Offline Reinforcement Learning
AIRI；ITMO（ITMO大学）；Skoltech（斯科尔科沃科学技术研究院）；MIPT（莫斯科物理技术学院）；Yandex（Yandex公司）；HSE University（高等经济大学）
本文将离线强化学习重新建模为最优传输问题，提出一种将状态映射到最佳专家动作部分分布的新算法，并在D4RL连续控制任务上取得优于现有方法的效果。
2024-10-17 cs.LG
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg，以缓解离线强化学习在小数据集上的过拟合问题，在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL（伦敦大学学院）；DeepMind（深度思维）
离线强化学习（RL）允许从离线数据集训练有能力的代理，而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是，我们应该如何理想地微调从离线RL训练中获得的代理？虽然离线RL算法原则上可以用于微调，但在实践中，它们的在线性能提高缓慢。相比之下，我们表明，它是可以使用标准的在线离线策略算法更快的改进。然而，我们发现这种方法可能遭受政策崩溃，其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题，以及它如何涉及到数据的多样性，算法的选择和在线重放分布。基于这些见解，我们提出了一个保守的策略优化过程，可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习算法有望适用于固定数据集可用且无法获得新经验的环境。然而，这样的公式化不可避免地是离线数据饥渴的，并且在实践中，在一个特定环境中为一个特定任务收集大量离线数据集也是昂贵且费力的。因此，在本文中，我们1）通过使用从另一个动态收集的（源）离线数据来制定离线动态自适应，以放松对广泛的（目标）离线数据的要求，2）表征先前的离线方法不能很好地扩展的动态偏移问题，以及3）从无模型和基于模型的离线设置中导出一个简单的动态感知奖励增强（DARA）框架。具体而言，DARA强调从那些适应目标环境的源转换对中学习，并通过表征状态-动作-下一状态对而不是先前离线RL方法描绘的典型状态-动作分布来减轻离线动态变化。实验结果表明，DARA通过增加源离线数据集的奖励，可以获得目标环境的自适应策略，同时显著降低对目标离线数据的需求。只有少量的目标离线数据，我们的性能始终优于以前的离线RL方法在模拟和现实世界的任务。
2022-03-13 cs.LG
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展，聚焦二者交叉的离线基于模型强化学习领域，总结现有方法解决分布偏移问题的思路，提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.（Offworld公司）
批量（离线）强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果，并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见，现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习，但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此，我们提出了一种新的方法，使用不确定性估计来触发人类演示数据的注入，并引导策略训练向最佳行为，同时降低整体样本的复杂性。我们的实验表明，这种方法是更有效的样本相比，一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习，并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
Comparing Model-free and Model-based Algorithms for Offline Reinforcement Learning
Siemens Technology（西门子技术部）；Technical University of Munich（慕尼黑工业大学）
离线强化学习（RL）算法通常是在考虑MuJoCo等环境的情况下设计的，其中规划范围非常长并且不存在噪声。我们在各种工业基准（IB）数据集上比较了无模型，基于模型以及混合离线RL方法，以在更接近真实世界问题的设置中测试算法，包括复杂的噪声和部分可观察状态。我们发现，在IB上，混合方法面临着严重的困难，更简单的算法，如基于推出的算法或具有更简单正则化器的无模型算法在数据集上表现最好。
2022-01-14 cs.LG
Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出动作影响规律性（AIR）假设，将状态分为内生与外生部分，并基于拟合Q迭代设计算法，在模拟和真实环境中验证其优于现有离线强化学习方法。
2023-05-03 cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点，无论是在与环境交互时的在线情况下，还是在从固定数据集学习时的离线情况下。然而，到目前为止，没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中，我们描述了重新分析算法，该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标，从而可以有效地学习数据预算，这些数据预算变化了几个数量级。我们进一步表明，Reanalyse也可以用于完全从演示中学习，而无需任何环境交互，就像离线强化学习（离线RL）一样。结合Reanalyze和MuZero算法，我们引入了MuZero Unplugged，这是一个适用于任何数据预算的统一算法，包括离线RL。与以前的工作相比，我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在高风险应用中训练强化学习（RL）代理可能过于禁止，因为与探索相关的风险。因此，代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能，我们专注于优化风险规避标准，即CVaR。特别是，我们提出了离线规避风险的演员批评（O-RAAC），一个无模型的RL算法，能够在完全离线的设置学习规避风险的政策。我们表明，O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外，考虑风险厌恶的标准，保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明，在存在自然分布的变化，O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck（因斯布鲁克大学）
充分的探索对于强化学习代理的成功至关重要。然而，探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为，这些指标在关于直观简单分布的文献中描述，并强调了使用它们时要注意的问题。我们提出了第四个指标，统一的相对熵，并实现它使用k-最近邻或最近邻比估计，强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
本文提出离线强化学习应学习自适应策略先验而非静态策略，通过记忆、探索和自我纠错在后续交互中保持改进能力，并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习，提升样本效率和探索能力，实现高效且可扩展的学习。
2025-12-22 cs.LG
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University（斯坦福大学）
我们提出了一个基于模型的离线强化学习策略性能下限，明确捕捉动态模型的误指定和分布失配，我们提出了一个经验算法的最佳离线策略选择。在理论上，我们通过建立对价值函数的悲观近似，证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略：只要动态模型可以准确地表示给定策略访问的状态-动作对的动态，就可以近似该特定策略的值。我们分析了我们的下限在LQR设置，也显示出竞争力的性能，以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
On the Role of Discount Factor in Offline Reinforcement Learning
Tsinghua University（清华大学）
离线强化学习（RL）能够在不进行探索的情况下从先前收集的数据中进行有效学习，这在探索昂贵甚至不可行的现实世界应用中显示出巨大的前景。折扣因子$γ$在提高在线RL样本效率和估计精度方面起着至关重要的作用，但折扣因子在离线RL中的作用还没有得到很好的探讨。本文通过理论分析，研究了$γ$在离线强化学习中的两种不同效应，即正则化效应和悲观效应。一方面，$γ$是在现有离线技术上权衡最优性与样本效率的调节器。另一方面，较低的指导$γ$也可以被视为一种悲观的方式，我们在最糟糕的模型中优化政策的性能。我们用表格式MDP和标准D4RL任务实证验证了上述理论观察。结果表明，折扣因子对离线RL算法的性能起着至关重要的作用，无论是在现有离线方法的小数据范围内，还是在没有其他保守方法的大数据范围内。
2022-06-15 cs.LG
Swapped goal-conditioned offline reinforcement learning
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
离线目标条件强化学习（GCRL）由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能，我们提出了一个目标交换过程，生成额外的轨迹。为了减轻噪声和外推误差的问题，我们提出了一种通用的离线强化学习方法，称为确定性Q优势策略梯度（DQAPG）。在实验中，DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法，目标交换进一步改善了测试结果。值得注意的是，所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能，而先前的方法失败了。
2023-02-17 cs.AI cs.LG
Offline Reinforcement Learning with Fisher Divergence Critic Regularization
New York University（纽约大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
离线强化学习（RL）的许多现代方法利用行为正则化，通常用测量策略与离线数据的偏差的惩罚来增强无模型演员评论算法。在这项工作中，我们提出了一种替代方法，鼓励学习的政策，以保持接近的数据，即参数化的批评日志行为的政策，产生的离线数据，加上一个状态动作值偏移项，可以使用神经网络学习。然后，行为正则化对应于偏移项上的适当正则化子。我们建议使用梯度惩罚正则化的偏移项，并证明其等价于Fisher发散正则化，建议连接到分数匹配和基于生成能量的模型文献。因此，我们将我们的算法称为Fisher-BRC（行为正则化批评）。在标准的离线RL基准测试中，Fisher-BRC实现了比现有最先进方法更高的性能和更快的收敛速度。
2021-03-14 cs.LG
In-Distribution Imagination for Model-Based Offline Reinforcement Learning
针对基于模型的离线强化学习中模型误差导致轨迹偏离数据分布的问题，提出分布内想象（IDI）框架，通过轨迹级支持估计与截断控制，结合轨迹正则化强化学习，在有限数据下提升性能。
2026-10-01 cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架，通过从无奖励离线数据中学习潜在后继度量表示，再利用偏好数据进行对比搜索和微调，显著提升了偏好效率。
2026-05-31 cs.LG
BraVE: Offline Reinforcement Learning for Discrete Combinatorial Action Spaces
University of Virginia（弗吉尼亚大学）；MBZUAI（马克斯·普朗克智能系统研究所）
BraVE通过树状结构动作遍历，在离线强化学习中有效处理离散组合动作空间，实现性能提升20倍。
2026-01-07 cs.LG
User-Interactive Offline Reinforcement Learning
Siemens Technology（西门子技术）；TU Munich（慕尼黑工业大学）
离线强化学习算法在实践中仍然缺乏信任，这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时，离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法，允许用户在运行时调整这个超参数，从而同时解决上述两个问题。这允许用户从原始行为开始，并连续授予更大的偏差，以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Google Research（谷歌研究院）
强化学习（RL）在各种在线设置中取得了令人印象深刻的性能，其中代理查询环境的转换和奖励的能力实际上是无限的。然而，在许多实际应用中，情况正好相反：代理可以访问大量无定向的离线体验数据，而对在线环境的访问则受到严重限制。在这项工作中，我们专注于这种离线设置。我们的主要观点是，当呈现由各种行为组成的离线数据时，利用这些数据的有效方法是在使用这些原语进行下游任务学习之前提取连续空间的重复和时间扩展的原语行为。以这种方式提取的原语有两个目的：它们描述了数据支持的行为与不支持的行为，使它们有助于避免离线RL中的分布偏移;它们提供了一定程度的时间抽象，这降低了有效范围，从而在理论上产生更好的学习，并在实践中改进了离线RL。除了有利于离线策略优化，我们还表明，以这种方式执行离线原始学习也可以用于改善Few-Shot模仿学习以及在线RL中各种基准领域的探索和转移。可视化可在https://sites.google.com/view/opal-iclr上获得
2021-05-04 cs.LG
RoiRL: Efficient, Self-Supervised Reasoning with Offline Iterative Reinforcement Learning
Criteo AI Lab（Criteo人工智能实验室）；Ecole Polytechnique Paris（巴黎高等理工学院）
针对大语言模型推理强化学习依赖真实奖励或在线计算成本高的问题，提出轻量级离线迭代强化学习方法RoiRL，无需参考模型，训练更快且推理性能更优，为无标签自提升大模型提供可扩展路径。
2025-10-03 cs.LG
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence（佛罗伦萨大学）；SEED – Electronic Arts（SEED – 艺电）
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题，提出基于世界模型的状态增强策略，可提升离线预训练效果，大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
Reducing Conservativeness Oriented Offline Reinforcement Learning
Tsinghua University（清华大学）
在离线强化学习中，策略学习使用固定的数据集合来最大化累积奖励。对于保守策略，现有方法选择正则化行为策略或学习价值函数的下界。然而，过度的保守性往往会削弱策略的泛化能力，降低其性能，特别是对于混合数据集。本文提出了一种面向强化学习的降低保守性的方法。一方面，该策略被训练为更多地关注静态数据集中的少数样本，以解决数据不平衡问题。另一方面，我们给出了一个更严格的下限的价值函数比以前的方法来发现潜在的最优行动。因此，我们提出的方法是能够解决所提供的数据集的偏态分布，并得出一个价值函数更接近预期的价值函数。实验结果表明，该方法在D4RL离线强化学习评估任务和我们自己设计的混合数据集上的性能优于现有方法。
2021-02-27 cs.LG
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法，结合RCSL的稳定性与Q函数的缝合能力，通过自适应整合Q-辅助到损失函数中，提升离线强化学习性能。
2026-03-13 cs.LG
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering（科学与工程研究生院）；Chiba University（千叶大学）；Graduate School of Informatics（信息科学研究生院）；Zuse Institute Berlin（柏林泽尼奇研究所）
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性，发现其比在线方法更脆弱，表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University（庆应义塾大学）；Sony AI（索尼AI）
在本文中，我们介绍了d3rlpy，一个开源的离线深度强化学习（RL）库。d3rlpy支持一组离线深度RL算法，以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题，我们使用D4RL和Atari 2600数据集进行了大规模基准测试，以确保实现质量，并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到：\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim，一种基于模型的离线逆强化学习框架，通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构，提升探索性和泛化能力，无需与真实环境交互。
2026-03-25 cs.AI cs.LG
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习（RL）中不太明显，因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中，我们提出了离线RL（ExORL）的探索性数据，这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据，然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现，探索性数据允许香草离线策略RL算法，没有任何离线特定的修改，在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明，数据生成与离线RL的算法进步一样重要，因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
The Least Restriction for Offline Reinforcement Learning
强化学习（RL）的许多实际应用限制代理从已经收集的记录交互的固定离线数据集学习，而不提供进一步的数据汇集的可能性。然而，常用的非策略RL算法，如深度Q网络和深度确定性策略梯度，在没有与当前策略下的分布相关的数据的情况下无法学习，使得它们对于这种离线设置无效。作为研究离线强化学习算法的第一步，我们分析了标准离线强化学习算法不稳定的原因。这是由于bootstrapping错误。避免此错误的关键是确保代理的动作空间不会超出固定的离线数据集。基于我们的考虑，本文提出了一个创造性的离线RL框架，最小约束（LR）。LR将选择动作视为从概率分布中抽取样本。它只是对动作选择设置了一个小小的限制，这不仅避免了动作在离线数据集之外，还消除了早期方法（例如批量约束深度Q学习）中的所有不合理限制。在进一步的研究中，我们将证明LR能够从不同的离线数据集（包括随机和次优演示）中鲁棒地学习一系列实际控制任务。
2021-07-05 cs.LG
CLUE: Calibrated Latent Guidance for Offline Reinforcement Learning
Zhejiang University（浙江大学）；Westlake University（西湖大学）
CLUE利用条件变分自编码器学习校准潜在空间，以专家数据驱动内在奖励，消除外在奖励需求，提升稀疏奖励离线RL性能、超越离线IL基线并发现多样技能。
2023-10-15 cs.LG
Augmenting Offline Reinforcement Learning with State-only Interactions
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出利用无奖励的仅状态在线交互，通过条件扩散模型生成高回报轨迹并与离线数据拼接增强，从而提升下游离线强化学习性能。
2024-10-02 cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University（台湾大学）；MediaTek Research（联发科技研究院）
本文提出一种基于核函数近似的离线强化学习算法，有效利用低成本无标签数据，并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Offline Reinforcement Learning for Mobile Notifications
LinkedIn Corporation（领英公司）
移动通知系统在推动和维持在线平台的用户参与方面发挥了重要作用。对于机器学习从业者来说，它们是有趣的推荐系统，具有更多的顺序和长期反馈考虑。通知系统中的大多数机器学习应用都是围绕响应预测模型构建的，试图将短期影响和长期影响归因于通知决策。然而，用户的体验取决于一系列通知，并且将影响归因于单个通知并不总是准确的，如果不是不可能的话。在本文中，我们认为，强化学习是一个更好的框架通知系统的性能和迭代速度。我们提出了一个离线强化学习框架来优化驱动用户参与的顺序通知决策。我们描述了一种状态边缘化的重要性采样策略评估方法，该方法可用于离线评估策略和调整学习超参数。通过模拟近似的通知生态系统，我们展示了离线评估方法的性能和优势，作为强化学习建模方法的一部分。最后，我们通过生产系统的在线探索收集数据，训练离线双深Q网络，在线发布成功的策略。我们还讨论了实际的考虑和结果，通过部署这些政策的大规模推荐系统用例。
2022-02-04 cs.LG
The Challenges of Exploration for Offline Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）
离线强化学习（ORL）使我们能够分别研究强化学习的两个相互关联的过程：收集信息经验和推断最佳行为。第二步已经在离线环境中得到了广泛的研究，但对于数据高效的RL来说，同样重要的是收集信息数据。数据汇集的任务不可知设置（其中任务不是先验已知的）特别令人感兴趣，因为可以收集单个数据集并在出现时使用它来解决多个下游任务。我们通过好奇心为基础的内在动机，一个家庭的探索方法，鼓励代理人探索那些状态或过渡，它还没有学会模型的设置。使用Explore2Offline，我们建议通过传输收集的数据并使用奖励重新标记和标准离线RL算法推断策略来评估收集的数据的质量。我们评估了各种各样的数据汇集策略，包括一个新的勘探代理，内在模型预测控制（IMPC），使用该计划，并展示其性能的各种任务。我们使用这个解耦的框架来加强关于探索的直觉和有效离线RL的数据先决条件。
2022-02-19 cs.LG
Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
Department of Computer Science, Johns Hopkins University, Baltimore, MD, U.S.A.（约翰霍普金斯大学计算机科学系）；AMLab, University of Amsterdam, Amsterdam, Netherlands（阿姆斯特丹大学AM实验室）
提出DUAL框架，利用扩散模型先验知识蒸馏快速采样扩散策略和转移模型，并通过拉普拉斯近似和距离转移状态偏移检测进行不确定性量化，以改进在线阶段的探索与利用平衡。
2026-05-29 cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
本文提出OASIS，利用条件扩散模型塑形离线数据分布，以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题，在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology（东方理工大学）；Southeast University（东南大学）
针对离线视觉RL的表征过拟合与奖励高估偏差问题，提出基于模型的CoWorld方法，借助现成RL模拟器搭建离线策略试验台并缓解跨域差异，实现在线到离线知识迁移，性能显著优于现有方法。
2024-10-29 cs.LG
Hybrid Reinforcement Learning from Offline Observation Alone
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
本文研究仅观测离线数据下的混合强化学习，在迹模型和可采纳性假设下提出首个可证明匹配复位模型算法性能的方法，并通过实验验证其有效性。
2024-06-11 cs.LG
Distorted Distributional Policy Evaluation for Offline Reinforcement Learning
IBM Research - Tokyo, Japan（IBM东京研究院）
本研究提出分位数扭曲方法，通过调整保守程度改进离线强化学习中回报分位数的估计，提升泛化能力和性能。
2026-01-05 cs.LG
Offline Reinforcement Learning Hands-On
InstaDeep；Sorbonne Université（索邦大学）
离线强化学习（RL）旨在将大型数据集转化为强大的决策引擎，而无需与环境进行任何在线交互。这一伟大的承诺激发了大量的研究，希望复制RL在模拟环境中所取得的成功。这项工作的野心，以反映这些努力，从从业者的观点。我们首先讨论数据集属性，我们假设这些属性可以确定最成功的离线方法的类型。然后，我们通过一组实验验证了这些说法，并设计了从离散和连续动作空间环境中生成的数据集。我们通过实验验证了数据中的多样性和高回报的例子对离线RL的成功至关重要，并表明与同时代人相比，行为克隆仍然是一个强有力的竞争者。总的来说，这项工作是一个教程，可以帮助人们建立对当今离线RL方法及其适用性的直觉。
2020-11-29 cs.LG
Fully Offline Reinforcement Learning
研究完全离线强化学习问题，提出基于贝叶斯模型的SOReL方法及扩展的TOReL方法，通过学习动力学后验、预测不确定性估计策略值实现完全离线超参数选择，建立实用且有理论基础的完全离线强化学习框架。
2026-11-02 cs.AI cs.LG
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题，提出SAMG范式，通过冻结离线评论家提供状态-动作级引导，无需重训离线数据，在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Offline Deep Reinforcement Learning for Dynamic Pricing of Consumer Credit
Institute of Finance and Technology, UCL（伦敦大学学院金融与技术研究所）；NatWest Group（国民西敏寺银行集团）
我们介绍了一种使用离线深度强化学习的最新进展来为消费信贷定价的方法。这种方法依赖于静态数据集，不需要对需求的函数形式进行假设。使用真实和合成数据的消费信贷应用，我们证明了我们的方法使用保守的Q-学习算法是能够学习一个有效的个性化定价政策，没有任何在线互动或价格实验。
2022-03-06 cs.LG q-fin.RM stat.ML
Discovering Multiple Solutions from a Single Task in Offline Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文研究离线强化学习中从单一任务发现多个解的问题，提出相应算法并实验验证其能学到多个定性和定量上不同的解。
2024-06-10 cs.LG stat.ML
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
实践中的许多强化学习（RL）问题都是离线的，纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的，这需要量化与不同行为相关的风险。在在线设置中，分布式RL算法通过学习收益分布（即，累积回报）而不是预期回报;除了量化风险之外，他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评（CODAC），一个离线RL算法，适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明，CODAC学习保守的回报分布-特别是，对于有限的MDPs，CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中，在两个具有挑战性的机器人导航任务，CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外，在预期和风险敏感性能方面，CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理，而无需任何交互。为了解决OOD（分布外）行动的高估问题，保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外，这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计（DCE），它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时，引入了V-函数，避免了分布内作用的误差。此外，我们的算法使用了一个可控的惩罚项，改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明，两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley（加州大学伯克利分校）；Google Research, Brain Team（谷歌研究大脑团队）
在这篇教程文章中，我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具：强化学习算法利用以前收集的数据，而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略，从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而，当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战，特别是在现代深度强化学习方法的背景下，并描述在最近的工作中探索的一些潜在解决方案，以减轻这些挑战，以及最近的应用，以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills
Afeka College of Engineering（阿菲卡工程学院）；Bosch Center for AI（博世人工智能中心）
本文提出离线技能图（OSG）框架，通过三个模块利用离线强化学习技能进行规划，使智能体从历史数据中泛化解决长时域任务，并在机器人手臂上验证其有效性。
2023-06-23 cs.AI cs.LG cs.RO
