DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习算法有望适用于固定数据集可用且无法获得新经验的环境。然而，这样的公式化不可避免地是离线数据饥渴的，并且在实践中，在一个特定环境中为一个特定任务收集大量离线数据集也是昂贵且费力的。因此，在本文中，我们1）通过使用从另一个动态收集的（源）离线数据来制定离线动态自适应，以放松对广泛的（目标）离线数据的要求，2）表征先前的离线方法不能很好地扩展的动态偏移问题，以及3）从无模型和基于模型的离线设置中导出一个简单的动态感知奖励增强（DARA）框架。具体而言，DARA强调从那些适应目标环境的源转换对中学习，并通过表征状态-动作-下一状态对而不是先前离线RL方法描绘的典型状态-动作分布来减轻离线动态变化。实验结果表明，DARA通过增加源离线数据集的奖励，可以获得目标环境的自适应策略，同时显著降低对目标离线数据的需求。只有少量的目标离线数据，我们的性能始终优于以前的离线RL方法在模拟和现实世界的任务。
2022-03-13 cs.LG
Comparing Model-free and Model-based Algorithms for Offline Reinforcement Learning
Siemens Technology（西门子技术部）；Technical University of Munich（慕尼黑工业大学）
离线强化学习（RL）算法通常是在考虑MuJoCo等环境的情况下设计的，其中规划范围非常长并且不存在噪声。我们在各种工业基准（IB）数据集上比较了无模型，基于模型以及混合离线RL方法，以在更接近真实世界问题的设置中测试算法，包括复杂的噪声和部分可观察状态。我们发现，在IB上，混合方法面临着严重的困难，更简单的算法，如基于推出的算法或具有更简单正则化器的无模型算法在数据集上表现最好。
2022-01-14 cs.LG
Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出动作影响规律性（AIR）假设，将状态分为内生与外生部分，并基于拟合Q迭代设计算法，在模拟和真实环境中验证其优于现有离线强化学习方法。
2023-05-03 cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点，无论是在与环境交互时的在线情况下，还是在从固定数据集学习时的离线情况下。然而，到目前为止，没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中，我们描述了重新分析算法，该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标，从而可以有效地学习数据预算，这些数据预算变化了几个数量级。我们进一步表明，Reanalyse也可以用于完全从演示中学习，而无需任何环境交互，就像离线强化学习（离线RL）一样。结合Reanalyze和MuZero算法，我们引入了MuZero Unplugged，这是一个适用于任何数据预算的统一算法，包括离线RL。与以前的工作相比，我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在高风险应用中训练强化学习（RL）代理可能过于禁止，因为与探索相关的风险。因此，代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能，我们专注于优化风险规避标准，即CVaR。特别是，我们提出了离线规避风险的演员批评（O-RAAC），一个无模型的RL算法，能够在完全离线的设置学习规避风险的政策。我们表明，O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外，考虑风险厌恶的标准，保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明，在存在自然分布的变化，O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck（因斯布鲁克大学）
充分的探索对于强化学习代理的成功至关重要。然而，探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为，这些指标在关于直观简单分布的文献中描述，并强调了使用它们时要注意的问题。我们提出了第四个指标，统一的相对熵，并实现它使用k-最近邻或最近邻比估计，强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
本文提出离线强化学习应学习自适应策略先验而非静态策略，通过记忆、探索和自我纠错在后续交互中保持改进能力，并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习，提升样本效率和探索能力，实现高效且可扩展的学习。
2025-12-22 cs.LG
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University（斯坦福大学）
我们提出了一个基于模型的离线强化学习策略性能下限，明确捕捉动态模型的误指定和分布失配，我们提出了一个经验算法的最佳离线策略选择。在理论上，我们通过建立对价值函数的悲观近似，证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略：只要动态模型可以准确地表示给定策略访问的状态-动作对的动态，就可以近似该特定策略的值。我们分析了我们的下限在LQR设置，也显示出竞争力的性能，以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
On the Role of Discount Factor in Offline Reinforcement Learning
Tsinghua University（清华大学）
离线强化学习（RL）能够在不进行探索的情况下从先前收集的数据中进行有效学习，这在探索昂贵甚至不可行的现实世界应用中显示出巨大的前景。折扣因子$γ$在提高在线RL样本效率和估计精度方面起着至关重要的作用，但折扣因子在离线RL中的作用还没有得到很好的探讨。本文通过理论分析，研究了$γ$在离线强化学习中的两种不同效应，即正则化效应和悲观效应。一方面，$γ$是在现有离线技术上权衡最优性与样本效率的调节器。另一方面，较低的指导$γ$也可以被视为一种悲观的方式，我们在最糟糕的模型中优化政策的性能。我们用表格式MDP和标准D4RL任务实证验证了上述理论观察。结果表明，折扣因子对离线RL算法的性能起着至关重要的作用，无论是在现有离线方法的小数据范围内，还是在没有其他保守方法的大数据范围内。
2022-06-15 cs.LG
Offline Reinforcement Learning with Fisher Divergence Critic Regularization
New York University（纽约大学）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
离线强化学习（RL）的许多现代方法利用行为正则化，通常用测量策略与离线数据的偏差的惩罚来增强无模型演员评论算法。在这项工作中，我们提出了一种替代方法，鼓励学习的政策，以保持接近的数据，即参数化的批评日志行为的政策，产生的离线数据，加上一个状态动作值偏移项，可以使用神经网络学习。然后，行为正则化对应于偏移项上的适当正则化子。我们建议使用梯度惩罚正则化的偏移项，并证明其等价于Fisher发散正则化，建议连接到分数匹配和基于生成能量的模型文献。因此，我们将我们的算法称为Fisher-BRC（行为正则化批评）。在标准的离线RL基准测试中，Fisher-BRC实现了比现有最先进方法更高的性能和更快的收敛速度。
2021-03-14 cs.LG
In-Distribution Imagination for Model-Based Offline Reinforcement Learning
针对基于模型的离线强化学习中模型误差导致轨迹偏离数据分布的问题，提出分布内想象（IDI）框架，通过轨迹级支持估计与截断控制，结合轨迹正则化强化学习，在有限数据下提升性能。
2026-10-01 cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架，通过从无奖励离线数据中学习潜在后继度量表示，再利用偏好数据进行对比搜索和微调，显著提升了偏好效率。
2026-05-31 cs.LG
BraVE: Offline Reinforcement Learning for Discrete Combinatorial Action Spaces
University of Virginia（弗吉尼亚大学）；MBZUAI（马克斯·普朗克智能系统研究所）
BraVE通过树状结构动作遍历，在离线强化学习中有效处理离散组合动作空间，实现性能提升20倍。
2026-01-07 cs.LG
User-Interactive Offline Reinforcement Learning
Siemens Technology（西门子技术）；TU Munich（慕尼黑工业大学）
离线强化学习算法在实践中仍然缺乏信任，这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时，离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法，允许用户在运行时调整这个超参数，从而同时解决上述两个问题。这允许用户从原始行为开始，并连续授予更大的偏差，以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Google Research（谷歌研究院）
强化学习（RL）在各种在线设置中取得了令人印象深刻的性能，其中代理查询环境的转换和奖励的能力实际上是无限的。然而，在许多实际应用中，情况正好相反：代理可以访问大量无定向的离线体验数据，而对在线环境的访问则受到严重限制。在这项工作中，我们专注于这种离线设置。我们的主要观点是，当呈现由各种行为组成的离线数据时，利用这些数据的有效方法是在使用这些原语进行下游任务学习之前提取连续空间的重复和时间扩展的原语行为。以这种方式提取的原语有两个目的：它们描述了数据支持的行为与不支持的行为，使它们有助于避免离线RL中的分布偏移;它们提供了一定程度的时间抽象，这降低了有效范围，从而在理论上产生更好的学习，并在实践中改进了离线RL。除了有利于离线策略优化，我们还表明，以这种方式执行离线原始学习也可以用于改善Few-Shot模仿学习以及在线RL中各种基准领域的探索和转移。可视化可在https://sites.google.com/view/opal-iclr上获得
2021-05-04 cs.LG
RoiRL: Efficient, Self-Supervised Reasoning with Offline Iterative Reinforcement Learning
Criteo AI Lab（Criteo人工智能实验室）；Ecole Polytechnique Paris（巴黎高等理工学院）
针对大语言模型推理强化学习依赖真实奖励或在线计算成本高的问题，提出轻量级离线迭代强化学习方法RoiRL，无需参考模型，训练更快且推理性能更优，为无标签自提升大模型提供可扩展路径。
2025-10-03 cs.LG
Reducing Conservativeness Oriented Offline Reinforcement Learning
Tsinghua University（清华大学）
在离线强化学习中，策略学习使用固定的数据集合来最大化累积奖励。对于保守策略，现有方法选择正则化行为策略或学习价值函数的下界。然而，过度的保守性往往会削弱策略的泛化能力，降低其性能，特别是对于混合数据集。本文提出了一种面向强化学习的降低保守性的方法。一方面，该策略被训练为更多地关注静态数据集中的少数样本，以解决数据不平衡问题。另一方面，我们给出了一个更严格的下限的价值函数比以前的方法来发现潜在的最优行动。因此，我们提出的方法是能够解决所提供的数据集的偏态分布，并得出一个价值函数更接近预期的价值函数。实验结果表明，该方法在D4RL离线强化学习评估任务和我们自己设计的混合数据集上的性能优于现有方法。
2021-02-27 cs.LG
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法，结合RCSL的稳定性与Q函数的缝合能力，通过自适应整合Q-辅助到损失函数中，提升离线强化学习性能。
2026-03-13 cs.LG
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
The Least Restriction for Offline Reinforcement Learning
强化学习（RL）的许多实际应用限制代理从已经收集的记录交互的固定离线数据集学习，而不提供进一步的数据汇集的可能性。然而，常用的非策略RL算法，如深度Q网络和深度确定性策略梯度，在没有与当前策略下的分布相关的数据的情况下无法学习，使得它们对于这种离线设置无效。作为研究离线强化学习算法的第一步，我们分析了标准离线强化学习算法不稳定的原因。这是由于bootstrapping错误。避免此错误的关键是确保代理的动作空间不会超出固定的离线数据集。基于我们的考虑，本文提出了一个创造性的离线RL框架，最小约束（LR）。LR将选择动作视为从概率分布中抽取样本。它只是对动作选择设置了一个小小的限制，这不仅避免了动作在离线数据集之外，还消除了早期方法（例如批量约束深度Q学习）中的所有不合理限制。在进一步的研究中，我们将证明LR能够从不同的离线数据集（包括随机和次优演示）中鲁棒地学习一系列实际控制任务。
2021-07-05 cs.LG
CLUE: Calibrated Latent Guidance for Offline Reinforcement Learning
Zhejiang University（浙江大学）；Westlake University（西湖大学）
CLUE利用条件变分自编码器学习校准潜在空间，以专家数据驱动内在奖励，消除外在奖励需求，提升稀疏奖励离线RL性能、超越离线IL基线并发现多样技能。
2023-10-15 cs.LG
Augmenting Offline Reinforcement Learning with State-only Interactions
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出利用无奖励的仅状态在线交互，通过条件扩散模型生成高回报轨迹并与离线数据拼接增强，从而提升下游离线强化学习性能。
2024-10-02 cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University（台湾大学）；MediaTek Research（联发科技研究院）
本文提出一种基于核函数近似的离线强化学习算法，有效利用低成本无标签数据，并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Offline Reinforcement Learning for Mobile Notifications
LinkedIn Corporation（领英公司）
移动通知系统在推动和维持在线平台的用户参与方面发挥了重要作用。对于机器学习从业者来说，它们是有趣的推荐系统，具有更多的顺序和长期反馈考虑。通知系统中的大多数机器学习应用都是围绕响应预测模型构建的，试图将短期影响和长期影响归因于通知决策。然而，用户的体验取决于一系列通知，并且将影响归因于单个通知并不总是准确的，如果不是不可能的话。在本文中，我们认为，强化学习是一个更好的框架通知系统的性能和迭代速度。我们提出了一个离线强化学习框架来优化驱动用户参与的顺序通知决策。我们描述了一种状态边缘化的重要性采样策略评估方法，该方法可用于离线评估策略和调整学习超参数。通过模拟近似的通知生态系统，我们展示了离线评估方法的性能和优势，作为强化学习建模方法的一部分。最后，我们通过生产系统的在线探索收集数据，训练离线双深Q网络，在线发布成功的策略。我们还讨论了实际的考虑和结果，通过部署这些政策的大规模推荐系统用例。
2022-02-04 cs.LG
The Challenges of Exploration for Offline Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）
离线强化学习（ORL）使我们能够分别研究强化学习的两个相互关联的过程：收集信息经验和推断最佳行为。第二步已经在离线环境中得到了广泛的研究，但对于数据高效的RL来说，同样重要的是收集信息数据。数据汇集的任务不可知设置（其中任务不是先验已知的）特别令人感兴趣，因为可以收集单个数据集并在出现时使用它来解决多个下游任务。我们通过好奇心为基础的内在动机，一个家庭的探索方法，鼓励代理人探索那些状态或过渡，它还没有学会模型的设置。使用Explore2Offline，我们建议通过传输收集的数据并使用奖励重新标记和标准离线RL算法推断策略来评估收集的数据的质量。我们评估了各种各样的数据汇集策略，包括一个新的勘探代理，内在模型预测控制（IMPC），使用该计划，并展示其性能的各种任务。我们使用这个解耦的框架来加强关于探索的直觉和有效离线RL的数据先决条件。
2022-02-19 cs.LG
Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
Department of Computer Science, Johns Hopkins University, Baltimore, MD, U.S.A.（约翰霍普金斯大学计算机科学系）；AMLab, University of Amsterdam, Amsterdam, Netherlands（阿姆斯特丹大学AM实验室）
提出DUAL框架，利用扩散模型先验知识蒸馏快速采样扩散策略和转移模型，并通过拉普拉斯近似和距离转移状态偏移检测进行不确定性量化，以改进在线阶段的探索与利用平衡。
2026-05-29 cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
本文提出OASIS，利用条件扩散模型塑形离线数据分布，以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题，在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology（东方理工大学）；Southeast University（东南大学）
针对离线视觉RL的表征过拟合与奖励高估偏差问题，提出基于模型的CoWorld方法，借助现成RL模拟器搭建离线策略试验台并缓解跨域差异，实现在线到离线知识迁移，性能显著优于现有方法。
2024-10-29 cs.LG
Hybrid Reinforcement Learning from Offline Observation Alone
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
本文研究仅观测离线数据下的混合强化学习，在迹模型和可采纳性假设下提出首个可证明匹配复位模型算法性能的方法，并通过实验验证其有效性。
2024-06-11 cs.LG
Distorted Distributional Policy Evaluation for Offline Reinforcement Learning
IBM Research - Tokyo, Japan（IBM东京研究院）
本研究提出分位数扭曲方法，通过调整保守程度改进离线强化学习中回报分位数的估计，提升泛化能力和性能。
2026-01-05 cs.LG
Offline Reinforcement Learning Hands-On
InstaDeep；Sorbonne Université（索邦大学）
离线强化学习（RL）旨在将大型数据集转化为强大的决策引擎，而无需与环境进行任何在线交互。这一伟大的承诺激发了大量的研究，希望复制RL在模拟环境中所取得的成功。这项工作的野心，以反映这些努力，从从业者的观点。我们首先讨论数据集属性，我们假设这些属性可以确定最成功的离线方法的类型。然后，我们通过一组实验验证了这些说法，并设计了从离散和连续动作空间环境中生成的数据集。我们通过实验验证了数据中的多样性和高回报的例子对离线RL的成功至关重要，并表明与同时代人相比，行为克隆仍然是一个强有力的竞争者。总的来说，这项工作是一个教程，可以帮助人们建立对当今离线RL方法及其适用性的直觉。
2020-11-29 cs.LG
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
实践中的许多强化学习（RL）问题都是离线的，纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的，这需要量化与不同行为相关的风险。在在线设置中，分布式RL算法通过学习收益分布（即，累积回报）而不是预期回报;除了量化风险之外，他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评（CODAC），一个离线RL算法，适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明，CODAC学习保守的回报分布-特别是，对于有限的MDPs，CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中，在两个具有挑战性的机器人导航任务，CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外，在预期和风险敏感性能方面，CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
DCE: Offline Reinforcement Learning With Double Conservative Estimates
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
离线强化学习在解决传统强化学习的应用挑战方面引起了人们极大的兴趣。离线强化学习使用先前收集的数据集来训练代理，而无需任何交互。为了解决OOD（分布外）行动的高估问题，保守估计为所有输入提供了较低的值。以往的保守估计方法通常难以避免OOD行为对Q值估计的影响。此外，这些算法通常需要损失一定的计算效率来达到保守估计的目的。本文提出了一种简单的保守估计方法-双保守估计（DCE），它利用两种保守估计方法来约束策略。该算法在隐式实现保守估计的同时，引入了V-函数，避免了分布内作用的误差。此外，我们的算法使用了一个可控的惩罚项，改变训练中的保守程度。我们从理论上展示了这种方法如何影响OOD行动和分布行动的估计。我们的实验分别表明，两种保守的估计方法影响所有状态动作的估计。DCE在D4 RL上展示了最先进的性能。
2022-09-27 cs.LG
Unsupervised Data Generation for Offline Reinforcement Learning: A Perspective from Model
本文从基于模型的离线强化学习优化视角，理论分析了批次数据对算法性能的影响，提出UDG方法在任务无关设置下生成并选择数据，有效缩小与最优策略的性能差距并在未知任务上超越监督式数据生成。
2025-06-24 cs.LG
Data-Incremental Continual Offline Reinforcement Learning
School of Engineering, Westlake University（西湖大学工程学院）
提出数据增量式持续离线强化学习设置，针对主动遗忘问题，设计基于经验回放的集成隐式Q学习算法，有效缓解遗忘并提升性能。
2024-12-16 cs.LG
Measuring Data Quality for Dataset Selection in Offline Reinforcement Learning
Siemens Technology（西门子技术）；Technical University of Munich（慕尼黑工业大学）
最近开发的离线强化学习算法使得直接从预先收集的数据集学习策略成为可能，这给从业者带来了一个新的困境：由于算法能够提供的性能在很大程度上取决于呈现给他们的数据集，从业者需要在可用的数据集中选择正确的数据集。这个问题迄今为止还没有在相应的文献中讨论过。我们讨论了如何选择有前途的数据集的想法，并提出了三个非常简单的指标：估计相对收益改善（ERI）和估计行动随机性（EAS），以及两者的组合（COI），并根据经验表明，尽管它们很简单，但它们可以非常有效地用于数据集选择。
2021-11-26 cs.LG
MAHALO: Unifying Offline Reinforcement Learning and Imitation Learning from Observations
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文提出MAHALO，一种基于悲观性能下界和对抗训练的通用离线PLfO方法，统一处理离线IL、ILfO和RL，并在多类任务上优于或匹配专门算法。
2023-08-06 cs.LG
Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning
Apple Inc.（苹果公司）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习承诺从以前收集的静态数据集中学习有效的策略，而无需探索。然而，现有的Q-学习和Actor-Critic基于离线策略的RL算法在从分布外（OOD）动作或状态引导时失败。我们假设，从现有的方法中缺失的一个关键成分是在离线设置的不确定性的适当处理。我们提出了不确定性加权演员-评论家（UWAC），一种检测OOD状态-动作对并相应地降低其在训练目标中的贡献的算法。在实现方面，我们采用了一种实用有效的基于丢弃的不确定性估计方法，该方法比现有RL算法引入的开销非常小。根据经验，我们观察到UWAC在训练过程中大大提高了模型的稳定性。此外，UWAC在各种竞争性任务上的表现优于现有的离线RL方法，并在从人类专家收集的稀疏演示数据集上实现了超过最先进基线的显着性能提升。
2021-05-17 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
UDQL: Bridging The Gap between MSE Loss and The Optimal Value Function in Offline Reinforcement Learning
Shenyang University of Chemical Technology（沈阳化工大学）；University of Macau（澳门大学）；University of Louisville（路易斯维尔大学）
本文发现MSE会导致离线强化学习中值函数的过估计现象，通过理论分析给出误差上界，并提出Bellman低估算子与扩散策略模型结合的算法，在D4RL任务上优于现有方法。
2024-06-05 cs.LG
Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning
University of Science and Technology Beijing（北京科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出ASPC框架，通过动态平衡强化学习与行为克隆，解决在线强化学习中策略约束规模差异带来的超参数调优问题，实验表明其在多个数据集上表现优异且计算开销低。
2026-04-29 cs.LG
Benchmarks for Reinforcement Learning with Biased Offline Data and Imperfect Simulators
Technion, Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
本文针对离线数据与不完美模拟器结合的强化学习问题，提出四大核心挑战并构建B4MRL基准，以推动相关研究。
2024-06-30 cs.LG
Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement Learning with Actor Rectification
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
保守主义导致了离线强化学习（RL）的重大进展，其中代理从预先收集的数据集学习。然而，由于许多现实世界的场景涉及多个代理之间的交互，因此在多代理设置中解决离线RL非常重要。鉴于最近成功地将在线RL算法转移到多代理设置，人们可能会期望离线RL算法也将直接转移到多代理设置。令人惊讶的是，我们根据经验观察到，保守的离线RL算法在多代理设置中不能很好地工作-性能随着代理数量的增加而显着下降。为了减轻退化，我们确定了一个关键问题，即价值函数的非线性化使得策略梯度改进容易陷入局部最优。多个代理严重加剧了这个问题，因为任何代理的次优策略都可能导致不协调的全局失败。根据这种直觉，我们提出了一种简单而有效的方法，离线多代理RL与演员整流（OMAR），它结合了一阶策略梯度和零阶优化方法，以更好地优化保守的价值函数的演员参数。尽管简单，OMAR在各种多代理控制任务中实现了最先进的结果。
2022-04-04 cs.LG
From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning
ReLOAD通过自蒸馏生成内在奖励，解决离线强化学习中显式奖励标注的难题，实现稳健的策略学习并达到传统方法的性能水平。
2025-12-22 cs.LG
Accelerating Offline Reinforcement Learning Application in Real-Time Bidding and Recommendation: Potential Use of Simulation
Tokyo Institute of Technology（东京工业大学）；negocia, Inc.（Negocia公司）；Hanjuku-Kaso Co., Ltd.（Hanjuku-Kaso有限公司）；Cornell University（康奈尔大学）
在推荐系统（RecSys）和在线广告的实时的【形】竞价（RTB）中，我们经常尝试使用强盗和强化学习（RL）技术来优化顺序决策。在这些应用程序中，离线强化学习（离线RL）和离线策略评估（OPE）是有益的，因为它们可以仅使用记录的数据进行安全的策略优化，而无需任何有风险的在线交互。在本立场文件中，我们探讨了使用模拟来加速离线RL和OPE的实际研究的潜力，特别是在RecSys和RTB中。具体来说，我们将讨论如何模拟可以帮助我们进行离线RL和OPE的实证研究。我们采取的立场，认为我们应该有效地使用离线RL和OPE的实证研究模拟。为了反驳只使用真实世界数据的实验更可取的反驳，我们首先指出了真实世界实验中的潜在风险和可重复性问题。然后，我们描述了如何使用模拟来解决这些问题。此外，我们将展示如何结合现实世界和基于模拟的实验的好处，以捍卫我们的立场。最后，我们还提出了一个开放的挑战，以进一步促进离线RL和OPE在RecSys和RTB的实际研究，相对于公共仿真平台。作为这个问题的一个可能的解决方案，我们展示了我们正在进行的开源项目及其潜在的用例。我们相信，为离线RL和OPE构建和利用基于模拟的评估平台将对RecSys和RTB社区产生极大的兴趣和相关性。
2021-09-17 cs.LG
Incorporating Explicit Uncertainty Estimates into Deep Offline Reinforcement Learning
New York University（纽约大学）；Microsoft Research Montréal（微软蒙特利尔研究院）
在离线强化学习环境中，大多数理论上的工作都需要精确的不确定性估计。这一要求限制了在该工作中推导出的算法，以表格和线性设置，其中存在这样的估计。在这项工作中，我们开发了一种新的方法，将可扩展的不确定性估计到一个称为深SPIBB的离线强化学习算法，扩展SPIBB系列算法的环境具有更大的状态和动作空间。我们使用深度学习社区最近在不确定性估计方面的创新，以获得更可扩展的不确定性估计，以插入到深度SPIBB中。虽然这些不确定性的估计不允许在表格的情况下，相同的理论保证，我们认为，SPIBB机制，将不确定性是更强大和更灵活的比悲观的方法，将不确定性作为一个价值函数罚款。我们从经验上证明了这一点，表明深度SPIBB在获得相同不确定性估计的情况下优于基于悲观主义的方法，并且在多个环境和数据集上的表现至少与其他各种强基线相当。
2022-06-02 cs.LG
Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning
Mila, McGill University（麦吉尔大学 Mila 研究院）；DeepMind
我们假设，经验性地研究离线强化学习（RL）的样本复杂度对于RL在现实世界中的实际应用至关重要。最近的几项工作已经证明了直接从离线数据中学习策略的能力。在这项工作中，我们问的问题的依赖于从离线数据学习的样本的数量。我们的目标是强调研究离线RL的样本复杂性是重要的，并且是现有离线算法的有用性的指标。提出了一种离线强化学习样本复杂度分析的评价方法。
2021-12-31 cs.AI cs.LG
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg，以缓解离线强化学习在小数据集上的过拟合问题，在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.（Offworld公司）
批量（离线）强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果，并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见，现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习，但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此，我们提出了一种新的方法，使用不确定性估计来触发人类演示数据的注入，并引导策略训练向最佳行为，同时降低整体样本的复杂性。我们的实验表明，这种方法是更有效的样本相比，一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习，并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Swapped goal-conditioned offline reinforcement learning
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
离线目标条件强化学习（GCRL）由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能，我们提出了一个目标交换过程，生成额外的轨迹。为了减轻噪声和外推误差的问题，我们提出了一种通用的离线强化学习方法，称为确定性Q优势策略梯度（DQAPG）。在实验中，DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法，目标交换进一步改善了测试结果。值得注意的是，所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能，而先前的方法失败了。
2023-02-17 cs.AI cs.LG
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence（佛罗伦萨大学）；SEED – Electronic Arts（SEED – 艺电）
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题，提出基于世界模型的状态增强策略，可提升离线预训练效果，大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
