RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning
DeepMind（深度思维）；Google Brain（谷歌大脑）
强化学习的离线方法有可能帮助弥合强化学习研究和现实世界应用之间的差距。它们使得从离线数据集学习策略成为可能，从而克服了与现实世界中的在线数据汇集相关的问题，包括成本、安全或伦理问题。在本文中，我们提出了一个称为RL Unplugged的基准来评估和比较离线RL方法。RL Unplugged包括来自不同领域的数据，包括游戏（例如，Atari基准）和模拟的电机控制问题（例如，DM Control Suite）。数据集包括部分或完全可观察的域，使用连续或离散动作，并且具有随机与确定性动态。我们为RL Unplugged中的每个域提出了详细的评估协议，并使用这些协议对监督学习和离线RL方法进行了广泛的分析。我们将发布所有任务的数据，并开源本文中提出的所有算法。我们希望我们的基准套件将增加实验的可重复性，并使研究具有挑战性的任务与有限的计算预算成为可能，从而使强化学习研究更系统，更容易在整个社区。展望未来，我们将RL Unplugged视为一个活生生的基准套件，它将随着研究社区和我们自己贡献的数据集而发展和成长。我们的项目页面可以在https://git.io/JJUhd上找到。
2021-02-12 cs.LG stat.ML
Exclusively Penalized Q-learning for Offline Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；UNIST（蔚山科学技术院）
针对离线强化学习中惩罚价值函数可能引入不必要欠估计偏差的问题，提出 EPQ，仅选择性惩罚易产生估计误差的状态，从而降低偏差并提升多种离线控制任务性能。
2024-10-24 cs.AI cs.LG
Optimality Inductive Biases and Agnostic Guidelines for Offline Reinforcement Learning
University of Geneva（日内瓦大学）；HES-SO（瑞士西部应用科学与艺术大学）
最先进的离线RL方法的性能在数据集质量的范围内变化很大，从远离最优的随机数据到接近最优的专家演示。我们重新实现这些方法来测试它们的可重复性，并表明当一个给定的方法在光谱的一端优于其他方法时，它在另一端永远不会。这使我们无法全面宣布胜利者。我们将这种不对称性归因于注入到代理中的诱导偏差的数量，以诱使它确认离线数据集的行为对于任务是最佳的。我们的调查证实，这种最优性诱导偏差的不小心注入，使占主导地位的代理低于标准，只要离线政策是次优的。为了弥合这一差距，我们将重要性加权回归方法（已被证明在数据集等级范围内最通用）推广到一个模块化框架中，该框架允许设计与我们对数据集的了解程度相一致的方法。这种模块化使得能够在质量上不同地注入最优性感应偏置。我们发现，某些编排达到了正确的平衡，提高了频谱一端的回报，而不会损害另一端的回报。虽然离线方法设计指南的制定减少了对最优性偏差的调整，以注入我们所知道的数据质量，但我们不需要事先知道数据质量的不可知方法的设计更加微妙。只有我们的框架允许我们设计一种方法，该方法在整个频谱中表现良好，同时如果有更多关于数据质量的信息可用，则保持模块化。
2022-01-19 cs.AI cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出OOO框架，通过解耦探索与利用策略，利用离线重训练缓解在线RL中的探索偏差，显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology（东方理工大学）；Southeast University（东南大学）
针对离线视觉RL的表征过拟合与奖励高估偏差问题，提出基于模型的CoWorld方法，借助现成RL模拟器搭建离线策略试验台并缓解跨域差异，实现在线到离线知识迁移，性能显著优于现有方法。
2024-10-29 cs.LG
Improving TD3-BC: Relaxed Policy Constraint for Offline Learning and Stable Online Fine-Tuning
University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）
从固定数据集发现最佳行为的能力有可能将强化学习（RL）的成功转移到数据汇集存在严重问题的领域。在这种离线设置中，一个关键的挑战是克服对数据中不存在的动作的高估偏差，如果没有能力通过与环境的交互进行校正，则可以在训练期间传播和复合，从而导致高度次优的策略。减少这种偏差的一个简单方法是通过行为克隆（BC）引入策略约束，鼓励代理选择更接近源数据的行为。通过在RL和BC之间找到正确的平衡，这种方法已经被证明是令人惊讶的有效的，同时需要对它们所基于的底层算法进行最小的更改。到目前为止，这种平衡一直保持不变，但在这项工作中，我们探索了在初始训练后将这种平衡向RL倾斜的想法。使用TD 3-BC，我们证明，通过继续训练离线的政策，同时减少BC组件的影响，我们可以产生精细的政策，优于原来的基线，以及匹配或超过更复杂的替代品的性能。此外，我们证明了这种方法可以用于稳定的在线微调，允许在部署过程中安全地改进策略。
2022-11-21 cs.AI cs.LG stat.ML
On Instrumental Variable Regression for Deep Offline Policy Evaluation
DeepMind（深度思维）；Gatsby Unit（盖茨比单元）
我们表明，流行的强化学习（RL）的估计状态-动作值（Q-函数）的策略，通过最小化均方贝尔曼误差导致回归问题的混淆，输入和输出噪声相关。因此，Bellman误差的直接最小化可能导致显著有偏的Q函数估计。我们解释了为什么在深度Q网络和拟合Q评估中固定目标Q网络提供了一种克服这种混淆的方法，从而为深度RL文献中这种流行但尚未完全理解的技巧提供了新的见解。解决混杂的另一种方法是利用因果关系文献中开发的技术，特别是工具变量（IV）。我们汇集在这里的文献IV和RL调查IV的方法是否可以导致改进的Q函数估计。本文分析和比较了范围广泛的最近IV方法的背景下，离线政策评估（OPE），其目标是估计的政策，只使用记录的数据的价值。通过应用不同的IV技术OPE，我们不仅能够恢复以前提出的OPE方法，如基于模型的技术，但也获得有竞争力的新技术。我们发现经验，国家的最先进的OPE方法是密切匹配的性能由一些IV方法，如AGMM，这不是为OPE开发。我们在https://github.com/liyuan9988/IVOPEwithACME上开源了我们所有的代码和数据集。
2022-11-23 cs.LG stat.ML
Offline Multi-task Transfer RL with Representational Penalization
University of Washington（华盛顿大学）
本文研究离线多任务强化学习中的表征迁移问题，提出通过计算所学表征的逐点不确定性并进行惩罚，利用源任务集体探索缓解覆盖不足，从而提升目标任务策略质量。
2024-02-19 cs.AI cs.LG
A Unified Framework of Policy Learning for Contextual Bandit with Confounding Bias and Missing Observations
Yale University（耶鲁大学）；Northwestern University（西北大学）
我们研究离线上下文强盗问题，我们的目标是获得一个最佳的政策，使用观测数据。然而，这些数据通常包含两个缺陷：（i）未观察到一些混淆行为的变量，以及（ii）在收集的数据中存在缺失的观察结果。未观察到的混杂因素导致混杂偏倚，缺失的观察结果导致偏倚和低效率问题。为了克服这些挑战并从观测数据集中学习最优策略，本文提出了一种新的策略学习算法CAP-Adjusted Pessimism（CAP）策略学习，该算法将奖励函数形成为积分方程组的解，建立置信度集，并由灰色系统采取悲观行动。温和的假设的数据，我们开发了一个上限的次优的CAP离线上下文强盗问题。
2023-03-20 cs.AI cs.LG stat.ML
Exploitation Over Exploration: Unmasking the Bias in Linear Bandit Recommender Offline Evaluation
Federal University of São Carlos（圣卡洛斯联邦大学）
研究发现，在线性老虎机推荐系统离线评估中，贪婪模型在多数数据集上表现优异，表明探索策略可能被低估，需改进评估方法。
2026-04-16 cs.IR cs.LG
Delphic Offline Reinforcement Learning under Nonidentifiable Hidden Confounding
ETH AI Center（苏黎世联邦理工学院人工智能中心）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
针对不可识别隐藏混杂导致的离线强化学习因果失效问题，提出 delphic 不确定性及三类不确定性估计方法，并构建悲观 RL 算法，在医疗基准与电子病历中验证可降低混杂偏差。
2023-06-01 cs.AI cs.LG
Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
离线或批处理强化学习试图使用历史数据学习接近最优的策略，而无需主动探索环境。针对许多离线数据集的覆盖率不足和样本稀缺性，最近引入了悲观主义原则以减轻估计值的高偏差。虽然基于模型的算法的悲观变体（例如，具有较低置信界限的值迭代）进行了理论研究，但它们的无模型对应物（不需要明确的模型估计）尚未得到充分研究，特别是在样本效率方面。为了解决这一不足，我们研究了有限时域马尔可夫决策过程的背景下的Q-学习的悲观变体，并在单策略集中性假设下描述了其样本复杂性，该假设不需要状态-动作空间的完全覆盖。此外，方差减少悲观Q-学习算法提出了实现接近最优的样本复杂度。总之，这项工作突出了无模型算法在离线RL中与悲观主义和方差减少结合使用时的效率。
2022-06-10 cs.LG stat.ML
Model-Based Offline Reinforcement Learning with Pessimism-Modulated Dynamics Belief
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于模型的离线强化学习（RL）旨在通过利用先前收集的静态数据集和动态模型来找到高度有益的策略。而动态模型通过重用静态数据集来学习，如果使用得当，其泛化能力有望促进策略学习。为此，一些作品提出量化预测动态的不确定性，并明确地将其应用于惩罚奖励。然而，由于动态和奖励本质上是不同的因素，在MDP的上下文中，通过奖励惩罚来表征动态不确定性的影响可能会在模型利用和风险规避之间产生意想不到的权衡。在这项工作中，我们反而保持了动态的信念分布，并评估/优化政策，通过有偏见的抽样信念。抽样程序，偏向悲观，来自基于交替马尔可夫博弈制定离线RL。我们正式表明，有偏采样自然会导致更新的动态信念与政策相关的重新加权因子，称为悲观主义调制的动态信念。为了改进策略，我们设计了一个迭代正则化策略优化算法，在一定条件下保证单调改进。为了实用，我们进一步设计了一个离线RL算法来近似找到解决方案。实证结果表明，该方法实现了国家的最先进的性能在广泛的基准任务。
2022-10-29 cs.AI cs.LG
Survival Instinct in Offline Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
该研究发现离线RL存在“生存本能”现象，即即便用错误奖励训练也能得到安全策略，源于悲观主义与数据偏差的共同作用，并据此提出RL新范式。
2023-11-08 cs.AI cs.LG
Offline Reinforcement Learning with Reverse Model-based Imagination
Tsinghua University（清华大学）；Baidu Inc.（百度）
在离线强化学习（offline RL）中，一个主要的挑战是处理学习策略和给定数据集之间的分布变化。为了解决这个问题，最近的离线RL方法试图引入保守主义偏见，以鼓励在高置信度区域学习。无模型方法使用保守正则化或特殊网络结构将这种偏差直接编码到策略或价值函数学习中，但其受限的策略搜索限制了离线数据集之外的泛化。基于模型的方法学习具有保守性量化的前向动力学模型，然后生成假想的轨迹来扩展离线数据集。然而，由于离线数据集的样本有限，保守性量化往往遭受过度泛化的支持区域。不可靠的保守度量会将基于正向模型的想象误导到不期望的区域，导致过度激进的行为。为了鼓励更多的保守主义，我们提出了一种新的基于模型的离线RL框架，称为反向离线基于模型的想象（ROMI）。我们学习了一个反向动态模型与一个新的反向策略，它可以生成导致离线数据集内的目标状态的推出。这些逆向想象为无模型策略学习提供了有根据的数据增强，并使离线数据集之外的保守泛化成为可能。ROMI可以有效地结合现成的无模型算法，使基于模型的泛化具有适当的保守性。实验结果表明，我们的方法可以产生更保守的行为，并实现最先进的性能离线RL基准任务。
2021-11-14 cs.AI cs.LG
Counterfactual-Augmented Importance Sampling for Semi-Offline Policy Evaluation
Computer Science & Engineering（计算机科学与工程系）；University of Michigan, Ann Arbor, MI, USA（密歇根大学安娜堡分校）
本文提出一种半离线策略评估框架，利用人类标注的反事实轨迹设计基于重要性采样的新估计器，在不引入额外偏差的前提下降低偏差和方差，并在赌博机和医疗模拟器中验证其优于纯离线方法且对不完美标注具有鲁棒性。
2023-10-26 cs.AI cs.LG
A Perspective of Q-value Estimation on Offline-to-Online Reinforcement Learning
The University of Sydney（悉尼大学）；SenseTime Computer Vision Group（商汤科技计算机视觉组）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；CUHK MMLab（香港中文大学多媒体实验室）；Institute for AI, Peking University（北京大学人工智能研究院）
该研究从Q值估计视角揭示离线到在线强化学习性能提升慢、微调不稳定的根源，提出扰动值更新和提高Q值更新频率的SO2方法，在基准环境中较现有最优方法最高提升83.1%性能。
2023-12-12 cs.AI cs.LG
Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions
Florida State University（佛罗里达州立大学）；University of Connecticut（康涅狄格大学）；Zhejiang University（浙江大学）
研究具有隐藏动作的离线强化学习问题，利用下一状态变量为未观测动作的代理，提出LURE估计器，该估计器多重稳健且渐近正态，通过模拟和败血症管理应用证明了其有效性。
2026-07-29 cs.LG stat.ML
Offline Reinforcement Learning for Human-Guided Human-Machine Interaction with Private Information
Northwestern University（西北大学）；George Washington University（乔治华盛顿大学）；Yale University（耶鲁大学）；University of Miami（迈阿密大学）
受训练聊天机器人以提高客户满意度等人机交互的启发，我们研究了涉及私人信息的人引导的人机交互。我们将这种交互建模为两个玩家的回合制游戏，其中一个玩家（Alice，人类）引导另一个玩家（Bob，机器）朝着共同的目标前进。具体来说，我们在这个游戏中专注于离线强化学习（RL），目标是为Alice和Bob找到一个策略对，基于先验收集的离线数据集最大化他们的预期总回报。离线设置带来了两个挑战：（i）我们无法收集Bob的私人信息，导致使用标准RL方法时出现混淆偏差，以及（ii）用于收集数据的行为策略与我们想要学习的策略之间的分布不匹配。为了解决混杂偏差，我们将Bob之前的行为视为Alice当前决策的工具变量，以便调整未测量的混杂。我们开发了一个新的识别结果，并使用它提出了一个新的关闭政策评估（OPE）的方法来评估政策对在这个两个玩家回合制游戏。为了解决分布不匹配的问题，我们利用悲观主义的思想，并使用我们的OPE方法来开发一个离线学习算法，为Alice和Bob找到一个理想的策略对。最后，我们证明了在温和的假设下，如部分覆盖的离线数据，通过我们的方法获得的政策对收敛到最优的一个令人满意的速度。
2022-12-23 cs.LG stat.ME stat.ML
An Investigation of Offline Reinforcement Learning in Factorisable Action Spaces
Warwick Medical School, University of Warwick（华威大学华威医学院）；University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）；Warwick Manufacturing Group, University of Warwick（华威大学华威制造集团）
本研究针对可分解动作空间中的离线强化学习进行基础探究，基于DecQN价值分解方法提出分解策略，并构建包含不同质量与复杂度的新基准数据集，对多种离线技术进行广泛评估，公开数据集与代码以促进可复现研究。
2024-11-17 cs.LG stat.ML
Session-Level Dynamic Ad Load Optimization using Offline Robust Reinforcement Learning
Meta
针对会话级广告负载优化中的混杂偏差与分布偏移，论文提出离线鲁棒对决 DQN 框架，在数据集、真实广告数据及在线 A/B 测试中均取得显著收益。
2025-01-09 cs.LG
Hybrid Combinatorial Multi-armed Bandits with Probabilistically Triggered Arms
Southern University of Science and Technology（南方科技大学）；Microsoft Research（微软研究院）
本文提出混合概率触发组合多臂老虎机框架，结合离线数据与在线交互，通过混合CUCB算法提升探索效率并纠正数据偏差，实验证明其在高质量和低质量数据下的优越性能。
2025-12-26 cs.LG
Offline Reinforcement Learning with Additional Covering Distributions
School of Computer Science and Technology（计算机科学与技术学院）；Huazhong University of Science and Technology（华中科技大学）
本文研究离线强化学习，提出基于边缘化重要性采样的算法，在给定覆盖分布边信息下，仅需部分覆盖数据集和弱可实现的函数类即可实现样本高效学习，并揭示覆盖分布权衡最优轨迹先验知识与数据集覆盖要求的作用。
2023-05-24 cs.LG stat.ML
Batch-Constrained Distributional Reinforcement Learning for Session-based Recommendation
TCS Research（塔塔咨询服务研究院）
大多数现有的深度强化学习（RL）方法都依赖于与真实用户的昂贵在线交互，或者依赖于潜在的基于规则或数据驱动的用户行为模型进行学习。在这项工作中，我们专注于学习纯批量或离线设置中的推荐策略，即仅从离线历史交互日志或从未知和次优行为策略生成的批量数据中学习策略，而无需进一步访问来自真实世界或用户行为模型的数据。我们提出了BCD4Rec：基于会话推荐的批量约束分布式强化学习。BCD4Rec建立在批处理（离线）RL和分布式RL的最新进展基础上，从离线日志中学习，同时处理由于不同的潜在兴趣偏好（环境）而导致的用户奖励的内在随机性。我们证明，BCD4Rec显着提高了行为策略，以及强大的RL和非RL基线在批量设置方面的标准性能指标，如点击率或购买率。BCD4Rec的其他有用性质包括：推荐来自正确潜在类别的项目，所述正确潜在类别指示更好的价值估计，尽管有大的动作空间（项目数量级），以及ii.克服离线日志中通常存在的点击或购买物品的受欢迎程度偏见。
2020-12-16 cs.IR cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
Reset & Distill: A Recipe for Overcoming Negative Transfer in Continual Reinforcement Learning
Department of Electrical and Computer Engineering (ECE), Seoul National University（电子与计算机工程系，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence (IPAI), Seoul National University（人工智能交叉计划，首尔国立大学）；Samsung Advanced Institute of Technology（三星先进技术研究所）
针对持续强化学习中的负迁移问题，提出Reset & Distill（R&D）方法，通过重置在线网络与离线知识蒸馏策略，在Meta World任务上显著提升了成功率。
2025-11-04 cs.AI cs.LG
Causal Flow Q-Learning for Robust Offline Reinforcement Learning
Causal AI Lab, Columbia University, NY, United States（因果AI实验室，哥伦比亚大学，纽约，美国）；Department of Electrical Engineering and Computer Science, Syracuse University, NY, United States（电气工程与计算机科学系，雪城大学，纽约，美国）
本文提出一种因果流Q学习方法，通过优化策略在混淆偏见下的最坏情况性能，提升离线强化学习的鲁棒性。
2026-02-02 cs.AI cs.LG cs.RO
Less is More: Clustered Cross-Covariance Control for Offline RL
Central South University（中南大学）；Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）
本文提出了一种用于离线强化学习的聚类交叉协方差控制方法，通过分区缓冲区采样和梯度修正惩罚，减少分布偏移带来的影响，提升策略学习的稳定性和性能。
2026-01-31 cs.LG
In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
Peng Cheng Laboratory（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）
提出数据集内轨迹回报正则化（DTR）方法，利用条件序列建模和集成归一化技术缓解离线偏好强化学习中的奖励偏差问题，在多个基准上取得优越性能。
2024-12-21 cs.AI cs.LG
Evaluating covariate balance for long time horizon Markov decision processes
研究在离线强化学习用于得出最优治疗建议时隐藏混杂因素/模型错误指定情况，采用协变量平衡诊断，发现现有研究有偏差风险或评估指标不足，结论给出未来使离线RL在治疗建议应用更稳健的研究方向。
2026-09-15 cs.LG
Offline reinforcement learning with uncertainty for treatment strategies in sepsis
The Johns Hopkins University（约翰斯·霍普金斯大学）
基于指南的脓毒症和脓毒性休克的治疗是困难的，因为脓毒症是一种不同范围的危及生命的器官功能障碍，其病理生理学尚未完全了解。脓毒症的早期干预对患者的预后至关重要，但这些干预措施具有不良反应，并且经常过度使用。更大的个性化是必要的，因为没有一个单一的行动是适合所有患者。我们提出了一种新的强化学习应用，其中我们从数据中识别脓毒症治疗的最佳建议，估计其置信水平，并识别在训练数据中很少观察到的治疗方案。而不是一个单一的建议，我们的方法可以提出几种治疗方案。我们研究了学习的政策，发现强化学习对积极干预有偏见，因为死亡率和接受的治疗水平之间存在混杂关系。我们使用子空间学习来减轻这种偏见，并开发出可以在医疗保健应用中产生更准确的学习策略的方法。
2021-09-22 cs.AI cs.LG
Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
研究大语言模型强化学习中PPO-Clip的探索崩溃问题，提出黎曼等距策略优化（RIPO）方法，通过保证黎曼流形上等距策略更新平衡探索与利用，在七个竞争级基准上显著超越现有算法。
2026-10-09 cs.AI cs.LG
How to Leverage Unlabeled Data in Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
离线强化学习（RL）可以从静态数据集学习控制策略，但与标准RL方法一样，它需要对每个转换进行奖励注释。在许多情况下，用奖励来标记大型数据集可能是昂贵的，特别是如果这些奖励必须由人类标记者提供，而收集各种未标记的数据可能相对便宜。我们如何在离线RL中最好地利用这些未标记的数据？一个自然的解决方案是从标记的数据中学习一个奖励函数，并用它来标记未标记的数据。在本文中，我们发现，也许令人惊讶的是，一个简单得多的方法，简单地应用零奖励未标记的数据导致有效的数据共享在理论和实践中，而无需学习任何奖励模型。虽然这种方法一开始看起来很奇怪（也不正确），但我们提供了广泛的理论和实证分析，说明了它如何权衡奖励偏差，样本复杂性和分布变化，通常会产生良好的结果。我们描述了这种简单策略有效的条件，并进一步表明，用一个简单的重新加权方法扩展它可以进一步减轻使用不正确的奖励标签引入的偏见。我们的实证评估证实了这些研究结果在模拟机器人运动，导航和操作设置。
2022-07-08 cs.AI cs.LG cs.RO
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning
Seoul National University（首尔国立大学）
针对离线目标条件强化学习中价值函数错误泛化的瓶颈，提出潜在对齐价值学习（LAVL）算法，通过潜在表示价值泛化与分层规划的统一框架，在OGBench的22个数据集上20个取得最优性能。
2026-05-25 cs.LG
Automatic Reward Shaping from Confounded Offline Data
Causal AI Lab, Columbia University, New York, USA（因果AI实验室，哥伦比亚大学，纽约，美国）；Department of Electrical Engineering and Computer Science, Syracuse University, New York, USA（电气工程与计算机科学系， Syracuse大学，纽约，美国）
本文提出一种基于DQN的鲁棒深度强化学习算法，应对离线数据中的未观测混杂偏差，在十二个混杂Atari游戏中始终优于标准DQN。
2025-09-09 cs.AI cs.LG
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan（密歇根大学）；Michigan Medicine（密歇根医学中心）；Harvard University（哈佛大学）
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题，提出因子化动作空间诱导的线性Q函数分解法，兼具理论保证与样本效率，可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms
Yahoo! Labs（雅虎研究院）
上下文强盗算法已经成为流行的在线推荐系统，如Digg，雅虎！Buzz和一般的新闻推荐。\emph{Offline}评估新算法在这些应用中的有效性对于保护在线用户体验至关重要，但由于其“部分标签”性质，非常具有挑战性。通常的做法是创建一个模拟器，它模拟当前问题的在线环境，然后在这个模拟器上运行一个算法。然而，创建模拟器本身往往是困难的，建模偏差通常是不可避免地引入。在本文中，我们介绍了一个\emph{replay}上下文强盗算法的评估方法。与基于模拟器的方法不同，我们的方法是完全数据驱动的，非常容易适应不同的应用。更重要的是，我们的方法可以提供可证明的无偏评估。我们的实证结果的大规模新闻文章推荐数据集收集从雅虎！前页符合我们的理论结果。此外，我们的离线重放和几个上下文强盗算法的在线桶评估之间的比较表明，我们的离线评估方法的准确性和有效性。
2012-03-01 cs.AI cs.LG cs.RO
Settling the Communication Complexity for Distributed Offline Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
我们研究了离线强化学习（RL）中的一种新设置，其中许多分布式机器联合合作解决问题，但只允许一轮通信，并且每个机器可以发送的信息总数（以比特计）有预算约束。对于价值函数预测的背景土匪，情节和非情节的MDP，我们建立信息理论的下限分布统计估计的极小极大风险，这揭示了任何离线RL算法所需的最小通信量。具体而言，对于上下文强盗，我们表明，位的数量必须至少缩放为$Ω(AC)$，以匹配集中的最小最大最优速率，其中$A$是动作的数量和$C$是上下文维度;同时，我们在MDP设置中达到类似的结果。此外，我们开发的学习算法的基础上最小二乘估计和蒙特卡洛收益估计，并提供了一个尖锐的分析表明，他们可以实现最佳的风险对数因子。此外，我们还表明，由于这种方法的初始偏差，时间差无法有效地利用单轮通信设置下所有可用设备的信息。据我们所知，本文提出了分布式离线RL问题的第一个极大极小下界。
2022-02-10 cs.AI cs.LG stat.ML
Entropy-Regularized Adjoint Matching for Offline Reinforcement Learning
College of Computing（计算学院）；Mohammed VI Polytechnic University（穆莱·阿卜杜勒阿齐兹技术大学）
本文提出最大熵对偶匹配框架，通过镜像下降熵最大化和混合行为先验机制，缓解流行偏差和支撑绑定问题，提升离线数据中最优策略的提取能力。
2026-05-08 cs.AI cs.LG
Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
基于Transformer神经网络架构的自然语言处理（NLP）的令人印象深刻的结果激发了研究人员探索将离线强化学习（RL）视为通用序列建模问题。最近的工作基于这种范式已经取得了国家的最先进的结果，在几个主要是确定性离线Atari和D4RL基准。然而，由于这些方法将国家和行动联合建模为单个排序问题，因此它们很难理清政策和世界动态对回报的影响。因此，在对抗或随机环境中，这些方法会导致过度乐观的行为，这在自动驾驶等安全关键系统中可能是危险的。在这项工作中，我们提出了一种方法，明确地解开政策和世界模型，这使我们能够在测试时搜索的政策，是强大的多个可能的未来的环境中解决这种乐观偏见。我们在模拟中展示了我们的方法在各种自动驾驶任务上的优越性能。
2022-07-21 cs.AI cs.LG cs.RO
Epistemic Robust Offline Reinforcement Learning
GERAD, Department of Decision Sciences, HEC Montréal（GERAD，蒙特利尔高等商学院决策科学系）
本文提出一种统一框架，通过紧凑的Q值不确定性集替代离散集合，引入Epinet模型优化鲁棒Bellman目标，提升离线强化学习在风险敏感行为策略下的鲁棒性和泛化能力。
2026-04-08 cs.LG
Imagination-Limited Q-Learning for Offline Reinforcement Learning
East China Normal University（华东师范大学）；Fudan University（复旦大学）
针对离线强化学习中分布外动作价值估计过乐观的问题，提出想象受限Q学习方法，通过动力学模型想象并裁剪OOD动作价值，在理论上证明收敛性与误差界特性，在D4RL基准上取得最优性能。
2025-05-18 cs.AI cs.LG
Adaptive Q-Chunking for Offline-to-Online Reinforcement Learning
Peking University（北京大学）；Galbot；University of Toronto（多伦多大学）
本文提出自适应Q分块方法，通过动态选择不同分块大小的 critic 来解决离线到在线强化学习中的偏置问题，提升在 OGBench 和 Robomimic 上的性能。
2026-05-07 cs.LG cs.RO
Offline Model-Based Optimization via Policy-Guided Gradient Search
School of EECS, Washington State University（华盛顿州立大学电气工程与计算机科学学院）
本文将离线优化重构为离线强化学习问题，提出策略引导梯度搜索，使搜索策略直接从离线数据学习，并可与现有代理模型结合显著提升性能。
2024-05-08 cs.AI cs.LG
OER: Offline Experience Replay for Continual Offline Reinforcement Learning
Westlake University（西湖大学）；Fudan University（复旦大学）
针对持续离线强化学习中的灾难性遗忘和分布偏移问题，提出基于模型的离线经验回放算法OER，通过MBES方案筛选数据并引入DBC架构，在Mujoco环境中显著优于现有基线。
2024-04-20 cs.LG
Offline RL with Hierarchical Action Chunking
研究离线目标条件强化学习中扩展到长期任务的挑战，提出HiQC算法，结合高级潜在规划与低级动作分块，实现无偏k步价值备份，理论证明其价值误差界限更紧，实证表明在OGBench套件中性能最佳。
2026-07-24 cs.LG
Latent-Variable Advantage-Weighted Policy Optimization for Offline RL
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society, CUHK Shenzhen（香港中文大学（深圳）深圳市人工智能与机器人研究院）
离线强化学习方法有望从预先收集的数据集中学习策略，而无需查询环境中的新转换。这种设置特别适合于连续控制机器人应用，对于这些应用，基于试错法的在线数据汇集成本高且可能不安全。在实践中，离线数据集通常是异构的，即，在各种情况下收集的数据，例如来自多个人类演示者或来自具有不同目的的策略的数据。不幸的是，这样的数据集可能会加剧数据底层的行为策略和要学习的最优策略之间的分布偏移，导致性能不佳。为了应对这一挑战，我们建议利用潜在变量的政策，可以代表更广泛的一类政策分布，从而更好地遵守训练数据分布，同时最大限度地提高回报通过政策的潜在变量。正如我们在一系列模拟运动，导航和操作任务上的经验表明，我们的方法被称为潜在变量加权策略优化（LAPO），在异构数据集上将下一个性能最佳的离线强化学习方法的平均性能提高了49%，在具有窄分布和有偏分布的数据集上提高了8%。
2022-03-16 cs.LG
LexiSafe: Offline Safe Reinforcement Learning with Lexicographic Safety-Reward Hierarchy
LexiSafe通过字典序优先级与结构偏差的统一，提供了一种理论严谨且实用的离线安全强化学习框架，以提升物理系统中的安全性能。
2026-03-11 cs.LG cs.SY eess.SY
Goal-conditioned Offline Reinforcement Learning through State Space Partitioning
University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）
针对离线目标条件强化学习中的分布偏移与长视野多模态问题，提出基于状态空间价值划分的双优势加权方法DAWOG，性能优于现有基准算法，且保证策略不弱于行为策略。
2024-05-16 cs.LG
Diffusion Policy with Behavioral Advantage Correction for Offline Reinforcement Learning
School of Chemistry, Chemical Engineering and Biotechnology, Nanyang Technological University（南洋理工大学化学、化学工程与生物技术学院）
该研究针对离线强化学习中分布偏移导致的Q值估计偏差问题，提出带行为优势修正的扩散策略（DPBAC）算法，结合BAC-PE与扩散模型，在D4RL任务上实现优于SOTA的性能。
2026-08-04 cs.AI cs.LG cs.SY
COSBO: Conservative Offline Simulation-Based Policy Optimization
提出COSBO方法，结合不完美仿真环境与目标环境数据训练离线强化学习策略，有效克服仿真到现实差距，在多样复杂动态场景下优于CQL、MOPO和COMBO等先进方法。
2024-09-22 cs.AI cs.LG cs.RO
FAST-Q: Fast-track Exploration with Adversarially Balanced State Representations for Counterfactual Action Estimation in Offline Reinforcement Learning
Games24x7 India（Games24x7印度）
FAST-Q利用梯度反转学习构建平衡状态表示，支持离线反事实探索与多目标Q值分解，解决了离线强化学习中分布外动作Q值高估问题，显著提升了推荐效果并降低成本。
2025-04-30 cs.AI cs.LG
Generalization in offline RL: The structure is more important than the amount of pessimism
Delft University of Technology（代尔夫特理工大学）
本文证明在离线强化学习中，过度悲观不会阻碍上下文MDP中的最优泛化，关键在于悲观结构是否尊重最优解的对称性，并据此提出数据增强应通过策略提取中的一致性损失来应用。
2026-07-10 cs.AI cs.LG
