Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Provable Offline Preference-Based Reinforcement Learning
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
针对离线基于偏好的强化学习问题，提出结合MLE通用函数逼近奖励估计与分布鲁棒规划的算法，给出多项式样本学习保证与相关下界，并扩展到动作对反馈场景。
2023-09-29 cs.LG math.ST stat.ML
Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究混合强化学习设置，提出一种三阶段算法，在数据收集时无需奖励信息，通过单策略部分集中性概念指导离线与在线数据结合，在样本复杂度上超越纯离线和纯在线RL。
2023-05-17 cs.IT cs.LG math.IT
Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback
Peking University（北京大学）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
本文提出离线RLHF下多方多元对齐的统一框架，通过联合估计参与方奖励并在纳什、功利和平均主义目标下悲观优化，处理有限、异质及循环反馈，提供有限样本保证。
2026-09-09 cs.AI cs.LG stat.ME
A Natural Extension To Online Algorithms For Hybrid RL With Limited Coverage
The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；Harvard University（哈佛大学）
本文提出将离线数据加入经验回放以热启动乐观在线算法，无需覆盖假设即可在混合强化学习中取得可证明收益，并通过DISC-GOLF算法及实验验证其有效性。
2024-03-18 cs.LG stat.ML
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Provable Offline Reinforcement Learning for Structured Cyclic MDPs
Vanderbilt University Medical Center（范德比尔特大学医学中心）
CycleFQI通过模块化结构框架解决循环MDP中的离线学习问题，通过阶段特定的Q函数实现次优误差界和收敛速度分析，有效应对高维问题。
2026-02-12 cs.AI cs.LG math.OC
On Practical Reinforcement Learning: Provable Robustness, Scalability, and Statistical Efficiency
Deakin University（迪肯大学）
本论文对现代实际应用中的基本强化学习方法进行了深入研究，包括鲁棒强化学习、分布式强化学习和离线神经函数逼近强化学习。本文首先为读者提供了RL的总体概述以及统计和优化方面的关键技术背景。在每一个设置，论文激励的问题进行研究，回顾了目前的文献，提供计算效率的算法，可证明的效率保证，并得出结论，未来的研究方向。本文在算法、理论和经验方面对上述三种设置做出了基本贡献，同时与实际考虑保持相关。
2022-03-03 cs.AI cs.LG stat.ML
NFTR: From Provable Mode-Averaging to Geodesic Subgoal Selection in Offline Goal-Conditioned RL
Huazhong University of Science and Technology（华中科技大学）；Xi’an Jiaotong University（西安交通大学）；University of Electronic Science and Technology of China（电子科技大学）
针对分层隐式Q学习在离线目标条件强化学习中存在的问题，提出NFTR方法，用条件归一化流取代高斯策略，结合基于架构三角不等式的三角松弛分数及RWDR目标，可避免高斯坍塌且在随机动力学下保持稳定。
2026-10-06 cs.LG
Provable Benefit of Multitask Representation Learning in Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
在强化学习（RL）中，表示学习在实践中成为降低样本复杂度的有力技术，但理论上对其优势的认识仍然有限。在本文中，我们从理论上描述了低秩马尔可夫决策过程（MDP）模型下的表示学习的好处。我们首先研究多任务低秩RL（作为上游训练），其中所有任务共享一个共同的表示，并提出了一个新的多任务无奖励算法称为REFUEL。REFUEL学习每个任务的转换内核和接近最优的策略，并输出下游任务的良好学习表示。我们的研究结果表明，多任务表示学习是可证明的样本效率比学习每个任务单独，只要任务的总数是超过一定的阈值。然后，我们研究了在线和离线设置下的下游RL，其中代理被分配了一个新的任务，与上游任务共享相同的表示。对于在线和离线设置，我们开发了一个样本有效的算法，并表明，它找到了一个接近最优的政策与次优差距的上游和消失项的学习表示的估计误差的总和为界下游样本的数量变得很大。我们的在线和离线RL的下游结果进一步捕获了使用从上游学习的表示的好处，而不是直接学习低秩模型的表示。据我们所知，这是第一个理论研究，表征表示学习的好处，在探索为基础的无奖励多任务RL的上游和下游任务。
2022-06-13 cs.LG stat.ML
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley（加州大学伯克利分校）
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据，提出具有可证明保证的算法，并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Provably Efficient Offline-to-Online Value Adaptation with General Function Approximation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
研究离线到在线强化学习中的价值适应问题，提出O2O-LSVI算法，在特定条件下证明其优于纯在线强化学习。
2026-10-09 cs.LG
Offline Meta Reinforcement Learning with In-Distribution Online Adaptation
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
针对离线元强化学习中离线数据与在线适应间的转移—奖励分布偏移问题，提出 IDAQ 框架，通过基于回报的不确定性量化生成分布内上下文并推断任务信念，在 Meta-World ML1 上达到最优性能。
2023-06-01 cs.AI cs.LG
Automatic Trade-off Adaptation in Offline RL
Siemens Technology（西门子技术）；TU Munich（慕尼黑工业大学）
针对离线RL中需专家手动调整行为克隆与最优性权衡参数、耗费专家时间的问题，研究在LION算法基础上加入自动寻参的自动驾驶模块，提出AutoLION算法，实现离线RL权衡的自动自适应。
2023-06-16 cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Optimal Conservative Offline RL with General Function Approximation via Augmented Lagrangian
UC Berkeley（加州大学伯克利分校）
离线强化学习（RL）是指根据先前收集的交互数据集进行决策，在过去几年中受到了极大的关注。很多努力都集中在通过各种形式的保守策略学习来解决部分数据覆盖的普遍问题，从而提高离线RL的实用性。虽然大多数算法不具有有限样本保证，但在处理部分覆盖的单策略集中性框架内设计和分析了几种可证明的保守离线RL算法。然而，在非线性函数近似设置的置信区间是很难获得的，现有的可证明算法遭受计算的棘手性，禁止强的假设，和次优的统计率。在本文中，我们利用边缘化的重要性采样（MIS）制定的RL，并提出了第一组离线RL算法，是统计上最优的和实用的一般功能近似和单政策集中，绕过不确定性量化的需要。我们确定，成功地解决基于样本的近似的MIS问题的关键是确保一定的占用有效性约束几乎满足。我们通过一种新的应用程序的增广拉格朗日方法来执行这些约束，并证明了以下结果：与MIS制定，增广拉格朗日是足够的统计最优离线RL。与通过行为正则化等方法诱导额外保守性的先前算法形成鲜明对比，我们的方法可证明消除了这种需要，并将正则化器重新解释为“占用有效性的执行者”而不是“保守性的促进者”。"
2022-11-01 cs.AI cs.LG math.OC
PAnDR: Fast Adaptation to New Environments from Offline Experiences via Decoupling Policy and Environment Representations
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Northwestern Polytechnical University（西北工业大学）
深度强化学习（Deep Reinforcement Learning，DRL）是解决许多复杂决策问题的有效方法。然而，众所周知的弱点，在环境之间的泛化，阻止DRL代理在现实世界中的广泛应用。虽然最近已经取得了进展，大多数先前的作品假设足够的在线互动的培训环境，这在实际情况下可能是昂贵的。为此，我们专注于离线训练在线适应设置，其中代理首先从具有不同动态的环境中收集的离线经验中学习，然后在具有新动态的环境中执行在线策略适应。在本文中，我们提出了政策适应与解耦表示（PAnDR）的快速政策适应。在离线训练阶段，环境表示和策略表示分别通过对比学习和策略恢复来学习。通过互信息优化进一步细化表示，使其更加解耦和完整。利用学习的表示，策略动态价值函数（PDVF）[Raileanu等人，2020]网络被训练以近似来自离线体验的策略和环境的不同组合的值。在在线适应阶段，从新环境中收集的少量经验中推断出环境背景，通过相对于PDVF的梯度上升来优化策略。我们的实验表明，PAnDR优于现有的算法在几个代表性的政策适应问题。
2022-05-30 cs.AI cs.LG
Corruption Robust Offline Reinforcement Learning with Human Feedback
University of Warwick（华威大学）；Max-Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Independent Researcher（独立研究员）
研究离线环境下人类反馈强化学习的数据鲁棒性，提出基于置信集和悲观策略的鲁棒方法，首次提供可证明的鲁棒性保证。
2026-07-01 cs.AI cs.LG
From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；University at Buffalo（纽约州立大学布法罗分校）
提出QTPT方法，用Q目标替代行为克隆进行上下文强化学习预训练，在理论和实验上证明其对弱数据更鲁棒，优于监督行为预测。
2026-09-28 cs.LG
Hybrid Transfer Reinforcement Learning: Provable Sample Efficiency from Shifted-Dynamics Data
Peking University（北京大学）；California Institute of Technology（加州理工学院）
针对在线强化学习样本效率低的问题，提出混合迁移强化学习（HTRL）设置，利用动力学偏移的离线数据，并设计HySRL算法，在已知偏移程度时实现问题相关样本复杂度并超越在线RL基线。
2024-11-06 cs.LG stat.ML
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA（佛罗里达州立大学计算机科学系）
本文提出DARE框架，通过行为一致性实现样本级约束放松，解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战，改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Provably Efficient Third-Person Imitation from Offline Observation
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study, Princeton（普林斯顿高等研究院）
模仿学习中的领域自适应是提高泛化能力的重要一步。然而，即使在第三人模仿的限制设置之间的同构马尔可夫决策过程的转移，有没有强有力的保证转让政策的性能。我们提出了依赖于问题的，统计学习保证第三人称模仿从观察在离线设置，并在在线设置的性能下限。
2020-02-27 cs.LG stat.ML
FormulaZero: Distributionally Robust Online Adaptation via Offline Population Synthesis
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
平衡性能和安全性对于在多智能体环境中部署自动驾驶汽车至关重要。特别是，自动驾驶赛车是一个惩罚安全但保守的政策的领域，突出了对稳健，适应性策略的需求。目前的方法要么简化了对其他代理人的假设，要么缺乏强大的在线适应机制。这项工作使算法的贡献，这两个挑战。首先，为了生成一个现实的，多样化的对手，我们开发了一种新的方法，自我发挥的基础上复制交换马尔可夫链蒙特卡罗。其次，我们提出了一个分布式鲁棒的强盗优化过程，自适应调整风险规避相对于对手的行为信念的不确定性。当在实时运动规划中近似这些计算时，我们严格量化了性能和鲁棒性的权衡，并且我们在自动驾驶汽车上实验性地展示了我们的方法，这些自动驾驶汽车可以达到与一级方程式赛车相当的缩放速度。
2020-08-22 cs.LG cs.MA cs.RO
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
MOORe: Model-based Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
随着离线强化学习（RL）的成功，离线训练的RL策略在在线部署时有可能进一步改进。策略的平稳传输在安全的实际部署中至关重要。此外，策略的快速自适应在实际的在线性能改进中起着至关重要的作用。为了解决这些挑战，我们提出了一种简单而有效的算法，基于模型的离线到在线强化学习（MOORe），它采用了一个优先级的采样方案，可以动态调整离线和在线数据的平滑和有效的在线适应的政策。我们提供了一个理论基础，我们的算法设计。在D4RL基准测试上的实验结果表明，该算法在实现样本有效的在线自适应的同时，能够平滑地从离线阶段过渡到在线阶段，并且性能也明显优于现有方法。
2022-01-25 cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
A Provable Approach for End-to-End Safe Reinforcement Learning
LY Corporation（LY公司）；University of Tsukuba（茨ukuba大学）；RIKEN AIP（理化学研究所AIP）
提出PLS方法，结合离线安全RL与安全策略部署，利用高斯过程优化目标回报，在学习和操作全周期内以高概率保证安全并实现高奖励。
2025-05-28 cs.AI cs.IT cs.LG
Cross-Domain Offline Policy Adaptation via Selective Transition Correction
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Tencent（腾讯）；City University of Hong Kong（香港城市大学）
本文提出STC算法，通过修正源域数据以匹配目标域动态，提升跨域离线策略适应性能。
2026-02-05 cs.LG
Discovering Multiple Solutions from a Single Task in Offline Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文研究离线强化学习中从单一任务发现多个解的问题，提出相应算法并实验验证其能学到多个定性和定量上不同的解。
2024-06-10 cs.LG stat.ML
Self-Confirming Transformer for Belief-Conditioned Adaptation in Offline Multi-Agent Reinforcement Learning
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；The Pennsylvania State University（宾夕法尼亚州立大学）
针对离线多智能体强化学习中非平稳对手导致的分布偏移问题，提出自确认Transformer（SCT），通过自增强预条件训练实现信念条件化在线自适应，在迭代囚徒困境和多粒子环境中验证了优越性能。
2025-02-24 cs.LG cs.MA
MESA: Offline Meta-RL for Safe Adaptation and Fault Tolerance
安全探索对于在风险敏感环境中使用强化学习（RL）至关重要。最近的工作学习风险措施，衡量违反约束的概率，然后可以用来实现安全。然而，学习这样的风险措施，需要与环境的显着互动，导致过度的约束违反在学习过程中。此外，这些措施不容易转移到新的环境。我们将安全探索作为离线元RL问题，其目标是利用各种环境中安全和不安全行为的示例，快速将学习到的风险措施适应具有以前看不见的动态的新环境。然后，我们提出了安全适应的元学习（MESA），这是一种元学习安全RL风险度量的方法。跨5个连续控制域的仿真实验表明，MESA可以利用来自一系列不同环境的离线数据，在保持任务性能的同时，将看不见的环境中的约束违反减少到2倍。有关代码和补充材料，请参见https://tinyurl.com/safe-meta-rl。
2021-12-07 cs.AI cs.LG cs.RO
Towards Robust Offline-to-Online Reinforcement Learning via Uncertainty and Smoothness
Northwestern Polytechnical University（西北工业大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）
针对离线到在线强化学习中因分布偏移导致的性能下降问题，提出RO2O算法，通过引入Q集成的不确定性惩罚和对抗样本的平滑性，在有限在线交互下实现稳定的策略改进与显著性能提升。
2024-11-08 cs.LG
Offline Reinforcement Learning and Sequence Modeling for Downlink Link Adaptation
Politecnico di Milano（米兰理工大学）；Ericsson AB（爱立信公司）
针对链路自适应建模的挑战及在线强化学习部署问题，本文提出三种基于批量约束深度Q学习、保守Q学习和决策Transformer的离线强化学习设计，在适当数据收集下可匹配在线方法性能。
2024-11-28 cs.AI cs.LG cs.SY
Sim2O: Efficient Offline-to-Online MARL via Joint Action Composition
Department of Computer Science and Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所复杂系统认知与决策智能重点实验室）
提出Sim2O框架，通过动态混合离线与在线动作提案并利用集中式价值函数评估组合，实现高效的多智能体离线到在线适应，无需辅助训练目标。
2026-06-23 cs.AI cs.LG
Leveraging Offline Data in Online Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
针对兼具离线数据与在线交互的FineTuneRL设定，研究线性结构MDP下的最优在线样本量，提出可证明最优的FTPedel算法，证实结合离线与在线模式的性能优势并厘清两类学习的形式差异。
2023-07-20 cs.AI cs.LG stat.ML
Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）；University of Technology Sydney（悉尼科技大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
离线强化学习（RL）旨在从先前收集的数据集中学习策略，而无需探索环境。直接将离线策略算法应用于离线强化学习通常会由于分布外（OOD）操作引起的外推错误而失败。以前的方法通过惩罚OOD动作的Q值或限制训练策略接近行为策略来解决这个问题。然而，这样的方法通常防止价值函数的泛化超出离线数据，也缺乏OOD数据的精确表征。在本文中，我们提出了离线RL（PBRL），一个纯粹的不确定性驱动的离线算法，没有明确的政策约束的Pessierity Bootstrapping。具体而言，PBRL通过自举Q函数的不一致性进行不确定性量化，并通过基于估计的不确定性惩罚价值函数来执行悲观更新。为了解决外推误差，我们进一步提出了一种新的OOD采样方法。我们表明，这样的OOD抽样和悲观的自举产生可证明的不确定性量化的线性MDPs，从而提供了PBRL的理论基础。在D4RL基准测试上的大量实验表明，PBRL算法比现有算法具有更好的性能。
2022-02-23 cs.LG
Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems
Princeton University（普林斯顿大学）；Oregon State University（俄勒冈州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文从理论上比较了离线上下文赌博机中绝对评分与偏好排序两种人类反馈方法，揭示了人类偏差和不确定性对理论保证的影响，为偏好方法的经验成功提供了建模层面的解释。
2023-10-28 cs.LG math.ST stat.ML
Policy-Driven World Model Adaptation for Robust Offline Model-based Reinforcement Learning
The University of Hong Kong, Hong Kong SAR（香港大学）；INFIFORCE Intelligent Technology Co., Ltd., Hangzhou, China（INFIFORCE智能技术有限公司）；Tsinghua University, Beijing, China（清华大学）；Carnegie Mellon University, Pittsburgh, PA 15213, USA（卡内基梅隆大学）
本文提出了一种基于策略驱动的世界模型适应框架，通过最大化最小优化问题和Stackelberg学习动态提升离线模型驱动强化学习的鲁棒性。
2026-01-30 cs.AI cs.LG
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种用于离线奖励学习的统一线性规划框架，无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数，具有可证明的样本效率和最优性保证，性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL
Department of Computer Science（计算机科学系）；Florida State University（佛罗里达州立大学）
本文提出行为自适应Q学习（BAQ），通过离线数据构建隐式行为模型并在在线微调中提供行为一致性约束，随在线经验积累逐步放宽约束，从而稳定离线到在线强化学习的过渡并提升最终性能。
2025-11-05 cs.LG
What are the Statistical Limits of Offline RL with Linear Function Approximation?
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Washington, Seattle（西雅图华盛顿大学）；Microsoft Research（微软研究院）
离线强化学习试图利用离线（观察）数据来指导（因果）顺序决策策略的学习。希望离线强化学习与函数逼近方法（处理维数灾难）相结合，可以提供一种方法来帮助减轻现代顺序决策问题中过度的样本复杂性负担。然而，在何种程度上，这种更广泛的方法可以是有效的是没有得到很好的理解，在文献中主要是由充分的条件。这项工作的重点是什么是必要的代表性和分布条件，允许可证明的样本有效的离线强化学习的基本问题。也许令人惊讶的是，我们的主要结果表明，即使：i）我们具有可实现性，因为\emph{every}策略的真价值函数在给定的特征集合中是线性的，以及2）我们的非策略数据在所有特征上具有良好的覆盖（在强光谱条件下），那么任何算法（信息理论上）需要在问题范围内呈指数的多个离线样本，以便非平凡地估计给定策略的\emph{any}的值。我们的研究结果强调，样本有效的离线政策评估是根本不可能的，除非显着更强的条件下举行，这样的条件包括要么具有低分布偏移（离线数据分布接近的政策的分布进行评估）或显着更强的代表性条件（超出可实现性）。
2020-10-22 cs.AI cs.LG math.OC
False Correlation Reduction for Offline Reinforcement Learning
University of Technology Sydney（悉尼科技大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Maryland（马里兰大学）
针对离线RL中认知不确定性与决策的虚假相关性问题，提出带退火行为克隆正则化的SCORE算法，在D4RL上达到SoTA并加速3.1倍，且证明次线性收敛。
2023-11-01 cs.AI cs.LG
When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning
College of Engineering and Computer Science（工程与计算机科学学院）
研究探讨了在离线强化学习中，冻结的演员在部署时通过专家产品组合与目标条件先验进行适应，发现精度加权组合在退化或随机先验下仍能保持冻结演员的稳定性，而其他方法失效。同时揭示了在冻结演员设置下，PoE与KL正则化适应的闭式恒等式。
2026-04-23 cs.AI cs.LG
DiWA: Diffusion Policy Adaptation with World Models
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡技术大学）
DiWA提出利用世界模型离线微调扩散策略，通过强化学习提升样本效率，在CALVIN基准上以少量交互实现八项任务性能提升。
2025-08-05 cs.CV cs.LG cs.RO
Harnessing Density Ratios for Online Reinforcement Learning
Microsoft（微软公司）
针对密度比率建模在在线强化学习中的缺失问题，提出基于密度比率的在线探索算法GLOW及其混合强化学习高效变体HyGLOW，通过截断处理无界密度比率并结合乐观主义引导探索，实现样本高效的在线学习。
2024-06-04 cs.LG stat.ML
Leveraging Offline Data in Linear Latent Contextual Bandits
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对线性潜在上下文老虎机场景，提出带可证明保证的离线低秩子空间学习算法及两种加速在线学习的在线算法，证明极小极大最优性，经实验验证有效，并确立模型通用性。
2025-09-02 cs.AI cs.LG stat.ML
Ensemble Successor Representations for Task Generalization in Offline-to-Online Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）
针对离线到在线强化学习中的任务泛化难题，提出基于离线数据学习集成后继表示并构建集成Q函数的方法，可实现新任务的快速在线适配，性能优于传统方法。
2024-05-12 cs.AI cs.LG
VIPeR: Provably Efficient Algorithm for Offline RL with Neural Function Approximation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种新的离线强化学习算法，称为扰动奖励值迭代（VIPeR），它将悲观原则与值函数的随机扰动相结合。目前大多数离线RL算法显式地构建统计置信区域，以通过置信下限（LCB）获得悲观，这不能容易地扩展到使用神经网络来估计值函数的复杂问题。相反，VIPeR通过简单地用精心设计的i.i.d.多次扰动离线数据来隐含地获得悲观情绪。高斯噪声来学习估计的状态-动作{值函数}的系综，并且相对于系综的最小值来执行greyness。通过拟合参数模型（例如，神经网络）到扰动数据集使用梯度下降。因此，VIPeR仅需要$\mathcal{O}(1)$时间复杂度来进行动作选择，而基于LCB的算法至少需要$Ω(K^2)$，其中$K$是离线数据中的轨迹总数。我们还提出了一种新的数据分裂技术，有助于消除一个因素，涉及我们的界限中的覆盖数的日志。我们证明了VIPeR产生一个可证明的不确定性量词与过参数化的神经网络，并享有一个界的次优性$\tilde{\mathcal{O}}( { κH^{5/2} \tilde{d} }/{\sqrt{K}})$，其中$\tilde{d}$是有效的维度，$H$是地平线长度和$κ$措施的分布移位。我们证实了VIPeR的统计和计算效率与一个广泛的合成和现实世界的数据集的实证评估。据我们所知，VIPeR是第一个离线RL算法，可证明对具有神经网络函数近似的一般马尔可夫决策过程（MDP…
2023-03-04 cs.LG
DeFlow: Decoupling Behavior-Prior Modeling and Value Maximization for Offline Policy Extraction
Peking University, Institute of Artificial Intelligence, China, Beijing（北京大学人工智能研究所）
DeFlow通过解耦流形建模与价值最大化，利用流匹配技术实现高效离线策略提取，提升复杂行为流形的捕捉与生成能力。
2026-10-16 cs.LG
DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习算法有望适用于固定数据集可用且无法获得新经验的环境。然而，这样的公式化不可避免地是离线数据饥渴的，并且在实践中，在一个特定环境中为一个特定任务收集大量离线数据集也是昂贵且费力的。因此，在本文中，我们1）通过使用从另一个动态收集的（源）离线数据来制定离线动态自适应，以放松对广泛的（目标）离线数据的要求，2）表征先前的离线方法不能很好地扩展的动态偏移问题，以及3）从无模型和基于模型的离线设置中导出一个简单的动态感知奖励增强（DARA）框架。具体而言，DARA强调从那些适应目标环境的源转换对中学习，并通过表征状态-动作-下一状态对而不是先前离线RL方法描绘的典型状态-动作分布来减轻离线动态变化。实验结果表明，DARA通过增加源离线数据集的奖励，可以获得目标环境的自适应策略，同时显著降低对目标离线数据的需求。只有少量的目标离线数据，我们的性能始终优于以前的离线RL方法在模拟和现实世界的任务。
2022-03-13 cs.LG
Don't Trade Off Safety: Diffusion Regularization for Constrained Offline RL
University of California Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
针对离线约束强化学习的安全与性能平衡问题，提出DRCORL方法，通过扩散模型提取策略并结合梯度操纵实现安全适配，在机器人任务中兼具可靠安全性、快速推理与优异奖励表现，实用性强。
2025-09-04 cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点，无论是在与环境交互时的在线情况下，还是在从固定数据集学习时的离线情况下。然而，到目前为止，没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中，我们描述了重新分析算法，该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标，从而可以有效地学习数据预算，这些数据预算变化了几个数量级。我们进一步表明，Reanalyse也可以用于完全从演示中学习，而无需任何环境交互，就像离线强化学习（离线RL）一样。结合Reanalyze和MuZero算法，我们引入了MuZero Unplugged，这是一个适用于任何数据预算的统一算法，包括离线RL。与以前的工作相比，我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
