FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；Technical University of Munich（慕尼黑技术大学）；Foundation Robotics Labs, Munich（慕尼黑基础机器人实验室）；Eötvös Loránd University（劳尔·艾尔多迪大学）
针对离线强化学习场景，提出基于能量引导流匹配的FlowQ算法，通过近似高斯路径学习条件速度场，在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题，提出SAMG范式，通过冻结离线评论家提供状态-动作级引导，无需重训离线数据，在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Preferred-Action-Optimized Diffusion Policies for Offline Reinforcement Learning
JD Explore Academy（京东探索研究院）；Tongji University（同济大学）；Beijing Institute of Technology（北京理工大学）
针对离线RL中扩散策略受限于加权回归的问题，提出偏好动作优化扩散策略，利用critic函数生成偏好动作并结合抗噪偏好优化实现策略改进，在稀疏奖励任务上表现优异。
2024-05-29 cs.AI cs.LG
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University（南京大学）；UIUC（伊利诺伊大学）
本文研究了在一般函数逼近下离线强化学习的理论方面，扩展了理论保证到大或连续动作空间上的参数策略类，并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种具有不确定性的机器人世界模型，结合MOPO-PPO框架，使基于模型的离线强化学习在真实机器人上有效，通过提高策略的鲁棒性并超越现有基线。
2026-01-08 cs.AI cs.LG cs.RO
General Flexible $f$-divergence for Challenging Offline RL Datasets with Low Stochasticity and Diverse Behavior Policies
North Carolina State University（北卡罗来纳州立大学）
本文提出通用灵活的f-分歧度方法，用于解决低随机性和多样化行为策略的离线RL数据集问题，通过平衡RL目标与约束，提升算法性能。
2026-02-11 cs.AI cs.LG
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Causal Flow Q-Learning for Robust Offline Reinforcement Learning
Causal AI Lab, Columbia University, NY, United States（因果AI实验室，哥伦比亚大学，纽约，美国）；Department of Electrical Engineering and Computer Science, Syracuse University, NY, United States（电气工程与计算机科学系，雪城大学，纽约，美国）
本文提出一种因果流Q学习方法，通过优化策略在混淆偏见下的最坏情况性能，提升离线强化学习的鲁棒性。
2026-02-02 cs.AI cs.LG cs.RO
Efficient Diffusion Policies for Offline Reinforcement Learning
Sea AI Lab
本文提出高效扩散策略EDP，通过在训练时从被破坏动作近似构造动作来避免采样链，解决Diffusion-QL计算低效和与最大似然RL算法不兼容的问题，在D4RL上大幅缩短训练时间并取得新的最先进性能。
2023-10-26 cs.AI cs.LG
Model-Based Offline Planning
Google Research（谷歌研究院）
离线学习是使强化学习（RL）在真实系统中可用的关键部分。离线RL着眼于这样的场景，即有来自系统操作的数据，但在学习策略时没有对系统的直接存取。最近从离线数据中训练RL策略的工作已经显示了直接从数据中学习的无模型策略，或者在学习的数据模型之上进行规划的结果。无模型策略往往更有性能，但更不透明，更难从外部指挥，也更不容易集成到更大的系统中。我们提出了一个离线学习器，生成一个模型，可用于控制系统直接通过规划。这使我们能够直接从数据中轻松控制策略，而无需与系统交互。我们展示了我们的算法，基于模型的离线规划（MBOP）的一系列机器人启发的任务的性能，并展示了它的能力，利用规划尊重环境约束。我们能够找到接近最优的政策，某些模拟系统，从短短的50秒的实时系统交互，并创建zero-shot目标条件下的政策在一系列的环境。一个附带的视频可以在这里找到：https://youtu.be/nxGGHdZOFts
2021-03-17 cs.AI cs.LG cs.RO
Hyperparameter Selection for Offline Reinforcement Learning
DeepMind；Google（谷歌）
离线强化学习（RL纯粹来自日志数据）是在现实世界场景中部署RL技术的重要途径。然而，现有的超参数选择方法离线RL打破了离线的假设，通过评估对应于每个超参数设置的环境中的政策。这种在线执行通常是不可行的，因此破坏了离线RL的主要目标。因此，在这项工作中，我们专注于\textit{offline hyperparameter selection}，即从一组使用不同超参数训练的许多策略中选择最佳策略的方法，只给出记录的数据。通过大规模的实证评估，我们发现：1）离线RL算法对超参数选择不鲁棒，2）诸如离线RL算法和估计Q值的方法等因素可能对超参数选择产生很大影响，以及3）当我们仔细控制这些因素时，我们可以可靠地跨超参数选择对策略进行排名，并因此选择接近该组中的最佳策略的策略。总的来说，我们的研究结果提出了一个乐观的观点，即离线超参数选择是触手可及的，即使在具有像素观测，高维动作空间和长视野的挑战性任务中。
2020-07-17 cs.AI cs.LG stat.ML
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University（康奈尔大学）
我们研究了自然随机策略的有效离策略评估，这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价，其中大多数工作考虑明确规定的政策的评价。至关重要的是，具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题，导致基于当前实践的政策，并提高政策在实践中的可实施性。与经典的情况下，一个预先指定的评估政策，评估自然随机政策时，效率界，衡量最佳可实现的估计误差，膨胀，因为评估政策本身是未知的。在本文中，我们推导出两种主要类型的自然随机政策：倾斜政策和修改的治疗政策的效率界。然后，我们提出了有效的非参数估计，在非常宽松的条件下达到效率界。这些也享有（部分）双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出OOO框架，通过解耦探索与利用策略，利用离线重训练缓解在线RL中的探索偏差，显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Flow Actor-Critic for Offline Reinforcement Learning
KAIST（韩国科学技术院）；UNIST（全南大学）
本文提出流Actor-Critic方法，通过结合流模型提升离线强化学习中策略的表达能力，以应对复杂多模式数据分布，实现新的性能突破。
2026-02-20 cs.AI cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
本文提出离线强化学习应学习自适应策略先验而非静态策略，通过记忆、探索和自我纠错在后续交互中保持改进能力，并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University（弗吉尼亚共同体大学）；University of Virginia（弗吉尼亚大学）
研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Offline Meta-Reinforcement Learning with Online Self-Supervision
UC Berkeley（加州大学伯克利分校）；University of California, Berkeley（加州大学伯克利分校）
Meta-强化学习（RL）方法可以元训练策略，这些策略适应新任务，数据数量级比标准RL少，但元训练本身成本高且耗时。如果我们可以在离线数据上进行元训练，那么我们可以重用相同的静态数据集，为不同的任务标记一次奖励，以在元测试时元训练适应各种新任务的策略。虽然这种能力将使元RL成为现实世界使用的实用工具，但离线元RL提出了在线元RL或标准离线RL设置之外的额外挑战。元RL学习一种收集数据以进行调整的探索策略，并元训练一种快速适应新任务数据的策略。由于该策略是在固定的离线数据集上进行元训练的，因此当适应通过学习的探索策略收集的数据时，它可能会表现出不可预测的行为，这与离线数据系统地不同，从而引起分布变化。我们提出了一种混合离线元RL算法，该算法使用带有奖励的离线数据来元训练自适应策略，然后收集额外的无监督在线数据，而没有任何奖励标签来桥接这种分布偏移。通过在线收集不需要奖励标签，收集这些数据可以便宜得多。我们将我们的方法与模拟机器人运动和操纵任务的离线元RL的先前工作进行了比较，发现使用额外的无监督在线数据汇集可以显著提高元训练策略的自适应能力，在一系列需要推广到新任务的具有挑战性的领域上，匹配完全在线的元RL的性能。
2022-07-07 cs.AI cs.LG cs.RO
OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）
OSIL通过非偏好轨迹推断安全策略，从离线演示中学习安全且奖励最大化的策略，优于基线方法。
2026-02-11 cs.AI cs.LG stat.ML
Diffusion Policies for Risk-Averse Behavior Modeling in Offline Reinforcement Learning
Data 61, CSIRO, Australia（数据61，CSIRO，澳大利亚）；School of Computing, Macquarie University, Australia（计算学院，麦考瑞大学，澳大利亚）；Adobe Research, USA（Adobe研究，美国）；School of Computer Science and Engineering, University of New South Wales, Australia（计算机科学与工程学院，新南威尔士大学，澳大利亚）
本文提出一种不确定性感知的分布式离线强化学习算法，利用扩散策略同时建模认知不确定性与环境随机性，学习风险规避策略并刻画奖励完整分布，在风险敏感与风险中性基准上表现优越。
2025-07-02 cs.LG
Efficient Self-Supervised Data Collection for Offline Robot Learning
Intel Labs（英特尔实验室）；Technion – Israel Institute of Technology（以色列理工学院）
机器人强化学习的一种实用方法是首先使用某种数据汇集策略收集大量真实或模拟的机器人交互数据，然后使用离线学习算法从这些数据中学习以执行各种任务。以前的工作集中在手动设计的数据汇集的政策，并在任务中，合适的政策可以很容易地设计，如随机挑选的政策，收集数据的对象抓取。然而，对于更复杂的任务，可能难以找到有效地探索环境并产生对于下游任务足够多样化的数据的数据汇集策略。在这项工作中，我们建议，数据汇集政策应积极探索环境，收集多样化的数据。特别是，我们开发了一个简单而有效的目标条件下的学习方法，积极集中数据汇集新的观察，从而收集不同的数据集。我们评估我们的方法模拟机器人操作任务与视觉输入，并表明，积极的数据汇集的多样性的改善导致下游学习任务的显着改善。
2021-05-10 cs.AI cs.LG cs.RO
DiffPoGAN: Diffusion Policies with Generative Adversarial Networks for Offline Reinforcement Learning
Hubei University（湖北大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Chinese Academy of Sciences（中国科学院）
DiffPoGAN将扩散模型作为GAN的策略生成器，结合MLE正则化和判别器输出约束，以缓解离线强化学习中的外推误差并改进策略，在D4RL基准上取得领先效果。
2024-06-13 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在高风险应用中训练强化学习（RL）代理可能过于禁止，因为与探索相关的风险。因此，代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能，我们专注于优化风险规避标准，即CVaR。特别是，我们提出了离线规避风险的演员批评（O-RAAC），一个无模型的RL算法，能够在完全离线的设置学习规避风险的政策。我们表明，O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外，考虑风险厌恶的标准，保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明，在存在自然分布的变化，O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
Permutation Equivariant Model-based Offline Reinforcement Learning for Auto-bidding
Alibaba Group（阿里巴巴集团）
本文提出PE-MORL算法，通过排列等变模型和悲观Q学习弥合模拟器与现实差距，在真实数据上扩展状态覆盖，超越现有自动出价方法。
2025-06-22 cs.AI cs.LG
Action-Free Offline-to-Online RL via Discretised State Policies
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出无需动作的离线到在线强化学习方法，通过离散化状态策略提升高维问题的收敛速度和渐近性能。
2026-01-31 cs.AI cs.LG stat.ML
Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
该研究提出QDOS算法，通过优势加权质量多样性预训练与双数据集复用策略，在分层技能学习框架下，于稀疏奖励任务中显著提升性能，优于强基线算法。
2026-08-21 cs.AI cs.LG cs.RO
Curriculum Offline Imitation Learning
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
离线强化学习（RL）任务要求智能体从预先收集的数据集中学习，而不需要与环境进行进一步的交互。尽管有可能超越行为策略，但基于RL的方法通常是不切实际的，因为训练不稳定性和自举外推误差，这总是需要通过在线评估进行仔细的超参数调整。相比之下，离线模仿学习（IL）没有这样的问题，因为它直接学习策略而不通过自举估计价值函数。然而，IL通常受限于行为策略的能力，并且倾向于从由策略混合收集的数据集中学习平庸的行为。在本文中，我们的目标是利用IL，但减轻这样的缺点。观察到行为克隆是能够模仿邻居的政策与更少的数据，我们提出了\textit{Curriculum Offline Imitation Learning (COIL)}，它利用了一个经验挑选策略，模仿从适应性的邻居的政策，具有较高的回报，并改善了目前的政策沿课程阶段。在连续控制基准测试中，我们将COIL与基于模仿和基于RL的方法进行了比较，表明它不仅避免了在混合数据集上学习平庸的行为，而且甚至与最先进的离线RL方法竞争。
2022-01-12 cs.AI cs.LG
Learning Control Policies for Variable Objectives from Offline Data
Siemens AG, Technology（西门子股份公司技术部门）
本文提出可变目标策略（VOP），一种基于模型的策略搜索扩展方法，通过将目标作为输入使策略在运行时无需重新训练或收集数据即可调整行为或重新平衡优化目标。
2023-08-11 cs.LG
Streetwise Agents: Empowering Offline RL Policies to Outsmart Exogenous Stochastic Disturbances in RTC
Microsoft（微软）
针对RTC中外生随机扰动导致离线RL策略失效的问题，提出基于分布外子空间实时表征的部署后策略塑造方法Streetwise，显著提升了带宽估计等任务的最终回报。
2024-11-11 cs.LG
MetaDiffuser: Diffusion Model as Conditional Planner for Offline Meta-RL
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The University of Hong Kong（香港大学）
本文提出MetaDiffuser，将离线元强化学习泛化问题建模为条件轨迹生成任务，通过上下文条件扩散模型和双重引导采样模块，在MuJoCo基准上超越现有离线元强化学习方法。
2023-05-31 cs.AI cs.LG
Reflect-then-Plan: Offline Model-Based Planning through a Doubly Bayesian Lens
Google Research（谷歌研究院）；University of Waterloo（滑铁卢大学）
本文提出双贝叶斯离线基于模型规划方法 RefPlan，将规划视为贝叶斯后验估计并在部署时利用实时观测更新环境动态信念，从而提升保守离线 RL 策略在有限数据、高不确定性和动态变化环境中的性能与鲁棒性。
2025-06-06 cs.AI cs.LG
Fat-to-Thin Policy Optimization: Offline RL with Sparse Policies
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
针对离线强化学习中稀疏策略难以优化的问题，提出Fat-to-Thin策略优化算法，利用肥尾提议策略向稀疏策略注入知识，在安全关键模拟和MuJoCo基准上验证有效。
2025-01-24 cs.LG
Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning
Department of Computer Engineering, Bogazici University（计算机工程系，博雅大学）；SISReC, OTRI, Osaka University（SISReC、OTRI、大阪大学）；Department of Computer Science, Ozyegin University（计算机科学系，奥兹格伦大学）
本文提出SRDP方法，在扩散策略中引入状态重建特征学习以缓解离线强化学习中的分布外泛化问题，并在机器人、仿真及D4RL基准上取得最先进结果。
2025-06-06 cs.AI cs.LG cs.NE
Generative OOD-regularized Model-based Policy Optimization
University of California, San Diego（加州大学圣地亚哥分校）；Abiomed（阿比omed）
提出GORMPO算法，利用生成式密度估计在稀疏状态-动作空间中限制策略更新到高密度区域，以解决离线强化学习中的分布外动作问题，并在真实医疗数据集和离线RL数据集上优于基线方法。
2026-05-23 cs.AI cs.LG
SelfBC: Self Behavior Cloning for Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Rochester（罗切斯特大学）
针对离线强化学习静态策略约束导致策略过度保守的问题，本文提出 SelfBC 动态自约束机制，并从理论与 D4RL MuJoCo 实验验证其性能。
2024-08-04 cs.AI cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
本文提出OASIS，利用条件扩散模型塑形离线数据分布，以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题，在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Diffusion Policies with Offline and Inverse Reinforcement Learning for Promoting Physical Activity in Older Adults Using Wearable Sensors
Department of Statistics and Data Science, University of Central Florida（统计与数据科学系，中央佛罗里达大学）；College of Nursing, University of Central Florida（护理学院，中央佛罗里达大学）；School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）
针对医疗健康场景下离线强化学习奖励定义难、策略对齐难等问题，提出融合科尔莫戈罗夫-阿诺德网络与扩散策略的KANDI方法，在老年人活动促进临床数据及D4RL基准上均取得更优效果。
2025-09-22 cs.LG
Optimizing Warfarin Dosing Using Contextual Bandit: An Offline Policy Learning and Evaluation Method
University of California, Irvine（加利福尼亚大学欧文分校）；University of Miami（迈阿密大学）
针对华法林剂量个体差异大且错误剂量风险高的问题，利用历史观察数据在上下文老虎机框架下进行离线策略学习与评估，构建个性化剂量策略，在无基因型输入时超越基线方法。
2024-02-16 cs.AI cs.LG
Model-Based Proactive Cost Generation for Learning Safe Policies Offline with Limited Violation Data
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies Nanjing, China（南京Polixir科技有限公司）；Tencent Game AI Center Shenzhen, China（腾讯深圳游戏AI中心）
本文提出PROCO框架，利用大语言模型整合自然语言知识，通过构建保守成本函数和模型基于的模拟，减少约束违规并提升安全性，适用于离线数据中极少或无违规样本的高风险场景。
2026-05-02 cs.AI cs.LG
Identifying Expert Behavior in Offline Training Datasets Improves Behavioral Cloning of Robotic Manipulation Policies
University College Dublin（都柏林大学）；CeADAR - Ireland’s Centre for Applied AI（CeADAR——爱尔兰应用人工智能中心）；Dublin City University（都柏林城市大学）
本文针对混合离线数据集中专家数据无标签导致行为克隆性能下降的问题，提出基于半监督学习的专家行为识别分类器，并结合几何对称数据增强，在 RRC III 竞赛中取得最优成绩。
2023-09-21 cs.LG cs.RO
Flow to Control: Offline Reinforcement Learning with Lossless Primitive Discovery
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
离线强化学习（RL）使智能体能够有效地从记录的数据中学习，这大大扩展了RL算法在现实世界场景中的适用性，在现实世界中，探索可能是昂贵的或不安全的。以前的工作已经表明，从记录数据中的循环和时间扩展结构中提取原始技能会产生更好的学习。然而，这些方法受到很大的原语有有限的表示能力，以恢复原始的策略空间，特别是在离线设置。在本文中，我们给出了离线分层学习的性能的定量表征，并强调了学习无损原语的重要性。为此，我们建议使用基于\emph{flow}的结构作为低级别策略的表示。这使我们能够忠实地表示数据集中的行为，同时保持恢复整个策略空间的表达能力。我们表明，这种无损原语可以大大提高性能的分层政策。在标准D4RL基准上的实验结果和广泛的消融研究表明，我们的方法具有良好的政策表示能力，并在大多数任务中取得了优异的性能。
2022-12-02 cs.AI cs.LG
Constrained Latent Action Policies for Model-Based Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；Technical University of Munich（慕尼黑技术大学）；Eötvös Loránd University Budapest（布达佩斯欧多立大学）
本文提出C-LAP，通过约束潜在动作分布生成策略，提高模型驱动离线强化学习在视觉观测数据集上的性能。
2025-01-15 cs.AI cs.LG
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法，结合RCSL的稳定性与Q函数的缝合能力，通过自适应整合Q-辅助到损失函数中，提升离线强化学习性能。
2026-03-13 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
本文提出轨迹编码增强（TEA）方法，通过整合序列编码器提取的动态潜在表示来扩展状态空间，有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
离线强化学习（Offline Reinforcement Learning，RL）的目标是从不完美的离线数据中提取接近最优的策略，而不需要额外的环境交互。从不同的离线数据集中提取策略有可能通过使训练过程更安全，更快，更简化来扩大RL的适用范围。我们研究如何提高离线RL算法的性能，其对离线数据质量的鲁棒性，以及其泛化能力。为此，我们引入了基于离线模型的RL与自适应行为先验（MABE）。我们的算法是基于这样的发现，动力学模型，支持内领域泛化，和行为先验，支持跨领域泛化，是互补的。当结合在一起时，它们大大提高了离线RL策略的性能和泛化能力。在广泛研究的D4RL离线RL基准测试中，我们发现MABE与先前的无模型算法和基于模型的算法相比具有更高的平均性能。在需要跨领域泛化的实验中，我们发现MABE优于先前的方法。我们的网站是https://sites.google.com/berkeley.edu/mabe。
2021-06-18 cs.LG
A2PO: Towards Effective Offline Reinforcement Learning from an Advantage-aware Perspective
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
针对离线强化学习中多行为策略导致的约束冲突问题，提出优势感知策略优化（A2PO）方法，利用条件变分自编码器解耦动作分布，在D4RL基准上取得优于现有方法的性能。
2024-11-11 cs.AI cs.LG
Development and Validation of Heparin Dosing Policies Using an Offline Reinforcement Learning Algorithm
本研究提出基于离线强化学习的肝素给药策略，通过MIMIC-III数据库验证，提升ICU肝素给药精准度与安全性。
2024-09-24 cs.AI cs.LG
Optimization Solution Functions as Deterministic Policies for Offline Reinforcement Learning
Virginia Tech（弗吉尼亚理工大学）
本文提出隐式演员-评论家（iAC）框架，利用优化解函数作为确定性策略，通过指数衰减敏感性保证策略对次优参数的鲁棒性，在真实应用中显著优于SOTA离线RL方法。
2024-08-27 cs.LG cs.SY eess.SY
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University（蒂尔堡大学）；Aalto University（阿尔托大学）
（上下文）多臂强盗问题（MAB）提供了一个形式化的顺序决策，有许多应用。然而，有效地评估MAB政策是具有挑战性的，我们要么诉诸模拟，其中固有地包括有争议的假设，或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法，该方法基于经验数据，从而放松了假设，并可用于并行评估多个竞争政策。然而，这种方法并不直接适用于连续武装（CAB）问题;这是一种经常遇到的MAB问题，其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展，使其可用于评估CAB政策。我们的经验表明，我们的方法提供了一个相对一致的排名政策。此外，我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
Diffusion Policies creating a Trust Region for Offline Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对扩散Q学习训练推理慢、加速易降性能的问题，提出含扩散策略与单步策略的DTQL双策略方法，通过扩散信任域损失关联二者，在多数D4RL基准任务上性能更优且训练推理效率更高。
2024-10-31 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本研究提出一种离线适配框架，无需人工设定目标偏好，仅通过演示即可隐式推断多目标强化学习的预期策略，还可扩展至满足安全约束，经实验验证效果良好。
2024-09-16 cs.AI cs.LG
From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning
Jilin University（吉林大学）
该研究针对离线强化学习中生成模型计算成本高、无法有效利用次优轨迹的问题，提出MeanFlow2Better模型，通过单步流映射优化决策，在D4RL基准上取得优异性能。
2026-10-14 cs.AI cs.LG
