Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Preferred-Action-Optimized Diffusion Policies for Offline Reinforcement Learning
JD Explore Academy(京东探索研究院);Tongji University(同济大学);Beijing Institute of Technology(北京理工大学)
针对离线RL中扩散策略受限于加权回归的问题,提出偏好动作优化扩散策略,利用critic函数生成偏好动作并结合抗噪偏好优化实现策略改进,在稀疏奖励任务上表现优异。
2024-05-29 cs.AI cs.LG
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University(南京大学);UIUC(伊利诺伊大学)
本文研究了在一般函数逼近下离线强化学习的理论方面,扩展了理论保证到大或连续动作空间上的参数策略类,并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
General Flexible $f$-divergence for Challenging Offline RL Datasets with Low Stochasticity and Diverse Behavior Policies
North Carolina State University(北卡罗来纳州立大学)
本文提出通用灵活的f-分歧度方法,用于解决低随机性和多样化行为策略的离线RL数据集问题,通过平衡RL目标与约束,提升算法性能。
2026-02-11 cs.AI cs.LG
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning,结合达性启发的安全价值函数和高效的一步流策略,通过自一致性Bellman递归学习安全价值,行为克隆训练流策略并转化为奖励最大化安全动作选择器,减少部署时的拒绝采样,提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University(蒂尔堡大学);Aalto University(阿尔托大学)
(上下文)多臂强盗问题(MAB)提供了一个形式化的顺序决策,有许多应用。然而,有效地评估MAB政策是具有挑战性的,我们要么诉诸模拟,其中固有地包括有争议的假设,或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法,该方法基于经验数据,从而放松了假设,并可用于并行评估多个竞争政策。然而,这种方法并不直接适用于连续武装(CAB)问题;这是一种经常遇到的MAB问题,其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展,使其可用于评估CAB政策。我们的经验表明,我们的方法提供了一个相对一致的排名政策。此外,我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
Efficient Diffusion Policies for Offline Reinforcement Learning
Sea AI Lab
本文提出高效扩散策略EDP,通过在训练时从被破坏动作近似构造动作来避免采样链,解决Diffusion-QL计算低效和与最大似然RL算法不兼容的问题,在D4RL上大幅缩短训练时间并取得新的最先进性能。
2023-10-26 cs.AI cs.LG
Model-Based Offline Planning
Google Research(谷歌研究院)
离线学习是使强化学习(RL)在真实系统中可用的关键部分。离线RL着眼于这样的场景,即有来自系统操作的数据,但在学习策略时没有对系统的直接存取。最近从离线数据中训练RL策略的工作已经显示了直接从数据中学习的无模型策略,或者在学习的数据模型之上进行规划的结果。无模型策略往往更有性能,但更不透明,更难从外部指挥,也更不容易集成到更大的系统中。我们提出了一个离线学习器,生成一个模型,可用于控制系统直接通过规划。这使我们能够直接从数据中轻松控制策略,而无需与系统交互。我们展示了我们的算法,基于模型的离线规划(MBOP)的一系列机器人启发的任务的性能,并展示了它的能力,利用规划尊重环境约束。我们能够找到接近最优的政策,某些模拟系统,从短短的50秒的实时系统交互,并创建zero-shot目标条件下的政策在一系列的环境。一个附带的视频可以在这里找到:https://youtu.be/nxGGHdZOFts
2021-03-17 cs.AI cs.LG cs.RO
Flow Actor-Critic for Offline Reinforcement Learning
KAIST(韩国科学技术院);UNIST(全南大学)
本文提出流Actor-Critic方法,通过结合流模型提升离线强化学习中策略的表达能力,以应对复杂多模式数据分布,实现新的性能突破。
2026-02-20 cs.AI cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
本文提出离线强化学习应学习自适应策略先验而非静态策略,通过记忆、探索和自我纠错在后续交互中保持改进能力,并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University(弗吉尼亚共同体大学);University of Virginia(弗吉尼亚大学)
研究离线到在线强化学习中有限交互预算下的主动策略选择问题,提出基于未来性能上置信界主动选策略微调的方法,经实验验证其优于现有基线,能更有效利用预算,推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Active Offline Policy Selection
DeepMind(深度思维)
本文讨论的问题,在域中的政策选择与丰富的记录数据,但有限的互动预算。解决这个问题将使离线强化学习策略在工业、机器人和推荐等领域的安全评估和部署成为可能。已经提出了几种脱离策略评估(OPE)技术来仅使用记录的数据来评估策略的价值。但是,OPE的评估与完全在线评估之间仍有很大差距。然而,大量的在线互动在实践中往往是不可能的。为了克服这个问题,我们引入了主动离线策略选择-一种新的顺序决策方法,结合记录的数据与在线交互,以确定最佳的政策。我们使用OPE估计来启动在线评估。然后,为了明智地利用有限的环境相互作用,我们决定下一个政策评估的基础上贝叶斯优化方法的内核,代表政策的相似性。我们使用多个基准,包括现实世界的机器人技术,大量的候选政策,以表明所提出的方法提高了最先进的OPE估计和纯在线政策评估。
2022-05-06 cs.AI cs.LG stat.ML
TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Macquarie University(麦考瑞大学)
我们考虑一个离线强化学习(RL)设置,其中代理需要从通过推出多个行为策略收集的数据集中学习。这种设置存在两个挑战:1)由于不同行为策略引起的动作覆盖的变化,优化RL信号和行为克隆(BC)信号之间的最佳权衡在不同状态上变化。以前的方法无法通过仅控制全局权衡来处理这一点。2)对于给定的状态,不同行为策略生成的动作分布可能有多种模式。许多以前的方法中的BC正则化器是均值寻求的,导致在模式中间选择分布外(OOD)动作的策略。在本文中,我们通过使用自适应加权的反向Kullback-Leibler(KL)发散作为基于TD 3算法的BC正则化器来解决这两个挑战。我们的方法不仅用每个状态的权重来权衡RL和BC信号(即,在具有窄动作覆盖的状态上进行强BC正则化,反之亦然),而且由于反向KL的模式搜索特性,还避免了选择OOD动作。从经验上讲,我们的算法可以优于现有的离线RL算法在MuJoCo运动任务与标准的D4 RL数据集,以及混合数据集,结合标准数据集。
2022-12-05 cs.AI cs.LG stat.ML
Diffusion Policies for Risk-Averse Behavior Modeling in Offline Reinforcement Learning
Data 61, CSIRO, Australia(数据61,CSIRO,澳大利亚);School of Computing, Macquarie University, Australia(计算学院,麦考瑞大学,澳大利亚);Adobe Research, USA(Adobe研究,美国);School of Computer Science and Engineering, University of New South Wales, Australia(计算机科学与工程学院,新南威尔士大学,澳大利亚)
本文提出一种不确定性感知的分布式离线强化学习算法,利用扩散策略同时建模认知不确定性与环境随机性,学习风险规避策略并刻画奖励完整分布,在风险敏感与风险中性基准上表现优越。
2025-07-02 cs.LG
DiffPoGAN: Diffusion Policies with Generative Adversarial Networks for Offline Reinforcement Learning
Hubei University(湖北大学);Worcester Polytechnic Institute(伍斯特理工学院);Chinese Academy of Sciences(中国科学院)
DiffPoGAN将扩散模型作为GAN的策略生成器,结合MLE正则化和判别器输出约束,以缓解离线强化学习中的外推误差并改进策略,在D4RL基准上取得领先效果。
2024-06-13 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在高风险应用中训练强化学习(RL)代理可能过于禁止,因为与探索相关的风险。因此,代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能,我们专注于优化风险规避标准,即CVaR。特别是,我们提出了离线规避风险的演员批评(O-RAAC),一个无模型的RL算法,能够在完全离线的设置学习规避风险的政策。我们表明,O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外,考虑风险厌恶的标准,保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明,在存在自然分布的变化,O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
Permutation Equivariant Model-based Offline Reinforcement Learning for Auto-bidding
Alibaba Group(阿里巴巴集团)
本文提出PE-MORL算法,通过排列等变模型和悲观Q学习弥合模拟器与现实差距,在真实数据上扩展状态覆盖,超越现有自动出价方法。
2025-06-22 cs.AI cs.LG
Language-Conditioned Offline RL for Multi-Robot Navigation
University of Cambridge(剑桥大学)
本文提出一种基于预训练LLM嵌入和离线强化学习的多机器人导航策略,仅需20分钟数据即可在真实机器人上实现低延迟控制和零样本泛化。
2024-07-29 cs.AI cs.LG cs.RO
Curriculum Offline Imitation Learning
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
离线强化学习(RL)任务要求智能体从预先收集的数据集中学习,而不需要与环境进行进一步的交互。尽管有可能超越行为策略,但基于RL的方法通常是不切实际的,因为训练不稳定性和自举外推误差,这总是需要通过在线评估进行仔细的超参数调整。相比之下,离线模仿学习(IL)没有这样的问题,因为它直接学习策略而不通过自举估计价值函数。然而,IL通常受限于行为策略的能力,并且倾向于从由策略混合收集的数据集中学习平庸的行为。在本文中,我们的目标是利用IL,但减轻这样的缺点。观察到行为克隆是能够模仿邻居的政策与更少的数据,我们提出了\textit{Curriculum Offline Imitation Learning (COIL)},它利用了一个经验挑选策略,模仿从适应性的邻居的政策,具有较高的回报,并改善了目前的政策沿课程阶段。在连续控制基准测试中,我们将COIL与基于模仿和基于RL的方法进行了比较,表明它不仅避免了在混合数据集上学习平庸的行为,而且甚至与最先进的离线RL方法竞争。
2022-01-12 cs.AI cs.LG
Learning Control Policies for Variable Objectives from Offline Data
Siemens AG, Technology(西门子股份公司技术部门)
本文提出可变目标策略(VOP),一种基于模型的策略搜索扩展方法,通过将目标作为输入使策略在运行时无需重新训练或收集数据即可调整行为或重新平衡优化目标。
2023-08-11 cs.LG
Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only
Westlake University(西湖大学)
本文提出PORL方法,仅利用离线预训练策略进行在线强化学习微调,无需预训练Q函数,通过在线阶段快速初始化Q函数避免悲观估计,达到与先进算法相当的性能,并支持直接微调行为克隆策略。
2025-05-22 cs.AI cs.LG cs.RO
Streetwise Agents: Empowering Offline RL Policies to Outsmart Exogenous Stochastic Disturbances in RTC
Microsoft(微软)
针对RTC中外生随机扰动导致离线RL策略失效的问题,提出基于分布外子空间实时表征的部署后策略塑造方法Streetwise,显著提升了带宽估计等任务的最终回报。
2024-11-11 cs.LG
Reflect-then-Plan: Offline Model-Based Planning through a Doubly Bayesian Lens
Google Research(谷歌研究院);University of Waterloo(滑铁卢大学)
本文提出双贝叶斯离线基于模型规划方法 RefPlan,将规划视为贝叶斯后验估计并在部署时利用实时观测更新环境动态信念,从而提升保守离线 RL 策略在有限数据、高不确定性和动态变化环境中的性能与鲁棒性。
2025-06-06 cs.AI cs.LG
Fat-to-Thin Policy Optimization: Offline RL with Sparse Policies
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
针对离线强化学习中稀疏策略难以优化的问题,提出Fat-to-Thin策略优化算法,利用肥尾提议策略向稀疏策略注入知识,在安全关键模拟和MuJoCo基准上验证有效。
2025-01-24 cs.LG
Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning
TRATON CV AB(特拉顿CV公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对扩散策略与强化学习整合的挑战,提出噪声空间Q函数和策略梯度(NSPG),通过KL正则化回归形式优化噪声潜在变量,在D4RL和OGBench基准上验证了有效性。
2026-09-09 cs.AI cs.LG cs.RO
Improving TD3-BC: Relaxed Policy Constraint for Offline Learning and Stable Online Fine-Tuning
University of Warwick(华威大学);Alan Turing Institute(艾伦·图灵研究所)
从固定数据集发现最佳行为的能力有可能将强化学习(RL)的成功转移到数据汇集存在严重问题的领域。在这种离线设置中,一个关键的挑战是克服对数据中不存在的动作的高估偏差,如果没有能力通过与环境的交互进行校正,则可以在训练期间传播和复合,从而导致高度次优的策略。减少这种偏差的一个简单方法是通过行为克隆(BC)引入策略约束,鼓励代理选择更接近源数据的行为。通过在RL和BC之间找到正确的平衡,这种方法已经被证明是令人惊讶的有效的,同时需要对它们所基于的底层算法进行最小的更改。到目前为止,这种平衡一直保持不变,但在这项工作中,我们探索了在初始训练后将这种平衡向RL倾斜的想法。使用TD 3-BC,我们证明,通过继续训练离线的政策,同时减少BC组件的影响,我们可以产生精细的政策,优于原来的基线,以及匹配或超过更复杂的替代品的性能。此外,我们证明了这种方法可以用于稳定的在线微调,允许在部署过程中安全地改进策略。
2022-11-21 cs.AI cs.LG stat.ML
Expert-Supervised Reinforcement Learning for Offline Policy Learning and Evaluation
Harvard University(哈佛大学);MIT(麻省理工学院)
离线强化学习(RL)是一种很有前途的方法,用于在直接探索昂贵或不可行的环境中学习最优策略。然而,在实践中采用这样的政策往往是具有挑战性的,因为它们很难在应用程序的上下文中解释,并缺乏措施的不确定性的学习政策的价值和它的决定。为了克服这些问题,我们提出了一个专家监督强化学习(ESRL)框架,使用不确定性量化离线策略学习。特别是,我们有三个贡献:1)该方法可以学习安全和最佳的政策,通过假设检验,2)ESRL允许不同级别的风险规避实现定制的应用程序上下文,最后,3)我们提出了一种方法来解释ESRL的政策在每个状态下,通过后验分布,并使用这个框架来计算政策外的价值函数后验。我们提供了理论保证,我们的估计和遗憾界一致RL(PSRL)的后验抽样。ESRL的样本效率与所选择的风险厌恶阈值和行为策略的质量无关。
2020-10-30 cs.AI cs.LG stat.ME
Revisiting Bellman Errors for Offline Model Selection
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google DeepMind(谷歌DeepMind);Mila(米拉研究所)
本文重新审视基于贝尔曼误差的离线模型选择,解释先前悲观结果的原因,提出更准确的MSBE估计器,并在Atari等离散控制任务上取得优异性能。
2023-06-06 cs.AI cs.LG stat.ML
Generative OOD-regularized Model-based Policy Optimization
University of California, San Diego(加州大学圣地亚哥分校);Abiomed(阿比omed)
提出GORMPO算法,利用生成式密度估计在稀疏状态-动作空间中限制策略更新到高密度区域,以解决离线强化学习中的分布外动作问题,并在真实医疗数据集和离线RL数据集上优于基线方法。
2026-11-10 cs.AI cs.LG
SelfBC: Self Behavior Cloning for Offline Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);Shanghai AI Laboratory(上海人工智能实验室);University of Rochester(罗切斯特大学)
针对离线强化学习静态策略约束导致策略过度保守的问题,本文提出 SelfBC 动态自约束机制,并从理论与 D4RL MuJoCo 实验验证其性能。
2024-08-04 cs.AI cs.LG
Diffusion Policies with Offline and Inverse Reinforcement Learning for Promoting Physical Activity in Older Adults Using Wearable Sensors
Department of Statistics and Data Science, University of Central Florida(统计与数据科学系,中央佛罗里达大学);College of Nursing, University of Central Florida(护理学院,中央佛罗里达大学);School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
针对医疗健康场景下离线强化学习奖励定义难、策略对齐难等问题,提出融合科尔莫戈罗夫-阿诺德网络与扩散策略的KANDI方法,在老年人活动促进临床数据及D4RL基准上均取得更优效果。
2025-09-22 cs.LG
Domain Generalization for Robust Model-Based Offline Reinforcement Learning
University of Cambridge(剑桥大学);University College London(伦敦大学学院)
现有的离线强化学习(RL)算法通常假设训练数据是:1)由已知策略生成的,或者2)完全未知的来源。我们考虑多演示者离线RL,这是一个中间地带,我们知道哪些演示者生成了每个数据集,但不对演示者的基本策略进行假设。这是从多个人类操作员收集数据时最自然的设置,但尚未探索。由于不同的示威者诱导不同的数据分布,我们表明,这可以很自然地被框定为一个领域泛化问题,每个示威者对应于一个不同的域。具体来说,我们提出了基于域不变模型的离线RL(DIMORL),其中我们应用风险外推(REx)(Krueger等人,2020年)的学习动态和奖励模型的过程。我们的研究结果表明,与汇集所有演示者数据的自然基线相比,使用REx训练的模型表现出改进的领域泛化性能。我们观察到,由此产生的模型经常能够在离线基于模型的RL设置中学习高级策略,可以提高策略学习过程的稳定性,并可能增加探索。
2022-11-27 cs.AI cs.LG stat.ML
Optimizing Warfarin Dosing Using Contextual Bandit: An Offline Policy Learning and Evaluation Method
University of California, Irvine(加利福尼亚大学欧文分校);University of Miami(迈阿密大学)
针对华法林剂量个体差异大且错误剂量风险高的问题,利用历史观察数据在上下文老虎机框架下进行离线策略学习与评估,构建个性化剂量策略,在无基因型输入时超越基线方法。
2024-02-16 cs.AI cs.LG
Model-Based Proactive Cost Generation for Learning Safe Policies Offline with Limited Violation Data
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Polixir Technologies Nanjing, China(南京Polixir科技有限公司);Tencent Game AI Center Shenzhen, China(腾讯深圳游戏AI中心)
本文提出PROCO框架,利用大语言模型整合自然语言知识,通过构建保守成本函数和模型基于的模拟,减少约束违规并提升安全性,适用于离线数据中极少或无违规样本的高风险场景。
2026-05-02 cs.AI cs.LG
Offline Reinforcement Learning for Optimizing Production Bidding Policies
Meta
针对在线广告出价优化,提出基于离线强化学习的混合架构,优化可微基础策略参数并丢弃神经网络,在模拟与生产环境中实现统计显著的性能提升,且不增加基础设施、安全或可解释性成本。
2023-10-13 cs.LG stat.ML
Flow to Control: Offline Reinforcement Learning with Lossless Primitive Discovery
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学)
离线强化学习(RL)使智能体能够有效地从记录的数据中学习,这大大扩展了RL算法在现实世界场景中的适用性,在现实世界中,探索可能是昂贵的或不安全的。以前的工作已经表明,从记录数据中的循环和时间扩展结构中提取原始技能会产生更好的学习。然而,这些方法受到很大的原语有有限的表示能力,以恢复原始的策略空间,特别是在离线设置。在本文中,我们给出了离线分层学习的性能的定量表征,并强调了学习无损原语的重要性。为此,我们建议使用基于\emph{flow}的结构作为低级别策略的表示。这使我们能够忠实地表示数据集中的行为,同时保持恢复整个策略空间的表达能力。我们表明,这种无损原语可以大大提高性能的分层政策。在标准D4RL基准上的实验结果和广泛的消融研究表明,我们的方法具有良好的政策表示能力,并在大多数任务中取得了优异的性能。
2022-12-02 cs.AI cs.LG
Constrained Latent Action Policies for Model-Based Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Technical University of Munich(慕尼黑技术大学);Eötvös Loránd University Budapest(布达佩斯欧多立大学)
本文提出C-LAP,通过约束潜在动作分布生成策略,提高模型驱动离线强化学习在视觉观测数据集上的性能。
2025-01-15 cs.AI cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题,提出一种非整体式探索的新方法,在不修改离线策略的前提下协调其利用优势与在线策略的探索优势,性能优于PEX方法。
2024-10-31 cs.LG
EMaQ: Expected-Max Q-Learning Operator for Simple Yet Effective Offline and Online RL
University of Toronto(多伦多大学);Vector Institute(向量研究所)
政策外强化学习通过利用过去的经验,有望实现决策政策的样本有效学习。然而,在离线RL设置中-提供固定的交互集合并且不允许进一步的交互-已经表明标准的非策略RL方法可能会显着表现不佳。最近提出的方法通常旨在通过限制学习的策略以保持接近给定的交互数据集来解决这一缺点。在这项工作中,我们仔细研究了BCQ的一个重要简化-离线RL的一种先验方法-它删除了启发式设计选择,并自然地限制提取的策略,使其完全保持在给定行为策略的支持范围内。重要的是,在他们原来的理论考虑相反,我们通过引入一种新的备份操作,期望最大Q学习(EMaQ),这是更密切相关的实际算法,从而得到这个简化的算法。具体来说,除了分布支持之外,EMaQ还明确考虑了样本数量和建议分布,使我们能够导出新的次优性边界,可以作为离线RL问题复杂性的新度量。在离线RL设置中-这项工作的主要焦点- EMaQ在D4 RL基准测试中匹配并优于现有技术。在在线RL设置中,我们证明了EMaQ与Soft Actor Critic具有竞争力。我们的实证研究结果的主要贡献是证明了仔细的生成模型设计对估计行为策略的重要性,以及离线RL问题复杂性的直观概念。由于其简单的解释和较少的移动部件,例如没有表示策略的显式函数近似器,EMaQ可以作为未来工作的强大而易于实现的基线。
2021-01-13 cs.LG stat.ML
Optimal Uniform OPE and Model-based Offline Reinforcement Learning in Time-Homogeneous, Reward-Free and Task-Agnostic Settings
UC Santa Barbara(加州大学圣巴巴拉分校)
这项工作研究了离线政策评估(OPE)问题与基于模型的方法(情节MDP)的一致收敛的统计限制,并提供了一个统一的框架,以实现最佳的学习几个动机良好的离线任务。统一OPE $\sup_Π|Q^π-\hat{Q}^π|<ε$是比逐点OPE更强的度量,并且在$Π$包含所有策略(全局类)时确保离线学习。在本文中,我们建立了一个$Ω(H^2 S/d_mε^2)$下界(基于模型的家庭)的全球一致OPE和我们的主要结果建立了$\tilde{O}(H^2/d_mε^2)$的上界的\emph{local}一致收敛,适用于所有\emph{near-empirically optimal}政策的MDP与\emph{stationary}过渡。这里$d_m$是最小边际状态-动作概率。关键是,在实现最佳速率$\tilde{O}(H^2/d_mε^2)$的亮点是我们的设计\emph{singleton absorbing MDP},这是一个新的尖锐的分析工具,与基于模型的方法。我们将这样一个基于模型的框架推广到新的设置:离线任务不可知和离线无奖励的最佳复杂度分别为$\tilde{O}(H^2\log(K)/d_mε^2)$($K$是任务的数量)和$\tilde{O}(H^2S/d_mε^2)$。这些结果提供了一个统一的解决方案,同时解决不同的离线RL问题。
2021-06-24 cs.AI cs.LG stat.ML
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University(山东大学软件学院)
本文提出目标条件均值流策略,通过引入平均速度场改进离线目标条件强化学习的层级策略建模,解决高阶策略生成有效子目标的难题,并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
本文提出轨迹编码增强(TEA)方法,通过整合序列编码器提取的动态潜在表示来扩展状态空间,有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学)
离线强化学习(Offline Reinforcement Learning,RL)的目标是从不完美的离线数据中提取接近最优的策略,而不需要额外的环境交互。从不同的离线数据集中提取策略有可能通过使训练过程更安全,更快,更简化来扩大RL的适用范围。我们研究如何提高离线RL算法的性能,其对离线数据质量的鲁棒性,以及其泛化能力。为此,我们引入了基于离线模型的RL与自适应行为先验(MABE)。我们的算法是基于这样的发现,动力学模型,支持内领域泛化,和行为先验,支持跨领域泛化,是互补的。当结合在一起时,它们大大提高了离线RL策略的性能和泛化能力。在广泛研究的D4RL离线RL基准测试中,我们发现MABE与先前的无模型算法和基于模型的算法相比具有更高的平均性能。在需要跨领域泛化的实验中,我们发现MABE优于先前的方法。我们的网站是https://sites.google.com/berkeley.edu/mabe。
2021-06-18 cs.LG
A2PO: Towards Effective Offline Reinforcement Learning from an Advantage-aware Perspective
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
针对离线强化学习中多行为策略导致的约束冲突问题,提出优势感知策略优化(A2PO)方法,利用条件变分自编码器解耦动作分布,在D4RL基准上取得优于现有方法的性能。
2024-11-11 cs.AI cs.LG
Development and Validation of Heparin Dosing Policies Using an Offline Reinforcement Learning Algorithm
本研究提出基于离线强化学习的肝素给药策略,通过MIMIC-III数据库验证,提升ICU肝素给药精准度与安全性。
2024-09-24 cs.AI cs.LG
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Technical University of Munich(慕尼黑技术大学);Foundation Robotics Labs, Munich(慕尼黑基础机器人实验室);Eötvös Loránd University(劳尔·艾尔多迪大学)
针对离线强化学习场景,提出基于能量引导流匹配的FlowQ算法,通过近似高斯路径学习条件速度场,在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
Optimization Solution Functions as Deterministic Policies for Offline Reinforcement Learning
Virginia Tech(弗吉尼亚理工大学)
本文提出隐式演员-评论家(iAC)框架,利用优化解函数作为确定性策略,通过指数衰减敏感性保证策略对次优参数的鲁棒性,在真实应用中显著优于SOTA离线RL方法。
2024-08-27 cs.LG cs.SY eess.SY
Offline Policy Evaluation and Optimization under Confounding
University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学);Pinterest
该研究针对离线强化学习中未观测混杂因子导致的策略评估与优化难题,梳理混杂MDP的评估场景分类,提出不同场景下带理论保障的价值估计算法与策略改进算法,实验验证其在网格世界和医疗场景中效果优于现有方法。
2023-11-07 cs.LG stat.ML
Diffusion Policies creating a Trust Region for Offline Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对扩散Q学习训练推理慢、加速易降性能的问题,提出含扩散策略与单步策略的DTQL双策略方法,通过扩散信任域损失关联二者,在多数D4RL基准任务上性能更优且训练推理效率更高。
2024-10-31 cs.AI cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本研究提出一种离线适配框架,无需人工设定目标偏好,仅通过演示即可隐式推断多目标强化学习的预期策略,还可扩展至满足安全约束,经实验验证效果良好。
2024-09-16 cs.AI cs.LG
From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning
Jilin University(吉林大学)
该研究针对离线强化学习中生成模型计算成本高、无法有效利用次优轨迹的问题,提出MeanFlow2Better模型,通过单步流映射优化决策,在D4RL基准上取得优异性能。
2026-10-14 cs.AI cs.LG
Offline Hierarchical Reinforcement Learning via Inverse Optimization
University of YYY(YYY大学);Institute of WWW(WWW研究院)
针对离线数据中高层动作不可观测且策略结构可能不一致的问题,本文提出 OHIO 框架,通过逆优化恢复隐式高层动作以构建可训练数据集,并在机器人与网络优化任务中验证其性能与鲁棒性。
2025-03-18 cs.LG cs.SY eess.SY
Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);Duke University(杜克大学)
针对离线强化学习中的动力学偏移问题,提出线性结构 $d$-RRMDP 框架与 R2PVI 算法,利用线性函数逼近和 $f$-divergence 正则化学习鲁棒策略,并从理论上证明其近似最优且计算高效。
2025-10-30 cs.AI cs.LG cs.RO
Uncertainty-Aware Robotic World Model Makes Offline Model-Based Reinforcement Learning Work on Real Robots
ETH Zurich(苏黎世联邦理工学院)
本文提出了一种具有不确定性的机器人世界模型,结合MOPO-PPO框架,使基于模型的离线强化学习在真实机器人上有效,通过提高策略的鲁棒性并超越现有基线。
2026-01-08 cs.AI cs.LG cs.RO