Uni-O4: Unifying Online and Offline Deep Reinforcement Learning with Multi-Step On-Policy Optimization
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本研究提出Uni-o4,通过统一在线策略目标实现离线和在线强化学习的无缝融合,利用集成策略和离线策略评估实现安全多步改进,在模拟和真实机器人任务中达到最先进性能。
2024-03-17 cs.LG cs.RO
$\pi2\text{vec}$: Policy Representations with Successor Features
Istituto Italiano di Tecnologia(意大利技术研究院);Google DeepMind(谷歌DeepMind)
本文提出 $\pi2\text{vec}$,利用离线数据学习任务无关的策略特征向量表示,以支持离线策略选择,并衔接离线策略评估、基础模型状态表示与资源受限下的高效策略选择。
2024-01-24 cs.LG cs.RO
You Only Evaluate Once: a Simple Baseline Algorithm for Offline RL
University of Texas at Austin(德克萨斯大学奥斯汀分校)
离线强化学习(RL)的目标是在给定预先记录的轨迹的情况下找到最优策略。许多现有的方法定制现有的非策略强化学习算法,特别是Actor-Critic算法,其中策略评估和改进是迭代的。然而,由于使用复杂的非线性函数逼近和交织的优化过程,这种方法的收敛性不能得到保证。相比之下,我们提出了一个简单的基线算法离线RL,只执行一次的政策评估步骤,使算法不需要复杂的稳定计划。由于所提出的算法不太可能收敛到最优策略,因此如果离线设置中的迭代优化确实有价值,则应该优于行动者-批评者算法,这是一个适当的基线。令人惊讶的是,我们根据经验发现,该算法在D4 RL离线RL基准测试的一个子集中表现出有竞争力的性能,有时甚至是最先进的性能。这一结果表明,未来的工作需要充分利用迭代优化的潜在优势,以证明这种方法的稳定性降低。
2021-10-05 cs.LG cs.RO
Horizon Adaptive Offline Policy Learning via Value Stitching
The University of Hong Kong(香港大学);Tsinghua University(清华大学)
提出VAST方法,通过递归、自适应地平线价值组合替代固定地平线备份,利用未来状态和地平线长度条件辅助价值函数与拼接策略,实现离线策略优化,在长时域任务中优于固定步长和生成价值基线。
2026-10-14 cs.LG cs.RO
Guided Online Distillation: Promoting Safe Reinforcement Learning by Offline Demonstration
University of California, Berkeley(加州大学伯克利分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
提出GOLD框架,通过离线决策变换器策略引导在线安全强化学习蒸馏出轻量级策略,缓解保守性并提升安全关键场景决策性能。
2023-10-12 cs.LG cs.RO
Decoupling Policy Extraction for Offline Reinforcement Learning
Simplexity Robotics(森普莱西蒂机器人公司);Rensselaer Polytechnic Institute(伦斯勒理工学院);Northeastern University(东北大学)
该研究针对离线强化学习中演员与评论员耦合训练的问题,提出将策略改进与演员训练解耦的范式,通过演员生成动作候选、评论员选择,实验显示其性能优于行为克隆及联合训练的离线RL方法。
2026-08-24 cs.LG cs.RO
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题,提出一种非整体式探索的新方法,在不修改离线策略的前提下协调其利用优势与在线策略的探索优势,性能优于PEX方法。
2024-10-31 cs.LG
Model-Based Offline Meta-Reinforcement Learning with Regularization
Arizona State University(亚利桑那州立大学);The Ohio State University(俄亥俄州立大学)
现有的离线强化学习(RL)方法面临着一些主要的挑战,特别是学习策略和行为策略之间的分布变化。离线元强化学习正在成为解决这些挑战的一种有前途的方法,旨在从一系列任务中学习信息元策略。然而,正如我们的实证研究所示,离线元RL可以在具有良好数据集质量的任务上优于离线单任务RL方法,这表明必须在通过遵循元策略来“探索”分布外状态动作和通过接近行为策略来“利用”离线数据集之间进行微妙的平衡。受这种实证分析的启发,我们探索了基于模型的离线Meta-RL与正则化策略优化(MerPO),它学习了一个元模型,用于有效的任务结构推理和一个信息元策略,用于安全探索分布外的状态动作。特别是,我们设计了一个新的元正则化的基于模型的演员-评论(RAC)的方法内的任务政策优化,作为MerPO的关键组成部分,使用保守的政策评估和正则化的政策改进;和内在的权衡,其中实现了通过两个正则化之间的正确平衡,一个基于行为的政策和其他的元政策。我们从理论上表明,学习的政策提供了保证改善的行为政策和元政策,从而确保通过离线元RL的新任务的性能提高。实验证实了MerPO优于现有离线Meta-RL方法的性能。
2022-07-13 cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出OOO框架,通过解耦探索与利用策略,利用离线重训练缓解在线RL中的探索偏差,显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
Behavior Proximal Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学);Beijing Jiaotong University(北京交通大学);Westlake Institute for Advanced Study(西湖高等研究院)
离线强化学习(RL)是一个具有挑战性的设置,现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此,提出了各种额外的增强以保持学习的策略接近离线数据集(或行为策略)。在这项工作中,从离线单调策略改进的分析,我们得到了一个令人惊讶的发现,一些在线的策略算法自然能够解决离线RL。具体来说,这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上,我们提出了行为近端策略优化(BPPO),它解决了离线RL没有任何额外的约束或正则化相比,PPO。在D4 RL基准测试上的大量实验表明,这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
COMBO: Conservative Offline Model-Based Policy Optimization
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
基于模型的算法从记录的经验中学习动态模型,并在学习的模型下执行某种悲观规划,已经成为离线强化学习(离线RL)的一种有前途的范例。然而,这种基于模型的算法的实际变体依赖于显式的不确定性量化来合并悲观主义。使用复杂模型(如深度神经网络)进行不确定性估计可能很困难且不可靠。我们通过开发一种新的基于模型的离线RL算法COMBO克服了这一限制,该算法在学习模型下通过推出生成的支持状态-动作元组上正则化价值函数。这导致对不支持状态-动作元组的价值函数的保守估计,而不需要显式的不确定性估计。我们从理论上表明,我们的方法优化了真正的政策价值的下限,这个界限比以前的方法更紧,我们的方法满足离线设置的政策改善保证。通过实验,我们发现COMBO在广泛研究的离线RL基准测试(包括基于图像的任务)上的表现与之前的离线无模型和基于模型的方法一样好或更好。
2022-01-27 cs.AI cs.LG cs.RO
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University(南京大学);The University of Hong Kong(香港大学)
价值函数估计是强化学习中不可或缺的子程序,在离线环境下变得更加具有挑战性。在本文中,我们提出了混合值估计(HVE),以减少值估计误差,通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明,HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此,我们分别提供了两个具体的算法Off-policy HVE(OPHVE)和Model-based Offline HVE(MOHVE)。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法,而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
Sample-Efficient Policy Constraint Offline Deep Reinforcement Learning based on Sample Filtering
Guangdong Key Laboratory of Intelligent Morphing Mechanisms(广东智能变形机制与自适应机器人重点实验室);the Harbin Institute of Technology Shenzhen(哈尔滨工业大学深圳研究院);Faculty of Robot Science and Engineering(机器人科学与工程学院);Northeastern University(东北大学);School of Systems Engineering(系统工程学院);City University of Hong Kong(香港城市大学)
本文提出一种基于样本过滤的策略约束离线深度强化学习方法,通过筛选高分转移样本提升样本效率和性能。
2025-12-23 cs.LG
PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
PROTO 通过在标准 RL 目标中加入迭代演化的正则化项,以信赖域式更新逐步放宽约束,实现稳定且高效的离线到在线强化学习微调,并可与任意离线预训练方法对接。
2023-05-25 cs.AI cs.LG cs.RO
Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only
Westlake University(西湖大学)
本文提出PORL方法,仅利用离线预训练策略进行在线强化学习微调,无需预训练Q函数,通过在线阶段快速初始化Q函数避免悲观估计,达到与先进算法相当的性能,并支持直接微调行为克隆策略。
2025-05-22 cs.AI cs.LG cs.RO
POPO: Pessimistic Offline Policy Optimization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
离线强化学习(RL),也被称为批处理RL,旨在优化来自大型预记录数据集的策略,而无需与环境交互。这种设置提供了利用不同的、预先收集的数据集来获得策略的承诺,而无需进行昂贵的、有风险的、积极的探索。然而,常用的基于Q学习或actor-critic的离线算法在从静态数据集学习时表现不佳。在这项工作中,我们研究了为什么非策略RL方法无法从价值函数的角度在离线设置学习,我们提出了一种新的离线RL算法,我们称之为悲观离线策略优化(POPO),它学习一个悲观的价值函数,以获得一个强大的政策。我们发现POPO表现得非常好,并且可以扩展到具有高维状态和动作空间的任务,在基准任务上比较或优于几种最先进的离线RL算法。
2021-01-04 cs.AI cs.LG
Offline Policy Optimization in RL with Variance Regularizaton
University of Toronto(多伦多大学);Vector Institute(向量研究所);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Princeton University(普林斯顿大学);Northwestern University(西北大学);Google Research(谷歌研究院);Deepmind Montreal(深度思维蒙特利尔分所)
从固定的离线数据集学习策略是将强化学习(RL)算法扩展到实际应用的关键挑战。这通常是因为非策略RL算法由于数据集和目标策略之间的不匹配而遭受分布偏移,导致高方差和价值函数的高估。在这项工作中,我们提出了离线RL算法的方差正则化,使用平稳分布校正。我们表明,通过使用Fenchel对偶,我们可以避免双采样问题计算的方差正则化的梯度。所提出的离线方差正则化(OVAR)算法可以用来增强任何现有的离线策略优化算法。我们表明,正则化导致离线策略优化目标的下限,这有助于避免高估错误,并解释了我们的方法在一系列连续控制域中的优势,与现有的最先进的算法相比。
2022-12-29 cs.LG
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business(麦库姆斯商学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
离线强化学习(Offline reinforcement learning,RL)将经典RL算法的范式扩展到纯粹从静态数据集学习,而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性,这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响,我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外,我们训练一个动力学模型来实现这种正则化,并更好地估计当前策略的平稳分布,减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上,我们的方法显示出有竞争力的性能,这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL(伦敦大学学院);DeepMind(深度思维)
离线强化学习(RL)允许从离线数据集训练有能力的代理,而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是,我们应该如何理想地微调从离线RL训练中获得的代理?虽然离线RL算法原则上可以用于微调,但在实践中,它们的在线性能提高缓慢。相比之下,我们表明,它是可以使用标准的在线离线策略算法更快的改进。然而,我们发现这种方法可能遭受政策崩溃,其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题,以及它如何涉及到数据的多样性,算法的选择和在线重放分布。基于这些见解,我们提出了一个保守的策略优化过程,可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
A Unified Framework for Alternating Offline Model Training and Policy Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce Research(赛富时研究院)
在离线基于模型的强化学习(离线MBRL)中,我们从历史收集的数据中学习动态模型,然后利用学习的模型和固定的数据集进行策略学习,而无需进一步与环境交互。离线MBRL算法相对于无模型算法可以提高策略学习的效率和稳定性。然而,在大多数现有的离线MBRL算法中,动态模型和策略的学习目标是相互隔离的。这样的目标不匹配可能导致学习代理的性能较差。在本文中,我们通过开发一个迭代的离线MBRL框架来解决这个问题,在这个框架中,我们通过动态模型训练和策略学习之间的交替来最大化真实预期收益的下限。利用所提出的统一模型-策略学习框架,我们在广泛的连续控制离线强化学习数据集上实现了具有竞争力的性能。源代码公开发布。
2022-10-12 cs.AI cs.LG
Policy Finetuning: Bridging Sample-Efficient Offline and Online Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Salesforce Research(Salesforce研究院)
最近的理论工作在两种环境中广泛研究了样本有效的强化学习(RL):在环境中交互式学习(在线RL)或从离线数据集学习(离线RL)。然而,现有的算法和理论学习接近最优的政策,在这两个设置是相当不同的和断开。为了弥补这一差距,本文提出了政策微调的理论研究,即在线强化学习,学习者有额外的访问“参考政策”$μ$接近最优政策$π_\star$在一定意义上。研究了具有$S$状态、$A$动作和水平长度$H$的情景马尔可夫决策过程(MDP)的策略微调问题.我们首先设计了一个尖锐的离线约简算法-它简单地执行$μ$并在收集的数据集上运行离线策略优化-在$\widetilde{O}(H^3SC^\star/\varepsilon^2)$事件中找到$\varepsilon$接近最优的策略,其中$C^\star$是$μ$和$π_\star$之间的单策略集中系数。这个离线结果是第一个匹配此设置中的样本复杂度下限的结果,并解决了离线RL中最近的一个未决问题。然后,我们建立了一个$Ω(H^3S\min\{C^\star, A\}/\varepsilon^2)$样本复杂度下限的任何政策微调算法,包括那些可以自适应地探索环境。这意味着--也许令人惊讶的是--最优策略微调算法要么是离线约简,要么是不使用$μ$的纯在线RL算法。最后,我们设计了一个新的混合离线/在线算法的政策微调,实现更好的样本复杂度比香草离线减少和纯在线R…
2022-02-11 cs.LG stat.ML
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University(斯坦福大学)
我们提出了一个基于模型的离线强化学习策略性能下限,明确捕捉动态模型的误指定和分布失配,我们提出了一个经验算法的最佳离线策略选择。在理论上,我们通过建立对价值函数的悲观近似,证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略:只要动态模型可以准确地表示给定策略访问的状态-动作对的动态,就可以近似该特定策略的值。我们分析了我们的下限在LQR设置,也显示出竞争力的性能,以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
Contextual Conservative Q-Learning for Offline Reinforcement Learning
离线强化学习是一种在离线数据集上无需在线交互的有效学习策略,由于其潜在的实际应用前景而受到了持续的研究关注。然而,由于分布偏移而产生的外推误差仍会导致离线策略对过渡到分布外(out-of-distribution,OOD)状态的动作估计过高,从而降低了离线策略的可靠性和鲁棒性。在本文中,我们提出了上下文保守的Q学习(C-CQL)学习一个鲁棒可靠的政策,通过捕获的上下文信息通过逆动力学模型。由于扰动状态是OOD状态的一种常见类型,在逆动力学模型的监督下,它倾向于学习在扰动状态下产生稳定过渡的策略。以这种方式,我们使学习的策略更有可能生成过渡,该过渡的目的是离线数据集的经验下一个状态分布,即,稳定可靠的过渡。此外,我们从理论上揭示了C-CQL是保守Q学习(CQL)和积极状态偏差校正(SDC)的推广。最后,实验结果表明,所提出的C-CQL在大多数离线Mujoco套件和嘈杂的Mujoco设置的环境中实现了最先进的性能。
2023-01-16 cs.AI cs.LG cs.RO
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon(亚马逊)
学习面向目标的对话策略通常利用监督学习算法离线执行,或者利用强化学习(RL)在线执行。此外,随着公司积累了大量客户和训练有素的人类代理之间的对话记录,编码器-解码器方法已经流行起来,因为代理话语可以直接被视为监督,而不需要话语级注释。然而,这样的方法的一个潜在的缺点是,他们近视生成下一个代理话语,而不考虑对话级的考虑。为了解决这个问题,本文描述了一种离线RL方法,用于从未注释的语料库中学习,该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数,并使用上政策和关闭政策策略梯度离线学习策略,而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation
KAIST(韩国科学技术院);Mila, Quebec AI Institute(魁北克人工智能研究所Mila);McGill University(麦吉尔大学);Gauss Labs Inc.(高斯实验室公司);Facebook AI Research(脸书人工智能研究院)
我们考虑了离线强化学习(RL)设置,其中代理的目标是仅从数据中优化策略,而无需进一步的环境交互。在离线RL中,分布偏移成为困难的主要来源,这是由于被优化的目标策略与用于数据汇集的行为策略的偏差引起的。这通常会导致动作值的高估,这给使用自举的无模型算法带来了严重的问题。为了缓解这个问题,以前的离线RL算法经常使用复杂的技术,鼓励低估动作值,这引入了一组额外的超参数,需要适当调整。在本文中,我们提出了一种离线RL算法,以更有原则的方式防止高估。与之前的离线RL算法不同,我们的算法OptiDICE直接估计最优策略的平稳分布校正,并且不依赖于策略梯度。使用一组广泛的离线RL基准数据集,我们表明OptiDICE与最先进的方法具有竞争力。
2021-06-21 cs.AI cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本文将离线策略正则化方法扩展至多目标强化学习,提出过滤偏好不一致示范和高表达能力正则化两种方案,并集成偏好条件标量化更新与正则化权重自适应,利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology(西门子技术);Technical University of Munich(慕尼黑工业大学)
在离线强化学习中,需要从单个预先收集的数据集中学习策略。通常,策略因此在训练期间被正则化,以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法,它直接约束的政策,而不是在其权重空间,并在实验中证明了其有效性。
2021-07-12 cs.LG
Group-Sensitive Offline Contextual Bandits
Johns Hopkins University(约翰霍普金斯大学)
本文提出了一种群体敏感的离线上下文老虎机优化框架,通过引入群体奖励差异约束,减少策略学习中的群体间奖励不平等,同时保持整体性能的竞争性。
2026-01-06 cs.LG
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Cornell University(康奈尔大学)
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法,理论上实现离线与在线策略保证的兼得,实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Policy-Based Trajectory Clustering in Offline Reinforcement Learning
Institute for Interdisciplinary Information Sciences(交叉信息科学研究所);Tsinghua University(清华大学);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
该研究提出离线强化学习轨迹聚类新任务,构建基于KL散度的聚类目标,提出PG-Kmeans和CAAE两种方法,证明PG-Kmeans收敛性并指出最优解歧义问题,实验验证方法有效,为相关领域提供新框架。
2025-06-12 cs.AI cs.LG
Offline Reinforcement Learning with Soft Behavior Regularization
JD Intelligent Cities Research, JD Technology(京东科技京东智能城市研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院)
离线强化学习(RL)的大多数现有方法利用\textit{behavior regularization},通常用测量策略和离线数据之间的分歧的惩罚来增强现有的非策略参与者评论算法。然而,这些方法缺乏保证的性能改进的行为策略。在这项工作中,我们从学习策略和行为策略之间的性能差异出发,我们推导出一个新的策略学习目标,可以用于离线设置,它对应于优势函数值的行为策略,乘以状态边际密度比。我们提出了一个实用的方法来计算密度比,并证明其等价于一个状态依赖的行为正则化。与先前方法中使用的状态无关正则化不同,这种\textit{soft}正则化允许在高置信度状态下更自由地进行策略偏离,从而导致更好的性能和稳定性。因此,我们将我们得到的算法软行为正则化演员评论(SBAC)。我们的实验结果表明,SBAC匹配或优于国家的最先进的一组连续控制运动和操纵任务。
2021-10-14 cs.LG
Deep Generative Models for Offline Policy Learning: Tutorial, Survey, and Perspectives on Future Directions
Purdue University(普渡大学);The George Washington University(乔治·华盛顿大学)
本文首次系统综述深度生成模型在离线策略学习中的应用,涵盖五种主流模型及在离线强化学习和模仿学习中的用法,并展望未来方向。
2024-05-26 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Matrix Estimation for Offline Reinforcement Learning with Low-Rank Structure
Cornell University(康奈尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文针对离线强化学习中目标策略未被行为策略充分覆盖的问题,利用MDP的潜在低秩结构提出基于加权矩阵补全的策略评估与优化算法,在无需已知特征表示的情况下放宽覆盖条件,并给出有限样本误差界和非渐近性能保证。
2023-05-24 cs.LG
Supported Policy Optimization for Offline Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京国家信息科学与技术研究中心)
离线强化学习(RL)的策略约束方法通常利用参数化或正则化来约束策略以在行为策略的支持集内执行动作。精心设计的参数化方法通常会侵入策略网络,这可能会带来额外的推理成本,并且不能充分利用已有的在线方法。正则化方法减少了学习策略和行为策略之间的分歧,这可能与支持集的固有的基于密度的定义不匹配,从而无法有效地避免分布外的动作。本文提出了支持策略优化(SPOT),这是直接从基于密度的支持约束的理论形式化。SPOT采用基于VAE的密度估计器来显式地建模行为策略的支持集,并提出了一个简单但有效的基于密度的正则化项,该项可以非侵入性地插入到现成的非策略RL算法中。SPOT在离线RL的标准基准测试中达到了最先进的性能。得益于可插拔设计,SPOT的离线预训练模型也可以用于无缝地执行在线微调。
2022-10-12 cs.AI cs.LG
User-Interactive Offline Reinforcement Learning
Siemens Technology(西门子技术);TU Munich(慕尼黑工业大学)
离线强化学习算法在实践中仍然缺乏信任,这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时,离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法,允许用户在运行时调整这个超参数,从而同时解决上述两个问题。这允许用户从原始行为开始,并连续授予更大的偏差,以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
NeoRL: A Near Real-World Benchmark for Offline Reinforcement Learning
Nanjing University(南京大学);Polixir Technologies(Polixir科技公司);Shanghai Jiao Tong University(上海交通大学)
离线强化学习(RL)旨在从一批收集的数据中学习一个好的策略,而无需在训练过程中与环境进行额外的交互。然而,目前的离线RL基准通常具有很大的现实差距,因为它们涉及高度探索性的策略收集的大型数据集,并且训练的策略直接在环境中进行评估。在现实世界中,禁止运行高度探索性的策略以确保系统安全,数据通常非常有限,并且经过训练的策略应在部署之前进行充分验证。在本文中,我们提出了一个接近现实世界的离线RL基准测试,名为NeoRL,其中包含来自不同领域的数据集,具有受控的大小,以及用于策略验证的额外测试数据集。我们评估了NeoRL上现有的离线RL算法,并认为策略的性能也应该与行为策略的确定性版本进行比较,而不是数据集奖励。实验结果表明,测试的离线RL算法在许多数据集上变得不那么具有竞争力的确定性策略,离线策略评估几乎没有帮助。NeoRL诉讼可以在http://polixir.ai/research/neorl上找到。我们希望这项工作能为未来的研究提供一些启示,并在现实世界的系统中部署RL时引起更多的关注。
2021-02-08 cs.AI cs.LG
Beyond Reward: Offline Preference-guided Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对离线偏好强化学习中单独学习奖励函数的信息瓶颈问题,提出OPPO范式,通过双目标迭代优化直接建模轨迹与偏好,性能优于现有基准方法。
2023-06-09 cs.LG
PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
离线强化学习的目标是从固定的数据集中学习策略,而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说,这种设置将成为一个越来越重要的范例,其中数据汇集速度缓慢,并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间(PLAS)中学习策略,以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能,优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning
University of Science and Technology Beijing(北京科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出ASPC框架,通过动态平衡强化学习与行为克隆,解决在线强化学习中策略约束规模差异带来的超参数调优问题,实验表明其在多个数据集上表现优异且计算开销低。
2026-04-29 cs.LG
Distributional Offline Policy Evaluation with Predictive Error Guarantees
Cornell University(康奈尔大学)
针对离线策略评估中回报分布估计问题,提出拟合似然估计(FLE)算法,通过序列最大似然估计集成生成模型,在有限与无限时域下分别保证总变差与Wasserstein距离误差,实验验证高斯混合与扩散模型的有效性。
2023-12-29 cs.LG
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University(清华大学);University of Hamburg(汉堡大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
针对离策略RL未充分利用replay buffer信息的问题,提出无模型在线RL框架OBAC,通过价值比较识别更优离线策略作为自适应约束来增强在线学习,在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
Online Policy Learning from Offline Preferences
Kyoto University(京都大学)
本研究提出将离线偏好与虚拟偏好整合的PbRL框架,利用虚拟偏好跟踪智能体行为以解决奖励函数泛化问题,并在连续控制任务中验证了其有效性。
2024-03-15 cs.LG
Latent-Variable Advantage-Weighted Policy Optimization for Offline RL
Tsinghua University(清华大学);Stanford University(斯坦福大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society, CUHK Shenzhen(香港中文大学(深圳)深圳市人工智能与机器人研究院)
离线强化学习方法有望从预先收集的数据集中学习策略,而无需查询环境中的新转换。这种设置特别适合于连续控制机器人应用,对于这些应用,基于试错法的在线数据汇集成本高且可能不安全。在实践中,离线数据集通常是异构的,即,在各种情况下收集的数据,例如来自多个人类演示者或来自具有不同目的的策略的数据。不幸的是,这样的数据集可能会加剧数据底层的行为策略和要学习的最优策略之间的分布偏移,导致性能不佳。为了应对这一挑战,我们建议利用潜在变量的政策,可以代表更广泛的一类政策分布,从而更好地遵守训练数据分布,同时最大限度地提高回报通过政策的潜在变量。正如我们在一系列模拟运动,导航和操作任务上的经验表明,我们的方法被称为潜在变量加权策略优化(LAPO),在异构数据集上将下一个性能最佳的离线强化学习方法的平均性能提高了49%,在具有窄分布和有偏分布的数据集上提高了8%。
2022-03-16 cs.LG
Oracle-Efficient Pessimism: Offline Policy Optimization in Contextual Bandits
Microsoft Research NYC(微软研究院纽约分院);Netflix(奈飞公司)
本文提出首个通用的预言机高效悲观离线策略优化算法,通过归约为监督学习实现广泛适用性,并在离散和连续动作实验中优于未正则化方法。
2023-10-25 cs.LG
Offline Policy Selection under Uncertainty
University of Alberta(阿尔伯塔大学);Google Research Brain Team(谷歌研究大脑团队)
政策评估中的不确定性的存在大大复杂化了现实世界中的政策排序和选择过程。我们正式考虑离线政策选择学习偏好的一组政策前景给定一个固定的经验数据集。虽然可以基于策略值或高置信区间的点估计来选择策略或对策略进行排名,但是访问策略值的信念上的完整分布使得能够在更宽范围的下游评估度量下实现更灵活的选择算法。我们提出贝叶斯骰子估计这个信念分布的后验分布校正比来自随机约束(而不是明确的可能性,这是不可用的)。从经验上讲,贝叶斯DICE在置信区间估计方面与现有的最先进的方法具有很强的竞争力。更重要的是,我们展示了贝叶斯骰子估计的置信分布如何用于对任何任意下游政策选择度量进行排名,并且我们根据经验证明了这种选择过程显着优于现有方法,例如根据平均值或高置信度下限值估计对政策进行排名。
2020-12-12 cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Offline Clustering Approach to Self-supervised Learning for Class-imbalanced Image Data
Korea University(高丽大学);Mimbres Corp.(Mimbres公司)
已知类别不平衡的数据集会导致模型偏向大多数类别的问题。在这个项目中,我们设置了两个研究问题:1)在自我监督的预训练中,类不平衡问题何时更普遍?以及2)特征表示的离线聚类是否有助于在类别不平衡的数据上进行预训练?我们的实验通过调整{ \it class-balance}的程度来研究前一个问题,当训练基线模型时,即CIFAR-10数据库上的Simplified和SimSiam。为了回答后一个问题,我们对每个专家模型在特征聚类的每个子集上进行训练。然后,我们将专家模型的知识提取到一个模型中,这样我们就能够将这个模型的性能与我们的基线进行比较。
2022-12-22 cs.CV cs.LG
Beyond Policy Support: Interaction Constrained Offline Reinforcement Learning for Autonomous Driving
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对自动驾驶离线强化学习中的交互分布偏移问题,提出交互约束驾驶策略(ICDP),通过对比密度比估计分解联合支持退化,无需联合密度建模或模拟器 rollout,在 nuPlan、Interplan 和真实卡车实验中提升交互关键场景性能。
2026-10-14 cs.AI cs.LG cs.RO
The Power of Linear Controllers in LQR Control
Caltech(加州理工学院)
线性二次型调节器(LQR)框架考虑了受环境噪声干扰的线性动力系统的调节问题。我们计算三种不同的控制策略之间的政策遗憾:i)最优的在线政策,其线性结构由Ricatti方程给出; ii)最优的离线线性政策,这是最好的线性状态反馈政策的噪声序列;和iii)最优的离线政策,它选择全局最优控制行动的噪声序列。我们充分刻画了最优离线策略,并表明它具有递归形式的最优在线策略和未来的干扰。我们还表明,成本的最佳离线线性政策收敛到成本的最佳在线政策的时间跨度变大,因此,最佳离线线性政策招致线性遗憾相对于最佳离线政策,即使在乐观的设置中,噪声是从一个已知的分布独立同分布。虽然我们专注于设置噪声是随机的,我们的研究结果也意味着新的下界的政策遗憾时,可实现的噪声是由自适应对手。
2020-02-07 cs.LG math.OC
Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching
Stanford University(斯坦福大学);NVIDIA(英伟达)
离线模仿学习(IL)承诺能够从预先收集的演示中学习性能策略,而无需与环境交互。然而,完全离线模仿行为通常需要大量的专家数据。为了解决这个问题,我们研究的设置,我们有有限的专家数据和补充次优数据。在这种情况下,一个众所周知的问题是学习策略和收集离线数据的行为策略之间的分布偏移。先前的工作通过正则化学习策略和行为策略的静态状态-动作分布之间的KL分歧来缓解这个问题。我们认为,这种基于精确分布匹配的约束可能过于保守,并妨碍策略学习,特别是当不完美的离线数据是高度次优的。为了解决这个问题,我们提出了RelaxDICE,它采用了非对称放松的f-发散显式支持正则化。具体来说,不是驱动学习的策略与行为策略完全匹配,而是只要它们的静态状态-动作分布之间的密度比由一个常数上界,我们就施加很少的惩罚。注意,这样的公式化导致嵌套的最小-最大优化问题,这在实践中导致不稳定性。RelaxDICE通过支持内部最大化问题的封闭形式解决方案来解决这一挑战。广泛的实证研究表明,我们的方法显着优于最好的先验离线IL方法在六个标准的连续控制环境中,平均超过30%的性能增益,在22个设置中,不完美的数据集是高度次优的。
2023-03-05 cs.LG
A Complete Characterization of Linear Estimators for Offline Policy Evaluation
University of California, Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院);Harvard University(哈佛大学)
离线策略评估是强化学习中的一个基本统计问题,涉及估计由潜在不同策略收集的数据的某些决策策略的价值函数。为了解决复杂的高维观测问题,理论家和实践者都对理解强化学习中函数逼近的可能性感兴趣。尽管有大量的研究,一个尖锐的特点,当我们可能会期望离线政策评估是易于处理的,即使在最简单的设置线性函数近似,迄今为止仍然难以捉摸,与一个令人惊讶的数量强烈的负面结果最近出现在文献中。在这项工作中,我们确定了简单的控制理论和线性代数条件是必要的和充分的经典方法,特别是拟合Q迭代(FQI)和最小二乘时间差学习(LSTD),成功地在离线政策评估。使用这种特性,我们建立了一个精确的层次制度下,这些估计成功。我们证明了LSTD的工作条件严格弱于FQI。此外,我们建立,如果一个问题是不可解决的通过LSTD,那么它不能解决的广泛的一类线性估计,即使在无限的数据的限制。总之,我们的研究结果提供了一个完整的离线政策评估的线性估计的行为,统一以前不同的分析规范的算法,并提供了显着更清晰的概念离线政策评估的基本统计复杂性。
2022-12-19 cs.LG stat.ML
SelfBC: Self Behavior Cloning for Offline Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);Shanghai AI Laboratory(上海人工智能实验室);University of Rochester(罗切斯特大学)
针对离线强化学习静态策略约束导致策略过度保守的问题,本文提出 SelfBC 动态自约束机制,并从理论与 D4RL MuJoCo 实验验证其性能。
2024-08-04 cs.AI cs.LG