Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg,以缓解离线强化学习在小数据集上的过拟合问题,在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
ARMOR: A Model-based Framework for Improving Arbitrary Baseline Policies with Offline Data
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们提出了一个新的基于模型的离线强化学习框架,称为离线强化学习的对抗模型(ARMOR),它可以鲁棒地学习策略,以改进任意基线策略,而不管数据覆盖率如何。基于相对悲观的概念,ARMOR被设计为在面对不确定性时,最坏情况下的相对性能进行优化。在理论上,我们证明了ARMOR学习策略在任何可接受的超参数下都不会降低基线策略的性能,并且当超参数调得很好且基线策略得到数据支持时,可以学习在数据覆盖范围内与最佳策略竞争.这种强大的策略改进属性使ARMOR特别适合构建真实世界的学习系统,因为在实践中,在考虑学习带来的任何好处之前,确保性能不下降是必不可少的。
2022-11-08 cs.AI cs.LG
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences;Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略(GTP),通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹,并引入两种理论自适应方法,在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach
针对离线强化学习因缺乏环境交互存在的行为次优、价值估计不准问题,提出基于模型的VeoRL方法,利用无标注在线视频构建世界模型并迁移常识知识,在多类视觉控制任务上实现显著性能提升。
2025-05-17 cs.AI cs.LG cs.RO
Bootstrapped Transformer for Offline Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
离线强化学习(RL)旨在从先前收集的静态轨迹数据中学习策略,而无需与真实环境进行交互。最近的工作提供了一个新的视角,通过查看离线RL作为一个通用的序列生成问题,采用序列模型,如Transformer架构,以模拟分布轨迹,并重新利用束搜索作为规划算法。然而,在一般离线RL任务中使用的训练数据集是相当有限的,并且经常遭受不足的分布覆盖,这可能对训练序列生成模型有害,但在以前的工作中尚未引起足够的关注。在本文中,我们提出了一种新的算法名为Bootstrapped Transformer,它结合了自举的思想,并利用学习的模型来自我生成更多的离线数据,以进一步提高序列模型的训练。我们在两个离线RL基准上进行了大量的实验,并证明我们的模型可以在很大程度上弥补现有的离线RL训练限制,并击败其他强大的基线方法。我们还分析了生成的伪数据,揭示的特征可能会对离线RL训练有所启发。这些代码可在https://seqml.github.io/bootorl上获得。
2022-10-18 cs.AI cs.LG cs.RO
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.(Offworld公司)
批量(离线)强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果,并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见,现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习,但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此,我们提出了一种新的方法,使用不确定性估计来触发人类演示数据的注入,并引导策略训练向最佳行为,同时降低整体样本的复杂性。我们的实验表明,这种方法是更有效的样本相比,一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习,并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University(康奈尔大学)
我们研究了自然随机策略的有效离策略评估,这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价,其中大多数工作考虑明确规定的政策的评价。至关重要的是,具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题,导致基于当前实践的政策,并提高政策在实践中的可实施性。与经典的情况下,一个预先指定的评估政策,评估自然随机政策时,效率界,衡量最佳可实现的估计误差,膨胀,因为评估政策本身是未知的。在本文中,我们推导出两种主要类型的自然随机政策:倾斜政策和修改的治疗政策的效率界。然后,我们提出了有效的非参数估计,在非常宽松的条件下达到效率界。这些也享有(部分)双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
离线强化学习的目标是从固定的数据集中学习策略,而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说,这种设置将成为一个越来越重要的范例,其中数据汇集速度缓慢,并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间(PLAS)中学习策略,以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能,优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University(多特蒙德工业大学)
离线强化学习(RL)提供了一个从离线数据中学习决策的框架,因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车(SDV)学习一种策略,这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中,可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法,该方法利用规划。然而,目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划(UMBRELLA)方法,该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Preferred-Action-Optimized Diffusion Policies for Offline Reinforcement Learning
JD Explore Academy(京东探索研究院);Tongji University(同济大学);Beijing Institute of Technology(北京理工大学)
针对离线RL中扩散策略受限于加权回归的问题,提出偏好动作优化扩散策略,利用critic函数生成偏好动作并结合抗噪偏好优化实现策略改进,在稀疏奖励任务上表现优异。
2024-05-29 cs.AI cs.LG
Model-Based Offline Planning
Google Research(谷歌研究院)
离线学习是使强化学习(RL)在真实系统中可用的关键部分。离线RL着眼于这样的场景,即有来自系统操作的数据,但在学习策略时没有对系统的直接存取。最近从离线数据中训练RL策略的工作已经显示了直接从数据中学习的无模型策略,或者在学习的数据模型之上进行规划的结果。无模型策略往往更有性能,但更不透明,更难从外部指挥,也更不容易集成到更大的系统中。我们提出了一个离线学习器,生成一个模型,可用于控制系统直接通过规划。这使我们能够直接从数据中轻松控制策略,而无需与系统交互。我们展示了我们的算法,基于模型的离线规划(MBOP)的一系列机器人启发的任务的性能,并展示了它的能力,利用规划尊重环境约束。我们能够找到接近最优的政策,某些模拟系统,从短短的50秒的实时系统交互,并创建zero-shot目标条件下的政策在一系列的环境。一个附带的视频可以在这里找到:https://youtu.be/nxGGHdZOFts
2021-03-17 cs.AI cs.LG cs.RO
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University(南京大学);UIUC(伊利诺伊大学)
本文研究了在一般函数逼近下离线强化学习的理论方面,扩展了理论保证到大或连续动作空间上的参数策略类,并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展,聚焦二者交叉的离线基于模型强化学习领域,总结现有方法解决分布偏移问题的思路,提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind(谷歌DeepMind)
本研究证明离线演员-评论家强化学习可扩展至大型模型,遵循与监督学习相似的缩放规律,并在132个连续控制任务上超越行为克隆基线,引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo(东京大学)
研究针对离线强化学习中轨迹规划器的问题,提出捷径轨迹规划(STP)框架,将捷径模型作为轨迹生成器,单阶段训练条件捷径轨迹模型,支持可调推理,用增强可行性感知校正的评论家选候选计划,在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University(崇实大学)
本文提出AD4RL基准,包含19个自动驾驶数据集(含真实人类驾驶数据)和七种离线强化学习算法在三种场景下的评估,并给出统一决策过程模型,为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室 IDSIA/USI/SUPSI);NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而,这些方法通常需要在数据汇集期间记录动作信息,这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中,我们研究了使用无动作离线数据集来改进在线强化学习的潜力,将这个问题命名为无动作离线预训练的强化学习(AFP-RL)。我们介绍了无动作指南(AF-Guide),一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer(AFDT)组成,实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态,以及一个引导的软演员-评论家(引导SAC),它在AFDT的指导下在线学习。实验结果表明,AF-Guide能够有效地提高样本效率和在线训练的性能,这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
General Flexible $f$-divergence for Challenging Offline RL Datasets with Low Stochasticity and Diverse Behavior Policies
North Carolina State University(北卡罗来纳州立大学)
本文提出通用灵活的f-分歧度方法,用于解决低随机性和多样化行为策略的离线RL数据集问题,通过平衡RL目标与约束,提升算法性能。
2026-02-11 cs.AI cs.LG
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning,结合达性启发的安全价值函数和高效的一步流策略,通过自一致性Bellman递归学习安全价值,行为克隆训练流策略并转化为奖励最大化安全动作选择器,减少部署时的拒绝采样,提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Hyperparameter Selection for Offline Reinforcement Learning
DeepMind;Google(谷歌)
离线强化学习(RL纯粹来自日志数据)是在现实世界场景中部署RL技术的重要途径。然而,现有的超参数选择方法离线RL打破了离线的假设,通过评估对应于每个超参数设置的环境中的政策。这种在线执行通常是不可行的,因此破坏了离线RL的主要目标。因此,在这项工作中,我们专注于\textit{offline hyperparameter selection},即从一组使用不同超参数训练的许多策略中选择最佳策略的方法,只给出记录的数据。通过大规模的实证评估,我们发现:1)离线RL算法对超参数选择不鲁棒,2)诸如离线RL算法和估计Q值的方法等因素可能对超参数选择产生很大影响,以及3)当我们仔细控制这些因素时,我们可以可靠地跨超参数选择对策略进行排名,并因此选择接近该组中的最佳策略的策略。总的来说,我们的研究结果提出了一个乐观的观点,即离线超参数选择是触手可及的,即使在具有像素观测,高维动作空间和长视野的挑战性任务中。
2020-07-17 cs.AI cs.LG stat.ML
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Technical University of Munich(慕尼黑技术大学);Foundation Robotics Labs, Munich(慕尼黑基础机器人实验室);Eötvös Loránd University(劳尔·艾尔多迪大学)
针对离线强化学习场景,提出基于能量引导流匹配的FlowQ算法,通过近似高斯路径学习条件速度场,在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Bilibili(哔哩哔哩)
针对离线到在线强化学习在线阶段性能下降和提升慢的问题,提出ENOTO框架,通过增加Q网络数量、放宽悲观估计并引入集成探索,显著提升训练稳定性、学习效率与最终性能。
2024-07-21 cs.AI cs.LG cs.RO
When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
在离线强化学习(RL)中,深度Q函数在分布外(OOD)区域的误差积累是影响策略学习的一个重要问题。不幸的是,现有的离线RL方法往往过于保守,不可避免地会损害数据分布之外的泛化性能。在我们的研究中,一个有趣的观察是,深度Q函数在训练数据的凸包内很好地近似。受此启发,我们提出了一种新方法DOGE(Distance-sensitive Offline RL with better GEneralization)。DOGE将数据集几何与离线RL中的深度函数近似器结合在一起,并在可推广的OOD领域进行开发,而不是严格限制数据分布中的策略。具体来说,DOGE训练了一个状态条件距离函数,可以很容易地插入到标准的行动者-批评者方法中作为策略约束。简单而优雅,我们的算法在D4 RL基准测试中比最先进的方法具有更好的泛化能力。理论分析表明,我们的方法的优越性,现有的方法是完全基于数据分布或支持的限制。
2023-02-08 cs.AI cs.LG cs.RO
Swapped goal-conditioned offline reinforcement learning
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
离线目标条件强化学习(GCRL)由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能,我们提出了一个目标交换过程,生成额外的轨迹。为了减轻噪声和外推误差的问题,我们提出了一种通用的离线强化学习方法,称为确定性Q优势策略梯度(DQAPG)。在实验中,DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法,目标交换进一步改善了测试结果。值得注意的是,所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能,而先前的方法失败了。
2023-02-17 cs.AI cs.LG
Contextual Conservative Q-Learning for Offline Reinforcement Learning
离线强化学习是一种在离线数据集上无需在线交互的有效学习策略,由于其潜在的实际应用前景而受到了持续的研究关注。然而,由于分布偏移而产生的外推误差仍会导致离线策略对过渡到分布外(out-of-distribution,OOD)状态的动作估计过高,从而降低了离线策略的可靠性和鲁棒性。在本文中,我们提出了上下文保守的Q学习(C-CQL)学习一个鲁棒可靠的政策,通过捕获的上下文信息通过逆动力学模型。由于扰动状态是OOD状态的一种常见类型,在逆动力学模型的监督下,它倾向于学习在扰动状态下产生稳定过渡的策略。以这种方式,我们使学习的策略更有可能生成过渡,该过渡的目的是离线数据集的经验下一个状态分布,即,稳定可靠的过渡。此外,我们从理论上揭示了C-CQL是保守Q学习(CQL)和积极状态偏差校正(SDC)的推广。最后,实验结果表明,所提出的C-CQL在大多数离线Mujoco套件和嘈杂的Mujoco设置的环境中实现了最先进的性能。
2023-01-16 cs.AI cs.LG cs.RO
Conservative Data Sharing for Multi-Task Offline Reinforcement Learning
Stanford University(斯坦福大学);Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
离线强化学习(RL)算法在有大量预收集数据的领域已经显示出有希望的结果。然而,先前的方法专注于用离线数据集从头开始解决单个问题,而没有考虑离线RL代理如何获得多种技能。我们认为,离线强化学习的一个自然用例是在这样的环境中,我们可以将在各种场景中收集的大量数据集中起来解决不同的任务,并利用所有这些数据更有效地学习所有任务的行为,而不是孤立地训练每一个任务。然而,在多任务离线RL中的所有任务之间共享数据在实践中表现得非常差。通过深入的实证分析,我们发现共享数据实际上会加剧学习策略和数据集之间的分布变化,这反过来会导致学习策略的发散和性能低下。为了解决这一挑战,我们开发了一种简单的技术,用于多任务离线RL中的数据共享,该技术基于对特定任务数据的改进来路由数据。我们称这种方法为保守数据共享(CDS),它可以应用于多个单任务离线RL方法。在一系列具有挑战性的多任务运动,导航和基于视觉的机器人操作问题上,与先前的离线多任务RL方法和先前的数据共享方法相比,CDS实现了最佳或相当的性能。
2021-09-16 cs.AI cs.LG cs.RO
Offline Reinforcement Learning at Multiple Frequencies
Stanford University(斯坦福大学);Google Research(谷歌研究院)
利用离线机器人数据的许多来源需要解决这些数据的异构性。在本文中,我们专注于异质性的一个特定方面:从不同控制频率收集的离线数据中学习。在不同的实验室中,控制器的离散化、传感器的采样率以及感兴趣的任务的需求可能不同,从而导致聚合数据集中的频率混合。我们研究了离线强化学习(RL)算法在训练过程中如何适应具有混合频率的数据。我们观察到,对于不同的离散化,$Q$值以不同的速率传播,这导致了许多现成的离线RL的学习挑战。我们提出了一个简单而有效的解决方案,强制一致的$Q$值更新的速度,以稳定学习。通过将$N$步长返回中的$N$值与离散化大小进行缩放,我们有效地平衡了$Q$值传播,从而导致更稳定的收敛。在三个模拟的机器人控制问题上,我们根据经验发现,这种简单的方法平均比单纯的混合方法好50%。
2022-07-26 cs.AI cs.LG cs.RO
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
本文提出离线强化学习应学习自适应策略先验而非静态策略,通过记忆、探索和自我纠错在后续交互中保持改进能力,并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence(佛罗伦萨大学);SEED – Electronic Arts(SEED – 艺电)
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题,提出基于世界模型的状态增强策略,可提升离线预训练效果,大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
Efficient Diffusion Policies for Offline Reinforcement Learning
Sea AI Lab
本文提出高效扩散策略EDP,通过在训练时从被破坏动作近似构造动作来避免采样链,解决Diffusion-QL计算低效和与最大似然RL算法不兼容的问题,在D4RL上大幅缩短训练时间并取得新的最先进性能。
2023-10-26 cs.AI cs.LG
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering(科学与工程研究生院);Chiba University(千叶大学);Graduate School of Informatics(信息科学研究生院);Zuse Institute Berlin(柏林泽尼奇研究所)
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性,发现其比在线方法更脆弱,表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University(庆应义塾大学);Sony AI(索尼AI)
在本文中,我们介绍了d3rlpy,一个开源的离线深度强化学习(RL)库。d3rlpy支持一组离线深度RL算法,以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题,我们使用D4RL和Atari 2600数据集进行了大规模基准测试,以确保实现质量,并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到:\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim,一种基于模型的离线逆强化学习框架,通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构,提升探索性和泛化能力,无需与真实环境交互。
2026-03-25 cs.AI cs.LG
Don't Change the Algorithm, Change the Data: Exploratory Data for Offline Reinforcement Learning
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
深度学习的最新进展依赖于对大型和多样化数据集的访问。这种数据驱动的进展在离线强化学习(RL)中不太明显,因为离线RL数据通常被收集来优化限制数据多样性的特定目标任务。在这项工作中,我们提出了离线RL(ExORL)的探索性数据,这是一种以数据为中心的离线RL方法。ExORL首先使用无监督的无奖励探索生成数据,然后在使用离线RL训练策略之前使用下游奖励重新标记这些数据。我们发现,探索性数据允许香草离线策略RL算法,没有任何离线特定的修改,在下游任务上优于或匹配最先进的离线RL算法。我们的研究结果表明,数据生成与离线RL的算法进步一样重要,因此需要社区仔细考虑。代码和数据可以在https://github.com/denisyarats/exorl上找到。
2022-04-05 cs.AI cs.LG
Fully Offline Reinforcement Learning
研究完全离线强化学习问题,提出基于贝叶斯模型的SOReL方法及扩展的TOReL方法,通过学习动力学后验、预测不确定性估计策略值实现完全离线超参数选择,建立实用且有理论基础的完全离线强化学习框架。
2026-11-02 cs.AI cs.LG
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题,提出SAMG范式,通过冻结离线评论家提供状态-动作级引导,无需重训离线数据,在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Latent Plans for Task-Agnostic Offline Reinforcement Learning
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
日常任务的长视野,包括一系列的多个隐式子任务仍然是离线机器人控制的一个重大挑战。虽然许多现有方法旨在通过模仿和离线强化学习的变体来解决这种设置,但学习的行为通常很窄,并且通常难以达到可配置的长期目标。由于这两种范式具有互补的优势和劣势,我们提出了一种新的分层方法,结合了这两种方法的优势,从高维相机观察中学习任务不可知的长视野策略。具体地说,我们结合了一个低层次的政策,学习潜在的技能,通过模仿学习和高层次的政策,从离线强化学习技能链的潜在行为先验。在各种模拟和真实的机器人控制任务的实验表明,我们的配方能够产生以前看不见的技能组合,以达到暂时延长的目标,通过“缝合”在一起的潜在技能,通过目标链与一个数量级的性能改进后,国家的最先进的基线。我们甚至在现实世界中学习了25个不同操作任务的多任务可视化策略,其性能优于模仿学习和离线强化学习技术。
2022-09-19 cs.AI cs.CV cs.LG
Flow Actor-Critic for Offline Reinforcement Learning
KAIST(韩国科学技术院);UNIST(全南大学)
本文提出流Actor-Critic方法,通过结合流模型提升离线强化学习中策略的表达能力,以应对复杂多模式数据分布,实现新的性能突破。
2026-02-20 cs.AI cs.LG
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University(清华大学)
离线强化学习(RL)显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中,我们采用了一个不同的框架,它学习V函数而不是Q函数,以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化,我们提出了期望V学习(EVL),它平滑地插入最优值学习和行为克隆之间。此外,我们沿着离线轨迹引入隐式规划,以增强学习的V值并加速收敛。同时,我们提出了一种新的离线方法,称为基于价值的情景记忆(VEM)。我们提供了我们提出的VEM方法的收敛特性的理论分析,并在D4RL基准测试的实证结果表明,我们的方法在大多数任务,特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Diffusion Policies for Risk-Averse Behavior Modeling in Offline Reinforcement Learning
Data 61, CSIRO, Australia(数据61,CSIRO,澳大利亚);School of Computing, Macquarie University, Australia(计算学院,麦考瑞大学,澳大利亚);Adobe Research, USA(Adobe研究,美国);School of Computer Science and Engineering, University of New South Wales, Australia(计算机科学与工程学院,新南威尔士大学,澳大利亚)
本文提出一种不确定性感知的分布式离线强化学习算法,利用扩散策略同时建模认知不确定性与环境随机性,学习风险规避策略并刻画奖励完整分布,在风险敏感与风险中性基准上表现优越。
2025-07-02 cs.LG
OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories
Indian Institute of Technology Madras(印度理工学院马德拉斯学院)
OSIL通过非偏好轨迹推断安全策略,从离线演示中学习安全且奖励最大化的策略,优于基线方法。
2026-02-11 cs.AI cs.LG stat.ML
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley(加州大学伯克利分校);Google Research, Brain Team(谷歌研究大脑团队)
在这篇教程文章中,我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具:强化学习算法利用以前收集的数据,而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略,从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而,当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战,特别是在现代深度强化学习方法的背景下,并描述在最近的工作中探索的一些潜在解决方案,以减轻这些挑战,以及最近的应用,以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
Data Valuation for Offline Reinforcement Learning
L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
深度强化学习(DRL)的成功取决于训练数据的可用性,这些数据通常是通过大量的环境交互获得的。在许多现实世界的场景中,成本和风险与收集这些数据有关。离线强化学习领域通过将数据收集外包给领域专家或仔细监控的程序并随后搜索批量约束的最优策略来解决这些问题。随着数据市场的出现,内部构建数据集的另一种选择是购买外部数据。然而,虽然最先进的离线强化学习方法已经显示出很大的前景,但它们目前依赖于精心构建的数据集,这些数据集与预期的目标领域保持一致。这就提出了关于在外部获取的数据上训练的离线强化学习代理的可转移性和鲁棒性的问题。在本文中,我们经验性地评估了当前最先进的离线强化学习方法在两个MuJoCo环境中处理源-目标域不匹配的能力,发现当前最先进的离线强化学习算法在目标域中表现不佳。为了解决这个问题,我们提出了离线强化学习(DVORL)的数据估值,这使我们能够识别相关和高质量的转换,提高离线强化学习算法学习的策略的性能和可移植性。结果表明,我们的方法优于两个MuJoCo环境下的离线强化学习基线。
2022-05-19 cs.LG
DiffPoGAN: Diffusion Policies with Generative Adversarial Networks for Offline Reinforcement Learning
Hubei University(湖北大学);Worcester Polytechnic Institute(伍斯特理工学院);Chinese Academy of Sciences(中国科学院)
DiffPoGAN将扩散模型作为GAN的策略生成器,结合MLE正则化和判别器输出约束,以缓解离线强化学习中的外推误差并改进策略,在D4RL基准上取得领先效果。
2024-06-13 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在高风险应用中训练强化学习(RL)代理可能过于禁止,因为与探索相关的风险。因此,代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能,我们专注于优化风险规避标准,即CVaR。特别是,我们提出了离线规避风险的演员批评(O-RAAC),一个无模型的RL算法,能够在完全离线的设置学习规避风险的政策。我们表明,O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外,考虑风险厌恶的标准,保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明,在存在自然分布的变化,O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning
McCombs School of Business(麦库姆斯商学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
离线强化学习(Offline reinforcement learning,RL)将经典RL算法的范式扩展到纯粹从静态数据集学习,而在学习过程中不与底层环境交互。离线RL的一个关键挑战是策略训练的不稳定性,这是由离线数据的分布与学习策略的未贴现静态状态-动作分布之间的不匹配引起的。为了避免分布失配的不利影响,我们在策略优化过程中对当前策略的未贴现平稳分布进行正则化。此外,我们训练一个动力学模型来实现这种正则化,并更好地估计当前策略的平稳分布,减少由分布失配引起的误差。在广泛的连续控制离线RL数据集上,我们的方法显示出有竞争力的性能,这验证了我们的算法。代码是公开的。
2022-06-14 cs.AI cs.LG
Dealing with the Unknown: Pessimistic Offline Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)已被证明是有效的,在这些领域中,代理可以通过主动与其操作环境交互来学习策略。然而,如果我们将RL方案更改为离线设置,其中代理只能通过静态数据集更新其策略,则出现离线强化学习中的一个主要问题,即分布偏移。我们提出了一种Pessiphon离线强化学习(PessORL)算法,通过操纵价值函数,主动引导智能体回到它熟悉的区域。我们专注于由分布外(OOD)状态引起的问题,并故意惩罚训练数据集中不存在的状态处的高值,以便学习到的悲观价值函数在状态空间内的任何地方都有真实值的下限。我们评估的PessORL算法在各种基准任务,在那里我们表明,我们的方法获得更好的性能显式处理OOD状态相比,这些方法只考虑OOD行动。
2021-11-09 cs.LG cs.RO
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文针对离线强化学习零样本泛化问题,提出悲观经验风险最小化和悲观近端策略优化两种方法,并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University(弗吉尼亚共同体大学);University of Virginia(弗吉尼亚大学)
研究离线到在线强化学习中有限交互预算下的主动策略选择问题,提出基于未来性能上置信界主动选策略微调的方法,经实验验证其优于现有基线,能更有效利用预算,推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University(中南大学)
针对运营车队无法探索及模拟器与目标动态差异问题,提出完成度感知的跨保真度离线到在线强化学习方法,用于多线路公交驻站控制,解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Action-Free Offline-to-Online RL via Discretised State Policies
University of Warwick(华威大学);Nanyang Technological University(南洋理工大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出无需动作的离线到在线强化学习方法,通过离散化状态策略提升高维问题的收敛速度和渐近性能。
2026-01-31 cs.AI cs.LG stat.ML
Robust Offline Reinforcement Learning with Gradient Penalty and Constraint Relaxation
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tencent AI Lab(腾讯人工智能实验室)
离线强化学习(RL)的一个很有前途的范例是约束学习到的策略保持接近数据集的行为,称为策略约束离线RL。然而,现有的工作严重依赖于数据的纯度,表现出性能下降,甚至灾难性的失败时,从污染的数据集包含不同级别的不纯轨迹学习。例如,在一个实施例中,专家级、中级等,而离线污染的数据日志在现实世界中普遍存在。为了减轻这种情况,我们首先在学习的价值函数上引入梯度惩罚来解决Q函数爆炸问题。然后,我们放宽了接近约束对非最佳行动的评论家加权约束松弛。实验结果表明,所提出的技术有效地驯服非最佳轨迹的政策约束离线RL方法,在一组污染的D4RL Mujoco和Adroit数据集上进行评估。
2022-10-19 cs.AI cs.LG
Contextual Transformer for Offline Meta Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);University College London(伦敦大学学院);Chinese Academy of Sciences(中国科学院);King’s College London(伦敦国王学院)
大规模序列模型中的预训练-微调范式在自然语言处理和计算机视觉任务中取得了重大进展。然而,这样的范例仍然受到强化学习(RL)中的几个挑战的阻碍,包括缺乏基于离线数据的自监督预训练算法和对看不见的下游任务的有效微调/微调。在这项工作中,我们将探讨如何提示可以改善基于序列建模的离线强化学习(离线-RL)算法。首先,我们提出了提示微调离线RL,其中上下文向量序列与输入连接,以指导有条件的策略生成。因此,我们可以在离线数据集上预训练具有自我监督损失的模型,并学习提示以引导策略实现所需的操作。其次,我们将我们的框架扩展到元强化学习设置,并提出上下文Meta Transformer(CMT); CMT利用不同任务之间的上下文作为提示,以提高未见过的任务的泛化。我们在三种不同的离线RL设置中进行了广泛的实验:D4 RL数据集上的离线单代理RL,MuJoCo基准测试上的离线Meta-RL和SMAC基准测试上的离线MARL。优越的结果验证了我们的方法的强大性能和通用性。
2022-11-15 cs.AI cs.LG