Behavior Constraining in Weight Space for Offline Reinforcement Learning
Siemens Technology(西门子技术);Technical University of Munich(慕尼黑工业大学)
在离线强化学习中,需要从单个预先收集的数据集中学习策略。通常,策略因此在训练期间被正则化,以通过基于生成策略和训练策略的动作分布之间的偏差添加惩罚来表现得与数据生成策略类似。我们提出了一种新的算法,它直接约束的政策,而不是在其权重空间,并在实验中证明了其有效性。
2021-07-12 cs.LG
Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
本文提出动作影响规律性(AIR)假设,将状态分为内生与外生部分,并基于拟合Q迭代设计算法,在模拟和真实环境中验证其优于现有离线强化学习方法。
2023-05-03 cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
本文提出离线强化学习应学习自适应策略先验而非静态策略,通过记忆、探索和自我纠错在后续交互中保持改进能力,并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL(伦敦大学学院);DeepMind(深度思维)
离线强化学习(RL)允许从离线数据集训练有能力的代理,而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是,我们应该如何理想地微调从离线RL训练中获得的代理?虽然离线RL算法原则上可以用于微调,但在实践中,它们的在线性能提高缓慢。相比之下,我们表明,它是可以使用标准的在线离线策略算法更快的改进。然而,我们发现这种方法可能遭受政策崩溃,其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题,以及它如何涉及到数据的多样性,算法的选择和在线重放分布。基于这些见解,我们提出了一个保守的策略优化过程,可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习,提升样本效率和探索能力,实现高效且可扩展的学习。
2025-12-22 cs.LG
DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning
Westlake University(西湖大学);Zhejiang University(浙江大学);Westlake Institute for Advanced Study(西湖高等研究院)
离线强化学习算法有望适用于固定数据集可用且无法获得新经验的环境。然而,这样的公式化不可避免地是离线数据饥渴的,并且在实践中,在一个特定环境中为一个特定任务收集大量离线数据集也是昂贵且费力的。因此,在本文中,我们1)通过使用从另一个动态收集的(源)离线数据来制定离线动态自适应,以放松对广泛的(目标)离线数据的要求,2)表征先前的离线方法不能很好地扩展的动态偏移问题,以及3)从无模型和基于模型的离线设置中导出一个简单的动态感知奖励增强(DARA)框架。具体而言,DARA强调从那些适应目标环境的源转换对中学习,并通过表征状态-动作-下一状态对而不是先前离线RL方法描绘的典型状态-动作分布来减轻离线动态变化。实验结果表明,DARA通过增加源离线数据集的奖励,可以获得目标环境的自适应策略,同时显著降低对目标离线数据的需求。只有少量的目标离线数据,我们的性能始终优于以前的离线RL方法在模拟和现实世界的任务。
2022-03-13 cs.LG
In-Distribution Imagination for Model-Based Offline Reinforcement Learning
针对基于模型的离线强化学习中模型误差导致轨迹偏离数据分布的问题,提出分布内想象(IDI)框架,通过轨迹级支持估计与截断控制,结合轨迹正则化强化学习,在有限数据下提升性能。
2026-10-01 cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架,通过从无奖励离线数据中学习潜在后继度量表示,再利用偏好数据进行对比搜索和微调,显著提升了偏好效率。
2026-05-31 cs.LG
BraVE: Offline Reinforcement Learning for Discrete Combinatorial Action Spaces
University of Virginia(弗吉尼亚大学);MBZUAI(马克斯·普朗克智能系统研究所)
BraVE通过树状结构动作遍历,在离线强化学习中有效处理离散组合动作空间,实现性能提升20倍。
2026-01-07 cs.LG
RoiRL: Efficient, Self-Supervised Reasoning with Offline Iterative Reinforcement Learning
Criteo AI Lab(Criteo人工智能实验室);Ecole Polytechnique Paris(巴黎高等理工学院)
针对大语言模型推理强化学习依赖真实奖励或在线计算成本高的问题,提出轻量级离线迭代强化学习方法RoiRL,无需参考模型,训练更快且推理性能更优,为无标签自提升大模型提供可扩展路径。
2025-10-03 cs.LG
Comparing Model-free and Model-based Algorithms for Offline Reinforcement Learning
Siemens Technology(西门子技术部);Technical University of Munich(慕尼黑工业大学)
离线强化学习(RL)算法通常是在考虑MuJoCo等环境的情况下设计的,其中规划范围非常长并且不存在噪声。我们在各种工业基准(IB)数据集上比较了无模型,基于模型以及混合离线RL方法,以在更接近真实世界问题的设置中测试算法,包括复杂的噪声和部分可观察状态。我们发现,在IB上,混合方法面临着严重的困难,更简单的算法,如基于推出的算法或具有更简单正则化器的无模型算法在数据集上表现最好。
2022-01-14 cs.LG
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck(因斯布鲁克大学)
充分的探索对于强化学习代理的成功至关重要。然而,探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为,这些指标在关于直观简单分布的文献中描述,并强调了使用它们时要注意的问题。我们提出了第四个指标,统一的相对熵,并实现它使用k-最近邻或最近邻比估计,强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法,结合RCSL的稳定性与Q函数的缝合能力,通过自适应整合Q-辅助到损失函数中,提升离线强化学习性能。
2026-03-13 cs.LG
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University(山东大学软件学院)
本文提出目标条件均值流策略,通过引入平均速度场改进离线目标条件强化学习的层级策略建模,解决高阶策略生成有效子目标的难题,并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点,无论是在与环境交互时的在线情况下,还是在从固定数据集学习时的离线情况下。然而,到目前为止,没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中,我们描述了重新分析算法,该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标,从而可以有效地学习数据预算,这些数据预算变化了几个数量级。我们进一步表明,Reanalyse也可以用于完全从演示中学习,而无需任何环境交互,就像离线强化学习(离线RL)一样。结合Reanalyze和MuZero算法,我们引入了MuZero Unplugged,这是一个适用于任何数据预算的统一算法,包括离线RL。与以前的工作相比,我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
CLUE: Calibrated Latent Guidance for Offline Reinforcement Learning
Zhejiang University(浙江大学);Westlake University(西湖大学)
CLUE利用条件变分自编码器学习校准潜在空间,以专家数据驱动内在奖励,消除外在奖励需求,提升稀疏奖励离线RL性能、超越离线IL基线并发现多样技能。
2023-10-15 cs.LG
Augmenting Offline Reinforcement Learning with State-only Interactions
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出利用无奖励的仅状态在线交互,通过条件扩散模型生成高回报轨迹并与离线数据拼接增强,从而提升下游离线强化学习性能。
2024-10-02 cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University(台湾大学);MediaTek Research(联发科技研究院)
本文提出一种基于核函数近似的离线强化学习算法,有效利用低成本无标签数据,并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University(斯坦福大学)
我们提出了一个基于模型的离线强化学习策略性能下限,明确捕捉动态模型的误指定和分布失配,我们提出了一个经验算法的最佳离线策略选择。在理论上,我们通过建立对价值函数的悲观近似,证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略:只要动态模型可以准确地表示给定策略访问的状态-动作对的动态,就可以近似该特定策略的值。我们分析了我们的下限在LQR设置,也显示出竞争力的性能,以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
Department of Computer Science, Johns Hopkins University, Baltimore, MD, U.S.A.(约翰霍普金斯大学计算机科学系);AMLab, University of Amsterdam, Amsterdam, Netherlands(阿姆斯特丹大学AM实验室)
提出DUAL框架,利用扩散模型先验知识蒸馏快速采样扩散策略和转移模型,并通过拉普拉斯近似和距离转移状态偏移检测进行不确定性量化,以改进在线阶段的探索与利用平衡。
2026-05-29 cs.LG
Hybrid Reinforcement Learning from Offline Observation Alone
Carnegie Mellon University(卡内基梅隆大学);Aurora Innovation(奥罗拉创新公司)
本文研究仅观测离线数据下的混合强化学习,在迹模型和可采纳性假设下提出首个可证明匹配复位模型算法性能的方法,并通过实验验证其有效性。
2024-06-11 cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文提出OASIS,利用条件扩散模型塑形离线数据分布,以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题,在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在高风险应用中训练强化学习(RL)代理可能过于禁止,因为与探索相关的风险。因此,代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能,我们专注于优化风险规避标准,即CVaR。特别是,我们提出了离线规避风险的演员批评(O-RAAC),一个无模型的RL算法,能够在完全离线的设置学习规避风险的政策。我们表明,O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外,考虑风险厌恶的标准,保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明,在存在自然分布的变化,O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
User-Interactive Offline Reinforcement Learning
Siemens Technology(西门子技术);TU Munich(慕尼黑工业大学)
离线强化学习算法在实践中仍然缺乏信任,这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时,离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法,允许用户在运行时调整这个超参数,从而同时解决上述两个问题。这允许用户从原始行为开始,并连续授予更大的偏差,以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(东方理工大学);Southeast University(东南大学)
针对离线视觉RL的表征过拟合与奖励高估偏差问题,提出基于模型的CoWorld方法,借助现成RL模拟器搭建离线策略试验台并缓解跨域差异,实现在线到离线知识迁移,性能显著优于现有方法。
2024-10-29 cs.LG
Distorted Distributional Policy Evaluation for Offline Reinforcement Learning
IBM Research - Tokyo, Japan(IBM东京研究院)
本研究提出分位数扭曲方法,通过调整保守程度改进离线强化学习中回报分位数的估计,提升泛化能力和性能。
2026-01-05 cs.LG
On the Role of Discount Factor in Offline Reinforcement Learning
Tsinghua University(清华大学)
离线强化学习(RL)能够在不进行探索的情况下从先前收集的数据中进行有效学习,这在探索昂贵甚至不可行的现实世界应用中显示出巨大的前景。折扣因子$γ$在提高在线RL样本效率和估计精度方面起着至关重要的作用,但折扣因子在离线RL中的作用还没有得到很好的探讨。本文通过理论分析,研究了$γ$在离线强化学习中的两种不同效应,即正则化效应和悲观效应。一方面,$γ$是在现有离线技术上权衡最优性与样本效率的调节器。另一方面,较低的指导$γ$也可以被视为一种悲观的方式,我们在最糟糕的模型中优化政策的性能。我们用表格式MDP和标准D4RL任务实证验证了上述理论观察。结果表明,折扣因子对离线RL算法的性能起着至关重要的作用,无论是在现有离线方法的小数据范围内,还是在没有其他保守方法的大数据范围内。
2022-06-15 cs.LG
Data-Incremental Continual Offline Reinforcement Learning
School of Engineering, Westlake University(西湖大学工程学院)
提出数据增量式持续离线强化学习设置,针对主动遗忘问题,设计基于经验回放的集成隐式Q学习算法,有效缓解遗忘并提升性能。
2024-12-16 cs.LG
Unsupervised Data Generation for Offline Reinforcement Learning: A Perspective from Model
本文从基于模型的离线强化学习优化视角,理论分析了批次数据对算法性能的影响,提出UDG方法在任务无关设置下生成并选择数据,有效缩小与最优策略的性能差距并在未知任务上超越监督式数据生成。
2025-06-24 cs.LG
MAHALO: Unifying Offline Reinforcement Learning and Imitation Learning from Observations
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文提出MAHALO,一种基于悲观性能下界和对抗训练的通用离线PLfO方法,统一处理离线IL、ILfO和RL,并在多类任务上优于或匹配专门算法。
2023-08-06 cs.LG
Offline Reinforcement Learning with Fisher Divergence Critic Regularization
New York University(纽约大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
离线强化学习(RL)的许多现代方法利用行为正则化,通常用测量策略与离线数据的偏差的惩罚来增强无模型演员评论算法。在这项工作中,我们提出了一种替代方法,鼓励学习的政策,以保持接近的数据,即参数化的批评日志行为的政策,产生的离线数据,加上一个状态动作值偏移项,可以使用神经网络学习。然后,行为正则化对应于偏移项上的适当正则化子。我们建议使用梯度惩罚正则化的偏移项,并证明其等价于Fisher发散正则化,建议连接到分数匹配和基于生成能量的模型文献。因此,我们将我们的算法称为Fisher-BRC(行为正则化批评)。在标准的离线RL基准测试中,Fisher-BRC实现了比现有最先进方法更高的性能和更快的收敛速度。
2021-03-14 cs.LG
Reducing Conservativeness Oriented Offline Reinforcement Learning
Tsinghua University(清华大学)
在离线强化学习中,策略学习使用固定的数据集合来最大化累积奖励。对于保守策略,现有方法选择正则化行为策略或学习价值函数的下界。然而,过度的保守性往往会削弱策略的泛化能力,降低其性能,特别是对于混合数据集。本文提出了一种面向强化学习的降低保守性的方法。一方面,该策略被训练为更多地关注静态数据集中的少数样本,以解决数据不平衡问题。另一方面,我们给出了一个更严格的下限的价值函数比以前的方法来发现潜在的最优行动。因此,我们提出的方法是能够解决所提供的数据集的偏态分布,并得出一个价值函数更接近预期的价值函数。实验结果表明,该方法在D4RL离线强化学习评估任务和我们自己设计的混合数据集上的性能优于现有方法。
2021-02-27 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题,提出一种非整体式探索的新方法,在不修改离线策略的前提下协调其利用优势与在线策略的探索优势,性能优于PEX方法。
2024-10-31 cs.LG
OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Google Research(谷歌研究院)
强化学习(RL)在各种在线设置中取得了令人印象深刻的性能,其中代理查询环境的转换和奖励的能力实际上是无限的。然而,在许多实际应用中,情况正好相反:代理可以访问大量无定向的离线体验数据,而对在线环境的访问则受到严重限制。在这项工作中,我们专注于这种离线设置。我们的主要观点是,当呈现由各种行为组成的离线数据时,利用这些数据的有效方法是在使用这些原语进行下游任务学习之前提取连续空间的重复和时间扩展的原语行为。以这种方式提取的原语有两个目的:它们描述了数据支持的行为与不支持的行为,使它们有助于避免离线RL中的分布偏移;它们提供了一定程度的时间抽象,这降低了有效范围,从而在理论上产生更好的学习,并在实践中改进了离线RL。除了有利于离线策略优化,我们还表明,以这种方式执行离线原始学习也可以用于改善Few-Shot模仿学习以及在线RL中各种基准领域的探索和转移。可视化可在https://sites.google.com/view/opal-iclr上获得
2021-05-04 cs.LG
UDQL: Bridging The Gap between MSE Loss and The Optimal Value Function in Offline Reinforcement Learning
Shenyang University of Chemical Technology(沈阳化工大学);University of Macau(澳门大学);University of Louisville(路易斯维尔大学)
本文发现MSE会导致离线强化学习中值函数的过估计现象,通过理论分析给出误差上界,并提出Bellman低估算子与扩散策略模型结合的算法,在D4RL任务上优于现有方法。
2024-06-05 cs.LG
Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning
University of Science and Technology Beijing(北京科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出ASPC框架,通过动态平衡强化学习与行为克隆,解决在线强化学习中策略约束规模差异带来的超参数调优问题,实验表明其在多个数据集上表现优异且计算开销低。
2026-04-29 cs.LG
Benchmarks for Reinforcement Learning with Biased Offline Data and Imperfect Simulators
Technion, Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
本文针对离线数据与不完美模拟器结合的强化学习问题,提出四大核心挑战并构建B4MRL基准,以推动相关研究。
2024-06-30 cs.LG
From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning
ReLOAD通过自蒸馏生成内在奖励,解决离线强化学习中显式奖励标注的难题,实现稳健的策略学习并达到传统方法的性能水平。
2025-12-22 cs.LG
Online Pre-Training for Offline-to-Online Reinforcement Learning
LG AI Research, Seoul, Republic of Korea.(LG人工智能研究所在韩国首尔);School of Electrical Engineering, KAIST, Daejeon, Republic of Korea(韩国成均馆大学电气工程学院);Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院)
本文提出OPT方法,通过引入在线预训练阶段训练专用的价值函数,解决离线到在线强化学习中分布偏移导致的价值估计不准确问题,在多个D4RL环境中实现约30%的性能提升。
2025-07-11 cs.LG
The Least Restriction for Offline Reinforcement Learning
强化学习(RL)的许多实际应用限制代理从已经收集的记录交互的固定离线数据集学习,而不提供进一步的数据汇集的可能性。然而,常用的非策略RL算法,如深度Q网络和深度确定性策略梯度,在没有与当前策略下的分布相关的数据的情况下无法学习,使得它们对于这种离线设置无效。作为研究离线强化学习算法的第一步,我们分析了标准离线强化学习算法不稳定的原因。这是由于bootstrapping错误。避免此错误的关键是确保代理的动作空间不会超出固定的离线数据集。基于我们的考虑,本文提出了一个创造性的离线RL框架,最小约束(LR)。LR将选择动作视为从概率分布中抽取样本。它只是对动作选择设置了一个小小的限制,这不仅避免了动作在离线数据集之外,还消除了早期方法(例如批量约束深度Q学习)中的所有不合理限制。在进一步的研究中,我们将证明LR能够从不同的离线数据集(包括随机和次优演示)中鲁棒地学习一系列实际控制任务。
2021-07-05 cs.LG
Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文提出一种基于博弈论和混合策略的离线值函数强化学习方法,用于解决营销预算分配问题,该方法只需存储恒定数量策略即可收敛至最优,并在大规模真实营销活动中验证了其优越性。
2023-09-06 cs.LG
Offline Reinforcement Learning for Mobile Notifications
LinkedIn Corporation(领英公司)
移动通知系统在推动和维持在线平台的用户参与方面发挥了重要作用。对于机器学习从业者来说,它们是有趣的推荐系统,具有更多的顺序和长期反馈考虑。通知系统中的大多数机器学习应用都是围绕响应预测模型构建的,试图将短期影响和长期影响归因于通知决策。然而,用户的体验取决于一系列通知,并且将影响归因于单个通知并不总是准确的,如果不是不可能的话。在本文中,我们认为,强化学习是一个更好的框架通知系统的性能和迭代速度。我们提出了一个离线强化学习框架来优化驱动用户参与的顺序通知决策。我们描述了一种状态边缘化的重要性采样策略评估方法,该方法可用于离线评估策略和调整学习超参数。通过模拟近似的通知生态系统,我们展示了离线评估方法的性能和优势,作为强化学习建模方法的一部分。最后,我们通过生产系统的在线探索收集数据,训练离线双深Q网络,在线发布成功的策略。我们还讨论了实际的考虑和结果,通过部署这些政策的大规模推荐系统用例。
2022-02-04 cs.LG
The Challenges of Exploration for Offline Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
离线强化学习(ORL)使我们能够分别研究强化学习的两个相互关联的过程:收集信息经验和推断最佳行为。第二步已经在离线环境中得到了广泛的研究,但对于数据高效的RL来说,同样重要的是收集信息数据。数据汇集的任务不可知设置(其中任务不是先验已知的)特别令人感兴趣,因为可以收集单个数据集并在出现时使用它来解决多个下游任务。我们通过好奇心为基础的内在动机,一个家庭的探索方法,鼓励代理人探索那些状态或过渡,它还没有学会模型的设置。使用Explore2Offline,我们建议通过传输收集的数据并使用奖励重新标记和标准离线RL算法推断策略来评估收集的数据的质量。我们评估了各种各样的数据汇集策略,包括一个新的勘探代理,内在模型预测控制(IMPC),使用该计划,并展示其性能的各种任务。我们使用这个解耦的框架来加强关于探索的直觉和有效离线RL的数据先决条件。
2022-02-19 cs.LG
Beyond OOD State Actions: Supported Cross-Domain Offline Reinforcement Learning
Westlake University(西湖大学)
本文提出跨域离线强化学习方法BOSA,通过支持约束目标解决OOD转移动力学问题,仅用10%目标数据即可达到SOTA性能的74.4%,显著提升数据效率。
2023-06-22 cs.LG
Offline Reinforcement Learning Hands-On
InstaDeep;Sorbonne Université(索邦大学)
离线强化学习(RL)旨在将大型数据集转化为强大的决策引擎,而无需与环境进行任何在线交互。这一伟大的承诺激发了大量的研究,希望复制RL在模拟环境中所取得的成功。这项工作的野心,以反映这些努力,从从业者的观点。我们首先讨论数据集属性,我们假设这些属性可以确定最成功的离线方法的类型。然后,我们通过一组实验验证了这些说法,并设计了从离散和连续动作空间环境中生成的数据集。我们通过实验验证了数据中的多样性和高回报的例子对离线RL的成功至关重要,并表明与同时代人相比,行为克隆仍然是一个强有力的竞争者。总的来说,这项工作是一个教程,可以帮助人们建立对当今离线RL方法及其适用性的直觉。
2020-11-29 cs.LG
Fewer May Be Better: Enhancing Offline Reinforcement Learning with Reduced Dataset
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对离线强化学习中数据集子集选择问题,提出ReDOR方法,将选择问题转化为梯度近似优化,利用改进的OMP高效求解,在提升性能的同时降低计算复杂度。
2025-02-26 cs.LG
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg,以缓解离线强化学习在小数据集上的过拟合问题,在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning
Mila, McGill University(麦吉尔大学 Mila 研究院);DeepMind
我们假设,经验性地研究离线强化学习(RL)的样本复杂度对于RL在现实世界中的实际应用至关重要。最近的几项工作已经证明了直接从离线数据中学习策略的能力。在这项工作中,我们问的问题的依赖于从离线数据学习的样本的数量。我们的目标是强调研究离线RL的样本复杂性是重要的,并且是现有离线算法的有用性的指标。提出了一种离线强化学习样本复杂度分析的评价方法。
2021-12-31 cs.AI cs.LG
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.(Offworld公司)
批量(离线)强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果,并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见,现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习,但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此,我们提出了一种新的方法,使用不确定性估计来触发人类演示数据的注入,并引导策略训练向最佳行为,同时降低整体样本的复杂性。我们的实验表明,这种方法是更有效的样本相比,一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习,并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University(崇实大学)
本文提出AD4RL基准,包含19个自动驾驶数据集(含真实人类驾驶数据)和七种离线强化学习算法在三种场景下的评估,并给出统一决策过程模型,为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence(佛罗伦萨大学);SEED – Electronic Arts(SEED – 艺电)
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题,提出基于世界模型的状态增强策略,可提升离线预训练效果,大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations
Graduate School of Science and Engineering(科学与工程研究生院);Chiba University(千叶大学);Graduate School of Informatics(信息科学研究生院);Zuse Institute Berlin(柏林泽尼奇研究所)
本文在OpenAI Gym腿式机器人上评估离线强化学习对关节扭矩随机与对抗扰动的鲁棒性,发现其比在线方法更脆弱,表明该领域亟需更鲁棒的算法。
2025-07-18 cs.LG cs.RO
OffSim: Offline Simulator for Model-based Offline Inverse Reinforcement Learning
本文提出OffSim,一种基于模型的离线逆强化学习框架,通过专家生成的状态-动作轨迹直接模拟环境动态和奖励结构,提升探索性和泛化能力,无需与真实环境交互。
2026-03-25 cs.AI cs.LG
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展,聚焦二者交叉的离线基于模型强化学习领域,总结现有方法解决分布偏移问题的思路,提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY