Benchmarks for Reinforcement Learning with Biased Offline Data and Imperfect Simulators
Technion, Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
本文针对离线数据与不完美模拟器结合的强化学习问题,提出四大核心挑战并构建B4MRL基准,以推动相关研究。
2024-06-30 cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题,提出扩散分类器驱动的奖励方法(DPR及条件变体C-DPR),通过判别性推断提升奖励质量,实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Towards Data-Driven Offline Simulations for Online Reinforcement Learning
Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research NYC(微软研究院纽约分院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
现代决策系统,从机器人到网络推荐引擎,都需要适应用户偏好、不断变化的环境甚至新的任务。然而,将动态学习代理(而不是固定策略)部署到生产系统中仍然很少见,因为它被认为是不安全的。使用历史数据来推理学习算法,类似于应用于固定策略的离线策略评估(OPE),可以帮助从业者评估并最终将此类自适应代理部署到生产环境中。在这项工作中,我们正式离线学习者模拟(OLS)的强化学习(RL),并提出了一种新的评估协议,衡量保真度和效率的模拟。对于具有复杂高维观测的环境,我们提出了一种半参数方法,该方法利用了潜在状态发现的最新进展,以实现准确有效的离线模拟。在初步的实验中,我们展示了我们的方法相比完全非参数基线的优势。重现这些实验的代码将在https://github.com/microsoft/rl-offline-simulation上提供。
2022-11-14 cs.LG
Diversity-Driven Offline Multi-Objective Optimization via Nested Pareto Set Learning
Shanghai Institute of AI for Education(上海人工智能教育研究院);School of Computer Science(计算机科学学院);East China Normal University(华东师范大学);Shanghai Innovation Institute(上海创新研究院)
针对离线多目标优化中的分布外问题,提出DOMOO方法,通过累积风险控制、嵌套帕累托集学习和多样性驱动选择策略,在合成和真实基准上实现了收敛性和多样性的最佳平均排名。
2026-06-16 cs.LG
Offline Preference-Based Apprenticeship Learning
University of California, Berkeley(加州大学伯克利分校)
从人类偏好中学习奖励函数具有挑战性,因为它通常需要具有高保真模拟器或在环境中使用昂贵且可能不安全的实际物理部署。但是,在许多任务中,代理可能有权访问同一目标环境中相关任务的脱机数据。虽然离线数据越来越多地被用于通过离线RL来帮助策略优化,但我们的观察是,它也可以成为偏好学习的丰富信息来源。我们提出了一种方法,使用离线数据集通过基于池的主动学习来制作偏好查询,学习奖励函数的分布,并通过离线RL优化相应的策略。至关重要的是,我们提出的方法不需要实际的物理部署或精确的模拟器来进行奖励学习或策略优化步骤。为了测试我们的方法,我们确定了一个非常适合离线奖励学习的现有离线RL基准子集,并提出了新的离线学徒学习基准,允许更多的开放式行为。我们的实证结果表明,将离线RL与学习到的人类偏好相结合,可以使智能体学习执行离线数据中没有明确显示的新任务。
2022-02-16 cs.LG
Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care
本文评估了三种离线多目标强化学习算法在重症护理中的性能,发现PEDA DT在灵活性和多目标决策方面表现优异,为个性化医疗决策提供了新思路。
2025-12-08 cs.LG
PyTupli: A Scalable Infrastructure for Collaborative Offline Reinforcement Learning Projects
Technical University of Munich(慕尼黑技术大学)
PyTupli是一个Python基础设施,用于创建、存储和共享离线强化学习基准及元组数据集,支持细粒度过滤与安全部署,促进协作、可复现和可扩展的研究。
2025-05-23 cs.LG
OGBench: Benchmarking Offline Goal-Conditioned RL
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
针对离线目标条件强化学习缺乏标准基准的问题,提出包含8类环境、85个数据集及6种算法参考实现的OGBench,可评估算法拼接、长horizon推理等能力,揭示其优缺点以助力新算法研发。
2025-02-13 cs.AI cs.LG
NeoRL: A Near Real-World Benchmark for Offline Reinforcement Learning
Nanjing University(南京大学);Polixir Technologies(Polixir科技公司);Shanghai Jiao Tong University(上海交通大学)
离线强化学习(RL)旨在从一批收集的数据中学习一个好的策略,而无需在训练过程中与环境进行额外的交互。然而,目前的离线RL基准通常具有很大的现实差距,因为它们涉及高度探索性的策略收集的大型数据集,并且训练的策略直接在环境中进行评估。在现实世界中,禁止运行高度探索性的策略以确保系统安全,数据通常非常有限,并且经过训练的策略应在部署之前进行充分验证。在本文中,我们提出了一个接近现实世界的离线RL基准测试,名为NeoRL,其中包含来自不同领域的数据集,具有受控的大小,以及用于策略验证的额外测试数据集。我们评估了NeoRL上现有的离线RL算法,并认为策略的性能也应该与行为策略的确定性版本进行比较,而不是数据集奖励。实验结果表明,测试的离线RL算法在许多数据集上变得不那么具有竞争力的确定性策略,离线策略评估几乎没有帮助。NeoRL诉讼可以在http://polixir.ai/research/neorl上找到。我们希望这项工作能为未来的研究提供一些启示,并在现实世界的系统中部署RL时引起更多的关注。
2021-02-08 cs.AI cs.LG
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点,无论是在与环境交互时的在线情况下,还是在从固定数据集学习时的离线情况下。然而,到目前为止,没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中,我们描述了重新分析算法,该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标,从而可以有效地学习数据预算,这些数据预算变化了几个数量级。我们进一步表明,Reanalyse也可以用于完全从演示中学习,而无需任何环境交互,就像离线强化学习(离线RL)一样。结合Reanalyze和MuZero算法,我们引入了MuZero Unplugged,这是一个适用于任何数据预算的统一算法,包括离线RL。与以前的工作相比,我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Offline Reinforcement Learning for Plasma Control in Nuclear Fusion: Codebase and Benchmark
Central South University(中南大学);Chongqing University(重庆大学);Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学)
提出RL4F基准,基于DIII-D托卡马克历史数据构建评估环境,比较多种离线RL方法在等离子体控制任务上的性能,发现基于模型的离线RL方法平均表现最佳。
2026-05-19 cs.AI cs.LG
A Continual Offline Reinforcement Learning Benchmark for Navigation Tasks
Inria, Univ. Lille, CNRS, Centrale Lille, UMR 9198-CRIStAL, F-59000 Lille, France(法国里尔大学、法国国家科学研究中心、中央里尔学院、UMR 9198-CRIStAL)
本文提出一个连续离线强化学习导航任务基准测试,通过视频游戏场景评估算法性能,解决灾难性遗忘、任务适应和内存效率等关键挑战。
2026-01-30 cs.LG
LLM-Driven Policy Diffusion: Enhancing Generalization in Offline Reinforcement Learning
针对离线强化学习泛化难的问题,提出结合文本与轨迹提示的LLMDPD方法,用LLM和transformer分别编码两类提示作为策略扩散模型条件,在未见任务上超越了现有最优离线RL方法。
2025-08-30 cs.AI cs.LG
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University(崇实大学)
本文提出AD4RL基准,包含19个自动驾驶数据集(含真实人类驾驶数据)和七种离线强化学习算法在三种场景下的评估,并给出统一决策过程模型,为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
NeoRL-2: Near Real-World Benchmarks for Offline Reinforcement Learning with Extended Realistic Scenarios
Polixir Technologies(博意科技);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对离线强化学习中的现实挑战,构建NeoRL-2基准,包含7个数据集和模拟器,揭示现有方法难以超越行为策略,推动更有效算法发展。
2025-03-25 cs.AI cs.LG
Hokoff: Real Game Dataset from Honor of Kings and its Offline Reinforcement Learning Benchmarks
Tsinghua University(清华大学);Tencent Timi Studio(腾讯天美工作室);Tencent AI Lab(腾讯AI实验室)
本文提出 Hokoff 数据集及框架,基于《王者荣耀》构建离线 RL 和离线 MARL 基准,并针对分层动作空间提出新基线算法,揭示现有离线 RL 方法在任务复杂性、泛化和多任务学习上的不足。
2024-11-22 cs.AI cs.LG
FairDICE: Fairness-Driven Offline Multi-Objective Reinforcement Learning
Korea University(韩国大学);Yonsei University(延世大学);Gauss Labs Inc.(Gauss实验室公司)
针对离线多目标强化学习中非线性公平福利目标优化的空白,提出FairDICE框架,借助分布校正估计实现无需偏好权重搜索的稳定高效学习,在基准测试中取得优于基线的公平感知性能。
2025-11-18 cs.AI cs.LG
Data-Driven Offline Decision-Making via Invariant Representation Learning
UC Berkeley(加州大学伯克利分校)
离线数据驱动决策的目标是使用先前收集的静态数据集,在没有主动交互的情况下,综合优化黑盒效用函数的决策。这些问题以多种形式出现:离线强化学习(RL),我们必须产生优化长期奖励的行动,从记录的数据中产生强盗,目标是确定正确的手臂,以及离线基于模型的优化(MBO)问题,我们必须找到最佳设计,只提供对静态数据集的访问。所有这些设置中的一个关键挑战是分布偏移:当我们对从离线数据训练的模型的输入进行优化时,很容易产生一个错误地看起来很好的分布外(OOD)输入。与利用悲观主义或保守主义来解决这个问题的现有方法相反,在本文中,我们将离线数据驱动的决策制定为领域自适应,其目标是在仅对数据集(“源域”)进行训练时,对优化决策(“目标域”)的值进行准确预测。这种观点导致了不变目标模型(IOM),我们通过在训练数据集的学习表示和优化决策之间强制执行不变性来解决分布偏移的方法。在IOM中,如果优化的决策与训练数据集差异太大,表示将被迫丢失大部分区分好设计和坏设计的信息,使所有选择看起来都很平庸。重要的是,当优化器意识到这种代表性的权衡时,它应该选择不要偏离训练分布太远,从而导致分布偏移和学习性能之间的自然权衡。
2022-11-25 cs.AI cs.LG
Beyond Non-Expert Demonstrations: Outcome-Driven Action Constraint for Offline Reinforcement Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院)
针对离线强化学习中的次优非专家数据问题,提出ODAF方法,通过结果驱动的保守奖励机制减少对行为策略动作分布的依赖,在MuJoCo等基准上有效容忍未见转移并提升轨迹拼接与学习能力。
2025-04-03 cs.LG cs.RO
Data-Driven Offline Optimization For Architecting Hardware Accelerators
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
工业已经逐渐转向应用特定的硬件加速器,以获得更高的效率。虽然这种范式转变已经开始显示出有希望的结果,但设计人员需要花费相当大的手动工作并执行大量耗时的模拟,以找到可以在遵守设计约束的情况下加速多个目标应用的加速器。此外,这种“模拟驱动”的方法必须在每次目标应用程序集或设计约束发生变化时从头开始重新运行。另一种范例是使用“数据驱动”的离线方法,该方法利用记录的仿真数据来构建硬件加速器,而不需要任何形式的仿真。这样的方法不仅减少了对消耗运行时间的仿真的需要,而且还使得数据能够重用,并且即使在目标应用的集合改变时也适用。在本文中,我们开发了这样一种数据驱动的离线优化方法,用于设计硬件加速器,称为PRIME,享有所有这些属性。我们的方法学习一个保守的,稳健的估计所需的成本函数,利用不可行的点,并优化设计对这个估计没有任何额外的模拟器在优化过程中查询。PRIME architects加速器-针对单个和多个应用程序量身定制-将最先进的模拟驱动方法的性能提高了约1.54倍和1.20倍,同时将所需的总模拟时间分别减少了93%和99%。此外,PRIME还在zero-shot设置中为看不见的应用程序构建了有效的加速器,其性能比基于模拟的方法高出1.26倍。
2022-02-03 cs.AR cs.LG
Benchmarking Offline Reinforcement Learning on Real-Robot Hardware
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Harvard University(哈佛大学);KTH Stockholm(斯德哥尔摩皇家理工学院)
针对真实机器人离线强化学习,提出包含灵巧操作数据和真机执行选项的基准,评估开源算法并提供可复现实验设置。
2023-07-28 cs.LG cs.RO
Online vs. Offline Adaptive Domain Randomization Benchmark
Politecnico di Torino(都灵理工大学);Aalto University(阿尔托大学)
物理模拟器已经显示出在安全、无约束的环境中方便地学习强化学习策略的巨大潜力。然而,由于现实差距,将获得的知识转移到现实世界可能具有挑战性。为此,最近已经提出了几种方法来自动调整模拟器参数与后验分布给定的真实数据,用于在训练时的域随机化。这些方法已被证明适用于不同设置和假设下的各种机器人任务。然而,现有的文献缺乏一个彻底的比较现有的自适应域随机化方法的传输性能和实际数据的效率。在这项工作中,我们为离线和在线方法(SimOpt,BayRn,DROID,DROPO)提供了一个开放的基准测试,以阐明哪些方法最适合手头的每个设置和任务。我们发现,在线方法受到下一次迭代的当前学习策略的质量的限制,而离线方法在使用开环命令重放模拟中的轨迹时有时可能会失败。使用的代码将在https://github.com/gabrieletiboni/adr-benchmark上发布。
2022-06-29 cs.LG cs.RO
DataLight: Offline Data-Driven Traffic Signal Control
Lanzhou University(兰州大学);Beijing University of Posts and Telecommunications(北京邮电大学);Nagoya University(名古屋大学)
DataLight提出一种离线数据驱动的交通信号控制方法,利用车辆速度信息构建状态表示与奖励函数,并通过道路分段和序列建模增强状态,实验证明其性能优于现有在线和离线方法。
2024-05-02 cs.AI cs.LG
RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning
DeepMind(深度思维);Google Brain(谷歌大脑)
强化学习的离线方法有可能帮助弥合强化学习研究和现实世界应用之间的差距。它们使得从离线数据集学习策略成为可能,从而克服了与现实世界中的在线数据汇集相关的问题,包括成本、安全或伦理问题。在本文中,我们提出了一个称为RL Unplugged的基准来评估和比较离线RL方法。RL Unplugged包括来自不同领域的数据,包括游戏(例如,Atari基准)和模拟的电机控制问题(例如,DM Control Suite)。数据集包括部分或完全可观察的域,使用连续或离散动作,并且具有随机与确定性动态。我们为RL Unplugged中的每个域提出了详细的评估协议,并使用这些协议对监督学习和离线RL方法进行了广泛的分析。我们将发布所有任务的数据,并开源本文中提出的所有算法。我们希望我们的基准套件将增加实验的可重复性,并使研究具有挑战性的任务与有限的计算预算成为可能,从而使强化学习研究更系统,更容易在整个社区。展望未来,我们将RL Unplugged视为一个活生生的基准套件,它将随着研究社区和我们自己贡献的数据集而发展和成长。我们的项目页面可以在https://git.io/JJUhd上找到。
2021-02-12 cs.LG stat.ML
Uncertainty-driven Trajectory Truncation for Data Augmentation in Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学);Tencent(腾讯)
针对离线强化学习中模型生成样本不可靠的问题,提出不确定性驱动的轨迹截断方法TATU,通过累积不确定性截断合成轨迹,理论证明性能界限,并在D4RL基准上显著提升多种离线RL算法的性能。
2023-07-26 cs.AI cs.LG
Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯);Chongqing University(重庆大学)
对于拥有大量记录数据的公司来说,一个基本问题是:如何将这些记录数据与传入的流数据一起使用,以做出正确的决策?许多公司目前通过在线A/B测试做出决策,但在测试过程中的错误决策会伤害用户体验并造成不可逆转的损害。一个典型的替代方案是离线因果推理,它只分析记录的数据来做出决策。然而,这些决策并不适应新的传入数据,因此错误的决策将不断损害用户的体验。为了克服上述限制,我们提出了一个框架来统一离线因果推理算法(例如,加权,匹配)和在线学习算法(例如,UCB、LinUCB)。我们提出了新的算法,并通过“遗憾”的概念,得出的决策精度的界限。我们推导出基于森林的在线强盗算法的第一个后悔上界。两个真实数据集上的实验表明,我们的算法优于其他算法,只使用日志数据或在线反馈,或算法不正确使用的数据。
2020-11-07 cs.LG stat.ML
Policy-Driven World Model Adaptation for Robust Offline Model-based Reinforcement Learning
The University of Hong Kong, Hong Kong SAR(香港大学);INFIFORCE Intelligent Technology Co., Ltd., Hangzhou, China(INFIFORCE智能技术有限公司);Tsinghua University, Beijing, China(清华大学);Carnegie Mellon University, Pittsburgh, PA 15213, USA(卡内基梅隆大学)
本文提出了一种基于策略驱动的世界模型适应框架,通过最大化最小优化问题和Stackelberg学习动态提升离线模型驱动强化学习的鲁棒性。
2026-01-30 cs.AI cs.LG
Datasets and Benchmarks for Offline Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google Deepmind(谷歌DeepMind)
本文提出一套离线安全强化学习综合基准套件,含安全策略、D4RL风格数据集、基线算法实现,经大量实验评估基线性能,为安全关键场景的相关研究提供资源支持。
2023-06-16 cs.AI cs.LG cs.RO
PerSim: Data-Efficient Offline Reinforcement Learning with Heterogeneous Agents via Personalized Simulators
MIT(麻省理工学院)
我们考虑在严重数据稀缺的情况下,使用异构代理的离线强化学习(RL),即,在未知的、潜在的次优策略下,我们仅观察每个代理的单个历史轨迹。我们发现,考虑到这种有限的数据可用性,最先进的离线和基于模型的RL方法的性能显着降低,即使是通常认为的“解决”基准设置,如“MountainCar”和“CartPole”。为了应对这一挑战,我们提出了PerSim,一种基于模型的离线RL方法,它首先通过集体使用所有代理的历史轨迹来学习每个代理的个性化模拟器,然后再学习策略。我们这样做的假设,跨代理的过渡动态可以表示为一个潜在的功能与代理,状态和行动的潜在因素,随后,我们从理论上建立,这个功能是很好的近似由一个“低秩”分解可分离的代理,状态和行动的潜在功能。这种表示提出了一个简单的,正则化的神经网络架构,以有效地学习每个代理的过渡动态,即使是稀缺的离线数据。我们在几个基准环境和RL方法中进行了广泛的实验。从状态动态预测和最终奖励两个方面衡量,我们的方法不断改进,证实了我们的框架在利用有限的历史数据同时学习跨代理的个性化策略方面的有效性。
2021-11-10 cs.LG
D4RL: Datasets for Deep Data-Driven Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
离线强化学习(RL)设置(也称为全批RL),其中从静态数据集学习策略,这是令人信服的,因为进步使RL方法能够利用以前收集的大型数据集,就像大型数据集的兴起如何推动监督学习的结果一样。然而,现有的在线RL基准不是针对离线设置而定制的,并且现有的离线RL基准仅限于由部分训练的代理生成的数据,使得离线RL的进展难以测量。在这项工作中,我们介绍了专门为离线设置设计的基准,由与离线RL的真实应用相关的数据集的关键属性指导。以数据集收集为重点,此类属性的示例包括:通过手工设计的控制器和人类演示者生成的数据集,代理在同一环境中执行不同任务的多任务数据集,以及使用混合策略收集的数据集。通过超越简单的基准任务和部分训练的RL代理收集的数据,我们揭示了现有算法的重要和未被重视的缺陷。为了促进研究,我们发布了我们的基准任务和数据集,对现有算法进行了全面评估,评估协议和开源示例。这是社区识别现有离线RL方法中的缺点的共同起点,也是在这一新兴领域取得进展的协作路线。
2021-02-06 cs.LG stat.ML
Streetwise Agents: Empowering Offline RL Policies to Outsmart Exogenous Stochastic Disturbances in RTC
Microsoft(微软)
针对RTC中外生随机扰动导致离线RL策略失效的问题,提出基于分布外子空间实时表征的部署后策略塑造方法Streetwise,显著提升了带宽估计等任务的最终回报。
2024-11-11 cs.LG
Efficient Offline Policy Optimization with a Learned Model
Sea AI Lab(Sea人工智能实验室);National University of Singapore(新加坡国立大学)
MuZero Unplugged为从记录的数据中进行离线策略学习提供了一种很有前途的方法。它使用学习模型进行蒙特卡罗树搜索(MCTS),并利用重新分析算法纯粹从离线数据学习。为了获得良好的性能,MCTS需要精确的学习模型和大量的模拟,从而花费大量的计算时间。本文研究了MuZero Unplugged在离线RL设置下可能无法正常工作的几个假设,包括1)有限数据覆盖的学习; 2)从随机环境的离线数据中学习; 3)离线数据的参数化模型不正确; 4)计算预算低。我们建议使用正则化的一步向前看的方法来解决上述问题。我们没有使用昂贵的MCTS进行规划,而是使用学习的模型来构建基于一步推出的优势估计。策略改进的方向是最大化数据集正则化的估计优势。我们与BSuite环境进行了广泛的实证研究,以验证假设,然后在RL Unplugged Atari基准上运行我们的算法。实验结果表明,我们提出的方法实现了稳定的性能,即使是不准确的学习模型。在大规模Atari基准测试中,该方法的性能比MuZero Unplugged高出43%。最重要的是,它只使用了5.6%的挂钟时间(即,1小时)与MuZero不插电(即,17.8小时),以实现150%的IQM标准化分数与相同的硬件和软件堆栈。我们的实现在https://github.com/sail-sg/rosmo上开源。
2023-02-15 cs.LG
Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学)
离线强化学习(Offline Reinforcement Learning,RL)的目标是从不完美的离线数据中提取接近最优的策略,而不需要额外的环境交互。从不同的离线数据集中提取策略有可能通过使训练过程更安全,更快,更简化来扩大RL的适用范围。我们研究如何提高离线RL算法的性能,其对离线数据质量的鲁棒性,以及其泛化能力。为此,我们引入了基于离线模型的RL与自适应行为先验(MABE)。我们的算法是基于这样的发现,动力学模型,支持内领域泛化,和行为先验,支持跨领域泛化,是互补的。当结合在一起时,它们大大提高了离线RL策略的性能和泛化能力。在广泛研究的D4RL离线RL基准测试中,我们发现MABE与先前的无模型算法和基于模型的算法相比具有更高的平均性能。在需要跨领域泛化的实验中,我们发现MABE优于先前的方法。我们的网站是https://sites.google.com/berkeley.edu/mabe。
2021-06-18 cs.LG
Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning
Peking University(北京大学)
我们研究离线Meta强化学习,这是一种实用的强化学习范式,它从离线数据中学习以适应新任务。离线数据的分布由行为策略和任务共同决定。现有的离线Meta强化学习算法无法区分这些因素,使得任务表示对行为策略的变化不稳定。为了解决这个问题,我们提出了一个对比学习框架的任务表示,是强大的分布不匹配的行为政策在训练和测试。我们设计了一个双层编码器结构,使用互信息最大化来形式化任务表示学习,推导出一个对比学习目标,并介绍了几种方法来近似负对的真实分布。在多种离线Meta强化学习基准测试上的实验证明了该方法相对于现有方法的优势,特别是在推广到分布外行为策略方面。该代码可在https://github.com/PKU-AI-Edge/CORRO上获得。
2022-06-21 cs.LG
Prioritized Trajectory Replay: A Replay Memory for Data-driven Reinforcement Learning
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
针对离线强化学习中状态转移采样技术效果不稳定的问题,提出轨迹回放与优先轨迹回放机制,通过轨迹层面采样及优先级排序提升学习效率,在D4RL上验证了其对现有离线RL算法的性能提升作用。
2025-03-21 cs.AI cs.LG
A Benchmark Environment for Offline Reinforcement Learning in Racing Games
University of Florence(佛罗伦萨大学);SEED - Electronic Arts (EA)(SEED - 美国艺电公司)
该研究提出了基于Unity 3D开发的赛车游戏ORL基准环境OfflineMania,提供多规模多能力策略数据集,并为各类RL方法建立基准,推动ORL在游戏等场景的研究。
2024-07-12 cs.AI cs.LG
Functional Graphical Models: Structure Enables Offline Data-Driven Optimization
UC Berkeley(加州大学伯克利分校);Genentech(基因泰克)
本文提出函数图模型(FGMs),通过将高维优化问题分解为子问题实现样本高效的离线数据驱动优化,在数据覆盖不足时仍能获得近乎最优设计。
2024-10-17 cs.AI cs.LG
CUDC: A Curiosity-Driven Unsupervised Data Collection Method with Adaptive Temporal Distances for Offline Reinforcement Learning
Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Nanyang Technological University(南洋理工大学);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly(南洋理工大学-不列颠哥伦比亚大学活跃养老卓越研究中心);Centre for Frontier AI Research(前沿人工智能研究中心);Agency for Science, Technology and Research(新加坡科技研究局)
针对离线强化学习中数据收集受关注少、任务无关数据集收集难的问题,提出带自适应时间距离的好奇心驱动无监督数据收集方法CUDC,通过自适应可达性机制丰富特征、提升数据质量,在DeepMind控制套件任务中效率与性能优于现有方法。
2023-12-19 cs.AI cs.LG stat.ML
CLUE: Calibrated Latent Guidance for Offline Reinforcement Learning
Zhejiang University(浙江大学);Westlake University(西湖大学)
CLUE利用条件变分自编码器学习校准潜在空间,以专家数据驱动内在奖励,消除外在奖励需求,提升稀疏奖励离线RL性能、超越离线IL基线并发现多样技能。
2023-10-15 cs.LG
Offline Reinforcement Learning with Fisher Divergence Critic Regularization
New York University(纽约大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
离线强化学习(RL)的许多现代方法利用行为正则化,通常用测量策略与离线数据的偏差的惩罚来增强无模型演员评论算法。在这项工作中,我们提出了一种替代方法,鼓励学习的政策,以保持接近的数据,即参数化的批评日志行为的政策,产生的离线数据,加上一个状态动作值偏移项,可以使用神经网络学习。然后,行为正则化对应于偏移项上的适当正则化子。我们建议使用梯度惩罚正则化的偏移项,并证明其等价于Fisher发散正则化,建议连接到分数匹配和基于生成能量的模型文献。因此,我们将我们的算法称为Fisher-BRC(行为正则化批评)。在标准的离线RL基准测试中,Fisher-BRC实现了比现有最先进方法更高的性能和更快的收敛速度。
2021-03-14 cs.LG
TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning
Southwestern University of Finance and Economics(西南财经大学);Shanxi University(山西大学)
研究针对离线强化学习中轨迹级删除难评估的问题,提出TOUR基准测试,结合多种技术,通过实验表明常见删除基线有环境依赖隐私 - 效用行为,单一分数审计下结论不稳定,其取决于多种因素。
2026-07-24 cs.AI cs.LG
SPRINQL: Sub-optimal Demonstrations driven Offline Imitation Learning
Singapore Management Univerisity(新加坡管理大学)
本文提出基于逆向soft-Q学习的离线模仿学习方法SPRINQL,通过赋予专家演示更高权重、次优演示较低权重,将问题转化为Q函数空间上的凸优化,有效利用次优演示并避免过拟合,在离线IL基准上达到SOTA性能。
2024-10-10 cs.AI cs.LG
OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Google Research(谷歌研究院)
强化学习(RL)在各种在线设置中取得了令人印象深刻的性能,其中代理查询环境的转换和奖励的能力实际上是无限的。然而,在许多实际应用中,情况正好相反:代理可以访问大量无定向的离线体验数据,而对在线环境的访问则受到严重限制。在这项工作中,我们专注于这种离线设置。我们的主要观点是,当呈现由各种行为组成的离线数据时,利用这些数据的有效方法是在使用这些原语进行下游任务学习之前提取连续空间的重复和时间扩展的原语行为。以这种方式提取的原语有两个目的:它们描述了数据支持的行为与不支持的行为,使它们有助于避免离线RL中的分布偏移;它们提供了一定程度的时间抽象,这降低了有效范围,从而在理论上产生更好的学习,并在实践中改进了离线RL。除了有利于离线策略优化,我们还表明,以这种方式执行离线原始学习也可以用于改善Few-Shot模仿学习以及在线RL中各种基准领域的探索和转移。可视化可在https://sites.google.com/view/opal-iclr上获得
2021-05-04 cs.LG
Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target
针对推理后训练中离线演示与策略 rollout 目标分离的问题,提出 CBPO 方法统一多数据源,在数学推理基准上实现领先性能,Qwen3-1.7B 版本较 SFT DAPO 有显著提升。
2026-11-20 cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文提出OASIS,利用条件扩散模型塑形离线数据分布,以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题,在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Behavior Proximal Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学);Beijing Jiaotong University(北京交通大学);Westlake Institute for Advanced Study(西湖高等研究院)
离线强化学习(RL)是一个具有挑战性的设置,现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此,提出了各种额外的增强以保持学习的策略接近离线数据集(或行为策略)。在这项工作中,从离线单调策略改进的分析,我们得到了一个令人惊讶的发现,一些在线的策略算法自然能够解决离线RL。具体来说,这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上,我们提出了行为近端策略优化(BPPO),它解决了离线RL没有任何额外的约束或正则化相比,PPO。在D4 RL基准测试上的大量实验表明,这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University(南京大学)
本文提出算法依赖型可学习性,设计轨迹学习框架,提出UGTL方法,在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25,验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学)
实践中的许多强化学习(RL)问题都是离线的,纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的,这需要量化与不同行为相关的风险。在在线设置中,分布式RL算法通过学习收益分布(即,累积回报)而不是预期回报;除了量化风险之外,他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评(CODAC),一个离线RL算法,适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明,CODAC学习保守的回报分布-特别是,对于有限的MDPs,CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中,在两个具有挑战性的机器人导航任务,CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外,在预期和风险敏感性能方面,CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习,提升样本效率和探索能力,实现高效且可扩展的学习。
2025-12-22 cs.LG
Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL
Department of Computer Science(计算机科学系);Florida State University(佛罗里达州立大学)
本文提出行为自适应Q学习(BAQ),通过离线数据构建隐式行为模型并在在线微调中提供行为一致性约束,随在线经验积累逐步放宽约束,从而稳定离线到在线强化学习的过渡并提升最终性能。
2025-11-05 cs.LG
A Real-World Quadrupedal Locomotion Benchmark for Offline Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
本文构建真实四足运动 ORL 基准,利用 MPC 采集的数据集评测 11 种算法,表明最优 ORL 可媲美甚至超越无模型 RL,但稳定性与快速适应仍不及 MPC。
2023-09-13 cs.LG cs.RO
D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
针对现有离线RL基准性能饱和、难反映真实任务特性的问题,提出D5RL基准,基于真实机器人模型构建多源数据的操作与运动任务,支持离线RL及在线微调评估,助力相关算法研究。
2024-08-15 cs.LG cs.RO
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg,以缓解离线强化学习在小数据集上的过拟合问题,在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning
AGH University of Krakow(克拉科夫AGH大学);American University(美国美国大学)
本文提出TSN-Affinity方法,通过基于TinySubNetworks和Decision Transformer的策略,实现任务特定参数化和受控知识共享,提升连续离线强化学习中的多任务性能。
2026-04-28 cs.AI cs.LG