Diffusion Policies for Risk-Averse Behavior Modeling in Offline Reinforcement Learning
Data 61, CSIRO, Australia（数据61，CSIRO，澳大利亚）；School of Computing, Macquarie University, Australia（计算学院，麦考瑞大学，澳大利亚）；Adobe Research, USA（Adobe研究，美国）；School of Computer Science and Engineering, University of New South Wales, Australia（计算机科学与工程学院，新南威尔士大学，澳大利亚）
本文提出一种不确定性感知的分布式离线强化学习算法，利用扩散策略同时建模认知不确定性与环境随机性，学习风险规避策略并刻画奖励完整分布，在风险敏感与风险中性基准上表现优越。
2025-07-02 cs.LG
Continual Offline Reinforcement Learning via Diffusion-based Dual Generative Replay
Nanjing University（南京大学）；Chinese University of Hong Kong（香港中文大学）
本研究提出双生成回放框架，结合扩散模型与行为克隆，解决持续离线强化学习中的遗忘与迁移问题，实现高保真回放并提升性能。
2024-04-18 cs.AI cs.LG
DiffPoGAN: Diffusion Policies with Generative Adversarial Networks for Offline Reinforcement Learning
Hubei University（湖北大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Chinese Academy of Sciences（中国科学院）
DiffPoGAN将扩散模型作为GAN的策略生成器，结合MLE正则化和判别器输出约束，以缓解离线强化学习中的外推误差并改进策略，在D4RL基准上取得领先效果。
2024-06-13 cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
在高风险应用中训练强化学习（RL）代理可能过于禁止，因为与探索相关的风险。因此，代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能，我们专注于优化风险规避标准，即CVaR。特别是，我们提出了离线规避风险的演员批评（O-RAAC），一个无模型的RL算法，能够在完全离线的设置学习规避风险的政策。我们表明，O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外，考虑风险厌恶的标准，保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明，在存在自然分布的变化，O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Sun Yat-sen University（中山大学）；Lehigh University（里海大学）；College of Computing and Data Science, NTU（南洋理工大学计算与数据科学学院）
针对持续离线强化学习中智能体的可塑性-稳定性权衡挑战，提出基于经验回放的Continual Diffuser模型，构建含90个多领域任务的离线基准，实验证明其性能优于现有扩散方法及代表性基线。
2025-01-15 cs.AI cs.LG
Learning Control Policies for Variable Objectives from Offline Data
Siemens AG, Technology（西门子股份公司技术部门）
本文提出可变目标策略（VOP），一种基于模型的策略搜索扩展方法，通过将目标作为输入使策略在运行时无需重新训练或收集数据即可调整行为或重新平衡优化目标。
2023-08-11 cs.LG
Streetwise Agents: Empowering Offline RL Policies to Outsmart Exogenous Stochastic Disturbances in RTC
Microsoft（微软）
针对RTC中外生随机扰动导致离线RL策略失效的问题，提出基于分布外子空间实时表征的部署后策略塑造方法Streetwise，显著提升了带宽估计等任务的最终回报。
2024-11-11 cs.LG
Fat-to-Thin Policy Optimization: Offline RL with Sparse Policies
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
针对离线强化学习中稀疏策略难以优化的问题，提出Fat-to-Thin策略优化算法，利用肥尾提议策略向稀疏策略注入知识，在安全关键模拟和MuJoCo基准上验证有效。
2025-01-24 cs.LG
Continual Model-based Reinforcement Learning for Data Efficient Wireless Network Optimisation
Huawei Ireland Research Center（华为爱尔兰研究中心）
本文针对新无线网络站点部署小区级参数优化策略周期过长的问题，提出基于持续强化学习的吞吐量优化方法，在保持优化增益的同时将端到端部署周期缩短两倍。
2024-04-30 cs.LG
Diffusion Policies with Offline and Inverse Reinforcement Learning for Promoting Physical Activity in Older Adults Using Wearable Sensors
Department of Statistics and Data Science, University of Central Florida（统计与数据科学系，中央佛罗里达大学）；College of Nursing, University of Central Florida（护理学院，中央佛罗里达大学）；School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）
针对医疗健康场景下离线强化学习奖励定义难、策略对齐难等问题，提出融合科尔莫戈罗夫-阿诺德网络与扩散策略的KANDI方法，在老年人活动促进临床数据及D4RL基准上均取得更优效果。
2025-09-22 cs.LG
TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning
AGH University of Krakow（克拉科夫AGH大学）；American University（美国美国大学）
本文提出TSN-Affinity方法，通过基于TinySubNetworks和Decision Transformer的策略，实现任务特定参数化和受控知识共享，提升连续离线强化学习中的多任务性能。
2026-04-28 cs.AI cs.LG
Continual Task Learning through Adaptive Policy Self-Composition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Jilin University（吉林大学）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
针对离线强化学习中的持续学习挑战，提出基于结构的持续transformer模型CompoFormer，通过元策略网络自适应组合先前策略，有效缓解灾难性遗忘，在可塑性与稳定性间取得良好平衡。
2024-11-18 cs.AI cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
本文提出轨迹编码增强（TEA）方法，通过整合序列编码器提取的动态潜在表示来扩展状态空间，有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；University of Washington（华盛顿大学）
离线强化学习（Offline Reinforcement Learning，RL）的目标是从不完美的离线数据中提取接近最优的策略，而不需要额外的环境交互。从不同的离线数据集中提取策略有可能通过使训练过程更安全，更快，更简化来扩大RL的适用范围。我们研究如何提高离线RL算法的性能，其对离线数据质量的鲁棒性，以及其泛化能力。为此，我们引入了基于离线模型的RL与自适应行为先验（MABE）。我们的算法是基于这样的发现，动力学模型，支持内领域泛化，和行为先验，支持跨领域泛化，是互补的。当结合在一起时，它们大大提高了离线RL策略的性能和泛化能力。在广泛研究的D4RL离线RL基准测试中，我们发现MABE与先前的无模型算法和基于模型的算法相比具有更高的平均性能。在需要跨领域泛化的实验中，我们发现MABE优于先前的方法。我们的网站是https://sites.google.com/berkeley.edu/mabe。
2021-06-18 cs.LG
Aligning Flow Map Policies with Optimal Q-Guidance
Imperial College London（帝国理工学院伦敦分校）；Mila
本文提出流映射策略，通过学习任意大小的跳跃提升动作生成速度，并引入FMQ和QGBS方法，在12个机器人任务中实现最优性能。
2026-05-12 cs.LG
Solving Continual Offline Reinforcement Learning with Decision Transformer
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文针对持续离线强化学习中稳定性与可塑性难以平衡的问题，提出基于决策Transformer的MH-DT和LoRA-DT方法，通过多头知识存储与低秩适应缓解遗忘，在多个基准上优于现有方法。
2024-04-07 cs.AI cs.LG
Offline RL Policies Should be Trained to be Adaptive
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
离线RL算法必须考虑这样一个事实，即它们提供的数据集可能会使环境的许多方面未知。应对这一挑战的最常见方法是采用悲观或保守的方法，避免与训练数据集中的行为太不相似的行为。然而，完全依赖保守主义也有缺点：绩效对保守主义的确切程度很敏感，保守目标可以恢复高度次优的政策。在这项工作中，我们建议离线RL方法在存在不确定性的情况下应该是自适应的。我们表明，在贝叶斯意义上的离线RL中采取最佳行动涉及解决隐式POMDP。因此，离线RL的最佳策略必须是自适应的，这不仅取决于当前状态，而是所有的过渡到目前为止看到evaluation.We提出了一个无模型的算法近似这种最佳的自适应策略，并证明了学习这种自适应策略的离线RL基准的有效性。
2022-07-05 cs.AI cs.LG stat.ML
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University（康奈尔大学）
我们研究了自然随机策略的有效离策略评估，这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价，其中大多数工作考虑明确规定的政策的评价。至关重要的是，具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题，导致基于当前实践的政策，并提高政策在实践中的可实施性。与经典的情况下，一个预先指定的评估政策，评估自然随机政策时，效率界，衡量最佳可实现的估计误差，膨胀，因为评估政策本身是未知的。在本文中，我们推导出两种主要类型的自然随机政策：倾斜政策和修改的治疗政策的效率界。然后，我们提出了有效的非参数估计，在非常宽松的条件下达到效率界。这些也享有（部分）双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
QAMM: Adjoint MeanFlow Matching for Few-Step Offline Reinforcement Learning
Fudan University（复旦大学）；ShanghaiTech University（上海科技大学）；Shanghai Innovation Institute（上海创新研究院）
QAMM将评论家伴随信号转化为对MeanFlow平均速度的监督，实现少步离线强化学习，在HumanoidMaze任务上两步生成动作并达到竞争性能。
2026-09-29 cs.LG
When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning?
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
离线强化学习（RL）算法可以利用先前收集的经验获得有效的策略，而无需任何在线交互。人们普遍认为，离线RL即使从高度次优的数据中也能够提取出良好的策略，在这种情况下，模仿学习找到的次优解决方案并没有比生成数据集的演示器更好。然而，从业者的另一个常见用例是从类似于演示的数据中学习。在这种情况下，可以选择应用离线RL，但也可以使用行为克隆（BC）算法，该算法通过监督学习模拟数据集的子集。因此，很自然地会问：即使BC是一种自然的选择，离线RL方法何时可以在同等数量的专家数据下优于BC？为了回答这个问题，我们描述了允许离线RL方法比BC方法执行得更好的环境的特性，即使只提供专家数据。此外，我们表明，在足够多的噪声次优数据上训练的策略可以获得比具有专家数据的BC算法更好的性能，特别是在长期问题上。我们验证了我们的理论结果，通过广泛的实验诊断和高维域，包括机器人操作，迷宫导航，雅达利游戏，各种数据分布。我们观察到，在特定但常见的条件下，如稀疏奖励或嘈杂的数据源，现代离线RL方法可以显着优于BC。
2022-04-12 cs.LG
Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning
Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
本文提出一种基于博弈论和混合策略的离线值函数强化学习方法，用于解决营销预算分配问题，该方法只需存储恒定数量策略即可收敛至最优，并在大规模真实营销活动中验证了其优越性。
2023-09-06 cs.LG
A Workflow for Offline Model-Free Robotic Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
离线强化学习（RL）通过仅利用先前的经验来学习控制策略，而无需任何在线交互。这可以让机器人从大型和多样化的数据集中获得可推广的技能，而无需任何昂贵或不安全的在线数据汇集。尽管最近离线RL的算法取得了进展，但将这些方法应用于现实世界的问题已被证明具有挑战性。虽然离线RL方法可以从先前的数据中学习，但没有明确和充分理解的过程来做出各种设计选择，从模型架构到算法超参数，而不实际在线评估学习的策略。在本文中，我们的目标是开发一个实用的工作流程，使用离线RL类似于相对较好理解的工作流程的监督学习问题。为此，我们设计了一组可以在离线训练过程中跟踪的指标和条件，并可以告知从业者应该如何调整算法和模型架构以提高最终性能。我们的工作流程来自于对保守的离线RL算法的行为和监督学习中的交叉验证的概念性理解。我们证明了这种工作流程在没有任何在线调整的情况下产生有效策略的有效性，无论是在几个模拟机器人学习场景中，还是在两个不同的真实机器人上执行三项任务，重点是学习操作技能，使用稀疏的二进制奖励观察原始图像。演示视频和其他结果可以在sites.google.com/view/offline-rl-workflow上找到
2021-09-23 cs.LG
Optimal Mixture Weights for Off-Policy Evaluation with Multiple Behavior Policies
Tsinghua University（清华大学）
离线策略评估是强化学习的一个关键组成部分，它利用从行为策略中收集的离线数据来评估目标策略。它是迈向安全强化学习的关键一步，已被用于广告、推荐系统和许多其他应用。在这些应用程序中，有时会从多个行为策略中收集离线数据。以前的作品认为数据从不同的行为政策平等。然而，一些行为策略更好地产生良好的估计，而其他人则不是。本文首先讨论了如何正确地混合不同行为策略产生的估计量。当所有子估计量均无偏或渐近无偏时，我们提出了三种减小混合估计量方差的方法。此外，在模拟推荐系统上的实验表明，我们的方法是有效的，在减少估计的均方误差。
2020-11-29 cs.LG
ARMOR: A Model-based Framework for Improving Arbitrary Baseline Policies with Offline Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们提出了一个新的基于模型的离线强化学习框架，称为离线强化学习的对抗模型（ARMOR），它可以鲁棒地学习策略，以改进任意基线策略，而不管数据覆盖率如何。基于相对悲观的概念，ARMOR被设计为在面对不确定性时，最坏情况下的相对性能进行优化。在理论上，我们证明了ARMOR学习策略在任何可接受的超参数下都不会降低基线策略的性能，并且当超参数调得很好且基线策略得到数据支持时，可以学习在数据覆盖范围内与最佳策略竞争.这种强大的策略改进属性使ARMOR特别适合构建真实世界的学习系统，因为在实践中，在考虑学习带来的任何好处之前，确保性能不下降是必不可少的。
2022-11-08 cs.AI cs.LG
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences；Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略（GTP），通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹，并引入两种理论自适应方法，在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments
本研究提出利用离线策略评估与暖启动模拟相结合的方法，基于历史A/B测试数据评估自适应策略的部署价值，并验证其在异质性存在时优于固定分配。研究通过合成实验和开放基准验证了方法的有效性，为自适应实验的决策提供了实用工具。
2026-09-28 cs.LG
Learning from Good Trajectories in Offline Multi-Agent Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Data Science, Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）
离线多智能体强化学习（MARL）旨在从预先收集的数据集中学习有效的多智能体策略，这是将多智能体系统部署到现实世界应用中的重要一步。然而，在实践中，产生多智能体联合轨迹的每个单独的行为策略通常具有不同的执行水平。例如，在一个实施例中，一个代理是随机策略，而其它代理是中等策略。在具有全局奖励的合作博弈中，通过现有离线MARL学习的一个智能体经常继承这种随机策略，从而危及整个团队的性能。在本文中，我们调查离线MARL明确考虑代理明智的轨迹的多样性，并提出了一种新的框架，称为共享个人轨迹（SIT）来解决这个问题。具体而言，基于注意力的奖励分解网络通过可微键值记忆机制以离线方式将信用分配给每个代理。这些分解的信用然后被用来重建联合离线数据集到优先经验重放与个人的轨迹，此后代理可以共享他们的好轨迹和保守的训练他们的政策与图注意力网络（GAT）为基础的评论家。我们评估我们的方法在两个离散控制（即，星际争霸II和多智能体粒子环境）和连续控制（即多智能体mujoco）。结果表明，我们的方法在复杂和混合的离线多智能体数据集上取得了显着更好的结果，特别是当个体轨迹之间的数据质量差异很大时。
2023-03-01 cs.LG
Bayesian Design Principles for Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Sciences, Tsinghua University（清华大学交叉信息研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fuxi AI Lab, Netease, Inc.（网易伏羲人工智能实验室）；Department of Automation, Tsinghua University（清华大学自动化系）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文解决离线到在线强化学习微调中悲观与乐观策略的困境，提出基于贝叶斯设计原则的概率匹配方法，使智能体在避免性能突降的同时保证找到最优策略，并在多个基准上表现优异。
2024-05-31 cs.LG
Latent-Variable Advantage-Weighted Policy Optimization for Offline RL
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society, CUHK Shenzhen（香港中文大学（深圳）深圳市人工智能与机器人研究院）
离线强化学习方法有望从预先收集的数据集中学习策略，而无需查询环境中的新转换。这种设置特别适合于连续控制机器人应用，对于这些应用，基于试错法的在线数据汇集成本高且可能不安全。在实践中，离线数据集通常是异构的，即，在各种情况下收集的数据，例如来自多个人类演示者或来自具有不同目的的策略的数据。不幸的是，这样的数据集可能会加剧数据底层的行为策略和要学习的最优策略之间的分布偏移，导致性能不佳。为了应对这一挑战，我们建议利用潜在变量的政策，可以代表更广泛的一类政策分布，从而更好地遵守训练数据分布，同时最大限度地提高回报通过政策的潜在变量。正如我们在一系列模拟运动，导航和操作任务上的经验表明，我们的方法被称为潜在变量加权策略优化（LAPO），在异构数据集上将下一个性能最佳的离线强化学习方法的平均性能提高了49%，在具有窄分布和有偏分布的数据集上提高了8%。
2022-03-16 cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Preferred-Action-Optimized Diffusion Policies for Offline Reinforcement Learning
JD Explore Academy（京东探索研究院）；Tongji University（同济大学）；Beijing Institute of Technology（北京理工大学）
针对离线RL中扩散策略受限于加权回归的问题，提出偏好动作优化扩散策略，利用critic函数生成偏好动作并结合抗噪偏好优化实现策略改进，在稀疏奖励任务上表现优异。
2024-05-29 cs.AI cs.LG
Beyond State-Wise Mirror Descent: Offline Policy Optimization with Parametric Policies
Nanjing University（南京大学）；UIUC（伊利诺伊大学）
本文研究了在一般函数逼近下离线强化学习的理论方面，扩展了理论保证到大或连续动作空间上的参数策略类，并提出了基于上下文耦合的新型分析和算法见解。
2026-10-12 cs.AI cs.LG
Using Curiosity for an Even Representation of Tasks in Continual Offline Reinforcement Learning
University of Maryland College Park（马里兰大学帕克分校）；University of Granada（格拉纳达大学）；Granada AI Lab（格拉纳达人工智能实验室）；DaSCI Andalusian Institute in Data Science and Computational Intelligence（安达卢西亚数据科学与计算智能研究所）；TECNALIA（TECNALIA 技术研究院）；Basque Research & Technology Alliance (BRTA)（巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
针对离线多任务持续强化学习中任务无标记、接触不均导致的灾难性遗忘问题，提出两种基于好奇心的回放缓冲区，实验证明其在多数场景下抗遗忘能力优于现有方法。
2023-12-05 cs.AI cs.LG
Unleashing Flow Policies with Distributional Critics
Fudan University（复旦大学）；INFLY TECH (Shanghai) Co., Ltd（INFLY TECH（上海）有限公司）
本文提出 Distributional Flow Critic（DFC），用流匹配学习完整状态-动作回报分布，为流策略提供更稳定的分布式 Bellman 目标，并在 D4RL 与 OGBench 上取得优异表现。
2025-09-27 cs.LG
General Flexible $f$-divergence for Challenging Offline RL Datasets with Low Stochasticity and Diverse Behavior Policies
North Carolina State University（北卡罗来纳州立大学）
本文提出通用灵活的f-分歧度方法，用于解决低随机性和多样化行为策略的离线RL数据集问题，通过平衡RL目标与约束，提升算法性能。
2026-02-11 cs.AI cs.LG
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning，结合达性启发的安全价值函数和高效的一步流策略，通过自一致性Bellman递归学习安全价值，行为克隆训练流策略并转化为奖励最大化安全动作选择器，减少部署时的拒绝采样，提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Lever: Inference-Time Policy Reuse under Support Constraints
Anhalt University of Applied Sciences（安哈尔特应用科学大学）；CNRS, Univ. Grenoble Alpes（法国格勒诺布尔阿尔卑斯大学-CNRS）
本文研究了在支持受限情况下，如何通过推理时间策略重用构建高质量策略，提出Lever框架，利用行为嵌入和离线Q值组合实现高效策略生成。
2026-04-28 cs.LG
Exploring Offline Policy Evaluation for the Continuous-Armed Bandit Problem
Tilburg University（蒂尔堡大学）；Aalto University（阿尔托大学）
（上下文）多臂强盗问题（MAB）提供了一个形式化的顺序决策，有许多应用。然而，有效地评估MAB政策是具有挑战性的，我们要么诉诸模拟，其中固有地包括有争议的假设，或者我们诉诸昂贵的现场试验。最近提出了一种离线评估方法，该方法基于经验数据，从而放松了假设，并可用于并行评估多个竞争政策。然而，这种方法并不直接适用于连续武装（CAB）问题;这是一种经常遇到的MAB问题，其中动作集是连续的而不是离散的。我们提出并评估现有方法的扩展，使其可用于评估CAB政策。我们的经验表明，我们的方法提供了一个相对一致的排名政策。此外，我们详细介绍了我们的方法可以用来选择政策在现实生活中的CAB问题。
2019-08-21 cs.LG stat.ML
Efficient Diffusion Policies for Offline Reinforcement Learning
Sea AI Lab
本文提出高效扩散策略EDP，通过在训练时从被破坏动作近似构造动作来避免采样链，解决Diffusion-QL计算低效和与最大似然RL算法不兼容的问题，在D4RL上大幅缩短训练时间并取得新的最先进性能。
2023-10-26 cs.AI cs.LG
Enhancing Offline Reinforcement Learning with Curriculum Learning-Based Trajectory Valuation
L3S Research Center（L3S研究中心）；Technical University of Berlin（柏林工业大学）；Delft University of Technology（代尔夫特理工大学）
针对混合数据集场景中源-目标域不匹配问题，提出过渡评分（TS）和基于课程学习的轨迹评估（CLTV）方法，通过识别优先高质量轨迹，增强离线RL策略的性能与可迁移性。
2025-04-13 cs.LG
Hyperparameter Selection for Offline Reinforcement Learning
DeepMind；Google（谷歌）
离线强化学习（RL纯粹来自日志数据）是在现实世界场景中部署RL技术的重要途径。然而，现有的超参数选择方法离线RL打破了离线的假设，通过评估对应于每个超参数设置的环境中的政策。这种在线执行通常是不可行的，因此破坏了离线RL的主要目标。因此，在这项工作中，我们专注于\textit{offline hyperparameter selection}，即从一组使用不同超参数训练的许多策略中选择最佳策略的方法，只给出记录的数据。通过大规模的实证评估，我们发现：1）离线RL算法对超参数选择不鲁棒，2）诸如离线RL算法和估计Q值的方法等因素可能对超参数选择产生很大影响，以及3）当我们仔细控制这些因素时，我们可以可靠地跨超参数选择对策略进行排名，并因此选择接近该组中的最佳策略的策略。总的来说，我们的研究结果提出了一个乐观的观点，即离线超参数选择是触手可及的，即使在具有像素观测，高维动作空间和长视野的挑战性任务中。
2020-07-17 cs.AI cs.LG stat.ML
Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings
University of Michigan（密歇根大学）
强化学习（RL）可用于学习治疗策略并辅助医疗保健决策。然而，考虑到需要在复杂的状态/动作空间上进行推广，函数逼近器（例如，深度神经网络）需要模型选择以减少过拟合并提高部署时的策略性能。然而，用于模型选择的标准验证管道需要在实际环境中运行学习的策略，这在医疗保健环境中通常是不可行的。在这项工作中，我们研究了离线RL的模型选择管道，该管道依赖于离线策略评估（OPE）作为验证性能的代理。我们对流行的OPE方法进行了深入分析，突出了用于对一组候选策略进行排名时的额外超参数和计算要求（辅助模型的拟合/推理）。我们比较了不同OPE方法的效用，作为学习治疗脓毒症患者的模型选择管道的一部分。在我们考虑的所有OPE方法中，拟合Q评估（Fitted Q Evaluation，简称QFE）始终导致最佳验证排名，但计算成本很高。为了平衡排名准确性和计算效率之间的权衡，我们提出了一个简单的两阶段方法，通过避免潜在的不必要的计算来加速模型选择。我们的工作可以作为离线RL模型选择的实用指南，并可以帮助RL从业者使用真实世界的数据集选择策略。为了便于重复性和将来的扩展，本文附带的代码可在https://github.com/MLD3/OfflineRL_ModelSelection上在线获得。
2021-07-23 cs.LG
Flow Actor-Critic for Offline Reinforcement Learning
KAIST（韩国科学技术院）；UNIST（全南大学）
本文提出流Actor-Critic方法，通过结合流模型提升离线强化学习中策略的表达能力，以应对复杂多模式数据分布，实现新的性能突破。
2026-02-20 cs.AI cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University（弗吉尼亚共同体大学）；University of Virginia（弗吉尼亚大学）
研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Optimization Solution Functions as Deterministic Policies for Offline Reinforcement Learning
Virginia Tech（弗吉尼亚理工大学）
本文提出隐式演员-评论家（iAC）框架，利用优化解函数作为确定性策略，通过指数衰减敏感性保证策略对次优参数的鲁棒性，在真实应用中显著优于SOTA离线RL方法。
2024-08-27 cs.LG cs.SY eess.SY
OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）
OSIL通过非偏好轨迹推断安全策略，从离线演示中学习安全且奖励最大化的策略，优于基线方法。
2026-02-11 cs.AI cs.LG stat.ML
Permutation Equivariant Model-based Offline Reinforcement Learning for Auto-bidding
Alibaba Group（阿里巴巴集团）
本文提出PE-MORL算法，通过排列等变模型和悲观Q学习弥合模拟器与现实差距，在真实数据上扩展状态覆盖，超越现有自动出价方法。
2025-06-22 cs.AI cs.LG
Language-Conditioned Offline RL for Multi-Robot Navigation
University of Cambridge（剑桥大学）
本文提出一种基于预训练LLM嵌入和离线强化学习的多机器人导航策略，仅需20分钟数据即可在真实机器人上实现低延迟控制和零样本泛化。
2024-07-29 cs.AI cs.LG cs.RO
Action-Free Offline-to-Online RL via Discretised State Policies
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出无需动作的离线到在线强化学习方法，通过离散化状态策略提升高维问题的收敛速度和渐近性能。
2026-01-31 cs.AI cs.LG stat.ML
Curriculum Offline Imitation Learning
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
离线强化学习（RL）任务要求智能体从预先收集的数据集中学习，而不需要与环境进行进一步的交互。尽管有可能超越行为策略，但基于RL的方法通常是不切实际的，因为训练不稳定性和自举外推误差，这总是需要通过在线评估进行仔细的超参数调整。相比之下，离线模仿学习（IL）没有这样的问题，因为它直接学习策略而不通过自举估计价值函数。然而，IL通常受限于行为策略的能力，并且倾向于从由策略混合收集的数据集中学习平庸的行为。在本文中，我们的目标是利用IL，但减轻这样的缺点。观察到行为克隆是能够模仿邻居的政策与更少的数据，我们提出了\textit{Curriculum Offline Imitation Learning (COIL)}，它利用了一个经验挑选策略，模仿从适应性的邻居的政策，具有较高的回报，并改善了目前的政策沿课程阶段。在连续控制基准测试中，我们将COIL与基于模仿和基于RL的方法进行了比较，表明它不仅避免了在混合数据集上学习平庸的行为，而且甚至与最先进的离线RL方法竞争。
2022-01-12 cs.AI cs.LG
Offline Hierarchical Reinforcement Learning via Inverse Optimization
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
针对离线数据中高层动作不可观测且策略结构可能不一致的问题，本文提出 OHIO 框架，通过逆优化恢复隐式高层动作以构建可训练数据集，并在机器人与网络优化任务中验证其性能与鲁棒性。
2025-03-18 cs.LG cs.SY eess.SY
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
