Policy Expansion for Bridging Offline-to-Online Reinforcement Learning
Horizon Robotics
本文提出PEX策略扩展框架，通过保留离线策略并新增可学习策略进行自适应组合，缓解离线到在线强化学习微调初期的策略退化问题。
2025-08-28 cs.AI
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory（阿贡国家实验室）
我们已经开发了一个模型，在线连续或终身强化学习（RL）的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练，使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移，其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出利用预收集的被动记忆来改进在线强化学习，证明了其遗憾值接近极小极大最优，并表明被动记忆质量决定遗憾值的次优程度，且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Online inductive learning from answer sets for efficient reinforcement learning exploration
University of Verona（维罗纳大学）
该研究提出将归纳逻辑编程与强化学习结合的方法，通过在线学习回答集程序规则引导智能体探索，在吃豆人场景下提升了Q-learning的折扣回报且不增加计算耗时，同时具备可解释性。
2025-01-13 cs.AI
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Washington State University（华盛顿州立大学）
本文提出了一个在线迁移框架来捕捉代理之间的交互，并表明，目前的迁移学习强化学习是一个特殊的情况下，在线迁移。此外，本文将现有的代理-教学-代理方法重新定性为在线传输，并从三种方式分析了一种这样的教学方法。首先，证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次，证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三，通过教学，我们证明了渐近性能不会受到损害。此外，所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University（中南大学）
针对运营车队无法探索及模拟器与目标动态差异问题，提出完成度感知的跨保真度离线到在线强化学习方法，用于多线路公交驻站控制，解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Improved Training Mechanism for Reinforcement Learning via Online Model Selection
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所）
本文提出通过在线模型选择改进强化学习训练，提升效率和性能，探讨了资源分配、非平稳动态适应及训练稳定性等理论问题，并通过实验验证。
2025-12-01 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Fast deep reinforcement learning using online adjustments from the past
DeepMind（深度思维）
我们提出了短暂值调整（EVA）：一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值，其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法，将情景记忆结构结合到强化学习代理中：基于槽的存储，基于内容的检索和基于记忆的规划。我们表明，EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
What Matters for Simulation to Online Reinforcement Learning on Real Robots
ETH Zurich（苏黎世联邦理工学院）；Google DeepMind（谷歌DeepMind）
本研究探讨了在真实机器人上实现稳定在线强化学习的关键设计选择，发现某些默认设置可能有害，而稳健的设计选择能提高学习稳定性。
2026-07-24 cs.AI cs.RO
Faster Deep Reinforcement Learning with Slower Online Network
Amazon Web Services（亚马逊云科技）；Brown University（布朗大学）；Seoul National University（首尔国立大学）
本文提出通过让在线网络靠近目标网络的更新机制，增强 DQN 和 Rainbow 对噪声更新的鲁棒性，并在 Atari 基准上取得显著性能提升。
2023-04-17 cs.AI cs.LG
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University（清华大学）
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题，提出无评判者预训练范式，兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中，我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题，并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外，我们进行实验，基于网格的机器人导航域，以证明其效率和鲁棒性，通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Generative Inverse Deep Reinforcement Learning for Online Recommendation
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；Data61, CSIRO（联邦科学与工业研究组织Data61研究院）
深度强化学习使智能体能够通过与环境的动态交互来捕获用户的兴趣。它引起了人们对推荐研究的极大兴趣。深度强化学习使用奖励函数来学习用户的兴趣并控制学习过程。然而，大多数奖励函数都是手动设计的;它们要么不切实际，要么不精确，以反映推荐问题的高多样性，维度和非线性特性。这使得代理很难学习最佳策略来生成最满意的建议。为了解决上述问题，我们提出了一种新的生成逆强化学习方法，即InvRec，它自动提取用户的行为的奖励功能，在线推荐。我们在一个在线平台VirtualTB上进行了实验，并与几种最先进的方法进行了比较，以证明我们所提出的方法的可行性和有效性。
2020-11-04 cs.AI cs.IR
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
强化学习（RL）系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构，用于从嘈杂的高维观测中近似非线性函数。然而，流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的：例如，光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构，有效地发现有用的非线性功能。该算法是在一个空间域与高维，随机观测进行评估。该算法优于非自适应基线架构，并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题，其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Effective Warm Start for the Online Actor-Critic Reinforcement Learning based mHealth Intervention
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在线强化学习（RL）在个性化移动健康（mHealth）干预中越来越受欢迎。它能够根据用户的持续状态和不断变化的需求个性化干预的类型和剂量。然而，在在线学习的开始，通常有太少的样本，以支持RL更新，这导致性能不佳。延迟良好的性能的在线学习算法可以是特别有害的mHealth，用户往往很快脱离mHealth应用程序。为了解决这个问题，我们提出了一个新的在线强化学习方法，专注于一个有效的热启动。其主要思想是充分利用以前研究中积累的数据和获得的决策规则。因此，在在线学习开始时，我们可以大大丰富的数据量在我们的方法。这样的案例加速了新用户的在线学习过程，不仅在在线学习的开始阶段，而且在整个在线学习过程中都取得了良好的表现。此外，我们使用在以前的研究中取得的决策规则初始化的参数在我们的在线强化学习模型的新用户。它为所提出的在线RL算法提供了一个良好的初始化。实验结果表明，与现有的方法相比，该方法取得了很好的效果。
2017-05-21 cs.AI cs.LG
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University（武汉大学）
本文提出VARL框架，利用视觉-语言模型为在线强化学习智能体提供行动建议，在保证最优性和收敛性的同时提升样本效率，尤其在稀疏奖励任务中表现显著，且计算开销低。
2025-09-25 cs.AI cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）
研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach
University of Toronto（多伦多大学）
在广泛应用的在线匹配问题的挑战在于，使不可撤销的分配，而未来的输入是不确定的。大多数基于理论的政策本质上都是短视或贪婪的。在匹配过程定期重复的实际应用程序中，可以利用底层数据分布来更好地做出决策。我们提出了一个端到端的强化学习框架，用于基于历史数据的试错来获得更好的匹配策略。我们设计了一组神经网络架构，设计功能表示，并经验评估他们在两个在线匹配问题：边加权在线二分匹配和在线子模块二分匹配。我们表明，大多数学习方法在四个合成和真实世界的数据集上的表现始终优于经典的基线算法。平均而言，我们提出的模型在各种合成和真实世界的数据集上将匹配质量提高了3- 10\ %。我们的代码可在https://github.com/lyeskhalil/CORL上公开获取。
2022-10-31 cs.AI cs.LG
Empowering NLG: Offline Reinforcement Learning for Informal Summarization in Online Domains
National Yang Ming Chiao Tung University（国立阳明交通大学）
本研究提出一种基于离线强化学习的自然语言生成方法，通过结合爬虫、强化学习和文本生成模块为在线内容生成非正式摘要，显著提升了回复质量与平均点赞得分，优化了客服效率与用户体验。
2023-06-17 cs.AI cs.CL
Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL
Stanford University（斯坦福大学）；Institute for Computational and Mathematical Engineering（计算与数学工程研究所）
强化学习的几个实际应用涉及代理从过去的数据中学习，而不可能进一步探索。通常这些应用程序需要我们1）确定一个接近最优的策略或2）估计目标策略的值。对于这两个任务，我们推导出\emph{exponential}信息理论下界折扣无限地平线MDPs与线性函数表示的行动价值函数，即使1）\emph{realizability}持有，2）批处理算法观察到确切的奖励和过渡\emph{functions}，和3）批处理算法是给定的\emph{best}先验数据分布的问题类。我们的工作引入了一个新的“Oracle +批处理算法”框架来证明每个分布的下限。这项工作显示了批量和在线强化学习之间的指数分离。
2021-06-19 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia（微软亚洲研究院）
传统的强化学习（RL）需要一个环境来收集新的数据，当在线交互成本高昂时，这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而，如果离线数据集的质量很差，它将产生不令人满意的性能。在本文中，我们考虑了一个离线到在线的设置，代理首先从离线数据集学习，然后在线训练，并提出了一个框架，称为自适应策略学习，有效地利用离线和在线数据。具体来说，我们显式地考虑在线和离线数据之间的差异，并相应地应用自适应更新方案，即，离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后，我们对流行的连续控制任务进行了大量的实验，结果表明，即使在离线数据集质量较差的情况下，我们的算法也能以较高的样本效率学习专家策略，例如，随机数据集。
2023-03-14 cs.AI cs.LG
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST（韩国科学技术院）
本文提出FINO方法，通过注入噪声的流匹配提升离线到在线强化学习的样本效率，结合熵引导采样平衡探索与利用，实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题，提出REFIT方法，通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性，在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Offline-to-Online Reinforcement Learning with Classifier-Free Diffusion Generation
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；Adobe Research, California, United States（Adobe研究院）
针对离线到在线强化学习中生成数据与在线数据的分布差距，提出无分类器引导扩散生成（CFDG）数据增强方法，通过重加权机制对齐数据分布，在D4RL基准上实现15%的平均性能提升。
2025-08-09 cs.AI cs.LG
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对在线决策Transformer（ODT）用低奖励离线数据预训练后在线微调效果差的问题，研究发现加入TD3梯度可有效提升其微调性能，为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
OffSeeker: Online Reinforcement Learning Is Not All You Need for Deep Research Agents
Fudan University（复旦大学）；Tencent Hunyuan（腾讯文言）；The University of Hong Kong（香港大学）
本文提出OffSeeker，通过离线训练和任务合成框架，无需在线强化学习即可构建高效深度研究代理。
2026-02-22 cs.AI cs.LG
Showing Your Offline Reinforcement Learning Work: Online Evaluation Budget Matters
Tinkoff（廷科夫银行）
在这项工作中，我们认为在线评估预算的重要性，深离线RL算法的可靠比较。首先，我们描述了在线评价预算是问题依赖性的，其中一些问题允许更少，但其他更多。其次，我们证明了算法之间的偏好在机器人、金融和能源管理等各种决策领域都是依赖于时间的。根据以上几点，我们建议报告不同在线评估预算下深度离线RL算法的性能。为了促进这一点，我们建议使用NLP领域的报告工具，预期验证性能。这种技术使得在不同预算下可靠地估计预期的最大性能成为可能，同时不需要超参数搜索之外的任何额外计算。通过使用这个工具，我们还表明，在有限的预算范围内工作时，行为克隆通常更有利于离线RL算法。
2022-06-05 cs.AI cs.LG
Offline-Online Reinforcement Learning for Energy Pricing in Office Demand Response: Lowering Energy and Data Costs
University of California, Berkeley（加州大学伯克利分校）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力，将为社区提供价值，但为强化学习代理收集训练数据的成本很高，而且会受到限制。在这项工作中，我们研究如何利用离线培训来最大限度地减少数据成本（加速融合）和计划实施成本。我们提出了两种方法来做到这一点：预训练我们的模型，以热启动实验与模拟任务，并使用一个规划模型训练，以模拟现实世界的奖励代理。我们提出的结果表明，实用的离线强化学习，以有效的价格设定的能源需求响应问题。
2021-08-14 cs.AI cs.LG
ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
本文提出ROAD框架，通过双层优化解决离线数据与在线策略间分布偏移问题，提升稳定性和性能。
2026-05-14 cs.AI cs.LG
Controllable Flow Matching for Online Reinforcement Learning
CtrlFlow通过条件流匹配直接建模轨迹分布，提升在线强化学习的样本效率和策略鲁棒性。
2026-01-03 cs.AI cs.LG
The Online Coupon-Collector Problem and Its Application to Lifelong Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
在一系列相关任务之间传递知识是强化学习（RL）的一个重要挑战。尽管有许多令人鼓舞的经验证据，但很少有理论分析。在本文中，我们研究了一类终身强化学习问题：代理解决一系列的任务建模为有限的马尔可夫决策过程（MDP），其中每一个是从一个有限的MDP集相同的状态/动作集和不同的过渡/奖励功能。出于终身学习中跨任务探索的需要，我们提出了一个新的在线优惠券收集器问题，并给出了一个最优算法。这使我们能够开发一种新的终身强化学习算法，即使任务序列是由对手生成的，其任务序列的总体样本复杂度也比单任务学习小得多。该算法的好处在模拟问题，包括最近推出的人机交互问题。
2015-09-21 cs.AI cs.LG
UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning
Zhejiang University（浙江大学）；Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
针对GUI智能体离线与在线强化学习的困境，提出半在线强化学习范式，在离线轨迹上模拟在线交互，引入折扣回报和双级优势优化，并在多个基准上显著提升性能。
2025-09-24 cs.AI cs.LG
Why Online Reinforcement Learning is Causal
Simon Fraser University（西蒙菲莎大学）；University of Waterloo（滑铁卢大学）
本文论证在线强化学习中条件概率具有因果性，明确因果建模最能发挥作用的场景是离线强化学习，并形式化了核心论点，介绍了离线RL中利用因果模型的相关方法。
2024-07-10 cs.AI cs.LG
SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning
vivo AI Lab（vivo人工智能实验室）；Zhejiang Lab（浙江实验室）；CUHK MMLab（香港大学多模态实验室）；Hubei University（湖北省大学）；Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）
SOLAR-RL通过整合全局轨迹信息到离线学习中，提升GUI任务的长horizon完成率和鲁棒性，提供高效样本利用的自主导航方案。
2026-04-24 cs.AI cs.LG
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
Meta AI (FAIR)（Meta AI（FAIR））
针对代码大语言模型迭代改进代码困难的问题，提出端到端强化学习方法RLEF以利用执行反馈，在竞赛编程任务上使8B和70B参数模型取得新SOTA，样本量减少一个数量级，且模型能多步有效利用自动反馈。
2025-02-18 cs.AI cs.CL
The Role of Coverage in Online Reinforcement Learning
Microsoft（微软）；Salesforce（赛富时）
覆盖条件--断言数据记录分布充分覆盖状态空间--在确定离线强化学习的样本复杂度方面起着根本性的作用。虽然这些条件乍一看似乎与在线强化学习无关，但我们通过展示-有点令人惊讶-仅仅存在具有良好覆盖率的数据分布就可以实现样本高效的在线强化学习来建立新的联系。具体地说，我们表明，覆盖性-即，存在的数据分布，满足无处不在的覆盖条件称为集中性-可以被视为底层MDP的结构属性，并可以利用标准算法的样本有效的探索，即使当代理不知道说分布。我们补充这一结果证明，几个较弱的概念覆盖，尽管是足够的离线RL，是不够的在线RL。我们还表明，现有的复杂性措施在线RL，包括贝尔曼秩和贝尔曼-厄吕德维，未能最佳捕获覆盖性，并提出了一个新的复杂性措施，顺序外推系数，提供一个统一。
2022-10-09 cs.AI cs.LG math.OC
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题，提出SAMG范式，通过冻结离线评论家提供状态-动作级引导，无需重训离线数据，在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Towards Efficient Online Tuning of VLM Agents via Counterfactual Soft Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
本文提出反事实软强化学习方法CoSo，通过动态评估token对动作的因果影响来优化VLM智能体的在线探索，并在多种任务中验证了其提升探索效率和性能的有效性。
2025-06-03 cs.AI cs.LG
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research（LG人工智能研究院）
针对RLHF导致的表面化对齐问题，提出RLRF框架，利用细粒度自我反思机制探索和优化响应，并通过RL算法微调模型，有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Ensemble Successor Representations for Task Generalization in Offline-to-Online Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）
针对离线到在线强化学习中的任务泛化难题，提出基于离线数据学习集成后继表示并构建集成Q函数的方法，可实现新任务的快速在线适配，性能优于传统方法。
2024-05-12 cs.AI cs.LG
A New Perspective on Transformers in Online Reinforcement Learning for Continuous Control
Cognitive AI Lab（认知人工智能实验室）；Cognitive AI Lab, IAI MIPT（认知人工智能实验室，IAI MIPT）
本文探讨Transformer在在线无模型强化学习连续控制中的应用，通过研究输入条件化、组件共享与数据切片等设计问题，提出稳定架构与训练策略，在多种任务中实现有竞争力的性能。
2025-10-15 cs.AI cs.LG cs.RO
Flow-Based Policy for Online Reinforcement Learning
Tsinghua University（清华大学）；Shanghai Research Institute for Intelligent Autonomous Systems,Tongji University（上海智能自主系统研究所，同济大学）
本研究提出在线强化学习框架FlowRL，通过基于状态速度场的流策略建模与Wasserstein-2正则化约束，对齐流优化与RL目标，在基准测试中取得了有竞争力的性能。
2025-06-15 cs.AI cs.LG
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
通过使用蒙特卡罗树搜索或模型预测控制，多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond}，多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中，我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难，软策略更新：即使在没有近似的情况下，相反的1步贪婪的情况下，单调的政策改善是不能保证的，除非更新步长足够大。特别关心这个困难，我们制定和分析在线和近似算法，使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Bilibili（哔哩哔哩）
针对离线到在线强化学习在线阶段性能下降和提升慢的问题，提出ENOTO框架，通过增加Q网络数量、放宽悲观估计并引入集成探索，显著提升训练稳定性、学习效率与最终性能。
2024-07-21 cs.AI cs.LG cs.RO
A framework for online, stabilizing reinforcement learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
在线强化学习涉及通过与环境的动态交互来训练代理。在这里，由于应用程序的具体情况，通常不可能执行长时间的预训练，因为它通常是在离线，无模型的方法中完成的，这类似于动态编程。这样的应用可能在工业中更常见，而不是在纯数字领域，例如云服务，视频游戏，数据库管理等，强化学习已经取得了成功。相比之下，在线强化学习更类似于经典控制，它利用了一些关于环境的模型知识。闭环（代理加上环境）的稳定性是这种在线方法的主要挑战。在本文中，我们解决了这个问题的一个特殊的融合在线强化学习与经典控制的元素，即基于稳定性的李雅普诺夫理论。这个想法是立即启动代理，无需预先训练，并在特别设计的约束条件下学习近似最优策略，从而保证稳定性。由此产生的方法进行了测试，在一个广泛的实验研究与移动机器人。使用标称停车控制器作为基线。据观察，所建议的代理总是可以成功地停放机器人，同时显着提高成本。虽然许多方法可以用于移动机器人控制，我们认为，实验显示了基于Lyapunov约束的在线强化学习代理的潜力。所提出的方法可用于安全关键的工业应用中，其中稳定性是必要的。
2022-11-16 cs.AI cs.LG cs.SY
A Framework and Method for Online Inverse Reinforcement Learning
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
逆强化学习（IRL）是从对Agent在任务上的行为的观察中学习其偏好的问题。虽然这个问题已经得到了很好的研究，相关的问题{ \em online} IRL-其中的意见是递增累积的，但应用程序的需求往往禁止一个完整的IRL方法-收到了相对较少的关注。我们介绍了第一个正式的框架在线IRL，称为增量IRL（I2 RL），和一种新的方法，先进的最大熵IRL与隐藏变量，到这个设置。我们的形式分析表明，新方法具有单调改善的性能与更多的示范数据，以及概率有界的误差，完全和部分的可观测性。在一个模拟机器人应用程序中的实验，穿透一个连续的巡逻下闭塞显示相对改善的性能和速度的新方法，并验证了在线IRL的效用。
2018-05-21 cs.AI cs.LG stat.ML
Adversarial Fine-tuning in Offline-to-Online Reinforcement Learning for Robust Robot Control
Graduate School of Science and Engineering（科学与工程研究生院）；Chiba University（千叶大学）；Graduate School of Informatics（信息学研究生院）
本研究提出一种离线到在线强化学习框架，通过对抗微调提升机器人控制在不确定环境中的鲁棒性，实验表明其在连续控制任务中优于传统方法。
2026-02-27 cs.AI cs.RO
Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
School of Engineering, WestLake University（西湖大学工程学院）；University of Cambridge（剑桥大学）
针对离线到在线强化学习中的分布偏移问题，提出Q条件状态熵（QCSE）作为内在奖励，通过最大化状态熵并隐式实现状态边际匹配，提升在线微调性能，实验显示在CQL和Cal-QL上分别提升约13%和8%。
2024-05-28 cs.AI cs.LG
Robo-ValueRL: Reliable Value Estimation for Offline-to-Online Reinforcement Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；Beijing Forestry University（北京林业大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
研究离线到在线强化学习中价值函数可靠性对策略优化的影响，提出Robo-ValueRL框架，通过特定指标评估价值估计可靠性并用于策略预训练和在线改进，实验显示其能有效提升下游策略性能，突出价值引导数据利用对策略改进的重要性。
2026-07-14 cs.AI cs.RO
Kolmogorov-Arnold Network for Online Reinforcement Learning
University of Tsukuba（筑波大学）；Federal University of Santa Maria（圣玛丽亚联邦大学）；Technological University of Uruguay（乌拉圭科技大学）
本文研究将KANs作为PPO算法中的函数逼近器，并在DeepMind Control Proprio Robotics基准上验证其能以更少参数达到与MLP相当的性能。
2024-08-31 cs.AI cs.LG
Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval
Stanford University（斯坦福大学）；Databricks；Google DeepMind（谷歌DeepMind）
针对大语言模型搜索查询构建能力不足的问题，提出强化学习框架LeReT，通过尝试查询并基于偏好优化提升检索质量，可显著提升检索准确率与下游生成效果，适配各类现成检索器。
2024-10-31 cs.AI cs.LG
Online Estimation of Dynamic Origin-Destination Matrices Using Reinforcement Learning with Link-Flow Propagation Guidance
Seoul National University（首尔大学）
本研究提出LFPG-RL方法，将路段流量传播引导集成到近端策略优化中，在墨尔本干线网络测试中实现了更高效准确的在线动态OD矩阵估计。
2026-10-08 cs.AI cs.LG
Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation
Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Jiao Tong University（上海交通大学）；IIIS, Tsinghua University（清华大学人工智能研究院）；Nanyang Technological University（南洋理工大学）；A*STAR Institute for Infocomm Research（新加坡科技动力研究院）；University of Maryland（马里兰大学）
本研究提出FARL框架，通过整合安全批评者和恢复策略，有效减少现实世界强化学习中的失败并提升性能。
2026-01-12 cs.AI cs.LG cs.RO
