Online Regret Bounds for Undiscounted Continuous Reinforcement Learning
Montanuniversitaet Leoben(莱奥本矿业大学);INRIA Lille-Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
在连续状态空间中,我们得到了非折扣强化学习的次线性后悔界。该算法结合了状态聚合与使用置信上界实现乐观面对不确定性。除了存在满足泊松方程的最优策略外,唯一的假设是报酬和转移概率的Holder连续性。
2013-02-11 cs.LG
Online Reinforcement Learning for Periodic MDP
IIT Delhi(印度理工学院德里分校)
我们研究学习周期马尔可夫决策过程(MDP),一种特殊类型的非平稳MDP的状态转移概率和奖励函数周期性变化,平均奖励最大化设置下。通过在状态空间中增加周期指标,将问题转化为一个平稳的MDP问题,并提出了一个周期置信上限强化学习-2(PUCRL 2)算法.我们发现,PUCRL 2的遗憾与周期呈线性变化,并作为次线性的地平线长度。数值结果证明了PUCRL 2的有效性。
2022-07-25 cs.LG
Online Pre-Training for Offline-to-Online Reinforcement Learning
LG AI Research, Seoul, Republic of Korea.(LG人工智能研究所在韩国首尔);School of Electrical Engineering, KAIST, Daejeon, Republic of Korea(韩国成均馆大学电气工程学院);Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院)
本文提出OPT方法,通过引入在线预训练阶段训练专用的价值函数,解决离线到在线强化学习中分布偏移导致的价值估计不准确问题,在多个D4RL环境中实现约30%的性能提升。
2025-07-11 cs.LG
Online Robustness Training for Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在深度强化学习(RL)中,对抗攻击可以欺骗代理进入不想要的状态并中断训练。我们提出了一个名为Robust Student-DQN(RS-DQN)的系统,该系统允许与Q网络一起进行在线鲁棒性训练,同时保持竞争性能。我们表明,RS-DQN可以与(i)最先进的对抗训练和(ii)可证明的鲁棒训练相结合,以获得在训练和评估期间对强攻击具有弹性的代理。
2019-11-22 cs.LG stat.ML
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory(阿贡国家实验室)
我们已经开发了一个模型,在线连续或终身强化学习(RL)的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练,使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移,其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出利用预收集的被动记忆来改进在线强化学习,证明了其遗憾值接近极小极大最优,并表明被动记忆质量决定遗憾值的次优程度,且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
Department of Computer Science, Johns Hopkins University, Baltimore, MD, U.S.A.(约翰霍普金斯大学计算机科学系);AMLab, University of Amsterdam, Amsterdam, Netherlands(阿姆斯特丹大学AM实验室)
提出DUAL框架,利用扩散模型先验知识蒸馏快速采样扩散策略和转移模型,并通过拉普拉斯近似和距离转移状态偏移检测进行不确定性量化,以改进在线阶段的探索与利用平衡。
2026-05-29 cs.LG
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学)
本文提出了一个在线迁移框架来捕捉代理之间的交互,并表明,目前的迁移学习强化学习是一个特殊的情况下,在线迁移。此外,本文将现有的代理-教学-代理方法重新定性为在线传输,并从三种方式分析了一种这样的教学方法。首先,证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次,证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三,通过教学,我们证明了渐近性能不会受到损害。此外,所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University(中南大学)
针对运营车队无法探索及模拟器与目标动态差异问题,提出完成度感知的跨保真度离线到在线强化学习方法,用于多线路公交驻站控制,解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Improved Training Mechanism for Reinforcement Learning via Online Model Selection
Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
本文提出通过在线模型选择改进强化学习训练,提升效率和性能,探讨了资源分配、非平稳动态适应及训练稳定性等理论问题,并通过实验验证。
2025-12-01 cs.AI cs.LG
Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模,其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法,实现了一个次线性的遗憾相比,与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径,这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策,UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略,其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
Benchmarking Robustness of Deep Reinforcement Learning approaches to Online Portfolio Management
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院);LUSIS(LUSIS公司)
本文提出了一套训练与评估流程,系统评测经典深度强化学习算法在在线投资组合管理中的鲁棒性,发现多数算法泛化能力差且在回测中快速退化。
2023-06-19 cs.LG q-fin.PM
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL(伦敦大学学院);DeepMind(深度思维)
离线强化学习(RL)允许从离线数据集训练有能力的代理,而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是,我们应该如何理想地微调从离线RL训练中获得的代理?虽然离线RL算法原则上可以用于微调,但在实践中,它们的在线性能提高缓慢。相比之下,我们表明,它是可以使用标准的在线离线策略算法更快的改进。然而,我们发现这种方法可能遭受政策崩溃,其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题,以及它如何涉及到数据的多样性,算法的选择和在线重放分布。基于这些见解,我们提出了一个保守的策略优化过程,可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
Contextual Online Learning for Multimedia Content Aggregation
UCLA(加州大学洛杉矶分校)
在过去的十年中,由众多来源(新闻机构,社交媒体等)生成的多媒体内容的数量和多样性都有了巨大的增长。面对各种各样的内容选择,消费者对内容表现出不同的偏好;他们的偏好通常取决于他们消费内容的上下文以及各种外生事件。为了满足消费者对这种多样化内容的需求,已经出现了从众多多媒体源收集内容的多媒体内容聚合器(CA)。这种系统的一个关键挑战是准确地预测其每个消费者在特定上下文中喜欢什么类型的内容,并使这些预测适应不断变化的消费者的偏好、上下文和内容特征。我们提出了一个新颖的,分布式的,在线多媒体内容聚合框架,它收集多个异构生产者产生的内容,以满足其消费者的内容需求。由于多媒体内容特性和消费者的偏好和上下文都是未知的,因此最优内容聚合策略是先验未知的。我们提出的内容聚合算法能够在线学习收集什么内容以及如何通过利用消费者类型之间的相似性来匹配内容和用户。我们证明我们提出的学习算法,保证预测的准确性以及学习速度的界限。重要的是,即使消费者的反馈缺失,或者内容和偏好随着时间的推移而变化,我们的算法也能有效地运行。说明性的结果突出了所提出的内容聚合系统在各种设置的优点。
2015-03-24 cs.LG cs.MA cs.MM
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所(AAII));University of Technology Sydney(悉尼科技大学);Visualisation Institute(可视化研究所)
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题,提出一种非整体式探索的新方法,在不修改离线策略的前提下协调其利用优势与在线策略的探索优势,性能优于PEX方法。
2024-10-31 cs.LG
Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning
Aalto University(阿尔托大学);Technical University Darmstadt(达姆施塔特工业大学)
离线强化学习通过从固定数据集学习,使得在不与环境交互的情况下学习代理行为成为可能。然而,根据离线数据集的质量,这种预先训练的代理可能具有有限的性能,并且还需要通过与环境交互来在线微调。在在线微调期间,由于从离线数据到在线数据的突然分布偏移,预先训练的代理的性能可能迅速崩溃。虽然离线RL方法(如行为克隆丢失)强制执行的约束在一定程度上防止了这一点,但这些约束也通过迫使代理保持接近行为策略来显着减缓在线微调。我们提出了自适应权衡行为克隆损失在线微调的基础上代理的性能和训练的稳定性。此外,我们使用一个随机的Q函数集成,通过执行大量的学习更新,进一步提高在线微调的样本效率。实验表明,该方法产生的最先进的离线到在线强化学习性能流行的D4RL基准。代码可用:\url{https://github.com/zhaoyi11/adaptive_bc}。
2022-10-25 cs.LG cs.RO
Online Reinforcement Learning with Uncertain Episode Lengths
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Oxford(牛津大学)
现有的情节强化算法假设情节的长度随着时间的推移是固定的并且是先验已知的。在本文中,我们考虑了一个一般框架的情节强化学习时,每个情节的长度是从一个分布。我们首先确定这个问题相当于具有一般折扣的在线强化学习,其中学习者试图优化无限范围内的预期折扣奖励总和,但折扣函数不一定是几何的。我们发现,最小化遗憾与这种新的一般折扣是等效的,以最小化遗憾与不确定的情节长度。然后,我们设计了一个强化学习算法,最大限度地减少一般折扣的遗憾,但不确定的情节长度设置的行为。我们实例化我们的一般界不同类型的折扣,包括几何和多项式折扣。我们还表明,我们可以获得类似的遗憾界,即使当情节长度的不确定性是未知的,通过估计未知的分布随着时间的推移。最后,我们比较了我们的学习算法与现有的基于值迭代的情景RL算法在网格世界的环境。
2023-02-07 cs.LG
Unsupervised-to-Online Reinforcement Learning
KAIST(韩国科学技术院);University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出无监督到在线强化学习(U2O RL),用无监督离线RL替代特定领域的有监督离线RL,支持单一预训练模型多任务重用,并在九个环境中展现出匹配或超越传统方法的性能与稳定性。
2024-08-27 cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室 IDSIA/USI/SUPSI);NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而,这些方法通常需要在数据汇集期间记录动作信息,这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中,我们研究了使用无动作离线数据集来改进在线强化学习的潜力,将这个问题命名为无动作离线预训练的强化学习(AFP-RL)。我们介绍了无动作指南(AF-Guide),一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer(AFDT)组成,实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态,以及一个引导的软演员-评论家(引导SAC),它在AFDT的指导下在线学习。实验结果表明,AF-Guide能够有效地提高样本效率和在线训练的性能,这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Online Cyber-Attack Detection in Smart Grid: A Reinforcement Learning Approach
Columbia University(哥伦比亚大学)
网络攻击的早期检测对于智能电网的安全可靠运行至关重要。在文献中,离群点检测方案进行样本的样本决策和在线检测方案,需要完美的攻击模型已经提出。在本文中,我们制定了在线攻击/异常检测问题的部分可观察马尔可夫决策过程(POMDP)的问题,并提出了一个通用的鲁棒在线检测算法使用的框架无模型强化学习(RL)的POMDP。数值实验结果表明,该算法能够及时准确地检测出针对智能电网的网络攻击。
2018-09-14 cs.CR cs.LG stat.ML
Online KL-Regularized Reinforcement Learning with Function Approximation under Misspecification
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
研究在模型误设下,基于一般函数近似的KL正则化上下文赌博机和情节强化学习,提出KL误设公式并分析基于回归的Gibbs策略更新算法,给出包含显式误设项的高概率KL遗憾界。
2026-07-14 cs.LG
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中,我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题,并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外,我们进行实验,基于网格的机器人导航域,以证明其效率和鲁棒性,通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习,提升样本效率和探索能力,实现高效且可扩展的学习。
2025-12-22 cs.LG
Fast deep reinforcement learning using online adjustments from the past
DeepMind(深度思维)
我们提出了短暂值调整(EVA):一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值,其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法,将情景记忆结构结合到强化学习代理中:基于槽的存储,基于内容的检索和基于记忆的规划。我们表明,EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics(上海财经大学数学学院);Stern School of Business, New York University(纽约大学斯特恩商学院);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
针对强化学习中存在异常值污染和重尾奖励的问题,提出一种完全在线的鲁棒策略评估程序,建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断,经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
Faster Deep Reinforcement Learning with Slower Online Network
Amazon Web Services(亚马逊云科技);Brown University(布朗大学);Seoul National University(首尔国立大学)
本文提出通过让在线网络靠近目标网络的更新机制,增强 DQN 和 Rainbow 对噪声更新的鲁棒性,并在 Atari 基准上取得显著性能提升。
2023-04-17 cs.AI cs.LG
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在许多领域,如物理科学,生命科学和金融,控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中,我们制定了控制随机偏微分方程(SPDE)的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法,利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能,描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点,无论是在与环境交互时的在线情况下,还是在从固定数据集学习时的离线情况下。然而,到目前为止,没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中,我们描述了重新分析算法,该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标,从而可以有效地学习数据预算,这些数据预算变化了几个数量级。我们进一步表明,Reanalyse也可以用于完全从演示中学习,而无需任何环境交互,就像离线强化学习(离线RL)一样。结合Reanalyze和MuZero算法,我们引入了MuZero Unplugged,这是一个适用于任何数据预算的统一算法,包括离线RL。与以前的工作相比,我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University(清华大学)
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题,提出无评判者预训练范式,兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Deep reinforcement learning for search, recommendation, and online advertising: a survey
Michigan State University(密歇根州立大学)
搜索、推荐和在线广告是网络上最重要的三种信息提供机制。这些信息搜索技术通过在适当的时间和地点向用户推荐个性化的对象(信息或服务)来满足用户的信息需求,在缓解信息过载问题方面起着至关重要的作用。随着深度强化学习(DRL)的发展,人们对基于DRL的信息搜索技术的研究兴趣越来越大。这些基于DRL的技术具有两个关键优点-(1)它们能够根据用户的实时反馈持续更新信息搜索策略,以及(2)它们可以最大化来自用户的预期累积长期奖励,其中奖励根据信息搜索应用具有不同的定义,例如点击率、收入、用户满意度和参与度。本文从方法论到应用,概述了搜索、推荐和在线广告的深度强化学习,回顾了代表性算法,并讨论了一些有吸引力的研究方向。
2020-01-17 cs.IR cs.LG
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA(佛罗里达州立大学计算机科学系)
本文提出DARE框架,通过行为一致性实现样本级约束放松,解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战,改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta(阿尔伯塔大学);DeepMind(深度思维)
强化学习(RL)系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构,用于从嘈杂的高维观测中近似非线性函数。然而,流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的:例如,光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构,有效地发现有用的非线性功能。该算法是在一个空间域与高维,随机观测进行评估。该算法优于非自适应基线架构,并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题,其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Deep Multi-Agent Reinforcement Learning Based Cooperative Edge Caching in Wireless Networks
Syracuse University(雪城大学)
高质量和低延迟的多媒体服务的需求不断增长,导致了边缘缓存技术的兴趣。出于这一动机,我们在本文中考虑边缘缓存在基站未知的内容流行度分布。为了解决缓存决策的动态控制问题,我们提出了一个基于深度行动者-批评者强化学习的多智能体框架,其目标是最小化整体平均传输延迟。为了评估所提出的框架,我们比较了基于学习的性能与其他三个缓存政策,即最近最少使用(LRU),最不频繁使用(LFU),先进先出(FIFO)的政策。通过仿真结果,性能改进的建议框架,这三种缓存算法已被确定,其优越的能力,以适应不同的环境中被证明。
2019-05-13 cs.IT cs.LG math.IT
Effective Warm Start for the Online Actor-Critic Reinforcement Learning based mHealth Intervention
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在线强化学习(RL)在个性化移动健康(mHealth)干预中越来越受欢迎。它能够根据用户的持续状态和不断变化的需求个性化干预的类型和剂量。然而,在在线学习的开始,通常有太少的样本,以支持RL更新,这导致性能不佳。延迟良好的性能的在线学习算法可以是特别有害的mHealth,用户往往很快脱离mHealth应用程序。为了解决这个问题,我们提出了一个新的在线强化学习方法,专注于一个有效的热启动。其主要思想是充分利用以前研究中积累的数据和获得的决策规则。因此,在在线学习开始时,我们可以大大丰富的数据量在我们的方法。这样的案例加速了新用户的在线学习过程,不仅在在线学习的开始阶段,而且在整个在线学习过程中都取得了良好的表现。此外,我们使用在以前的研究中取得的决策规则初始化的参数在我们的在线强化学习模型的新用户。它为所提出的在线RL算法提供了一个良好的初始化。实验结果表明,与现有的方法相比,该方法取得了很好的效果。
2017-05-21 cs.AI cs.LG
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University(武汉大学)
本文提出VARL框架,利用视觉-语言模型为在线强化学习智能体提供行动建议,在保证最优性和收敛性的同时提升样本效率,尤其在稀疏奖励任务中表现显著,且计算开销低。
2025-09-25 cs.AI cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击,仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略,并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR人工智能 chair)
研究离线到在线强化学习,基于稳定性-可塑性原理提出框架解释其经验行为不一致性,识别三种在线微调模式,经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach
University of Toronto(多伦多大学)
在广泛应用的在线匹配问题的挑战在于,使不可撤销的分配,而未来的输入是不确定的。大多数基于理论的政策本质上都是短视或贪婪的。在匹配过程定期重复的实际应用程序中,可以利用底层数据分布来更好地做出决策。我们提出了一个端到端的强化学习框架,用于基于历史数据的试错来获得更好的匹配策略。我们设计了一组神经网络架构,设计功能表示,并经验评估他们在两个在线匹配问题:边加权在线二分匹配和在线子模块二分匹配。我们表明,大多数学习方法在四个合成和真实世界的数据集上的表现始终优于经典的基线算法。平均而言,我们提出的模型在各种合成和真实世界的数据集上将匹配质量提高了3- 10\ %。我们的代码可在https://github.com/lyeskhalil/CORL上公开获取。
2022-10-31 cs.AI cs.LG
Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL
Stanford University(斯坦福大学);Institute for Computational and Mathematical Engineering(计算与数学工程研究所)
强化学习的几个实际应用涉及代理从过去的数据中学习,而不可能进一步探索。通常这些应用程序需要我们1)确定一个接近最优的策略或2)估计目标策略的值。对于这两个任务,我们推导出\emph{exponential}信息理论下界折扣无限地平线MDPs与线性函数表示的行动价值函数,即使1)\emph{realizability}持有,2)批处理算法观察到确切的奖励和过渡\emph{functions},和3)批处理算法是给定的\emph{best}先验数据分布的问题类。我们的工作引入了一个新的“Oracle +批处理算法”框架来证明每个分布的下限。这项工作显示了批量和在线强化学习之间的指数分离。
2021-06-19 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Memory-Efficient Episodic Control Reinforcement Learning with Dynamic Online k-means
Imperial College London(帝国理工学院)
最近,已经开发了神经启发的情景控制(EC)方法来克服标准深度强化学习方法的数据低效。使用非/半参数模型来估计价值函数,它们可以快速学习,从类似的过去状态中检索缓存的值。在现实场景中,由于资源有限和数据嘈杂,在记忆中保持有意义的表征对于加速学习和避免灾难性遗忘至关重要。不幸的是,EC方法具有较大的空间和时间复杂度。我们调查不同的解决方案,这些问题的优先级和排名存储状态的基础上,以及在线聚类技术。我们还提出了一种新的动态在线k-means算法,既计算效率高,又在较小的内存大小下产生更好的性能;我们在经典的强化学习环境和Atari游戏中验证了这种方法。
2019-11-21 cs.LG cs.NE stat.ML
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST(韩国科学技术院)
本文提出FINO方法,通过注入噪声的流匹配提升离线到在线强化学习的样本效率,结合熵引导采样平衡探索与利用,实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Offline-Online Reinforcement Learning for Linear Mixture MDPs
Department of Industrial Engineering and Management Sciences, Northwestern University(工业工程与管理科学系,西北大学)
本文研究了在环境变化下线性混合马尔可夫决策过程中的离线-在线强化学习,提出了一种算法,能够自适应利用离线数据,在数据有信息时优于纯在线学习,在数据无信息时安全忽略并匹配纯在线性能,建立了明确的后悔上界和下界。
2026-04-13 cs.LG math.OC stat.ML
An FPGA-Based On-Device Reinforcement Learning Approach using Online Sequential Learning
Keio University(庆应义塾大学)
DQN(Deep Q-Network)是一种使用深度神经网络执行用于强化学习的Q学习的方法。DQN需要大的缓冲器和用于经验重放的批处理,并且依赖于基于反向传播的迭代优化,使得它们难以在资源有限的边缘设备上实现。在本文中,我们提出了一个轻量级的设备上的强化学习方法,低成本的FPGA设备。它利用了最近提出的基于神经网络的设备学习方法,该方法不依赖于反向传播方法,而是使用基于OS-ELM(在线顺序极端学习机)的训练算法。此外,我们还提出了一种L2正则化和谱归一化相结合的设备上强化学习方法,使神经网络的输出值能够适应一定的范围,从而使强化学习变得稳定。所提出的强化学习方法是为PYNQ-Z1板作为低成本FPGA平台而设计的。使用OpenAI Gym的评估结果表明,当隐藏层节点数为64时,所提出的算法及其FPGA实现完成CartPole-v0任务的速度比传统的基于DQN的方法快29.77倍和89.40倍。
2023-03-12 cs.LG stat.ML
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Offline-to-Online Reinforcement Learning with Classifier-Free Diffusion Generation
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Adobe Research, California, United States(Adobe研究院)
针对离线到在线强化学习中生成数据与在线数据的分布差距,提出无分类器引导扩散生成(CFDG)数据增强方法,通过重加权机制对齐数据分布,在D4RL基准上实现15%的平均性能提升。
2025-08-09 cs.AI cs.LG
Online reinforcement learning via sparse Gaussian mixture model Q-functions
Institute of Science Tokyo, Department of Information and Communications(东京科学研究所信息与通信系)
本文提出一种基于稀疏高斯混合模型Q函数的在线强化学习框架,通过稀疏化和流式数据探索,在保持表现力的同时减少参数量,优于传统深度强化学习方法。
2026-02-16 cs.LG math.OC
Reinforcement Learning for Admission Control in Wireless Virtual Network Embedding
Hasso Platter Institute(哈索·普拉特纳研究所);Potsdam University(波茨坦大学);Paderborn University(帕德博恩大学)
在无线网络中使用服务功能链(SFC)在网络和多媒体等许多领域变得流行。它依赖于通过虚拟网络嵌入(VNE)算法将网络资源分配给传入的SFC请求,从而优化SFC的性能。当传入请求的负载-竞争有限的网络资源-增加时,决定哪些请求应该被接纳,哪些请求应该被拒绝变得具有挑战性。在这项工作中,我们提出了一种深度强化学习(RL)解决方案,可以学习不同依赖关系的准入策略,例如服务生命周期和传入请求的优先级。我们将深度强化学习解决方案与先到先得的基线进行比较,只要有可用的资源,就可以接受请求。我们表明,深度RL优于基线,即使有足够的资源,也能提供更高的接受率和低拒绝率。
2021-10-04 cs.LG cs.NI
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对在线决策Transformer(ODT)用低奖励离线数据预训练后在线微调效果差的问题,研究发现加入TD3梯度可有效提升其微调性能,为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
The Role of Coverage in Online Reinforcement Learning
Microsoft(微软);Salesforce(赛富时)
覆盖条件--断言数据记录分布充分覆盖状态空间--在确定离线强化学习的样本复杂度方面起着根本性的作用。虽然这些条件乍一看似乎与在线强化学习无关,但我们通过展示-有点令人惊讶-仅仅存在具有良好覆盖率的数据分布就可以实现样本高效的在线强化学习来建立新的联系。具体地说,我们表明,覆盖性-即,存在的数据分布,满足无处不在的覆盖条件称为集中性-可以被视为底层MDP的结构属性,并可以利用标准算法的样本有效的探索,即使当代理不知道说分布。我们补充这一结果证明,几个较弱的概念覆盖,尽管是足够的离线RL,是不够的在线RL。我们还表明,现有的复杂性措施在线RL,包括贝尔曼秩和贝尔曼-厄吕德维,未能最佳捕获覆盖性,并提出了一个新的复杂性措施,顺序外推系数,提供一个统一。
2022-10-09 cs.AI cs.LG math.OC
An Online Prediction Algorithm for Reinforcement Learning with Linear Function Approximation using Cross Entropy Method
Indian Institute of Science(印度科学学院)
在本文中,我们提供了两个新的稳定的在线算法的预测问题的强化学习,\emph{i.e.},估计的价值函数的无模型马尔可夫奖励过程使用线性函数逼近架构和内存和计算成本的规模平方的特征集。该算法采用多时标随机近似变量的非常流行的交叉熵(CE)优化方法,这是一个基于模型的搜索方法,找到一个真正的价值函数的全局最优。使用ODE方法的算法的收敛性的证明。我们补充我们的理论结果与实验比较。该算法在许多RL基准问题上取得了良好的性能,在计算效率,准确性和稳定性方面相当一致。
2018-06-15 cs.LG stat.ML
TwinLoop: Simulation-in-the-Loop Digital Twins for Online Multi-Agent Reinforcement Learning
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);Department of Informatics and Telecommunications, University of Thessaly(色萨利大学信息与电信系)
TwinLoop通过仿真闭环数字孪生框架提升多智能体系统在运行时的适应性,减少对高成本试错的依赖,提高上下文切换后的适应效率。
2026-04-08 cs.AI cs.LG
OffSeeker: Online Reinforcement Learning Is Not All You Need for Deep Research Agents
Fudan University(复旦大学);Tencent Hunyuan(腾讯文言);The University of Hong Kong(香港大学)
本文提出OffSeeker,通过离线训练和任务合成框架,无需在线强化学习即可构建高效深度研究代理。
2026-02-22 cs.AI cs.LG