Online Robustness Training for Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在深度强化学习(RL)中,对抗攻击可以欺骗代理进入不想要的状态并中断训练。我们提出了一个名为Robust Student-DQN(RS-DQN)的系统,该系统允许与Q网络一起进行在线鲁棒性训练,同时保持竞争性能。我们表明,RS-DQN可以与(i)最先进的对抗训练和(ii)可证明的鲁棒训练相结合,以获得在训练和评估期间对强攻击具有弹性的代理。
2019-11-22 cs.LG stat.ML
General policy mapping: online continual reinforcement learning inspired on the insect brain
Argonne National Laboratory(阿贡国家实验室)
我们已经开发了一个模型,在线连续或终身强化学习(RL)的启发昆虫大脑。我们的模型利用特征提取和通用通用策略层的离线训练,使RL算法在在线设置中收敛。在任务之间共享公共策略层会导致正向向后转移,其中代理在共享相同的底层一般策略的旧任务中不断改进。生物启发的限制代理的网络是RL算法收敛的关键。这为资源受限场景中的高效在线RL提供了一条途径。
2022-11-30 cs.AI cs.LG
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出利用预收集的被动记忆来改进在线强化学习,证明了其遗憾值接近极小极大最优,并表明被动记忆质量决定遗憾值的次优程度,且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);INRIA(法国国家信息与自动化研究所)
通过使用蒙特卡罗树搜索或模型预测控制,多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond},多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中,我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难,软策略更新:即使在没有近似的情况下,相反的1步贪婪的情况下,单调的政策改善是不能保证的,除非更新步长足够大。特别关心这个困难,我们制定和分析在线和近似算法,使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学)
本文提出了一个在线迁移框架来捕捉代理之间的交互,并表明,目前的迁移学习强化学习是一个特殊的情况下,在线迁移。此外,本文将现有的代理-教学-代理方法重新定性为在线传输,并从三种方式分析了一种这样的教学方法。首先,证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次,证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三,通过教学,我们证明了渐近性能不会受到损害。此外,所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
A Framework and Method for Online Inverse Reinforcement Learning
University of Georgia(佐治亚大学);University of Southern Mississippi(南密西西比大学)
逆强化学习(IRL)是从对Agent在任务上的行为的观察中学习其偏好的问题。虽然这个问题已经得到了很好的研究,相关的问题{ \em online} IRL-其中的意见是递增累积的,但应用程序的需求往往禁止一个完整的IRL方法-收到了相对较少的关注。我们介绍了第一个正式的框架在线IRL,称为增量IRL(I2 RL),和一种新的方法,先进的最大熵IRL与隐藏变量,到这个设置。我们的形式分析表明,新方法具有单调改善的性能与更多的示范数据,以及概率有界的误差,完全和部分的可观测性。在一个模拟机器人应用程序中的实验,穿透一个连续的巡逻下闭塞显示相对改善的性能和速度的新方法,并验证了在线IRL的效用。
2018-05-21 cs.AI cs.LG stat.ML
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University(中南大学)
针对运营车队无法探索及模拟器与目标动态差异问题,提出完成度感知的跨保真度离线到在线强化学习方法,用于多线路公交驻站控制,解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Improved Training Mechanism for Reinforcement Learning via Online Model Selection
Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
本文提出通过在线模型选择改进强化学习训练,提升效率和性能,探讨了资源分配、非平稳动态适应及训练稳定性等理论问题,并通过实验验证。
2025-12-01 cs.AI cs.LG
A Deep Reinforcement Learning Approach to Marginalized Importance Sampling with the Successor Representation
Mila(米拉研究所);McGill University(麦吉尔大学)
本文提出一种利用后继表示计算密度比的边缘化重要性采样方法,通过深度强化学习训练,实现稳定且适用于高维环境的离策略评估,并在Atari和MuJoCo基准上验证了有效性。
2023-11-13 cs.AI cs.LG stat.ML
Posterior Sampling for Deep Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学)
本文提出首个可扩展的深度强化学习后验采样算法PSDRL,结合潜在状态空间模型的不确定性量化与基于值函数近似的持续规划,在Atari基准上实现了高样本与计算效率。
2023-05-17 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室 IDSIA/USI/SUPSI);NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而,这些方法通常需要在数据汇集期间记录动作信息,这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中,我们研究了使用无动作离线数据集来改进在线强化学习的潜力,将这个问题命名为无动作离线预训练的强化学习(AFP-RL)。我们介绍了无动作指南(AF-Guide),一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer(AFDT)组成,实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态,以及一个引导的软演员-评论家(引导SAC),它在AFDT的指导下在线学习。实验结果表明,AF-Guide能够有效地提高样本效率和在线训练的性能,这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
Online Cyber-Attack Detection in Smart Grid: A Reinforcement Learning Approach
Columbia University(哥伦比亚大学)
网络攻击的早期检测对于智能电网的安全可靠运行至关重要。在文献中,离群点检测方案进行样本的样本决策和在线检测方案,需要完美的攻击模型已经提出。在本文中,我们制定了在线攻击/异常检测问题的部分可观察马尔可夫决策过程(POMDP)的问题,并提出了一个通用的鲁棒在线检测算法使用的框架无模型强化学习(RL)的POMDP。数值实验结果表明,该算法能够及时准确地检测出针对智能电网的网络攻击。
2018-09-14 cs.CR cs.LG stat.ML
Two geometric input transformation methods for fast online reinforcement learning with neural nets
University of Alberta(阿尔伯塔大学)
我们将带有ReLU门的神经网络应用于在线强化学习。我们的目标是以增量的方式训练这些网络,而不需要计算上昂贵的经验重放。通过研究单个神经节点在在线训练中的行为,我们认识到ReLU门的全局性质可能会对每个节点的学习行为造成不良的学习干扰。我们建议使用两种有效的输入变换方法来减少这种干扰,这两种方法本质上是几何的,并且与ReLU门的几何属性很好地匹配。第一种是瓦片编码,这是一种经典的二进制编码方案,最初设计用于基于输入空间的拓扑结构的局部泛化。第二种方法(EmECS)是我们提出的一种新方法,它基于凸集的几何性质和输入空间到凸集边界的拓扑嵌入。我们讨论了网络在变换输入上运行时的行为。我们还将其与一些不使用相同输入变换的神经网络进行了实验比较,并与经典的瓦片编码算法加上线性函数逼近器进行了比较,并在几个在线强化学习任务中,我们表明,瓦片编码或EmECS的神经网络不仅可以实现更快的学习,而且可以实现更准确的逼近。我们的研究结果强烈表明,这种类型的几何输入变换可以有效地减少干扰,使我们更接近完全增量强化学习与神经网络。
2018-09-06 cs.AI cs.LG stat.ML
Fast deep reinforcement learning using online adjustments from the past
DeepMind(深度思维)
我们提出了短暂值调整(EVA):一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值,其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法,将情景记忆结构结合到强化学习代理中:基于槽的存储,基于内容的检索和基于记忆的规划。我们表明,EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Online Optimization for Offline Safe Reinforcement Learning
Washington State University(华盛顿州立大学);University of Minnesota(明尼苏达大学);Oregon State University(俄勒冈州立大学);New Jersey Institute of Technology(新泽西理工学院)
针对离线安全强化学习,提出将问题转化为极小极大目标,结合离线RL与在线优化,实现近似最优,并在DSRL基准上验证了安全性与高奖励。
2025-10-24 cs.AI cs.LG stat.ML
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics(上海财经大学数学学院);Stern School of Business, New York University(纽约大学斯特恩商学院);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
针对强化学习中存在异常值污染和重尾奖励的问题,提出一种完全在线的鲁棒策略评估程序,建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断,经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
MOORe: Model-based Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
随着离线强化学习(RL)的成功,离线训练的RL策略在在线部署时有可能进一步改进。策略的平稳传输在安全的实际部署中至关重要。此外,策略的快速自适应在实际的在线性能改进中起着至关重要的作用。为了解决这些挑战,我们提出了一种简单而有效的算法,基于模型的离线到在线强化学习(MOORe),它采用了一个优先级的采样方案,可以动态调整离线和在线数据的平滑和有效的在线适应的政策。我们提供了一个理论基础,我们的算法设计。在D4RL基准测试上的实验结果表明,该算法在实现样本有效的在线自适应的同时,能够平滑地从离线阶段过渡到在线阶段,并且性能也明显优于现有方法。
2022-01-25 cs.LG
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示(诸如价值函数或策略)的广泛算法家族。每个算法都相对于定义其语义的目标(例如Q学习或策略梯度)来优化其参数。在这项工作中,我们提出了一种基于Meta梯度下降的算法,该算法发现了自己的目标,通过深度神经网络灵活地参数化,仅从与环境的交互经验。随着时间的推移,这允许代理学习如何越来越有效地学习。此外,由于目标是在线发现的,它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题,如自举,非平稳性和离策略学习。在Atari学习环境中,元梯度算法随着时间的推移而适应,以更高的效率学习,最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
Faster Deep Reinforcement Learning with Slower Online Network
Amazon Web Services(亚马逊云科技);Brown University(布朗大学);Seoul National University(首尔国立大学)
本文提出通过让在线网络靠近目标网络的更新机制,增强 DQN 和 Rainbow 对噪声更新的鲁棒性,并在 Atari 基准上取得显著性能提升。
2023-04-17 cs.AI cs.LG
ORL: Reinforcement Learning Benchmarks for Online Stochastic Optimization Problems
Amazon(亚马逊)
强化学习(RL)在机器人和游戏等领域取得了最先进的成果。我们建立在以前的工作,通过应用RL算法的选择典型的在线随机优化问题与一系列的实际应用:装箱,报童,和车辆路径。虽然有一个新兴的文献,应用强化学习这些问题,有没有普遍接受的基准,可以用来比较提出的方法严格的性能,规模,或概括性。本文旨在填补这一空白。对于每个问题,我们都应用标准方法以及较新的RL算法并分析结果。在每种情况下,经过训练的强化学习策略的性能都与相应的基线竞争或优于相应的基线,同时不需要太多的领域知识。这突出了RL在现实世界中的动态资源分配问题的潜力。
2019-12-01 cs.AI cs.LG math.OC
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University(清华大学)
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题,提出无评判者预训练范式,兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology(查尔姆斯理工大学);University of Oslo(奥斯陆大学)
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法,以诱导更深,更稀疏的探索与理论界的性能相对于贝叶斯最优策略,具有较低的计算复杂性。主要的新颖性是使用候选策略生成器,在规划树中生成长期选项(超过信念),这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明,与现有算法相比,该算法不仅在计算效率上更高,而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta(阿尔伯塔大学);DeepMind(深度思维)
强化学习(RL)系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构,用于从嘈杂的高维观测中近似非线性函数。然而,流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的:例如,光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构,有效地发现有用的非线性功能。该算法是在一个空间域与高维,随机观测进行评估。该算法优于非自适应基线架构,并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题,其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Effective Warm Start for the Online Actor-Critic Reinforcement Learning based mHealth Intervention
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在线强化学习(RL)在个性化移动健康(mHealth)干预中越来越受欢迎。它能够根据用户的持续状态和不断变化的需求个性化干预的类型和剂量。然而,在在线学习的开始,通常有太少的样本,以支持RL更新,这导致性能不佳。延迟良好的性能的在线学习算法可以是特别有害的mHealth,用户往往很快脱离mHealth应用程序。为了解决这个问题,我们提出了一个新的在线强化学习方法,专注于一个有效的热启动。其主要思想是充分利用以前研究中积累的数据和获得的决策规则。因此,在在线学习开始时,我们可以大大丰富的数据量在我们的方法。这样的案例加速了新用户的在线学习过程,不仅在在线学习的开始阶段,而且在整个在线学习过程中都取得了良好的表现。此外,我们使用在以前的研究中取得的决策规则初始化的参数在我们的在线强化学习模型的新用户。它为所提出的在线RL算法提供了一个良好的初始化。实验结果表明,与现有的方法相比,该方法取得了很好的效果。
2017-05-21 cs.AI cs.LG
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University(武汉大学)
本文提出VARL框架,利用视觉-语言模型为在线强化学习智能体提供行动建议,在保证最优性和收敛性的同时提升样本效率,尤其在稀疏奖励任务中表现显著,且计算开销低。
2025-09-25 cs.AI cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR人工智能 chair)
研究离线到在线强化学习,基于稳定性-可塑性原理提出框架解释其经验行为不一致性,识别三种在线微调模式,经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach
University of Toronto(多伦多大学)
在广泛应用的在线匹配问题的挑战在于,使不可撤销的分配,而未来的输入是不确定的。大多数基于理论的政策本质上都是短视或贪婪的。在匹配过程定期重复的实际应用程序中,可以利用底层数据分布来更好地做出决策。我们提出了一个端到端的强化学习框架,用于基于历史数据的试错来获得更好的匹配策略。我们设计了一组神经网络架构,设计功能表示,并经验评估他们在两个在线匹配问题:边加权在线二分匹配和在线子模块二分匹配。我们表明,大多数学习方法在四个合成和真实世界的数据集上的表现始终优于经典的基线算法。平均而言,我们提出的模型在各种合成和真实世界的数据集上将匹配质量提高了3- 10\ %。我们的代码可在https://github.com/lyeskhalil/CORL上公开获取。
2022-10-31 cs.AI cs.LG
Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL
Stanford University(斯坦福大学);Institute for Computational and Mathematical Engineering(计算与数学工程研究所)
强化学习的几个实际应用涉及代理从过去的数据中学习,而不可能进一步探索。通常这些应用程序需要我们1)确定一个接近最优的策略或2)估计目标策略的值。对于这两个任务,我们推导出\emph{exponential}信息理论下界折扣无限地平线MDPs与线性函数表示的行动价值函数,即使1)\emph{realizability}持有,2)批处理算法观察到确切的奖励和过渡\emph{functions},和3)批处理算法是给定的\emph{best}先验数据分布的问题类。我们的工作引入了一个新的“Oracle +批处理算法”框架来证明每个分布的下限。这项工作显示了批量和在线强化学习之间的指数分离。
2021-06-19 cs.AI cs.LG
Online Bootstrap Inference For Policy Evaluation in Reinforcement Learning
Purdue University(普渡大学);UCLA(加利福尼亚大学洛杉矶分校);Yale University(耶鲁大学);Northwestern University(西北大学)
最近出现的强化学习产生了强大的统计推断方法的参数估计使用这些算法计算的需求。在线学习中的现有统计推断方法仅限于涉及独立采样观测的设置,而强化学习(RL)中的现有统计推断方法仅限于批量设置。在线自举是线性随机逼近算法中统计推断的一种灵活而有效的方法,但其在涉及马尔可夫噪声(如RL)的设置中的有效性还有待探索。在本文中,我们研究使用在线引导方法的统计推断在RL。特别是,我们专注于时间差(TD)学习和梯度TD(GTD)的学习算法,这本身是特殊的情况下的线性随机逼近马尔可夫噪声。该方法被证明是分布一致的统计推断的政策评估,并包括数值实验,以证明该算法的有效性,在统计推断任务在一系列真正的RL环境。
2022-06-28 cs.AI cs.LG math.ST
Memory-Efficient Episodic Control Reinforcement Learning with Dynamic Online k-means
Imperial College London(帝国理工学院)
最近,已经开发了神经启发的情景控制(EC)方法来克服标准深度强化学习方法的数据低效。使用非/半参数模型来估计价值函数,它们可以快速学习,从类似的过去状态中检索缓存的值。在现实场景中,由于资源有限和数据嘈杂,在记忆中保持有意义的表征对于加速学习和避免灾难性遗忘至关重要。不幸的是,EC方法具有较大的空间和时间复杂度。我们调查不同的解决方案,这些问题的优先级和排名存储状态的基础上,以及在线聚类技术。我们还提出了一种新的动态在线k-means算法,既计算效率高,又在较小的内存大小下产生更好的性能;我们在经典的强化学习环境和Atari游戏中验证了这种方法。
2019-11-21 cs.LG cs.NE stat.ML
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST(韩国科学技术院)
本文提出FINO方法,通过注入噪声的流匹配提升离线到在线强化学习的样本效率,结合熵引导采样平衡探索与利用,实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Reinforcement Learning and Adaptive Sampling for Optimized DNN Compilation
University of California, San Diego(加州大学圣地亚哥分校)
以更短的编译时间实现更快的执行可以使神经网络进一步多样化和创新。然而,目前执行神经网络的范例要么依赖于手工优化的库,传统的编译算法,要么依赖于最近的模拟退火和遗传算法。我们的工作采取了一种独特的方法,将神经网络的编译器优化作为一个强化学习问题,其解决方案需要更少的步骤来收敛。这个解决方案被称为ReLeASE,它带有一个采样算法,该算法利用聚类将昂贵的样本(实际硬件测量)集中在代表性点上,包含整个子空间。我们的自适应采样不仅减少了样本的数量,而且还提高了样本的质量,以便在更短的时间内更好地探索。因此,实际硬件实验表明,具有自适应采样的强化学习在优化时间上比AutoTVM快4.45倍,同时还将现代深度网络的推理时间提高了5.6%。进一步的实验也证实了我们的自适应采样甚至可以将AutoTVM的模拟退火提高4.00倍。
2019-05-30 cs.LG stat.ML
An FPGA-Based On-Device Reinforcement Learning Approach using Online Sequential Learning
Keio University(庆应义塾大学)
DQN(Deep Q-Network)是一种使用深度神经网络执行用于强化学习的Q学习的方法。DQN需要大的缓冲器和用于经验重放的批处理,并且依赖于基于反向传播的迭代优化,使得它们难以在资源有限的边缘设备上实现。在本文中,我们提出了一个轻量级的设备上的强化学习方法,低成本的FPGA设备。它利用了最近提出的基于神经网络的设备学习方法,该方法不依赖于反向传播方法,而是使用基于OS-ELM(在线顺序极端学习机)的训练算法。此外,我们还提出了一种L2正则化和谱归一化相结合的设备上强化学习方法,使神经网络的输出值能够适应一定的范围,从而使强化学习变得稳定。所提出的强化学习方法是为PYNQ-Z1板作为低成本FPGA平台而设计的。使用OpenAI Gym的评估结果表明,当隐藏层节点数为64时,所提出的算法及其FPGA实现完成CartPole-v0任务的速度比传统的基于DQN的方法快29.77倍和89.40倍。
2023-03-12 cs.LG stat.ML
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University(北京大学)
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下,将后验抽样应用于无模型强化学习,提出了连续状态空间下的高斯过程后验抽样强化学习(GPPSTD)算法,给出了理论证明和实验结果.我们也提供了理论和实证结果,各种示范可以降低预期的不确定性,有利于后验抽样探索。通过这种方式,我们将演示和探索过程结合在一起,实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案,基于强化学习的决策树(RLDT),它使用强化学习(RL)主动检查数据点的最小数量的特征,以高精度对其进行分类。此外,RLDT优化了长期回报,提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明,这种方法执行以及批处理学习算法和其他在线决策树学习算法,同时使显着更少的查询的数据点的功能。我们还表明,RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
Online Regret Bounds for Undiscounted Continuous Reinforcement Learning
Montanuniversitaet Leoben(莱奥本矿业大学);INRIA Lille-Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
在连续状态空间中,我们得到了非折扣强化学习的次线性后悔界。该算法结合了状态聚合与使用置信上界实现乐观面对不确定性。除了存在满足泊松方程的最优策略外,唯一的假设是报酬和转移概率的Holder连续性。
2013-02-11 cs.LG
Offline-to-Online Reinforcement Learning with Classifier-Free Diffusion Generation
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Adobe Research, California, United States(Adobe研究院)
针对离线到在线强化学习中生成数据与在线数据的分布差距,提出无分类器引导扩散生成(CFDG)数据增强方法,通过重加权机制对齐数据分布,在D4RL基准上实现15%的平均性能提升。
2025-08-09 cs.AI cs.LG
Online reinforcement learning via sparse Gaussian mixture model Q-functions
Institute of Science Tokyo, Department of Information and Communications(东京科学研究所信息与通信系)
本文提出一种基于稀疏高斯混合模型Q函数的在线强化学习框架,通过稀疏化和流式数据探索,在保持表现力的同时减少参数量,优于传统深度强化学习方法。
2026-02-16 cs.LG math.OC
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对在线决策Transformer(ODT)用低奖励离线数据预训练后在线微调效果差的问题,研究发现加入TD3梯度可有效提升其微调性能,为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
An Online Prediction Algorithm for Reinforcement Learning with Linear Function Approximation using Cross Entropy Method
Indian Institute of Science(印度科学学院)
在本文中,我们提供了两个新的稳定的在线算法的预测问题的强化学习,\emph{i.e.},估计的价值函数的无模型马尔可夫奖励过程使用线性函数逼近架构和内存和计算成本的规模平方的特征集。该算法采用多时标随机近似变量的非常流行的交叉熵(CE)优化方法,这是一个基于模型的搜索方法,找到一个真正的价值函数的全局最优。使用ODE方法的算法的收敛性的证明。我们补充我们的理论结果与实验比较。该算法在许多RL基准问题上取得了良好的性能,在计算效率,准确性和稳定性方面相当一致。
2018-06-15 cs.LG stat.ML
Task-Agnostic Online Reinforcement Learning with an Infinite Mixture of Gaussian Processes
Carnegie Mellon University(卡内基梅隆大学)
在元学习和持续学习中,人们广泛地追求通过有限的经验来不断学习解决看不见的任务,但是这些学习具有有限的假设,例如可访问的任务分布、独立和相同分布的任务以及清晰的任务描述。然而,现实世界的物理任务经常违反这些假设,导致性能下降。本文提出了一种连续在线的基于基于模型的强化学习方法,该方法不需要预先训练来解决任务边界未知的任务不可知问题。我们维护一个混合专家模型来处理非平稳性,并用高斯过程来表示每种不同类型的动态,以有效地利用收集的数据和表达模型的不确定性。我们提出了一个过渡之前,占流数据的时间依赖性和更新的混合物在线通过顺序变分推理。我们的方法可靠地处理任务分布偏移生成新的模型,以前从未见过的动态和重用旧模型。在实验中,我们的方法在非平稳任务中优于其他方法,包括在不同驾驶场景中动态变化和决策的经典控制。
2020-11-30 cs.AI cs.LG cs.RO
TwinLoop: Simulation-in-the-Loop Digital Twins for Online Multi-Agent Reinforcement Learning
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);Department of Informatics and Telecommunications, University of Thessaly(色萨利大学信息与电信系)
TwinLoop通过仿真闭环数字孪生框架提升多智能体系统在运行时的适应性,减少对高成本试错的依赖,提高上下文切换后的适应效率。
2026-04-08 cs.AI cs.LG
OffSeeker: Online Reinforcement Learning Is Not All You Need for Deep Research Agents
Fudan University(复旦大学);Tencent Hunyuan(腾讯文言);The University of Hong Kong(香港大学)
本文提出OffSeeker,通过离线训练和任务合成框架,无需在线强化学习即可构建高效深度研究代理。
2026-02-22 cs.AI cs.LG
Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning?
University of Oxford(牛津大学);Toyota Research Institute, USA(丰田研究所(美国))
本文研究离线强化学习中因果混淆问题,提出通过主动采样从演示数据中选取关键点以消除因果歧义,实证表明主动采样比均匀采样更高效地减少因果混淆,提升部署安全性。
2023-12-28 cs.AI cs.LG
Deep Reinforcement Learning for Online Optimal Execution Strategies
Imperial College London(伦敦帝国学院)
本文提出基于DDPG的演员-评论家算法,用于在具有一般衰减核瞬时价格冲击的动态市场中学习非马尔可夫最优执行策略,并通过数值实验验证其逼近效果与对时变市场条件的适应性。
2024-10-17 cs.LG stat.ML
A framework for online, stabilizing reinforcement learning
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在线强化学习涉及通过与环境的动态交互来训练代理。在这里,由于应用程序的具体情况,通常不可能执行长时间的预训练,因为它通常是在离线,无模型的方法中完成的,这类似于动态编程。这样的应用可能在工业中更常见,而不是在纯数字领域,例如云服务,视频游戏,数据库管理等,强化学习已经取得了成功。相比之下,在线强化学习更类似于经典控制,它利用了一些关于环境的模型知识。闭环(代理加上环境)的稳定性是这种在线方法的主要挑战。在本文中,我们解决了这个问题的一个特殊的融合在线强化学习与经典控制的元素,即基于稳定性的李雅普诺夫理论。这个想法是立即启动代理,无需预先训练,并在特别设计的约束条件下学习近似最优策略,从而保证稳定性。由此产生的方法进行了测试,在一个广泛的实验研究与移动机器人。使用标称停车控制器作为基线。据观察,所建议的代理总是可以成功地停放机器人,同时显着提高成本。虽然许多方法可以用于移动机器人控制,我们认为,实验显示了基于Lyapunov约束的在线强化学习代理的潜力。所提出的方法可用于安全关键的工业应用中,其中稳定性是必要的。
2022-11-16 cs.AI cs.LG cs.SY
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu(作者)
本文提出了一种整合模仿学习与强化学习的LLM微调框架,通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
Active Advantage-Aligned Online Reinforcement Learning with Offline Data
Department of Computer Science, University of Chicago(计算机科学系,芝加哥大学);Department of Statistics and Data Science, Yale University(统计与数据科学系,耶鲁大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
A3RL通过主动优势对齐采样策略提升在线强化学习与离线数据结合的效果,实现更高效的策略优化。
2026-03-07 cs.LG stat.ML
A New Perspective on Transformers in Online Reinforcement Learning for Continuous Control
Cognitive AI Lab(认知人工智能实验室);Cognitive AI Lab, IAI MIPT(认知人工智能实验室,IAI MIPT)
本文探讨Transformer在在线无模型强化学习连续控制中的应用,通过研究输入条件化、组件共享与数据切片等设计问题,提出稳定架构与训练策略,在多种任务中实现有竞争力的性能。
2025-10-15 cs.AI cs.LG cs.RO
A Reduction from Reinforcement Learning to No-Regret Online Learning
Georgia Tech(佐治亚理工学院);Microsoft Research Montreal(蒙特利尔微软研究院)
我们提出了一个减少从强化学习(RL)到无遗憾在线学习的基础上的鞍点公式化的RL,“任何”在线算法与次线性遗憾可以产生的政策,可证明的性能保证。这种新的视角将强化学习问题分解为两个部分:后悔最小化和函数逼近。第一部分允许标准的在线学习分析,第二部分可以独立于学习算法进行量化。因此,所提出的约简可以作为一种工具,系统地设计新的RL算法。我们证明了这一点,设计一个简单的RL算法的基础上镜像下降和生成模型的预言。对于任何概率至少为$1-δ$的$γ$ -折扣表格RL问题,它使用最多$\tilde{O}\left(\frac{|\mathcal{S}||\mathcal{A}|\log(\frac{1}δ)}{(1-γ)^4ε^2}\right)$样本学习$ε$ -最优策略。此外,该算法允许直接扩展到线性参数化函数逼近器的大规模应用,与计算和样本的复杂性独立的$|\mathcal{S}|$,$|\mathcal{A}|$,但在潜在的近似偏差的成本。
2020-01-01 cs.LG stat.ML
Robust Meta-Reinforcement Learning with Curriculum-Based Task Sampling
Hitachi, Ltd.(日立有限公司)
Meta-强化学习(meta-RL)获取在宽任务分布中对任务表现出良好性能的元策略。然而,传统的元RL通过随机采样任务来学习元策略,据报道,它对某些任务表现出元过拟合,特别是对于代理可以轻松获得高分的简单任务。为了减少元过拟合的影响,我们考虑了基于任务抽样的元RL。我们的方法是鲁棒Meta强化学习与引导任务采样(RMRL-GTS),这是一个有效的方法,限制基于分数和时代的任务采样。我们表明,为了实现强大的元RL,它不仅是必要的,以集中的样本得分低的任务,但也要限制和扩大任务区域的任务进行采样。
2022-03-31 cs.LG