Improved Training Mechanism for Reinforcement Learning via Online Model Selection
Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
本文提出通过在线模型选择改进强化学习训练,提升效率和性能,探讨了资源分配、非平稳动态适应及训练稳定性等理论问题,并通过实验验证。
2025-12-01 cs.AI cs.LG
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室 IDSIA/USI/SUPSI);NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而,这些方法通常需要在数据汇集期间记录动作信息,这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中,我们研究了使用无动作离线数据集来改进在线强化学习的潜力,将这个问题命名为无动作离线预训练的强化学习(AFP-RL)。我们介绍了无动作指南(AF-Guide),一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer(AFDT)组成,实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态,以及一个引导的软演员-评论家(引导SAC),它在AFDT的指导下在线学习。实验结果表明,AF-Guide能够有效地提高样本效率和在线训练的性能,这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales(新南威尔士大学)
针对多目标强化学习难以适应非平稳环境的问题,本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法,在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Fast deep reinforcement learning using online adjustments from the past
DeepMind(深度思维)
我们提出了短暂值调整(EVA):一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值,其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法,将情景记忆结构结合到强化学习代理中:基于槽的存储,基于内容的检索和基于记忆的规划。我们表明,EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Faster Deep Reinforcement Learning with Slower Online Network
Amazon Web Services(亚马逊云科技);Brown University(布朗大学);Seoul National University(首尔国立大学)
本文提出通过让在线网络靠近目标网络的更新机制,增强 DQN 和 Rainbow 对噪声更新的鲁棒性,并在 Atari 基准上取得显著性能提升。
2023-04-17 cs.AI cs.LG
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University(清华大学)
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题,提出无评判者预训练范式,兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta(阿尔伯塔大学);DeepMind(深度思维)
强化学习(RL)系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构,用于从嘈杂的高维观测中近似非线性函数。然而,流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的:例如,光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构,有效地发现有用的非线性功能。该算法是在一个空间域与高维,随机观测进行评估。该算法优于非自适应基线架构,并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题,其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Effective Warm Start for the Online Actor-Critic Reinforcement Learning based mHealth Intervention
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在线强化学习(RL)在个性化移动健康(mHealth)干预中越来越受欢迎。它能够根据用户的持续状态和不断变化的需求个性化干预的类型和剂量。然而,在在线学习的开始,通常有太少的样本,以支持RL更新,这导致性能不佳。延迟良好的性能的在线学习算法可以是特别有害的mHealth,用户往往很快脱离mHealth应用程序。为了解决这个问题,我们提出了一个新的在线强化学习方法,专注于一个有效的热启动。其主要思想是充分利用以前研究中积累的数据和获得的决策规则。因此,在在线学习开始时,我们可以大大丰富的数据量在我们的方法。这样的案例加速了新用户的在线学习过程,不仅在在线学习的开始阶段,而且在整个在线学习过程中都取得了良好的表现。此外,我们使用在以前的研究中取得的决策规则初始化的参数在我们的在线强化学习模型的新用户。它为所提出的在线RL算法提供了一个良好的初始化。实验结果表明,与现有的方法相比,该方法取得了很好的效果。
2017-05-21 cs.AI cs.LG
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation
KAIST(韩国科学技术院);DeepMind(深度思维)
我们考虑离线约束强化学习(RL)问题,其中智能体的目标是计算一个政策,最大化预期收益,同时满足给定的成本约束,学习只从预先收集的数据集。这种问题设置在许多现实世界的场景中是有吸引力的,在这些场景中,与环境的直接交互是昂贵的或有风险的,并且由此产生的策略应该符合安全约束。然而,计算保证满足离线RL设置中的成本约束的策略具有挑战性,因为偏离策略的评估本质上存在估计误差。在本文中,我们提出了一个离线约束RL算法,优化的政策在空间的平稳分布。我们的算法,COptiDICE,直接估计的平稳分布校正的最优策略的回报,同时限制成本上界,与实际的约束满足产生一个成本保守的政策的目标。实验结果表明,COptiDICE算法在约束满足和收益最大化方面均优于基准算法.
2022-04-19 cs.AI cs.LG
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University(武汉大学)
本文提出VARL框架,利用视觉-语言模型为在线强化学习智能体提供行动建议,在保证最优性和收敛性的同时提升样本效率,尤其在稀疏奖励任务中表现显著,且计算开销低。
2025-09-25 cs.AI cs.LG
The Three Regimes of Offline-to-Online Reinforcement Learning
Mila – Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR人工智能 chair)
研究离线到在线强化学习,基于稳定性-可塑性原理提出框架解释其经验行为不一致性,识别三种在线微调模式,经实证研究验证该框架可指导相关设计选择。
2026-07-07 cs.AI cs.LG
Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach
University of Toronto(多伦多大学)
在广泛应用的在线匹配问题的挑战在于,使不可撤销的分配,而未来的输入是不确定的。大多数基于理论的政策本质上都是短视或贪婪的。在匹配过程定期重复的实际应用程序中,可以利用底层数据分布来更好地做出决策。我们提出了一个端到端的强化学习框架,用于基于历史数据的试错来获得更好的匹配策略。我们设计了一组神经网络架构,设计功能表示,并经验评估他们在两个在线匹配问题:边加权在线二分匹配和在线子模块二分匹配。我们表明,大多数学习方法在四个合成和真实世界的数据集上的表现始终优于经典的基线算法。平均而言,我们提出的模型在各种合成和真实世界的数据集上将匹配质量提高了3- 10\ %。我们的代码可在https://github.com/lyeskhalil/CORL上公开获取。
2022-10-31 cs.AI cs.LG
TIMRL: A Novel Meta-Reinforcement Learning Framework for Non-Stationary and Multi-Task Environments
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院)
针对现有元强化学习用高斯分布提取任务表征、适配非平稳多任务环境效果差的问题,提出结合高斯混合模型与transformer的TIMRL框架,经MuJoCo基准验证,提升了样本效率与任务分类准确率。
2025-01-13 cs.AI cs.LG
Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL
Stanford University(斯坦福大学);Institute for Computational and Mathematical Engineering(计算与数学工程研究所)
强化学习的几个实际应用涉及代理从过去的数据中学习,而不可能进一步探索。通常这些应用程序需要我们1)确定一个接近最优的策略或2)估计目标策略的值。对于这两个任务,我们推导出\emph{exponential}信息理论下界折扣无限地平线MDPs与线性函数表示的行动价值函数,即使1)\emph{realizability}持有,2)批处理算法观察到确切的奖励和过渡\emph{functions},和3)批处理算法是给定的\emph{best}先验数据分布的问题类。我们的工作引入了一个新的“Oracle +批处理算法”框架来证明每个分布的下限。这项工作显示了批量和在线强化学习之间的指数分离。
2021-06-19 cs.AI cs.LG
Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院)
传统的强化学习(RL)需要一个环境来收集新的数据,当在线交互成本高昂时,这是不切实际的。离线RL通过直接从先前收集的数据集学习提供了一种替代解决方案。然而,如果离线数据集的质量很差,它将产生不令人满意的性能。在本文中,我们考虑了一个离线到在线的设置,代理首先从离线数据集学习,然后在线训练,并提出了一个框架,称为自适应策略学习,有效地利用离线和在线数据。具体来说,我们显式地考虑在线和离线数据之间的差异,并相应地应用自适应更新方案,即,离线数据集的悲观更新策略和在线数据集的乐观/贪婪更新方案。这种简单有效的方法提供了一种混合离线和在线RL并实现两全其美的方法。最后,我们对流行的连续控制任务进行了大量的实验,结果表明,即使在离线数据集质量较差的情况下,我们的算法也能以较高的样本效率学习专家策略,例如,随机数据集。
2023-03-14 cs.AI cs.LG
Flow Matching with Injected Noise for Offline-to-Online Reinforcement Learning
KAIST(韩国科学技术院)
本文提出FINO方法,通过注入噪声的流匹配提升离线到在线强化学习的样本效率,结合熵引导采样平衡探索与利用,实现更高效的策略优化。
2026-02-20 cs.AI cs.LG
Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
针对离线到在线强化学习中离线策略可塑性下降的问题,提出REFIT方法,通过蒸馏到新初始化的学生网络并冻结随机子集来恢复可塑性,在D4RL和OGBench上超越现有方法。
2026-09-29 cs.AI cs.LG
Offline-to-Online Reinforcement Learning with Classifier-Free Diffusion Generation
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Adobe Research, California, United States(Adobe研究院)
针对离线到在线强化学习中生成数据与在线数据的分布差距,提出无分类器引导扩散生成(CFDG)数据增强方法,通过重加权机制对齐数据分布,在D4RL基准上实现15%的平均性能提升。
2025-08-09 cs.AI cs.LG
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对在线决策Transformer(ODT)用低奖励离线数据预训练后在线微调效果差的问题,研究发现加入TD3梯度可有效提升其微调性能,为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
TwinLoop: Simulation-in-the-Loop Digital Twins for Online Multi-Agent Reinforcement Learning
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);Department of Informatics and Telecommunications, University of Thessaly(色萨利大学信息与电信系)
TwinLoop通过仿真闭环数字孪生框架提升多智能体系统在运行时的适应性,减少对高成本试错的依赖,提高上下文切换后的适应效率。
2026-04-08 cs.AI cs.LG
OffSeeker: Online Reinforcement Learning Is Not All You Need for Deep Research Agents
Fudan University(复旦大学);Tencent Hunyuan(腾讯文言);The University of Hong Kong(香港大学)
本文提出OffSeeker,通过离线训练和任务合成框架,无需在线强化学习即可构建高效深度研究代理。
2026-02-22 cs.AI cs.LG
Double Meta-Learning for Data Efficient Policy Optimization in Non-Stationary Environments
University of Southern California(南加州大学)
我们感兴趣的学习模型的非平稳环境,这可以被框定为一个多任务学习问题。无模型强化学习算法在多任务学习中可以以大量采样为代价实现良好的渐近性能,这是由于它们的方法需要从头开始学习。虽然基于模型的方法是数据效率最高的学习算法之一,但它们仍然难以处理复杂的任务和模型不确定性。Meta-强化学习通过快速利用新任务的元先验策略来解决多任务学习的效率和泛化挑战。在本文中,我们提出了一种Meta强化学习方法来学习非平稳环境的动态模型,用于元策略优化。由于基于模型的学习方法的样本效率,我们能够同时训练非平稳环境的元模型和元策略,直到动态模型收敛。然后,环境的元学习动态模型将生成用于元策略优化的模拟数据。我们的实验表明,我们提出的方法可以元学习的政策在一个非平稳的环境中的数据效率的基于模型的学习方法,同时实现高渐近性能的无模型Meta强化学习。
2020-11-21 cs.AI cs.LG
Reinforcement Learning in Switching Non-Stationary Markov Decision Processes: Algorithms and Convergence Analysis
Department of Computer and System Science(计算机与系统科学系)
研究切换非平稳马尔可夫决策过程,推导固定策略下SNS值函数闭式表达式,证明TD学习、策略迭代及表格Q学习的收敛性,在无线通信网络验证框架,为快速时变系统决策提供有效方法。
2026-07-17 cs.AI cs.LG
Non-Stationary Latent Bandits
Google Research(谷歌研究院)
推荐系统的用户经常表现在一个非固定的方式,由于他们的不断变化的喜好和口味随着时间的推移。在这项工作中,我们提出了一个实用的方法,快速个性化的非固定用户。关键的想法是将这个问题框定为潜在的强盗,其中用户行为的原型模型是离线学习的,用户的潜在状态是从其与模型的交互中在线推断的。我们称这个问题为一个非平稳的潜在的强盗。我们提出了汤普森采样算法的遗憾最小化在非平稳的潜在土匪,分析他们,并评估他们在现实世界的数据集。我们方法的主要优势在于它可以与丰富的离线学习模型相结合,这些模型可能会被错误指定,然后使用后验采样在线微调。通过这种方式,我们自然地结合了线下和在线学习的优势。
2020-12-01 cs.AI cs.LG
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中,我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题,并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外,我们进行实验,基于网格的机器人导航域,以证明其效率和鲁棒性,通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Showing Your Offline Reinforcement Learning Work: Online Evaluation Budget Matters
Tinkoff(廷科夫银行)
在这项工作中,我们认为在线评估预算的重要性,深离线RL算法的可靠比较。首先,我们描述了在线评价预算是问题依赖性的,其中一些问题允许更少,但其他更多。其次,我们证明了算法之间的偏好在机器人、金融和能源管理等各种决策领域都是依赖于时间的。根据以上几点,我们建议报告不同在线评估预算下深度离线RL算法的性能。为了促进这一点,我们建议使用NLP领域的报告工具,预期验证性能。这种技术使得在不同预算下可靠地估计预期的最大性能成为可能,同时不需要超参数搜索之外的任何额外计算。通过使用这个工具,我们还表明,在有限的预算范围内工作时,行为克隆通常更有利于离线RL算法。
2022-06-05 cs.AI cs.LG
Offline-Online Reinforcement Learning for Energy Pricing in Office Demand Response: Lowering Energy and Data Costs
University of California, Berkeley(加州大学伯克利分校);University of Illinois, Chicago(伊利诺伊大学芝加哥分校)
我们的团队建议在办公楼中进行全面的能源需求响应实验。虽然这是一项令人兴奋的努力,将为社区提供价值,但为强化学习代理收集训练数据的成本很高,而且会受到限制。在这项工作中,我们研究如何利用离线培训来最大限度地减少数据成本(加速融合)和计划实施成本。我们提出了两种方法来做到这一点:预训练我们的模型,以热启动实验与模拟任务,并使用一个规划模型训练,以模拟现实世界的奖励代理。我们提出的结果表明,实用的离线强化学习,以有效的价格设定的能源需求响应问题。
2021-08-14 cs.AI cs.LG
Reinforcement Learning in Non-Stationary Environments
Indian Institute of Science(印度科学学院);Indian Institute of Technology, Dharwad(印度理工学院达尔瓦德分校)
强化学习(RL)方法在静态环境中学习最优决策。然而,对环境的平稳假设是非常有限制的。在许多现实世界的问题,如交通信号控制,机器人应用,人们经常遇到的情况下,非平稳的环境,在这些情况下,RL方法产生次优的决策。因此,在本文中,我们考虑的问题,开发RL方法,在非平稳环境中获得最佳决策。这个问题的目标是最大化的长期折扣奖励时,环境的基础模型随时间变化而实现。为了实现这一目标,我们首先采用变点算法来检测环境统计数据的变化,然后开发一种RL算法,使长期奖励最大化。我们说明,我们的变点方法检测到的环境模型的变化有效,从而有利于RL算法在最大化的长期回报。我们进一步验证了所提出的解决方案的有效性,非平稳随机马尔可夫决策过程,传感器能量管理问题和交通信号控制问题。
2020-05-19 cs.AI cs.LG stat.ML
ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
本文提出ROAD框架,通过双层优化解决离线数据与在线策略间分布偏移问题,提升稳定性和性能。
2026-05-14 cs.AI cs.LG
Controllable Flow Matching for Online Reinforcement Learning
CtrlFlow通过条件流匹配直接建模轨迹分布,提升在线强化学习的样本效率和策略鲁棒性。
2026-01-03 cs.AI cs.LG
The Online Coupon-Collector Problem and Its Application to Lifelong Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
在一系列相关任务之间传递知识是强化学习(RL)的一个重要挑战。尽管有许多令人鼓舞的经验证据,但很少有理论分析。在本文中,我们研究了一类终身强化学习问题:代理解决一系列的任务建模为有限的马尔可夫决策过程(MDP),其中每一个是从一个有限的MDP集相同的状态/动作集和不同的过渡/奖励功能。出于终身学习中跨任务探索的需要,我们提出了一个新的在线优惠券收集器问题,并给出了一个最优算法。这使我们能够开发一种新的终身强化学习算法,即使任务序列是由对手生成的,其任务序列的总体样本复杂度也比单任务学习小得多。该算法的好处在模拟问题,包括最近推出的人机交互问题。
2015-09-21 cs.AI cs.LG
Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
School of Future Technology, Southeast University, Nanjing, China(东南大学未来技术学院,南京,中国);School of Automation, Southeast University, Nanjing, China(东南大学自动化学院,南京,中国)
本文提出AES方法,通过动态调整熵系数以应对环境漂移,减少性能下降并加快恢复速度。
2026-07-15 cs.AI cs.LG
UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning
Zhejiang University(浙江大学);Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
针对GUI智能体离线与在线强化学习的困境,提出半在线强化学习范式,在离线轨迹上模拟在线交互,引入折扣回报和双级优势优化,并在多个基准上显著提升性能。
2025-09-24 cs.AI cs.LG
Why Online Reinforcement Learning is Causal
Simon Fraser University(西蒙菲莎大学);University of Waterloo(滑铁卢大学)
本文论证在线强化学习中条件概率具有因果性,明确因果建模最能发挥作用的场景是离线强化学习,并形式化了核心论点,介绍了离线RL中利用因果模型的相关方法。
2024-07-10 cs.AI cs.LG
Cascading Non-Stationary Bandits: Online Learning to Rank in the Non-Stationary Cascade Model
University of Amsterdam(阿姆斯特丹大学)
非平稳性出现在许多在线应用中,如网络搜索和广告。在本文中,我们研究了在线学习排名问题的非平稳环境中,用户的偏好突然改变,在一个未知的时刻。我们考虑的问题,确定K个最有吸引力的项目,并提出级联非平稳土匪,一个在线学习变种的级联模型,其中用户浏览排名列表从上到下,点击第一个有吸引力的项目。我们提出了两种算法来解决这个非平稳问题:CascadeDUCB和CascadeSWUCB。我们分析了它们的性能,并推导出这些算法的n步遗憾的间隙相关的上界。我们还建立了一个下界级联非平稳土匪的遗憾,并表明这两种算法匹配的下限的对数因子。最后,我们评估他们的表现在现实世界的网络搜索点击数据集。
2019-11-22 cs.LG stat.ML
MOORe: Model-based Offline-to-Online Reinforcement Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
随着离线强化学习(RL)的成功,离线训练的RL策略在在线部署时有可能进一步改进。策略的平稳传输在安全的实际部署中至关重要。此外,策略的快速自适应在实际的在线性能改进中起着至关重要的作用。为了解决这些挑战,我们提出了一种简单而有效的算法,基于模型的离线到在线强化学习(MOORe),它采用了一个优先级的采样方案,可以动态调整离线和在线数据的平滑和有效的在线适应的政策。我们提供了一个理论基础,我们的算法设计。在D4RL基准测试上的实验结果表明,该算法在实现样本有效的在线自适应的同时,能够平滑地从离线阶段过渡到在线阶段,并且性能也明显优于现有方法。
2022-01-25 cs.LG
SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning
vivo AI Lab(vivo人工智能实验室);Zhejiang Lab(浙江实验室);CUHK MMLab(香港大学多模态实验室);Hubei University(湖北省大学);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院)
SOLAR-RL通过整合全局轨迹信息到离线学习中,提升GUI任务的长horizon完成率和鲁棒性,提供高效样本利用的自主导航方案。
2026-04-24 cs.AI cs.LG
SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance
针对现有离线到在线强化学习需维护离线数据集、在线样本利用效率低的问题,提出SAMG范式,通过冻结离线评论家提供状态-动作级引导,无需重训离线数据,在D4RL基准上性能优于现有算法。
2025-02-21 cs.AI cs.LG
Towards Efficient Online Tuning of VLM Agents via Counterfactual Soft Reinforcement Learning
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
本文提出反事实软强化学习方法CoSo,通过动态评估token对动作的因果影响来优化VLM智能体的在线探索,并在多种任务中验证了其提升探索效率和性能的有效性。
2025-06-03 cs.AI cs.LG
A Behavior-Aware Approach for Deep Reinforcement Learning in Non-stationary Environments without Known Change Points
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究院)
针对非平稳环境下深度强化学习性能下降的问题,提出行为感知检测与适应(BADA)框架,利用Wasserstein距离检测环境变化并通过行为正则化适应新环境,实验证明其优于现有算法。
2024-05-23 cs.AI cs.LG
Factored Adaptation for Non-Stationary Reinforcement Learning
City University of Hong Kong(香港城市大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Amsterdam(阿姆斯特丹大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
处理环境中的非平稳性(例如,在过渡动态中)和目标(例如,是一个具有挑战性的问题,在强化学习(RL)的实际应用中至关重要。虽然目前大多数方法将变化建模为单个共享嵌入向量,但我们利用最近因果关系文献的见解,根据个体潜在变化因素和不同环境中的因果关系图来建模非平稳性。特别是,我们提出了非平稳RL的因子自适应(FANS-RL),这是一种因子自适应方法,它可以联合学习因子MDP的因果结构和个体时变变化因子的因子表示。我们证明,在标准的假设下,我们可以完全恢复的因果图表示的因素化的过渡和奖励功能,以及个别的变化因素和状态组件之间的部分结构。通过我们的总体框架,我们可以考虑具有不同功能类型和变化频率的一般非平稳场景,包括跨事件和事件内的变化。实验结果表明,FANS-RL在返回、潜在状态表示的紧凑性以及对不同程度的非平稳性的鲁棒性方面优于现有方法。
2022-10-18 cs.AI cs.LG
The complexity of non-stationary reinforcement learning
Columbia University(哥伦比亚大学)
针对非平稳强化学习中的持续学习难题,本文基于SETH证明更新单个状态-动作对的概率或奖励在最坏情况下需近线性于状态数的时间,而新增状态-动作对则明显更容易。
2023-07-13 cs.AI cs.DS cs.LG
Context-Aware Safe Reinforcement Learning for Non-Stationary Environments
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
在为现实任务部署强化学习代理时,安全性是一个关键问题。最近,安全的强化学习算法已经被开发出来,以优化代理的性能,同时避免违反安全约束。然而,很少有研究涉及到环境中的非平稳扰动,这可能会导致灾难性的后果。在本文中,我们提出了上下文感知安全的强化学习(CASRL)方法,一个元学习框架,以实现安全适应非平稳环境。我们使用一个概率潜变量模型来实现快速推断的后验环境的过渡分布的上下文数据。安全约束,然后评估与不确定性感知轨迹采样。安全违规的高成本导致数据集中不安全记录的稀缺性。我们通过在模型训练过程中启用优先级采样和在约束规划过程中使用领域知识制定先验安全约束来解决这个问题。该算法在现实的安全关键环境中进行评估,非平稳干扰。结果表明,该算法在安全性和鲁棒性方面显着优于现有的基线。
2021-01-02 cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University(南京大学);East China Normal University(华东师范大学)
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL(follow-the-regularized-leader)和MD(mirror descent)更新思想的启发,我们提出了一种无遗憾风格的强化学习算法PORL,而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证,这对于对抗和合作博弈都很重要。实证研究表明,在静态环境中,如MuJoCo运动控制任务,PORL的表现与软演员-评论家(SAC)算法一样好,如果不是更好的话;在非静态环境中,包括动态环境,对抗训练和竞争游戏,PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Non-stationary Reinforcement Learning without Prior Knowledge: An Optimal Black-box Approach
University of Southern California(南加州大学)
我们提出了一个黑盒减少,把一个特定的强化学习算法与最佳遗憾(近)静态环境中的另一个算法与最佳动态遗憾在非静态环境中,重要的是没有任何先验知识的非平稳程度。通过将不同的算法插入到我们的黑盒子中,我们提供了一个例子列表,表明我们的方法不仅可以恢复通过非常专业的算法实现的(上下文)多武装匪徒的最新结果,而且还可以以各种方式显着提高(广义)线性匪徒,情节MDP和无限地平线MDP的最新技术水平。具体地说,在大多数情况下,我们的算法实现了最佳的动态遗憾$\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, Δ^{1/3}T^{2/3}\})$,其中$T$是轮数和$L$和$Δ$分别是世界的变化的数量和量,而以前的作品只获得次优的边界和/或需要的知识$L$和$Δ$。
2021-09-05 cs.AI cs.LG stat.ML
Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
The University of Tokyo(东京大学);RIKEN AIP(日本科学技术厅AIP)
本研究证明Transformer在非平稳强化学习中可实现近乎最优的动态遗憾界,并实验验证其能匹配或超越现有专家算法。
2025-10-23 cs.LG stat.ML
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案,基于强化学习的决策树(RLDT),它使用强化学习(RL)主动检查数据点的最小数量的特征,以高精度对其进行分类。此外,RLDT优化了长期回报,提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明,这种方法执行以及批处理学习算法和其他在线决策树学习算法,同时使显着更少的查询的数据点的功能。我们还表明,RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
Online Regret Bounds for Undiscounted Continuous Reinforcement Learning
Montanuniversitaet Leoben(莱奥本矿业大学);INRIA Lille-Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
在连续状态空间中,我们得到了非折扣强化学习的次线性后悔界。该算法结合了状态聚合与使用置信上界实现乐观面对不确定性。除了存在满足泊松方程的最优策略外,唯一的假设是报酬和转移概率的Holder连续性。
2013-02-11 cs.LG
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu(作者)
本文提出了一种整合模仿学习与强化学习的LLM微调框架,通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
A New Perspective on Transformers in Online Reinforcement Learning for Continuous Control
Cognitive AI Lab(认知人工智能实验室);Cognitive AI Lab, IAI MIPT(认知人工智能实验室,IAI MIPT)
本文探讨Transformer在在线无模型强化学习连续控制中的应用,通过研究输入条件化、组件共享与数据切片等设计问题,提出稳定架构与训练策略,在多种任务中实现有竞争力的性能。
2025-10-15 cs.AI cs.LG cs.RO
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);INRIA(法国国家信息与自动化研究所)
通过使用蒙特卡罗树搜索或模型预测控制,多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond},多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中,我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难,软策略更新:即使在没有近似的情况下,相反的1步贪婪的情况下,单调的政策改善是不能保证的,除非更新步长足够大。特别关心这个困难,我们制定和分析在线和近似算法,使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
Online Resource Allocation with Non-Stationary Customers
Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运营研究与分析学院)
提出一种在线资源分配算法,解决非平稳客户到达与未知点击率问题,结合随机上下文老虎机与在线匹配技术,实现次线性遗憾与最优竞争比,并在多种场景下获得接近最优收入。
2024-06-02 cs.LG math.OC
ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Bilibili(哔哩哔哩)
针对离线到在线强化学习在线阶段性能下降和提升慢的问题,提出ENOTO框架,通过增加Q网络数量、放宽悲观估计并引入集成探索,显著提升训练稳定性、学习效率与最终性能。
2024-07-21 cs.AI cs.LG cs.RO
A Framework and Method for Online Inverse Reinforcement Learning
University of Georgia(佐治亚大学);University of Southern Mississippi(南密西西比大学)
逆强化学习(IRL)是从对Agent在任务上的行为的观察中学习其偏好的问题。虽然这个问题已经得到了很好的研究,相关的问题{ \em online} IRL-其中的意见是递增累积的,但应用程序的需求往往禁止一个完整的IRL方法-收到了相对较少的关注。我们介绍了第一个正式的框架在线IRL,称为增量IRL(I2 RL),和一种新的方法,先进的最大熵IRL与隐藏变量,到这个设置。我们的形式分析表明,新方法具有单调改善的性能与更多的示范数据,以及概率有界的误差,完全和部分的可观测性。在一个模拟机器人应用程序中的实验,穿透一个连续的巡逻下闭塞显示相对改善的性能和速度的新方法,并验证了在线IRL的效用。
2018-05-21 cs.AI cs.LG stat.ML