Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI(谷歌云AI);University of Technology Sydney(悉尼科技大学)
我们提出了一种新的自适应迁移学习框架,学习迁移学习(L2TL),通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化,并自适应地调整组成损失权重。权重的自适应是基于强化学习(RL)选择策略,以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下,L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra(庞培法布拉大学)
稀疏奖励域对于强化学习算法是具有挑战性的,因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中,我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间,这是常见的一系列任务。该算法引入了子任务,其中包括由压缩引起的状态分区之间的移动。结果表明,该算法可以成功地解决复杂的稀疏回报域,并转移知识,以解决新的,以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学)
本文提出了一个在线迁移框架来捕捉代理之间的交互,并表明,目前的迁移学习强化学习是一个特殊的情况下,在线迁移。此外,本文将现有的代理-教学-代理方法重新定性为在线传输,并从三种方式分析了一种这样的教学方法。首先,证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次,证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三,通过教学,我们证明了渐近性能不会受到损害。此外,所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
Pessimism Principle Can Be Effective: Towards a Framework for Zero-Shot Transfer Reinforcement Learning
University of Central Florida(中佛罗里达大学)
针对迁移强化学习中缺乏性能保证和负迁移风险的问题,提出基于悲观原则的框架,通过构建并优化保守估计提供性能下界,避免负迁移,并开发具有收敛保证的分布式算法。
2025-05-29 cs.LG
Structural Similarity for Improved Transfer in Reinforcement Learning
Johns Hopkins University Applied Physics Lab(约翰斯·霍普金斯大学应用物理实验室)
迁移学习是开发高性能RL代理的一种越来越常见的方法。然而,如何定义源任务和目标任务之间的关系,以及这种关系如何有助于成功的转移,还没有得到很好的理解。我们提出了一种算法,称为结构相似性两个MDPS,或SS 2,计算状态相似性度量的状态在两个有限的MDPs基于先前开发的互模拟度量,并表明该措施满足的距离度量的属性。然后,通过GridWorld导航任务的实证结果,我们提供的证据表明,距离测量可以用来提高传输性能的Q-Learning代理比以前的实现。
2022-07-27 cs.LG
Pattern Transfer Learning for Reinforcement Learning in Order Dispatching
North Carolina State University(北卡罗来纳州立大学);London School of Economics and Political Science(伦敦政治经济学院)
订单调度是拼车平台的核心问题之一。最近,基于值的强化学习算法在这个问题上表现出了良好的性能。然而,在实际应用中,需求-供给系统的非平稳性对重新利用在不同时间段生成的数据来学习价值函数提出了挑战。在这项工作中,由于某些状态的值之间的相对关系在各种环境中基本上是稳定的,我们提出了一个模式迁移学习框架,用于基于值的强化学习在订单调度问题。我们的方法有效地捕获的值模式,结合一致性惩罚。实验证明了该方法的优越性能。
2021-06-18 cs.LG
Advantages and Limitations of using Successor Features for Transfer in Reinforcement Learning
Brown University(布朗大学)
强化学习的一个核心问题是如何学习支持算法缩放和重用来自不同任务的学习信息的特征表示。后继特征通过学习满足时间约束的特征表示来解决这个问题。我们提出了一种实现的方法,从奖励函数的特征表示,使其适合于域之间的知识转移。然后,我们评估使用后继特征进行传输的优点和局限性。
2017-07-31 cs.AI cs.LG stat.ML
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute(佐治亚理工研究院)
强化学习(RL)中的探索-利用权衡是一个众所周知的和大量研究的问题,其平衡贪婪动作选择与新颖经验,并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而,在在线任务转移的背景下,在在线操作过程中任务发生变化,我们假设,预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此,我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中,我们回顾了强化学习探索方法,定义了一个分类,以组织它们,分析这些方法的任务转移的背景下的差异,并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
On Neural Consolidation for Transfer in Reinforcement Learning
ISAE-SUPAERO, Université de Toulouse(图卢兹大学高等航空航天学院);Sandbox AQ(Sandbox AQ公司)
虽然迁移学习被认为是深度强化学习的一个里程碑,但其背后的机制仍然知之甚少。特别是,预测知识是否可以在两个给定的任务之间转移仍然是一个悬而未决的问题。在这项工作中,我们探索使用网络蒸馏作为一种特征提取方法,以更好地理解的背景下,转移可能发生。值得注意的是,我们表明,蒸馏不会阻止知识转移,包括从多个任务转移到一个新的任务时,我们将这些结果与没有事先蒸馏的转移进行比较。由于不同游戏之间的差异性,我们将工作重点放在Atari基准上,但也考虑到它们在视觉功能方面的相似性。
2022-10-05 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而,这似乎与生物世界中技能转移的方式相去甚远:人类和动物能够在类似任务之间快速适应学到的行为,并在遇到新情况时学习新技能。在这里,我们试图回答这个问题:学习结合适应和探索会导致更有效地转移领域之间的政策?我们引入了一个原则性的机制,可以“自适应学习”,即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明,所提出的方法学会无缝地结合学习适应和探索,并导致一个强大的政策转移算法,显着降低样本的复杂性,在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Task Adaptation of Reinforcement Learning-based NAS Agents through Transfer Learning
University of Antwerp(安特卫普大学);imec;IDLab - Faculty of Applied Engineering(IDLab - 应用工程学院)
本文评估基于强化学习的NAS智能体在Trans-NASBench-101基准上的任务迁移能力,发现预训练能提升除1个任务外的最终性能并显著缩短训练时间,有效降低初始计算成本。
2024-12-19 cs.LG
Disentangling Transfer in Continual Reinforcement Learning
Jagiellonian University(雅盖隆大学);DeepMind(深度思维);Polish Academy of Sciences(波兰科学院);Ideas NCBR(Ideas国家研究与发展中心)
持续学习系统从先前看到的任务转移知识以便最大化新任务的性能的能力是该领域的重大挑战,限制了持续学习解决方案对现实场景的适用性。因此,本研究的目的是扩大我们对迁移及其驱动力的理解,在特定的情况下,持续强化学习。我们采用SAC作为底层RL算法和连续世界作为一套连续控制任务。我们系统地研究了SAC的不同组成部分(演员和评论家,探索和数据)如何影响传输效率,并提供了有关各种建模选项的建议。最佳选择集,称为ClonEx-SAC,是在最近的连续世界基准上评估的。ClonEx-SAC的最终成功率为87%,而PackNet为80%,是基准测试中最好的方法。此外,根据Continual World提供的度量,转移从0.18增长到0.54。
2022-09-28 cs.LG
Deep Transfer $Q$-Learning for Offline Non-Stationary Reinforcement Learning
Princeton University(普林斯顿大学);New York University(纽约大学)
针对非平稳有限时域马尔可夫决策过程的动态决策场景,提出迁移深度$Q^*$-学习方法,通过重加权目标程序构建可迁移RL样本,解决现有迁移学习方法不适用于RL的问题,提升目标群体RL性能。
2025-04-11 cs.LG stat.ML
REPAINT: Knowledge Transfer in Deep Reinforcement Learning
Amazon Web Services(亚马逊云科技)
通过利用先前学习的任务来加速复杂任务的学习过程一直是强化学习中最具挑战性的问题之一,特别是当源任务和目标任务之间的相似性较低时。本文提出了一种用于深度强化学习中知识转移的REPresentation And Instance Transfer(REPAINT)算法。REPAINT不仅将预先训练好的教师策略的表征转移到同策略学习中,而且使用基于经验选择的方法将遵循教师策略收集的有用样本转移到离策略学习中。我们对几个基准任务的实验结果表明,REPAINT显着减少了任务相似性的一般情况下的总训练时间。特别是,当源任务与目标任务不相似或子任务时,REPAINT在训练时间减少和返回分数的渐近性能方面都优于其他基线。
2021-05-26 cs.AI cs.LG cs.RO
Universal Successor Representations for Transfer Reinforcement Learning
University of Alberta(阿尔伯塔大学);MILA(米拉魁北克人工智能研究所)
迁移强化学习的目标是从一组以前的任务推广到看不见的新任务。在这项工作中,我们专注于转移的情况下,任务之间的动态是相同的,但他们的目标不同。虽然一般的价值函数(Sutton等人,2011年)已被证明对知识转移有用,但学习通用价值函数在实践中可能具有挑战性。为了解决这个问题,我们提出(1)使用通用后继表示(USR)来表示可转移的知识,以及(2)可以通过与环境交互来训练的USR近似器(USRA)。我们的实验表明,USR可以有效地应用于新的任务,和代理初始化训练的USRA可以达到目标,大大快于随机初始化。
2018-04-11 cs.AI cs.LG stat.ML
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
本文提出轨迹编码增强(TEA)方法,通过整合序列编码器提取的动态潜在表示来扩展状态空间,有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors
Cornell Tech(康奈尔科技)
最近在深度强化学习方面的工作已经允许算法仅仅从游戏提供的奖励来学习诸如Atari 2600游戏之类的复杂任务,但是这些算法目前需要数百万个训练步骤才能学习,使得它们比人类慢大约五个数量级。其中一个原因是,人类构建了适用于问题集合的强大共享表示,使其更容易吸收新的变体。本文首先介绍了自动生成的游戏集的想法,以帮助迁移学习研究,然后通过展示模型可以从相关的建筑先验的结合中大大受益,从而展示了共享表示的实用性。这种技术在玩具问题集上提供了显着的50倍正迁移。
2018-01-07 cs.AI cs.LG
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学)
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架,用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆(AEV)的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度,避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明,与相似任务相关的决策策略是可传递的。结果表明,所提出的控制框架可以减少时间消耗,实现在线实施.
2020-10-10 cs.AI cs.LG
Transfer in Deep Reinforcement Learning using Knowledge Graphs
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
文本冒险游戏,玩家必须通过文本描述来理解世界,并通过文本描述来宣布行动,为语言中的基础行动提供了一块垫脚石。先前的工作已经证明,使用知识图谱作为状态表示和问答来预训练深度Q网络有助于更快的控制策略转移。在本文中,我们探讨了使用知识图谱作为一种表示领域知识转移训练文本冒险玩强化学习代理。我们的方法在多个计算机生成和人类创作的游戏中进行了测试,这些游戏在领域和复杂性方面各不相同,并证明我们的迁移学习方法可以让我们更快地学习更高质量的控制策略。
2019-08-19 cs.AI cs.CL cs.LG
Actor-Mimic: Deep Multitask and Transfer Reinforcement Learning
University of Toronto(多伦多大学)
在多个环境中行动并将先前的知识转移到新情况的能力可以被认为是任何智能代理的关键方面。为了实现这一目标,我们定义了一种新的方法,多任务和迁移学习,使一个自主智能体学习如何同时在多个任务中的行为,然后将其知识推广到新的领域。这种方法被称为“Actor-Mimic”,利用深度强化学习和模型压缩技术来训练单个策略网络,该策略网络通过使用多个专家教师的指导来学习如何在一组不同的任务中采取行动。然后,我们证明了深度策略网络学习的表示能够在没有事先专家指导的情况下推广到新任务,从而加快了在新环境中的学习。虽然我们的方法可以在一般情况下适用于广泛的问题,我们使用Atari游戏作为测试环境来演示这些方法。
2016-02-22 cs.LG
On the Verge of Solving Rocket League using Deep Reinforcement Learning and Sim-to-sim Transfer
TU Dortmund University(多特蒙德工业大学);Rhine-Waal University of Applied Sciences(莱茵-瓦尔应用科学大学);Universiteit Leiden(莱顿大学)
经过自主训练的智能体应该能够很好地玩视频游戏,它们要么依赖于快速的模拟速度,要么依赖于同时运行的数千台机器的大量并行化。这项工作探讨了第三种方法,建立在机器人技术,即仿真到现实迁移,或者如果游戏被认为是一个模拟本身,模拟到模拟转移。在火箭联赛的情况下,我们证明了守门员和前锋的单一行为可以在模拟环境中使用深度强化学习成功学习,并转移回原始游戏。虽然实现的训练模拟在一定程度上是不准确的,守门员代理保存近100%的面临的投篮一旦转移,而罢工代理得分在约75%的情况下。因此,经过训练的智能体具有足够的鲁棒性,能够推广到火箭联赛的目标领域。
2022-05-24 cs.LG
Multi-Source Transfer Learning for Deep Model-Based Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学);University of Groningen(格罗宁根大学)
针对强化学习中源任务选择与迁移组件确定的难题,提出模块化多源迁移学习技术,可自动从源任务提取有用信息,不受状态-动作空间与奖励函数差异影响,并经视觉控制跨域实验验证。
2023-04-27 cs.AI cs.LG
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University(台湾大学)
在过去的几年里,深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括,并利用先前的经验更快地学习新技能。然而,目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识,并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法,这是一种流行的强化学习基准,并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Probing Transfer in Deep Reinforcement Learning without Task Engineering
DeepMind(深度思维)
我们评估了使用Atari 2600控制台支持的原始游戏课程作为深度强化学习代理的异构迁移基准。游戏设计师创建课程使用几个离散的修改组合的基本版本的游戏,如太空入侵者,突破和高速公路,使他们逐步更具挑战性的人类玩家。通过将这些修改正式组织成几个变化因素,我们能够证明方差分析(ANOVA)是研究人类相关领域变化对深度强化学习代理的学习和迁移性能的影响的有力工具。由于我们不需要手动任务工程,因此利用原始的多因子设计避免了无意中偏向实验设置的陷阱。我们发现,游戏设计因素有一个大的和统计上显着的影响代理的学习能力,所以他们的组合相互作用。此外,我们表明,zero-shot转移从基本的游戏,他们各自的变化是可能的,但在性能的差异也很大程度上解释了因素之间的相互作用。因此,我们认为Atari游戏课程为RL中的迁移学习提供了一个具有挑战性的基准,可以帮助社区更好地了解RL代理的泛化能力,这些能力对人类泛化性能有意义的影响。首先,我们报告说,定期训练的代理的值函数微调在大多数情况下实现了正迁移,但算法创新的空间仍然很大。我们的结论是,从多个变量的选择性转移可以进一步提高性能。
2022-10-22 cs.LG
Transferring Reinforcement Learning for DC-DC Buck Converter Control via Duty Ratio Mapping: From Simulation to Implementation
Shanghai University of Electric Power(上海电力大学)
强化学习(RL)控制方法在电力电子系统中的应用已成为一个新兴的课题,而仿真问题仍然是一个具有挑战性的问题,因为文献中很少有结果可以参考。实际上,由于仿真模型和现实系统之间不可避免的不匹配,离线训练的RL控制策略在实际实现过程中可能会遇到意想不到的障碍。作为本文的主要贡献,提出了一种通过精心设计的占空比映射(DRM)的DC-DC降压转换器的传输方法。然后,提出了一个详细的模拟到真实的过程,以实现无模型深度强化学习(DRL)控制器。通过对比实验研究,证明了该方法的可行性和有效性。
2021-10-20 cs.LG cs.SY eess.SY
Energy-Based Transfer for Reinforcement Learning
Purdue University(普渡大学);AWS AI(AWS人工智能);Carnegie Mellon University(卡内基梅隆大学)
针对强化学习样本效率低的问题,提出基于能量的迁移学习方法,利用分布外检测选择性引导,提升单任务和多任务性能。
2026-10-22 cs.AI cs.LG
Sim2Real Transfer for Reinforcement Learning without Dynamics Randomization
KUKA Deutschland GmbH(库卡德国有限公司)
在这项工作中,我们展示了如何使用联合和carbohydrates约束下的操作空间控制框架(OSC)的强化学习在carbohydrates空间。因此,我们的方法能够快速学习,并具有可调节的自由度,同时我们能够在KUKA LBR iiwa桩孔内任务中传输策略,而无需额外的动态随机化。在模拟学习开始之前,我们执行系统辨识,以尽可能地使模拟环境与真实机器人的动态一致。向OSC控制器添加约束允许我们在真实机器人上以安全的方式学习,或者学习可以容易地从仿真转移到真实机器人的灵活的目标条件化策略。
2020-02-19 cs.AI cs.LG cs.RO
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business(雅典经济与商业大学)
我们提出了一个概率框架,直接插入先验知识的强化学习(RL)算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合,从而允许实现跨任务的迁移学习。所得到的方法是灵活的,它可以很容易地结合到任何标准的政策和政策上的算法,如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例,这些规则可以在各种各样的任务(例如导航任务)中使用。此外,我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法,并展示了如何将其与贝叶斯传输RL。最后,我们展示了我们的方法解决迷宫,并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
The Limits of Transfer Reinforcement Learning with Latent Low-rank Structure
Cornell University(康奈尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对强化学习因状态动作空间过大导致成本过高的问题,研究具有潜在低秩结构的迁移RL,提出迁移能力系数α,设计算法学习源MDP潜在表示以降低目标MDP遗憾界的空间依赖,并证明多数设置下算法的极小极大最优性。
2024-10-28 cs.LG
Transfer Reinforcement Learning for Differing Action Spaces via Q-Network Representations
University of Texas at Dallas(德克萨斯大学达拉斯分校)
强化学习中的迁移学习方法旨在通过利用从在类似源域上接受过训练的其他代理学到的知识来帮助代理学习其目标域。例如,最近的研究重点在这个空间内已被放置在具有不同的过渡动力学和奖励功能的任务之间的知识转移;然而,很少关注具有不同动作空间的任务之间的知识转移。在本文中,我们的任务,迁移学习不同的动作空间之间的域。我们提出了一种基于源嵌入相似性的奖励塑造方法,该方法适用于具有离散和连续动作空间的域。我们的方法的有效性进行评估转让限制的动作空间中的Acrobot-v1和Pendulum-v0域。与两个基线的比较表明,我们的方法在这些连续的动作空间中没有优于这些基线,但在这些离散的动作空间中确实有所改善。最后,我们的分析与未来的方向,这项工作。
2022-04-21 cs.AI cs.LG
Knowledge Transfer in Deep Reinforcement Learning via an RL-Specific GAN-Based Correspondence Function
Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所);Czech University of Life Sciences(捷克生命科学大学)
本文提出一种针对强化学习改进的循环生成对抗网络,通过模型损失和Q损失实现任务间知识迁移,在Pong游戏上达到100%迁移或减少30%训练时间,优于标准GAN方法。
2024-11-11 cs.AI cs.LG
Fractional Transfer Learning for Deep Model-Based Reinforcement Learning
University of Groningen(格罗宁根大学)
众所周知,强化学习(RL)需要大量的数据,以便RL代理学习执行复杂的任务。基于模型的强化学习的最新进展使智能体能够更有效地利用数据,因为它使智能体能够通过利用环境的内部世界模型来学习视觉环境的行为。提高样本效率也可以通过重用以前学习的任务中的知识来实现,但迁移学习仍然是RL中具有挑战性的主题。基于参数的迁移学习通常使用全有或全无的方法来完成,其中网络的参数被完全转移或随机初始化。在这项工作中,我们提出了一个简单的替代方法:分数迁移学习。这个想法是转移知识的一部分,而不是像随机初始化那样丢弃潜在有用的知识。使用基于世界模型的Dreamer算法,我们确定这种方法适用于哪种类型的组件,并在新的多源迁移学习设置中进行实验。结果表明,分数迁移学习往往导致大幅提高性能和更快的学习相比,从头开始和随机初始化学习。
2021-08-14 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University(普渡大学)
本文提出对抗鲁棒策略优化(ARPO)算法,通过生成器扰动观测与策略网络最小化影响的博弈,去除对混淆特征的过拟合,提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning
Instituto Nacional de Astrofísica, Óptica y Electrónica(墨西哥国立天体物理、光学与电子研究所);University of Bristol(布里斯托大学)
本文针对跨域强化学习的源任务选择问题,提出基于编码器-解码器与半监督对齐损失的任务相似性度量方法,可在无配对或专家数据条件下实现鲁棒的知识选择与策略迁移。
2023-12-05 cs.AI cs.LG
Cross-Domain Transfer in Reinforcement Learning using Target Apprentice
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的方法来迁移学习(TL)的强化学习(RL)的跨域任务。许多可用的技术接近迁移架构作为加速目标任务学习的方法。我们建议直接在相关领域中调整和重用映射的源任务优化策略。我们表明,从一个相关的源任务的最优策略可以接近最优的目标域提供了一个自适应的政策,目标和源之间的模型误差。这种策略增强的主要好处是在多个相关领域中推广策略,而无需重新学习新任务。我们的研究结果表明,这种架构导致更好的样本效率的转移,降低目标任务学习的目标学徒学习的样本复杂度。
2018-01-22 cs.AI cs.LG stat.ML
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University(普渡大学)
深度强化学习(RL)代理通常会过拟合训练环境,导致泛化性能差。在本文中,我们提出了思想者,一个自举的方法,以消除对抗性的影响,从观察的混淆功能,在无监督的方式,从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹,该生成器将轨迹从一个集群的样式转换为另一个,同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明,思想者导致更好的泛化能力在Procgen基准测试环境相比,基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
Transfer with Model Features in Reinforcement Learning
Brown University(布朗大学)
强化学习中的一个关键问题是智能体可以学习哪种表示来有效地在不同任务之间重用知识。最近的继任者表示被证明有经验的好处,在任务之间转移知识共享的过渡动态。本文提出了模型特征:一个特征表示,集群行为等价的状态,这是相当于一个模型约简。此外,我们提出了一个后继特征模型,表明学习后继特征相当于学习模型约简。一种新的优化目标的开发,我们提供的界限表明,最大限度地减少这一目标的结果,在一个日益改善的近似模型简化。此外,我们提供了随机生成的MDP的转移实验,其不同的过渡和奖励功能,但大约保持状态之间的行为等价。这些结果表明,模型特征适用于具有不同转换和奖励函数的任务之间的转换。
2018-07-04 cs.AI cs.LG stat.ML
Adaptive Energy Management for Real Driving Conditions via Transfer Reinforcement Learning
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学);Waterloo University(滑铁卢大学)
提出了一种基于传递强化学习(RL)的并联混合动力汽车(HEV)自适应能量管理方法。这是一个双层次的方法。上一级描述了如何通过驾驶循环变换(DCT)在RL框架中对Q值表进行变换。特别是,计算了不同周期功率请求的转移概率矩阵(TPM),并采用诱导矩阵范数(IMN)作为识别变换差异并确定控制策略变更的关键标准。下层利用无模型强化学习(RL)算法,根据变换后的Q值表和TPM确定相应的控制策略。数值试验表明,通过调节IMN值,可以调节传递性能,传递RL控制器可以获得更高的燃油经济性。结果表明,该方法在计算速度和控制性能上均优于传统RL方法。
2020-07-24 cs.LG cs.SY eess.SY
Predictive Representations for Skill Transfer in Reinforcement Learning
Imperial College(帝国理工学院);UCL(伦敦大学学院)
本文提出基于状态抽象的预测状态表示,用于提升强化学习中的技能转移能力,通过引入基于选项的抽象动作实现跨任务的知识迁移。
2026-04-08 cs.LG
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说,该方法利用异步优势演员评论家(A3 C)架构,使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法,使用多个代理并行训练目标游戏的不同表示来更新模型,而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能,OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
Knowledge Transfer in Multi-Task Deep Reinforcement Learning for Continuous Control
Syracuse University(雪城大学);DiDi AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
虽然深度强化学习(DRL)已经成为许多复杂任务的一种有前途的方法,但训练能够承担多个不同连续控制任务的单个DRL智能体仍然具有挑战性。在本文中,我们提出了一个基于知识转移的多任务深度强化学习框架(KTM-DRL)的连续控制,它使一个单一的DRL代理,以实现专家级的性能在多个不同的任务,通过学习特定于任务的教师。在KTM-DRL中,多任务Agent首先利用专门为行动者-批评者体系结构设计的离线知识传递算法,从特定任务教师的经验中快速学习控制策略,然后采用在线学习算法,在教师的指导下,通过学习新的在线转换样本来进一步改进自身。我们在MuJoCo连续控制任务套件中使用两个常用的基准进行了全面的实证研究。实验结果很好地证明了KTM-DRL及其知识传递和在线学习算法的有效性,以及其在很大程度上优于最先进的。
2020-10-16 cs.AI cs.LG
Transfer in Reinforcement Learning via Regret Bounds for Learning Agents
Scool team, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 CRIStAL(Scool团队、里尔大学、Inria、CNRS、里尔中央大学、UMR 9189 CRIStAL)
针对多智能体强化学习场景,提出通过遗憾界量化迁移效用的方法,证明智能体共享观测可使总遗憾较独立学习降低√ℵ倍,为观测共享的迁移收益提供了理论界。
2025-11-13 cs.LG cs.MA
A Comparative Study of Deep Reinforcement Learning-based Transferable Energy Management Strategies for Hybrid Electric Vehicles
Beijing Institute of Technology(北京理工大学);Delft University of Technology(代尔夫特理工大学)
基于深度强化学习的能量管理策略(EMS)已成为混合动力汽车(HEV)的一种有前途的解决方案。当行驶工况发生变化时,需要对神经网络进行重新训练,这是一项费时费力的工作。选择EMS的一种更有效的方法是将深度强化学习(DRL)与迁移学习结合起来,可以将一个领域的知识迁移到另一个新领域,使新领域的网络快速达到收敛值。在迁移学习过程中,比较了不同的DRL探索方法,包括加入动作空间噪声和参数空间噪声。结果表明,加入参数空间噪声的神经网络比其他神经网络更稳定,收敛速度更快。总之,可转移EMS的最佳探索方法是在参数空间中添加噪声,而动作空间噪声和参数空间噪声的组合通常表现不佳。我们的代码可在www.example.com上获得。
2022-04-20 cs.AI cs.LG cs.SY
Beyond Fine-Tuning: Transferring Behavior in Reinforcement Learning
DeepMind(深度思维)
设计自主获取知识并使用它来有效地解决新任务的代理是强化学习中的一个重要挑战。在无监督预训练阶段获得的知识通常在奖励暴露后通过微调神经网络权重来转移,这是监督领域的常见做法。鉴于强化学习问题的性质,我们认为,标准的微调策略本身是不够的,在具有挑战性的领域的有效转移。我们引入了行为转移(BT),这是一种利用预先训练的策略进行探索的技术,它是对转移神经网络权重的补充。我们的实验表明,当在没有奖励的情况下与大规模的预训练相结合时,现有的内在动机目标可以导致复杂行为的出现。然后,BT可以利用这些预先训练的策略来发现比没有预先训练更好的解决方案,并且将BT与标准微调策略相结合会带来额外的好处。通常在需要结构化探索的领域中观察到最大的收益,包括预先训练的策略的行为与下游任务不一致的设置。
2021-06-08 cs.AI cs.LG stat.ML
CADENT: Gated Hybrid Distillation for Sample-Efficient Transfer in Reinforcement Learning
University of Central Florida(中央佛罗里达大学)
CADENT通过结合战略自动机知识与战术策略知识,提出经验门控信任机制,实现强化学习中样本高效的知识迁移。
2026-01-28 cs.AI cs.LG
Exploration in Knowledge Transfer Utilizing Reinforcement Learning
Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所);Faculty of Applied Sciences, University of West Bohemia(西波希米亚大学应用科学学院)
该研究针对知识迁移任务中的探索问题,对比了深度目标迁移Q学习中的ε贪心、玻尔兹曼、上置信界三种探索方法,经虚拟无人机问题测试,上置信界算法表现最佳,其普适性有待进一步验证。
2024-07-15 cs.AI cs.LG
Multi-granularity Knowledge Transfer for Continual Reinforcement Learning
Southwestern University of Finance and Economics(西南财经大学);Shanxi University(山西大学)
针对持续强化学习中跨任务知识迁移不足的问题,提出MT-Core框架,结合大语言模型的粗粒度目标设定与强化学习的细粒度策略学习,并构建策略库实现多粒度知识迁移,实验验证其在多样化任务上的优越性。
2025-06-05 cs.AI cs.LG
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology(以色列理工学院);McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示,通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
Reinforcement Learning in the Wild with Maximum Likelihood-based Model Transfer
Zenseact;Chalmers University of Technology(查尔姆斯理工大学);Scool;CRIStAL(里尔信号与自动化信息研究中心);CNRS(法国国家科学研究中心);University of Oslo(奥斯陆大学);University of Neuchatel(纳沙泰尔大学)
在本文中,我们研究的问题,转移现有的马尔可夫决策过程(MDP)模型,学习和规划有效地在一个未知的,但类似的MDP。我们称之为\textit{Model Transfer Reinforcement Learning (MTRL)}问题。首先,我们制定MTRL离散MDP和线性二次调节器(LQR)连续状态行动。然后,我们提出了一个通用的两阶段算法,MLEMTRL,以解决离散和连续设置的MTRL问题。在第一阶段中,MLEMTRL使用基于\textit{constrained Maximum Likelihood Estimation (MLE)}的方法来使用一组已知的MDP模型来估计目标MDP模型。在第二阶段,使用估计的目标MDP模型,MLEMTRL部署一个基于模型的规划算法适合于MDP类。从理论上讲,我们证明了最坏情况下的遗憾界限MLEMTRL在可实现和不可实现的设置。我们的经验表明,MLEMTRL允许更快地学习新的MDP比从头开始学习,并达到接近最佳的性能取决于可用的MDP和目标MDP的相似性。
2023-02-18 cs.LG
Sample Complexity of Multi-task Reinforcement Learning
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
在一系列重复学习任务中转移知识是一项挑战,并且有许多重要的应用。虽然有令人鼓舞的经验证据表明,迁移可以提高后续的重复学习任务的表现,但很少有理论分析。在本文中,我们介绍了一个新的多任务算法的一系列的重复学习任务时,每个任务的采样独立于(一个未知的)分布在一个有限的马尔可夫决策过程,其参数是最初未知的。对于这种设置,我们证明在某些假设下,每个任务的样本的复杂性的探索显着降低,由于转移相比,标准的单任务算法。我们的多任务算法还具有所需的特性,即保证不会出现负迁移:在最坏的情况下,其每个任务的样本复杂度与相应的单任务算法相当。
2013-09-26 cs.LG stat.ML
Single Episode Policy Transfer in Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
迁移和适应新的未知环境动态是强化学习(RL)的一个关键挑战。一个更大的挑战是在测试时的一次尝试中表现出接近最佳的性能,可能无法获得密集的奖励,这是目前需要多次经验推出以适应的方法无法解决的问题。为了实现单集传输在一个家庭的环境与相关的动态,我们提出了一个通用的算法,优化探针和推理模型,以快速估计潜在的潜在变量的测试动态,然后立即用作输入到一个通用的控制策略。这种模块化方法可以集成最先进的变分推理或RL算法。此外,我们的方法不需要在测试时获得奖励,使其能够在现有自适应方法无法实现的环境中执行。在不同的实验领域与一个单一的情节测试约束,我们的方法显着优于现有的自适应方法,并显示出良好的性能对基线的鲁棒传输。
2020-02-12 cs.LG stat.ML
A Unified Manifold Similarity Measure Enhancing Few-Shot, Transfer, and Reinforcement Learning in Manifold-Distributed Datasets
Western Sydney University(西悉尼大学)
本研究提出一种新的流形结构相似性度量方法,可判定数据集是否适合迁移学习,还据此构建了少样本分类器实现高准确率,并探讨了该度量在强化学习、图像识别中的应用。
2024-08-12 cs.LG
Investigating the Properties of Neural Network Representations in Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);Deepmind(深度思维);Sony AI(索尼人工智能)
该研究结合强化学习表征的两种研究视角,实证测量超2.5万组设置下的六种表征性质,提出关联表征性质与迁移性能的分析方法,并通过Atari 2600实验验证了方法的通用性。
2023-05-05 cs.LG
Universal Successor Features for Transfer Reinforcement Learning
University of Alberta(阿尔伯塔大学);Université de Montréal(蒙特利尔大学);MILA(MILA蒙特利尔学习算法研究所)
强化学习(RL)中的迁移是指将从先前任务中获得的知识应用于解决相关任务的思想。学习通用价值函数(Schaul等人,2015),它概括了目标和状态,以前已被证明是有用的转移。然而,后继特征被认为比用于转移的值更合适(Dayan,1993; Barreto等人,2017),尽管它们不能直接概括为新的目标。在本文中,我们提出了(1)通用后继特征(USF)来捕获环境的潜在动态,同时允许泛化到看不见的目标,以及(2)可以通过与环境交互来训练的灵活的端到端USF模型。我们表明,学习USFs是兼容的任何RL算法,学习状态值使用时间差的方法。我们在一个简单的网格世界和两个MuJoCo环境中的实验表明,USF可以大大加快学习多个任务时的训练,并可以有效地将知识转移到新的任务。
2020-01-05 cs.AI cs.LG stat.ML