Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而,这似乎与生物世界中技能转移的方式相去甚远:人类和动物能够在类似任务之间快速适应学到的行为,并在遇到新情况时学习新技能。在这里,我们试图回答这个问题:学习结合适应和探索会导致更有效地转移领域之间的政策?我们引入了一个原则性的机制,可以“自适应学习”,即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明,所提出的方法学会无缝地结合学习适应和探索,并导致一个强大的政策转移算法,显着降低样本的复杂性,在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors
Cornell Tech(康奈尔科技)
最近在深度强化学习方面的工作已经允许算法仅仅从游戏提供的奖励来学习诸如Atari 2600游戏之类的复杂任务,但是这些算法目前需要数百万个训练步骤才能学习,使得它们比人类慢大约五个数量级。其中一个原因是,人类构建了适用于问题集合的强大共享表示,使其更容易吸收新的变体。本文首先介绍了自动生成的游戏集的想法,以帮助迁移学习研究,然后通过展示模型可以从相关的建筑先验的结合中大大受益,从而展示了共享表示的实用性。这种技术在玩具问题集上提供了显着的50倍正迁移。
2018-01-07 cs.AI cs.LG
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学)
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架,用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆(AEV)的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度,避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明,与相似任务相关的决策策略是可传递的。结果表明,所提出的控制框架可以减少时间消耗,实现在线实施.
2020-10-10 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
Generalized Adaptive Transfer Network: Enhancing Transfer Learning in Reinforcement Learning Across Domains
Indian Institute of Technology, Madras, Tamil Nadu, India(印度理工学院马德拉斯分校,塔米尔纳德)
本文提出广义自适应迁移网络(GATN),通过领域无关表示、鲁棒性策略适配和高效迁移调度,解决强化学习跨领域迁移中的泛化、环境鲁棒性与计算效率问题,并在多个基准上验证其优越性。
2025-07-02 cs.AI cs.LG
Multi-Source Transfer Learning for Deep Model-Based Reinforcement Learning
Queen Mary University of London(伦敦玛丽女王大学);University of Groningen(格罗宁根大学)
针对强化学习中源任务选择与迁移组件确定的难题,提出模块化多源迁移学习技术,可自动从源任务提取有用信息,不受状态-动作空间与奖励函数差异影响,并经视觉控制跨域实验验证。
2023-04-27 cs.AI cs.LG
Energy-Based Transfer for Reinforcement Learning
Purdue University(普渡大学);AWS AI(AWS人工智能);Carnegie Mellon University(卡内基梅隆大学)
针对强化学习样本效率低的问题,提出基于能量的迁移学习方法,利用分布外检测选择性引导,提升单任务和多任务性能。
2026-10-22 cs.AI cs.LG
Transfer Reinforcement Learning for Differing Action Spaces via Q-Network Representations
University of Texas at Dallas(德克萨斯大学达拉斯分校)
强化学习中的迁移学习方法旨在通过利用从在类似源域上接受过训练的其他代理学到的知识来帮助代理学习其目标域。例如,最近的研究重点在这个空间内已被放置在具有不同的过渡动力学和奖励功能的任务之间的知识转移;然而,很少关注具有不同动作空间的任务之间的知识转移。在本文中,我们的任务,迁移学习不同的动作空间之间的域。我们提出了一种基于源嵌入相似性的奖励塑造方法,该方法适用于具有离散和连续动作空间的域。我们的方法的有效性进行评估转让限制的动作空间中的Acrobot-v1和Pendulum-v0域。与两个基线的比较表明,我们的方法在这些连续的动作空间中没有优于这些基线,但在这些离散的动作空间中确实有所改善。最后,我们的分析与未来的方向,这项工作。
2022-04-21 cs.AI cs.LG
Knowledge Transfer in Deep Reinforcement Learning via an RL-Specific GAN-Based Correspondence Function
Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所);Czech University of Life Sciences(捷克生命科学大学)
本文提出一种针对强化学习改进的循环生成对抗网络,通过模型损失和Q损失实现任务间知识迁移,在Pong游戏上达到100%迁移或减少30%训练时间,优于标准GAN方法。
2024-11-11 cs.AI cs.LG
Fractional Transfer Learning for Deep Model-Based Reinforcement Learning
University of Groningen(格罗宁根大学)
众所周知,强化学习(RL)需要大量的数据,以便RL代理学习执行复杂的任务。基于模型的强化学习的最新进展使智能体能够更有效地利用数据,因为它使智能体能够通过利用环境的内部世界模型来学习视觉环境的行为。提高样本效率也可以通过重用以前学习的任务中的知识来实现,但迁移学习仍然是RL中具有挑战性的主题。基于参数的迁移学习通常使用全有或全无的方法来完成,其中网络的参数被完全转移或随机初始化。在这项工作中,我们提出了一个简单的替代方法:分数迁移学习。这个想法是转移知识的一部分,而不是像随机初始化那样丢弃潜在有用的知识。使用基于世界模型的Dreamer算法,我们确定这种方法适用于哪种类型的组件,并在新的多源迁移学习设置中进行实验。结果表明,分数迁移学习往往导致大幅提高性能和更快的学习相比,从头开始和随机初始化学习。
2021-08-14 cs.AI cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University(普渡大学)
本文提出对抗鲁棒策略优化(ARPO)算法,通过生成器扰动观测与策略网络最小化影响的博弈,去除对混淆特征的过拟合,提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning
Instituto Nacional de Astrofísica, Óptica y Electrónica(墨西哥国立天体物理、光学与电子研究所);University of Bristol(布里斯托大学)
本文针对跨域强化学习的源任务选择问题,提出基于编码器-解码器与半监督对齐损失的任务相似性度量方法,可在无配对或专家数据条件下实现鲁棒的知识选择与策略迁移。
2023-12-05 cs.AI cs.LG
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University(普渡大学)
深度强化学习(RL)代理通常会过拟合训练环境,导致泛化性能差。在本文中,我们提出了思想者,一个自举的方法,以消除对抗性的影响,从观察的混淆功能,在无监督的方式,从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹,该生成器将轨迹从一个集群的样式转换为另一个,同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明,思想者导致更好的泛化能力在Procgen基准测试环境相比,基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
Knowledge Transfer in Multi-Task Deep Reinforcement Learning for Continuous Control
Syracuse University(雪城大学);DiDi AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
虽然深度强化学习(DRL)已经成为许多复杂任务的一种有前途的方法,但训练能够承担多个不同连续控制任务的单个DRL智能体仍然具有挑战性。在本文中,我们提出了一个基于知识转移的多任务深度强化学习框架(KTM-DRL)的连续控制,它使一个单一的DRL代理,以实现专家级的性能在多个不同的任务,通过学习特定于任务的教师。在KTM-DRL中,多任务Agent首先利用专门为行动者-批评者体系结构设计的离线知识传递算法,从特定任务教师的经验中快速学习控制策略,然后采用在线学习算法,在教师的指导下,通过学习新的在线转换样本来进一步改进自身。我们在MuJoCo连续控制任务套件中使用两个常用的基准进行了全面的实证研究。实验结果很好地证明了KTM-DRL及其知识传递和在线学习算法的有效性,以及其在很大程度上优于最先进的。
2020-10-16 cs.AI cs.LG
Advantages and Limitations of using Successor Features for Transfer in Reinforcement Learning
Brown University(布朗大学)
强化学习的一个核心问题是如何学习支持算法缩放和重用来自不同任务的学习信息的特征表示。后继特征通过学习满足时间约束的特征表示来解决这个问题。我们提出了一种实现的方法,从奖励函数的特征表示,使其适合于域之间的知识转移。然后,我们评估使用后继特征进行传输的优点和局限性。
2017-07-31 cs.AI cs.LG stat.ML
CADENT: Gated Hybrid Distillation for Sample-Efficient Transfer in Reinforcement Learning
University of Central Florida(中央佛罗里达大学)
CADENT通过结合战略自动机知识与战术策略知识,提出经验门控信任机制,实现强化学习中样本高效的知识迁移。
2026-01-28 cs.AI cs.LG
Exploration in Knowledge Transfer Utilizing Reinforcement Learning
Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所);Faculty of Applied Sciences, University of West Bohemia(西波希米亚大学应用科学学院)
该研究针对知识迁移任务中的探索问题,对比了深度目标迁移Q学习中的ε贪心、玻尔兹曼、上置信界三种探索方法,经虚拟无人机问题测试,上置信界算法表现最佳,其普适性有待进一步验证。
2024-07-15 cs.AI cs.LG
Multi-granularity Knowledge Transfer for Continual Reinforcement Learning
Southwestern University of Finance and Economics(西南财经大学);Shanxi University(山西大学)
针对持续强化学习中跨任务知识迁移不足的问题,提出MT-Core框架,结合大语言模型的粗粒度目标设定与强化学习的细粒度策略学习,并构建策略库实现多粒度知识迁移,实验验证其在多样化任务上的优越性。
2025-06-05 cs.AI cs.LG
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology(以色列理工学院);McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示,通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
A Method for Fast Autonomy Transfer in Reinforcement Learning
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学);Kennesaw State University(肯尼索州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出MCAC算法,通过利用多环境的预训练critic价值函数,无需大量计算即可实现快速自主性迁移,实验证明其迁移速度比基线快22.76倍且奖励更高。
2024-07-29 cs.AI cs.LG
Self-Attentional Credit Assignment for Transfer in Reinforcement Learning
Google Research(谷歌研究院)
将知识转移到新的环境和任务的能力是一般学习代理的一个明智的需求。尽管有明显的前景,RL中的迁移仍然是一个开放的,很少开发的研究领域。在本文中,我们对迁移采取了一个全新的观点:我们认为分配信用的能力揭示了任务中的结构不变量,这些结构不变量可以被迁移以使RL更具样本效率。我们的主要贡献是SECRET,这是一种新的RL迁移学习方法,它使用基于自关注架构的后向信用分配机制。两个方面是其通用性的关键:它学习将信用分配为一个单独的离线监督过程,并专门修改奖励函数。因此,它可以通过不修改奖励函数的转移方法来补充,并且可以插入任何RL算法之上。
2019-11-22 cs.AI cs.LG
Is Exploration All You Need? Effective Exploration Characteristics for Transfer in Reinforcement Learning
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts(马萨诸塞大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
本文通过在多种迁移“新颖性”任务上评测11种探索算法,分析不同探索特征与在线迁移性能和效率的关系,并给出情境化算法选择建议。
2024-04-02 cs.AI cs.LG
Playing Games in the Dark: An approach for cross-modality transfer in reinforcement learning
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探索使用的潜在表示从多个输入感官模态(如图像或声音),允许代理学习和利用政策的不同子集的输入模态。我们提出了一个三阶段的体系结构,允许一个强化学习代理在一个给定的感官模态训练,执行其任务的不同的感官模态,例如,学习视觉策略的图像输入,然后执行这样的政策时,只有声音输入可用。我们表明,广义的政策实现更好的开箱即用的性能相比,不同的基线。此外,我们在不同的OpenAI健身房和视频游戏环境中证明了这一点,即使使用不同的多模态生成模型和强化学习算法。
2019-11-28 cs.AI cs.LG
Self-Supervised Reinforcement Learning that Transfers using Random Features
Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学);University of Maryland(马里兰大学)
本文提出一种自监督强化学习方法,通过以随机特征为奖励对无模型RL进行预训练来隐式建模环境动态,并结合模型预测控制实现跨不同奖励任务的快速迁移,在多种操作与运动仿真任务中验证了有效性。
2023-05-26 cs.AI cs.LG
REPAINT: Knowledge Transfer in Deep Reinforcement Learning
Amazon Web Services(亚马逊云科技)
通过利用先前学习的任务来加速复杂任务的学习过程一直是强化学习中最具挑战性的问题之一,特别是当源任务和目标任务之间的相似性较低时。本文提出了一种用于深度强化学习中知识转移的REPresentation And Instance Transfer(REPAINT)算法。REPAINT不仅将预先训练好的教师策略的表征转移到同策略学习中,而且使用基于经验选择的方法将遵循教师策略收集的有用样本转移到离策略学习中。我们对几个基准任务的实验结果表明,REPAINT显着减少了任务相似性的一般情况下的总训练时间。特别是,当源任务与目标任务不相似或子任务时,REPAINT在训练时间减少和返回分数的渐近性能方面都优于其他基线。
2021-05-26 cs.AI cs.LG cs.RO
Enabling Realtime Reinforcement Learning at Scale with Staggered Asynchronous Inference
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);IBM Research(IBM研究院)
针对大模型推理延迟阻碍实时强化学习的问题,提出交错异步推理算法,证明其能以线性扩展的进程数突破动作频率限制,在Game Boy游戏实时模拟中支持比现有方法大数个数量级的模型。
2024-12-18 cs.AI cs.LG
Universal Successor Representations for Transfer Reinforcement Learning
University of Alberta(阿尔伯塔大学);MILA(米拉魁北克人工智能研究所)
迁移强化学习的目标是从一组以前的任务推广到看不见的新任务。在这项工作中,我们专注于转移的情况下,任务之间的动态是相同的,但他们的目标不同。虽然一般的价值函数(Sutton等人,2011年)已被证明对知识转移有用,但学习通用价值函数在实践中可能具有挑战性。为了解决这个问题,我们提出(1)使用通用后继表示(USR)来表示可转移的知识,以及(2)可以通过与环境交互来训练的USR近似器(USRA)。我们的实验表明,USR可以有效地应用于新的任务,和代理初始化训练的USRA可以达到目标,大大快于随机初始化。
2018-04-11 cs.AI cs.LG stat.ML
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore(新加坡国立大学计算机学院);TikTok Pte. Ltd., Singapore(新加坡TikTok公司);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架,通过奖励塑形实现知识共享与迁移,在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
Transfer in Deep Reinforcement Learning using Knowledge Graphs
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
文本冒险游戏,玩家必须通过文本描述来理解世界,并通过文本描述来宣布行动,为语言中的基础行动提供了一块垫脚石。先前的工作已经证明,使用知识图谱作为状态表示和问答来预训练深度Q网络有助于更快的控制策略转移。在本文中,我们探讨了使用知识图谱作为一种表示领域知识转移训练文本冒险玩强化学习代理。我们的方法在多个计算机生成和人类创作的游戏中进行了测试,这些游戏在领域和复杂性方面各不相同,并证明我们的迁移学习方法可以让我们更快地学习更高质量的控制策略。
2019-08-19 cs.AI cs.CL cs.LG
An advantage based policy transfer algorithm for reinforcement learning with measures of transferability
The Ohio State University(俄亥俄州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
提出离策略优势迁移算法APT-RL,利用优势正则化权衡源与目标知识,并引入迁移性度量,在连续控制任务中优于现有迁移算法且对抗任务不逊于从头学习。
2024-12-15 cs.AI cs.LG
Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling
School of Automation and Intelligent Sensing(自动化与智能感知学院)
该研究针对强化学习sim-to-real迁移难题,提出基于潜在空间的分析方法,可直观观测基于模型方法的迁移挑战,并在MuJoCo环境中验证了其测量与缓解迁移差距的能力,同时指出了现存挑战。
2025-06-15 cs.AI cs.LG
Growing and Transferring Pathways for LLM Reinforcement Learning
Tsinghua University(清华大学)
本研究提出GrowRL方法,通过在冻结的预训练Transformer主干上添加独立分支生成可迁移的RL计算路径,在少量可训练参数下实现了良好的数学推理与分布外性能,且路径可跨模型高效迁移适配。
2026-10-14 cs.AI cs.LG
ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning
Indian Institute of Technology Madras(印度理工学院马德拉斯学院);Ericsson Research(爱立信研究)
提出ASALT方法,通过观测级和状态级适配器将目标域观测和全局状态映射到共享嵌入空间,解决源域与目标域状态空间维度不匹配问题,实现跨域知识迁移,在合作场景中提升样本效率和全局回报。
2026-06-24 cs.AI cs.LG
Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);Intelligent Game and Decision Lab (IGDL)(智能游戏与决策实验室);Institute of Military Transportation(军事交通运输研究院);School of Artificial Intelligence, Hebei University of Technology(人工智能学院,河北工业大学)
本文提出基于隐式因果图建模的可迁移延迟感知强化学习方法,通过节点级语义编码和消息传递机制学习可迁移的结构表示和环境动态知识,以优化策略并实现跨任务知识迁移。
2026-05-12 cs.AI cs.LG
Sim2Real Transfer for Reinforcement Learning without Dynamics Randomization
KUKA Deutschland GmbH(库卡德国有限公司)
在这项工作中,我们展示了如何使用联合和carbohydrates约束下的操作空间控制框架(OSC)的强化学习在carbohydrates空间。因此,我们的方法能够快速学习,并具有可调节的自由度,同时我们能够在KUKA LBR iiwa桩孔内任务中传输策略,而无需额外的动态随机化。在模拟学习开始之前,我们执行系统辨识,以尽可能地使模拟环境与真实机器人的动态一致。向OSC控制器添加约束允许我们在真实机器人上以安全的方式学习,或者学习可以容易地从仿真转移到真实机器人的灵活的目标条件化策略。
2020-02-19 cs.AI cs.LG cs.RO
Theoretically-Grounded Policy Advice from Multiple Teachers in Reinforcement Learning Settings with Applications to Negative Transfer
Washington State University(华盛顿州立大学);Princeton University(普林斯顿大学)
策略建议是一种迁移学习方法,其中学生代理能够通过教师的建议更快地学习。然而,这两种方法和其他强化学习迁移方法几乎没有理论分析。本文正式定义了一个设置,多个教师代理可以提供建议给学生,并介绍了一种算法,利用自主探索和教师的意见。我们的后悔界限证明了好老师帮助而坏老师伤害的直觉。使用我们的形式化,我们也能够量化,第一次,当负迁移可以发生在这样的强化学习设置。
2016-04-13 cs.LG
Cross-Domain Transfer in Reinforcement Learning using Target Apprentice
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的方法来迁移学习(TL)的强化学习(RL)的跨域任务。许多可用的技术接近迁移架构作为加速目标任务学习的方法。我们建议直接在相关领域中调整和重用映射的源任务优化策略。我们表明,从一个相关的源任务的最优策略可以接近最优的目标域提供了一个自适应的政策,目标和源之间的模型误差。这种策略增强的主要好处是在多个相关领域中推广策略,而无需重新学习新任务。我们的研究结果表明,这种架构导致更好的样本效率的转移,降低目标任务学习的目标学徒学习的样本复杂度。
2018-01-22 cs.AI cs.LG stat.ML
Transfer with Model Features in Reinforcement Learning
Brown University(布朗大学)
强化学习中的一个关键问题是智能体可以学习哪种表示来有效地在不同任务之间重用知识。最近的继任者表示被证明有经验的好处,在任务之间转移知识共享的过渡动态。本文提出了模型特征:一个特征表示,集群行为等价的状态,这是相当于一个模型约简。此外,我们提出了一个后继特征模型,表明学习后继特征相当于学习模型约简。一种新的优化目标的开发,我们提供的界限表明,最大限度地减少这一目标的结果,在一个日益改善的近似模型简化。此外,我们提供了随机生成的MDP的转移实验,其不同的过渡和奖励功能,但大约保持状态之间的行为等价。这些结果表明,模型特征适用于具有不同转换和奖励函数的任务之间的转换。
2018-07-04 cs.AI cs.LG stat.ML
Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);University of California, Riverside(加利福尼亚大学河滨分校);University of Connecticut(康涅狄格大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对深度强化学习的黑盒攻击,提出轨迹级可迁移对抗攻击,在CartPole-v1上跨模型和算法设置中优于每步攻击和随机噪声。
2026-10-14 cs.AI cs.LG
CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);The Hong Kong University of Science and Technology(香港科技大学)
近年来,神经网络结构搜索(NAS)取得了许多突破性进展。尽管它取得了显著的进步,但许多算法都局限于特定的搜索空间。他们也缺乏有效的机制,在面对多个任务时重用知识。这些挑战排除了它们的适用性,并促使我们提出CATCH,一种新的基于上下文的Meta强化学习(RL)算法的可转移架构搜索。元学习和RL的结合使CATCH能够有效地适应新任务,同时对搜索空间不可知。CATCH利用概率编码器将任务属性编码为潜在上下文变量,然后引导CATCH的控制器快速“捕获”性能最好的网络。上下文还帮助网络评估器过滤劣质候选者并加速学习。大量的实验表明CATCH的普遍性和搜索效率超过许多其他广泛认可的算法。它还能够处理跨域架构搜索,因为ImageNet,COCO和Cityscapes上的竞争网络已被识别。据我们所知,这是第一个提出高效可转移NAS解决方案的工作,同时在各种设置中保持鲁棒性。
2020-07-22 cs.AI cs.LG
Beyond Fine-Tuning: Transferring Behavior in Reinforcement Learning
DeepMind(深度思维)
设计自主获取知识并使用它来有效地解决新任务的代理是强化学习中的一个重要挑战。在无监督预训练阶段获得的知识通常在奖励暴露后通过微调神经网络权重来转移,这是监督领域的常见做法。鉴于强化学习问题的性质,我们认为,标准的微调策略本身是不够的,在具有挑战性的领域的有效转移。我们引入了行为转移(BT),这是一种利用预先训练的策略进行探索的技术,它是对转移神经网络权重的补充。我们的实验表明,当在没有奖励的情况下与大规模的预训练相结合时,现有的内在动机目标可以导致复杂行为的出现。然后,BT可以利用这些预先训练的策略来发现比没有预先训练更好的解决方案,并且将BT与标准微调策略相结合会带来额外的好处。通常在需要结构化探索的领域中观察到最大的收益,包括预先训练的策略的行为与下游任务不一致的设置。
2021-06-08 cs.AI cs.LG stat.ML
Provably Efficient Multi-Task Reinforcement Learning with Model Transfer
University of Arizona(亚利桑那大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文研究了多任务强化学习(RL)在表格式情景马尔可夫决策过程(MDP)中的应用。我们制定了一个异构的多玩家强化学习问题,其中一组玩家同时面临类似的,但不一定相同的MDP,通过玩家间的信息共享,以提高他们的集体表现的目标。我们设计和分析了一个算法的基础上的模型转移的想法,并提供了间隙相关和间隙无关的上限和下限,表征问题的内在复杂性。
2022-01-16 cs.LG
Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
强化学习(RL)算法通常从白板开始,没有任何环境的先验知识,也没有任何先验技能。然而,这通常导致低样本效率,需要与环境的大量相互作用。在终身学习环境中尤其如此,在这种环境中,代理需要不断扩展其能力。在本文中,我们研究了预训练的任务无关的语言模型如何使目标条件RL代理更具样本效率。我们通过促进不同相关任务之间的迁移学习来做到这一点。我们实验证明我们的方法对一组对象导航任务。
2020-07-10 cs.AI cs.LG stat.ML
Visual Transfer for Reinforcement Learning via Wasserstein Domain Confusion
Brown University(布朗大学)
我们介绍了Wasserstein对抗性近端策略优化(WAPPO),这是一种用于强化学习中视觉传递的新算法,它显式地学习对齐源任务和目标任务之间提取的特征的分布。WAPPO通过一个新的Wasserstein混淆目标来近似和最小化来自源域和目标域的特征分布之间的Wasserstein-1距离。WAPPO在视觉传输方面优于现有技术,并成功地在Visual Cartpole和16个OpenAI Procgen环境的两个实例中传输策略。
2020-06-04 cs.LG stat.ML
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep(InstaDeep公司)
当与结合了深度神经网络和树搜索的强化学习算法一起使用时,双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa,在飞行中产生高度信息化的训练数据。然而,自玩训练策略并不直接适用于单人游戏。最近,几个实际上重要的组合优化问题,如旅行商问题和装箱问题,已被重新表述为强化学习问题,增加了重要性,使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励(R2)算法,它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明,它优于一般的蒙特卡罗树搜索,启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制,特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
Universal Successor Features for Transfer Reinforcement Learning
University of Alberta(阿尔伯塔大学);Université de Montréal(蒙特利尔大学);MILA(MILA蒙特利尔学习算法研究所)
强化学习(RL)中的迁移是指将从先前任务中获得的知识应用于解决相关任务的思想。学习通用价值函数(Schaul等人,2015),它概括了目标和状态,以前已被证明是有用的转移。然而,后继特征被认为比用于转移的值更合适(Dayan,1993; Barreto等人,2017),尽管它们不能直接概括为新的目标。在本文中,我们提出了(1)通用后继特征(USF)来捕获环境的潜在动态,同时允许泛化到看不见的目标,以及(2)可以通过与环境交互来训练的灵活的端到端USF模型。我们表明,学习USFs是兼容的任何RL算法,学习状态值使用时间差的方法。我们在一个简单的网格世界和两个MuJoCo环境中的实验表明,USF可以大大加快学习多个任务时的训练,并可以有效地将知识转移到新的任务。
2020-01-05 cs.AI cs.LG stat.ML
Reusability and Transferability of Macro Actions for Reinforcement Learning
National Tsing Hua University(国立清华大学);Harvard University(哈佛大学)
传统的强化学习(RL)通常在每个时间步确定适当的原始动作。然而,通过使用适当的宏动作,定义为一系列的原始动作,代理能够绕过中间状态到更远的状态,并促进其学习过程。我们想要研究的问题是,宏观行动可能具有哪些相关的有益属性。在本文中,我们揭示了可重用性和可移植性的宏动作的属性。第一个属性,可重用性,意味着与一种RL方法一起生成的宏动作可以被另一种RL方法重用用于训练,而第二个属性,可转移性,意味着宏动作可以用于在具有不同奖励设置的类似环境中训练代理。在我们的实验中,我们首先生成宏动作以及RL方法。然后,我们提供了一组分析,以揭示所生成的宏动作的可重用性和可转移性的属性。
2022-04-28 cs.AI cs.LG cs.NE
Grounding Language for Transfer in Deep Reinforcement Learning
Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了利用自然语言来驱动迁移的强化学习(RL)。尽管深度强化学习技术得到了广泛的应用,但学习跨领域工作的广义策略表示仍然是一个具有挑战性的问题。我们证明,环境的文字描述提供了一个紧凑的中间渠道,以促进有效的政策转移。具体来说,通过学习将文本的含义与环境的动态(如转换和奖励)联系起来,自主智能体可以在给定描述的新域上有效地引导策略学习。我们采用基于模型的RL方法,包括一个可微的规划模块,一个无模型组件和一个因式分解的状态表示,有效地使用实体描述。我们的模型优于先前的工作在各种不同的环境中的传输和多任务场景。例如,我们在平均和初始奖励方面分别比以前现有的模型实现了14%和11.5%的绝对改进。
2018-12-05 cs.AI cs.CL cs.LG
Efficient Multi-Task and Transfer Reinforcement Learning with Parameter-Compositional Framework
Horizon Robotics(地平线机器人);UC Berkeley(加州大学伯克利分校)
本文提出参数组合形式化的强化学习迁移框架,通过改进多任务训练支撑知识迁移,并在多种操作任务上验证其可提升性能与样本效率。
2023-06-02 cs.LG cs.RO
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs(诺基亚贝尔实验室);Technical University of Munich(慕尼黑工业大学);Nokia Software(诺基亚软件部门)
自组织网络中的传统移动性鲁棒性优化(MRO)旨在通过优化小区特定的切换参数来提高切换性能。然而,这样的解决方案不能满足下一代网络的需求与网络切片,因为它只保证接收信号的强度,而不是每个切片的服务质量。为了提供真正无缝的移动服务,我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化(SAMRO)方法,该方法通过优化切片特定的切换参数来提高切换性能,并确保切片服务。此外,为了允许安全和样本有效的在线训练,我们开发了一个两步迁移学习方案:1)正则化的离线强化学习,以及2)有效的在线微调与混合经验重放。系统级仿真结果表明,与传统的MRO算法相比,SAMRO算法在优化切换性能的同时,显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
A Comparative Study of Deep Reinforcement Learning-based Transferable Energy Management Strategies for Hybrid Electric Vehicles
Beijing Institute of Technology(北京理工大学);Delft University of Technology(代尔夫特理工大学)
基于深度强化学习的能量管理策略(EMS)已成为混合动力汽车(HEV)的一种有前途的解决方案。当行驶工况发生变化时,需要对神经网络进行重新训练,这是一项费时费力的工作。选择EMS的一种更有效的方法是将深度强化学习(DRL)与迁移学习结合起来,可以将一个领域的知识迁移到另一个新领域,使新领域的网络快速达到收敛值。在迁移学习过程中,比较了不同的DRL探索方法,包括加入动作空间噪声和参数空间噪声。结果表明,加入参数空间噪声的神经网络比其他神经网络更稳定,收敛速度更快。总之,可转移EMS的最佳探索方法是在参数空间中添加噪声,而动作空间噪声和参数空间噪声的组合通常表现不佳。我们的代码可在www.example.com上获得。
2022-04-20 cs.AI cs.LG cs.SY
Efficient Deep Reinforcement Learning via Adaptive Policy Transfer
Tianjin University(天津大学);Noah’s Ark Lab, Huawei(华为诺亚方舟实验室);Nanjing University(南京大学);Fuxi AI Lab in Netease(网易伏羲人工智能实验室);JD Digits(京东数字科技)
迁移学习(TL)通过利用相关任务的过去学习策略中的先验知识,在加速强化学习(RL)方面显示出巨大的潜力。现有的迁移方法要么显式地计算任务之间的相似性,要么选择适当的源策略来为目标任务提供指导性的探索。然而,如何直接优化目标策略,通过交替利用知识,从适当的源策略,而不显式地测量的相似性是目前缺少的。在本文中,我们提出了一种新的策略转移框架(PTF),以加速RL利用这一思想。我们的框架学习什么时候,哪一个源策略是最好的目标策略重用,什么时候终止它通过建模多策略传输的选项学习问题。PTF可以很容易地与现有的深度RL方法相结合。实验结果表明,它显着加快了学习过程,并超越了国家的最先进的政策转移方法的学习效率和最终性能在离散和连续的行动空间。
2020-05-25 cs.AI cs.LG stat.ML
Multi-Agent Transfer Learning in Reinforcement Learning-Based Ride-Sharing Systems
Trinity College Dublin(都柏林三一学院)
强化学习(RL)已经被用于一系列模拟现实世界的任务,例如,传感器协调、交通灯控制和按需移动服务。然而,现实世界的部署是罕见的,因为RL与现实世界环境的动态性质作斗争,需要时间来学习任务并适应环境的变化。迁移学习(TL)可以帮助降低这些适应时间。特别是,有一个显着的潜力,应用TL在多代理RL系统,其中多个代理可以共享知识与对方,以及与新的代理加入系统。为了从代理间转移中获得最大收益,转移角色(即,确定哪些代理充当源以及哪些代理充当目标),以及相关的传送内容参数(例如,传输大小)应当在每个特定情况下动态地选择。作为实现完全动态转移的第一步,在本文中,我们研究了固定源和目标角色的TL转移参数的影响。具体来说,我们标记每个代理环境交互与代理的认知信心,我们使用不同的阈值水平和样本大小过滤共享的例子。我们研究了两种情况下这些参数的影响,一个标准的捕食者-猎物RL基准和一个模拟的乘车共享系统与200车辆代理和10,000乘车请求。
2021-12-01 cs.AI cs.LG cs.MA
Value Function Initialization for Knowledge Transfer and Jump-start in Deep Reinforcement Learning
本文提出DQInit方法,通过重用紧凑表格Q值并采用基于已知度的机制将其软集成到DRL中,有效解决了连续空间和噪声近似带来的挑战,显著提升了早期学习效率、稳定性和整体性能。
2025-08-12 cs.AI cs.LG cs.LO