Multi-Agent Transfer Learning in Reinforcement Learning-Based Ride-Sharing Systems
Trinity College Dublin（都柏林三一学院）
强化学习（RL）已经被用于一系列模拟现实世界的任务，例如，传感器协调、交通灯控制和按需移动服务。然而，现实世界的部署是罕见的，因为RL与现实世界环境的动态性质作斗争，需要时间来学习任务并适应环境的变化。迁移学习（TL）可以帮助降低这些适应时间。特别是，有一个显着的潜力，应用TL在多代理RL系统，其中多个代理可以共享知识与对方，以及与新的代理加入系统。为了从代理间转移中获得最大收益，转移角色（即，确定哪些代理充当源以及哪些代理充当目标），以及相关的传送内容参数（例如，传输大小）应当在每个特定情况下动态地选择。作为实现完全动态转移的第一步，在本文中，我们研究了固定源和目标角色的TL转移参数的影响。具体来说，我们标记每个代理环境交互与代理的认知信心，我们使用不同的阈值水平和样本大小过滤共享的例子。我们研究了两种情况下这些参数的影响，一个标准的捕食者-猎物RL基准和一个模拟的乘车共享系统与200车辆代理和10,000乘车请求。
2021-12-01 cs.AI cs.LG cs.MA
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra（庞培法布拉大学）
稀疏奖励域对于强化学习算法是具有挑战性的，因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中，我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间，这是常见的一系列任务。该算法引入了子任务，其中包括由压缩引起的状态分区之间的移动。结果表明，该算法可以成功地解决复杂的稀疏回报域，并转移知识，以解决新的，以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Washington State University（华盛顿州立大学）
本文提出了一个在线迁移框架来捕捉代理之间的交互，并表明，目前的迁移学习强化学习是一个特殊的情况下，在线迁移。此外，本文将现有的代理-教学-代理方法重新定性为在线传输，并从三种方式分析了一种这样的教学方法。首先，证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次，证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三，通过教学，我们证明了渐近性能不会受到损害。此外，所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
GCT-MARL: Graph-Based Contrastive Transfer for Sample-Efficient Cooperative Multi-Agent Reinforcement Learning
提出GCT-MARL框架，利用多视图图对比学习和自适应加权对齐损失，结合两阶段训练协议，实现跨不同规模和组成群体的高效迁移，显著加速目标任务收敛。
2026-06-25 cs.AI cs.LG cs.MA
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University（密歇根州立大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文系统综述了深度强化学习中迁移学习方法的最新进展，提出分类框架并分析其目标、方法、兼容主干网络与应用，同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
K-Myriad: Jump-starting reinforcement learning with unsupervised parallel agents
AIRLAB, Politecnico di Milano, Milan, Italy（AIRLAB，米兰理工学院，米兰，意大利）
K-Myriad通过无监督并行智能体提升强化学习的初始化效率，实现高效训练和发现异质解决方案。
2026-01-26 cs.LG
StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
实时策略游戏是近年来游戏人工智能研究的一个重要领域。本文提出了一种强化学习和课程迁移学习的方法来控制星际微观管理中的多个单元。我们定义了一个有效的状态表示，它打破了游戏环境中的大状态空间所造成的复杂性。然后提出了一种参数共享的多智能体梯度下降Sarsa（λ）算法（PS-MAGDS）来对单元进行训练。我们的单位之间共享学习政策，以鼓励合作行为。我们使用一个神经网络作为函数逼近器来估计动作-价值函数，并提出一个奖励函数来帮助单位平衡他们的移动和攻击。此外，还使用了一种迁移学习方法将我们的模型扩展到更困难的场景，加快了训练过程，提高了学习性能。在小规模的场景中，我们的单位成功地学会了战斗，并以100%的胜率击败了内置的AI。在大规模场景下，课程迁移学习方法被用来逐步训练一组单元，并在目标场景下显示出优于一些基线方法的性能。通过强化学习和课程迁移学习，我们的单位能够在星际争霸微观管理场景中学习适当的策略。
2018-04-03 cs.AI cs.LG cs.MA
Exploring Multi-Agent Reinforcement Learning for Unrelated Parallel Machine Scheduling
Vicomtech Foundation（维康科技基金会）；University of Naples "Federico II"（那不勒斯费德里科二世大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本文使用多智能体强化学习（MARL）方法解决带设置时间和资源的无关并行机调度问题（UPMS），通过引入强化学习环境并比较单智能体与多智能体算法，验证了Maskable PPO和Multi-Agent PPO的有效性，并强调算法复杂性与可扩展性平衡的重要性。
2024-11-12 cs.AI cs.LG cs.MA
The Impact of On-Policy Parallelized Data Collection on Deep Reinforcement Learning Networks
Google DeepMind（谷歌DeepMind）
本文实证分析了 PPO 中并行环境数量、rollout 长度和训练遍历次数之间的权衡，发现扩大数据集规模和并行环境比增加 rollout 长度更能提升智能体性能。
2025-06-03 cs.AI cs.LG
The Role of Exploration for Task Transfer in Reinforcement Learning
Georgia Tech Research Institute（佐治亚理工研究院）
强化学习（RL）中的探索-利用权衡是一个众所周知的和大量研究的问题，其平衡贪婪动作选择与新颖经验，并且探索方法的研究通常仅在学习单个学习任务的最优策略的上下文中考虑。然而，在在线任务转移的背景下，在在线操作过程中任务发生变化，我们假设，预测需要适应未来任务的探索策略可以对转移效率产生显著影响。因此，我们在迁移学习的背景下重新审视探索-开发权衡。在这项工作中，我们回顾了强化学习探索方法，定义了一个分类，以组织它们，分析这些方法的任务转移的背景下的差异，并建议未来的调查途径。
2022-10-11 cs.AI cs.LG
On Neural Consolidation for Transfer in Reinforcement Learning
ISAE-SUPAERO, Université de Toulouse（图卢兹大学高等航空航天学院）；Sandbox AQ（Sandbox AQ公司）
虽然迁移学习被认为是深度强化学习的一个里程碑，但其背后的机制仍然知之甚少。特别是，预测知识是否可以在两个给定的任务之间转移仍然是一个悬而未决的问题。在这项工作中，我们探索使用网络蒸馏作为一种特征提取方法，以更好地理解的背景下，转移可能发生。值得注意的是，我们表明，蒸馏不会阻止知识转移，包括从多个任务转移到一个新的任务时，我们将这些结果与没有事先蒸馏的转移进行比较。由于不同游戏之间的差异性，我们将工作重点放在Atari基准上，但也考虑到它们在视觉功能方面的相似性。
2022-10-05 cs.AI cs.LG
Adaptive Policy Transfer in Reinforcement Learning
Coordinated Sciences Laboratory, University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
有效和强大的策略传输仍然是强化学习在现实机器人中可行的关键挑战。通过热初始化、模仿或在具有随机实例的大量代理上交互的策略转移已被普遍应用于解决各种强化学习任务。然而，这似乎与生物世界中技能转移的方式相去甚远：人类和动物能够在类似任务之间快速适应学到的行为，并在遇到新情况时学习新技能。在这里，我们试图回答这个问题：学习结合适应和探索会导致更有效地转移领域之间的政策？我们引入了一个原则性的机制，可以“自适应学习”，即适应源策略学习解决具有显著的过渡差异和不确定性的目标任务。我们表明，所提出的方法学会无缝地结合学习适应和探索，并导致一个强大的政策转移算法，显着降低样本的复杂性，在相关任务之间的技能转移。
2021-05-10 cs.AI cs.LG
Reinforcement learning for graph theory, Parallelizing Wagner's approach
Ontario Tech University（安大略技术大学）
该研究将强化学习用于构建图拉普拉斯矩阵谱半径猜想界的反例，在Stevanovic等人复现的Wagner方法基础上，实现多模型并行训练并重新定义动作空间以调节局部最优解的影响，为图论反例构造提供新的强化学习实现思路。
2025-09-01 cs.LG math.CO
Advantages and Limitations of using Successor Features for Transfer in Reinforcement Learning
Brown University（布朗大学）
强化学习的一个核心问题是如何学习支持算法缩放和重用来自不同任务的学习信息的特征表示。后继特征通过学习满足时间约束的特征表示来解决这个问题。我们提出了一种实现的方法，从奖励函数的特征表示，使其适合于域之间的知识转移。然后，我们评估使用后继特征进行传输的优点和局限性。
2017-07-31 cs.AI cs.LG stat.ML
Parallel $Q$-Learning: Scaling Off-policy Reinforcement Learning under Massively Parallel Simulation
Massachusetts Institute of Technology（麻省理工学院）
针对离策略强化学习难扩展、墙钟训练时间长的问题，提出专为单工作站大规模GPU仿真设计的并行$Q$-学习方案，通过并行化数据采集与学习过程，在保持样本效率的同时超越PPO的训练速度，可扩展至数万个并行环境。
2023-07-24 cs.AI cs.LG cs.RO
Massively Parallel Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
我们提出了第一个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件：生成新行为的并行演员;从存储的经验中训练的并行学习者;表示价值函数或行为策略的分布式神经网络;以及分布式经验存储。我们使用我们的架构来实现深度Q网络算法（DQN）。我们的分布式算法被应用到49个游戏从雅达利2600游戏的街机学习环境，使用相同的超参数。我们的性能在49款游戏中的41款中超过了非分布式DQN，并且在大多数游戏中减少了实现这些结果所需的墙时间。
2015-07-16 cs.AI cs.DC cs.LG
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
FAST: A Framework for Aligned Sampling and Training in Parallel Reinforcement Learning for Autonomous Driving
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与运载学院）；Didi Voyager Labs, DiDi Autonomous Driving（滴滴自动驾驶沃芽实验室）；College of AI, Tsinghua University（清华大学人工智能学院）
提出FAST框架，通过动态并行采样对齐和缩放掩码填充优化，解决并行强化学习中的掉队者效应和采样效率瓶颈，实现至少1.78倍加速且保持统计无偏性。
2026-07-14 cs.AI cs.LG
Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors
Cornell Tech（康奈尔科技）
最近在深度强化学习方面的工作已经允许算法仅仅从游戏提供的奖励来学习诸如Atari 2600游戏之类的复杂任务，但是这些算法目前需要数百万个训练步骤才能学习，使得它们比人类慢大约五个数量级。其中一个原因是，人类构建了适用于问题集合的强大共享表示，使其更容易吸收新的变体。本文首先介绍了自动生成的游戏集的想法，以帮助迁移学习研究，然后通过展示模型可以从相关的建筑先验的结合中大大受益，从而展示了共享表示的实用性。这种技术在玩具问题集上提供了显着的50倍正迁移。
2018-01-07 cs.AI cs.LG
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架，用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆（AEV）的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度，避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明，与相似任务相关的决策策略是可传递的。结果表明，所提出的控制框架可以减少时间消耗，实现在线实施.
2020-10-10 cs.AI cs.LG
Pearl: Parallel Evolutionary and Reinforcement Learning Library
Imperial College London（帝国理工学院）
强化学习越来越多地在问题可以表示为马尔可夫决策过程的领域中取得成功。事实证明，演化计算算法在该领域也取得了成功，表现出与通常更复杂的强化学习相似的性能。虽然存在许多开源的强化学习和演化计算库，但没有公开可用的库将这两种方法结合起来以增强比较，合作或可视化。为此，我们创建了Pearl（https：//github.com/LondonNode/Pearl），这是一个开源Python库，旨在让研究人员快速方便地执行优化的强化学习、演化计算以及两者的组合。Pearl中的主要功能包括：模块化和可扩展组件、定制模块设置、Tensorboard集成、自定义回调和全面的可视化。
2022-01-24 cs.LG cs.NE
Parallel bootstrap-based on-policy deep reinforcement learning for continuous flow control applications
MINES Paristech（巴黎高等矿业学院）；PSL - Research University（巴黎文理研究大学）
针对并行环境破坏同策略强化学习假设的问题，本文提出带回报自举的部分轨迹缓冲并行模式，并在连续流动控制任务中验证其有效性。
2023-07-13 cs.LG physics.data-an
Multi-Source Transfer Learning for Deep Model-Based Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）；University of Groningen（格罗宁根大学）
针对强化学习中源任务选择与迁移组件确定的难题，提出模块化多源迁移学习技术，可自动从源任务提取有用信息，不受状态-动作空间与奖励函数差异影响，并经视觉控制跨域实验验证。
2023-04-27 cs.AI cs.LG
E-MAPP: Efficient Multi-Agent Reinforcement Learning with Parallel Program Guidance
Stanford University（斯坦福大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Southeast University（东南大学）
多智能体强化学习（MARL）的一个关键挑战是多个智能体有效地完成复杂的长期任务。智能体在共同目标上的合作、复杂任务的划分以及通过几个阶段的规划来取得进展方面往往存在困难。我们建议解决这些挑战，指导代理与程序设计的并行化，因为程序作为一种表示包含丰富的结构和语义信息，并广泛用作长期任务的抽象。具体来说，我们引入了高效的多智能体强化学习与并行程序指导（E-MAPP），一个新的框架，利用并行程序来指导多个代理有效地完成目标，需要规划的$10+$阶段。E-MAPP集成了并行程序的结构信息，促进了基于程序语义的协作行为，并通过任务分配器提高了时间效率。我们进行了广泛的实验上的一系列具有挑战性的，长视野的合作任务在过度烹饪的环境。结果表明，E-MAPP在完成率、时间效率和零次泛化能力（zero-shot generalization ability）方面大幅优于强基线。
2022-12-05 cs.AI
REPAINT: Knowledge Transfer in Deep Reinforcement Learning
Amazon Web Services（亚马逊云科技）
通过利用先前学习的任务来加速复杂任务的学习过程一直是强化学习中最具挑战性的问题之一，特别是当源任务和目标任务之间的相似性较低时。本文提出了一种用于深度强化学习中知识转移的REPresentation And Instance Transfer（REPAINT）算法。REPAINT不仅将预先训练好的教师策略的表征转移到同策略学习中，而且使用基于经验选择的方法将遵循教师策略收集的有用样本转移到离策略学习中。我们对几个基准任务的实验结果表明，REPAINT显着减少了任务相似性的一般情况下的总训练时间。特别是，当源任务与目标任务不相似或子任务时，REPAINT在训练时间减少和返回分数的渐近性能方面都优于其他基线。
2021-05-26 cs.AI cs.LG cs.RO
Efficient Parallel Methods for Deep Reinforcement Learning
Norwegian University of Science and Technology（挪威科技大学）；Telenor Research（Telenor研究）
我们提出了一个新的框架，用于深度强化学习算法的高效并行化，使这些算法能够在一台机器上从多个参与者那里学习。该框架是算法不可知的，并且可以应用于基于策略、基于策略、基于值和基于策略梯度的算法。鉴于其固有的并行性，该框架可以在GPU上有效地实现，允许使用强大的模型，同时显着减少训练时间。我们证明了我们的框架的有效性，通过在GPU上实现的优势演员-评论家算法，使用的政策经验和采用同步更新。我们的算法在Atari域上仅经过几个小时的训练就达到了最先进的性能。因此，我们的框架打开了大门，更快的实验要求的问题域。我们的实现是开源的，并在https://github.com/alfredvc/paac上公开
2017-05-16 cs.LG
Energy-Based Transfer for Reinforcement Learning
Purdue University（普渡大学）；AWS AI（AWS人工智能）；Carnegie Mellon University（卡内基梅隆大学）
针对强化学习样本效率低的问题，提出基于能量的迁移学习方法，利用分布外检测选择性引导，提升单任务和多任务性能。
2026-10-22 cs.AI cs.LG
Universal Successor Representations for Transfer Reinforcement Learning
University of Alberta（阿尔伯塔大学）；MILA（米拉魁北克人工智能研究所）
迁移强化学习的目标是从一组以前的任务推广到看不见的新任务。在这项工作中，我们专注于转移的情况下，任务之间的动态是相同的，但他们的目标不同。虽然一般的价值函数（Sutton等人，2011年）已被证明对知识转移有用，但学习通用价值函数在实践中可能具有挑战性。为了解决这个问题，我们提出（1）使用通用后继表示（USR）来表示可转移的知识，以及（2）可以通过与环境交互来训练的USR近似器（USRA）。我们的实验表明，USR可以有效地应用于新的任务，和代理初始化训练的USRA可以达到目标，大大快于随机初始化。
2018-04-11 cs.AI cs.LG stat.ML
Transfer Reinforcement Learning for Differing Action Spaces via Q-Network Representations
University of Texas at Dallas（德克萨斯大学达拉斯分校）
强化学习中的迁移学习方法旨在通过利用从在类似源域上接受过训练的其他代理学到的知识来帮助代理学习其目标域。例如，最近的研究重点在这个空间内已被放置在具有不同的过渡动力学和奖励功能的任务之间的知识转移;然而，很少关注具有不同动作空间的任务之间的知识转移。在本文中，我们的任务，迁移学习不同的动作空间之间的域。我们提出了一种基于源嵌入相似性的奖励塑造方法，该方法适用于具有离散和连续动作空间的域。我们的方法的有效性进行评估转让限制的动作空间中的Acrobot-v1和Pendulum-v0域。与两个基线的比较表明，我们的方法在这些连续的动作空间中没有优于这些基线，但在这些离散的动作空间中确实有所改善。最后，我们的分析与未来的方向，这项工作。
2022-04-21 cs.AI cs.LG
Knowledge Transfer in Deep Reinforcement Learning via an RL-Specific GAN-Based Correspondence Function
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息理论与自动化研究所）；Czech University of Life Sciences（捷克生命科学大学）
本文提出一种针对强化学习改进的循环生成对抗网络，通过模型损失和Q损失实现任务间知识迁移，在Pong游戏上达到100%迁移或减少30%训练时间，优于标准GAN方法。
2024-11-11 cs.AI cs.LG
Fractional Transfer Learning for Deep Model-Based Reinforcement Learning
University of Groningen（格罗宁根大学）
众所周知，强化学习（RL）需要大量的数据，以便RL代理学习执行复杂的任务。基于模型的强化学习的最新进展使智能体能够更有效地利用数据，因为它使智能体能够通过利用环境的内部世界模型来学习视觉环境的行为。提高样本效率也可以通过重用以前学习的任务中的知识来实现，但迁移学习仍然是RL中具有挑战性的主题。基于参数的迁移学习通常使用全有或全无的方法来完成，其中网络的参数被完全转移或随机初始化。在这项工作中，我们提出了一个简单的替代方法：分数迁移学习。这个想法是转移知识的一部分，而不是像随机初始化那样丢弃潜在有用的知识。使用基于世界模型的Dreamer算法，我们确定这种方法适用于哪种类型的组件，并在新的多源迁移学习设置中进行实验。结果表明，分数迁移学习往往导致大幅提高性能和更快的学习相比，从头开始和随机初始化学习。
2021-08-14 cs.AI cs.LG
Transfer in Deep Reinforcement Learning using Knowledge Graphs
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
文本冒险游戏，玩家必须通过文本描述来理解世界，并通过文本描述来宣布行动，为语言中的基础行动提供了一块垫脚石。先前的工作已经证明，使用知识图谱作为状态表示和问答来预训练深度Q网络有助于更快的控制策略转移。在本文中，我们探讨了使用知识图谱作为一种表示领域知识转移训练文本冒险玩强化学习代理。我们的方法在多个计算机生成和人类创作的游戏中进行了测试，这些游戏在领域和复杂性方面各不相同，并证明我们的迁移学习方法可以让我们更快地学习更高质量的控制策略。
2019-08-19 cs.AI cs.CL cs.LG
Adversarial Style Transfer for Robust Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
本文提出对抗鲁棒策略优化（ARPO）算法，通过生成器扰动观测与策略网络最小化影响的博弈，去除对混淆特征的过拟合，提升强化学习智能体在未见环境中的泛化能力。
2023-08-29 cs.AI cs.LG
Adaptable Automation with Modular Deep Reinforcement Learning and Policy Transfer
Northeastern University（东北大学）
深度强化学习（RL）的最新进展为智能自动化创造了前所未有的机会，机器可以自主学习执行给定任务的最佳策略。然而，目前的深度强化学习算法主要专注于窄范围的任务，样本效率低下，缺乏足够的稳定性，这反过来又阻碍了它们的工业应用。本文通过开发和测试基于任务模块化和迁移学习概念的Hyper-Actor Soft Actor-Critic（HASAC）RL框架来解决这一限制。建议的HASAC的目标是提高一个代理的适应性，以新的任务，通过一个“超演员”的前任务的学习政策转移到新的任务。HASAC框架进行了测试，一个新的虚拟机器人操作基准，元世界。数值实验表明，HASAC在奖励值、成功率和任务完成时间方面优于最先进的深度RL算法。
2020-11-27 cs.AI cs.HC cs.LG
Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning
Instituto Nacional de Astrofísica, Óptica y Electrónica（墨西哥国立天体物理、光学与电子研究所）；University of Bristol（布里斯托大学）
本文针对跨域强化学习的源任务选择问题，提出基于编码器-解码器与半监督对齐损失的任务相似性度量方法，可在无配对或专家数据条件下实现鲁棒的知识选择与策略迁移。
2023-12-05 cs.AI cs.LG
MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
基于种群的多智能体强化学习（Population-based multi-agent reinforcement learning，PB-MARL）是一系列与强化学习（reinforcement learning，RL）算法相嵌套的方法，它产生一个由耦合的种群动力学产生的自生成任务序列。通过利用自动课程来诱导不同的紧急策略，PB-MARL在处理多智能体任务方面取得了令人印象深刻的成功。尽管分布式RL框架的显着的现有技术，PB-MARL提出了新的挑战，并行化的训练框架，由于额外的复杂性，多个嵌套的工作负载之间的采样，训练和评估涉及异构的政策相互作用。为了解决这些问题，我们提出了MALib，一个可扩展的和高效的PB-MARL计算框架。该框架由三个关键部分组成：（1）集中式任务调度模型，支持自主生成任务和异构策略组合的可扩展训练;（2）Actor-Evaluator-Learner编程架构，实现训练和采样的高度并行，满足自动化课程学习的评价需求;（3）MARL训练范例的更高级别的抽象，这使得能够在不同的分布式计算范例上实现高效的代码重用和灵活的部署。在多智能体Atari Games等一系列复杂任务上的实验表明，MALib在单台机器上以$32$ CPU内核实现了高于40 K FPS的吞吐量;在多智能体训练任务中，比RLlib加速5倍，比OpenSpiel至少加速3倍。MALib可在http…
2021-06-05 cs.AI cs.MA
Bootstrap State Representation using Style Transfer for Better Generalization in Deep Reinforcement Learning
Purdue University（普渡大学）
深度强化学习（RL）代理通常会过拟合训练环境，导致泛化性能差。在本文中，我们提出了思想者，一个自举的方法，以消除对抗性的影响，从观察的混淆功能，在无监督的方式，从而提高RL代理的泛化。思想者的第一个集群经历了几个集群的轨迹。然后通过应用样式转换生成器自举这些轨迹，该生成器将轨迹从一个集群的样式转换为另一个，同时保持观察的内容。自举轨迹然后用于策略学习。Thinker在许多RL设置中具有广泛的适用性。实验结果表明，思想者导致更好的泛化能力在Procgen基准测试环境相比，基本算法和几个数据增强技术。
2022-07-15 cs.AI cs.LG
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Knowledge Transfer in Multi-Task Deep Reinforcement Learning for Continuous Control
Syracuse University（雪城大学）；DiDi AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
虽然深度强化学习（DRL）已经成为许多复杂任务的一种有前途的方法，但训练能够承担多个不同连续控制任务的单个DRL智能体仍然具有挑战性。在本文中，我们提出了一个基于知识转移的多任务深度强化学习框架（KTM-DRL）的连续控制，它使一个单一的DRL代理，以实现专家级的性能在多个不同的任务，通过学习特定于任务的教师。在KTM-DRL中，多任务Agent首先利用专门为行动者-批评者体系结构设计的离线知识传递算法，从特定任务教师的经验中快速学习控制策略，然后采用在线学习算法，在教师的指导下，通过学习新的在线转换样本来进一步改进自身。我们在MuJoCo连续控制任务套件中使用两个常用的基准进行了全面的实证研究。实验结果很好地证明了KTM-DRL及其知识传递和在线学习算法的有效性，以及其在很大程度上优于最先进的。
2020-10-16 cs.AI cs.LG
Transfer in Reinforcement Learning via Regret Bounds for Learning Agents
Scool team, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 CRIStAL（Scool团队、里尔大学、Inria、CNRS、里尔中央大学、UMR 9189 CRIStAL）
针对多智能体强化学习场景，提出通过遗憾界量化迁移效用的方法，证明智能体共享观测可使总遗憾较独立学习降低√ℵ倍，为观测共享的迁移收益提供了理论界。
2025-11-13 cs.LG cs.MA
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
CADENT: Gated Hybrid Distillation for Sample-Efficient Transfer in Reinforcement Learning
University of Central Florida（中央佛罗里达大学）
CADENT通过结合战略自动机知识与战术策略知识，提出经验门控信任机制，实现强化学习中样本高效的知识迁移。
2026-01-28 cs.AI cs.LG
Exploration in Knowledge Transfer Utilizing Reinforcement Learning
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息理论与自动化研究所）；Faculty of Applied Sciences, University of West Bohemia（西波希米亚大学应用科学学院）
该研究针对知识迁移任务中的探索问题，对比了深度目标迁移Q学习中的ε贪心、玻尔兹曼、上置信界三种探索方法，经虚拟无人机问题测试，上置信界算法表现最佳，其普适性有待进一步验证。
2024-07-15 cs.AI cs.LG
Multi-granularity Knowledge Transfer for Continual Reinforcement Learning
Southwestern University of Finance and Economics（西南财经大学）；Shanxi University（山西大学）
针对持续强化学习中跨任务知识迁移不足的问题，提出MT-Core框架，结合大语言模型的粗粒度目标设定与强化学习的细粒度策略学习，并构建策略库实现多粒度知识迁移，实验验证其在多样化任务上的优越性。
2025-06-05 cs.AI cs.LG
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology（以色列理工学院）；McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示，通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
Sim2Real Transfer for Reinforcement Learning without Dynamics Randomization
KUKA Deutschland GmbH（库卡德国有限公司）
在这项工作中，我们展示了如何使用联合和carbohydrates约束下的操作空间控制框架（OSC）的强化学习在carbohydrates空间。因此，我们的方法能够快速学习，并具有可调节的自由度，同时我们能够在KUKA LBR iiwa桩孔内任务中传输策略，而无需额外的动态随机化。在模拟学习开始之前，我们执行系统辨识，以尽可能地使模拟环境与真实机器人的动态一致。向OSC控制器添加约束允许我们在真实机器人上以安全的方式学习，或者学习可以容易地从仿真转移到真实机器人的灵活的目标条件化策略。
2020-02-19 cs.AI cs.LG cs.RO
Visual Transfer for Reinforcement Learning via Wasserstein Domain Confusion
Brown University（布朗大学）
我们介绍了Wasserstein对抗性近端策略优化（WAPPO），这是一种用于强化学习中视觉传递的新算法，它显式地学习对齐源任务和目标任务之间提取的特征的分布。WAPPO通过一个新的Wasserstein混淆目标来近似和最小化来自源域和目标域的特征分布之间的Wasserstein-1距离。WAPPO在视觉传输方面优于现有技术，并成功地在Visual Cartpole和16个OpenAI Procgen环境的两个实例中传输策略。
2020-06-04 cs.LG stat.ML
Theoretically-Grounded Policy Advice from Multiple Teachers in Reinforcement Learning Settings with Applications to Negative Transfer
Washington State University（华盛顿州立大学）；Princeton University（普林斯顿大学）
策略建议是一种迁移学习方法，其中学生代理能够通过教师的建议更快地学习。然而，这两种方法和其他强化学习迁移方法几乎没有理论分析。本文正式定义了一个设置，多个教师代理可以提供建议给学生，并介绍了一种算法，利用自主探索和教师的意见。我们的后悔界限证明了好老师帮助而坏老师伤害的直觉。使用我们的形式化，我们也能够量化，第一次，当负迁移可以发生在这样的强化学习设置。
2016-04-13 cs.LG
A Method for Fast Autonomy Transfer in Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）；Kennesaw State University（肯尼索州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出MCAC算法，通过利用多环境的预训练critic价值函数，无需大量计算即可实现快速自主性迁移，实验证明其迁移速度比基线快22.76倍且奖励更高。
2024-07-29 cs.AI cs.LG
Cross-Domain Transfer in Reinforcement Learning using Target Apprentice
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一种新的方法来迁移学习（TL）的强化学习（RL）的跨域任务。许多可用的技术接近迁移架构作为加速目标任务学习的方法。我们建议直接在相关领域中调整和重用映射的源任务优化策略。我们表明，从一个相关的源任务的最优策略可以接近最优的目标域提供了一个自适应的政策，目标和源之间的模型误差。这种策略增强的主要好处是在多个相关领域中推广策略，而无需重新学习新任务。我们的研究结果表明，这种架构导致更好的样本效率的转移，降低目标任务学习的目标学徒学习的样本复杂度。
2018-01-22 cs.AI cs.LG stat.ML
Self-Attentional Credit Assignment for Transfer in Reinforcement Learning
Google Research（谷歌研究院）
将知识转移到新的环境和任务的能力是一般学习代理的一个明智的需求。尽管有明显的前景，RL中的迁移仍然是一个开放的，很少开发的研究领域。在本文中，我们对迁移采取了一个全新的观点：我们认为分配信用的能力揭示了任务中的结构不变量，这些结构不变量可以被迁移以使RL更具样本效率。我们的主要贡献是SECRET，这是一种新的RL迁移学习方法，它使用基于自关注架构的后向信用分配机制。两个方面是其通用性的关键：它学习将信用分配为一个单独的离线监督过程，并专门修改奖励函数。因此，它可以通过不修改奖励函数的转移方法来补充，并且可以插入任何RL算法之上。
2019-11-22 cs.AI cs.LG
Transfer with Model Features in Reinforcement Learning
Brown University（布朗大学）
强化学习中的一个关键问题是智能体可以学习哪种表示来有效地在不同任务之间重用知识。最近的继任者表示被证明有经验的好处，在任务之间转移知识共享的过渡动态。本文提出了模型特征：一个特征表示，集群行为等价的状态，这是相当于一个模型约简。此外，我们提出了一个后继特征模型，表明学习后继特征相当于学习模型约简。一种新的优化目标的开发，我们提供的界限表明，最大限度地减少这一目标的结果，在一个日益改善的近似模型简化。此外，我们提供了随机生成的MDP的转移实验，其不同的过渡和奖励功能，但大约保持状态之间的行为等价。这些结果表明，模型特征适用于具有不同转换和奖励函数的任务之间的转换。
2018-07-04 cs.AI cs.LG stat.ML
Is Exploration All You Need? Effective Exploration Characteristics for Transfer in Reinforcement Learning
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
本文通过在多种迁移“新颖性”任务上评测11种探索算法，分析不同探索特征与在线迁移性能和效率的关系，并给出情境化算法选择建议。
2024-04-02 cs.AI cs.LG
Playing Games in the Dark: An approach for cross-modality transfer in reinforcement learning
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们探索使用的潜在表示从多个输入感官模态（如图像或声音），允许代理学习和利用政策的不同子集的输入模态。我们提出了一个三阶段的体系结构，允许一个强化学习代理在一个给定的感官模态训练，执行其任务的不同的感官模态，例如，学习视觉策略的图像输入，然后执行这样的政策时，只有声音输入可用。我们表明，广义的政策实现更好的开箱即用的性能相比，不同的基线。此外，我们在不同的OpenAI健身房和视频游戏环境中证明了这一点，即使使用不同的多模态生成模型和强化学习算法。
2019-11-28 cs.AI cs.LG
