A Modular and Transferable Reinforcement Learning Framework for the Fleet Rebalancing Problem
National Renewable Energy Laboratory（国家可再生能源实验室）
随需应变（MoD）系统在实现灵活高效的城市交通方面显示出巨大的潜力。然而，与国防部车辆调度和车队再平衡相关的作战决策带来了重大的技术挑战。出于这个原因，运营商倾向于采用已被证明在特定设置中工作良好的简化算法。为了帮助弥合新方法和现有方法之间的差距，我们提出了一个基于无模型强化学习（RL）的车队再平衡模块化框架，该框架可以利用现有的调度方法来最大限度地降低系统成本。特别是，通过将调度视为环境动态的一部分，集中式代理可以学习间歇地指导调度员重新定位空闲车辆并减轻车队不平衡。我们制定RL状态和动作空间的分布在网格分区的操作区域，使框架的可扩展性和避免与多智能体RL的复杂性。数值实验，使用真实世界的行程和网络数据，表明这种方法有几个明显的优势，基线方法，包括：改善系统成本;高度的适应性，选择的调度方法;和执行规模不变的迁移学习的能力，具有相似的车辆和请求分布的问题实例之间。
2021-05-27 cs.AI cs.LG cs.MA
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA（普渡大学土木与建设工程学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（普渡大学埃尔莫尔家庭电气与计算机工程学院）
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架，通过元学习推断环境潜在表示并动态调整风险水平，实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Rethinking Adversarial Inverse Reinforcement Learning: Policy Imitation, Transferable Reward Recovery and Algebraic Equilibrium Proof
本文重新审视 AIRL 面临的三项批评，通过引入 SAC 改进策略模仿，提出 PPO-AIRL + SAC 混合框架恢复可迁移奖励，并从代数理论角度重审均衡证明。
2024-10-27 cs.LG stat.ML
Transferable Deep Reinforcement Learning Framework for Autonomous Vehicles with Joint Radar-Data Communications
University of Technology Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）；York University（约克大学）；Sungkyunkwan University（成均馆大学）；Singapore University of Technology and Design（新加坡科技设计大学）
自动驾驶汽车（AV）需要在动态环境中安全有效地运行。为此，配备了联合雷达通信（JRC）功能的AV可以通过利用雷达检测和数据通信功能来提高驾驶安全性。然而，优化的AV系统的性能与两个不同的功能下的不确定性和动态的周围环境是非常具有挑战性的。在这项工作中，我们首先提出了一个基于马尔可夫决策过程（MDP）的智能优化框架，以帮助AV在周围环境的动态和不确定性下选择JRC操作功能时做出最优决策。然后，我们开发了一种有效的学习算法，利用深度强化学习技术的最新进展，在不需要任何有关周围环境的先验信息的情况下找到AV的最佳策略。此外，为了使我们提出的框架更具可扩展性，我们开发了一个迁移学习（TL）机制，使AV能够利用宝贵的经验，加快培训过程中，当它移动到一个新的环境。大量的模拟表明，与其他传统的深度强化学习方法相比，所提出的可转移深度强化学习框架将AV的障碍物漏检概率降低了67%。
2022-06-11 cs.LG cs.RO
Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning
Seoul National University（首尔国立大学）
在高度复杂的环境中，许多机器人任务是由许多时间相关的子任务组成的。重要的是通过仔细考虑时间抽象来发现情境意图和适当的行动，以有效地解决问题。为了理解与不断变化的任务动态分离的意图，我们将基于授权的正则化技术扩展到基于生成对抗网络框架的多任务情况。在动态未知的多任务环境下，我们专注于从未标记的专家样本中学习奖励和策略。在本研究中，我们将情境授权定义为互信息的最大值，它代表了以特定状态和子任务为条件的行为如何影响未来。该方法通过推导情境互信息的变分下界来优化情境互信息，并通过在目标函数中加入诱导项来同时学习可转移的多任务奖励函数和策略.通过这样做，多任务奖励函数有助于学习针对环境变化的稳健政策。我们验证了我们的方法在多任务学习和多任务迁移学习上的优势。我们证明了我们提出的方法具有鲁棒性的随机性和不断变化的任务动态。最后，我们证明了我们的方法具有显着更好的性能和数据效率比现有的模仿学习方法在各种基准。
2022-06-19 cs.AI cs.LG cs.RO
Safer Reinforcement Learning through Transferable Instinct Networks
IT University of Copenhagen（哥本哈根信息技术大学）
随机探索是强化学习（RL）发现性能良好的策略的主要机制之一。然而，在安全关键环境中在线学习时，它可能会导致不良或灾难性的结果。事实上，安全学习是现实世界代理在部署过程中学习的主要障碍之一。确保代理遵守硬限制的一种方法是显式配置它们可以操作的边界。虽然这在某些情况下可能有效，但我们并不总是有明确的先验信息，即哪些状态和行为可能导致危险的危险状态。在这里，我们提出了一种方法，其中附加策略可以覆盖主策略并提供更安全的替代操作。在我们的本能调节强化学习（IR^2L）方法中，一个“本能”网络被训练来识别不期望的情况，同时保护学习策略不进入这些情况。本能网络是在一个容易出错的任务上进行预训练的，然后转移到安全学习新任务的环境中。我们在OpenAI Safety gym域中演示了IR^2L，在训练过程中，它收到的安全违规数量明显低于基线RL方法，同时达到类似的任务性能。
2021-07-14 cs.AI cs.LG cs.NE
AnyMorph: Learning Transferable Polices By Inferring Agent Morphology
Carnegie Mellon University（卡内基梅隆大学）；Intel AI（英特尔人工智能）；Mila（米拉研究所）
强化学习的原型方法涉及针对每种新形态从头开始为特定代理量身定制的训练策略。最近的工作旨在消除重新训练的政策，调查是否形态不可知的政策，训练不同的代理具有类似的任务目标，可以转移到新的代理看不见的形态，而无需重新训练。这是一个具有挑战性的问题，需要以前的方法使用手工设计的新代理的形态描述。我们提出了一种数据驱动的方法，而不是手工设计这种描述，该方法直接从强化学习目标学习形态学的表示。我们的是第一个强化学习算法，可以训练的政策，推广到新的代理形态，而不需要提前描述代理的形态。我们评估我们的方法对代理不可知控制的标准基准，并改善了目前的最先进的zero-shot推广到新的代理。重要的是，我们的方法达到了良好的性能，没有明确的形态描述。
2022-06-17 cs.AI cs.LG cs.RO
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
主动学习（AL）的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究，提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反，我们建议将主动学习算法设计视为一个元学习问题，并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络，该网络输入基本学习者状态和未标记的点集，并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络，为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化，特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法，允许嵌入式不可知的主动学习者进行培训。我们的评估表明，以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
Deep Transfer $Q$-Learning for Offline Non-Stationary Reinforcement Learning
Princeton University（普林斯顿大学）；New York University（纽约大学）
针对非平稳有限时域马尔可夫决策过程的动态决策场景，提出迁移深度$Q^*$-学习方法，通过重加权目标程序构建可迁移RL样本，解决现有迁移学习方法不适用于RL的问题，提升目标群体RL性能。
2025-04-11 cs.LG stat.ML
Learning Action-Transferable Policy with Action Embedding
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Zhejiang University（浙江大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
迁移学习（TL）是提高强化学习样本效率的有效方法。然而，如何有效地转移知识的任务与不同的状态-动作空间的研究在早期阶段。以往的研究大多只通过学习一个共同的特征空间来解决不同状态空间之间的不一致性，而没有考虑到相关任务的不同动作空间中的相似动作具有相似的语义。在本文中，我们提出了一种利用这一思想学习动作嵌入的方法，以及一个学习状态嵌入和动作嵌入的框架，以在具有不同状态和动作空间的任务之间传输策略。实验结果表明，该方法不仅可以学习信息丰富的动作嵌入，而且可以加速策略学习。
2021-05-10 cs.AI cs.LG
ConTraIRL: Factorized Contrastive Abstractions for Transferable IRL
School of Computing University of Georgia（乔治亚大学计算学院）；School of Computing Sciences & Computer Engineering The University of Southern Mississippi（密西西比大学计算科学与计算机工程学院）
提出ConTraIRL框架，通过双编码器对比学习解耦环境动态与任务目标的潜在表示，实现组合奖励迁移，在连续控制基准上显著提升少样本迁移的样本效率和奖励恢复。
2026-09-29 cs.AI cs.LG cs.RO
Learning Shared Representations in Multi-task Reinforcement Learning
University College London（伦敦大学学院）
我们研究了多任务强化学习（MT-RL）中的一个范例，其中代理被放置在一个环境中，需要学习在这个空间内执行一系列任务。由于环境没有改变，任务之间可能存在很多共同点，学习单独解决它们似乎是非常浪费的。在本文中，我们明确地建模和学习这种共享结构，因为它出现在状态-动作值空间。我们将展示如何通过修改流行的值迭代和策略迭代过程来共同学习最优值函数，以适应这种共享表示假设，并利用多任务监督学习的力量。最后，我们证明了所提出的模型和训练程序，能够推断出良好的价值函数，即使在低样本制度。除了数据效率之外，我们还将在分析中表明，跨任务联合学习状态空间的抽象会导致更强大，可转移的表示，具有更好的泛化潜力。这种共享的表示假设并利用多任务监督学习的能力。最后，我们证明了所提出的模型和训练程序，能够推断出良好的价值函数，即使在低样本制度。除了数据效率之外，我们还将在分析中表明，跨任务联合学习状态空间的抽象会导致更强大，可转移的表示，具有更好的泛化潜力。
2016-03-07 cs.AI cs.LG
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Towards the Transferability of Rewards Recovered via Regularized Inverse Reinforcement Learning
EPFL（洛桑联邦理工学院）
本文研究逆强化学习所得奖励的可迁移性问题，提出用主角度度量转移律差异，并给出多专家和单专家场景下的可迁移性充分条件及PAC学习算法。
2025-02-03 cs.AI cs.LG stat.ML
Planning with Abstract Learned Models While Learning Transferable Subtasks
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Simmons University（西蒙斯大学）
我们介绍了一种基于模型的分层强化学习算法，以获得自包含的过渡和奖励模型适用于概率规划在多个抽象层次。我们称这个框架为抽象学习模型规划（PALM）。通过使用一种新的形式化结构，即提升抽象马尔可夫决策过程（L-AMDP）来象征性地表示子任务，PALM学习独立和模块化的模型。通过我们的实验，我们展示了PALM如何整合规划和执行，促进快速有效地学习抽象的层次模型。我们还展示了学习模型转移到新的相关任务的潜力。
2020-06-12 cs.AI cs.LG cs.RO
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
ChiPFormer: Transferable Chip Placement via Offline Decision Transformer
The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Zhejiang University（浙江大学）；Tianjin University（天津大学）
提出基于离线强化学习的ChiPFormer框架，通过Decision Transformer从固定数据学习可迁移芯片布局策略，显著提升布局质量并将运行时间缩短10倍。
2023-08-01 cs.AI cs.LG
Transferable Pedestrian Motion Prediction Models at Intersections
Massachusetts Institute of Technology（麻省理工学院）
自动驾驶汽车的一个理想能力是准确预测交叉口附近的行人运动，以实现安全有效的轨迹规划。我们有兴趣开发迁移学习算法，该算法可以在一个十字路口收集的行人轨迹上进行训练，但仍然可以提供对另一个以前看不见的十字路口的轨迹的准确预测。我们首先讨论了一般的可转移行人运动模型的特征选择。在此讨论之后，我们开发了一种基于逆强化学习（IRL）的可转移行人运动预测算法，该算法推断行人意图并根据观察到的轨迹预测未来的轨迹。我们在两个交叉路口收集的数据集上评估了我们的算法，在一个交叉路口训练，在另一个交叉路口测试。我们使用增强半非负稀疏编码（ASNSC）的准确性，在相同的交叉点进行训练和测试作为基线。实验结果表明，该算法在非迁移任务中基线精度提高了40%，在迁移任务中基线精度提高了16%。
2019-09-18 cs.CV cs.LG
ReinforceBug: A Framework to Generate Adversarial Textual Examples
University of Adelaide（阿德莱德大学）；CSIROs Data61（澳大利亚联邦科学与工业研究组织数据61）
通过扰动原始训练样本生成的对抗样本（AE）在提高基于深度学习（DL）的模型的鲁棒性方面是有用的。大多数先前的作品，产生AE，要么是不合理的，由于词汇错误或语义或功能偏离原来的例子。在本文中，我们提出了ReinforceBug，一个强化学习框架，它学习一个在看不见的数据集上可转移的策略，并生成效用保持和可转移（在其他模型上）的AE。我们的研究结果表明，我们的方法是平均10%以上的成功相比，最先进的攻击文本字体。此外，目标模型在错误预测中的平均置信度为73.64%，生成的AE与原始对应物保持功能等效性和语义相似性（83.38%），并且可以在其他模型上转移，平均成功率为46%。
2021-03-11 cs.AI cs.LG
Delay-Aware Model-Based Reinforcement Learning for Continuous Control
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在许多现实系统中，动作延迟降低了强化学习的性能。本文给出了时延感知马尔可夫决策过程的形式化定义，并证明了它可以通过马尔可夫奖励过程转化为具有增广状态的标准MDP。我们开发了一个延迟感知的基于模型的强化学习框架，该框架可以将多步延迟合并到学习的系统模型中，而无需学习。在Gym和MuJoCo平台上的实验表明，与非策略无模型强化学习方法相比，该算法具有更高的训练效率和在不同时延系统间的可移植性.代码可在https://github.com/baimingc/dambrl上获得。
2020-05-11 cs.AI cs.LG stat.ML
Learning Transferable Cooperative Behavior in Multi-Agent Teams
Carnegie Mellon University（卡内基梅隆大学）
虽然多智能体交互可以自然地建模为图，但环境传统上被认为是黑盒。我们建议创建一个共享的代理实体图，其中代理和环境实体形成顶点，顶点之间存在边，可以相互通信。智能体通过沿着图的边交换消息来学习合作。我们提出的多智能体强化学习框架对系统中存在的代理或实体的数量以及排列不变性是不变的，这两者对于任何多智能体系统表示都是理想的属性。我们提出了国家的最先进的结果覆盖，形成和线控制任务的多智能体团队在一个完全分散的框架，并进一步表明，学习的政策迅速转移到不同的团队规模的情况下，随着强大的zero-shot泛化性能。这是朝着开发多智能体团队迈出的重要一步，这些团队可以在现实世界中实际部署，而无需假设完全的先验知识或无限距离的即时通信。
2019-06-04 cs.LG cs.MA stat.ML
In-Context Reinforcement Learning via Communicative World Models
Department of Computer and Information Sciences, Fordham University（福特汉姆大学计算机与信息科学系）；Department of Systems Engineering, City University of Hong Kong（香港城市大学系统工程系）；IBM Research（IBM研究院）
提出CORAL框架，通过将潜在表示学习与控制分离，利用信息代理预训练世界模型并生成通信消息，使控制代理实现零样本适应和样本效率提升。
2026-06-07 cs.AI cs.LG
Transferable Force-Torque Dynamics Model for Peg-in-hole Task
Shanghai Jiao Tong University（上海交通大学）；Flexiv Robotics Research（非夕机器人研究院）
提出了一种基于学习的力-力矩动力学方法，实现了基于模型的多接触轴孔任务控制。由于低维6维力信号的模糊性和过多的训练数据的需求，学习力-扭矩动力学是具有挑战性的。为了解决这些问题，我们提出了一种多姿态力-扭矩状态表示，基于此，通过以样本高效的离线方式生成的数据来学习动力学模型。此外，通过用各种形状、尺度和弹性的钉孔训练动力学模型，模型可以在少量试验后快速转换为新的钉孔。大量的实验表明，我们的动力学模型可以适应看不见的钉孔，与从头开始学习相比，所需的样本减少了70%。随着学习的动态，模型预测控制和基于模型的强化学习政策实现超过80%的插入成功率。我们的视频可以在https://youtu.be/ZAqldpVZgm4上找到。
2019-11-30 cs.AI cs.LG cs.RO
Parallel Knowledge Transfer in Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Sun Yat-sen University（中山大学）
多智能体强化学习是一个标准的框架，用于建模应用于现实世界的场景中的多智能体交互。受人类群体经验共享的启发，学习知识在智能体之间的并行重用可以潜在地促进团队学习性能，特别是在多任务环境中。当所有智能体与环境交互并同时学习时，每个独立的智能体如何有选择地从其他智能体的行为知识中学习是我们需要解决的问题。本文提出了一种新的MARL知识转移框架PAT（Parallel Attentional Transfer）。在PAT中我们设计了两种行动模式，学生模式和自主学习模式。在我们的方法中，每个代理都训练了一个分散的学生演员-评论家，以确定其在每个时间步的表演模式。当Agent对环境不熟悉时，学生模式中的共享注意力机制有效地从其他Agent那里选择学习知识来决定Agent的行动。PAT优于国家的最先进的经验评估结果对以前的建议方法。我们的方法不仅显着提高团队的学习率和整体性能，但也是灵活的和可移植的，适用于各种多智能体系统。
2020-03-29 cs.AI cs.LG cs.MA
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架，用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆（AEV）的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度，避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明，与相似任务相关的决策策略是可传递的。结果表明，所提出的控制框架可以减少时间消耗，实现在线实施.
2020-10-10 cs.AI cs.LG
Universal Successor Representations for Transfer Reinforcement Learning
University of Alberta（阿尔伯塔大学）；MILA（米拉魁北克人工智能研究所）
迁移强化学习的目标是从一组以前的任务推广到看不见的新任务。在这项工作中，我们专注于转移的情况下，任务之间的动态是相同的，但他们的目标不同。虽然一般的价值函数（Sutton等人，2011年）已被证明对知识转移有用，但学习通用价值函数在实践中可能具有挑战性。为了解决这个问题，我们提出（1）使用通用后继表示（USR）来表示可转移的知识，以及（2）可以通过与环境交互来训练的USR近似器（USRA）。我们的实验表明，USR可以有效地应用于新的任务，和代理初始化训练的USRA可以达到目标，大大快于随机初始化。
2018-04-11 cs.AI cs.LG stat.ML
Transferable Curricula through Difficulty Conditioned Generators
Singapore Management University（新加坡管理大学）
本文提出参数化环境响应模型（PERM），通过直接建模环境难度与智能体能力，在最近发展区内生成匹配课程，实现RL智能体的高效训练及学生间的可迁移性。
2023-06-22 cs.AI cs.LG
SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
SkillRise是跨任务学习技能的统一强化学习框架，解耦信用分配机制实现任务求解与技能整理，在多基准上Pass@1性能优于基线，还降低了运行开销。
2026-07-30 cs.AI cs.LG
Model-based graph reinforcement learning for inductive traffic signal control
HEC Montréal（蒙特利尔高等商学院）
大多数用于自适应交通信号控制的强化学习方法需要从头开始训练，以应用于任何新的交叉路口，或者在训练期间经历的道路网络、交通分布或行为约束的任何修改之后。考虑到1）训练这种方法所需的大量经验，以及2）必须通过以探索的方式与真实的道路网络用户交互来收集经验，这种可转移性的缺乏限制了实验和适用性。最近的方法使学习策略，概括看不见的道路网络拓扑结构和交通分布，部分解决这一挑战。然而，文献仍然分为循环（在交叉点处的连通性的演变必须遵守循环）和非循环（较少约束）策略的学习，并且这些可转移方法1）仅与循环约束兼容，2）不支持协调。我们引入了一种新的基于模型的方法，MuJAM，它，在第一次实现显式协调的规模之上，通过允许泛化到控制器的约束，进一步推动泛化。在涉及道路网络和交通设置的zero-shot传输设置中，以及在涉及曼哈顿3，971个交通信号控制器的控制的更大的传输实验中，我们表明，使用循环和非循环约束的MuJAM优于特定于域的基线以及另一种可转移的方法。
2022-08-01 cs.LG stat.ML
Bridging Dynamics Gaps via Diffusion Schrödinger Bridge for Cross-Domain Reinforcement Learning
BDGxRL通过扩散薛定谔桥对齐源域与目标域动态，利用离线演示实现跨领域强化学习策略学习，优于现有基线并具备强适应性。
2026-02-27 cs.AI cs.LG
Stochastic Inverse Reinforcement Learning
Nanyang Technological University（南洋理工大学）
逆强化学习（IRL）问题的目标是从专家演示中恢复奖励函数。然而，IRL问题像任何不适定的反问题一样，具有先天的缺陷，即策略可能对许多奖励函数是最优的，并且专家论证可能对许多策略是最优的。在这项工作中，我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习（SIRL），以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化（MCEM）方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的，强大的，可转移的学习任务，并可以生成替代解决方案的IRL问题。通过我们的公式，可以从全局的角度观察IRL问题的内在属性，并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
Value Explicit Pretraining for Learning Transferable Representations
Thomas Lord Department of Computer Science at the University of Southern California（南加州大学汤姆·劳德计算机科学系）
本文提出价值显式预训练（VEP），通过学习对环境动态和外观变化不变的表示，提升强化学习任务迁移能力。实验表明VEP在未见任务泛化能力、奖励和样本效率上均优于现有方法。
2026-04-30 cs.LG cs.RO
A Transferable Legged Mobile Manipulation Framework Based on Disturbance Predictive Control
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Westlake University（西湖大学）
四足机器人由于其适应不同地形的能力，在机器人学习的研究领域引起了广泛的关注。腿式移动操作是指在四足机器人上安装一个机械臂，可以大大提高机器人在各种操作任务中的性能。一些先前的工作已经从控制理论的角度研究了腿移动操作。然而，为各种机械臂和四足机器人建模统一的结构是一项具有挑战性的任务。在本文中，我们提出了一个统一的框架干扰预测控制的强化学习计划与潜在的动态适配器嵌入到我们提出的低级别控制器。实验结果表明，该方法能够很好地适应各种类型的机器人手臂，具有少量的随机运动样本，我们的方法的有效性。
2022-03-02 cs.LG cs.RO
Pretraining in Deep Reinforcement Learning: A Survey
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
在过去的几年里，将强化学习（RL）与深度学习结合起来的进展非常迅速。从游戏到机器人技术的各种突破激发了人们对设计复杂RL算法和系统的兴趣。然而，RL中的主流工作流程是学习tabula rasa，这可能会导致计算效率低下。这排除了RL算法的持续部署，并可能排除没有大规模计算资源的研究人员。在机器学习的许多其他领域，预训练范式已被证明可以有效地获取可转移的知识，这些知识可用于各种下游任务。最近，我们看到了对深度RL预训练的兴趣激增，并取得了可喜的成果。然而，许多研究都是基于不同的实验设置。由于强化学习的性质，这一领域的预训练面临着独特的挑战，因此需要新的设计原则。在这项调查中，我们试图系统地回顾深度强化学习的预训练方面的现有工作，提供这些方法的分类，讨论每个子领域，并关注开放问题和未来方向。
2022-11-08 cs.AI cs.LG
Hierarchical Reinforcement Learning with Advantage-Based Auxiliary Rewards
Tsinghua University（清华大学）
分层强化学习（HRL）是解决具有稀疏和延迟奖励的长期问题的一种很有前途的方法。许多现有的HRL算法要么使用预先训练的不适应的低级技能，要么需要特定领域的信息来定义低级奖励。在本文中，我们的目标是在保持奖励设计的通用性的同时，使低级技能适应下游任务。我们提出了一个HRL框架，设置辅助奖励的基础上，低层次的技能培训的优势函数的高级政策。这种辅助奖励能够在不使用特定于任务的知识的情况下有效地同时学习高级策略和低级技能。此外，我们还从理论上证明了使用这种辅助奖励优化低级技能将增加联合策略的任务回报。实验结果表明，我们的算法显着优于其他国家的最先进的HRL方法在Mujoco域。我们还发现我们的算法训练的低级和高级策略都是可转移的。
2019-10-10 cs.AI cs.LG
Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Alibaba DAMO Academy（阿里巴巴达摩院）
联邦学习（FL）的文献越来越多，最近启发了联邦强化学习（FRL），以鼓励多个智能体在不共享原始轨迹的情况下联合构建更好的决策策略。尽管FRL有很好的应用前景，但现有的FRL工作未能提供I）其收敛性的理论分析，II）考虑随机系统故障和对抗攻击。为此，我们提出了第一个FRL框架的收敛性是有保证的，并容忍不到一半的参与代理随机系统故障或对抗性攻击者。我们证明了所提出的框架的样本效率是保证提高与代理的数量，并能够考虑到这种潜在的故障或攻击。所有的理论结果都在各种RL基准任务上得到了经验验证。
2022-11-03 cs.AI cs.LG
Deep Inverse Reinforcement Learning for Structural Evolution of Small Molecules
化学库到药物发现管道的大小和质量对于开发新药或重新利用现有药物至关重要。现有的技术，如组合有机合成和高通量筛选通常使过程异常艰难和复杂，因为合成可行的药物的搜索空间是非常巨大的。虽然强化学习在文献中主要用于生成新化合物，但在某些复杂领域，设计简洁地表示学习目标的奖励函数的要求可能令人生畏。基于生成对抗网络的方法在训练后大多会丢弃训练集，并且可能很难训练。在这项研究中，我们提出了一个框架，用于训练一个复合发电机和学习一个可转移的奖励函数的基础上熵最大化逆强化学习范式。我们从实验中表明，逆强化学习路线提供了一个合理的替代方案，用于在奖励函数工程可能不太吸引人或不可能的领域中生成化合物，而表现出所需目标的数据很容易获得。
2020-10-01 cs.AI cs.LG q-bio.BM
FedFormer: Contextual Federation with Attention in Reinforcement Learning
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
针对多智能体联邦强化学习的权重聚合问题，提出 FedFormer，用 Transformer Attention 按上下文加权聚合模型嵌入，在 Meta-World 上优于 FedAvg 和单智能体 SAC。
2023-03-02 cs.AI cs.LG cs.MA
How Transferable are the Representations Learned by Deep Q Agents?
Carnegie Mellon University（卡内基梅隆大学）；Machine Learning Department（机器学习系）
在本文中，我们考虑了深度强化学习（DRL）的样本复杂度的来源，询问有多少来自学习环境状态的有用表示的需求，有多少是由于学习策略的样本复杂度。虽然对于DRL代理，表示和策略之间的区别可能不清楚，我们通过一组迁移学习实验寻求新的见解。在每个实验中，我们保留了在同一个游戏或相关游戏上训练的一部分层，比较了迁移学习和从头开始学习策略的好处。有趣的是，我们发现，由于转移的好处是高度可变的一般和非对称的任务对。我们的实验表明，也许从更简单的环境中转移可以提高更复杂的下游任务的性能，并且根据环境，学习有用表示的要求可以从忽略不计到样本复杂性的大部分。此外，我们发现微调通常优于冻结传输层的训练，证实了在分类设置中首次注意到的见解。
2020-02-24 cs.LG stat.ML
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机株式会社）
逆强化学习（IRL）在奖励工程可能很乏味的情况下很有吸引力。然而，先前的IRL算法使用策略上的转换，这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序，其中环境交互可能变得非常昂贵。为了解决这个问题，我们提出了Off-Policy Inverse强化学习（OPIRL），它（1）采用off-policy数据分布而不是on-policy，并能够显着减少与环境的交互次数，（2）学习一个固定的奖励函数，该函数在动态变化时具有高度的泛化能力，（3）利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果，并且交互明显减少。此外，我们的经验表明，恢复的奖励函数一般化到不同的任务，现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
Learning Transferable Graph Exploration
DeepMind（深度思维）；Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）；University of Washington（华盛顿大学）
本文考虑了有效探索未知环境的问题，这是人工智能的一个关键挑战。我们提出了一个“学习探索”的框架，我们从环境的分布中学习政策。在测试时，呈现来自相同分布的看不见的环境，该策略旨在将探索策略概括为在有限数量的步骤中访问最大数量的唯一状态。我们特别关注的环境中遇到的许多重要的现实世界中的应用程序，如软件测试和地图建设的图形结构的状态空间。我们制定这个任务作为一个强化学习的问题，“探索”代理的奖励过渡到以前看不见的环境状态，并采用图形结构的内存编码代理的过去轨迹。实验结果表明，我们的方法是非常有效的空间地图的探索，并应用于具有挑战性的问题，覆盖率引导的软件测试领域特定的程序和现实世界的移动应用程序，它优于人工设计的方法，由人类专家。
2019-10-28 cs.LG stat.ML
Imagined Value Gradients: Model-Based Policy Optimization with Transferable Latent Dynamics Models
DeepMind（深度思考）；University of Washington（华盛顿大学）
人类是快速学习许多复杂任务的大师，依赖于对其环境动态的近似理解。同样，我们希望我们的学习代理能够快速适应新任务。在本文中，我们探讨了如何基于模型的强化学习（RL）可以促进转移到新的任务。我们开发了一种算法，该算法学习预期未来观察，奖励和价值的行动条件预测模型，可以通过沿着想象的轨迹跟踪估计值的梯度来导出策略。我们展示了如何强大的策略优化，可以实现机器人操作任务，甚至与近似模型，直接从视觉和本体感受。我们评估了我们的方法在迁移学习场景中的有效性，在具有不同奖励结构和视觉干扰的任务上重新使用以前学习的模型，并显示出与强大的离线策略基线相比，学习速度有了显着的提高。有关结果的视频，请访问https://sites.google.com/view/ivg-corl19
2019-10-09 cs.AI cs.CV cs.LG
Model Primitive Hierarchical Lifelong Reinforcement Learning
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
学习可解释和可转移的子策略并从单个复杂任务执行任务分解是困难的。一些传统的分层强化学习技术以自上而下的方式执行这种分解，而元学习技术需要手头的任务分布来学习这种分解。本文提出了一个框架，使用不同的次优世界模型分解成简单的模块化子策略的复杂任务的解决方案。该框架以自自底向上的的方式执行单个源任务的自动分解，同时学习所需的模块化子策略以及控制器来协调它们。我们在高维连续动作控制任务上进行了一系列实验，以证明这种方法在复杂的单任务学习和终身学习中的有效性。最后，我们进行消融研究，以了解框架中不同元素的重要性和鲁棒性以及这种方法的局限性。
2019-03-04 cs.AI cs.LG cs.NE
The Problem of Social Cost in Multi-Agent General Reinforcement Learning: Survey and Synthesis
The Australian National University（澳大利亚国立大学）
针对多智能体环境中学习型智能体社会危害的度量这一开放问题，本文提出更通用的基于市场的机制框架，涵盖特殊情况且适配不同智能体策略，还综述算法并展示应用。
2025-04-13 cs.AI cs.GT cs.LG
An information-theoretic perspective on intrinsic motivation in reinforcement learning: a survey
Univ Lyon（里昂大学）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；INSA Lyon（里昂国立应用科学学院）
强化学习（RL）研究领域非常活跃，有许多新的贡献;特别是考虑到深度RL（DRL）的新兴领域。然而，一些科学和技术挑战仍然需要解决，其中我们可以提到抽象行动的能力或在稀疏奖励环境中探索环境的困难，这可以通过内在动机（IM）来解决。我们建议通过一个新的分类调查这些研究工作的基础上信息论：我们计算重新审视的惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优点和缺点，并展示当前的研究前景。我们的分析表明，新奇和惊喜可以帮助建立一个层次的可转移的技能，进一步抽象的环境，使探索过程更加强大。
2022-09-19 cs.LG
Towards General Negotiation Strategies with End-to-End Reinforcement Learning
Leiden University（莱顿大学）；Delft University of Technology（代尔夫特理工大学）；RWTH Aachen University（亚琛工业大学）
针对传统谈判策略泛化性差、现有强化学习方法处理维度变动存在局限的问题，提出基于图表示与图神经网络的端到端强化学习方法，实现了在未知谈判问题中的有效谈判，拓展了强化学习在谈判智能体领域的应用。
2024-06-21 cs.LG cs.MA
On The Presence of Double-Descent in Deep Reinforcement Learning
Rug（鲁日大学）
本文在深度强化学习中系统验证了双重下降现象，发现过参数化会通过降低策略熵引导策略进入更平坦的损失极小值，从而提升泛化性与鲁棒性。
2025-11-10 cs.AI cs.LG stat.ML
SocialAI 0.1: Towards a Benchmark to Stimulate Research on Socio-Cognitive Abilities in Deep Reinforcement Learning Agents
Inria（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
构建能够参与与人类的社会互动的嵌入式自主智能体是人工智能的主要挑战之一。这个问题激发了许多关于具身语言使用的研究方向。目前的方法集中在语言作为一种沟通工具，在非常简单和非多样化的社会情况下：语言的“自然性”被降低到高词汇量和可变性的概念。在本文中，我们认为，要实现人类水平的人工智能，需要更广泛的关键社交技能：1）在复杂多变的社会环境中使用语言; 2）在不断发展的社会世界中，在多模态环境中进行复杂的具体沟通。在这项工作中，我们解释了认知科学的概念如何帮助人工智能绘制通往类人智能的路线图，重点是其社会维度。然后，我们研究了最近SOTA Deep RL方法在即将推出的SocialAI的第一个网格世界环境中进行测试时的局限性，SocialAI是评估Deep RL代理社交技能的基准。视频和代码可在https://sites.google.com/view/socialai01上获得。
2021-04-27 cs.AI cs.LG
Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain
Westlake University（西湖大学）；Tsinghua University（清华大学）
我们提出了一种异域逆强化学习的方法，该方法在模拟器中学习奖励函数，并借鉴了现实世界中的演示。该方法背后的直觉是，奖励函数不仅应该以模仿专家为导向，而且应该鼓励根据模拟器与现实世界之间的动态差异进行调整的行为。为了实现这一目标，采用了广泛使用的GAN启发的IRL方法，并通过量化动态差异来修改其识别策略生成轨迹的算法。训练过程中的训练过程中，可以产生可转移的奖励函数适合模拟器的动力学，这可以通过推导来保证。实际上，我们的方法为不利用两个域之间的差异的演示轨迹分配了更高的奖励。通过对连续控制任务的大量实验，我们的方法显示了其有效性，并证明了其可扩展性的高维任务。
2021-10-21 cs.LG
TransfQMix: Transformers for Leveraging the Graph Structure of Multi-Agent Reinforcement Learning Problems
协调是多智能体强化学习（MARL）中最困难的方面之一。一个原因是，代理通常选择他们的行动彼此独立。为了看到从独立的政策的组合出现的协调策略，最近的研究集中在使用一个集中的功能（CF），学习每个代理的贡献，团队奖励。然而，环境呈现给代理和CF的结构通常被忽视。我们已经观察到，用于描述协调问题的特征可以表示为潜在图结构的顶点特征。在这里，我们提出了TransfQMix，一种新的方法，使用Transformers来利用这种潜在的结构，并学习更好的协调策略。我们的Transformer代理对可观察实体的状态执行图形推理。我们的Transformer Q-mixer从一个更大的图中学习单调混合函数，该图包括代理的内部和外部状态。TransfQMix被设计为完全可转移的，这意味着相同的参数可以用于控制和训练更大或更小的代理团队。这使得部署有前途的方法，以节省培训时间，并在MARL中获得一般政策，如迁移学习，zero-shot迁移，和课程学习。我们报告TransfQMix在Spread和StarCraft II环境中的表现。在这两种情况下，它都优于最先进的Q-Learning模型，并且在解决其他方法无法解决的问题方面表现出了有效性。
2023-01-13 cs.AI cs.LG cs.MA
Inversely Learning Transferable Rewards via Abstracted States
THINC Lab, School of Computing University of Georgia（THINC实验室，计算学院，佐治亚大学）；School of Computing and Institute for AI University of Georgia（计算学院和人工智能研究所，佐治亚大学）
提出一种通过行为轨迹逆向学习抽象奖励函数的方法，并在未见过的领域实例中验证其可迁移性。
2026-05-26 cs.LG cs.RO
A Semi Centralized Training Decentralized Execution Architecture for Multi Agent Deep Reinforcement Learning in Traffic Signal Control
Faculty of Computer Science and Engineering, Shahid Beheshti University（沙希德·贝赫什提大学计算机科学与工程学院）
本文提出SEMI-CTDE架构，通过区域划分实现多交叉口交通信号控制，结合集中训练与分布式执行，提升性能与适应性。
2026-03-29 cs.AI cs.LG cs.MA
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma（计算机科学学院俄克拉荷马大学）
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题，提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架，提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Transferable Graph Optimizers for ML Compilers
Google（谷歌公司）；UC Riverside（加州大学河滨分校）；Carnegie Mellon University（卡内基梅隆大学）
大多数用于机器学习（ML）框架的编译器需要解决许多相关的优化问题以生成高效的机器码。目前的ML编译器依赖于基于算法的算法来一次解决这些优化问题。然而，这种方法不仅难以维护，而且通常会导致次优解决方案，特别是对于较新的模型架构。文献中现有的基于学习的方法是样本效率低下的，解决单个优化问题，并且不推广到看不见的图，使得它们在实践中不可行。为了解决这些局限性，我们提出了一种端到端的，可转移的深度强化学习方法，用于计算图优化（GO），该方法基于归纳图神经网络上的可扩展顺序注意力机制。GO在整个图上生成决策，而不是在每个节点上自回归，与以前的方法相比，大大加快了搜索速度。此外，我们还提出了循环注意力层来联合优化依赖图优化任务，与TensorFlow默认优化相比，在三个图优化任务上实现了33%-60%的加速。在由多达80，000个节点组成的一组不同的代表性图形上，包括Inception-v3，Transformer-XL和WaveNet，GO在实际系统中评估的设备放置任务上，平均比人类专家提高了21%，比现有技术提高了18%，收敛速度提高了15倍。
2021-02-20 cs.DC cs.LG
