Learning Transferable Cooperative Behavior in Multi-Agent Teams
Carnegie Mellon University（卡内基梅隆大学）
虽然多智能体交互可以自然地建模为图，但环境传统上被认为是黑盒。我们建议创建一个共享的代理实体图，其中代理和环境实体形成顶点，顶点之间存在边，可以相互通信。智能体通过沿着图的边交换消息来学习合作。我们提出的多智能体强化学习框架对系统中存在的代理或实体的数量以及排列不变性是不变的，这两者对于任何多智能体系统表示都是理想的属性。我们提出了国家的最先进的结果覆盖，形成和线控制任务的多智能体团队在一个完全分散的框架，并进一步表明，学习的政策迅速转移到不同的团队规模的情况下，随着强大的zero-shot泛化性能。这是朝着开发多智能体团队迈出的重要一步，这些团队可以在现实世界中实际部署，而无需假设完全的先验知识或无限距离的即时通信。
2019-06-04 cs.LG cs.MA stat.ML
Model-based graph reinforcement learning for inductive traffic signal control
HEC Montréal（蒙特利尔高等商学院）
大多数用于自适应交通信号控制的强化学习方法需要从头开始训练，以应用于任何新的交叉路口，或者在训练期间经历的道路网络、交通分布或行为约束的任何修改之后。考虑到1）训练这种方法所需的大量经验，以及2）必须通过以探索的方式与真实的道路网络用户交互来收集经验，这种可转移性的缺乏限制了实验和适用性。最近的方法使学习策略，概括看不见的道路网络拓扑结构和交通分布，部分解决这一挑战。然而，文献仍然分为循环（在交叉点处的连通性的演变必须遵守循环）和非循环（较少约束）策略的学习，并且这些可转移方法1）仅与循环约束兼容，2）不支持协调。我们引入了一种新的基于模型的方法，MuJAM，它，在第一次实现显式协调的规模之上，通过允许泛化到控制器的约束，进一步推动泛化。在涉及道路网络和交通设置的zero-shot传输设置中，以及在涉及曼哈顿3，971个交通信号控制器的控制的更大的传输实验中，我们表明，使用循环和非循环约束的MuJAM优于特定于域的基线以及另一种可转移的方法。
2022-08-01 cs.LG stat.ML
ConTraIRL: Factorized Contrastive Abstractions for Transferable IRL
School of Computing University of Georgia（乔治亚大学计算学院）；School of Computing Sciences & Computer Engineering The University of Southern Mississippi（密西西比大学计算科学与计算机工程学院）
提出ConTraIRL框架，通过双编码器对比学习解耦环境动态与任务目标的潜在表示，实现组合奖励迁移，在连续控制基准上显著提升少样本迁移的样本效率和奖励恢复。
2026-09-29 cs.AI cs.LG cs.RO
Meta-Learning Bandit Policies by Gradient Ascent
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
大多数强盗策略的设计要么是在任何问题的情况下最大限度地减少遗憾，对底层环境做很少的假设，要么是在贝叶斯意义上，假设环境参数的先验分布。前者在实际环境中往往过于保守，而后者则需要很难在实践中验证的假设。我们研究的强盗问题，这两个极端之间，学习代理有机会从一个未知的先验分布$\mathcal{P}$采样的强盗实例，并旨在实现高回报的平均超过强盗实例从$\mathcal{P}$。这种设置是特别重要的，因为它奠定了基础的元学习的强盗政策，并反映了更现实的假设，在许多实际领域。我们建议使用参数化的强盗政策，是可区分的，可以使用策略梯度进行优化。这提供了一个易于实施的广泛适用的框架。我们得到的回报梯度，反映了结构的强盗问题和政策，为非上下文和上下文的设置，并提出了一些有趣的政策，都是可微的，并具有低遗憾。我们的算法和理论贡献的支持下，广泛的实验表明，基线减法，学习偏见的重要性，我们的方法在一个范围内的问题的实用性。
2021-01-06 cs.LG stat.ML
Learning Efficient and Effective Exploration Policies with Counterfactual Meta Policy
Nankai University（南开大学）；Microsoft Research Asia（微软亚洲研究院）
强化学习算法中的一个基本问题是对环境的探索和对代理已经获得的信息的利用之间的平衡。特别是，探究对于学习过程的效率和有效性都起着至关重要的作用。然而，现有的探索工作涉及任务不可知的设计，这是在一个环境中表现良好，但不适合另一个。目的是以自动化的方式学习有效和高效的勘探策略。我们形式化了一个可行的度量标准，用于测量基于反事实意识形态的探索效用。在此基础上，提出了一种基于元学习的端到端探索策略学习算法。我们证明，我们的方法取得了良好的效果相比，以前的作品在高维控制任务的MuJoCo模拟器。
2019-05-28 cs.LG stat.ML
Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling
College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；Institute of Military Transportation（军事交通运输研究院）；School of Artificial Intelligence, Hebei University of Technology（人工智能学院，河北工业大学）
本文提出基于隐式因果图建模的可迁移延迟感知强化学习方法，通过节点级语义编码和消息传递机制学习可迁移的结构表示和环境动态知识，以优化策略并实现跨任务知识迁移。
2026-05-12 cs.AI cs.LG
ChiPFormer: Transferable Chip Placement via Offline Decision Transformer
The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Zhejiang University（浙江大学）；Tianjin University（天津大学）
提出基于离线强化学习的ChiPFormer框架，通过Decision Transformer从固定数据学习可迁移芯片布局策略，显著提升布局质量并将运行时间缩短10倍。
2023-08-01 cs.AI cs.LG
Transferable Force-Torque Dynamics Model for Peg-in-hole Task
Shanghai Jiao Tong University（上海交通大学）；Flexiv Robotics Research（非夕机器人研究院）
提出了一种基于学习的力-力矩动力学方法，实现了基于模型的多接触轴孔任务控制。由于低维6维力信号的模糊性和过多的训练数据的需求，学习力-扭矩动力学是具有挑战性的。为了解决这些问题，我们提出了一种多姿态力-扭矩状态表示，基于此，通过以样本高效的离线方式生成的数据来学习动力学模型。此外，通过用各种形状、尺度和弹性的钉孔训练动力学模型，模型可以在少量试验后快速转换为新的钉孔。大量的实验表明，我们的动力学模型可以适应看不见的钉孔，与从头开始学习相比，所需的样本减少了70%。随着学习的动态，模型预测控制和基于模型的强化学习政策实现超过80%的插入成功率。我们的视频可以在https://youtu.be/ZAqldpVZgm4上找到。
2019-11-30 cs.AI cs.LG cs.RO
Smoothing Policies and Safe Policy Gradients
Universitat Pompeu Fabra（庞培法布拉大学）；Meta；Politecnico di Milano（米兰理工大学）
策略梯度（PG）算法是强化学习在现实世界控制任务（如机器人）中备受期待的应用的最佳候选者之一。然而，每当学习过程本身必须在物理系统上执行或涉及任何形式的人机交互时，这些方法的试错性质就会带来安全问题。在本文中，我们解决了一个特定的安全配方，其中目标和危险都编码在一个标量奖励信号和学习代理的约束，永远不会恶化其性能，衡量为预期的奖励总和。通过研究演员只有策略梯度从随机优化的角度来看，我们建立了改善保证一类参数的政策，推广现有的结果高斯政策。这一点，再加上新的上界的方差的策略梯度估计，使我们能够确定元参数的时间表，保证单调改善的概率很高。两个关键元参数是参数更新的步长和梯度估计的批量大小。通过联合，自适应选择这些元参数，我们得到了一个策略梯度算法的单调改善保证。
2022-06-17 cs.LG stat.ML
Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
强化学习算法可以自主地获取复杂任务的策略。然而，学习一组不同的技能所需的样本数量可能非常大。虽然Meta强化学习方法使智能体能够利用先前的经验快速适应新任务，但它们的性能关键取决于新任务与先前经历的任务的接近程度。目前的方法要么不能很好地外推，要么可以以需要非常大量的数据进行策略元训练为代价。在这项工作中，我们提出了模型识别和经验重新标记（MIER），一个Meta强化学习算法，既有效，外推以及当面临的分布任务在测试时。我们的方法是基于一个简单的见解：我们认识到，动态模型可以有效地适应和一致的政策外的数据，更容易比政策和价值函数。然后，这些动态模型可以用于通过为新任务生成合成经验来继续训练分发外任务的策略和价值函数，而根本不使用Meta强化学习。
2020-06-15 cs.LG stat.ML
Synthesized Policies for Transfer and Adaptation across Tasks and Environments
University of Southern California（南加州大学）；Tencent AI Lab（腾讯人工智能实验室）；Netflix（奈飞）
强化学习中的迁移能力是构建通用人工智能代理的关键。在本文中，我们考虑了学习同时跨环境（ENV）和任务（ASK）迁移的问题，可能更重要的是，通过从所有可能的组合中只学习稀疏（ENV，ASK）对。我们提出了一种新的组合神经网络架构，描述了一个Meta规则组成的环境和任务嵌入的政策。值得注意的是，主要的挑战之一是学习嵌入与Meta规则。我们进一步提出了新的训练方法来解开嵌入，使它们既成为环境和任务的独特签名，又成为组成策略的有效构建块。GridWorld和雷神，其中代理作为输入的自我中心的观点，实验表明，我们的方法产生了很高的成功率对所有（ENV，任务）对学习后，只有40%。
2021-05-26 cs.LG stat.ML
On the Convergence Theory of Meta Reinforcement Learning with Personalized Policies
Tianjin University（天津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现代Meta强化学习（Meta-RL）方法主要是基于模型无关元学习开发的，其在任务之间执行策略梯度步骤以最大化策略性能。然而，Meta-RL中的梯度冲突问题仍然知之甚少，这可能会导致性能下降时，遇到不同的任务。为了解决这一问题，提出了一种新的个性化元强化学习（pMeta-RL）算法，该算法聚合特定于任务的个性化策略来更新用于所有任务的元策略，同时在元策略约束下保持个性化策略以最大化每个任务的平均回报。我们还提供了理论分析下的表格设置，这表明我们的pMeta-RL算法的收敛性。此外，我们将所提出的pMeta-RL算法扩展到基于软演员-评论家的深度网络版本，使其适用于连续控制任务。实验结果表明，该算法在Gym和MuJoCo上的性能优于其他Meta-RL算法。
2022-09-21 cs.AI cs.LG
Safer Reinforcement Learning through Transferable Instinct Networks
IT University of Copenhagen（哥本哈根信息技术大学）
随机探索是强化学习（RL）发现性能良好的策略的主要机制之一。然而，在安全关键环境中在线学习时，它可能会导致不良或灾难性的结果。事实上，安全学习是现实世界代理在部署过程中学习的主要障碍之一。确保代理遵守硬限制的一种方法是显式配置它们可以操作的边界。虽然这在某些情况下可能有效，但我们并不总是有明确的先验信息，即哪些状态和行为可能导致危险的危险状态。在这里，我们提出了一种方法，其中附加策略可以覆盖主策略并提供更安全的替代操作。在我们的本能调节强化学习（IR^2L）方法中，一个“本能”网络被训练来识别不期望的情况，同时保护学习策略不进入这些情况。本能网络是在一个容易出错的任务上进行预训练的，然后转移到安全学习新任务的环境中。我们在OpenAI Safety gym域中演示了IR^2L，在训练过程中，它收到的安全违规数量明显低于基线RL方法，同时达到类似的任务性能。
2021-07-14 cs.AI cs.LG cs.NE
Influence maximization in unknown social networks: Learning Policies for Effective Graph Sampling
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；McGill University（麦吉尔大学）；Mila（米拉魁北克人工智能研究所）；Harvard University（哈佛大学）
在现实世界的社交网络中寻找有影响力的参与者时，一个严重的挑战是缺乏对底层网络结构的了解。目前最先进的方法依赖于手工制作的采样算法;这些方法以精心构建的顺序对节点及其邻居进行采样，并从这个发现的网络中选择意见领袖，以最大限度地扩大（未知）完整网络中的影响力。在这项工作中，我们提出了一个强化学习框架的网络发现，自动学习有用的节点和图形表示编码的重要结构特性的网络。在训练时，该方法识别网络的部分，使得从该采样子图中选择的节点可以有效地影响完整网络中的节点。这种基于可转移网络结构的自适应策略的实现归因于对由适当的奖励方案驱动的相关节点和图签名进行编码的框架的精心设计。我们对来自四个不同领域的真实社交网络进行了实验，结果表明，与当前最先进的方法相比，我们的RL代理学习到的策略提高了10-36%。
2020-02-20 cs.LG cs.SI
Learning Transferable Policies for Monocular Reactive MAV Control
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
将以前任务中获得的知识转移到新环境中的能力是人类学习的最重要机制之一。尽管如此，适应自主行为在部分相似的设置中被重用仍然是当前机器人研究中的一个开放问题。在本文中，我们在这个方向上迈出了一小步，并提出了一个通用的框架，学习可转移的运动策略。我们的目标是通过利用不同但相关的源域中的训练数据来解决目标域中的学习问题。我们提出了这一点的背景下，自主MAV飞行使用单目反应控制，并证明了我们提出的方法的有效性，通过广泛的真实世界的飞行实验在室外杂乱的环境。
2016-08-01 cs.AI cs.LG cs.RO
Value Explicit Pretraining for Learning Transferable Representations
Thomas Lord Department of Computer Science at the University of Southern California（南加州大学汤姆·劳德计算机科学系）
本文提出价值显式预训练（VEP），通过学习对环境动态和外观变化不变的表示，提升强化学习任务迁移能力。实验表明VEP在未见任务泛化能力、奖励和样本效率上均优于现有方法。
2026-04-30 cs.LG cs.RO
Constrained Meta Reinforcement Learning with Provable Test-Time Safety
Sycamore Lab, EPFL, Lausanne, Switzerland（苏黎世联邦理工学院萨克森实验室，瑞士拉瓦尔）
提出一种约束元强化学习算法，在测试任务上以可证明的安全性和样本复杂度保证学习近似最优策略，并证明样本复杂度下界。
2026-05-26 cs.LG
MGHRL: Meta Goal-generation for Hierarchical Reinforcement Learning
Tianjin University（天津大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
大多数Meta强化学习（meta-RL）方法通过直接优化原始动作空间上的策略参数来学习适应新任务。这样的算法在具有相对微小差异的任务中工作得很好。然而，当任务分布变得更宽时，直接学习这样的元策略将是非常低效的。在本文中，我们提出了一个新的元强化学习算法称为Meta Goal-generation for Hierarchical RL（MGHRL）。MGHRL不是直接在原始动作空间上为新任务生成策略，而是根据过去的经验在子目标上生成高级Meta策略，并将如何实现子目标的其余部分作为独立的RL子任务。我们在几个具有挑战性的模拟机器人环境中的经验结果表明，我们的方法可以从过去的经验中进行更有效和更广泛的元学习。
2020-03-04 cs.AI cs.LG stat.ML
EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data
University of Southern California（南加州大学）；KAIST（韩国科学技术院）；CMU（卡内基梅隆大学）；Amazon Web Services（亚马逊网络服务）
EXTRACT利用预训练视觉语言模型从离线数据中提取语义技能，无需人工监督，使机器人通过选择技能和调整参数快速学习新任务，在稀疏奖励图像操作环境中显著提升样本效率和性能。
2024-09-19 cs.AI cs.LG cs.RO
Reinforcement learning based adaptive metaheuristics
University of Trento（特伦托大学）
参数自适应是演化计算应用于数值优化的主要趋势之一，是根据问题的性质自动调整算法超参数的能力。虽然多年来已经提出了几种手工制作的适应策略来解决这个问题，但到目前为止，在应用机器学习来学习这些策略方面的尝试很少。在这里，我们介绍了一个通用的框架，用于执行参数自适应连续域元分析的基础上，国家的最先进的强化学习算法。我们证明了这一框架的适用性的两个算法，即协方差矩阵自适应演化策略（CMA-ES）和差分进化（DE），我们学习，分别适应政策的步长（CMA-ES），和比例因子和交叉率（DE）。我们在两种设置中对这些策略进行训练，一组46个不同维度的基准函数，对策略进行各种输入：每个函数一个策略，所有函数一个全局策略。分别比较，累积步长适应（CSA）的政策和两个著名的自适应DE的变种（iDE和jDE），我们的政策是能够产生竞争力的结果在大多数情况下，特别是在DE的情况下。
2022-06-29 cs.LG cs.NE
Robust Meta-Reinforcement Learning with Curriculum-Based Task Sampling
Hitachi, Ltd.（日立有限公司）
Meta-强化学习（meta-RL）获取在宽任务分布中对任务表现出良好性能的元策略。然而，传统的元RL通过随机采样任务来学习元策略，据报道，它对某些任务表现出元过拟合，特别是对于代理可以轻松获得高分的简单任务。为了减少元过拟合的影响，我们考虑了基于任务抽样的元RL。我们的方法是鲁棒Meta强化学习与引导任务采样（RMRL-GTS），这是一个有效的方法，限制基于分数和时代的任务采样。我们表明，为了实现强大的元RL，它不仅是必要的，以集中的样本得分低的任务，但也要限制和扩大任务区域的任务进行采样。
2022-03-31 cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
FLARE: Fingerprinting Deep Reinforcement Learning Agents using Universal Adversarial Masks
Nokia Bell Labs（诺基亚贝尔实验室）；Aalto University（阿尔托大学）；University of Waterloo（滑铁卢大学）
本文提出FLARE，利用不可迁移的通用对抗掩码作为指纹，通过动作一致性验证深度强化学习策略的所有权，实验表明其能有效识别盗版副本且无误报，并对模型修改攻击具有鲁棒性。
2023-09-25 cs.CR cs.LG
Factorized Scheduling Principle: Learning Interpretable and Transferable Policies via Structured Additive Functions
Sejong University（世宗大学）；Artificial Intelligence Robotics Institute (AIRI), Sejong University（世宗大学人工智能机器人研究所（AIRI））
提出因子化调度原理框架，将调度策略分解为加性分量，学习可解释且可迁移的规则，并在合成和现实任务中验证了性能与零样本泛化能力。
2026-09-30 cs.AI cs.LG
Learning Robust Penetration Testing Policies under Partial Observability: A systematic evaluation
Cyber Defence Lab, CISS Department Royal Military Academy（国防网络安全实验室，信息与系统科学系皇家军事学院）；AI Lab, Department of Computer Science Vrije Universiteit Brussel（人工智能实验室，计算机科学系自由大学布鲁塞尔）
针对部分可观测的渗透测试问题，系统评估了多种PPO变体（如帧堆叠、历史观测增强、LSTM/TrXL架构）在主机网络中的性能，发现历史聚合策略收敛速度提升四倍，并揭示了策略的定性差异。
2026-06-26 cs.CR cs.LG
Transferable and Distributed User Association Policies for 5G and Beyond Networks
CEA-Leti（原子能和替代能源委员会电子与信息技术实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Athonet（Athonet公司）
我们研究的问题，用户关联，即找到最佳的分配用户设备的基站，以实现有针对性的网络性能。在本文中，我们专注于关联策略的知识转移。事实上，传统的非平凡的用户关联方案往往是特定的或部署特定的，并需要重新设计或重新学习的策略时，用户的数量或位置的变化。相比之下，可转移性允许将针对特定场景设计的单个用户关联策略应用于其他不同的用户部署，而不需要大量的重新学习或重新设计阶段，并且大大降低了其计算和管理复杂性。为了实现可移植性，我们首先铸造用户关联作为一个多智能体强化学习问题。然后，基于我们专门为这种情况设想的神经注意力机制，我们提出了一种新的分布式策略网络架构，该架构具有zero-shot泛化能力，即，数值结果显示了我们的解决方案在整体网络通信速率方面的有效性，即使用户数量相对于初始训练点增加一倍，也优于集中式基准。
2021-06-04 cs.LG cs.MA cs.NI
Distributionally Adaptive Meta Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对元强化学习在测试时任务分布偏移下失效的问题，提出训练一组具备不同鲁棒性水平的元策略并自适应选择，以实现快速适应、降低遗憾值。
2023-07-10 cs.AI cs.LG
Boosting Hierarchical Reinforcement Learning with Meta-Learning for Complex Task Adaptation
Iran University of Science and Technology（伊朗科技大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Zurich（苏黎世大学）
本文提出将基于梯度的元学习、课程学习与内在动机融入HRL，使智能体在网格环境中更快适应复杂任务，并取得更高奖励与成功率。
2025-03-14 cs.AI cs.LG
Learning Diverse Policies in MOBA Games via Macro-Goals
Tencent AI Lab（腾讯人工智能实验室）；Tencent TiMi L1 Studio（腾讯天美L1工作室）
最近，许多研究人员在使用深度强化学习构建用于MOBA游戏的AI系统方面取得了成功进展，例如Dota 2和王者荣耀。尽管这些人工智能系统已经达到甚至超过了人类水平的性能，但它们仍然缺乏政策多样性。在本文中，我们提出了一个新的宏观目标指导框架，称为MGG，学习不同的政策在MOBA游戏。MGG从人类演示中抽象出策略作为宏观目标，并训练元控制器来预测这些宏观目标。为了增强策略多样性，MGG从元控制器预测中抽取宏观目标，并指导训练过程实现这些目标。在典型的MOBA游戏《王者荣耀》上的实验结果表明，MGG可以在不同的比赛和阵容中执行不同的策略，并且在102个英雄上的性能也优于最先进的方法。
2021-10-27 cs.AI cs.LG
Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies
DeepMind（深度思维）
对于在现实世界中操作的机器人，希望学习可重复使用的行为，这些行为可以有效地转移并适应许多任务和场景。我们提出了一种方法来学习抽象的运动技能的数据使用分层混合潜变量模型。与现有的工作相比，我们的方法利用了离散和连续潜变量的三级层次结构，以捕获一组高级行为，同时允许它们如何执行的差异。我们在操作域中证明，该方法可以有效地将离线数据聚类为不同的可执行行为，同时保留连续潜变量模型的灵活性。由此产生的技能可以转移和微调新的任务，看不见的对象，并从状态到基于视觉的政策，产生更好的样本效率和渐近性能相比，现有的技能和模仿为基础的方法。我们进一步分析了这些技能如何以及何时最有益：它们鼓励定向探索覆盖与任务相关的状态空间的大区域，使它们在挑战稀疏奖励设置时最有效。
2022-03-14 cs.AI cs.LG cs.RO
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA（普渡大学土木与建设工程学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（普渡大学埃尔莫尔家庭电气与计算机工程学院）
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架，通过元学习推断环境潜在表示并动态调整风险水平，实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Behaviour-conditioned policies for cooperative reinforcement learning tasks
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；Bitville Oy（比特维尔公司）；University of Manchester（曼彻斯特大学）
人工智能系统之间以及人工智能系统与人类之间的合作变得越来越重要。在各种现实任务中，一个代理需要与未知的合作伙伴代理类型。这就要求智能体在合作任务中评估合作伙伴智能体的行为，并调整自己的策略来支持合作。深度强化学习模型可以被训练来提供所需的功能，但已知其存在样本效率低下和学习缓慢的问题。然而，在正在进行的任务期间适应合作伙伴代理行为需要快速评估合作伙伴代理类型的能力。我们提出了一种方法，在那里我们综合产生不同的行为模式的代理人的人口与他们的行为的地面实况数据，并使用这些数据来训练元学习者。我们还建议了一个代理架构，它可以有效地使用生成的数据，并获得元学习能力。当一个代理配备了这样的元学习器，它能够快速适应合作与未知的合作伙伴代理类型在新的情况下。这种方法可以用于自动形成元训练的任务分配，例如通过自我游戏产生的新兴行为。
2021-10-04 cs.LG cs.MA
Offline Meta-Reinforcement Learning with Online Self-Supervision
UC Berkeley（加州大学伯克利分校）；University of California, Berkeley（加州大学伯克利分校）
Meta-强化学习（RL）方法可以元训练策略，这些策略适应新任务，数据数量级比标准RL少，但元训练本身成本高且耗时。如果我们可以在离线数据上进行元训练，那么我们可以重用相同的静态数据集，为不同的任务标记一次奖励，以在元测试时元训练适应各种新任务的策略。虽然这种能力将使元RL成为现实世界使用的实用工具，但离线元RL提出了在线元RL或标准离线RL设置之外的额外挑战。元RL学习一种收集数据以进行调整的探索策略，并元训练一种快速适应新任务数据的策略。由于该策略是在固定的离线数据集上进行元训练的，因此当适应通过学习的探索策略收集的数据时，它可能会表现出不可预测的行为，这与离线数据系统地不同，从而引起分布变化。我们提出了一种混合离线元RL算法，该算法使用带有奖励的离线数据来元训练自适应策略，然后收集额外的无监督在线数据，而没有任何奖励标签来桥接这种分布偏移。通过在线收集不需要奖励标签，收集这些数据可以便宜得多。我们将我们的方法与模拟机器人运动和操纵任务的离线元RL的先前工作进行了比较，发现使用额外的无监督在线数据汇集可以显著提高元训练策略的自适应能力，在一系列需要推广到新任务的具有挑战性的领域上，匹配完全在线的元RL的性能。
2022-07-07 cs.AI cs.LG cs.RO
Bottom-Up Meta-Policy Search
Aeronautics Institute of Technology（航空技术学院）
尽管最近在通过交互学习的代理方面取得了进展，但在样本效率和训练期间不可见行为的泛化方面存在一些挑战。为了解决这些问题，我们提出并应用了一种一阶元学习算法，称为自底向上的【形】元策略搜索（BUMPS），它采用两个阶段的优化过程：首先，在元训练阶段，它提取少量的专家策略来创建一个能够将知识推广到训练过程中看不见的任务的元策略;其次，它应用了一种快速自适应策略过滤，该策略过滤评估从元策略分布中采样的少量策略，并选择最佳解决任务的策略。我们在RoboCup 3D足球仿真领域进行了所有实验，在踢动作学习的背景下。我们表明，考虑到我们的实验设置，BUMPS适用于简单多任务强化学习不适用的场景。最后，我们进行了实验的方式来评估算法的每个组件。
2019-12-09 cs.AI cs.LG cs.RO
Meta-learning Transferable Representations with a Single Target Domain
Stanford University（斯坦福大学）
最近的研究发现，微调和联合训练-迁移学习的两种流行方法-并不总是提高下游任务的准确性。首先，我们的目标是更多地了解微调和联合训练何时以及为什么对迁移学习来说是次优的，甚至是有害的。我们设计了半合成数据集，其中源任务可以通过源特定功能或可转移功能来解决。我们观察到（1）预训练可能没有学习可转移特征的动机，（2）联合训练可能同时学习特定于源的特征并过拟合目标。其次，为了改善微调和联合训练，我们提出了Meta表示学习（MeRLin）来学习可转移的特征。MeRLin元学习表示，通过确保头部适合在具有目标训练数据的表示的顶部上也在目标验证数据上表现良好。我们还证明了MeRLin恢复目标地面实况模型与二次神经网络参数化和源分布，其中包含可转移和源特定的功能。在相同的分布上，预训练和联合训练可证明无法学习可转移的特征。MeRLin在各种真实世界视觉和NLP迁移学习基准测试中的表现优于以前最先进的迁移学习算法。
2020-11-03 cs.LG
Function Contrastive Learning of Transferable Meta-Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
元学习算法可以快速适应来自与训练任务相同的任务分布的新任务。导致快速适应的机制是下游预测模型对任务的底层数据生成过程的推断表示或\emph{function}的调节。该\emph{meta-representation}是从基础函数的几个观察到的示例计算的，与预测模型联合学习。在这项工作中，我们研究的影响，这种联合培训的元表征的可转移性。我们的目标是学习对数据中的噪声具有鲁棒性的元表示，并促进解决共享相同底层功能的各种下游任务。为此，我们提出了一种解耦的编码器-解码器方法来进行监督元学习，其中编码器使用对比目标进行训练，以找到底层函数的良好表示。特别是，我们的训练方案是由自我监督信号驱动的，该信号指示两组示例是否来自同一函数。我们在一些合成和真实世界数据集上的实验表明，我们获得的表示在下游性能和噪声鲁棒性方面优于强基线，即使这些基线是以端到端的方式训练的。
2021-07-22 cs.LG stat.ML
Zero-Shot Transferable Solution Method for Parametric Optimal Control Problems
Oden Institute, UT Austin（UT奥斯汀奥登研究所）；Department of Mathematics, UCLA（加州大学洛杉矶分校数学系）；Department of Mathematical and Statistical Sciences, Clemson University（克莱姆斯大学数学与统计学系）；Department of Civil and Systems Engineering, Johns Hopkins University（约翰霍普金斯大学土木与系统工程系）
本文提出了一种基于函数编码器的可迁移求解方法，通过离线-在线分解实现对参数最优控制问题的高效零样本适应。
2026-03-11 cs.LG math.OC
Learning Transferable Adversarial Robust Representations via Multi-view Consistency
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种双编码器元对抗多视图表示学习框架，通过最大化同一数据不同增强视图间的差异与一致性，学习跨领域和任务的可迁移对抗鲁棒表示，在少样本学习任务上鲁棒准确率提升超过10%。
2023-10-26 cs.LG
The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses
UC Berkeley（加州大学伯克利分校）；Zuse Institute Berlin（柏林祖斯研究所）；University of Southern Denmark（南丹麦大学）；TU Berlin（柏林工业大学）
本文通过元分析探讨了水印、可转移攻击和对抗防御之间的权衡，证明了三者中至少存在其一，并利用全同态加密构建了可转移攻击的实例。
2026-01-21 cs.AI cs.CR cs.LG
Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对数据选择中元学习方法的细粒度评估与可迁移性权衡问题，提出基于逐点值匹配目标的可扩展框架TESS，在LLM安全性和指令调优上实现跨数据集与跨模型规模的有效迁移。
2026-10-02 cs.AI cs.CL cs.LG
Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology（京东科技）；University of California, Los Angeles（加州大学洛杉矶分校）
我们认为对抗攻击的黑盒模型时，不允许查询。在这种情况下，许多方法直接攻击代理模型，并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本，但由于代理模型和目标模型之间的不匹配，其性能仍然受到限制。在本文中，我们从一个新的角度来解决这个问题-而不是使用原来的代理模型，我们是否可以获得一个Meta-代理模型（MSM），使攻击这个模型可以更容易地转移到其他模型？我们证明了这个目标可以在数学上表述为一个适定性（类似于双层）的优化问题，并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型，我们的方法可以得到一个MSM，使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明，通过攻击MSM，我们可以获得更强的可转移对抗性示例，以欺骗黑盒模型，包括对抗性训练的模型，成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战，并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks
Xi’an Jiaotong University（西安交通大学）
学习率（LR）是训练深度神经网络（DNN）的随机梯度下降（SGD）算法中最重要的超参数之一。然而，目前手工设计的LR时间表需要手动预先指定一个固定的形式，这限制了他们的能力，以适应实际的非凸优化问题，由于显着多样化的训练动态。同时，它总是需要从零开始搜索合适的LR调度，然而，这些LR调度通常随着任务的变化而大不相同，如数据模态、网络架构或训练数据容量。为了解决这个学习率的时间表设置问题，我们建议参数LR时间表与明确的映射公式，称为\textit{MLR-SNet}。可学习的参数化结构为MLR-SNet带来了更大的灵活性，可以学习适当的LR调度，以符合DNN的训练动态。图像和文本分类基准实验证实了我们的方法实现适当的LR时间表的能力。此外，显式的参数化结构使得元学习LR调度能够被转移和即插即用，这可以很容易地推广到新的异构任务。我们将我们的元学习MLR-SNet转移到查询任务，如不同的训练时期，网络架构，数据模态，数据集大小，与专门为查询任务设计的手动设计的LR计划相比，实现了相当甚至更好的性能。当训练数据带有噪声时，MLR-SNet的鲁棒性也得到了证实。我们进一步证明了配备LR调度的SGD算法的收敛性，该算法的收敛速度与解决该问题的最知名的算法相当。
2021-05-13 cs.LG stat.ML
TMLC-Net: Transferable Meta Label Correction for Noisy Label Learning
School of Artificial Intelligence, Tianjin Normal University（天津师范大学人工智能学院）
针对现实数据集噪声标签阻碍深度学习模型部署、现有元学习方法迁移性有限的问题，提出TMLC-Net可迁移元标签校正网络，集成三个核心组件，在多噪声基准数据集上优于现有方法，具良好迁移适应性。
2025-02-11 cs.AI cs.LG
TVE: Learning Meta-attribution for Transferable Vision Explainer
Rice University（莱斯大学）；Wake Forest University（维克森林大学）；New Jersey Institute of Technology（新泽西理工学院）；Texas A&M University（德克萨斯农工大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；North Carolina State University（北卡罗来纳州立大学）；Meta Platforms, Inc.（元平台公司）
针对现有解释器难以跨模型和任务迁移的问题，提出基于大规模预训练学习元归因的可迁移视觉解释器TVE，能在无需下游训练的情况下有效解释多种视觉模型。
2024-07-15 cs.AI cs.CV cs.LG
LGM-Net: Learning to Generate Matching Networks for Few-Shot Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Snap Inc.（Snap公司）；Kwai Inc.（快手公司）；Tencent（腾讯）
在这项工作中，我们提出了一种新的元学习方法用于Few-Shot分类，该方法学习跨任务的可转移先验知识，并使用训练样本直接为类似的不可见任务生成网络参数。我们的方法，称为LGM-Net，包括两个关键模块，即TargetNet和MetaNet。TargetNet模块是用于解决特定任务的神经网络，MetaNet模块旨在通过观察训练样本来学习生成TargetNet的函数权重。我们还提出了一个训练过程的任务间规范化策略，以利用不同任务之间共享的公共信息。在Omniglot和miniImageNet数据集上的实验结果表明，LGM-Net能够有效地适应相似的不可见任务，并获得具有竞争力的性能;在合成数据集上的实验结果表明，MetaNet模块通过将训练数据映射到函数权重来学习可传递的先验知识。LGM-Net能够快速学习和适应，因为与其他元学习方法相比，不需要进一步的调优步骤。
2019-05-15 cs.LG stat.ML
Hybrid-Task Meta-Learning: A GNN Approach for Scalable and Transferable Bandwidth Allocation
School of Electronic and Information Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）电子与信息工程学院）；School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院）；School of Science, Technology and Engineering, University of the Sunshine Coast（阳光海岸大学科学、技术与工程学院）；School of Electrical and Computer Engineering, University of Sydney（悉尼大学电气与计算机工程学院）
本文提出一种基于GNN的混合任务元学习（HML）带宽分配策略，通过固定参数量实现用户可扩展性，并在多通信场景下元训练以增强泛化能力，实验表明其显著提升了初始性能和样本效率，且大幅降低了推理复杂度。
2025-11-02 cs.LG cs.NI
Learning Optimal Data Augmentation Policies via Bayesian Optimization for Image Classification Tasks
Jilin University（吉林大学）
近年来，深度学习在计算机视觉、自然语言处理、语音识别等多个领域取得了令人瞩目的成就。充足的训练数据是保证深度模型有效性的关键。然而，获取有效数据需要大量的时间和人力资源。数据增强（DA）是一种有效的替代方法，它可以使用标签保持变换基于现有数据生成新的标签数据。虽然我们可以从DA中受益匪浅，但设计合适的DA策略需要大量的专家经验和时间消耗，并且搜索最优策略的评估是昂贵的。因此，本文提出了一个新的问题：如何以尽可能低的成本实现自动化的数据增强？我们提出了一种方法，名为BO-Aug的自动化过程中，通过使用贝叶斯优化方法找到最佳的DA政策。我们的方法可以以相对较低的搜索代价找到最优策略，并且基于特定数据集的搜索策略可以在不同的神经网络架构甚至不同的数据集之间转移。我们在三个广泛使用的图像分类数据集上验证了BO-Aug，包括CIFAR-10，CIFAR-100和SVHN。实验结果表明，该方法可以达到国家的最先进的或接近先进的分类精度。复制我们实验的代码可在https://github.com/zhangxiaozao/BO-Aug上获得。
2019-05-23 cs.CV cs.LG stat.ML
MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出元学习学习率调节器MetaLR，通过在线为不同层自动学习合适学习率，解决医学影像迁移学习中手动选层微调费时且易遗忘医学表示能力的问题，并在多个医学应用上超越现有最优微调策略。
2023-05-29 cs.CV cs.LG eess.IV
Learning Beam Search Policies via Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
波束搜索广泛用于结构化预测问题的近似解码。模型通常在测试时使用梁，但在训练时忽略它的存在，因此不明确地学习如何使用梁。我们开发了一个统一的元算法，用于使用模仿学习来学习波束搜索策略。在我们的设置中，光束是模型的一部分，而不仅仅是近似解码的伪影。我们的元算法捕获了现有的学习算法，并提出了新的算法。它还让我们展示了学习波束搜索策略的新的无遗憾保证。
2019-06-25 cs.AI cs.LG stat.ML
Meta-TTL: Meta-Learning Self-Improvement Policies for Language Agents
National University of Singapore（新加坡国立大学）
本文提出Meta-TTL框架，通过双层优化问题学习最优适应策略，提升语言智能体在不同分布下的表现。
2026-09-29 cs.AI cs.LG
Meta Learning Shared Hierarchies
Henry M. Gunn High School（亨利·M·冈恩高中）；OpenAI；UC Berkeley（加州大学伯克利分校）
我们开发了一个元学习的方法来学习层次结构的政策，提高样本效率看不见的任务，通过使用共享原语-政策，执行大量的时间步长。具体地说，一组原语在任务分布中共享，并通过特定于任务的策略进行切换。我们提供了一个具体的度量标准来衡量这种层次结构的强度，从而导致一个优化问题，以快速达到高回报的看不见的任务。然后，我们提出了一种算法，通过使用任何现成的强化学习方法，通过重复采样新任务和重置特定于任务的策略，端到端地解决这个问题。我们成功地发现有意义的运动原语的方向运动的四条足式机器人，仅通过与分布的迷宫。我们还展示了原始解决长时间尺度稀疏奖励障碍课程的可转移性，我们使3D人形机器人能够稳健地行走和爬行相同的政策。
2017-10-26 cs.LG
MetaRoute-Bench: Evaluating Meta-Decision Policies for Agentic Workflow Routing
Anote AI（阿诺特人工智能公司）；Cornell University（康奈尔大学）；CUNY（纽约城市大学）；Stevens Institute of Technology（史蒂文斯理工学院）
该研究提出MetaRoute-Bench框架，构建含180个任务的基准，对比8种路由策略，发现任务感知组合策略成功率优于静态策略，明确路由组合与验证的关键作用，为智能体工作流路由评估提供可复现方法。
2026-08-04 cs.AI cs.LG
Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning
Peking University（北京大学）
我们研究离线Meta强化学习，这是一种实用的强化学习范式，它从离线数据中学习以适应新任务。离线数据的分布由行为策略和任务共同决定。现有的离线Meta强化学习算法无法区分这些因素，使得任务表示对行为策略的变化不稳定。为了解决这个问题，我们提出了一个对比学习框架的任务表示，是强大的分布不匹配的行为政策在训练和测试。我们设计了一个双层编码器结构，使用互信息最大化来形式化任务表示学习，推导出一个对比学习目标，并介绍了几种方法来近似负对的真实分布。在多种离线Meta强化学习基准测试上的实验证明了该方法相对于现有方法的优势，特别是在推广到分布外行为策略方面。该代码可在https://github.com/PKU-AI-Edge/CORRO上获得。
2022-06-21 cs.LG
Transferable Tactile Transformers for Representation Learning Across Diverse Sensors and Tasks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对触觉传感器与任务异构的问题，提出可迁移触觉Transformer框架T3，依托聚合13种传感器、11类任务的超300万样本FoTa数据集预训练，实现零样本迁移与高效微调，显著提升接触-rich操作任务成功率。
2024-10-06 cs.CV cs.LG cs.RO
