Unsupervised Reinforcement Learning for Transferable Manipulation Skill Discovery
Seoul National University（首尔国立大学）
当前机器人强化学习（RL）由于固有的特定于任务的训练范式，在推广到新的下游任务时经常遇到困难。为了缓解这一问题，无监督强化学习（unsupervised RL）是一种以任务不可知的方式对智能体进行预训练的框架，而无需获得特定于任务的奖励，它利用积极的探索将各种经验提炼成基本技能或可重用的知识。为了在机器人操作中利用这些好处，我们提出了一种无监督的方法，用于可转移的操作技能发现，将结构化探索与交互行为和可转移的技能学习联系起来。它不仅使智能体能够学习交互行为，机器人操作学习的关键方面，没有访问的环境奖励，但也推广到任意下游的操作任务与学习的任务不可知的技能。通过比较实验，我们表明，我们的方法实现了最多样化的互动行为，并显着提高样本效率在下游任务，包括扩展到多对象，多任务问题。
2022-04-29 cs.LG cs.RO
Transferable Force-Torque Dynamics Model for Peg-in-hole Task
Shanghai Jiao Tong University（上海交通大学）；Flexiv Robotics Research（非夕机器人研究院）
提出了一种基于学习的力-力矩动力学方法，实现了基于模型的多接触轴孔任务控制。由于低维6维力信号的模糊性和过多的训练数据的需求，学习力-扭矩动力学是具有挑战性的。为了解决这些问题，我们提出了一种多姿态力-扭矩状态表示，基于此，通过以样本高效的离线方式生成的数据来学习动力学模型。此外，通过用各种形状、尺度和弹性的钉孔训练动力学模型，模型可以在少量试验后快速转换为新的钉孔。大量的实验表明，我们的动力学模型可以适应看不见的钉孔，与从头开始学习相比，所需的样本减少了70%。随着学习的动态，模型预测控制和基于模型的强化学习政策实现超过80%的插入成功率。我们的视频可以在https://youtu.be/ZAqldpVZgm4上找到。
2019-11-30 cs.AI cs.LG cs.RO
Boosting Transferable Adversarial Attacks against Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；University of California, Riverside（加利福尼亚大学河滨分校）；University of Connecticut（康涅狄格大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对深度强化学习的黑盒攻击，提出轨迹级可迁移对抗攻击，在CartPole-v1上跨模型和算法设置中优于每步攻击和随机噪声。
2026-10-14 cs.AI cs.LG
Imagined Value Gradients: Model-Based Policy Optimization with Transferable Latent Dynamics Models
DeepMind（深度思考）；University of Washington（华盛顿大学）
人类是快速学习许多复杂任务的大师，依赖于对其环境动态的近似理解。同样，我们希望我们的学习代理能够快速适应新任务。在本文中，我们探讨了如何基于模型的强化学习（RL）可以促进转移到新的任务。我们开发了一种算法，该算法学习预期未来观察，奖励和价值的行动条件预测模型，可以通过沿着想象的轨迹跟踪估计值的梯度来导出策略。我们展示了如何强大的策略优化，可以实现机器人操作任务，甚至与近似模型，直接从视觉和本体感受。我们评估了我们的方法在迁移学习场景中的有效性，在具有不同奖励结构和视觉干扰的任务上重新使用以前学习的模型，并显示出与强大的离线策略基线相比，学习速度有了显着的提高。有关结果的视频，请访问https://sites.google.com/view/ivg-corl19
2019-10-09 cs.AI cs.CV cs.LG
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
本文提出轨迹编码增强（TEA）方法，通过整合序列编码器提取的动态潜在表示来扩展状态空间，有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
Generalized Hidden Parameter MDPs Transferable Model-based RL in a Handful of Trials
Uber AI Labs（优步人工智能实验室）
人们对创建能够解决许多（相关）任务并在初始训练后适应新任务和环境的RL代理有广泛的兴趣。基于模型的强化学习利用学习的代理模型来描述单个任务的动态和奖励，以便在良好的代理中进行规划可以实现对真实系统的良好控制。分层模型不是从头开始单独解决每个任务，而是可以利用任务通常与（未观察到的）因果变化因素相关的事实，以实现有效的泛化，因为在学习物品的质量如何影响提升它所需的力时，可以泛化到以前未观察到的质量。我们提出了广义隐藏参数MDP（GHP-MDP），它描述了一个MDP家族，其中动态和奖励都可以作为隐藏参数的函数在任务中变化。GHP-MDP通过捕获这些隐藏参数的潜在变量来增强基于模型的RL，从而促进任务之间的传输。我们还探索了一个变体的模型，它包含了明确的潜在结构，反映了跨任务变化的因果因素（例如：代理属性，环境因素和目标）。我们通过实验证明了最先进的性能和样本效率的一个新的具有挑战性的MuJoCo任务，使用奖励和动态潜在空间，同时击败了以前的最先进的基线与$>10\times$更少的数据。使用测试时的推理的潜变量，我们的方法概括在一个单一的情节，以新颖的组合的动态和奖励，和新颖的奖励。
2020-02-08 cs.AI cs.LG stat.ML
Safer Reinforcement Learning through Transferable Instinct Networks
IT University of Copenhagen（哥本哈根信息技术大学）
随机探索是强化学习（RL）发现性能良好的策略的主要机制之一。然而，在安全关键环境中在线学习时，它可能会导致不良或灾难性的结果。事实上，安全学习是现实世界代理在部署过程中学习的主要障碍之一。确保代理遵守硬限制的一种方法是显式配置它们可以操作的边界。虽然这在某些情况下可能有效，但我们并不总是有明确的先验信息，即哪些状态和行为可能导致危险的危险状态。在这里，我们提出了一种方法，其中附加策略可以覆盖主策略并提供更安全的替代操作。在我们的本能调节强化学习（IR^2L）方法中，一个“本能”网络被训练来识别不期望的情况，同时保护学习策略不进入这些情况。本能网络是在一个容易出错的任务上进行预训练的，然后转移到安全学习新任务的环境中。我们在OpenAI Safety gym域中演示了IR^2L，在训练过程中，它收到的安全违规数量明显低于基线RL方法，同时达到类似的任务性能。
2021-07-14 cs.AI cs.LG cs.NE
Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling
College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；Institute of Military Transportation（军事交通运输研究院）；School of Artificial Intelligence, Hebei University of Technology（人工智能学院，河北工业大学）
本文提出基于隐式因果图建模的可迁移延迟感知强化学习方法，通过节点级语义编码和消息传递机制学习可迁移的结构表示和环境动态知识，以优化策略并实现跨任务知识迁移。
2026-05-12 cs.AI cs.LG
Transferable Graphical MARL for Real-Time Estimation in Dynamic Wireless Networks
Department of Electrical and Computer Engineering, Rutgers University（罗格斯大学电气与计算机工程系）；Department of Biostatistics and Bioinformatics, Duke University（杜克大学生物统计与生物信息学系）；Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
本文提出了一种可迁移的图形MARL框架，用于动态无线网络中的实时估计，通过统一的多智能体强化学习方法，实现去中心化策略下的估计误差和信息年龄最小化，同时具备良好的迁移性和鲁棒性。
2026-01-19 cs.LG eess.SP
Know Thyself: Transferable Visual Control Policies Through Robot-Awareness
University of Pennsylvania（宾夕法尼亚大学）
在新机器人上从头开始训练视觉控制策略通常需要生成大量特定于机器人的数据。我们如何利用以前在另一个机器人上收集的数据来减少甚至完全消除对机器人特定数据的需求？我们提出了一个“机器人感知控制”的范例，实现这一目标，利用现成的知识机器人。然后，我们通过训练模块化动力学模型，将可转移的，机器人感知的世界动力学模块与机器人特定的，潜在的分析，机器人动力学模块耦合，在机器人感知的基于模型的RL策略中实例化。这也使我们能够设置视觉规划成本，分别考虑机器人代理和世界。我们在模拟和真实机器人的桌面操作任务上的实验表明，这些插件的改进大大提高了基于视觉模型的RL策略的可转移性，甚至允许视觉操作技能zero-shot转移到新的机器人上。项目网址：https://www.seas.upenn.edu/~hued/rac
2022-10-17 cs.CV cs.LG cs.RO
Inversely Learning Transferable Rewards via Abstracted States
THINC Lab, School of Computing University of Georgia（THINC实验室，计算学院，佐治亚大学）；School of Computing and Institute for AI University of Georgia（计算学院和人工智能研究所，佐治亚大学）
提出一种通过行为轨迹逆向学习抽象奖励函数的方法，并在未见过的领域实例中验证其可迁移性。
2026-05-26 cs.LG cs.RO
Multi-Agent Model-Based Reinforcement Learning with Joint State-Action Learned Embeddings
McGill University（麦吉尔大学）
本文提出了一种基于联合状态-动作学习嵌入的多智能体模型驱动强化学习框架，通过统一表示学习与想象式回放，提升智能体在动态环境中协调能力与长期规划效率。
2026-02-13 cs.LG cs.MA
A Transferable and Automatic Tuning of Deep Reinforcement Learning for Cost Effective Phishing Detection
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
许多具有挑战性的现实问题需要部署集成多个互补的学习模型，以达到可接受的性能水平。虽然有效，但将整个集合应用于每个样本是昂贵的，并且通常是不必要的。深度强化学习（DRL）提供了一种具有成本效益的替代方案，其中检测器是根据其前任的输出动态选择的，其有用性与其计算成本相权衡。尽管有潜力，但基于DRL的解决方案在这方面并没有得到广泛使用，部分原因是难以为每个新任务配置奖励函数，DRL代理对数据变化的不可预测反应，以及无法使用通用性能指标（例如，TPR/FPR）来指导算法的性能。在这项研究中，我们提出了微调和校准基于DRL的政策，使他们能够满足多个性能目标的方法。此外，我们提出了一种有效的安全策略从一个数据集转移到另一个数据集的方法。最后，我们证明了我们的方法对对抗攻击是高度鲁棒的。
2022-09-19 cs.AI cs.CR cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
BARD-MARL: Byzantine-Agent Detection for Learned Communication in Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Carnegie Mellon University Department of Electrical（卡内基梅隆大学电气与计算机工程系）
针对多智能体强化学习中的通信信任问题，提出BARD-MARL方法，结合策略图特征和贝叶斯信任统计，在自适应交通信号控制中有效检测拜占庭攻击。
2026-06-23 cs.DC cs.LG cs.MA
Interpretable Learned Emergent Communication for Human-Agent Teams
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pittsburgh（匹兹堡大学）
学习可解释的通信对于多智能体和人类智能体团队（HAT）至关重要。在部分可观察环境的多智能体强化学习中，智能体可以通过学习的通信向其他智能体传递信息，从而允许团队完成其任务。受人类语言的启发，最近的作品研究离散（仅使用有限的令牌集）和稀疏（仅在某些时间步长进行通信）通信。然而，在人类代理团队实验中，这种通信的实用性尚未得到研究。在这项工作中，我们分析了稀疏离散的方法产生紧急通信，使高代理和人类代理团队的性能的有效性。我们开发了仅代理的团队，这些团队通过我们的执行者计划进行稀疏通信，该计划充分限制了任何预算的通信。我们的结果显示，在基准测试环境和任务中，性能没有损失或损失极小。在基准测试环境中测试的人类代理团队中，代理已使用执行者建模，我们发现基于原型的方法产生有意义的离散令牌，使人类合作伙伴能够更快，更好地学习智能体通信比一个热基线。额外的HAT实验表明，适当的稀疏水平降低了人类与代理团队沟通时的认知负荷，并导致卓越的团队表现。
2023-01-05 cs.LG cs.MA cs.RO
HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging
IIIT-Bangalore（班加罗尔国际信息技术研究所）；Ericsson Research（爱立信研究院）；IIT-BHU（贝拿勒斯印度教大学印度理工学院）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
协作多智能体强化学习（MARL）已经取得了显著的成果，最显著的是利用了深度神经网络的表示学习能力。然而，随着代理人数量的增加，大型集中式方法很快变得不可行，完全分散的方法可能会错过信息共享和协调的重要机会。此外，并非所有代理都是平等的-在某些情况下，单个代理甚至可能没有能力向其他代理发送通信或显式地对其他代理进行建模。本文考虑的情况下，有一个单一的，强大的，\emph{central agent}，可以观察整个观察空间，有多个，低功率的\emph{local agents}，只能接收本地的意见，并不能相互通信。中央代理的工作是根据全局观察来学习需要向不同的本地代理发送什么消息，不是通过集中解决整个问题并发送动作命令，而是通过确定单个代理应该接收什么附加信息，以便它可以做出更好的决策。在这项工作中，我们提出了我们的MARL算法\algo，描述它将是最适用的，并实现它在合作导航和多智能体步行者域。实证结果表明：1）学习的沟通确实提高了系统性能，2）结果推广到异构本地代理，3）结果推广到不同的奖励结构。
2022-12-02 cs.AI cs.LG cs.MA
Learning Adversarially Fair and Transferable Representations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在本文中，我们提倡表示学习作为减轻下游不公平预测结果的关键。出于一个场景的动机，学习的表示被第三方使用未知的目标，我们提出并探索对抗性表示学习作为一种自然的方法，确保这些方公平行事。我们将群体公平性（人口统计学上的平等、均等化的几率和平等的机会）与不同的对抗性目标联系起来。通过最坏情况下的理论保证和实验验证，我们表明，这个目标的选择是至关重要的公平预测。此外，我们提出了第一个深入的公平迁移学习的实验演示，并实证表明，我们学到的表示承认公平的预测新的任务，同时保持效用，公平表示学习的一个基本目标。
2018-10-22 cs.LG stat.ML
GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Google, Inc.（谷歌公司）；New York University（纽约大学）
现代深度迁移学习方法主要集中在从一个任务中学习可转移到其他任务的通用特征向量，例如语言中的词嵌入和视觉中的预训练卷积特征。然而，这些方法通常转移一元特征，并在很大程度上忽略了更结构化的图形表示。这项工作探索了学习通用潜在关系图的可能性，这些图捕获了数据单元对之间的依赖关系（例如，字或像素），并将图形传输到下游任务。我们提出的迁移学习框架提高了各种任务的性能，包括问答，自然语言推理，情感分析和图像分类。我们还表明，学习的图是通用的，足以被转移到不同的嵌入上，图还没有被训练（包括GloVe嵌入，ELMo嵌入，和特定于任务的RNN隐藏单元），或嵌入免费的单位，如图像像素。
2018-07-02 cs.CL cs.CV cs.LG
A Modular and Transferable Reinforcement Learning Framework for the Fleet Rebalancing Problem
National Renewable Energy Laboratory（国家可再生能源实验室）
随需应变（MoD）系统在实现灵活高效的城市交通方面显示出巨大的潜力。然而，与国防部车辆调度和车队再平衡相关的作战决策带来了重大的技术挑战。出于这个原因，运营商倾向于采用已被证明在特定设置中工作良好的简化算法。为了帮助弥合新方法和现有方法之间的差距，我们提出了一个基于无模型强化学习（RL）的车队再平衡模块化框架，该框架可以利用现有的调度方法来最大限度地降低系统成本。特别是，通过将调度视为环境动态的一部分，集中式代理可以学习间歇地指导调度员重新定位空闲车辆并减轻车队不平衡。我们制定RL状态和动作空间的分布在网格分区的操作区域，使框架的可扩展性和避免与多智能体RL的复杂性。数值实验，使用真实世界的行程和网络数据，表明这种方法有几个明显的优势，基线方法，包括：改善系统成本;高度的适应性，选择的调度方法;和执行规模不变的迁移学习的能力，具有相似的车辆和请求分布的问题实例之间。
2021-05-27 cs.AI cs.LG cs.MA
Silhouette: Toward Performance-Conscious and Transferable CPU Embeddings
Boston University（波士顿大学）；Intel Labs（英特尔实验室）
学习嵌入被广泛用于获得简洁的数据表示，并实现不同数据集和任务之间的迁移学习。在本文中，我们提出了Silhouette，我们的方法，利用公开的性能数据集来学习CPU嵌入。我们展示了这些嵌入如何在不同类型和大小的数据集之间实现迁移学习。这些方案中的每一个都导致目标数据集的准确性的提高。
2022-12-15 cs.LG
OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences
Shanghai Jiao Tong University（上海交通大学）
研究探讨了通过局部正确但不可转移的经验污染自演化LLM代理的安全风险，提出OEP攻击方法，利用低权限黑盒攻击在无需直接控制系统提示或记忆数据库的情况下诱导有害泛化。
2026-05-18 cs.AI cs.CR cs.LG
Learning Transferable Reward for Query Object Localization with Policy Adaptation
NEC Labs America（美国NEC实验室）；Rutgers University（罗格斯大学）
我们提出了一种基于强化学习的方法来查询对象定位，其中代理被训练来定位由一个小的示例集指定的感兴趣的对象。我们学习一个可转移的奖励信号制定使用的示范性的顺序度量学习。我们提出的方法使测试时的政策适应新的环境中的奖励信号是不容易获得的，并优于微调方法，仅限于注释的图像。此外，可转移的奖励允许将经过训练的代理从一个特定类别重新用于另一个类别。在MNIST、CU-Birds和COCO数据集上的实验证明了该方法的有效性。
2022-03-15 cs.CV cs.LG
Learning Abstract and Transferable Representations for Planning
University of the Witwatersrand（威特沃特斯兰德大学）；Brown University（布朗大学）
我们关心的问题是，代理人如何从感官数据中获得自己的表征。我们将重点限制在学习长期规划的表示上，这是一类最先进的学习方法无法解决的问题。我们提出了一个框架，自主学习状态抽象的代理的环境，给定的一组技能。重要的是，这些抽象是独立于任务的，因此可以重用以解决新任务。我们演示了如何代理可以使用现有的一组选项，以获得表示自我和对象为中心的观察。这些抽象可以在新的环境中立即被相同的代理重用。我们将展示如何将这些便携式表示与特定问题相结合，以生成可用于抽象规划的特定任务的声音描述。最后，我们展示了如何自主构建一个多层次的层次结构，包括越来越抽象的表示。由于这些层次结构是可转移的，高阶概念可以在新任务中重用，从而使代理免于重新学习它们并提高样本效率。我们的研究结果表明，我们的方法允许代理转移以前的知识，以新的任务，提高样本效率的任务数量的增加。
2022-05-04 cs.AI cs.LG
Learning Fair and Transferable Representations
Amazon Web Services（亚马逊网络服务）；Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）
开发不歧视群体中的子群体的学习方法是算法公平性的核心目标。达到这一目标的一种方法是修改数据表示以满足某些公平性约束。在这项工作中，我们根据人口均等来衡量公平性。这要求可能的模型决策的概率独立于敏感信息。我们认为，在多任务学习环境中，实施人口均等的目标可以得到很大的促进。我们利用任务的相似性，鼓励通过低秩矩阵分解的任务之间的共享公平表示。我们推导出学习界限，建立学习表示转移以及新的任务，无论是在预测性能和公平性指标。我们在三个真实世界的数据集上进行了实验，结果表明，所提出的方法明显优于最先进的方法。
2020-01-31 cs.LG stat.ML
A Transferable Learned Temporal Prior for Transmission Reconstruction and Decision-Relevant Uncertainty in Real Outbreak Labels
National Institute of Textile Engineering and Research (NITER)（国家纺织工程与研究学院）
提出一种跨疾病家族训练的logistic回归时序先验，无需重新拟合即可应用于新疫情传播重建，在ANDV基准上显著优于基线，并揭示传播标签不确定性影响干预优先级。
2026-09-18 cs.LG q-bio.QM
Interventional Domain Adaptation
Zhejiang University（浙江大学）；Laval University（拉瓦尔大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
领域自适应（DA）的目的是将从源领域学习到的鉴别特征转移到目标领域。大部分的DA方法集中于通过域不变性学习来增强特征的可移植性。然而，源学习的可辨别性本身可能被定制为有偏见的并且不安全地通过虚假相关性来转移，\emph{i.e.}，源特定特征的一部分与类别标签相关。我们发现，标准的域不变性学习受到这种相关性的影响，并错误地转移了源细节。为了解决这个问题，我们使用未标记的目标数据来干预特征区分度的学习，以引导其摆脱特定领域的部分，并安全地转移。具体地说，我们通过一种新的特征干预策略生成反事实特征，以区分领域特定性和领域可共享部分。为了防止域特异性的驻留，特征可辨别性被训练为对反事实特征的域特异性中的突变不变。在典型的\emph{one-to-one}无监督领域自适应和具有挑战性的领域不可知自适应任务上进行实验，我们的方法与最先进的方法相比的一致性能改进验证了学习的判别特征更安全地可转移，并且可以很好地推广到新的领域。
2020-11-07 cs.CV cs.LG stat.ML
Accurate, transferable, and verifiable machine-learned interatomic potentials for layered materials
Stanford University（斯坦福大学）
本研究提出拆分式机器学习原子间势及数据集构建方法，分离层内与层间相互作用以提升精度，开发基于堆叠构型的验证指标，并证实一维莫尔结构可作为高效验证替代系统，实现莫尔材料的高效高精度结构弛豫与性质预测。
2025-03-19 cond-mat.mtrl-sci cs.LG
Equivariant learning of a transferable three-dimensional classical density functional
UC Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Bakar Institute of Digital Materials for the Planet, UC Berkeley（加州大学伯克利分校地球数字材料巴卡尔研究所）
该研究通过等变学习从三维平衡密度场得到可迁移的经典密度泛函，无需额外标签，可跨温度等条件迁移，能预测多种热力学性质及复杂几何下的液体行为。
2026-08-14 cond-mat.soft cond-mat.stat-mech cs.LG
Muon Learns More Robust and Transferable Features than Adam
Yale University（耶鲁大学）；National University of Singapore（新加坡国立大学）；University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, CAS（中国科学院数学与系统科学研究院）
本文通过鲁棒性和可迁移性视角，证明 Muon 优化器相比 Adam 和 SGD 能学习到更鲁棒、更可迁移的特征，并通过理论分析支持了经验发现。
2026-06-08 cs.AI cs.LG
MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and Architectures
KAIST（韩国科学技术院）；AITRICS
正则化和迁移学习是两种常用的对未知数据进行泛化的技术，这是机器学习的一个基本问题。正则化技术是通用的，因为它们与任务和架构无关，但它们不利用大量可用数据。迁移学习方法学习将知识从一个领域转移到另一个领域，但可能不会跨任务和架构进行泛化，并且可能会引入新的训练成本以适应目标任务。为了弥合两者之间的差距，我们提出了一个可转移的扰动，MetaPerturb，这是元学习，以提高泛化性能看不见的数据。MetaPerturb被实现为一个基于集合的轻量级网络，它不知道输入的大小和顺序，这些输入在各层之间共享。然后，我们提出了一个元学习框架，共同训练的扰动函数在异构任务并行。由于MetaPerturb是一个在跨层和任务的不同分布上训练的集合函数，因此它可以推广到异构任务和架构。我们验证了MetaPerturb在特定源域和架构上训练的有效性和通用性，通过将其应用于针对各种正则化器和微调的异构目标数据集上的各种神经架构的训练。结果表明，使用MetaPerturb训练的网络在大多数任务和架构上的表现都明显优于基线，参数大小的增加可以忽略不计，并且没有超参数需要调整。
2022-02-15 cs.LG stat.ML
Graph Policy Network for Transferable Active Learning on Graphs
Tsinghua University（清华大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Microsoft Research（微软研究院）；HEC Montreal（蒙特利尔高等商学院）；Université de Montréal（蒙特利尔大学）
图神经网络（GNN）由于其在各种领域中的简单性和有效性而越来越受欢迎。然而，通常需要大量的标记数据来训练这些网络，这在某些领域中可能是非常昂贵的。在本文中，我们研究了GNN的主动学习，即，如何有效地标记图上的节点，以减少训练GNN的注释成本。我们制定的问题作为一个顺序的决策过程图和训练一个基于GNN的政策网络与强化学习学习最佳的查询策略。通过在多个具有完整标签的源图上进行联合训练，我们学习了一种可转移的主动学习策略，该策略可以直接推广到未标记的目标图。在不同领域的多个数据集上的实验结果证明了该学习策略在同一领域和不同领域的图之间传输的情况下都能有效地提高主动学习性能。
2020-10-23 cs.AI cs.LG stat.ML
Transferable Representation Learning in Vision-and-Language Navigation
Google Research（谷歌研究院）
视觉和语言导航（VLN）任务，如房间到房间（R2R），需要机器代理解释自然语言指令，并学习在视觉上逼真的环境中行动，以实现导航目标。整体任务需要在几个感知问题的能力：成功的代理结合时空，视觉和语言理解，以产生适当的动作序列。我们的方法将预先训练的视觉和语言表示适应相关的域内任务，使它们对VLN更有效。具体地，所述表示适于解决跨模态序列比对和序列一致性任务。在序列对齐任务中，模型确定指令是否对应于视觉帧序列。在序列一致性任务中，模型确定感知序列在以预防为条件的潜在空间中是否具有预测性。通过转移域适应的表示，我们提高竞争力的代理在R2R衡量的成功率加权路径长度（SPL）度量。
2019-08-12 cs.CL cs.CV cs.LG
Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks
IBM Research UK（IBM英国研究院）
来自深度学习的化学表征正在成为药物发现和材料创新等领域的强大工具。目前，这种方法有三个主要的局限性-代表生成的成本，遗传偏见的风险，以及需要大量的数据。我们建议将多任务学习与迁移学习结合使用，以直接解决这些限制。为了避免在多任务学习过程中由于任务选择本身而引入未知偏差，本文通过任务间的亲和度计算任务相似度，并利用该度量来编程选择任务。我们在几个真实世界的数据集上测试了这种方法，以证明其在复杂和低数据环境中的执行潜力。最后，我们利用任务相似性，通过与常用的化学信息学指纹进行比较，进一步探索学习表示的表达能力，并表明深度表示能够捕获更具表达力的基于任务的信息。
2018-09-17 cs.LG physics.chem-ph stat.ML
Transferable FB-GNN-MBE Framework for Potential Energy Surfaces: Data-Adaptive Transfer Learning in Deep Learned Many-Body Expansion Theory
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出一种可迁移的FB-GNN-MBE框架，结合图神经网络与多体展开理论，实现对复杂化学系统中多体能量的高效准确预测，通过迁移学习提升大规模分子模拟的实用性。
2026-08-18 cs.LG physics.chem-ph
Function Contrastive Learning of Transferable Meta-Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
元学习算法可以快速适应来自与训练任务相同的任务分布的新任务。导致快速适应的机制是下游预测模型对任务的底层数据生成过程的推断表示或\emph{function}的调节。该\emph{meta-representation}是从基础函数的几个观察到的示例计算的，与预测模型联合学习。在这项工作中，我们研究的影响，这种联合培训的元表征的可转移性。我们的目标是学习对数据中的噪声具有鲁棒性的元表示，并促进解决共享相同底层功能的各种下游任务。为此，我们提出了一种解耦的编码器-解码器方法来进行监督元学习，其中编码器使用对比目标进行训练，以找到底层函数的良好表示。特别是，我们的训练方案是由自我监督信号驱动的，该信号指示两组示例是否来自同一函数。我们在一些合成和真实世界数据集上的实验表明，我们获得的表示在下游性能和噪声鲁棒性方面优于强基线，即使这些基线是以端到端的方式训练的。
2021-07-22 cs.LG stat.ML
Deep causal representation learning for unsupervised domain adaptation
Arizona State University（亚利桑那州立大学）；Army Research Lab（陆军研究实验室）
研究表明，深度神经网络学习的表示可以转移到其他领域的类似预测任务中，而我们没有足够的标记数据。然而，当我们过渡到模型中的更高层时，表示变得更加特定于任务，并且不那么可推广。最近关于深度领域自适应的研究提出通过迫使深度模型学习跨领域的更多可转移特征表示来缓解这个问题。这是通过将领域自适应方法合并到深度学习流水线中来实现的。大多数现有的模型学习与结果高度相关的可转移特征表示。然而，相关性并不总是可转移的。在本文中，我们提出了一种新的深度因果表示学习框架，用于无监督领域自适应，在该框架中，我们提出从源域学习输入的域不变因果表示。我们模拟一个虚拟的目标域使用重新加权的样本从源域和估计的因果关系的影响功能的结果。广泛的比较研究表明，所提出的模型的优势，无监督领域自适应通过因果关系表示。
2019-10-28 cs.LG stat.ML
Embedded Emotions -- A Data Driven Approach to Learn Transferable Feature Representations from Raw Speech Input for Emotion Recognition
Augsburg University（奥格斯堡大学）
传统的自动情感识别方法依赖于手工特征的应用。然而，最近深度学习的出现使算法能够自动学习输入数据的有意义的表示。在本文中，我们研究了从大型文本和音频语料库中学习到的知识转移到自动情感识别任务中的适用性。为了评估我们的方法的实用性，我们参加了今年的Interspeech ComparE老年人情感子挑战赛，其目标是根据演讲者的情感对老年人的口语叙述进行分类。我们的研究结果表明，学习到的特征表示可以有效地应用于从口语中分类情感。我们发现，从音频信号中提取的特征的性能不如从成绩单中提取的特征的性能一致。虽然声学特性在开发集上取得了同类最佳的结果，但与基线系统相比，它们的性能在挑战的测试集上大幅下降。然而，从文本形式中提取的特征在两个集合上都显示出有希望的结果，并且在未加权平均召回率上超过官方基线5.7个百分点。
2020-09-30 cs.LG cs.SD eess.AS
Transferable Reward Learning by Dynamics-Agnostic Discriminator Ensemble
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
提出DARL方法，在对抗模仿学习框架下通过动力学无关判别器集成解耦奖励与训练动力学，消除策略依赖，实现可迁移奖励学习，在动力学变化的MuJoCo任务中优于基线。
2024-06-26 cs.LG
An Improved Transfer Model: Randomized Transferable Machine
Bytedance（字节跳动）；Nanyang Technological University（南洋理工大学）
基于知识的迁移是迁移学习最有效的方法之一。现有的研究通常假设学习到的新特征表示是\emph{domain-invariant}，从而在源域上训练传递模型$\mathcal{M}$。在本文中，我们考虑了一个更现实的情况下，新的功能表示是次优和小分歧仍然存在跨域。我们提出了一个新的传输模型称为随机可传输机（RTM）来处理这样的小分歧域。具体来说，我们的工作是从现有的基于特征的传输方法中学习到的新的源数据和目标数据。其关键思想是通过使用一些噪声随机破坏新的源数据来扩大源训练数据群体，然后训练传递模型$\widetilde{\mathcal{M}}$，该模型在所有被破坏的源数据群体上表现良好。原则上，产生的破坏越多，新的目标数据被构造的源数据群体覆盖的概率就越高，因此$\widetilde{\mathcal{M}}$可以实现更好的传输性能。理想的情况是无限腐败，但这在现实中是不可行的。我们开发了一个边缘化的解决方案，使训练一个$\widetilde{\mathcal{M}}$，而不进行任何腐败，但相当于使用无限的源噪声数据种群进行训练。我们进一步提出了$\widetilde{\mathcal{M}}$的两个实例，从理论上证明了它比传统的迁移模型$\mathcal{M}$的迁移优越性。更重要的是，这两个实例化都有封闭形式的解决方案，从而实现了快速有效的训练过程。在各种实际迁移任务上的实验表明…
2022-04-21 cs.AI cs.LG
Learning Transferable Adversarial Robust Representations via Multi-view Consistency
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种双编码器元对抗多视图表示学习框架，通过最大化同一数据不同增强视图间的差异与一致性，学习跨领域和任务的可迁移对抗鲁棒表示，在少样本学习任务上鲁棒准确率提升超过10%。
2023-10-26 cs.LG
Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers
McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文基于类特征变异坍缩现象，证明预训练分类器特征图在新类别上的少样本误差界，为基础模型少样本迁移能力提供首个非空泛理论保证。
2023-07-16 cs.LG
Experiential Reflective Learning for Self-Improving LLM Agents
Illuin Technology
本文提出经验反思学习框架，通过反思任务轨迹生成可迁移的启发式方法，提升LLM代理在Gaia2基准上的任务完成可靠性与成功率。
2026-03-31 cs.AI cs.LG
TriForces: Augmenting Atomistic GNNs for Transferable Representations
Université Paris-Saclay, CentraleSupélec, Inria, Gif-sur-Yvette, France（巴黎-萨克雷大学，中央超算研究所，法国国家信息与自动化技术研究院，法国吉夫-sur-耶vette）
TriForces通过分离组成和结构信息并结合自监督学习，提升MatBench和QM9的性能，无需DFT标签，并在OMat24上实现高效相似结构检索。
2026-05-20 cond-mat.mtrl-sci cs.LG
Fast Risk Assessment for Autonomous Vehicles Using Learned Models of Agent Futures
Massachusetts Institute of Technology（麻省理工学院）
本文提出了快速非采样为基础的方法来评估风险的轨迹自动驾驶车辆时，概率预测其他代理的未来产生的深度神经网络（DNN）。所提出的方法解决了广泛的表示不确定的预测，包括高斯和非高斯混合模型的预测代理的位置和控制。我们发现，当高斯混合模型（Gestival）的代理位置的学习，风险评估的问题可以迅速解决，以任意水平的精度与现有的数值方法。为了解决代理位置的非高斯混合模型的风险评估的问题，我们提出了使用切比雪夫不等式和平方和（SOS）编程的风险上界，他们都是感兴趣的，因为前者是快得多，而后者可以是任意紧。这些方法只需要代理位置的统计矩来确定风险的上限。为了执行风险评估时，学习代理控制，而不是位置的模型，我们开发树环，一种算法类似于树搜索的多项式环，可用于精确传播的时刻控制分布到位置分布，通过非线性动力学。所提出的方法在Argoverse和CARLA数据集上训练的DNN的实际预测上得到了证明，并且证明了该方法对于快速评估低概率事件的概率是有效的。
2020-06-03 cs.LG cs.RO stat.ML
Latent Safety Filters: When a Lossy Encoder Admits a Transferable Certificate
San Diego State University（圣地亚哥州立大学）；University of California San Diego（加州大学圣地亚哥分校）
研究有损编码器何时允许安全证书迁移到物理系统，发现取决于被丢弃安全动力学的可检测性，并给出线性情形下的迁移条件及两个显式裕度。
2026-10-06 cs.LG cs.RO cs.SY
CtrlFormer: Learning Transferable State Representation for Visual Control via Transformer
the University of Hong Kong（香港大学）；Tsinghua University（清华大学）
Transformer在学习视觉和语言表达方面取得了巨大的成功，这在各种下游任务中是普遍的。在视觉控制中，学习能够在不同控制任务之间转移的可转移状态表示对于减少训练样本量是很重要的。然而，将Transformer移植到样本高效的视觉控制仍然是一个具有挑战性且未解决的问题。为此，我们提出了一种新的控制Transformer（CtrlFormer），具有许多吸引人的好处，现有技术没有。首先，CtrlFormer联合学习不同控制任务之间视觉令牌和策略令牌之间的自我注意力机制，其中多任务表示可以在没有灾难性遗忘的情况下学习和转移。其次，我们精心设计了一个对比强化学习范式来训练CtrlFormer，使其能够实现高样本效率，这在控制问题中是很重要的。例如，在DMControl基准测试中，与最近的高级方法不同，这些方法在使用10万个样本进行迁移学习后，在“Cartpole”任务中产生零分，而CtrlFormer可以在保持先前任务性能的同时，仅使用10万个样本就获得最先进的分数。代码和模型发布在我们的项目主页上。
2022-06-17 cs.AI cs.CV cs.LG
Learning Transferable Skills using Goal-Conditioned Bisimulation
Sharif University of Technology（谢里夫理工大学）
提出一种基于目标条件双模拟的无监督技能发现方法，学习动作感知时间表示并仅条件于关键状态特征，实现跨布局的可迁移技能，并在实证中展现强分布外泛化。
2026-10-02 cs.AI cs.LG cs.RO
Fair Text Classification via Transferable Representations
Université Jean Monnet Saint-Etienne, CNRS, Institut d’Optique Graduate School, Laboratoire Hubert Curien UMR 5516（法国圣艾蒂安让·莫内大学，法国国家科学研究中心，光学研究生学院，Hubert Curien实验室UMR 5516）；Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL（里尔大学，法国国家信息与自动化技术研究所，法国国家科学研究中心，里尔中央大学，UMR 9189 - CRIStAL）；LTCI, Télécom Paris Institut Polytechnique de Paris, France（LTCI，巴黎电信理工学院，法国）
本文提出通过可转移表示方法实现公平文本分类，利用Wasserstein依赖度量和域适应技术，消除对敏感属性的依赖，提升分类器的公平性。
2025-12-05 cs.CL cs.LG
Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；PengCheng Laboratory（鹏城实验室）
本文提出可迁移概念原型学习（TCPL），通过层次化原型模块和融合原型信息的伪标签策略，实现无监督域适应的内在可解释性，同时提升知识迁移与决策性能。
2023-10-12 cs.CV cs.LG
DRIVE: Modeling Skills at the Reasoning and Interaction Levels for Web Agents under Continual Learning
College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学）；College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）
提出DRIVE框架，通过将历史经验分离为自然语言推理技能和程序化交互技能，并采用场景感知协调机制，解决Web代理在持续学习中推理与交互知识纠缠的问题，在WebArena上平均任务成功率提升7.3个百分点。
2026-04-28 cs.AI cs.LG
On the Role of Neural Collapse in Transfer Learning
DeepMind
我们研究了基础模型学习分类表示的能力，这些表示可转移到新的、看不见的类。最近的文献结果表明，表示学习的一个单一的分类器在许多类是有竞争力的少样本学习问题的表示学习的专用算法设计的这样的问题。在本文中，我们提供了一个解释这种行为的基础上，最近观察到的现象，超参数化的分类网络学习的功能表现出一个有趣的聚类属性，称为神经崩溃。我们从理论上和经验上证明，神经崩溃可以推广到来自训练类的新样本，更重要的是，也可以推广到新类，允许基础模型提供在迁移学习中工作良好的特征图，特别是在Few-Shot设置中。
2022-01-04 cs.LG
Cross-Domain Pre-training with Language Models for Transferable Time Series Representations
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
提出CrossTimeNet框架，通过时间序列分词与高比例损坏令牌预测，利用预训练语言模型初始化，实现跨域自监督预训练，提升下游时间序列分类性能。
2024-11-05 cs.LG
TMLC-Net: Transferable Meta Label Correction for Noisy Label Learning
School of Artificial Intelligence, Tianjin Normal University（天津师范大学人工智能学院）
针对现实数据集噪声标签阻碍深度学习模型部署、现有元学习方法迁移性有限的问题，提出TMLC-Net可迁移元标签校正网络，集成三个核心组件，在多噪声基准数据集上优于现有方法，具良好迁移适应性。
2025-02-11 cs.AI cs.LG
