Agent based modelling for continuously varying supply chains
Wuhan University of Technology（武汉理工大学）；University of Southampton（南安普顿大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文研究连续变化供应链中的智能体控制，比较PPO与RPPO算法，发现RPPO凭借记忆能力在极端任务间更稳定，强调智能体协作可提升非平稳环境性能。
2023-12-24 cs.AI cs.LG cs.SY
Transferring Causal Effects using Proxies
ETH Zürich（苏黎世联邦理工学院）
本文提出通过代理变量在多领域中估计因果效应的方法，证明了可识别性并提供了估计技术与实证支持。
2025-12-27 cs.AI cs.LG stat.ME
Using Memory-Based Learning to Solve Tasks with State-Action Constraints
Carnegie Mellon University（卡内基梅隆大学）
可能的动作集不连续地依赖于状态的任务对当前的强化学习算法构成了重大挑战。例如，一扇锁着的门必须先打开，然后转动把手，门才能打开。这些任务的连续性使得获得最终奖励变得困难，并且使用连续学习值（如权重）而不是离散符号在任务变量之间传输信息可能效率低下。我们的关键见解是，象征性地行动和思考的代理通常在处理这些任务时更有效。我们提出了一种基于记忆的学习方法，利用这些任务中的约束和动作的时间顺序的象征性，以快速获取和传递高层次的信息。我们评估了基于记忆的学习在真实和模拟任务上的性能，这些任务在状态和动作之间具有近似不连续的约束，并表明我们的方法学习解决这些任务的速度比基于模型和无模型的深度强化学习方法快一个数量级。
2023-03-08 cs.AI cs.LG cs.RO
An Active Learning Framework for Efficient Robust Policy Search
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
鲁棒策略搜索是学习策略的问题，这些策略在受到未知环境模型参数的影响时不会降低性能。它特别适用于将在模拟环境中学到的政策转移到现实世界。现有的几种方法涉及对大量反映各种可能环境差异的轨迹进行采样，然后选择其中的一些子集来学习鲁棒策略，例如导致最差性能的策略。我们提出了一个基于主动学习的框架，EffAcTS，选择性地选择模型参数，以便只收集尽可能多的数据，必要的选择这样一个子集。我们使用线性Bandits应用这个框架，并通过实验验证了样本效率的增益和我们的方法在标准连续控制任务上的性能。我们还提出了一个多任务学习的角度来看，强大的政策搜索的问题，并从我们提出的框架，现有的工作多任务学习的连接。
2021-11-21 cs.AI cs.LG cs.RO
Centralized Reward Agent for Knowledge Sharing and Transfer in Multi-Task Reinforcement Learning
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；TikTok Pte. Ltd., Singapore（新加坡TikTok公司）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出一种集成集中式奖励智能体与分布式策略智能体的多任务强化学习框架，通过奖励塑形实现知识共享与迁移，在Meta-World等基准上验证了其鲁棒性和对新任务的适应性。
2025-10-26 cs.AI cs.LG
Intrinsically Motivated Open-Ended Multi-Task Learning Using Transfer Learning to Discover Task Hierarchy
IMT Atlantique（大西洋国立高等工业技术学院）；ENSTA Paris（巴黎国立高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）；Inria（法国国家信息与自动化研究所）
在开放式连续环境中，机器人需要在分层强化学习中学习多个参数化控制任务。我们假设，最复杂的任务可以通过从简单的任务中转移知识来更容易地学习，并且通过使行动的复杂性适应任务来更快地学习。我们提出了一个面向任务的表示复杂的行动，称为程序，学习在线任务关系和无界序列的动作原语控制不同的可观察的环境。将目标模糊与模仿学习、主动学习与基于内在动机的知识转移相结合，我们的算法自组织其学习过程。它在任何给定的时间选择一项任务来关注;以及什么、如何、何时和从谁那里转移知识。我们用一个模拟和一个真实的工业机器人手臂，在跨任务和跨学习者转移设置，任务组成是解决高度复杂的任务的关键。任务分解也有效地转移到不同的体现学习者和主动模仿，其中机器人只要求少量的演示和足够类型的信息。机器人学习并利用任务依赖性，以便学习各种复杂性的任务。
2021-02-19 cs.AI cs.LG stat.ML
Evaluating Collaborative and Autonomous Agents in Data-Stream-Supported Coordination of Mobile Crowdsourcing
University Rey Juan Carlos（胡安卡洛斯国王大学）
针对移动众包任务失败率高且任务转移难的问题，本文结合数据流学习预测任务结果，并提出协作型机会主义与自主型市场化两种协调方法。
2024-01-23 cs.AI cs.LG cs.MA
Generalization in Transfer Learning
Bogazici University（博加齐大学）
针对深度迁移强化学习易在源任务过拟合、泛化评估不准的问题，提出训练迭代调参、策略快照、strict clipping、最大熵对抗学习与课程学习等正则化方法，并在多种物理参数变化的机器人环境中验证鲁棒性。
2021-02-22 cs.AI cs.LG cs.RO
Towards a Universal Continuous Knowledge Base
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
在人工智能（AI）中，知识是智能系统完成任务所需的信息。虽然传统的知识库使用离散的，符号表示，检测知识编码的连续表示从数据中学习最近受到越来越多的关注。在这项工作中，我们提出了一种方法，用于建立一个连续的知识库（CKB），可以存储从多个，不同的神经网络导入的知识。该方法的核心思想是为每个神经网络定义一个接口，并将知识传递问题转化为函数模拟问题。文本分类实验表明，CKB从一个单一的模型中导入知识，然后将知识导出到一个新的模型，实现了与原始模型相当的性能。更有趣的是，我们将多个模型中的知识导入到知识库中，融合后的知识从知识库中导出回单个模型，从而实现了比原始模型更高的准确性。有了CKB，也很容易实现知识蒸馏和迁移学习。我们的工作为构建一个通用的连续知识库打开了大门，以收集、存储和组织编码在各种神经网络中的所有连续知识，这些神经网络是为不同的人工智能任务训练的。
2021-04-17 cs.AI cs.CL
REvolveR: Continuous Evolutionary Models for Robot-to-robot Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
机器人学习中的一个流行范例是为每个新机器人从头开始训练策略。这不仅效率低下，而且对于复杂的机器人来说往往不切实际。在这项工作中，我们考虑的问题，在两个不同的机器人具有显着不同的参数，如运动学和形态学的政策。通过匹配动作或状态转换分布来训练新策略的现有方法（包括模仿学习方法）由于最优动作和/或状态分布在不同机器人中不匹配而失败。在本文中，我们提出了一种新的方法命名为$REvolveR$的使用连续进化模型的机器人策略传输实现在物理模拟器。我们找到一个连续的机器人参数的进化变化的源机器人和目标机器人之间的插值。源机器人上的专家策略通过训练逐渐演变成目标机器人的中间机器人序列来转移。在物理仿真器上的实验表明，所提出的连续进化模型可以有效地在机器人之间传递策略，并在新机器人上获得优异的样本效率。所提出的方法是特别有利的稀疏奖励设置，探索可以显着减少。代码发布于www.example.com。
2022-06-21 cs.AI cs.LG cs.RO
Meta-Evolve: Continuous Robot Evolution for One-to-many Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Meta-Evolve 方法，通过共享树状进化路径实现连续机器人进化，将专家策略高效地从源机器人迁移到多个目标机器人，实验显示一对三操作策略迁移效率提升最高 3.2 倍，一对六运动策略迁移提升 2.4 倍。
2024-05-06 cs.AI cs.LG cs.NE
Low Dimensional State Representation Learning with Robotics Priors in Continuous Action Spaces
University of Twente（特文特大学）；IAV GmbH (Volkswagen Group)（IAV有限公司（大众集团））；Jönköping University（延雪平大学）；Saxion University of Applied Sciences（萨克逊应用科学大学）
本文提出联合学习低维状态表示与最优策略的强化学习框架，以提升连续状态和动作空间中移动机器人导航的样本效率，并验证仿真到真实机器人的无再训练迁移能力。
2021-07-04 cs.AI cs.RO
Continuous Coordination As a Realistic Scenario for Lifelong Learning
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔工程学院）
目前的深度强化学习（RL）算法仍然具有高度的任务特定性，并且缺乏推广到新环境的能力。而终身学习的目标是通过在任务之间有效地转移和使用知识来顺序地解决多个任务。尽管近年来对终身RL的兴趣激增，但缺乏现实的测试平台使得LLL算法的鲁棒性评估变得困难。另一方面，多智能体强化学习（MARL）由于其固有的非平稳性，可以被视为终身强化学习的自然场景，因为智能体的策略会随着时间的推移而变化。在这项工作中，我们引入了一个多智能体终身学习测试平台，支持zero-shot和Few-Shot设置。我们的设置是基于Hanabi -一个部分可观察的，完全合作的多智能体游戏，已被证明是具有挑战性的zero-shot协调。其大的策略空间使其成为终身RL任务的理想环境。我们评估了最近的几种MARL方法，并在有限的内存和计算机制中对最先进的LLL算法进行了基准测试，以揭示它们的优点和缺点。这种持续学习范式也为我们提供了一种实用的方法，可以超越集中式培训，这是MARL中最常用的培训协议。我们的经验表明，在我们的设置中训练的代理能够很好地协调与看不见的代理，没有任何额外的假设，以前的作品。代码和所有预训练模型可在https://github.com/chandar-lab/Lifelong-Hanabi上获得。
2021-06-14 cs.AI cs.LG cs.MA
Learning Structure-Semantic Evolution Trajectories for Graph Domain Adaptation
School of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能学院）；School of Mathematical Sciences, Peking University, Beijing, China（北京大学数学科学学院）；School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院）；Zhongguancun Laboratory, Beijng, China（中关村实验室）；Independent Researcher, Beijing, China（独立研究者）
DiffGDA通过建模连续时间生成过程，以结构和语义转换的联合建模方式解决图域适应中的连续非线性演进问题，实验表明其在多个数据集上优于现有方法。
2026-02-11 cs.AI cs.LG
FAST: Similarity-based Knowledge Transfer for Efficient Policy Learning
Department of Computer Science University of Pisa, Italy（计算机科学系 罗马大学）
本文提出 FAST 框架，利用视觉帧与文本描述估计任务相似性并选择可迁移策略，从而在赛道任务中以更少训练步骤达到接近从零学习的性能。
2025-07-27 cs.AI cs.LG
Wasserstein Distance Rivals Kullback-Leibler Divergence for Knowledge Distillation
Dalian University of Technology（大连理工大学）
针对传统KL散度知识蒸馏缺乏跨类别比较、难处理中间层非重叠分布的问题，提出基于Wasserstein距离的WKD-L logit蒸馏与WKD-F特征蒸馏方法，在图像分类和检测任务上性能优于现有KL类及最优方法。
2024-12-11 cs.AI cs.CV cs.LG
