Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Intrinsic Innovation LLC（Intrinsic创新有限责任公司）；Tsinghua University（清华大学）
人类能够将各种任务抽象为多个属性的不同组合。这种组合性的视角对于人类的快速学习和适应至关重要，因为相关任务的先前经验可以结合起来，在新的组合设置中进行概括。在这项工作中，我们的目标是通过利用任务组合性来实现强化学习（RL）代理的零触发（zero-shot）策略泛化。我们提出的方法是一个Meta强化学习算法与解开任务表示，明确编码任务的不同方面。然后，通过推断看不见的组合任务表示，通过所获得的解纠缠，而无需额外的探索，来执行策略泛化。评估是在三个模拟任务和一个具有挑战性的现实世界的机器人插入任务。实验结果表明，该方法以zero-shot的方式实现了对不可见组合任务的策略泛化。
2022-10-01 cs.LG cs.RO
Post-Convergence Sim-to-Real Policy Transfer: A Principled Alternative to Cherry-Picking
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）
本文提出一种收敛后仿真到现实迁移的最坏情况性能优化方法，通过凸二次约束线性规划实现策略选择，避免挑拣，并在腿式机器人运动策略迁移中验证有效性。
2025-04-21 cs.LG cs.RO
Policy Transfer across Visual and Dynamics Domain Gaps via Iterative Grounding
USC（南加州大学）；NAVER AI Lab（NAVER人工智能实验室）
将策略从一个环境转移到另一个环境的能力是在任务监督不可用的现实环境中进行有效机器人学习的有希望的途径。这可以让我们利用非常适合训练的环境，例如模拟器或实验室，来学习家庭或办公室中真正机器人的策略。为了成功，这种策略转移必须克服源环境和目标环境之间的视觉域间隙（例如，不同的照明或背景）和动态域间隙（例如，不同的机器人校准或建模误差）。然而，现有的策略转移方法要么不能处理大的域间隙，要么一次只能解决一种类型的域间隙。在本文中，我们提出了一种新的政策转移方法与迭代的“环境接地”，IDAPT，交替（1）直接最小化视觉和动态域之间的差距接地源环境在目标环境域，（2）训练接地源环境的政策。这种迭代训练逐步调整两个环境之间的域，并使策略适应目标环境。一旦经过训练，该策略就可以直接在目标环境中执行。运动和机器人操作任务的实证结果表明，我们的方法可以有效地转移政策的视觉和动力学领域的差距，最小的监督和与目标环境的互动。视频和代码可在https://clvrai.com/idapt上获得。
2021-07-01 cs.AI cs.LG cs.RO
REvolveR: Continuous Evolutionary Models for Robot-to-robot Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
机器人学习中的一个流行范例是为每个新机器人从头开始训练策略。这不仅效率低下，而且对于复杂的机器人来说往往不切实际。在这项工作中，我们考虑的问题，在两个不同的机器人具有显着不同的参数，如运动学和形态学的政策。通过匹配动作或状态转换分布来训练新策略的现有方法（包括模仿学习方法）由于最优动作和/或状态分布在不同机器人中不匹配而失败。在本文中，我们提出了一种新的方法命名为$REvolveR$的使用连续进化模型的机器人策略传输实现在物理模拟器。我们找到一个连续的机器人参数的进化变化的源机器人和目标机器人之间的插值。源机器人上的专家策略通过训练逐渐演变成目标机器人的中间机器人序列来转移。在物理仿真器上的实验表明，所提出的连续进化模型可以有效地在机器人之间传递策略，并在新机器人上获得优异的样本效率。所提出的方法是特别有利的稀疏奖励设置，探索可以显着减少。代码发布于www.example.com。
2022-06-21 cs.AI cs.LG cs.RO
Policy Transfer with Strategy Optimization
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
计算机模拟提供了一种自动和安全的方法来训练机器人控制策略，以实现复杂的任务，如运动。然而，由于两种环境之间的差异，在仿真中训练的策略通常不会直接转移到真实硬件。使用域随机化的迁移学习是一种很有前途的方法，但它通常假设目标环境接近训练环境的分布，因此严重依赖于准确的系统辨识。在本文中，我们提出了一种不同的方法，利用域随机化的控制策略转移到未知的环境。关键的想法是，而不是在模拟中学习单个策略，我们同时学习一系列表现出不同行为的策略。在目标环境下测试时，我们直接根据任务性能在族中搜索最佳策略，而不需要识别动态参数。我们在训练和测试环境中具有不同差异的五个模拟机器人控制问题上评估了我们的方法，并证明与训练鲁棒策略或自适应策略相比，我们的方法可以克服更大的建模误差。
2018-12-04 cs.LG cs.RO stat.ML
Meta-Evolve: Continuous Robot Evolution for One-to-many Policy Transfer
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Meta-Evolve 方法，通过共享树状进化路径实现连续机器人进化，将专家策略高效地从源机器人迁移到多个目标机器人，实验显示一对三操作策略迁移效率提升最高 3.2 倍，一对六运动策略迁移提升 2.4 倍。
2024-05-06 cs.AI cs.LG cs.NE
A Framework for Few-Shot Policy Transfer through Observation Mapping and Behavior Cloning
Tufts University（塔夫茨大学）；Georgia Tech Research Institute（佐治亚理工学院研究所）
提出一种基于观测映射和行为克隆的少样本策略迁移框架，利用GAN和循环一致性损失实现跨域策略迁移，在有限交互及语义差异下仍有效。
2023-10-13 cs.AI cs.LG cs.RO
A Comprehensive Survey of Cross-Domain Policy Transfer for Embodied Agents
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文系统综述了具身智能体的跨域策略迁移方法，通过细致分类域差距概括了各问题设定的见解与设计考量，并总结了当前挑战与未来方向。
2024-08-27 cs.AI cs.LG cs.RO
Assessing Transferability from Simulation to Reality for Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）；Honda Research Institute Europe（本田欧洲研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
从物理模拟中学习机器人控制策略对机器人社区非常感兴趣，因为它可以通过减轻对昂贵的真实世界实验的需求来使学习过程更快，更便宜和更安全。然而，将学到的行为从模拟直接转移到现实是一个重大挑战。在稍微有故障的模拟器上优化策略很容易导致“模拟优化偏差”（SOB）的最大化。在这种情况下，优化器利用模拟器的建模误差，使得所产生的行为可能会损坏机器人。我们通过应用域随机化来应对这一挑战，即，在学习期间随机化物理模拟的参数。我们提出了一种算法称为基于仿真的策略优化与可转移性评估（SPOTA），它使用的估计量的最大值，制定一个停止标准的训练。引入的估计量量化了训练时经历的域集合的过拟合。我们在两个不同的二阶非线性系统上的实验结果表明，新的基于仿真的策略搜索算法能够专门从随机模拟器中学习控制策略，该策略可以直接应用于实际系统而无需任何额外的训练。
2019-10-21 cs.LG cs.RO
Predicting Sim-to-Real Transfer with Probabilistic Dynamics Models
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
我们提出了一种方法来预测RL策略的仿真到现实迁移性能。我们的转移指标简化了模拟中训练设置（如算法、超参数、随机化）和策略的选择，而不需要大量耗时的真实世界部署。概率动力学模型与策略一起训练，并在一组固定的真实世界轨迹上进行评估，以获得转移度量。实验表明，传输度量是高度相关的策略性能在模拟和真实世界的机器人环境中的复杂操作任务。我们进一步表明，转移度量可以预测训练设置对策略转移性能的影响。
2020-09-27 cs.AI cs.LG cs.RO
Driving Policy Transfer via Modularity and Abstraction
KAUST（阿卜杜拉国王科技大学）；Intel Labs（英特尔实验室）
自动驾驶的端到端方法具有很高的样本复杂性，并且难以扩展到现实的城市驾驶。仿真可以通过提供廉价，安全和多样化的培训环境来帮助端到端的驾驶系统。然而，在模拟中训练驱动政策带来了将这些政策转移到现实世界的问题。我们提出了一种方法，通过模块化和抽象的驾驶政策从模拟到现实。我们的方法受到经典驾驶系统的启发，旨在结合模块化架构和端到端深度学习方法的优势。关键思想是封装驾驶策略，使其不直接暴露于原始感知输入或低级别车辆动态。我们评估所提出的方法在模拟城市环境和现实世界中。特别是，我们将模拟训练的驾驶策略转移到1/5比例的机器人卡车上，该卡车部署在两大洲的各种条件下，没有微调。补充视频可以在https://youtu.be/BrMDJqI6H5U上观看
2018-12-13 cs.CV cs.LG cs.RO
REPAINT: Knowledge Transfer in Deep Reinforcement Learning
Amazon Web Services（亚马逊云科技）
通过利用先前学习的任务来加速复杂任务的学习过程一直是强化学习中最具挑战性的问题之一，特别是当源任务和目标任务之间的相似性较低时。本文提出了一种用于深度强化学习中知识转移的REPresentation And Instance Transfer（REPAINT）算法。REPAINT不仅将预先训练好的教师策略的表征转移到同策略学习中，而且使用基于经验选择的方法将遵循教师策略收集的有用样本转移到离策略学习中。我们对几个基准任务的实验结果表明，REPAINT显着减少了任务相似性的一般情况下的总训练时间。特别是，当源任务与目标任务不相似或子任务时，REPAINT在训练时间减少和返回分数的渐近性能方面都优于其他基线。
2021-05-26 cs.AI cs.LG cs.RO
Continual Reinforcement Learning deployed in Real-life using Policy Distillation and Sim2Real Transfer
ENSTA ParisTech（ENSTA巴黎高科）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
我们专注于教机器人解决顺序提出的任务的问题，即，in a持续学习scenario场景.机器人应该能够解决它遇到的所有任务，而不会忘记过去的任务。我们提供了初步的工作应用强化学习，这样的设置，在2D导航任务的3轮全向机器人。我们的方法利用状态表示学习和策略蒸馏。使用学习的特征作为输入而不是原始观察来训练策略，从而允许更好的样本效率。策略蒸馏用于将多个策略组合成单个策略，以解决所有遇到的任务。
2019-06-11 cs.LG cs.RO stat.ML
Zero-shot Transfer Learning of Driving Policy via Socially Adversarial Traffic Flow
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
针对密集交通流中驾驶策略难以零样本迁移的问题，提出以SVO为情境的社会对抗性交通流及两阶段分层对抗训练框架，显著提升策略在未见场景中的迁移性能。
2023-04-25 cs.RO
State-Conditional Adversarial Learning: An Off-Policy Visual Domain Transfer Method for End-to-End Imitation Learning
University of California, Berkeley, CA, USA（加州大学伯克利分校）
针对目标域数据严格离策略、无专家且稀缺的挑战，提出状态条件对抗学习（SCAL），通过状态条件潜在KL散度的判别器估计对齐分布，实现鲁棒的视觉域迁移。
2026-06-01 cs.RO
Cross-View Policy Learning for Street Navigation
DeepMind（深度思维）
在不熟悉的环境中根据视觉观察进行导航的能力是智能代理的核心组成部分，也是深度强化学习（RL）的一个持续挑战。街景可以成为这种RL代理的一个明智的测试平台，因为它提供了地面上的真实世界摄影图像，具有不同的街道外观;它已被制作成一个名为StreetLearn的交互式环境，并用于导航研究。然而，目标驱动的街道导航代理到目前为止还不能转移到看不见的地区没有广泛的再培训，依靠模拟是不是一个可扩展的解决方案。由于航空图像是很容易和全球访问，我们建议，而不是训练多模式的政策，地面和空中的意见，然后转移到看不见的地面视图政策（目标）的城市部分，利用鸟瞰图观察。我们的核心思想是将地面视图与鸟瞰图配对，并学习可跨视图转移的联合策略。我们通过学习两个视图的相似嵌入空间，提取视图之间的策略并丢弃视觉模态来实现这一点。我们进一步将迁移学习范式重新表述为三个阶段：1）跨模态训练，当代理最初在多个城市区域上训练时，2）仅鸟瞰图适应新区域，当代理仅使用容易获得的鸟瞰图适应保持区域时，以及3）仅地面视图转移，当代理在看不见的地面视图上的导航任务上进行测试时，没有空中图像。实验结果表明，建议的跨视图策略学习，使代理更好的泛化，并允许更有效地转移到看不见的环境。
2019-09-22 cs.CV cs.LG cs.RO
A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer
Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
研究旨在用强化学习从零训练单扩散策略用于多任务块推，提出含简单策略损失函数的框架，结合反向课程生成等应对探索挑战，评估其在不同条件下零样本从模拟到现实的转移能力，证明该流程有效。
2026-07-14 cs.RO
Probabilistically Safe Policy Transfer
University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute (ICSI)（国际计算机科学研究所）；OpenAI
虽然基于学习的方法在机器人领域有很大的潜力，但一个问题是，机器人在学习最佳策略之前更新其参数可能会造成大量损害。我们通过定义一个优化问题，在概率意义上正式定义了安全学习的概念：我们希望最大化预期收益，同时保持预期损失低于给定的安全限制。我们研究这种优化的情况下，机器人机械手与安全为基础的扭矩限制。我们希望确保在优化的每一步都保持损伤约束，而不仅仅是在收敛时。为了实现这一目标，我们介绍了一种新的方法，预测如何修改扭矩限制，以及如何更新的政策参数，可能会影响机器人的安全。我们通过大量的实验表明，我们的方法允许机器人提高其性能，同时确保在学习过程中不违反预期的损坏约束。
2017-05-15 cs.AI cs.LG cs.RO
Robot Policy Evaluation for Sim-to-Real Transfer: A Benchmarking Perspective
NVIDIA（英伟达）
本文探讨了通用机器人操作策略在sim-to-real迁移评估中的挑战，提出利用高视觉保真度仿真、系统增加任务复杂度与场景扰动以及量化虚实性能对齐三项基准设计原则。
2025-08-14 cs.RO
Hierarchical Equivariant Policy via Frame Transfer
Northeastern University（东北大学）；Boston Dynamics AI Institute（波士顿动力人工智能研究所）
针对现有分层策略接口研究不足、忽略领域对称性需大量演示的问题，提出分层等变策略HEP，通过坐标系转移接口结合层级对称性，在机器人操作任务仿真与真实场景中均达最优性能。
2025-02-21 cs.RO
Imitation Learning for Generalizable Self-driving Policy with Sim-to-real Transfer
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
模仿学习使用专家的演示来发现最优策略，它也适用于现实世界的机器人任务。然而，在这种情况下，由于安全、经济和时间的限制，代理的训练在模拟环境中进行。然后，将该智能体应用于现实生活中的领域，使用模拟到真实的方法。在本文中，我们应用模仿学习方法在模拟环境中解决机器人任务，并使用迁移学习将这些解决方案应用于现实环境中。我们的任务设置在Duckietown环境中，机器人代理必须根据单个前向摄像头的输入图像沿着正确的车道行驶。我们提出了三个模仿学习和两个模拟到真实的方法能够实现这一任务。对这些技术进行了详细的比较，以突出它们的优点和缺点。
2022-06-22 cs.CV cs.LG cs.RO
A Composable Framework for Policy Design, Learning, and Transfer Toward Safe and Efficient Industrial Insertion
Carnegie Mellon University（卡内基梅隆大学）
精细的工业插入任务（例如，印制电路板组装）对于工业机器人来说仍然具有挑战性。这些挑战包括低误差容限、组件的精细度以及相对于要插入的组件的大的任务变化。为了为这些插入任务提供可行的机器人解决方案，我们还需要考虑现有机器人系统的硬件限制，并最大限度地减少集成工作。本文提出了一种组合框架，有效地整合现有的机器人平台上的安全插入策略，以完成这些插入任务。该策略具有可解释的模块化设计，可以在硬件上有效地学习，并容易地转移到新的任务。特别地，该策略包括作为用于插入的基线策略的安全插入代理、作为到机器人硬件的接口的最优可配置笛卡尔跟踪器、用于处理组件种类和插入错误的概率推理模块、以及用于优化上述模块中的参数以在指定硬件上实现最佳性能的安全学习模块。UR10机器人上的实验结果表明，该框架实现了安全性（对于组件的精细度），准确性（对于低公差），鲁棒性（对感知错误和组件缺陷），适应性和可移植性（对于任务变化），以及执行期间的任务效率加上学习期间的数据和时间效率。
2022-03-06 cs.RO
Zero-shot Deep Reinforcement Learning Driving Policy Transfer for Autonomous Vehicles based on Robust Control
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种基于鲁棒控制的零样本深度强化学习驾驶策略迁移方法，通过转移具体的运动学量来解决自动驾驶中源域与目标域之间的建模差距问题，采用可转移的分层强化学习轨迹规划器和基于扰动观测器的鲁棒跟踪控制器，验证了该方法在多个驾驶场景中的零样本迁移能力。
2018-12-07 cs.LG cs.RO cs.SY
Efficient Knowledge Transfer for Jump-Starting Control Policy Learning of Multirotors through Physics-Aware Neural Architectures
Department of Engineering Cybernetics at the Norwegian University of Science and Technology（工程 cybernetics 系挪威科学与技术大学）
本研究提出了一种物理感知神经架构，通过库初始化方案实现多旋翼控制策略的高效知识转移，显著减少环境交互，提升控制性能。
2026-02-17 cs.RO
Policy Transfer via Kinematic Domain Randomization and Adaptation
Stanford University（斯坦福大学）；Google（谷歌）
将在物理模拟中训练的强化学习策略转移到真实的硬件仍然是一个挑战，被称为“模拟到真实”的差距。域随机化是一种简单而有效的技术，可以解决源域和目标域之间的动态差异，但其成功通常取决于算法和试错。在这项工作中，我们调查的影响，随机参数选择的政策可转移性在不同类型的域差异。与在动态参数随机化的同时仔细测量运动学参数的常见做法相反，我们发现，链路长度）通常优于动态随机化。基于这一发现，我们介绍了一种新的领域自适应算法，利用模拟运动参数的变化。我们的算法，多策略贝叶斯优化，训练的通用策略的虚拟运动参数的条件下，并有效地适应目标环境，使用有限数量的目标域推出。我们展示了我们的研究结果，在五个不同的目标环境，涵盖不同方面的域差异的模拟四足机器人。
2021-04-01 cs.LG cs.RO cs.SY
TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction
Stanford University（斯坦福大学）
提出TRANSIC，一种基于人类在环框架的数据驱动方法，通过人类干预和在线纠正学习残差策略以弥合仿真到现实差距，实现复杂操作任务的策略迁移。
2024-10-14 cs.AI cs.LG cs.RO
Multi-Object Grasping -- Generating Efficient Robotic Picking and Transferring Policy
University of South Florida（南佛罗里达大学）
在容器之间传输多个对象是许多应用程序的常见任务。在机器人技术中，一个标准的方法是每次拿起一个物体并将其转移。然而，抓取和拾取多个物体并立即将它们转移到一起更有效。本文提出了一套新的策略，有效地抓住多个物体在一个箱子，将它们转移到另一个。该策略使得机器人手能够识别最佳的准备好的手配置（预抓取），并基于要抓取的物体的期望数量来计算屈曲协同。本文还提出了一种方法，使用马尔可夫决策过程（MDP）建模时，所需的数量是大于一个单一的把握能力的采摘转移例程。使用MDP模型，所提出的方法可以生成一个最佳的采摘转移例程，最大限度地减少转移的数量，代表效率。所提出的方法已在仿真环境和一个真正的机器人系统进行了评估。结果表明，该方法减少了59%的转移和电梯的数量相比，最佳的单对象拾取转移解决方案的58%。
2021-12-18 cs.RO
Neural Policy Style Transfer
Universidad Carlos III de Madrid (UC3M)（马德里卡洛斯三世大学）
该研究提出神经策略风格迁移NPST算法，将风格迁移概念拓展至深度强化学习控制策略，通过逆强化学习基于用户演示训练不同Q网络架构的策略，在接球游戏与人形机器人绘画场景中验证了方法的有效性。
2024-02-01 cs.AI cs.LG cs.NE
Keypose Exploration: Efficient Automatic Trajectory Labelling and Cross-Embodiment Policy Transfer
School of Computing and Data Science, The University of Hong Kong, HKSAR（计算与数据科学学院，香港大学，香港特别行政区）
提出结合视觉语言模型与经典轨迹分析的关键姿态自动标注流程，并利用关键姿态引导扩散策略实现零样本跨实体迁移。
2026-06-27 cs.RO
Deep Reinforcement Learning for Sim-to-Real Policy Transfer of VTOL-UAVs Offshore Docking Operations
Carleton University（卡尔顿大学）
本文提出一种面向VTOL-UAV海上对接的深度强化学习方法，将着陆分解为接近与着陆两阶段，结合JONSWAP波浪模型训练PPO等智能体，提升仿真到现实迁移成功率。
2024-07-31 cs.RO
TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
Meta FAIR
TactAlign通过触觉对齐方法实现了人到机器人的政策转移，无需配对数据或人工标注，适用于多种接触丰富任务并具备良好的泛化能力。
2026-02-14 cs.RO
Transferring human emotions to robot motions using Neural Policy Style Transfer
Universidad Complutense de Madrid (UCM)（马德里康普顿斯大学 (UCM)）；Universidad Carlos III de Madrid (UC3M)（马德里卡洛斯三世大学 (UC3M)）；CNRS（法国国家科学研究中心）；University Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；IRISA（法国布列塔尼计算机科学与随机系统研究所）
针对机器人领域缺乏预训练运动分类架构的问题，提出NPST3框架，结合TD3网络与自编码器实现人类运动风格向机器人运动的离线/在线迁移，在两类机器人平台上经147份问卷验证有效性。
2024-02-01 cs.RO
Tactile Sim-to-Real Policy Transfer via Real-to-Sim Image Translation
University of Bristol（布里斯托大学）；Google Deepmind（谷歌DeepMind）
模拟最近已经成为深度强化学习的关键，可以安全有效地从视觉和本体感受输入中获取通用和复杂的控制策略。触觉信息通常不被考虑，尽管它直接关系到环境的相互作用。在这项工作中，我们提出了一套适合触觉机器人和强化学习的模拟环境。提供了一种模拟光学触觉传感器的简单且快速的方法，其中高分辨率接触几何形状被表示为深度图像。最近策略优化（PPO）用于在所有考虑的任务中学习成功的策略。数据驱动的方法使得能够将真实触觉传感器的当前状态转换为对应的模拟深度图像。该策略在物理机器人上的实时控制回路内实现，以在需要触觉的几个物理交互任务上演示zero-shot模拟到真实的策略转移。
2021-10-31 cs.AI cs.RO
Data-driven Policy Transfer with Imprecise Perception Simulation
Czech Technical University in Prague（布拉格捷克理工大学）；Czech Institute of Informatics Robotics and Cybernetics（捷克信息学、机器人学与控制论研究所）
本文提出了一个完整的流水线学习连续运动控制策略的移动机器人时，只有一个不可微的物理模拟器的机器人与地形的相互作用。机器人的多模态状态估计也是复杂且难以模拟的，因此我们同时学习改进模拟器输出的生成模型。我们提出了一个从粗到精的学习范式，其中粗运动规划交替与模仿学习和政策转移到真正的机器人。该策略与生成式模型联合优化。我们在一个真实世界的平台上评估的方法在一批实验。
2022-06-21 cs.RO
Imagined Value Gradients: Model-Based Policy Optimization with Transferable Latent Dynamics Models
DeepMind（深度思考）；University of Washington（华盛顿大学）
人类是快速学习许多复杂任务的大师，依赖于对其环境动态的近似理解。同样，我们希望我们的学习代理能够快速适应新任务。在本文中，我们探讨了如何基于模型的强化学习（RL）可以促进转移到新的任务。我们开发了一种算法，该算法学习预期未来观察，奖励和价值的行动条件预测模型，可以通过沿着想象的轨迹跟踪估计值的梯度来导出策略。我们展示了如何强大的策略优化，可以实现机器人操作任务，甚至与近似模型，直接从视觉和本体感受。我们评估了我们的方法在迁移学习场景中的有效性，在具有不同奖励结构和视觉干扰的任务上重新使用以前学习的模型，并显示出与强大的离线策略基线相比，学习速度有了显着的提高。有关结果的视频，请访问https://sites.google.com/view/ivg-corl19
2019-10-09 cs.AI cs.CV cs.LG
Policy Stitching: Learning Transferable Robot Policies
Duke University（杜克大学）；Air Force Research Laboratory（空军研究实验室）
本文提出 Policy Stitching 框架，通过模块化策略设计与接口潜在表征对齐，直接拼接独立训练的机器人和任务模块，实现新颖机器人—任务组合的零样本与少样本快速迁移。
2023-09-24 cs.RO cs.SY eess.SY
Latent Policy Steering: An Efficient and Flexible Framework for Cross-Embodiment Transfer
Carnegie Mellon University（卡内基梅隆大学）
提出潜在策略引导（LPS）框架，通过跨具身光流预训练世界模型并在目标具身上微调，在潜在空间搜索以引导策略，实现高效跨具身迁移，显著提升扩散策略和Pi0.5性能。
2026-09-28 cs.RO
A Novel Sample-efficient Deep Reinforcement Learning with Episodic Policy Transfer for PID-Based Control in Cardiac Catheterization Robots
目前，机器人导管插入术通常用于经皮冠状动脉介入手术，它涉及操纵柔性血管内工具以打开冠状动脉中的闭塞。在这项研究中，一个样本有效的深度强化学习与情节的政策转移，第一次，用于在机器人导管插入运动控制与完全自适应PID整定策略。强化模型有助于智能体从其环境中的相互作用中不断学习，并自适应地调整PID控制增益以用于血管内工具的轴向导航。该模型被验证为轴向运动控制的机器人系统设计的血管内导管插入术。仿真和实验验证了该模型的有效性，结果表明，该模型能够自整定PID增益，适用于机器人导管系统的运动控制。平均10次试验与传统方法的性能比较表明，代理调谐增益更好，误差为0.003 mm。因此，该模型将提供更稳定的设定点运动控制机器人导管插入术。
2021-10-28 cs.LG cs.RO cs.SY
Simulation to Scaled City: Zero-Shot Policy Transfer for Traffic Control via Autonomous Vehicles
University of California, Berkeley（加州大学伯克利分校）；University of Delaware（德克萨斯大学）
本文通过深度强化学习训练自动驾驶车辆在环形交叉口的控制策略，并将训练好的策略迁移至缩放智能城市进行测试，发现注入噪声的策略在迁移后表现更佳，实现了交通流的优化。
2019-02-22 cs.AI cs.RO cs.SY
Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer
Department of Mechanical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（机械工程系，韩国科学技术院（KAIST））；School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院）
提出一种延续学习框架，结合简化模型预训练和模型同伦启发迁移，高效生成和优化足式机器人的复杂动态行为，并在真实四足机器人上验证了翻转和墙面辅助等动态任务。
2026-06-03 cs.RO
Contextual Policy Transfer in Reinforcement Learning Domains via Deep Mixtures-of-Experts
Vector Institute of Artificial Intelligence（矢量人工智能研究所）；University of Toronto（多伦多大学）
在强化学习中，在选择用于传输的源策略时考虑上下文或当前状态的代理已被证明优于上下文无关方法。然而，没有现有的方法转移知识的上下文从基于模型的学习者到无模型的学习者。这可能是有用的，例如，当源策略是在具有丰富数据的各种模拟中有意学习的，但被转移到具有有限数据的真实世界设置中时。在本文中，我们假设的估计源任务的动态和政策，共同的子目标，但不同的动态知识。我们介绍了一种新的深度混合专家制定学习状态依赖的信念源任务动态匹配的目标动态使用从目标任务收集的状态轨迹。混合模型易于解释，对动态估计误差具有鲁棒性，并且与大多数学习算法兼容。然后，我们将展示如何将此模型纳入标准的策略重用框架，并在OpenAI-Gym的基准测试中展示其有效性。
2020-06-10 cs.LG cs.NE cs.RO
Mirage: Cross-Embodiment Zero-Shot Policy Transfer with Cross-Painting
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文提出 Mirage，通过实时 cross-painting 将目标机器人外观替换为源机器人，实现视觉操作策略在不同机械臂与夹爪间的零样本迁移。
2024-09-09 cs.RO
Cross Domain Policy Transfer with Effect Cycle-Consistency
King’s College London（伦敦国王学院）；University of Aberdeen（阿伯丁大学）
针对深度强化学习训练机器人策略样本效率低的问题，提出基于效应循环一致性的跨域策略迁移方法，利用非配对数据学习映射函数实现不同状态动作空间域的策略迁移，在多项任务上性能优于现有最优方法。
2024-03-04 cs.AI cs.RO
Shadow: Leveraging Segmentation Masks for Cross-Embodiment Policy Transfer
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
针对跨机器人本体策略迁移问题，提出数据编辑方案Shadow，通过在训练和评估时用源与目标机器人的复合分割掩码替代机器人本体，使数据分布匹配，实现高效且鲁棒的跨本体策略迁移。
2025-03-02 cs.RO
Using Simulation Optimization to Improve Zero-shot Policy Transfer of Quadrotors
Technical University of Munich（慕尼黑工业大学）
在这项工作中，我们提出了一种数据驱动的方法来优化仿真参数，使控制策略可以直接从仿真转移到现实世界的四旋翼。我们的基于神经网络的策略仅将板载传感器数据作为输入，并完全在嵌入式硬件上运行。在广泛的现实世界的实验中，我们比较低级别的脉冲宽度调制控制与更高级别的控制结构，如姿态速率和姿态，利用比例积分微分控制器输出电机命令。我们的实验表明，用强化学习训练的低级控制器需要比高级控制策略更准确的模拟。
2022-12-28 cs.AI cs.RO
Bridging Simulation and Reality: Cross-Domain Transfer with Semantic 2D Gaussian Splatting
本研究提出语义2D高斯点云方法，通过提取领域不变特征提升机器人操作的仿真到现实迁移能力。
2025-12-04 cs.RO
MANGA: Method Agnostic Neural-policy Generalization and Adaptation
Preferred Networks, Inc.（优选网络公司）；University of Toronto（多伦多大学）
在本文中，我们的目标是在不同的动态参数和电机噪声变化的多个环境中传输策略的问题，通过引入一个框架，该框架将策略学习和系统辨识的过程。在存在电机噪声的情况下，将学习到的策略有效地转移到动态配置发生变化的未知环境中对于在现实世界中操作机器人非常重要，我们的工作是在这个方向上的一个新尝试。我们介绍MANGA：方法不可知神经策略泛化和自适应，训练动态条件策略，并有效地学习估计环境中给定的非策略状态转换推出的环境的动态参数。我们的方案与所使用的训练方法的类型无关-可以使用强化学习（RL）和模仿学习（IL）策略。我们证明了我们的方法的有效性，通过实验与四个不同的MuJoCo代理商和以前提出的传输基线进行比较。
2019-11-19 cs.AI cs.LG cs.RO
DiAReL: Reinforcement Learning with Disturbance Awareness for Robust Sim2Real Policy Transfer in Robot Control
Department of Computer Engineering, School of Computation, Information and Technology, Technical University of Munich（计算机工程系，计算、信息与技术学院，慕尼黑技术大学）；Rosenheim University of Applied Sciences（罗森海姆应用技术大学）
针对机器人控制中仿真模型近似导致sim2real迁移受阻的问题，提出带扰动感知的强化学习方法DiAReL，引入DAMDP将扰动估计融入同策略RL训练，提升控制鲁棒性与迁移成功率。
2025-11-14 cs.LG cs.RO cs.SY
Sustainable Transfer Learning for Adaptive Robot Skills
Chair of Machine Tools and Control System, RPTU University Kaiserslautern-Landau（机床与控制系统教席，莱茵兰-普法尔茨凯泽斯劳滕-兰道大学）；Innovative Factory Systems, German Institute of Artificial Intelligence（创新工厂系统，德国人工智能研究所）
本文研究了不同机器人平台间的策略迁移，通过强化学习完成peg-in-hole任务，探讨零样本迁移、微调和从头训练的效果，发现微调能显著提升性能，降低训练时间，支持可持续的机器人学习。
2026-04-08 cs.RO
End-to-end example-based sim-to-real RL policy transfer based on neural stylisation with application to robotic cutting
Extreme Robotics Lab, School of Metallurgy and Materials, University of Birmingham（极端机器人实验室、冶金与材料学院、伯明翰大学）；The Faraday Institution, Quad One, Harwell Science and Innovation Campus（法拉第机构、Quad One、哈威尔科学与创新校园）；School of Computer Science and Digital Technologies, Aston University（计算机科学与数字技术学院、阿斯顿大学）
本文提出了一种基于神经风格迁移的端到端sim-to-real强化学习策略迁移方法，通过合成训练数据提升机器人切割任务的性能和鲁棒性。
2026-01-28 cs.RO
Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots
Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出DreamTIP框架，通过在Dreamer世界模型中引入任务不变属性学习，提升仿真到现实的迁移能力，实验表明其在复杂地形任务中表现优异，性能提升显著。
2026-04-03 cs.RO
Cross-Embodiment Robot Manipulation Skill Transfer using Latent Space Alignment
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出一种基于潜在空间对齐的跨本体机器人操作技能迁移方法，通过将源与目标机器人的状态和动作空间投影至共享潜在空间，实现无需目标域奖励的仿真到真实策略迁移。
2024-06-04 cs.AI cs.RO
Bridging the Sim2Real Gap: Vision Encoder Pre-Training for Visuomotor Policy Transfer
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出离线评估框架，通过动作分数和域不变性分数分析23个预训练视觉编码器，发现操作预训练编码器动作分数高、CNN域不变性强，二者互补预测Sim2Real迁移性能。
2025-09-07 cs.CV cs.RO
AnyBimanual: Transferring Unimanual Policy for General Bimanual Manipulation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
提出AnyBimanual，通过技能管理器与视觉对齐器将预训练单臂策略迁移至双臂操作，以少量演示实现通用双臂操作，在模拟和真实任务中显著提升成功率。
2025-03-27 cs.AI cs.RO
