Continual Domain Randomization
School of Computation Information and Technology, Technical University of Munich(技术大学慕尼黑计算信息与技术学院);Department of Computer Science, University of Innsbruck(因斯布鲁克大学计算机科学系);L3S Research Center, Leibniz Universität Hannover(汉诺威莱布尼茨大学L3S研究中心);Digital Science Center (DiSC), University of Innsbruck(因斯布鲁克大学数字科学中心)
本文提出持续领域随机化方法,结合领域随机化与持续学习,通过逐步随机化参数提升机器人抓取任务的仿真训练效果和现实性能。
2024-08-27 cs.RO
Assessing Transferability from Simulation to Reality for Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe(本田欧洲研究院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
从物理模拟中学习机器人控制策略对机器人社区非常感兴趣,因为它可以通过减轻对昂贵的真实世界实验的需求来使学习过程更快,更便宜和更安全。然而,将学到的行为从模拟直接转移到现实是一个重大挑战。在稍微有故障的模拟器上优化策略很容易导致“模拟优化偏差”(SOB)的最大化。在这种情况下,优化器利用模拟器的建模误差,使得所产生的行为可能会损坏机器人。我们通过应用域随机化来应对这一挑战,即,在学习期间随机化物理模拟的参数。我们提出了一种算法称为基于仿真的策略优化与可转移性评估(SPOTA),它使用的估计量的最大值,制定一个停止标准的训练。引入的估计量量化了训练时经历的域集合的过拟合。我们在两个不同的二阶非线性系统上的实验结果表明,新的基于仿真的策略搜索算法能够专门从随机模拟器中学习控制策略,该策略可以直接应用于实际系统而无需任何额外的训练。
2019-10-21 cs.LG cs.RO
OTTR: Off-Road Trajectory Tracking using Reinforcement Learning
Texas A&M University(得克萨斯农工大学)
在这项工作中,我们提出了一种新的强化学习(RL)算法的越野轨迹跟踪问题。越野环境涉及不同的地形类型和海拔高度,并且很难对特定越野车辆与这种多样且复杂的环境的交互动力学进行建模。在模拟器上训练的标准RL策略将无法在如此具有挑战性的现实环境中运行。而不是使用一个天真的域随机化方法,我们提出了一个创新的监督学习为基础的方法来克服模拟到真实的差距问题。我们的方法有效地利用了有限的现实世界中的数据,以适应基线RL的政策,使用一个简单的运动学模拟器。这避免了对车辆与越野环境的多样且复杂的交互进行建模的需要。我们评估所提出的算法使用两种不同的越野车,野猪和驼鹿的性能。与标准的ILQR方法相比,我们提出的方法在Warthog和Moose中分别实现了30%和50%的交叉跟踪误差减少,仅利用30分钟的真实驾驶数据。
2021-10-05 cs.LG cs.RO
Robust Visual Sim-to-Real Transfer for Robotic Manipulation
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文针对机器人操作中的视觉sim-to-real迁移问题,提出利用离线代理任务优化domain randomization参数,在仿真中训练视觉运动策略并直接迁移至真实机器人,在多样化任务上平均成功率达93%,优于使用有限真实数据训练的策略。
2023-07-28 cs.AI cs.CV cs.LG
Sim-to-Real Transfer of Robotic Control with Dynamics Randomization
OpenAI
本文提出一种简单方法通过随机化仿真动力学来弥合现实与仿真的差距,使策略能适应不同动态,从而在无需真实系统训练的情况下实现现实世界泛化。
2018-03-03 cs.RO cs.SY eess.SY
Learning and Deploying Robust Locomotion Policies with Minimal Dynamics Randomization
University of Oxford(牛津大学)
训练深度强化学习(DRL)运动策略通常需要大量数据才能收敛到所需的行为。在这方面,模拟器提供了廉价且丰富的来源。对于成功的仿真到现实迁移,通常采用详尽的工程方法,例如系统辨识、动态随机化和领域自适应。作为替代方案,我们研究了一个简单的随机力注入(RFI)的策略,在训练过程中扰动系统动力学。我们表明,随机力的应用使我们能够模拟动态随机化。这使我们能够获得对系统动态变化具有鲁棒性的运动策略。我们进一步扩展RFI,称为扩展随机力注入(ERFI),通过引入一个情节驱动偏移。我们证明,ERFI提供了额外的鲁棒性的系统质量的变化提供了平均53%的性能提高RFI。我们还表明,ERFI是足以执行一个成功的仿真到现实迁移两个不同的四足平台,ANYmal C和Unitree A1,即使在室外环境中的不平坦的地形感知运动。
2023-03-07 cs.AI cs.RO
SPiDR: A Simple Approach for Zero-Shot Safety in Sim-to-Real Transfer
ETH Zurich(苏黎世联邦理工学院);Caltech(加州理工学院);Johns Hopkins University(约翰霍普金斯大学)
SPiDR通过悲观域随机化将仿真到现实差距的不确定性纳入安全约束,实现可扩展且可证明安全的仿真到现实迁移,并在仿真和真实机器人实验中验证了其有效性。
2025-10-21 cs.AI cs.RO
Auto-Tuned Sim-to-Real Transfer
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
在模拟中训练的政策在转移到现实世界时往往会失败,这是由于“现实差距”,模拟器无法准确捕捉现实世界的动态和视觉特性。当前解决这个问题的方法,例如域随机化,需要先验知识和工程来确定将系统参数随机化多少,以便学习对仿真到现实迁移鲁棒同时也不太保守的策略。我们提出了一种自动调整模拟器系统参数,以匹配真实世界的方法,只使用原始RGB图像的真实世界,而不需要定义奖励或估计状态。我们的主要观点是将参数的自动调整重新定义为一个搜索问题,其中我们迭代地移动仿真系统参数以接近真实世界的系统参数。我们提出了一个搜索参数模型(SPM),给定一个序列的观察和行动和一组系统参数,预测给定的参数是高于还是低于用于生成观察的真实参数。我们评估我们的方法在多个机器人控制任务,在模拟到模拟和仿真到现实迁移,表现出显着的改善幼稚域随机化。项目视频和代码https://yuqingd.github.io/autotuned-sim2real/
2021-05-20 cs.AI cs.CV cs.HC
Learning Interactive Driving Policies via Data-driven Simulation
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);Toyota Research Institute(丰田研究院)
数据驱动的模拟器保证了高数据效率,以推动策略学习。当用于交互建模时,这种数据效率成为瓶颈:小型基础数据集通常缺乏有趣和具有挑战性的边缘案例来学习交互式驾驶。我们提出了一种模拟方法,使用在画ado车辆学习强大的驾驶政策,以应对这一挑战。因此,我们的方法可以用来学习涉及多代理交互的策略,并允许通过最先进的策略学习方法进行训练。我们评估的方法学习标准的互动场景驾驶。在广泛的实验中,我们的工作表明,由此产生的政策可以直接转移到一个全面的自动驾驶汽车,而不使用任何传统的仿真到现实迁移技术,如域随机化。
2021-11-23 cs.CV cs.LG cs.RO
Data-Link: High Fidelity Manufacturing Datasets for Model2Real Transfer under Industrial Settings
本研究推出含60个类别的定制制造数据集Data-Link,用于构建工业机器人操作场景的高保真数字孪生,通过域随机化结合迁移学习训练6D姿态估计模型,以姿态精度和MAE量化模型到现实的迁移效果。
2023-06-09 cs.RO
Neural Fidelity Calibration for Informative Sim-to-Real Adaptation
Luddy School of Informatics, Computing, and Engineering at Indiana University(印第安纳大学卢迪信息学、计算与工程学院)
本文提出神经保真度校准框架,利用条件扩散模型在线校准仿真器参数并推断残差保真度,结合异常场景微调、序列化训练和乐观探索,在多种机器人及雪地断轴等真实条件下实现鲁棒导航。
2025-04-11 cs.AI cs.LG cs.RO
Toward Sim-to-Real Directional Semantic Grasping
NVIDIA(英伟达);University of Southern California(南加州大学)
我们解决了方向性语义把握的问题,即从一个特定的方向把握一个特定的对象。我们通过双深度Q网络(DDQN)使用深度强化学习来解决这个问题,该网络学习将来自手腕安装的摄像头的下采样RGB输入图像映射到Q值,然后通过交叉熵方法(CEM)将其转换为笛卡尔机器人控制命令。该网络完全基于自定义机器人模拟器生成的模拟数据进行学习,该模拟器对物理现实(接触)和感知质量(高质量渲染)进行建模。使用域随机化来弥合现实差距。该系统是从多个预定义的以对象为中心的取向(诸如从侧面或顶部)端到端(将输入单目RGB图像映射到输出笛卡尔运动命令)抓取对象的示例。我们在模拟和现实世界中显示出有希望的结果,以及面临的一些挑战和未来在这一领域的研究的需要。
2020-08-18 cs.RO
RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer
Stanford University(斯坦福大学);Nvidia(英伟达);Microsoft Research(微软研究院)
RoboRender提出面向机器人的视频生成框架,利用仿真深度、语言和掩码生成逼真RGB视频,训练策略实现零样本现实部署,成功率大幅提升。
2026-10-08 cs.RO
Towards Automated Chicken Deboning via Learning-based Dynamically-Adaptive 6-DoF Multi-Material Cutting
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工学院研究所)
本文提出基于学习的动态自适应6自由度多材料切割方法,通过自适应轨迹和力反馈控制,实现鸡肩去骨,提升成功率和骨避开性能。
2026-03-27 cs.RO
Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
OpenAI;UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
弥合将模拟机器人技术与硬件实验分开的“现实差距”,可以通过提高数据可用性来加速机器人研究。本文探讨了域随机化,这是一种在模拟图像上训练模型的简单技术,通过在模拟器中随机渲染来转移到真实图像。在模拟器中有足够的可变性,真实世界对模型来说可能只是另一种变化。我们专注于目标定位的任务,这是一个垫脚石一般的机器人操作技能。我们发现,这是可能的训练一个真实世界的对象检测器,是准确的$1.5$厘米和强大的干扰和部分闭塞,只使用非现实的随机纹理模拟器的数据。为了证明我们的探测器的能力,我们展示了它们可以用来在杂乱的环境中执行抓取。据我们所知,这是第一次成功地将仅在模拟RGB图像上训练的深度神经网络(没有对真实图像进行预训练)转移到现实世界中,用于机器人控制。
2017-03-20 cs.LG cs.RO
Pose Estimation for Robot Manipulators via Keypoint Optimization and Sim-to-Real Transfer
University of California San Diego(加州大学圣地亚哥分校)
关键点检测是许多机器人应用(如运动捕获和姿态估计)的重要组成部分。历史上,使用独特设计的标记(例如棋盘或基准点)检测关键点。最近,已经探索了深度学习方法,因为它们能够以无标记的方式检测用户定义的关键点。然而,不同的手动选择的关键点在检测和定位方面可能具有不均匀的性能。这方面的一个例子可以在对称机器人工具上找到,其中DNN检测器无法正确解决对应问题。在这项工作中,我们提出了一种新的和自主的方式来定义关键点的位置,克服了这些挑战。该方法涉及寻找机器人操作器上的关键点的最佳集合,用于鲁棒的视觉检测和定位。使用机器人模拟器作为媒介,我们的算法利用合成数据进行DNN训练,所提出的算法用于通过迭代方法优化关键点的选择。结果表明,当使用优化的关键点时,DNN的检测性能显着提高。我们进一步将优化的关键点用于真实的机器人应用程序,通过使用域随机化来弥合模拟器和物理世界之间的现实差距。物理世界的实验表明,所提出的方法可以应用到广泛的机器人应用,需要视觉反馈,如摄像机到机器人校准,机器人工具跟踪,和末端执行器姿态估计。
2022-02-08 cs.CV cs.RO
Sim-to-Real Transfer with Incremental Environment Complexity for Reinforcement Learning of Depth-Based Robot Navigation
ENSTA Bretagne(布列塔尼国立高等先进技术学院);Flinders University(弗林德斯大学);ONERA - The French Aerospace Lab(法国航空航天实验室);Université Paris Saclay(巴黎萨克雷大学)
将基于学习的模型转移到现实世界仍然是无模型控制理论中最困难的问题之一。由于在真实机器人上数据汇集的成本以及深度强化学习算法的有限样本效率,模型通常在理论上提供无限数量数据的模拟器中训练。尽管提供了无限的试错运行,模拟和物理世界之间的现实差距带来的政策行为在实际操作中的保证。根据问题,可能需要昂贵的实际微调和/或复杂的域随机化策略来产生相关策略。本文提出了一种使用增量环境复杂性的软演员批评(SAC)训练策略,以大幅减少现实世界中额外训练的需求。解决的应用是基于深度的无地图导航,移动机器人应该达到一个给定的航路点在一个混乱的环境中,没有事先的地图信息。在模拟和真实环境中的实验结果,定量评估所提出的方法的效率,这表明了一个天真的策略的成功率高出两倍。
2020-04-30 cs.AI cs.RO
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University(清华大学)
如何尽可能有效和彻底地探索角落案例一直是深度强化学习(DeepRL)自动驾驶背景下的首要问题之一。与利用真实世界数据相比,使用模拟数据进行训练的成本和危险性更低,但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距,这可能是模拟器难以生成的新颖,异常和风险情况下表现不佳的原因。域随机化(DR)是一种方法,可以用很少或没有真实世界的数据来弥合这一差距。因此,在这项研究中,提出了一种对抗模型,以增强在模拟中训练的基于DeepRL的自动驾驶车辆,以逐渐出现更难的事件,以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
Sim2Sea: Sim-to-Real Policy Transfer for Maritime Vessel Navigation in Congested Waters
Institute of Automation, CAS(中国科学院自动化研究所);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院);Zhongguancun Academy(中关村学院);University College London(伦敦大学学院)
Sim2Sea通过GPU加速模拟器、双流时空策略和领域随机化方案,实现了拥挤水域中船舶自主导航的仿真到现实策略迁移。
2026-03-04 cs.AI cs.RO
ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills
Carnegie Mellon University(卡内基梅隆大学);NVIDIA
提出ASAP两阶段框架,通过训练delta动作模型补偿动力学不匹配并微调预训练策略,有效提升了人形机器人的敏捷全身技能并降低了跟踪误差。
2025-04-26 cs.AI cs.LG cs.RO
Unsupervised Feature Learning for Manipulation with Contrastive Domain Randomization
Technion(以色列理工学院);Cornell University(康奈尔大学)
机器人任务(诸如利用视觉输入的操纵)需要捕获场景的物理属性的图像特征,例如,物体的位置和形状。最近,有人建议从模拟的、自我监督的机器人交互中以无监督的方式学习这些特征;其想法是高级物理特性可以被现代物理模拟器很好地捕获,并且它们从视觉输入的表示可以很好地转移到现实世界。特别是,基于噪声对比估计的学习方法已经显示出有希望的结果。为了增强模拟到真实的转换,域随机化(DR)被建议用于学习对不相关的视觉属性(如纹理或照明)不变量的特征。然而,在这项工作中,我们表明,一个天真的应用DR无监督学习的基础上对比估计不促进不变性,损失函数最大化的功能之间的互信息和相关和不相关的视觉属性。我们提出了一个简单的修改对比度损失来解决这个问题,利用我们可以控制视觉属性的模拟随机化的事实。我们的方法学习的物理特征是更强大的视觉域的变化,因为我们证明使用刚性和非刚性对象。
2021-06-08 cs.AI cs.LG cs.RO
Robot Learning from Randomized Simulations: A Review
Technical University of Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe(本田欧洲研究所);University of Sydney(悉尼大学);NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Robotics at Google(谷歌机器人部门)
深度学习的兴起引起了机器人研究的范式转变,有利于需要大量数据的方法。不幸的是,在物理平台上生成这样的数据集是非常昂贵的。因此,最先进的方法在模拟中学习,其中数据生成快速且廉价,随后将知识转移到真实机器人(模拟到真实)。尽管变得越来越逼真,但所有的模拟器都是基于模型构建的,因此不可避免地不完美。这就提出了一个问题,即如何修改模拟器,以促进学习机器人控制策略,并克服模拟和现实之间的不匹配,通常称为“现实差距”。我们提供了一个全面的审查模拟到真实的研究机器人,专注于一种名为“域随机化”,这是一种方法,从随机模拟学习的技术。
2022-01-18 cs.LG cs.RO
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati(印度古瓦哈蒂印度理工学院);Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)(仿生机器人与人工智能实验室(BRAIL))
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题,提出基于强化学习并结合域随机化的自主控制流程,在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
Enabling Adaptive Agent Training in Open-Ended Simulators by Targeting Diversity
University of Southern California(南加州大学)
针对开放式模拟器中自适应智能体训练任务多样性不足的问题,提出进化方法DIVA,结合UED的灵活性与领域知识,显著优于基线,为半监督环境设计开辟新途径。
2024-11-07 cs.AI cs.LG cs.RO
A Study on the Use of Simulation in Synthesizing Path-Following Control Policies for Autonomous Ground Robots
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Massachusetts Institute of Technology(麻省理工学院)
研究使用仿真器为自主地面机器人建立路径跟随控制策略的有效性,提出基于数字孪生生成PID、MPC及两个NN控制策略,并通过随机微仿真测试排名验证仿真与现实结果的一致性。
2024-03-26 cs.RO
EAGERx: Graph-Based Framework for Sim2real Robot Learning
Delft University of Technology(代尔夫特理工大学)
本文提出统一软硬件流水线框架EAGERx,通过延迟仿真、域随机化和同步算法缩小仿真与现实差距,支持多仿真器和多机器人系统的策略学习与迁移。
2024-07-05 cs.LG cs.RO cs.SY
Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出一种结合 Gaussian Splatting 模拟器与 Liquid neural networks 的全栈模仿学习协议,实现了视觉四旋翼导航策略从单一模拟场景到真实世界的鲁棒迁移与泛化。
2024-10-16 cs.AI cs.CV cs.RO
OrchardBench: A Physically-Grounded, GPU-Parallel Apple-Orchard Simulation Benchmark for Agricultural Robotics
研究针对农业机器人水果采摘问题,提出基于物理的、GPU并行的OrchardBench模拟基准测试,通过随机L系统生长树木,定义任务和度量套件,报告基线结果,指出分析基线有提升空间,为新自主方法提供了机会。
2026-07-08 cs.CV cs.RO