A data set of aerial imagery from robotics simulator for map-based localization systems benchmark
Institute of Data Science and Digital Technologies, Vilnius University（维尔纽斯大学数据科学与数字技术研究所）
目的：本文提出了一个新的数据集的航空图像从机器人模拟器（abbr。AIR）。AIR数据集旨在为定位系统开发提供起点，并成为基于地图的定位算法、视觉里程计和高空飞行SLAM精度比较的典型基准。设计/方法/办法：所呈现的数据集包含超过10万张从Gazebo机器人模拟器捕获的航空图像，使用正射影像地图作为地平面。在不同高度的城市和森林环境的地图上执行3种不同轨迹的飞行，飞行距离总计超过33公里。调查结果：对以往研究的回顾表明，所提出的数据集是目前最大的面向下的相机图像的公共数据集。创意/价值：针对高空（100- 3000 m）无人机飞行中缺少公开数据集的问题，提出了基于地图的无人机定位系统的研究现状，并通过实际试飞和自定义仿真数据集对算法的精度进行了评估。提出的新数据集解决了这个问题，旨在帮助研究人员改进和基准测试高空飞行的新算法。
2019-10-28 cs.RO
A Comparison of Humanoid Robot Simulators: A Quantitative Approach
Escola Politécnica de Pernambuco, Universidade de Pernambuco（伯南布哥大学伯南布哥理工学院）；Escuela de Ingeniería, Universidad Central de Chile（智利中央大学工程学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
人形机器人系统的研究涉及大量的计算资源，不仅涉及设计，而且其开发和随后的实施。对于在现实世界场景中实施的机器人系统，在几种情况下，最好在受控环境下开发和测试它们，以降低错误和意外行为的风险。在这方面，一个更容易获得和有效的替代方案是使用机器人模拟工具来实现环境。本文提出了一个定量比较的Gazebo，Webots和V-REP，三个模拟器广泛使用的研究界开发机器人系统。为了比较这三个模拟器的性能，使用CPU，内存占用和磁盘访问等元素来测量和比较它们。为了测量资源的使用，每个模拟器执行20次由NAO机器人组成的机器人场景，该机器人必须避开特定障碍物导航到目标位置。总的来说，我们的研究结果表明，Webots是资源使用率最低的模拟器，其次是V-REP，它比Gazebo更具优势，主要是因为CPU的使用。
2020-08-11 cs.RO
DAVE Aquatic Virtual Environment: Toward a General Underwater Robotics Simulator
Open Robotics（开放机器人组织）；Naval Postgraduate School（海军研究生院）
我们提出了DAVE水上虚拟环境（DAVE），一个开源的仿真堆栈的水下机器人，传感器和环境。传统的机器人模拟器没有被设计成解决伴随海洋环境而来的独特挑战，包括但不限于空间和时间变化的环境条件、受损或具有挑战性的感知以及在通常未探索的环境中数据的不可用性。考虑到传感器和平台的多样性，车轮通常会针对特定的用例进行重新设计，而这些用例不可避免地会抵制更广泛的采用。在现有模拟器的基础上，我们提供了一个框架，以帮助加快算法的开发和评估，否则这些算法需要在海上进行昂贵而耗时的操作。该框架包括基本构建块（例如，新的车辆，水跟踪多普勒速度记录仪，基于物理的多波束声纳）以及开发工具（例如，动态测深产卵，洋流），这使用户能够专注于方法，而不是软件基础设施。我们通过示例场景、测深数据导入、用于数据检查的用户界面和用于操作的运动规划以及可视化来演示使用。
2022-09-06 cs.RO
DiSECt: A Differentiable Simulation Engine for Autonomous Robotic Cutting
NVIDIA（英伟达）；University of Southern California（南加州大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Washington（华盛顿大学）；University of Sydney（悉尼大学）
软材料的机器人切割对于食品加工、家庭自动化和手术操作等应用至关重要。与机器人的其他领域一样，仿真器可以促进控制器验证、策略学习和数据集生成。此外，可微分仿真器可以实现基于梯度的优化，这对于校准仿真参数和优化控制器是非常宝贵的。在这项工作中，我们提出了DiSECt：第一个微分模拟器切割软材料。该模拟器增强了有限元法（FEM）与连续接触模型的基础上签署的距离场（SDF），以及一个连续的损伤模型，插入弹簧的切割平面的相对两侧，并允许他们削弱，直到零刚度，使裂纹形成。通过各种实验，我们评估的模拟器的性能。我们首先表明，模拟器可以进行校准，以匹配来自最先进的商业求解器和现实世界的切割数据集的合力和变形场，具有切割速度和对象实例的通用性。然后，我们表明，贝叶斯推理可以有效地利用模拟器的可微性，估计后验在一小部分的时间的衍生自由的方法超过数百个参数。最后，我们说明，在模拟中的控制参数可以优化，以尽量减少切削力通过横向切片运动。我们在项目网站https://diff-cutting-sim.github.io上发布视频和其他结果。
2021-05-25 cs.RO
OmniLRS: A Photorealistic Simulator for Lunar Robotics
University of Luxembourg（卢森堡大学）；Tohoku University（东北大学）
本文提出OmniLRS，一种基于Nvidia机器人模拟器的逼真月球模拟器，支持快速环境生成、多机器人和合成数据管道，实验证明其在岩石实例分割任务中有效实现sim-to-real迁移。
2023-09-16 cs.CV cs.RO
BayesSim: adaptive domain randomization via probabilistic inference for robotics simulators
NVIDIA（英伟达）；University of Sydney（悉尼大学）；University of Washington（华盛顿大学）
我们介绍BayesSim，机器人模拟的框架，允许一个完整的贝叶斯处理模拟器的参数。随着模拟器变得越来越复杂，能够更准确地表示动态，机器人技术中的基本问题，如运动规划和感知，可以在模拟和解决方案转移到物理机器人解决。然而，即使是最复杂的模拟器也可能仍然无法在所有细节中表示现实，这可能是由于动态模型中不准确的参数化或过于简单的假设。BayesSim提供了一个原则性的框架来推理模拟参数的不确定性。给定一个黑箱模拟器（或生成模型），输出的状态和动作对的轨迹从未知的仿真参数，其次是与物理机器人获得的轨迹，我们开发了一种无似然推理方法，计算后验分布的仿真参数。这个后验可以用于Sim2Real关键的问题，例如策略搜索。我们比较性能的BayesSim在获得准确的后验在一些经典的控制和机器人问题。结果表明，从BayesSim计算的后验可以用于域随机化优于基于均匀先验随机化的替代方法。
2019-06-04 cs.LG cs.RO
Roborobo! a Fast Robot Simulator for Swarm and Collective Robotics
UPMC（巴黎第六大学）；CNRS（法国国家科学研究中心）；NTNU（挪威科技大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
机器人是一个多平台，高度便携式，机器人模拟器的大规模集体机器人实验。机器人是用C++编写的，遵循KISS准则（“保持简单”）。因此，它的外部依赖性仅限于用于快速2D图形的广泛可用的SDL库。机器人基于Khepera/ePuck模型。它的目标是快速的单机器人和多机器人仿真，并已被用于十几个已发表的研究，主要涉及进化群体机器人，包括环境驱动的自适应和分布式进化优化，以及在线板载体现进化和体现形态发生。
2013-04-10 cs.AI cs.NE cs.RO
A Study on the Challenges of Using Robotics Simulators for Testing
Carnegie Mellon University（卡内基梅隆大学）
机器人仿真在机器人系统的设计、开发和验证中起着重要的作用。最近的研究表明，模拟可以作为一个更便宜，更安全，更可靠的替代手动，广泛使用，现场测试过程。这在持续集成管道的背景下尤其重要，其中集成的自动化测试是降低成本同时保持系统安全的关键。然而，模拟和自动化测试在实践中并没有达到其潜力所能激励的广泛采用程度。本文的目标是对开发人员在其过程中使用模拟的方式以及他们在这样做时面临的挑战有一个原则性的理解。这种类型的理解可以指导更有效的模拟器和测试技术的发展，为现代机器人的发展。为此，我们对来自不同背景的82名机器人开发人员进行了调查，以解决模拟技术在实践中的当前能力和局限性。我们发现85%的参与者使用模拟进行测试，并且许多参与者希望将模拟作为其测试自动化的一部分。我们确定了10个高层次的挑战，阻碍开发人员使用模拟手动和自动化测试，以及一般用途。这些挑战包括模拟和现实之间的差距，缺乏可重复性，以及与使用模拟器相关的相当大的资源成本。最后，我们概述了改进新的模拟器，可以帮助模拟达到其潜力的验证和确认的手段的发展途径。
2020-04-15 cs.RO cs.SE
Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics
ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于神经网络的机器人世界模型，通过双自回归机制和自监督训练实现鲁棒的长周期预测，从而提升机器人策略优化的效率和适应性。
2025-12-14 cs.AI cs.LG cs.RO
DiSECt: A Differentiable Simulator for Parameter Inference and Control in Robotic Cutting
University of Southern California（南加州大学）；NVIDIA（英伟达）；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Sydney（悉尼大学）
软材料的机器人切割对于食品加工、家庭自动化和手术操作等应用至关重要。与机器人的其他领域一样，仿真器可以促进控制器验证、策略学习和数据集生成。此外，可微分仿真器可以实现基于梯度的优化，这对于校准仿真参数和优化控制器是非常宝贵的。在这项工作中，我们提出了DiSECt：第一个微分模拟器切割软材料。该模拟器增强了有限元法（FEM）与连续接触模型的基础上签署的距离场（SDF），以及一个连续的损伤模型，插入弹簧的切割平面的相对两侧，并允许他们削弱，直到零刚度，使裂纹形成。通过各种实验，我们评估的模拟器的性能。我们首先表明，模拟器可以进行校准，以匹配来自最先进的商业求解器和现实世界的切割数据集的合力和变形场，具有切割速度和对象实例的通用性。然后，我们表明，贝叶斯推理可以有效地利用模拟器的可微性，估计后验在一小部分的时间的衍生自由的方法超过数百个参数。接下来，我们说明了在模拟中的控制参数可以优化，以尽量减少通过横向切片运动的切削力。最后，我们进行实验，一个真正的机器人手臂配备切片刀推断力的测量仿真参数。通过优化刀的切片运动，我们在水果切割场景中显示，与垂直切割运动相比，平均刀力可以减少40%以上。我们在项目网站https://diff-cutting-sim.github.io上发布代码和其他材料。
2022-03-19 cs.AI cs.RO
All You Need Is Low Fidelity: Zero-Shot Sim-to-Real of Learned Robotic Fish Control
Soft Robotics Lab, ETH Zurich（苏黎世联邦理工学院软体机器人实验室）；ETH AI Center, ETH Zurich（苏黎世联邦理工学院人工智能中心）
本文证明低保真无状态流体仿真器足以零样本训练软体机器鱼闭环控制器，无需调参即可迁移至硬件，实现目标到达、扰动抑制和分布外跟踪，并提出物理可驻留于控制器的观点。
2026-09-30 cs.RO
MEbots: Integrating a RISC-V Virtual Platform with a Robotic Simulator for Energy-aware Design
Dept. DAUIN, Politecnico di Torino（都灵理工学院DAUIN系）；IMEC
本文提出一个开源框架MEbots，集成Webots机器人模拟器与RISC-V虚拟平台MESSY，实现任务级能量感知协同仿真，支持设计配置与功耗管理策略探索。
2025-05-22 cs.RO cs.SY eess.SY
A User's Guide to Calibrating Robotics Simulators
Massachusetts Institute of Technology（麻省理工学院）；NVIDIA（英伟达）；University of Washington（华盛顿大学）；University of Sydney（悉尼大学）
模拟器是现代机器人研究的重要组成部分。感知和决策策略可以在部署到现实世界系统之前首先在模拟中进行研究，从而节省时间和成本。尽管在模拟到真实算法的开发方面取得了重大进展，但对不同方法的分析仍然是以一种特别的方式进行的，没有一套一致的测试和指标进行比较。本文填补了这一空白，并提出了一套基准和各种算法的研究框架，旨在将模拟中学到的模型和政策转移到现实世界中。我们在广泛的知名模拟环境中进行实验，以表征不同算法的性能并提供见解。我们的分析可以为从业者在这一领域的工作是有用的，可以帮助作出明智的选择的行为和主要属性的模拟到真实的算法。我们开源了基准测试、训练数据和训练模型，可以在https://github.com/NVlabs/sim-parameter-estimation上找到。
2020-11-17 cs.LG cs.RO
Unreal Robotics Lab: A High-Fidelity Robotics Simulator with Advanced Physics and Rendering
University College London（伦敦大学学院）
本文提出Unreal Robotics Lab框架，结合Unreal Engine渲染与MuJoCo物理模拟，实现高保真机器人仿真，支持复杂环境效果，用于测试视觉导航和SLAM方法的鲁棒性。
2026-04-07 cs.CV cs.GR cs.LG
Extending the OpenAI Gym for robotics: a toolkit for reinforcement learning using ROS and Gazebo
Erle Robotics
本文介绍了使用机器人操作系统（ROS）和Gazebo模拟器对OpenAI Gym进行机器人扩展。内容讨论的软件架构建议和使用两个强化学习技术：Q-学习和Sarsa获得的结果。最终，这项工作的输出提出了一个机器人基准测试系统，允许使用相同的虚拟条件比较不同的技术和算法。
2017-02-07 cs.RO
Hybrid Neural Network-Based Indoor Localisation System for Mobile Robots Using CSI Data in a Robotics Simulator
Computer Systems Department（计算机系统系）；Artificial Intelligence Department（人工智能系）
提出一种结合CNN与MLP的混合神经网络HyNN，利用Massive MIMO的CSI数据估计移动机器人2D位置，并与ROS及模拟器集成实现精确室内定位。
2025-11-03 cs.LG cs.RO
UGSim: Autonomous Buoyancy-Driven Underwater Glider Simulator with LQR Control Strategy and Recursive Guidance System
School of Engineering, Newcastle University（纽卡斯尔大学工程学院）；School of Naval Architecture and Maritime, Guangdong Ocean University（广东海洋大学船舶与海运学院）
本文提出UGSim水下滑翔机模拟器，结合LQR控制与递归制导，解决复杂水动力挑战，加速算法开发与评估。
2025-01-29 cs.RO cs.SE
Sim-to-Real for Robotic Tactile Sensing via Physics-Based Simulation and Learned Latent Projections
NVIDIA Corporation（英伟达公司）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
触觉感知对于机器人在视觉遮挡下抓取和操纵物体至关重要。然而，与机器人手臂和相机的模拟相比，触觉传感器的当前模拟具有有限的准确性、速度和实用性。在这项工作中，我们开发了一个有效的三维有限元法（FEM）模型的SynTouch BioTac传感器使用开放访问，基于GPU的机器人模拟器。我们的模拟在行业标准的基于CPU的模拟器中精确再现了实验验证模型的结果，但速度是75倍。然后，我们通过自我监督学习模拟BioTac变形和真实世界电气输出的潜在表示，以及使用小型监督数据集进行潜在空间之间的投影。使用这些学习到的潜在投影，我们准确地合成了真实世界的BioTac电输出，并估计了接触贴片，这两个都是看不见的接触相互作用。这项工作有助于一个有效的，可自由访问的有限元模型的BioTac，并包括第一次努力结合自我监督，跨模态传输，和仿真到现实迁移的触觉传感器。
2021-03-31 cs.RO
Effective Parameters, Real Behavior: Renormalization for Robotics -- From Infinite Electron Mass to Sim-to-Real Gap
University of Maryland, College Park（马里兰大学帕克分校）；Stanford University（斯坦福大学）；The Chinese University of Hong Kong（香港中文大学）
研究机器人技术中弥合模拟与现实差距的问题，提出基于重整化的方法，通过有效参数吸收模拟器遗漏细节以重现真实行为，经分析论证及实例展示该方法，并给出实用程序，为跨越模拟与现实差距提供补充路径。
2026-07-28 cs.RO hep-th
RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；MEGVII Technology（商汤科技）；Zhejiang University（浙江大学）
RoboGSim是一个基于3D高斯泼溅和物理引擎的机器人模拟器，通过真实到仿真到真实的流程，实现高保真数据合成与策略评估，在真实机器人上达到零样本性能，缩小仿真到真实差距。
2025-08-03 cs.CV cs.RO
Physically Accurate Rigid-Body Dynamics in Particle-Based Simulation
Department of Computer Science, University of Colorado Boulder（科罗拉多大学博尔德分校计算机科学系）
本文提出PBD-R方法，通过新的动量守恒约束和修改的速度假设，提升粒子模拟在机器人中的物理准确性，并引入无solver基准测试评估性能。
2026-04-14 cs.RO
Contact-Aware Neural Dynamics
UC San Diego（圣迭戈大学）；Amazon FAR (Frontier AI & Robotics)（亚马逊前沿人工智能与机器人实验室）
本文提出了一种基于接触信息的神经动力学模型，通过利用现实数据改进仿真到现实的对齐，提升状态预测和策略优化的准确性。
2026-01-19 cs.RO
Deep HMResNet Model for Human Activity-Aware Robotic Systems
LISSI Laboratory（LISSI实验室）；University of Paris-Est Créteil (UPEC)（巴黎东克雷泰伊大学（UPEC））
赋予机器人系统识别人类日常活动的认知能力是一个重要的挑战，这需要复杂和新颖的方法。大多数提出的方法探索模式识别技术，通常是基于手工制作的功能或学习功能。本文提出了一种新的分层多通道深度残差网络（HMResNet）模型，用于机器人系统识别周围环境中的日常人类活动。引入的模型是由多级融合层。所提出的多通道1D深度残差网络模型在特征级与瓶颈MLP神经网络相结合，以自动提取鲁棒特征，而不管硬件配置如何，并且在决策级与MLP神经网络完全连接，以识别日常人类活动。真实世界的数据集和在线演示的实证实验用于验证所提出的模型。实验结果表明，该模型在日常人体活动识别方面优于基线模型。
2018-10-01 cs.RO
RoboHanger: Learning Generalizable Robotic Hanger Insertion for Diverse Garments
CFCS, School of Computer Science, Peking University（计算机学院，北京大学）；Galbot；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出RoboHanger方法，将衣架插入任务分解为子任务并采用低维动作参数化，结合自建模拟器和144个合成衣物资产训练，利用单视图深度图像与物体掩码实现Sim2Real泛化，在真实世界对8种未见衣物达到75%成功率。
2025-07-04 cs.RO
SimGAN: Hybrid Simulator Identification for Domain Adaptation via Adversarial Reinforcement Learning
Google（谷歌）；Stanford University（斯坦福大学）；Everyday Robots（日常机器人公司）；X The Moonshot Factory（X登月工厂）；University of California, Berkeley（加州大学伯克利分校）
随着基于学习的方法朝着自动化机器人控制器设计的方向发展，将学习到的策略转移到具有不同动态的新域（例如，仿真到现实迁移）仍然需要人工努力。本文介绍了SimGAN，一个框架，以解决领域自适应通过识别一个混合物理模拟器，以匹配模拟轨迹的目标域，使用学习判别损失，以解决与手动损失设计的局限性。我们的混合模拟器结合了神经网络和传统的物理模拟，以平衡表现力和泛化能力，并强调了需要在系统ID中精心选择的参数集。一旦通过对抗性强化学习识别混合模拟器，它可以用于改进目标域的策略，而不需要交错数据汇集和策略改进。我们表明，我们的方法优于多个强基线的领域自适应六个机器人运动任务。
2021-05-31 cs.RO
Forward Collision Warning Systems: Validating Driving Simulator Results with Field Data
Morgan State University（摩根州立大学）
随着先进驾驶辅助系统（ADAS）的出现，在使用这种技术时越来越需要评估驾驶员行为。在这项独特的研究中，在驾驶模拟器环境中引入了一个使用互联车辆技术的前向碰撞警告（FCW）系统，以评估驾驶员的制动行为，然后使用现场测试数据对结果进行验证。本研究共招募了93名参与者，并创建了南巴尔的摩的虚拟网络。进行单样本t检验，发现FCW后速度平均降低15.07 mph，具有统计学显著性。随机森林、机器学习算法被认为是按重要性顺序对数据集中最重要的变量进行排序的最佳方法。从密歇根大学交通研究所（UMTRI）获得的现场数据，证实了FCW的调查结果，从这个驾驶模拟器的研究。
2021-12-17 cs.RO
Task-Relevant Feature-Dynamics Fidelity Enables Zero-Shot Sim-to-Real Transfer for Robotic Ultrasound Scanning
The Chinese University of Hong Kong（香港中文大学）；Great Bay University（大湾区大学）；Dongguan Great Bay Institute for Advanced Study（东莞大湾区先进研究院）；The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）
该研究提出任务相关特征动力学保真度（TR-FDF），开发面向TR-FDF的超声模拟器，实现仅仿真训练的机器人超声策略在体模实验中400次零样本部署成功390次，提升零样本仿真到真实迁移性能。
2026-09-01 cs.RO
A Preview of HoloOcean 2.0
Brigham Young University
HoloOcean 2.0 是海洋机器人模拟器的新版本，迁移至 UE5.3、采用 Fossen 动力学模型并支持 ROS2，同时开发高效声呐、语义传感器等新功能，以支持自主海洋机器人开发与验证。
2025-10-07 cs.RO
Towards Building AI-CPS with NVIDIA Isaac Sim: An Industrial Benchmark and Case Study for Robotics Manipulation
University of Alberta（阿尔伯塔大学）；The University of Tokyo（东京大学）；NVIDIA AI Tech Centre（英伟达人工智能技术中心）
本文提出基于NVIDIA Isaac Sim的机器人操作工业基准，涵盖八个任务和多个AI控制器，并开发兼容物理仿真器与OpenAI Gym的证伪框架，为AI赋能机器人系统的可靠设计与评估提供基础。
2023-07-31 cs.RO cs.SE
Bringing A Robot Simulator to the SCAMP Vision System
Bristol Robotics Laboratory（布里斯托尔机器人实验室）；University of Bristol（布里斯托尔大学）；University of Manchester（曼彻斯特大学）
这项工作开发和演示的SCAMP-5D视觉系统到CoppeliaSim机器人模拟器的集成，创建一个半模拟的环境。通过在模拟器中配置摄像头并通过远程API设置与SCAMP python主机的通信，可以将模拟器中的传感器图像传输到SCAMP视觉传感器，在那里可以执行CNN推理等传感器上的图像处理。SCAMP输出然后反馈到CoppeliaSim。该平台集成使机器人系统的SCAMP算法的快速原型验证成为可能。我们演示了一个汽车定位和跟踪任务，使用这个建议的半模拟平台，SCAMP上的CNN推理命令机器人的运动。我们在网上提供了这个平台。
2021-05-21 cs.RO cs.SY eess.SY
Pose Estimation for Robot Manipulators via Keypoint Optimization and Sim-to-Real Transfer
University of California San Diego（加州大学圣地亚哥分校）
关键点检测是许多机器人应用（如运动捕获和姿态估计）的重要组成部分。历史上，使用独特设计的标记（例如棋盘或基准点）检测关键点。最近，已经探索了深度学习方法，因为它们能够以无标记的方式检测用户定义的关键点。然而，不同的手动选择的关键点在检测和定位方面可能具有不均匀的性能。这方面的一个例子可以在对称机器人工具上找到，其中DNN检测器无法正确解决对应问题。在这项工作中，我们提出了一种新的和自主的方式来定义关键点的位置，克服了这些挑战。该方法涉及寻找机器人操作器上的关键点的最佳集合，用于鲁棒的视觉检测和定位。使用机器人模拟器作为媒介，我们的算法利用合成数据进行DNN训练，所提出的算法用于通过迭代方法优化关键点的选择。结果表明，当使用优化的关键点时，DNN的检测性能显着提高。我们进一步将优化的关键点用于真实的机器人应用程序，通过使用域随机化来弥合模拟器和物理世界之间的现实差距。物理世界的实验表明，所提出的方法可以应用到广泛的机器人应用，需要视觉反馈，如摄像机到机器人校准，机器人工具跟踪，和末端执行器姿态估计。
2022-02-08 cs.CV cs.RO
A High-Fidelity Robotic Manipulator Teleoperation Framework for Human-Centered Augmented Reality Evaluation
Worcester Polytechnic Institute（沃斯特理工学院）
ARBot是一种用于增强现实评估的高保真机器人机械臂远程操作框架，通过定制算法和安全控制器实现自然运动捕捉与回放，提供可控的AR评估数据集。
2026-02-06 cs.HC cs.RO
ChatGPT for Robotics: Design Principles and Model Abilities
Scaled Foundations（Scaled基金会）；Microsoft Autonomous Systems and Robotics Research（微软自主系统与机器人研究部）
本研究探索ChatGPT在机器人领域的应用，提出结合提示工程原则与高层函数库的适配策略，验证其在多类机器人任务中的有效性，并推出开源工具PromptCraft降低应用门槛。
2023-07-19 cs.AI cs.CL cs.HC
Real Garment Benchmark (RGBench): A Comprehensive Benchmark for Robotic Garment Manipulation featuring a High-Fidelity Scalable Simulator
针对机器人服装操作缺乏合适模拟工具的问题，提出包含6000+服装网格模型、高性能模拟器及评估协议的RGBench基准，其模拟器较现有工具误差降20%且速度快3倍，将公开以推动该领域研究。
2025-11-12 cs.RO
Sim-to-Real Transfer of Robotic Control with Dynamics Randomization
OpenAI
本文提出一种简单方法通过随机化仿真动力学来弥合现实与仿真的差距，使策略能适应不同动态，从而在无需真实系统训练的情况下实现现实世界泛化。
2018-03-03 cs.RO cs.SY eess.SY
An Real-Sim-Real (RSR) Loop Framework for Generalizable Robotic Policy Transfer
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Beijing Jiaotong University（北京交通大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出基于可微仿真的 Real-Sim-Real 闭环框架，通过信息丰富的代价函数采集真实数据并迭代校准仿真参数，从而显著缩小 sim-to-real 差距并提升机器人策略的泛化性。
2026-10-01 cs.LG cs.RO
Quantifying the Reality Gap in Robotic Manipulation Tasks
Queensland University of Technology (QUT)（昆士兰科技大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）；Australian Centre for Robotic Vision (ACRV)（澳大利亚机器人视觉中心）
我们量化了各种模拟器的准确性相比，现实世界的机器人达到和互动任务。模拟器在机器人技术中用于为现实世界的硬件设计解决方案，而无需物理访问。“现实差距”妨碍了在模拟中开发或学习的解决方案在转移到现实世界的硬件时表现良好，或根本无法表现。利用Kinova机器人机械手和运动捕捉系统，我们记录了地面实况，使各种模拟器的比较，并提出了各种面向操作的机器人任务的定量数据。我们展示了许多当代模拟器的相对优势和弱点，突出了显著差异的领域，并帮助该领域的研究人员为他们的用例选择合适的模拟器。所有代码和参数列表都可以从https://bitbucket.csiro.au/scm/~col549/quantifying-the-reality-gap-in-robotic-manipulation-tasks.git公开获得。
2018-11-08 cs.RO
Guiding Evolutionary Strategies by Differentiable Robot Simulators
Tinkoff
近年来，进化策略在机器人任务中被积极探索用于策略搜索，因为它们提供了强化学习算法的更简单的替代方案。然而，这类算法通常被认为是非常样本效率低下的。另一方面，人们对可微分机器人模拟器（DRS）的兴趣越来越大，因为它们可能只需要少数轨迹就可以找到成功的策略。但是，由此产生的梯度并不总是有用的一阶优化。在这项工作中，我们演示了如何DRS梯度可以与进化策略结合使用。初步结果表明，这种组合可以减少样本复杂性的进化策略的3倍-5倍，在模拟和现实世界。
2021-11-09 cs.AI cs.LG cs.NE
A Flexible MATLAB/Simulink Simulator for Robotic Floating-base Systems in Contact with the Ground
Istituto Italiano di Tecnologia（意大利技术研究院）
物理仿真器广泛应用于机器人领域，从机械设计到动态仿真和控制器设计。本文介绍了一个开放源代码的MATLAB/Simulink仿真器的刚体关节系统，包括机械手和浮基机器人。由于MATLAB/Simulink的功能，如MATLAB系统类和Simulink功能块，所提出的模拟器结合了编程和基于块的方法，从而在这个意义上，不同的部分，包括其物理引擎，机器人地面交互模型，状态演化算法是简单的访问和编辑的灵活设计。此外，通过使用Simulink动态掩模块，建议的仿真框架支持机器人模型集成开链和闭链运动学与任何所需数量的链接与地面相互作用。该模拟器还可以集成二阶执行器动态。此外，该模拟器还得益于单线安装和易于使用的Simulink界面。
2022-11-17 cs.RO
ROS-NetSim: A Framework for the Integration of Robotic and Network Simulators
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Tampere University（坦佩雷大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
多智能体系统在现代机器人技术中扮演着重要的角色。由于这些系统的性质，代理之间通过通信的协调是经常必要的。事实上，感知-动作-通信（PAC）回路，或在通信信道上闭合的感知-动作回路，是多机器人系统的关键组成部分。然而，我们缺乏适当的工具来模拟PAC循环。为此，在本文中，我们介绍了ROS-NetSim，一个ROS包，作为机器人和网络模拟器之间的接口。使用ROS-NetSim，我们可以通过精确模拟PAC循环来获得机器人和网络交互的高保真表示。我们提出的方法是轻量级的，模块化和自适应。此外，它可以使用许多可用的网络和物理模拟器，通过使用我们提出的接口。总而言之，ROS-NetSim（i）对ROS目标应用程序是透明的，（ii）对所使用的特定网络和物理模拟器是不可知的，（iii）在保真度和复杂性方面是可调的。作为我们贡献的一部分，我们向社区提供了ROS-NetSim的开源实现。
2021-01-25 cs.RO
CENIC: Convex Error-controlled Numerical Integration for Contact
针对现有误差控制积分器难以处理接触刚性动力学且无法满足现代机器人工作流程速度与可扩展性要求的问题，提出融合凸时间步长与误差控制积分最新进展的CENIC连续时间积分器，其运行速率与离散时间模拟器相当且能保证精度和收敛性。
2026-10-23 cs.CE cs.RO physics.comp-ph
Robotic Learning in your Backyard: A Neural Simulator from Open Source Components
University of Cambridge（剑桥大学）；University of Lincoln（林肯大学）；Wayve Technologies Ltd（Wayve科技有限公司）
本文提出开源神经模拟器 SplatGym，利用单段视频和 3D Gaussian Splatting 构建照片级真实环境，支持视觉生成、碰撞检测与对象补全，并验证可用于强化学习训练视觉导航策略。
2024-10-25 cs.RO
Learning Transferable Friction Models and LuGre Identification Via Physics-Informed Neural Networks
本文提出一种结合经典摩擦模型与可学习组件的物理信息摩擦估计框架，利用少量通用数据准确复现动态摩擦特性，并展示其在非完整系统中实现跨系统泛化的能力。
2026-03-18 cs.LG cs.RO cs.SY
Influence of Pointing on Learning to Count: A Neuro-Robotics Model
University of Plymouth（普利茅斯大学）
本文介绍了一种能够使用手势计数的神经机器人模型。手势学习计数的贡献进行了测试与各种模型和培训条件。本文介绍了两项研究。在第一，我们结合了不同形式的机器人的神经网络，在第二，它提出了一种新的训练过程。该模型使用iCub机器人模拟器的指向数据进行训练。该模型的行为与人类儿童的行为一致，表现取决于手势的产生。
2019-07-09 cs.CV cs.LG cs.RO
Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems
Rochester Institute of Technology（罗切斯特理工学院）；The University of South Florida（南佛罗里达大学）
在这篇文章中，我们提出了一个反向传播自由的方法，通过神经生成编码（NGC）的神经认知计算框架的机器人控制，设计一个代理完全从强大的预测编码/处理电路，促进动态，在线学习从稀疏的奖励，体现规划推理的原则。具体地说，我们制作了一个自适应代理系统，我们称之为主动预测编码（ActPC），它平衡了内部生成的认知信号（旨在鼓励智能探索）与内部生成的工具信号（旨在鼓励目标寻求行为），以最终学习如何使用现实机器人模拟器控制各种模拟机器人系统以及复杂的机器人手臂，即，超现实机器人套件，用于块升降任务，并可以拾取和放置问题。值得注意的是，我们的实验结果表明，我们提出的ActPC代理在面对稀疏（外在）奖励信号时表现良好，并且与几种强大的基于反向传播的RL方法竞争或优于它们。
2022-09-19 cs.LG cs.NE cs.RO
Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
针对直接 sim2real 迁移失败的问题，本文提出在仿真中学习探索性策略，并在低秩 MDP 下证明其可带来现实世界多项式样本复杂度与指数级改进，且通过机器人实验验证有效。
2024-10-26 cs.LG cs.RO stat.ML
Kilombo: a Kilobot simulator to enable effective research in swarm robotics
University of Amsterdam（阿姆斯特丹大学）；John Innes Centre（约翰·英纳斯中心）；Centre for Genomic Regulation (CRG)（基因组调控中心（CRG））；The Barcelona Institute of Science and Technology（巴塞罗那科学技术学院）；Universitat Pompeu Fabra (UPF)（庞培法布拉大学（UPF））；Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚研究与高等教育机构（ICREA））；Delft University of Technology（代尔夫特理工大学）；Åbo Akademi University（奥博学术大学）
Kilobot是一个广泛使用的群体机器人研究平台。物理Kilobots移动缓慢，需要频繁的重新校准和充电，这大大减缓了开发周期。模拟器可以加快测试、探索和假设生成的过程，但通常需要在模拟器和机器人之间进行耗时且容易出错的代码翻译。此外，不同性质的代码往往混淆直接比较，以及偏差的原因，模拟器和实际的机器人群体行为之间的确定。为了解决这些问题，我们开发了一个基于C的模拟器，允许那些与Kilobots一起工作的人在模拟器和物理机器人中使用相同的程序代码。使用我们的模拟器，创造Kilombo，显着简化和加快开发，考虑到1000个机器人的模拟可以以比台式计算机上的实时的速度快100倍的速度运行，使得高吞吐量的预筛选可能的潜在算法，可能导致所需的紧急行为。我们认为，这种策略，在这里专门为Kilobots开发的，是有效的机器人群研究的一般重要性。源代码在MIT许可证下免费提供。
2016-05-09 cs.RO
Affordable Mobile-based Simulator for Robotic Surgery
Digital Surgery Limited（数字手术有限公司）；University College London（伦敦大学学院）；Kasetsart University（泰国农业大学）
机器人手术和新型手术器械为更安全、更准确和一致的微创手术提供了巨大的潜力。然而，采用这些方法取决于能否获得培训设施和广泛的外科培训。与开放式或腹腔镜相比，机器人器械需要不同的灵巧技能。因此，外科医生需要投入大量时间参加广泛的培训计划。相反，由于用于培训目的的机器人系统的可用性有限，实际操作经验代表了医院的额外运营成本。外科医生和医院面临的所有这些技术和财政障碍都阻碍了机器人手术的采用。在本文中，我们提出了一个移动灵活性训练包，以发展基本的手术技术在一个负担得起的设置。该系统可用于训练基本的外科手术姿势，并开发操纵机器人器械所需的运动技能。我们的工作提出了架构和组件需要创建一个模拟环境的培训子任务，以及便携式移动机械手，可用作主控制器的不同仪器的设计。初步研究结果表明，该系统的可用性和技能的发展。
2018-07-20 cs.RO
A Flexible MATLAB/Simulink Simulator for Robotic Floating-base Systems in Contact with the Ground: Theoretical background and Implementation Details
Istituto Italiano di Tecnologia（意大利技术研究院）；Artificial and Mechanical Intelligence（人工与机械智能中心）
本研究提出一款开源MATLAB/Simulink刚体铰接系统物理仿真器，结合编程与模块式设计实现高可编辑性，支持多类机器人模型与执行器动力学，且安装使用便捷。
2024-05-13 cs.RO
Potato: A Data-Oriented Programming 3D Simulator for Large-Scale Heterogeneous Swarm Robotics
Beihang University（北京航空航天大学）；Delft University of Technology（代尔夫特理工大学）
针对现有群体机器人仿真平台无法兼顾真实动力学模型与大规模节点的问题，本文提出基于数据导向编程的3D模拟器Potato，结合多进程与GPU加速的PyTorch实现异构大规模仿真，在5000架以内四旋翼场景下计算速度稳定。
2023-08-24 cs.RO
An Approach to Deploy Interactive Robotic Simulators on the Web for HRI Experiments: Results in Social Robot Navigation
Yale University（耶鲁大学）；Rutgers University-Camden（罗格斯大学卡姆登分校）
由于其定性性质，社交机器人导航的评估本质上需要人工输入。出于对人类评估的需求，我们提出了一种在网络上部署交互式富客户端机器人模拟的通用方法。先前的方法实现特定的网络兼容的模拟器或提供工具来构建用于特定研究的模拟器。相反，我们的方法建立在标准的Linux工具上，与远程用户共享图形桌面。我们利用这些工具在Web上部署模拟器，这些模拟器通常局限于桌面计算环境。作为我们的方法的一个示例实现，我们介绍了SEAN实验平台（SEAN-EP）。通过SEAN-EP，远程用户可以在自主导航的社会环境中与移动机器人进行虚拟交互，而无需在计算机上安装任何软件或需要专门的硬件。我们通过在线调查验证了SEAN-EP可以快速扩展人类反馈的收集及其可用性。此外，我们还比较了使用SEAN-EP与机器人互动的参与者的反馈与通过更传统的视频调查获得的反馈。我们的研究结果表明，人类对机器人的看法可能会有所不同，这取决于他们是在模拟中与机器人互动，还是在视频中观察机器人。此外，他们认为，人们认为互动模拟调查比视频调查对精神的要求更低。
2021-08-16 cs.RO
Path Following Control System of Line-of-Sight Guidance for Robotic Dolphin with Multi-Link Mechanism in Underwater Simulator
Utsunomiya University（乌山大学）；Aichi Institute of Technology（爱知技术大学）
针对多连杆仿生自主水下航行器（BAUV），提出了一种基于视线导引的路径跟踪控制系统，并在水下模拟器中进行了参数确定和控制方法评估。
2026-05-25 cs.RO
It Takes Two to Tango: A Holistic Simulator for Joint Order Scheduling and Multi-Agent Path Finding in Robotic Warehouses
East China Normal University（东华大学）；Tongji University（同济大学）；Zhejiang Galaxis Technology Group Co.,Ltd（浙江伽利西科技集团有限公司）；Shenzhen Loop Area Institute (SLAI)（深圳环 area 研究院）
WareRover是一种综合模拟器，通过闭环优化接口紧密耦合订单调度与多智能体路径寻找，为机器人仓库的鲁棒协调提供挑战性测试环境。
2026-02-15 cs.RO
A Q-learning Control Method for a Soft Robotic Arm Utilizing Training Data from a Rough Simulator
University of Science and Technology of China（中国科学技术大学）
针对软体机器人强化学习样本效率低的问题，提出借助粗糙模拟器数据预训练的 Q-learning 控制器，并在 HPN 机械臂上验证其可减少真实数据、提升精度与收敛速度。
2021-09-13 cs.RO
