DRAWER: Digital Reconstruction and Articulation With Environment Realism
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院);Cornell University(康奈尔大学)
DRAWER将静态室内场景视频转换为逼真且交互的数字环境,通过双场景表示重建几何细节并识别关节,支持游戏引擎和机器人仿真,实现实到仿真到实迁移。
2025-04-22 cs.CV cs.RO
Demonstrating Arena 5.0: A Photorealistic ROS2 Simulation Framework for Developing and Benchmarking Social Navigation
Technical University Berlin (TUB)(柏林工业大学);National University of Singapore (NUS)(新加坡国立大学);Technical University Munich (TUM)(慕尼黑工业大学)
本文介绍开源的 Arena 5.0 框架,该框架集成 NVIDIA Isaac Gym 实现 photorealistic 仿真,通过基准测试和用户研究验证其在社会导航开发与基准测试中较旧版本可用性、效率显著提升。
2026-10-09 cs.RO
RoboArmGS: High-Quality Robotic Arm Splatting via Bézier Curve Refinement
Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校)
RoboArmGS通过可学习的贝塞尔曲线精修URDF编排运动,实现高质量机器人手臂运动建模和渲染。
2026-01-30 cs.RO
Photorealistic Robotic Simulation using Unreal Engine 5 for Agricultural Applications
North Carolina State University(北卡罗来纳州立大学)
本文提出基于虚幻引擎5的农业机器人仿真环境,利用实时渲染生成逼真植物图像,并验证其渲染精度及与ROS集成的位置精度,多机器人实验中平均误差仅0.021毫米。
2024-05-28 cs.RO
Development and Adaptation of Robotic Vision in the Real-World: the Challenge of Door Detection
针对真实世界中机器人视觉的门检测挑战,提出利用照片级真实感模拟合成机器人视角数据集训练深度模型,并适配目标域,实验验证了方法的有效性。
2025-10-17 cs.RO
A Photorealistic Dataset and Vision-Based Algorithm for Anomaly Detection During Proximity Operations in Lunar Orbit
Space and Terrestrial Autonomous Robotic Systems (STARS) Laboratory at the University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究所(UTIAS)空间与地面自主机器人系统实验室);Toronto Robotics and AI Laboratory (TRAIL) at the University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究所(UTIAS)多伦多机器人与人工智能实验室);MDA Space Inc.(MDA航天公司)
本文提出MRAD算法,通过月球轨道合成数据集ALLO实现空间域异常检测,展现算法在像素和图像层面的高检测性能,推动空间操作中鲁棒的异常检测方法发展。
2026-03-13 cs.RO
MATTERIX: toward a digital twin for robotics-assisted chemistry laboratory automation
University of Toronto(多伦多大学);Acceleration Consortium(加速联盟);Vector Institute(向量研究所);University of Liverpool(利物浦大学);University of Salento(萨勒诺大学);NVIDIA Canadian Institute for Advanced Research(NVIDIA加拿大高级研究机构);Georgia Institute of Technology(佐治亚理工学院)
MATTERIX通过多尺度仿真和模块化引擎,实现机器人辅助化学实验室的数字孪生,加速工作流程开发并减少现实实验依赖。
2026-01-19 cs.RO
AgriGen: Large-Scale Scene Generation Framework for Photorealistic Agricultural Robotics Simulation
Georgia Tech-CNRS IRL2958(佐治亚理工学院-CNRS IRL2958);Notre Dame University(圣母大学)
提出AgriGen框架,基于Isaac Sim和ROS,程序化生成大规模逼真农业环境,支持行栽作物、果园和葡萄园,以解决农业机器人数据获取难、评估受限的问题。
2026-09-23 cs.GR cs.RO
Re$^3$Sim: Generating High-Fidelity Simulation Data via 3D-Photorealistic Real-to-Sim for Robotic Manipulation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
针对机器人真实数据收集难题,提出RE$^3$Sim系统,运用3D重建和神经渲染技术重现真实场景,利用特权信息收集专家演示并训练策略,验证管道有效性,仅用模拟数据实现零样本转移,还生成大规模数据集。
2026-07-13 cs.RO
Visual-Based Forklift Learning System Enabling Zero-Shot Sim2Real Without Real-World Data
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本文提出一种基于视觉的深度强化学习叉车学习系统,在 CAD 数字化环境中训练并在 1/14 比例机器人叉车上验证,无需真实数据即实现零样本 Sim2Real,真实托盘装载任务成功率达 60%。
2025-05-06 cs.RO
NeRF-Aug: Data Augmentation for Robotics with Neural Radiance Fields
Department of Computer Science(计算机科学系);University of Maryland College Park(马里兰大学 College Park 分校)
提出NeRF-Aug方法,利用神经辐射场进行数据增强,使机器人策略能泛化至未知物体,比现有方法快63%且平均性能提升55.6%。
2025-09-14 cs.CV cs.LG cs.RO
Grounding Sim-to-Real Generalization in Robotic Manipulation: An Empirical Study with Vision-Language-Action Models
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Loop Area Institute(深圳河套学院)
本文通过四个维度探讨仿真到现实泛化的决定因素,提出评估协议并释放资源以建立标准化基准,提升机器人操作策略的泛化能力。
2026-06-29 cs.AI cs.RO
A Synthetic Dataset for Manometry Recognition in Robotic Applications
University of São Paulo(圣保罗大学)
本文提出了一种混合数据合成方法,通过结合过程渲染和AI驱动视频生成,提升机器人应用中测压识别的训练效果和可靠性。
2025-10-11 cs.AI cs.CV cs.LG
SCOPE: Semantic Conditioning for Sim2Real Category-Level Object Pose Estimation in Robotics
Vision for Robotics Laboratory, Automation and Control Institute, TU Wien(机器人视觉实验室,自动化与控制研究所,维也纳技术大学)
针对开放环境下机器人物体位姿估计的泛化难题,提出基于扩散模型的SCOPE方法,以DINOv2特征为连续语义先验缩小Sim2Real差距,在类别级位姿估计上实现31.9%的相对提升,未知类别物体抓取成功率最高达100%。
2025-09-29 cs.CV cs.RO
UnrealROX: An eXtremely Photorealistic Virtual Reality Environment for Robotics Simulations and Synthetic Data Generation
University of Alicante(阿利坎特大学)
在机器人视觉问题中,数据驱动算法几乎在各个方面都超过了传统技术。这些算法需要大量的高质量数据才能在训练过程后正常工作。在现实世界中收集和注释如此大量的数据是一项耗时且容易出错的任务。这些问题限制了规模和质量。合成数据生成已经变得越来越流行,因为它生成更快并且自动注释。然而,当前的大多数数据集和环境缺乏真实感、交互性和来自真实世界的细节。UnrealROX是一个建立在虚幻引擎4之上的环境,旨在通过利用机器人代理探索的超现实室内场景来减少现实差距,机器人代理还在模拟世界中以视觉上逼真的方式与对象进行交互。照片级真实感场景和机器人由虚幻引擎渲染到虚拟现实头戴设备中,头戴设备可捕获视线,以便操作人员可以移动机器人并使用机器人手的控制器;场景信息按帧转储,以便可以离线再现,以生成原始数据和地面实况注释。这种虚拟现实环境使机器人视觉研究人员能够为各种各样的问题生成逼真的和视觉上合理的数据,如类和实例语义分割,目标检测,深度估计,视觉抓取和导航。
2019-11-08 cs.CV cs.MM cs.RO
ALDM-Grasping: Diffusion-aided Zero-Shot Sim-to-Real Transfer for Robot Grasping
School of Computing, University of Georgia(佐治亚大学计算学院)
提出基于扩散模型的ALDM框架,通过增强仿真环境实现机器人抓取的零样本仿真到现实迁移,在简单和复杂场景下分别达到75%和65%的成功率。
2024-03-18 cs.RO
Real World Robotic Exploration using Deep Neural Networks Trained in Photorealistic Reconstructed Environments
Isaac Ronald Ward(独立研究者)
本研究改进了基于RGB图像的深度神经网络机器人位姿估计方法,通过扩展损失函数结合位置与旋转误差提升对感知混淆的鲁棒性,并利用摄影测量数据生成数据集训练模型,在TurtleBot上实时验证了完整的真实世界室内导航流程。
2025-09-12 cs.AI cs.RO
OpenUAV Cloud Testbed: a Collaborative Design Studio for Field Robotics
School of Earth and Space Exploration(地球与空间探索学院);Vanderbilt University(范德堡大学)
仿真在机器人研究和教育中起着至关重要的作用。本文介绍了OpenUAV测试平台,这是一个开源、易于使用、基于Web且可复制的软件系统,使学生和研究人员能够在云上运行机器人模拟。我们已经建立在我们以前的工作,并解决了一些与以前的工作相关的教育和研究挑战。本文对机器人和自动化社区的关键贡献有三个方面:首先,OpenUAV通过提供基于Web浏览器的Linux桌面会话,以及Gazebo,ROS和飞行自治堆栈等标准机器人软件,为学生和研究人员节省了繁琐和复杂的软件设置。第二,一种保存个人研究工作及其依赖性的方法,以供工作未来的再现性。第三,该平台提供了一种机制,通过结合基于Unity游戏引擎的相机渲染和Gazebo物理来支持逼真的机器人模拟。本文讨论了真实感模拟的研究需求,并描述了一种方法,用于创建一个真实感水生模拟。我们还介绍了该平台的各种学术和研究用例,以改善机器人教育和研究,特别是在像COVID-19大流行这样的时期,虚拟协作是必要的。
2021-05-06 cs.DC cs.RO cs.SE
A High-Fidelity Digital Twin for Robotic Manipulation Based on 3D Gaussian Splatting
Department of Computer Science, University College London(计算机科学系,伦敦大学学院)
本文提出基于3D高斯点云的高保真数字孪生框架,通过语义融合和高效几何转换方法,实现快速、可靠的机器人操作
2026-01-06 cs.RO
FlightGoggles: A Modular Framework for Photorealistic Camera, Exteroceptive Sensor, and Dynamics Simulation
Massachusetts Institute of Technology(麻省理工学院)
FlightGoggles是一款用于感知驱动机器人车辆的真实感传感器模拟器。FlightGoggles的主要贡献是双重的。首先,FlightGoggles使用摄影测量生成的图形资产提供照片级逼真的外感受传感器模拟。第二,它提供了将(i)实时的计算机生成的合成外感受测量与(ii)运动捕获设施中的车辆在运动中生成的车辆动力学和本体感受测量相结合的能力。FlightGoggles能够模拟自动驾驶车辆周围的虚拟现实环境。当飞行器在FlightGoggles虚拟现实环境中飞行时,外感受传感器以实时的进行综合呈现,而所有复杂的外动力学通过飞行器的自然交互有机地产生。FlightGoggles框架使研究人员能够避免估计复杂且难以建模的相互作用(例如空气动力学、电机力学、电池电化学和其他代理的行为),从而加速开发。利用真实感外感受传感器模拟进行车辆在环实验的能力促进了新的研究方向,例如,在障碍物丰富的环境中快速敏捷的自主飞行、安全的人机交互和灵活的传感器选择。FlightGoggles已被用作选择九支队伍的主要测试,这些队伍将在AlphaPilot自动无人机竞赛挑战赛中晋级。我们调查了顶级AlphaPilot团队的方法和结果,这些方法和结果可能具有独立的兴趣。
2021-05-28 cs.RO
Extrapolated Urban View Synthesis Benchmark
NYU(纽约大学);NVIDIA(英伟达);UPenn(宾夕法尼亚大学);USC(南加州大学);Stanford(斯坦福大学)
本文构建首个外推城市视图合成EUVS基准,评估多种SOTA NVS方法,揭示其在大视角变化下易过拟合且现有先验与几何改进有限的问题。
2025-03-12 cs.AI cs.CV cs.LG
GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data
本文提出GraspVLA,通过构建十亿帧合成抓取数据集SynGrasp-1B,完全基于大规模合成动作数据预训练视觉-语言-动作模型,实现抓取任务的零样本泛化和少样本适应。
2025-08-27 cs.RO
Learning Actionable Manipulation Recovery via Counterfactual Failure Synthesis
Texas A&M University(德克萨斯A&M大学);University of Minnesota(明尼苏达大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Abaka AI(Abaka人工智能);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出Dream2Fix框架,通过生成反事实失败场景数据提升机器人故障恢复能力,实现高精度的故障诊断与轨迹修正。
2026-03-13 cs.CV cs.RO
Reducing Tactile Sim2Real Domain Gaps via Deep Texture Generation Networks
University of Liverpool(利物浦大学)
最近已经开发了用于光学触觉传感器的模拟方法,以实现Sim2Real学习,即,首先在仿真中训练模型,然后将它们部署到真实机器人上。然而,真实物体中的一些伪影是不可预测的,例如由制造过程引起的缺陷,或由自然磨损引起的划痕,因此无法在模拟中表示,导致模拟和真实触觉图像之间的显著差距。为了解决这个Sim2Real差距,我们提出了一种新的纹理生成网络,将模拟图像映射到逼真的触觉图像,类似于一个真正的传感器接触一个真正的不完美的对象。每个模拟触觉图像首先被划分为两种类型的区域:与对象接触的区域和不接触的区域。前者应用于从真实触觉图像中的真实纹理学习的生成纹理,而后者则保持传感器不与任何物体接触时的外观。这确保了伪影仅应用于传感器的变形区域。我们广泛的实验表明,所提出的纹理生成网络可以在传感器的变形区域上生成这些逼真的伪影,同时避免将纹理泄漏到非接触区域。定量实验进一步表明,当使用我们提出的网络生成的自适应图像进行Sim2Real分类任务时,由Sim2Real差距引起的准确率下降从38.43%降至仅0.81%。因此,这项工作有可能加速Sim2Real学习需要触觉感知的机器人任务。
2021-12-03 cs.RO
DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark
Carnegie Mellon University(卡内基梅隆大学)
本文提出DarkGS框架,通过神经光模拟器NeLiS建模相机-光源系统,构建可重光照的3D高斯场景模型,实现黑暗环境下机器人从新视角进行实时逼真渲染。
2024-09-02 cs.CV cs.RO
SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian Splatting
Carnegie Mellon University(卡内基梅隆大学)
针对RGB操作策略的Sim2Real域偏移难题,提出以高斯泼溅为渲染基元的SplatSim框架,生成高真实感合成数据,实现零样本真实部署,成功率达86.25%。
2024-10-07 cs.AI cs.CV cs.LG
GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation
Fraunhofer IPK(弗劳恩霍夫研究所)
研究针对新型物体抓取,提出GraspIT数据集。通过在Isaac Sim中对桌面场景进行物理滑动测试标注,经Real↔Sim循环反向投影到真实场景。贡献约31.6万个带注释RGBD帧集及开源工具,可用于桌面操作策略学习等。
2026-07-08 cs.CV cs.RO
Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs
UC Berkeley(加州大学伯克利分校)
针对仿真到现实迁移存在分布偏移、需大量人工调优的问题,提出COV-NeRF模型可从真实图提取物体组合新场景并生成多类监督数据,能快速缩小多感知模态下的仿真到现实差距。
2024-03-07 cs.CV cs.LG cs.RO
Fire as a Service: Augmenting Robot Simulators with Thermally and Visually Accurate Fire Dynamics
Department of Computer Science, Kiel University(基尔大学计算机科学系);Department of Computer Science, George Mason University(乔治·马歇尔大学计算机科学系)
本文提出Fire as a Service框架,通过高保真火灾模拟提升机器人仿真器的热力学和视觉准确性,支持生成真实火灾环境下的训练数据和热危害评估。
2026-07-16 cs.GR cs.RO
Detecting Olives with Synthetic or Real Data? Olive the Above
University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);University of Maryland(马里兰大学);Worcester Polytechnic Institute(伍斯特理工学院);Technical University of Crete(克里特理工大学)
针对橄榄检测中颜色多变、背景相似及人工标注成本高的问题,本文构建含合成与真实图像的数据集,利用自动标注的照片级三维橄榄树模型,证明混合数据可显著提升检测性能。
2023-08-16 cs.CV cs.RO
Synthetica: Large Scale Synthetic Data for Robot Perception
NVIDIA(英伟达);University of Toronto(多伦多大学)
本文提出Synthetica大规模合成数据生成方法,利用照片级光线追踪渲染270万张图像及随机化、增强技术训练实时检测transformer,在目标检测上达到SOTA且速度提升9倍。
2024-10-28 cs.CV cs.RO
CAP-Net: A Unified Network for 6D Pose and Size Estimation of Categorical Articulated Parts from a Single RGB-D Image
Fudan University(复旦大学);Huawei, Noah’s Ark Lab(华为诺亚实验室)
本文提出单阶段统一网络CAP-Net,结合RGB-D特征端到端估计类别级关节部件的6D位姿与尺寸,并构建最大RGB-D关节数据集RGBD-Art,显著超越现有方法且具备良好仿真到真实迁移能力。
2025-06-02 cs.CV cs.RO
CaRtGS: Computational Alignment for Real-Time Gaussian Splatting SLAM
Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学);WeRide Inc.(文远知行公司)
CaRtGS提出一种自适应计算对齐策略,通过增强优化迭代、解决长尾优化和改进稠密化,在实时高斯泼溅SLAM中以更少高斯基元实现高保真逼真场景重建。
2025-03-10 cs.CV cs.RO
GaussGym: An open-source real-to-sim framework for learning locomotion from pixels
UC Berkeley(伯克利大学);ETH Zurich(苏黎世联邦理工学院);Amazon FAR (Frontier AI & Robotics)(亚马逊前沿人工智能与机器人实验室)
GaussGym将3D高斯泼溅集成到IsaacGym等物理仿真器中,实现每秒超10万步的逼真渲染,提升仿真到现实机器人学习,并支持多种环境源,开源促进社区发展。
2025-10-17 cs.AI cs.GR cs.RO
ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking
Istituto Italiano di Tecnologia(意大利技术研究院)
6D物体姿态跟踪在机器人和计算机视觉领域得到了广泛的研究。最有前途的解决方案,利用深度神经网络和/或过滤和优化,在标准基准测试中表现出显着的性能。然而,据我们所知,这些还没有经过彻底的测试,对快速物体运动。这种情况下的跟踪性能会显著下降,特别是对于那些不能实现实时的【形】性能并引入不可忽略的延迟的方法。在这项工作中,我们介绍了ROFT,卡尔曼滤波方法的6D对象的姿态和速度跟踪从流的RGB-D图像。通过利用实时的【形】光流,ROFT将低帧速率卷积神经网络的延迟输出用于实例分割和具有RGB-D输入流的6D对象姿态估计,以实现快速和精确的6D对象姿态和速度跟踪。我们测试我们的方法上新引入的真实感数据集,快速YCB,其中包括快速移动的对象从YCB模型集,并在数据集上的对象和手部姿态估计HO-3D。结果表明,我们的方法优于最先进的方法,为6D对象姿态跟踪,同时还提供6D对象速度跟踪。作为补充材料,提供了一个显示实验的视频。
2021-11-06 cs.CV cs.RO
ObjSplat: Geometry-Aware Gaussian Surfels for Active Object Reconstruction
School of Optics and Photonics, Beijing Institute of Technology(光学与光子学学院,北京理工大学);School of Optoelectronic Engineering, Changchun University of Science and Technology(光电工程学院,长春理工大学)
提出ObjSplat框架,利用高斯面元统一表示,通过几何感知视点评估和下一最佳路径规划器,实现高效高保真的主动物体重建。
2026-06-09 cs.CV cs.RO
VizFlyt: Perception-centric Pedagogical Framework For Autonomous Aerial Robots
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出VizFlyt,一个面向空中机器人课程的开源、以感知为中心的硬件在环照片级真实感测试框架,利用外部定位位姿和3D Gaussian Splatting生成实时视觉传感器,实现超100Hz更新率,支持无风险测试自主算法,并验证了其有效性。
2025-04-01 cs.CV cs.RO
Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects
NVIDIA(英伟达);Univ. of Utah(犹他大学)
使用合成数据来训练机器人操作的深度神经网络有望获得几乎无限量的预标记训练数据,这些数据是安全生成的。迄今为止,合成数据的关键挑战之一是弥合所谓的现实差距,以便在合成数据上训练的网络在暴露于真实世界数据时正确运行。我们探索现实差距的背景下,已知的物体从一个单一的RGB图像的6自由度姿态估计。我们表明,对于这个问题的现实差距可以成功地跨越域随机化和逼真的数据的简单组合。使用以这种方式生成的合成数据,我们引入了一个一次性深度神经网络,该网络能够与在真实数据和合成数据的组合上训练的最先进的网络竞争。据我们所知,这是第一个仅在合成数据上训练的深度网络,能够在6-DoF对象姿态估计上实现最先进的性能。我们的网络还可以更好地推广到新的环境,包括极端的照明条件,我们显示了定性的结果。使用这个网络,我们展示了一个实时系统,估计对象的姿态,具有足够的准确性,为现实世界的语义掌握已知的家居对象在混乱的一个真正的机器人。
2018-09-27 cs.RO
Sparse 3D Perception for Rose Harvesting Robots: A Two-Stage Approach Bridging Simulation and Real-World Applications
School of Computer Engineering, Iran University of Science and Technology(伊朗科学技术大学计算机工程学院);George Mason University Department of Computer Science(乔治·梅奥大学计算机科学系)
针对玫瑰采摘机器人,提出两阶段稀疏3D感知流程,结合2D检测与轻量级深度估计,利用Blender合成数据弥合领域差距,实现高精度且高效的定位。
2025-07-28 cs.AI cs.CV cs.RO
Mask2Real-WM: Controllable Dexterous World Models via Segmentation Masks as a Sim-to-Real Bridge
Soft Robotic Lab, Department of Mechanical and Process Engineering ETH Zurich, Switzerland(苏黎世联邦理工学院机械与过程工程系软机器人实验室)
提出Mask2Real-WM,一种用于灵巧操纵的两阶段动作条件世界模型,将像素预测解耦为动力学和渲染模型,利用分割空间较小的模拟到现实差距,通过合成数据预训练和真实演示微调实现各自由度动作可控。
2026-10-06 cs.AI cs.CV cs.LG
SplArt: Articulation Estimation and Part-Level Reconstruction with 3D Gaussian Splatting
Toyota Technological Institute at Chicago(丰田技术研究所(芝加哥));Toyota Research Institute(丰田研究院)
针对现有关节物体重建方法的可扩展性、鲁棒性及渲染缺陷,提出自监督类别无关框架SplArt,基于3D高斯溅射结合可微分移动性参数与多阶段优化,仅需两组不同关节状态的带位姿RGB图像即可实现部件级重建与关节估计,性能达当前最优且具备实用价值。
2025-06-04 cs.CV cs.GR cs.LG
Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map
Ritsumeikan University(立命馆大学);Soka University(早稻田大学);Kyoto University(京都大学)
针对辅助机器人InstanceImageNav任务中多视角下物体实例难识别的问题,提出SimView方法,结合3D语义地图多视角图像与SimSiam自监督学习现场训练模型,在Habitat Matterport 3D上验证较CLIP准确率提升1.7倍。
2024-09-13 cs.RO
High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting
Wuhan University(武汉大学);DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);Hupan Lab(虎扑实验室);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学);Zhejiang University(浙江大学)
提出RoboSimGS这一Real2Sim2Real框架,结合3DGS与网格基元重建高保真物理交互场景,并利用MLLM推断物体属性与铰接结构,生成的模拟数据实现了零样本真实世界机器人操作并提升了SOTA性能。
2025-10-12 cs.RO
EgoDemoGen: Egocentric Demonstration Generation for Viewpoint Generalization in Robotic Manipulation
UCAS(中国科学院大学);CASIA(中国科学院自动化研究所);GigaAI(极佳科技);Tsinghua University(清华大学);X-Humanoid;FiveAges
本文提出EgoDemoGen框架,通过EgoTrajTransfer和EgoViewTransfer生成新型眼动视角下的观察-动作演示,提升机器人操作在视角变化下的成功率。
2026-03-30 cs.RO
Learning Surgical Robotic Manipulation with 3D Spatial Priors
University of Science and Technology of China(中国科学技术大学);Tuodao Medical(图道医疗);Yale University(耶鲁大学)
本文提出SST,一种端到端的视觉-运动策略,通过内窥镜图像中的3D空间线索提升手术机器人操作的3D空间意识,实现了复杂手术任务的高性能表现。
2026-03-04 cs.RO
Robot Learning from Any Images
University of Southern California(南加州大学);Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
RoLA框架将任意单张图像转化为交互式物理机器人环境,无需额外硬件,快速生成大量视觉运动演示,支持数据增强、互联网图像学习及真实到模拟到真实系统。
2025-10-08 cs.CV cs.LG cs.RO
Bio-Inspired Robotic Houbara: From Development to Field Deployment for Behavioral Studies
Khalifa University Center for Autonomous Robotic Systems (KUCARS)(哈利法大学自主机器人系统中心)
本研究研发了一款复刻雌性波斑鸨形态的仿生机器人平台,通过可复制制造流程、具身视觉感知实现野外稳定运行,经野外试验验证可引发鸨类自然反应,为动物-机器人交互等研究提供可迁移方案。
2025-10-06 cs.AI cs.RO
NVINS: Robust Visual Inertial Navigation Fused with NeRF-augmented Camera Pose Regressor and Uncertainty Quantification
Laboratory for Information and Decision Systems (LIDS), Massachusetts Institute of Technology(信息与决策系统实验室(LIDS),麻省理工学院)
针对NeRF渲染成本高、有伪影难用于实时机器人导航的问题,提出融合NeRF增强位姿回归与VIO的NVINS框架,量化不确定性以抗漂移,实验证明准确率优于传统VIO。
2024-08-19 cs.RO
NVIDIA Cosmos-H-Dreams: Real-Time Generative Physics Simulation for Surgical Robotics
该研究提出Cosmos-H-Dreams系统,结合生成模型与蒸馏技术实现实时外科机器人仿真,支持多控制器驱动,为外科教育等提供开放基础。
2026-08-28 cs.RO
ROS-X-Habitat: Bridging the ROS Ecosystem with Embodied AI
The University of British Columbia(不列颠哥伦比亚大学)
我们介绍了ROS-X-Habitat,这是一个软件接口,通过ROS将基于学习的代理的AI Habitat平台与其他机器人资源连接起来。这个接口不仅提供了标准化的通信协议之间的体现代理和模拟器,但也使物理和逼真的模拟,有利于培训和/或测试的视觉为基础的体现代理。有了这个界面,机器人专家可以在另一个基于ROS的模拟器中评估他们自己的Habitat RL代理,或者使用Habitat Sim v2作为他们自己的机器人算法的测试平台。通过计算机模拟实验,我们证明了ROS-X-Habitat对Habitat RGBD代理的导航性能和模拟速度的影响最小;一套标准的ROS映射,规划和导航工具可以在Habitat Sim v2中运行; Habitat代理可以在标准的ROS模拟器Gazebo中运行。
2022-04-29 cs.AI cs.CV cs.LG
Autonomous Embodied Agents: When Robotics Meets Deep Learning Reasoning
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本论文探讨了Embodied AI领域自主具身智能体的完整创建过程,涵盖从概念、模拟训练到真实部署,并详细分析了相关技术的实现方法与实验研究,以促进该领域的未来发展。
2025-05-02 cs.AI cs.CV cs.RO
In-Simulation Testing of Deep Learning Vision Models in Autonomous Robotic Manipulators
Polytechnique Montréal(蒙特利尔理工学院);Sycodal(赛科达尔)
针对机器人操纵器视觉模型测试难的问题,提出MARTENS框架,结合Isaac Sim仿真与进化搜索,发现更多故障并提升模型性能,在真实图像上mAP达0.91和0.82。
2024-11-09 cs.NE cs.RO
PointSLAM++: Robust Dense Neural Gaussian Point Cloud-based SLAM
PointSLAM++通过分层约束神经高斯表示和动态神经图实现高精度三维重建与逼真渲染,优于现有SLAM方法。
2026-01-10 cs.CV cs.GR cs.RO
Robotic Video World Models: A Survey of Applications, Research Challenges, Future Directions
Princeton University(普林斯顿大学);Temple University(Temple 大学)
本文综述了视频生成模型在机器人学中的应用、研究挑战及未来方向,探讨了其在物理模拟、动作预测和策略评估中的作用及面临的挑战。
2026-10-21 cs.CV cs.RO cs.SY