Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation
Syracuse University(苏利文大学);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Peking University(北京大学);Shanghai University(上海大学)
本文提出SSDF框架,通过自监督学习利用不完美示范数据提升机器人操作任务的性能。
2025-03-17 cs.AI cs.RO
Robotic Arm Manipulation to Perform Rock Skipping in Simulation
Massachusetts Institute of Technology (MIT)(麻省理工学院)
本项目在仿真环境中构建了由机械臂和动态环境组成的系统来执行打水漂任务,通过改变释放速度等参数探究最大化弹跳次数的关键因素,并提供了更严格的测试方法,同时指出抓取效率和轨迹问题限制了项目表现。
2023-10-23 cs.AI cs.RO
FOCUS: Object-Centric World Models for Robotics Manipulation
Ghent University(根特大学)
本文提出 FOCUS,一个学习对象中心世界模型的智能体,利用对象中心表示驱动的探索奖励提升机器人操作中的对象交互探索效率,并在仿真和 Franka Emika 机械臂上验证了其有效性。
2023-07-07 cs.AI cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控,实现安全稳健的机器人操作,提升性能与可靠性。
2026-03-05 cs.AI cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架,通过操作技能适应和技能专业化聚合,实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
ManiAgent: An Agentic Framework for General Robotic Manipulation
Beijing University of Technology(北京理工大学);Nanjing University(南京大学);University of Science and Technology of China(中国科学技术大学);Dexmal
ManiAgent提出多智能体协作框架,通过环境感知、子任务分解与动作生成,实现端到端机器人操作,在SimplerEnv和真实任务上分别达到86.8%和95.8%成功率。
2025-10-14 cs.AI cs.RO
ConceptTree: Bringing Semantic Transparency to Black-Box Decision Making for Robotic Manipulation
Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学)
研究长期机器人操作中可解释决策问题,提出ConceptTree框架,将高级技能选择重构为基于视觉观察的概念推理。该方法学习归一化概念空间并训练决策树,实验表明其优于现有基线,支持细粒度干预以纠正决策错误。
2026-07-21 cs.AI cs.RO
Robustness of Robotic Manipulation: Foundations and Frontiers
Duke University(杜克大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Organifarms
本文系统研究机器人操作鲁棒性,提出正式定义、概率与控制理论框架,并综述感知、规划、控制、策略学习和硬件中的鲁棒性机制及评估方法,展望实现人类级鲁棒性的未来方向。
2026-07-01 cs.AI cs.RO
Equivariant Descriptor Fields: SE(3)-Equivariant Energy-Based Models for End-to-End Visual Robotic Manipulation Learning
Yonsei University(延世大学);Samsung Research(三星研究院)
针对视觉机器人操作端到端学习样本效率低的问题,提出基于李群表示理论的SE(3)-等变能量基模型,仅需5~10次演示即可从零学习,且在新位姿、新实例、有干扰的任务中泛化性良好。
2023-02-27 cs.AI cs.RO
The Impact of Time Step Frequency on the Realism of Robotic Manipulation Simulation for Objects of Different Scales
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Michigan Technological University(密歇根理工大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本研究评估时间步频率和组件尺度对机器人操作仿真精度的影响,发现提高小尺度物体时间步频率可改善精度,并为机器人装配中的Sim2Real迁移改进提供起点。
2023-10-12 cs.AI cs.RO
RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation
Peking University(北京大学);Tsinghua University(清华大学);Lightwheel
本文提出RoboWM-Bench,用于评估视频世界模型在机器人操作中的执行能力,发现视觉合理性与实际执行性不一致,并分析了影响执行性能的因素。
2026-05-14 cs.AI cs.RO
RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学)
研究基于大语言模型的机器人操作中策略代码不可靠问题,设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性,通过实验识别四种不可靠行为及原因,还引入优化方法,可提高策略代码生成可靠性达35%。
2026-07-22 cs.AI cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
MEMOBench: A Process Level Memory Benchmark for Robotic Manipulation
Zhejiang University(浙江大学)
MEMOBench提出过程级内存基准,含30个任务和4,200个检查点,定义存储、更新、压缩率指标,发现现有VLA策略内存能力不足,并提供诊断与训练监督。
2026-09-09 cs.AI cs.RO
Value-Based Reinforcement Learning for Continuous Control Robotic Manipulation in Multi-Task Sparse Reward Settings
Brown University(布朗大学)
在高维稀疏奖励设置(如机器人操作)中学习连续控制是一个具有挑战性的问题,因为通常需要大量的样本来获得准确的最优值和策略估计。虽然许多深度强化学习方法旨在通过重放或改进的探索技术来提高样本效率,但是现有技术的演员-评论家和策略梯度方法仍然遭受稀疏奖励设置中的硬探索问题。受最近成功的基于值的方法近似状态-动作值,如RBF-DQN的启发,我们探索了基于值的强化学习在多任务稀疏奖励设置中学习连续机器人操作任务的潜力。在机器人操作任务中,我们的经验表明RBF-DQN比当前最先进的算法(如TD 3,SAC和PPO)收敛得更快。我们还使用RBF-DQN进行了消融研究,并表明一些用于香草深度Q学习的增强技术,如后见之明经验重放(HER)和优先经验重放(PER)也可以应用于RBF-DQN。我们的实验分析表明,基于值的方法可能是更敏感的数据增强和重放缓冲区采样技术比政策梯度方法,这些方法的机器人操作的好处是在很大程度上依赖于所产生的子目标状态的过渡动态。
2021-07-28 cs.AI cs.RO
Robust Visual Sim-to-Real Transfer for Robotic Manipulation
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文针对机器人操作中的视觉sim-to-real迁移问题,提出利用离线代理任务优化domain randomization参数,在仿真中训练视觉运动策略并直接迁移至真实机器人,在多样化任务上平均成功率达93%,优于使用有限真实数据训练的策略。
2023-07-28 cs.AI cs.CV cs.LG
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University(萨班哲大学)
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明,与一些方法,感知和规划的紧密结合提高了计划的质量,以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University(东北大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个深度的模仿学习框架,机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设,在环境中的关系信息建模可以显着提高泛化。为了实现这一点,我们建议(i)分解的多模态动力学元素的运动原语,(ii)参数化每个原语使用一个经常性的图神经网络捕捉相互作用,和(iii)集成一个高层次的计划,组成原语顺序和低层次的控制器,结合原始动力学和逆运动学控制。我们的模型是一个深层次的,模块化的架构。与基线相比,我们的模型更好地推广,并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
Attention-Guided Integration of CLIP and SAM for Precise Object Masking in Robotic Manipulation
National Institute of AIST(日本国立AIST研究所)
本文提出一种集成CLIP与SAM并利用梯度注意力机制和定制数据集的流水线,以提高便利店商品场景下机器人操作的物体掩码精度,实现更精确的自适应操作。
2025-02-28 cs.AI cs.CV cs.RO
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题,提出ManipDreamer3D框架,结合3D占据感知轨迹规划与轨迹到视频扩散模型,生成高质量可信机器人操作视频,减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation
NAVER LABS Europe(NAVER欧洲实验室);TU Darmstadt(达姆施塔特工业大学);EPITA Research Laboratory (LRE)(EPITA研究实验室);German Research Center for AI (DFKI)(德国人工智能研究中心);Center for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for Artificial Intelligence (Hessian.ai)(黑森州人工智能中心)
针对机器人操作技能学习需求,提出一种通过自动生成大量任务、结合非对称自博弈与乘法组合策略的无监督技能发现方法,可生成交互性更强的可组合技能,适配仿真与真实平台的未知操作任务。
2024-10-07 cs.AI cs.LG cs.RO
DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家重点实验室);National Engineering Research Center for Visual Information and Applications(视觉信息与应用国家工程研究中心);Institute of Artificial Intelligence and Robotics(人工智能与机器人研究院);Xi’an Jiaotong University(西安交通大学)
针对机器人操作策略泛化性不足的问题,提出DynaRend框架,通过可微体渲染的掩码重建与未来预测学习3D动力学三平面特征,在基准测试与真实实验中均提升了操作成功率与泛化性。
2025-10-28 cs.AI cs.CV cs.RO
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego(加利福尼亚大学圣迭戈分校);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);University of Maryland, College Park(马里兰大学帕克分校);Tsinghua University(清华大学)
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题,提出融合视觉与动作等动力学信息的MCR框架,在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation
MoE key Lab of Artificial Intelligence, AI Institute, SJTU(人工智能联合实验室、人工智能研究院、上海交通大学);HKU MMLab(香港大学多模态实验室);Shanghai AI Lab(上海人工智能实验室);D-Robotics(D-机器人);SZU(深圳大学);THU(清华大学);TeleAI;FDU(福建大学);USTC(中国科学技术大学);SUSTech(南方科技大学);SYSU(深圳大学);CSU(中国科学技术大学);NEU(南京大学);HKU-SH ICRC(香港大学深圳研究院);NJU(南京大学);Lumina EAI
RoboTwin 2.0 提出可扩展双臂操作数据生成框架,通过对象库、多模态语言模型与仿真闭环生成任务代码,并结合五维域随机化,显著提升策略的仿真到现实迁移鲁棒性。
2025-08-27 cs.AI cs.CL cs.CV
Gaze-Guided Task Decomposition for Imitation Learning in Robotic Manipulation
The University of Tokyo(东京大学);Graduate School of Information Science and Technology(信息科学与技术研究生院);Laboratory for Intelligent Systems and Informatics(智能系统与信息学实验室)
提出基于凝视转换的机器人操作任务分解方法,利用遥操作中的人类凝视替代智能体凝视,实现一致且稳健的子任务分割,支持技能重用与组合。
2025-02-27 cs.RO
Q-attention: Enabling Efficient Learning for Vision-based Robotic Manipulation
Dyson Robotics Lab, Imperial College London(戴森机器人实验室,帝国理工学院)
尽管强化学习方法取得了成功,但在应用于广泛的机器人操作任务时,它们还没有突破性的时刻。这在一定程度上是由于强化学习算法是众所周知的困难和耗时的训练,当从图像而不是全状态输入进行训练时,这种情况会加剧。当人类执行操作任务时,我们的眼睛会密切监视该过程的每一步,我们的目光依次聚焦在被操作的对象上。考虑到这一点,我们提出了我们的注意力驱动的机器人操作(ARM)算法,这是一个通用的操作算法,可以应用于一系列稀疏奖励的任务,只有少量的演示。ARM将复杂的操作任务分为3个阶段的流水线:(1)Q-attention代理从RGB和点云输入中提取相关像素位置,(2)下一个最佳姿势代理从Q-attention代理接受裁剪并输出姿势,以及(3)控制代理采取目标姿势并输出联合动作。我们表明,目前的学习算法失败的RLBench任务的范围,而ARM是成功的。
2022-02-04 cs.AI cs.CV cs.LG
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley(加州大学伯克利分校伯克利人工智能研究中心);Open AI(OpenAI)
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而,当与环境的交互时间有限时,无模型方法的性能很差,就像大多数真实世界的机器人任务一样。在本文中,我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先,软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次,我们证明了使用软Q学习学习的策略可以组合以创建新的策略,并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具,通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明,软Q学习比以前的无模型深度强化学习方法具有更高的样本效率,并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
Automatic Parameter Optimization Using Genetic Algorithm in Deep Reinforcement Learning for Robotic Manipulation Tasks
University of Nevada, Reno(内华达大学雷诺分校)
学习代理可以利用强化学习(RL)通过使用奖励函数来决定它们的动作。然而,学习算法中使用的超参数值的选择对学习过程有很大的影响。本文提出了一种基于深度确定性策略梯度(DDPG)和后见之明经验重放(HER)的方法,该方法利用遗传算法(GA)对超参数值进行微调。该方法(GA+DDPG+HER)在六个机器人操作任务上进行了实验:FetchReach; FetchSlide; FetchPush; FetchPickAndPlace; DoorOpening;和AuboReach。对这些结果的分析表明,性能显著提高,学习时间减少。此外,我们比较并提供证据,GA+DDPG+HER是优于现有的方法。
2022-11-02 cs.RO
Offload or Overload: A Platform Measurement Study of Mobile Robotic Manipulation Workloads
UC Berkeley(加州大学伯克利分校);Microsoft Corp(微软公司)
本文首次研究了移动机器人操控工作负载在车载、边缘和云GPU平台上的表现,发现小车载GPU无法运行完整工作栈,而大车载GPU会更快耗尽电池,卸载虽缓解约束但引入网络延迟和带宽问题,最终量化了机器人舰队共享计算的机会与风险。
2026-03-18 cs.AI cs.NI cs.RO
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington(华盛顿大学);NVIDIA(英伟达)
Transformers凭借其在大型数据集上的扩展能力,彻底改变了视觉和自然语言处理。但在机器人操作中,数据既有限又昂贵。在正确的问题表述下,Transformers还能使操纵受益吗?我们调查这个问题与PerAct,语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码,并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同,体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式,我们训练一个单一的多任务Transformer,用于18个RLBench任务(有249个变体)和7个现实世界的任务(有18个变体),每个任务只需几个演示。我们的研究结果表明,PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
Instruction-driven history-aware policies for robotic manipulations
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);IIIT Hyderabad(海得拉巴国际信息技术学院)
在人类环境中,机器人被期望完成各种简单的自然语言指令的操作任务。然而,机器人操作极具挑战性,因为它需要细粒度的运动控制、长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战,我们提出了一个统一的变压器为基础的方法,考虑到多个输入。特别是,我们的Transformer架构集成了(i)自然语言指令和(ii)多视图场景观察,同时(iii)跟踪观察和动作的完整历史。这样的方法使得能够学习历史和指令之间的依赖性,并且使用多个视图来提高操纵精度。我们评估我们的方法具有挑战性的RLBench基准和现实世界的机器人。值得注意的是,我们的方法可扩展到74个不同的RLBench任务,并优于最先进的。我们还解决了预防条件的任务,并表现出出色的泛化到以前看不见的变化。
2022-12-17 cs.AI cs.CL cs.CV
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Flow-based Domain Randomization for Learning and Sequencing Robotic Skills
Autodesk Research(奥多比研究)
本文提出基于归一化流的熵正则化域随机化方法,自动学习更灵活的环境采样分布,提升策略鲁棒性,并将其用于多步操作规划中的分布外检测。
2025-05-05 cs.AI cs.LG cs.RO
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati(印度古瓦哈蒂印度理工学院);Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)(仿生机器人与人工智能实验室(BRAIL))
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题,提出基于强化学习并结合域随机化的自主控制流程,在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
Unsupervised Feature Learning for Manipulation with Contrastive Domain Randomization
Technion(以色列理工学院);Cornell University(康奈尔大学)
机器人任务(诸如利用视觉输入的操纵)需要捕获场景的物理属性的图像特征,例如,物体的位置和形状。最近,有人建议从模拟的、自我监督的机器人交互中以无监督的方式学习这些特征;其想法是高级物理特性可以被现代物理模拟器很好地捕获,并且它们从视觉输入的表示可以很好地转移到现实世界。特别是,基于噪声对比估计的学习方法已经显示出有希望的结果。为了增强模拟到真实的转换,域随机化(DR)被建议用于学习对不相关的视觉属性(如纹理或照明)不变量的特征。然而,在这项工作中,我们表明,一个天真的应用DR无监督学习的基础上对比估计不促进不变性,损失函数最大化的功能之间的互信息和相关和不相关的视觉属性。我们提出了一个简单的修改对比度损失来解决这个问题,利用我们可以控制视觉属性的模拟随机化的事实。我们的方法学习的物理特征是更强大的视觉域的变化,因为我们证明使用刚性和非刚性对象。
2021-06-08 cs.AI cs.LG cs.RO
Impact of Static Friction on Sim2Real in Robotic Reinforcement Learning
Lenovo Research Shanghai(联想研究院上海分部)
针对机器人强化学习中静摩擦力导致的Sim2Real迁移难题,提出感知静摩擦力的域随机化方法及降低学习复杂度的方案,实验证明其优于传统方法和Actuator Net。
2025-03-03 cs.RO
BayesSim: adaptive domain randomization via probabilistic inference for robotics simulators
NVIDIA(英伟达);University of Sydney(悉尼大学);University of Washington(华盛顿大学)
我们介绍BayesSim,机器人模拟的框架,允许一个完整的贝叶斯处理模拟器的参数。随着模拟器变得越来越复杂,能够更准确地表示动态,机器人技术中的基本问题,如运动规划和感知,可以在模拟和解决方案转移到物理机器人解决。然而,即使是最复杂的模拟器也可能仍然无法在所有细节中表示现实,这可能是由于动态模型中不准确的参数化或过于简单的假设。BayesSim提供了一个原则性的框架来推理模拟参数的不确定性。给定一个黑箱模拟器(或生成模型),输出的状态和动作对的轨迹从未知的仿真参数,其次是与物理机器人获得的轨迹,我们开发了一种无似然推理方法,计算后验分布的仿真参数。这个后验可以用于Sim2Real关键的问题,例如策略搜索。我们比较性能的BayesSim在获得准确的后验在一些经典的控制和机器人问题。结果表明,从BayesSim计算的后验可以用于域随机化优于基于均匀先验随机化的替代方法。
2019-06-04 cs.LG cs.RO
Object Detection Using Sim2Real Domain Randomization for Robotic Applications
Eötvös Loránd Research Network(厄特沃什·罗兰研究网络);Institute for Computer Science and Control(计算机科学与控制研究所);Eötvös Loránd University(厄特沃什·罗兰大学);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Pavol Jozef Šafárik University(帕沃尔·约瑟夫·沙法里克大学)
在非结构化环境中工作的机器人必须能够感知和解释周围环境。机器人领域基于深度学习的模型的主要障碍之一是缺乏针对不同工业应用的特定领域标记数据。在这篇文章中,我们提出了一种基于域随机化的sim 2 real迁移学习方法用于目标检测,可以自动生成任意大小和对象类型的标记合成数据集。随后,训练最先进的卷积神经网络YOLOv 4来检测不同类型的工业对象。使用所提出的域随机化方法,我们可以将现实差距缩小到令人满意的水平,在zero-shot和one-shot传输的情况下,在包含190张真实图像的手动注释数据集上,分别实现86.32%和97.38%的mAP 50分数。我们的解决方案适合工业应用,因为在GeForce RTX 2080 Ti GPU上,每张图像的数据生成过程不到0.5秒,训练仅持续约12小时。此外,它可以通过仅访问一个真实图像进行训练来可靠地区分类似的对象类别。据我们所知,这是迄今为止唯一满足这些限制的工作。
2022-10-25 cs.CV cs.RO
Learning more with the same effort: how randomization improves the robustness of a robotic deep reinforcement learning agent
Institute for Research in Technology (IIT)(技术研究所(IIT));ICAI School of Engineering(ICAI工程学院);Comillas Pontifical University(康普利亚斯主教大学)
本文研究通过随机化合成经验增加多样性,以提升渐进式神经网络在sim-to-real中的鲁棒性,实验显示准确率平均提高约25%,并减少真实经验需求。
2025-01-24 cs.AI cs.RO
Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
OpenAI;UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
弥合将模拟机器人技术与硬件实验分开的“现实差距”,可以通过提高数据可用性来加速机器人研究。本文探讨了域随机化,这是一种在模拟图像上训练模型的简单技术,通过在模拟器中随机渲染来转移到真实图像。在模拟器中有足够的可变性,真实世界对模型来说可能只是另一种变化。我们专注于目标定位的任务,这是一个垫脚石一般的机器人操作技能。我们发现,这是可能的训练一个真实世界的对象检测器,是准确的$1.5$厘米和强大的干扰和部分闭塞,只使用非现实的随机纹理模拟器的数据。为了证明我们的探测器的能力,我们展示了它们可以用来在杂乱的环境中执行抓取。据我们所知,这是第一次成功地将仅在模拟RGB图像上训练的深度神经网络(没有对真实图像进行预训练)转移到现实世界中,用于机器人控制。
2017-03-20 cs.LG cs.RO
Active Task Randomization: Learning Robust Skills via Unsupervised Generation of Diverse and Feasible Tasks
NVIDIA(英伟达);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
本文提出主动任务随机化(ATR)方法,通过无监督生成并主动选择多样且可行的训练任务,学习鲁棒操作技能,并在单步与顺序操作任务中取得优于基线的成功率。
2023-04-18 cs.AI cs.CV cs.LG
MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对现有基于大语言模型的机器人操作方法存在长时任务幻觉、适应性有限等问题,提出多智能体LLM框架MALMM,通过专业智能体分工规划与代码生成并结合环境反馈,在9个RLBench任务上实现零样本操作,克服现有方法局限。
2025-08-25 cs.AI cs.RO
Hybrid Framework for Robotic Manipulation: Integrating Reinforcement Learning and Large Language Models
Jamia Millia Islamia(贾米亚米利亚伊斯兰大学);University of Brighton(布莱顿大学)
本文提出一种结合强化学习与大语言模型的混合框架,用于提升机器人操作任务。通过强化学习实现精确的低层控制,利用大语言模型进行高层任务规划和自然语言理解,有效连接低层执行与高层推理。实验显示任务完成时间减少33.5%,精度和适应性提升18.1%和36.4%。
2026-03-31 cs.AI cs.RO
Continual Domain Randomization
School of Computation Information and Technology, Technical University of Munich(技术大学慕尼黑计算信息与技术学院);Department of Computer Science, University of Innsbruck(因斯布鲁克大学计算机科学系);L3S Research Center, Leibniz Universität Hannover(汉诺威莱布尼茨大学L3S研究中心);Digital Science Center (DiSC), University of Innsbruck(因斯布鲁克大学数字科学中心)
本文提出持续领域随机化方法,结合领域随机化与持续学习,通过逐步随机化参数提升机器人抓取任务的仿真训练效果和现实性能。
2024-08-27 cs.RO
Safe Continual Domain Adaptation after Sim2Real Transfer of Reinforcement Learning Policies in Robotics
Technical University of Munich(慕尼黑工业大学);University of California, Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学);L3S Research Center, Leibniz Universität Hannover(莱布尼茨汉诺威大学L3S研究中心)
该研究结合安全强化学习与持续学习,使机器人策略在 sim2real 部署后能安全适应当前真实域分布和动力学,并避免灾难性遗忘。
2025-03-13 cs.AI cs.RO
Domain Randomization and Generative Models for Robotic Grasping
OpenAI(开放人工智能研究中心);UC Berkeley(加州大学伯克利分校);Weights and Biases, Inc(权重与偏差公司);Embodied Intelligence(具身智能公司);NVIDIA(英伟达)
由于算法的改进和数据可用性的提高,基于深度学习的机器人抓取技术取得了重大进展。然而,最先进的模型通常只在数百或数千个独特的对象实例上进行训练,因此泛化可能是一个挑战。在这项工作中,我们探索了一种新的数据生成管道,用于训练深度神经网络来执行抓取规划,该规划将域随机化的思想应用于对象合成。我们生成数百万个独特的、不切实际的程序生成对象,并训练一个深度神经网络来对这些对象执行抓取规划。由于一个给定的对象的成功把握的分布可以是高度多模态的,我们提出了一个自回归抓取规划模型,映射传感器输入的场景的概率分布在可能的把握。该模型允许我们在测试时有效地采样抓取(或完全避免采样)。我们评估我们的模型架构和数据生成管道在模拟和现实世界中。我们发现,我们可以实现一个$>$ 90%的成功率在以前看不见的现实物体在模拟测试时,尽管只有随机对象的训练。我们还证明了80%的成功率在现实世界的把握尝试,尽管只接受了随机模拟对象的训练。
2018-04-03 cs.LG cs.RO
Robot Collapse: Supply Chain Backdoor Attacks Against VLM-based Robotic Manipulation
City University of Hong Kong(香港城市大学);Huazhong University of Science and Technology(华中科技大学);Beihang University(北京航空航天大学);Griffith University(格里菲斯大学)
本文提出TrojanRobot框架,通过在模块化机器人策略中嵌入恶意模块,操控LLM到VLM路径,验证了在18个真实任务和4个VLM上的优越性。
2026-04-02 cs.AI cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology(皇家理工学院)
本文提出首个面向机器人操作的联邦学习基准FLAME,包含超16万条多环境专家演示及训练评估框架,通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Sim-to-Real Transfer of Robotic Control with Dynamics Randomization
OpenAI
本文提出一种简单方法通过随机化仿真动力学来弥合现实与仿真的差距,使策略能适应不同动态,从而在无需真实系统训练的情况下实现现实世界泛化。
2018-03-03 cs.RO cs.SY eess.SY
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Machine Learning for Robotic Manipulation
UCSD(加州大学圣地亚哥分校)
在过去的十年中,机器学习技术在监督学习范式中取得了巨大的成功,在这种范式中,训练和测试之间有着明确的界限。在监督学习范式中,学习本质上是被动的,寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后,机器学习研究人员已经超越了这种范式,并对更具动态性的任务感兴趣。对他们来说,机器人技术是一个很好的测试平台,因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中,机器人操作已经成为研究人员展示新算法的最受欢迎的领域,因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议,并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO