ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics(亚马逊机器人公司);Rutgers University(罗格斯大学)
本文介绍了Amazon Robotic Manipulation Benchmark(ARMBench),这是一个大规模的、以对象为中心的基准数据集,用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象,非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景,在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集,收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据,对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获,即,预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战,即1)在混乱中的对象分割,2)对象识别,和3)缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich(苏黎世联邦理工学院);Mimic Robotics(Mimic机器人公司);Microsoft Research(微软研究院)
MAPLE通过从第一人称视频中学习的先验知识,提升灵巧机器人操作任务的策略学习,有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Fast Visuomotor Policy for Robotic Manipulation
Fudan University(复旦大学);MEGVII Technology(MEGVII科技)
提出Energy Policy框架,通过能量分数和能量MLP实现单次前向传播预测多模态动作,在模拟和真实任务中匹配或超越最先进方法,并显著降低计算开销。
2025-10-14 cs.CV cs.RO
Robotic Programmer: Video Instructed Policy Code Generation for Robotic Manipulation
Institute of Computing Technology, Chinese Academy of Sciences (CAS)(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出机器人基础模型 RoboPro,通过 Video2Code 从野外视频合成可执行策略代码,实现视觉感知与自由指令驱动的零样本机器人操作,并在 RLBench 和真实环境中取得优于 GPT-4o 的性能。
2025-01-08 cs.CV cs.RO
Recognising Known Configurations of Garments For Dual-Arm Robotic Flattening
University of Glasgow(格拉斯哥大学)
机器人可变形物体的操纵是机器人工业中的一个挑战,因为可变形物体具有复杂和多样的物体状态。预测这些对象的状态和更新操作规划是耗时和计算昂贵的。在本文中,我们提出学习已知的服装配置,让机器人识别服装状态,并选择一个预先设计的服装平整的操作计划。
2022-06-17 cs.CV cs.RO
The utility of tactile force to autonomous learning of in-hand manipulation is task-dependent
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Southern California(南加利福尼亚大学)
触觉传感器提供可用于学习和执行操纵任务的信息。然而,不同的任务可能需要不同水平的感官信息,这反过来又可能影响学习率和表现。本文评估了触觉信息的作用,自主学习的操作与模拟3指肌腱驱动的手。我们比较了相同的学习算法(近端策略优化,PPO)学习两个操作任务(滚动一个球的水平轴与旋转刚度和没有)与三个级别的触觉感知:无感测,一维法向力,三维力矢量的能力。令人惊讶的是,与最近的操纵工作相反,与没有感知相比,添加1D力感知并不总是提高学习率-可能是由于正常力是否与任务相关。尽管如此,尽管3D力感测增加了感觉输入的维度--这通常会阻碍算法收敛--但它导致了更快的学习率和更好的性能。我们的结论是,在一般情况下,感官输入是有用的学习,只有当它是相关的任务-是3D力感测的情况下,手操纵重力。此外,3D力感测的效用甚至可以抵消使用更高维的感觉输入学习所增加的计算成本。
2020-02-05 cs.LG cs.RO
End-to-end Reinforcement Learning of Robotic Manipulation with Robust Keypoints Representation
A*STAR Institute of High Performance Computing (IHPC)(新加坡科技研究局高性能计算研究所);A*STAR Institute of Information Research (IR)(新加坡科技研究局信息研究所);National University of Singapore (NUS)(新加坡国立大学);Alibaba DAMO Academy(阿里巴巴达摩院)
我们提出了一个端到端的强化学习(RL)框架的机器人操作任务,使用一个强大的和有效的关键点表示。该方法通过自监督自动编码器架构从相机图像中学习关键点作为状态表示。关键点对几何信息以及工具和目标的关系进行编码,以紧凑的表示形式,以确保高效和鲁棒的学习。在关键点学习之后,RL步骤然后从所提取的关键点状态表示学习机器人运动。关键点和RL学习过程完全在模拟环境中完成。我们证明了所提出的方法对机器人操作任务,包括抓取和推,在不同的情况下的有效性。我们还研究了训练模型的泛化能力。除了鲁棒的关键点表示,我们进一步应用域随机化和对抗性训练样本,以实现真实世界机器人操作任务中的zero-shot仿真到现实迁移。
2022-02-12 cs.CV cs.RO
O$^3$Afford: One-Shot 3D Object-to-Object Affordance Grounding for Generalizable Robotic Manipulation
University of Virginia(弗吉尼亚大学)
提出一次性三维物体到物体可供性定位方法O$^3$Afford,结合视觉基础模型语义特征与点云几何表示,并集成大语言模型,显著提升机器人操作的准确性和泛化能力。
2025-09-07 cs.CV cs.RO
Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation
针对现实中机器人操作受遮挡和有限视野阻碍的问题,提出任务驱动的异步主动视觉-动作模型,串行连接相机NBV策略与 gripper NBP策略并以少样本强化学习训练,在RLBench的8个任务上持续优于基线,有效处理视觉约束。
2025-02-12 cs.CV cs.RO
KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation
Institute for Infocomm Research (IR), A*STAR(A*STAR资讯通信研究院(IR));Institute for High Performance Computing (IHPC), A*STAR(A*STAR高性能计算研究院(IHPC))
我们提出了KOVIS,一种新的学习为基础的,无标定的视觉伺服方法,精细的机器人操作任务与手眼立体摄像机系统。我们只在模拟环境中对深度神经网络进行训练,训练后的模型可以直接用于现实世界的视觉伺服任务。KOVIS由两个网络组成。第一个关键点网络使用自动编码器从图像中学习关键点表示。然后视觉伺服网络根据从摄像机图像中提取的关键点学习运动。这两个网络在模拟环境中通过自监督学习进行端到端的训练,而无需手动数据标记。在使用数据增强、域随机化和对抗性示例进行训练后,我们能够实现zero-shot仿真到现实迁移到现实世界的机器人操作任务。我们证明了所提出的方法的有效性,在模拟环境和现实世界的实验与不同的机器人操作任务,包括抓取,钉孔插入与4mm的间隙,和M13螺钉插入。演示视频可在http://youtu.be/gfBJBR2tDzA上获得
2020-07-28 cs.CV cs.RO
3D-MVP: 3D Multiview Pretraining for Robotic Manipulation
NVIDIA(英伟达);University of Michigan(密歇根大学);New York University(纽约大学)
针对现有机器人视觉预训练仅基于2D图像、缺乏3D场景理解的问题,提出3D-MVP方法,拆分RVT的视觉编码器并在3D数据集上用掩码自编码预训练,提升了虚拟操作任务性能与策略泛化性。
2025-03-24 cs.CV cs.RO
RoboGround: Robotic Manipulation with Grounded Vision-Language Priors
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出RoboGround系统,利用落地掩码作为中间表示结合大规模视觉-语言模型先验,指导机器人操作策略网络,并构建自动化数据生成流程,显著提升了策略的泛化能力。
2025-04-30 cs.CV cs.RO
Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset
UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
针对现实世界复杂性给机器人操作研究带来的挑战,本文提出具备密集视角覆盖、多特性物体的Robo360数据集,验证了其在动态NeRF、多视角策略学习中的效用,有望推动3D物理理解与机器人控制交叉研究。
2023-12-09 cs.CV cs.RO
RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机学院多媒体信息处理国家重点实验室);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);The University of Hong Kong(香港大学);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对MLLM在长时程机器人操作中缺乏规划、可供性感知和轨迹预测能力的问题,提出基于高质量数据集ShareRobot训练的RoboBrain模型,通过多阶段训练结合长视频与高分辨率图像,实现最先进性能。
2025-03-25 cs.CV cs.RO
Self-Supervised Learning of Multi-Object Keypoints for Robotic Manipulation
University of Freiburg(弗莱堡大学)
近年来,使用强化或模仿的策略学习方法取得了重大进展。然而,这两种技术仍然存在计算昂贵和需要大量训练数据的问题。这个问题在现实世界的机器人操作任务中尤其普遍,在这些任务中,无法访问地面实况场景特征,而是从原始相机观察中学习策略。在本文中,我们展示了通过密集对应借口任务学习图像关键点的有效性,用于下游策略学习。将先前的工作扩展到具有挑战性的多对象场景,我们表明我们的模型可以被训练来处理表示学习中的重要问题,主要是尺度不变性和遮挡。我们评估我们的方法在不同的机器人操作任务,比较它与其他视觉表示学习方法,并证明其灵活性和有效性的样本效率的策略学习。
2022-10-11 cs.CV cs.RO
ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Automation, Tsinghua University(清华大学自动化系);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出ManiGaussian动态高斯溅射方法,通过未来场景重建挖掘场景动态,在多任务机器人操作中平均成功率提升13.1%。
2024-07-18 cs.CV cs.RO
GLOVER++: Unleashing the Potential of Affordance Learning from Human Behaviors for Robotic Manipulation
HKUST (GZ)(香港科技大学)
该研究构建含50万图像的HOVA-500K可供性数据集与基准,并提出全局到局部的GLOVER++框架,实现人类演示知识向开放词汇推理和机器人操作任务的有效迁移。
2025-05-17 cs.CV cs.RO
Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation
National Yang Ming Chiao Tung University(阳明交通大学);Carnegie Mellon University(卡内基梅隆大学);Academia Sinica(中央研究院)
本文提出仿真到真实稠密物体网络SRDONs,通过物体到物体匹配方法将仿真与真实数据映射到统一特征空间,在零真实训练下显著提升机器人操作中未见物体和环境的性能。
2023-04-18 cs.CV cs.RO
Translating Videos to Commands for Robotic Manipulation with Deep Recurrent Neural Networks
Istituto Italiano di Tecnologia(意大利理工学院);The University of Manchester(曼彻斯特大学)
我们提出了一种使用深度循环神经网络(RNN)将视频转换为机器人操作命令的新方法。我们的框架首先使用深度卷积神经网络(CNN)从输入视频帧中提取深度特征。然后,使用具有编码器-解码器架构的两个RNN层来编码视觉特征,并顺序地生成输出单词作为命令。我们证明,通过允许两个RNN层之间的平滑事务并使用最先进的特征提取器,可以提高翻译精度。在我们新的具有挑战性的数据集上的实验结果表明,我们的方法比最近的方法有相当大的优势。此外,我们结合建议的翻译模块与视觉和规划系统,让机器人执行各种操作任务。最后,我们证明了我们的框架上的全尺寸的人形机器人步行人的有效性。
2017-10-01 cs.CV cs.RO
Image Generation as a Visual Planner for Robotic Manipulation
Southern China University of Technology(华南理工大学)
本文提出利用图像生成模型作为机器人视觉规划器,通过轻度微调实现时间连贯的机器人操作视频生成。
2025-11-29 cs.CV cs.RO
STORM: Search-Guided Generative World Models for Robotic Manipulation
Sun Yat-sen University(中山大学)
STORM通过结合生成模型与搜索算法,实现了机器人操作中的时空推理,显著提升了任务成功率和环境适应能力。
2025-12-20 cs.CV cs.RO
6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark
NVIDIA(英伟达)
我们提出了一个新的数据集6自由度姿态估计已知的对象,重点是机器人操作研究。我们提出了一套玩具杂货店的对象,其物理实例是随时可供购买,并适当大小的机器人抓取和操纵。我们提供了这些物体的3D扫描纹理模型,适用于生成合成训练数据,以及具有挑战性的,杂乱的场景中的物体的RGBD图像,这些场景表现出部分遮挡,极端光照变化,每个图像多个实例,以及各种姿势。使用半自动的RGBD到模型纹理对应,图像被注释为精确到几毫米内的地面真实姿势。我们还提出了一个新的姿态评估度量称为ADD-H匈牙利分配算法的基础上,是强大的对称性对象的几何形状,而不需要显式枚举。我们为所有玩具杂货店对象共享预训练的姿势估计器,以及它们在验证集和测试集上的基线性能。我们将此数据集提供给社区,以帮助将计算机视觉研究人员的努力与机器人专家的需求联系起来。
2022-12-15 cs.CV cs.RO
SEBVS: Synthetic Event-based Visual Servoing for Robot Navigation and Manipulation
Arizona State University(亚利桑那州立大学);Indian Institute of Information Technology(印度信息科技学院)
针对主流机器人模拟器中合成事件视觉探索不足的问题,提出开源ROS包SEBVS,可在Gazebo中从RGB相机生成事件流,用于训练事件驱动机器人策略并验证其在导航和操作任务中的竞争优势,推动事件相机在机器人策略学习中的应用。
2025-08-25 cs.CV cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题,本文提出H-RDT框架,通过两阶段训练利用人类操作数据增强双臂机器人操作能力,在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
Canonical mapping as a general-purpose object descriptor for robotic manipulation
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
感知是半结构化环境中机器人操作的重要组成部分。传统方法产生狭窄的特定于任务的预测(例如,对象的6D姿态),其不能适应于其他任务并且不适合于可变形对象。在本文中,我们建议使用规范映射作为一个近乎通用和灵活的对象描述符。我们证明了通用对象表示可以从单个预训练的规范映射模型中导出,而这些模型又可以使用自动数据生成和训练管道以最小的手动工作量生成。我们使用两个机器人手臂进行多阶段实验,展示了感知方法的鲁棒性以及它可以告知操作策略的方式,从而为通用机器人操作奠定了坚实的基础。
2023-03-02 cs.CV cs.LG cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology(皇家理工学院)
本文提出首个面向机器人操作的联邦学习基准FLAME,包含超16万条多环境专家演示及训练评估框架,通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University(萨班哲大学)
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明,与一些方法,感知和规划的紧密结合提高了计划的质量,以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Machine Learning for Robotic Manipulation
UCSD(加州大学圣地亚哥分校)
在过去的十年中,机器学习技术在监督学习范式中取得了巨大的成功,在这种范式中,训练和测试之间有着明确的界限。在监督学习范式中,学习本质上是被动的,寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后,机器学习研究人员已经超越了这种范式,并对更具动态性的任务感兴趣。对他们来说,机器人技术是一个很好的测试平台,因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中,机器人操作已经成为研究人员展示新算法的最受欢迎的领域,因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议,并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
Attention-Guided Integration of CLIP and SAM for Precise Object Masking in Robotic Manipulation
National Institute of AIST(日本国立AIST研究所)
本文提出一种集成CLIP与SAM并利用梯度注意力机制和定制数据集的流水线,以提高便利店商品场景下机器人操作的物体掩码精度,实现更精确的自适应操作。
2025-02-28 cs.AI cs.CV cs.RO
Research Challenges and Progress in Robotic Grasping and Manipulation Competitions
University of South Florida(南佛罗里达大学);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);German Aerospace Center (DLR)(德国航空航天中心);Worcester Polytechnic Institute (WPI)(伍斯特理工学院)
本文结合最新的机器人抓取与操作竞赛(RGMCs)讨论了机器人抓取与操作的研究进展。我们首先提供了一个概述过去的基准和竞争有关的机器人操作领域。然后,我们讨论了在RGMC中设计操作任务的方法。我们对每项任务的关键挑战进行了详细分析,并根据竞争团队近年来的表现确定了最困难的方面。我们相信,这样的分析是有见地的,以确定未来的研究方向的机器人操作域。
2021-12-09 cs.AI cs.RO
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题,提出ManipDreamer3D框架,结合3D占据感知轨迹规划与轨迹到视频扩散模型,生成高质量可信机器人操作视频,减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX,将双臂操作抽象为双向量对齐,并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹,硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Quantifying the Reality Gap in Robotic Manipulation Tasks
Queensland University of Technology (QUT)(昆士兰科技大学);Data61/CSIRO(Data61/联邦科学与工业研究组织);Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心)
我们量化了各种模拟器的准确性相比,现实世界的机器人达到和互动任务。模拟器在机器人技术中用于为现实世界的硬件设计解决方案,而无需物理访问。“现实差距”妨碍了在模拟中开发或学习的解决方案在转移到现实世界的硬件时表现良好,或根本无法表现。利用Kinova机器人机械手和运动捕捉系统,我们记录了地面实况,使各种模拟器的比较,并提出了各种面向操作的机器人任务的定量数据。我们展示了许多当代模拟器的相对优势和弱点,突出了显著差异的领域,并帮助该领域的研究人员为他们的用例选择合适的模拟器。所有代码和参数列表都可以从https://bitbucket.csiro.au/scm/~col549/quantifying-the-reality-gap-in-robotic-manipulation-tasks.git公开获得。
2018-11-08 cs.RO
Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer
University of Central Florida(中佛罗里达大学)
本文提出一种结合CycleVAE与人类行为Transformer的跨具身机器人操作合成方法,通过无监督跨具身对齐和人类示范动力学学习,在灵巧操作任务中生成平滑轨迹并优于先前方法。
2025-03-11 cs.RO
RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation
Hyperplane Lab, School of CS, Peking University(北京大学计算机学院超平面实验室);National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
本文提出RGBManip框架,利用夹爪上的单目相机进行主动多视角6D物体位姿估计,并通过强化学习平衡位姿精度与操作效率,在仿真和真实环境中取得先进性能。
2024-09-09 cs.RO
Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California Berkeley(加州大学伯克利分校);Dongguk University(东国大学);Tsinghua University(清华大学);University of California San Diego(加州大学圣迭戈分校)
本文提出受人类联觉启发的基于点云的触觉表示方法Robot Synesthesia,融合视觉与触觉输入以提升手内操作的强化学习和Sim2Real性能。
2024-07-31 cs.CV cs.LG cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University(清华大学)
在人们的日常对话中,指称语通常用于指称特定的对象。在本文中,我们开发了一个新的任务,视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式,并执行相应的操作。为了解决这个问题,提出了一个视听框架,用于视觉定位和声音识别。我们还建立了一个数据集,其中包含视觉数据,听觉数据和操作指令进行评估。最后,大量的实验进行了离线和在线,以验证所提出的视听框架的有效性。实验结果表明,机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
T-DOM: A Taxonomy for Robotic Manipulation of Deformable Objects
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出T-DOM分类体系,首次系统分类可变形物体操作中的机器人运动、力、抓持交互及物体变形,并通过十个任务验证其能识别以往分类体系无法区分的操作技能,为可变形物体机器人操作提供更细粒度的理论框架。
2024-12-30 cs.RO
Amodal 3D Reconstruction for Robotic Manipulation via Stability and Connectivity
University of Washington(华盛顿大学)
基于学习的3D对象重建使得能够对3D对象模型进行单次或Few-Shot估计。对于机器人来说,这有可能使基于模型的方法快速适应新的对象和场景。现有的3D重建技术优化视觉重建保真度,通常通过倒角距离或体素IOU测量。我们发现,当应用到现实的,杂乱的机器人环境中,这些系统产生重建与低物理现实主义,导致在基于模型的控制时,在较差的任务性能。我们提出了ARM,一个非模态3D重建系统,它引入了(1)对象形状的稳定性先验,(2)连通性先验,(3)多通道输入表示,允许对对象组之间的关系进行推理。通过使用这些先验的物体的物理属性,我们的系统不仅通过标准的视觉指标提高了重建质量,而且还提高了基于模型的控制在具有挑战性的,混乱的环境中的各种机器人操作任务的性能。代码可在github.com/wagnew3/ARM上获得。
2020-09-28 cs.CV cs.LG cs.RO
Robotic Dexterous Manipulation via Anisotropic Friction Modulation using Passive Rollers
Northeastern University(东北大学);RAI Institute(RAI研究所)
本文提出一种通过被动滚轮调节接触摩擦和约束方向的机器人指尖设计,实现了多样化的灵巧操作,包括滑动、旋转和多物体 manipulation,展示了低复杂度机械高效摩擦调节方法的优越性。
2026-03-29 cs.RO
HiMaCon: Discovering Hierarchical Manipulation Concepts from Unlabeled Multi-Modal Data
HKU Musketeers Foundation Institute of Data Science(香港大学数据科学学院);The University of Hong Kong(香港大学);DAMO Academy(达摩院);Alibaba Group(阿里巴巴集团)
HiMaCon提出一种自监督框架,利用跨模态相关性和多时间尺度预测从无标签数据中学习分层操作概念,无需人工标注即可提升机器人在复杂场景中的泛化性能。
2025-11-06 cs.RO
STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation
Ecole Centrale de Lyon, LIRIS(里尔森中央理工大学,LIRIS实验室)
提出STORM模块,通过多阶段训练策略将冻结的视觉基础模型与语义感知槽结合,生成面向对象的任务感知表示,提升机器人操作在视觉干扰下的泛化性和控制性能。
2026-06-26 cs.RO
Towards advanced robotic manipulation
Dublin City University(都柏林城市大学);Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);University College Dublin(都柏林大学学院)
近年来,机器人操作和控制的重要性日益增加。然而,当需要在现实世界应用中操作时,现有技术仍然具有限制。本文探讨了在模拟和真实环境中的后见之明经验重演,突出其弱点,并提出基于奖励和目标塑造的替代方案。此外,还确定了几个研究问题以及可以探索解决这些问题的潜在研究方向。
2022-09-26 cs.RO
DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家重点实验室);National Engineering Research Center for Visual Information and Applications(视觉信息与应用国家工程研究中心);Institute of Artificial Intelligence and Robotics(人工智能与机器人研究院);Xi’an Jiaotong University(西安交通大学)
针对机器人操作策略泛化性不足的问题,提出DynaRend框架,通过可微体渲染的掩码重建与未来预测学习3D动力学三平面特征,在基准测试与真实实验中均提升了操作成功率与泛化性。
2025-10-28 cs.AI cs.CV cs.RO
Learning Smooth and Robust Space Robotic Manipulation of Dynamic Target via Inter-frame Correlation
Research Center for Intelligent Robotics, School of Astronautics, Northwestern Polytechnical University(西北工业大学航天学院智能机器人研究中心);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Aeronautics and Astronautics, Sichuan University(四川大学空天科学与工程学院)
本文提出一种数据驱动的空间机械臂操作方法,通过利用历史帧与当前帧的时序相关性,实现对未知和非结构化空间环境中动态目标的精确操控。
2026-03-29 cs.RO
Real Garment Benchmark (RGBench): A Comprehensive Benchmark for Robotic Garment Manipulation featuring a High-Fidelity Scalable Simulator
针对机器人服装操作缺乏合适模拟工具的问题,提出包含6000+服装网格模型、高性能模拟器及评估协议的RGBench基准,其模拟器较现有工具误差降20%且速度快3倍,将公开以推动该领域研究。
2025-11-12 cs.RO
VQ-ACE: Efficient Policy Search for Dexterous Robotic Manipulation via Action Chunking Embedding
ETH Zurich(苏黎世联邦理工学院)
VQ-ACE通过压缩人类手部运动到量化潜在空间,结合MPC和RL,在灵巧操作任务中实现高效策略搜索,提升成功率并加速学习。
2024-11-05 cs.RO
Visuo-Tactile Manipulation Planning Using Reinforcement Learning with Affordance Representation
A*STAR Institute for Infocomm Research (IR)(A*STAR资讯通信研究院(IR));A*STAR Institute of High Performance Computing (IHPC)(A*STAR高性能计算研究院(IHPC))
机器人越来越多地被期望在越来越非结构化的环境中操纵物体,其中物体属性具有来自任何单一感觉模态的高感知不确定性。这直接影响成功的对象操作。在这项工作中,我们提出了一个强化学习为基础的运动规划框架的对象操作,它利用两个飞行多感官反馈和学习的注意力引导的深度启示模型作为感知状态。示能表示模型是从多个感官模态学习的,包括视觉和触摸(触觉和力/扭矩),其被设计为预测和指示多个示能表示的可操纵区域(即,可抓握性和可推动性)用于具有相似外观但不同内在属性的对象(例如,质量分布)。然后,训练基于DQN的深度强化学习算法,以选择用于成功对象操作的最佳动作。为了验证所提出的框架的性能,我们的方法进行了评估和基准测试使用一个开放的数据集和我们收集的数据集。实验结果表明,本文提出的方法和整体框架优于现有方法,具有更高的精度和效率。
2022-07-14 cs.RO
Visual Robotic Manipulation with Depth-Aware Pretraining
Shanghai University(上海大学);Midea Group(美的集团);East China Normal University(华东师范大学)
本文提出深度感知预训练方法DPR,利用大规模3D数据以自监督对比学习增强RGB视觉骨干的3D场景表征能力,并引入本体感知注入策略网络,在仿真与真实机器人操作任务中提升对未见物体和环境的泛化性能。
2024-01-17 cs.RO
Safety filtering of robotic manipulation under environment uncertainty: a computational approach
Department of Physics, Umeå University(物理系,乌梅学院);Algoryx Simulation AB(Algoryx模拟公司)
针对动态非结构化环境中机器人操作的安全问题,提出基于物理的安全过滤方案,利用高保真仿真结合密集展开与稀疏重评估,有效识别并过滤不安全轨迹。
2025-09-16 cs.RO