Memory-based gaze prediction in deep imitation learning for robot manipulation
The University of Tokyo(东京大学)
深度模仿学习是一种很有前途的方法,在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而,未来的机器人也将被要求利用它们在复杂环境中的经验获得的记忆来解决任务(例如,当要求机器人在架子上找到先前使用过的物体时)。在这种情况下,简单的深度模仿学习可能会因为复杂环境造成的分心而失败。我们建议,从顺序的视觉输入的凝视预测,使机器人能够执行需要记忆的操作任务。该算法采用基于Transformer的自注意结构,对基于序列数据的视线估计进行记忆。所提出的方法进行了评估与一个真正的机器人多对象操作任务,需要以前的状态记忆。
2022-02-10 cs.AI cs.CV cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Learning to Scaffold the Development of Robotic Manipulation Skills
Stanford Artificial Intelligence Lab (SAIL)(斯坦福人工智能实验室(SAIL));Stanford University(斯坦福大学)
学习接触丰富的机器人操作技能是一个具有挑战性的问题,由于状态和动作空间的高维性,以及噪声传感器和不准确的电机控制的不确定性。为了对抗这些因素并实现更强大的操纵,人类积极利用环境中的接触约束。通过采用类似的策略,机器人也可以实现更强大的操作。在本文中,我们使机器人能够自主修改其环境,从而发现如何减轻操作技能的学习。具体来说,我们为机器人提供了固定装置,它可以自由地放置在环境中。这些固定装置提供了限制机器人动作结果的硬约束。因此,他们从感知、运动控制和支架操作技能学习中汲取不确定性。我们提出了一个学习系统,包括两个学习循环。在外部循环中,机器人将夹具定位在工作空间中。在内部循环中,机器人学习操作技能,并在固定次数的情节后,将奖励返回到外部循环。因此,机器人被激励放置固定装置,使得内环快速实现高回报。我们展示了我们的框架在模拟和现实世界中的三个任务:钉插入,扳手操作和浅深度插入。我们表明,操纵技能的学习是显着加快通过这种方式的脚手架。
2020-10-05 cs.AI cs.CV cs.LG
Learning to Transfer Human Hand Skills for Robot Manipulations
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔大学)
本文提出从人类手部示范学习联合运动流形并生成伪监督三元组,以推断合理机器人动作,显著提升真实机器人灵巧操作的重定向效果。
2025-01-07 cs.AI cs.LG cs.RO
Canonical mapping as a general-purpose object descriptor for robotic manipulation
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
感知是半结构化环境中机器人操作的重要组成部分。传统方法产生狭窄的特定于任务的预测(例如,对象的6D姿态),其不能适应于其他任务并且不适合于可变形对象。在本文中,我们建议使用规范映射作为一个近乎通用和灵活的对象描述符。我们证明了通用对象表示可以从单个预训练的规范映射模型中导出,而这些模型又可以使用自动数据生成和训练管道以最小的手动工作量生成。我们使用两个机器人手臂进行多阶段实验,展示了感知方法的鲁棒性以及它可以告知操作策略的方式,从而为通用机器人操作奠定了坚实的基础。
2023-03-02 cs.CV cs.LG cs.RO
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
在本文中,我们提出了一种新的任务,操纵问答(MQA),其中机器人执行操作动作,以改变环境,以回答给定的问题。为了解决这个问题,提出了一个框架,包括一个QA模块和操纵模块。对于问答模块,我们采用了可视化问答任务的方法。对于操作模块,设计了一个深度Q网络(DQN)模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况,并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验,以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO
Amortized Object and Scene Perception for Long-term Robot Manipulation
University of Bremen(不来梅大学)
移动机器人在人类环境中进行长期的操作活动,必须感知各种各样的具有非常不同的视觉特性的对象,并需要在整个任务执行过程中可靠地跟踪这些对象。为了提高效率,机器人的感知能力需要超越当前可感知的范围,并且应该能够回答有关当前和过去场景的查询。在本文中,我们研究了一个长期的机器人操作的感知系统,跟踪不断变化的环境,并建立一个代表性的感知世界。具体来说,我们引入了一个摊销组件,在整个执行周期中传播感知任务。由此产生的查询驱动的感知系统异步集成的结果,从记录的图像到一个符号和数字(我们称之为子符号)表示,形成的感知信念状态的机器人。
2019-03-28 cs.AI cs.CV cs.RO
SEM: Enhancing Spatial Understanding for Robust Robot Manipulation
Horizon
针对机器人操作中空间理解不足的问题,提出基于扩散的SEM框架,融合三维几何增强与本体感知编码,显著提升操作稳健性与泛化性。
2025-09-24 cs.AI cs.CV cs.RO
SCENEREPLICA: Benchmarking Real-World Robot Manipulation by Creating Replicable Scenes
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究提出聚焦抓取放置的真实世界机器人操作可复现基准SCENEREPLICA,采用YCB物体数据集,评估了基于模型与无模型的6D抓取算法,为领域提供标准化评估工具以加速研发进展。
2024-03-11 cs.CV cs.LG cs.RO
Research Challenges and Progress in Robotic Grasping and Manipulation Competitions
University of South Florida(南佛罗里达大学);National Institute of Standards and Technology (NIST)(美国国家标准与技术研究院);German Aerospace Center (DLR)(德国航空航天中心);Worcester Polytechnic Institute (WPI)(伍斯特理工学院)
本文结合最新的机器人抓取与操作竞赛(RGMCs)讨论了机器人抓取与操作的研究进展。我们首先提供了一个概述过去的基准和竞争有关的机器人操作领域。然后,我们讨论了在RGMC中设计操作任务的方法。我们对每项任务的关键挑战进行了详细分析,并根据竞争团队近年来的表现确定了最困难的方面。我们相信,这样的分析是有见地的,以确定未来的研究方向的机器人操作域。
2021-12-09 cs.AI cs.RO
GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation
UC San Diego(加州大学圣迭戈分校);UC Los Angeles(加州大学洛杉矶分校);Meta
GSWorld结合3D高斯泼溅与物理引擎,提出GSDF资产格式,构建含3种机器人和40+物体的数据库,实现零样本sim2real策略学习、DAgger数据收集、可重复基准测试等应用,推动机器人操作闭环开发。
2025-10-23 cs.AI cs.CV cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University(萨班哲大学)
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明,与一些方法,感知和规划的紧密结合提高了计划的质量,以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation
使用强化学习(RL)从视觉反馈学习解决基于精度的操作任务可以大大减少传统机器人系统所需的工程工作。然而,仅从视觉输入执行细粒度的运动控制是具有挑战性的,特别是在以前的工作中经常使用的静态第三人称相机。我们提出了一个机器人操作的设置,其中代理接收视觉反馈,从第三人称相机和自我中心的相机安装在机器人的手腕上。虽然第三人称相机是静态的,但以自我为中心的相机使机器人能够主动控制其视觉,以帮助精确操作。为了有效地融合来自两个摄像头的视觉信息,我们还建议使用具有交叉视图注意力机制的Transformers,该机制将空间注意力从一个视图建模到另一个视图(反之亦然),并使用学习到的特征作为RL策略的输入。我们的方法提高了在强大的单视图和多视图基线上的学习,并成功地转移到一组具有挑战性的操作任务,在一个真实的机器人上,未校准的相机,无法访问状态信息,以及高度的任务可变性。在锤子操作任务中,我们的方法在75%的试验中成功,而对于多视图和单视图基线,分别为38%和13%。
2022-01-20 cs.CV cs.LG cs.RO
Manipulation Motion Taxonomy and Coding for Robots
University of South Florida(南佛罗里达大学)
本文介绍了一种分类的操作,特别是在烹饪1)分组操作从机器人的角度来看,2)巩固别名和消除运动类型的歧义,和3)提供了一条路径,将学习的操作新的未学习的操作。使用教学视频作为参考,我们选择了一个列表中常见的操作动作在烹饪活动中看到的分组为类似的运动的基础上的几个轨迹和接触属性。操作代码,然后开发的分类属性的基础上表示的操作运动。操作分类,然后用于比较日常交互式操作(DIM)数据集中的运动数据,以揭示它们的运动相似性。
2020-07-31 cs.CV cs.RO
Instruction-driven history-aware policies for robotic manipulations
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);IIIT Hyderabad(海得拉巴国际信息技术学院)
在人类环境中,机器人被期望完成各种简单的自然语言指令的操作任务。然而,机器人操作极具挑战性,因为它需要细粒度的运动控制、长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战,我们提出了一个统一的变压器为基础的方法,考虑到多个输入。特别是,我们的Transformer架构集成了(i)自然语言指令和(ii)多视图场景观察,同时(iii)跟踪观察和动作的完整历史。这样的方法使得能够学习历史和指令之间的依赖性,并且使用多个视图来提高操纵精度。我们评估我们的方法具有挑战性的RLBench基准和现实世界的机器人。值得注意的是,我们的方法可扩展到74个不同的RLBench任务,并优于最先进的。我们还解决了预防条件的任务,并表现出出色的泛化到以前看不见的变化。
2022-12-17 cs.AI cs.CL cs.CV
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University(东北大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个深度的模仿学习框架,机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设,在环境中的关系信息建模可以显着提高泛化。为了实现这一点,我们建议(i)分解的多模态动力学元素的运动原语,(ii)参数化每个原语使用一个经常性的图神经网络捕捉相互作用,和(iii)集成一个高层次的计划,组成原语顺序和低层次的控制器,结合原始动力学和逆运动学控制。我们的模型是一个深层次的,模块化的架构。与基线相比,我们的模型更好地推广,并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
EgoSpeedUp: Transferring Human Manipulation Tempo to Robot Policies
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立产业技术综合研究所(AIST))
EgoSpeedUp通过人类演示的节奏监督,对齐并迁移分阶段操作节奏至机器人模仿学习,在真实任务中提升成功率25个百分点并减少36.5%执行时间。
2026-09-28 cs.CV cs.RO
H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models
该研究推出H2R-Bench基准测试,评估视频世界模型跨实体将人类操作视频转为机器人操作视频的能力,发现现有模型在实体一致性等方面存在局限,为相关模型评估提供诊断框架。
2026-08-14 cs.CV cs.RO
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations
Stanford University(斯坦福大学)
本文提出用未标注的眼在手上人类视频扩充机器人模仿数据,并借助部分可观测性与固定图像掩码缩小域差距,在8项真实任务上平均绝对提升成功率58%。
2023-07-12 cs.AI cs.LG cs.RO
Zero-Shot Robot Manipulation from Passive Human Videos
Carnegie Mellon University(卡内基梅隆大学);Meta AI
我们是否可以仅仅通过观看人类在不同的非结构化环境中执行任意任务的视频来学习机器人操作的日常任务?与广泛采用的学习特定任务的行为或直接模仿人类视频的策略不同,我们开发了一个框架,用于从人类视频中提取与代理无关的动作表示,然后将其映射到代理的实施例中。我们的框架是基于预测合理的人手轨迹给定的初始图像的场景。在对来自互联网的不同人类视频集训练此预测模型后,在对机器人的实施例进行适当变换后,我们将训练模型zero-shot部署为物理机器人操作任务。这个简单的策略使我们能够解决粗略的操作任务,如打开和关闭抽屉,推动和工具使用,而无需访问任何域内机器人操作轨迹。我们的实际部署结果为动作预测信息建立了一个强大的基线,这些信息可以从人类活动的各种任意视频中获取,并可用于在看不见的场景中进行zero-shot机器人操作。
2023-02-03 cs.LG cs.RO
Active Exploration for Robotic Manipulation
Technical University of Darmstadt(达姆施塔特工业大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
尽管近年来机器人技术和机器学习取得了重大进展,但机器人操作仍然是一个很大程度上未解决的问题。操纵中的关键挑战之一是当被操纵的对象之间存在连续接触时对环境的动态的探索。本文提出了一种基于模型的主动探索方法,使有效的学习稀疏奖励机器人操作任务。所提出的方法估计的信息增益目标使用的概率模型的合奏和部署模型预测控制(MPC)计划的行动,最大限度地提高预期的回报,同时也执行定向探索。我们评估我们提出的算法在模拟和一个真正的机器人,从头开始训练我们的方法,在一个具有挑战性的球推任务倾斜的桌子上,目标球的位置是不知道代理先验。我们的真实世界的机器人实验作为一个基本的应用程序的积极探索基于模型的强化学习的复杂的机器人操作任务。
2022-10-23 cs.LG cs.RO
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
Fudan University, China(复旦大学);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室);Shanghai Jiao Tong University, China(上海交通大学);The Chinese University of Hong Kong, China(香港中文大学);The University of Hong Kong, China(香港大学)
SoMA是一种用于机器人软体操作的实-仿真神经模拟器,通过统一的潜在神经空间实现可控、稳定的长周期操作和泛化能力。
2026-07-21 cs.AI cs.CV cs.RO
Benchmarking Robot Manipulation with the Rubik's Cube
University of Washington(华盛顿大学)
机器人操作的基准对于衡量该领域的进展至关重要,但很少有基准能够证明关键的操作技能,拥有标准化的指标,并且可以通过各种机器人平台进行尝试。为了解决缺乏这样的基准测试,我们提出了魔方操作作为一个基准来衡量精确操作和顺序操作的同时表现。魔方的子结构要求精确定位机器人的末端执行器,而其高度可重构的性质,使任务,需要机器人管理整个长序列的动作姿势的不确定性。我们提出了一个协议,用于定量测量魔方操作的准确性和速度。该协议可以由任何通用操纵器尝试,并且仅需要标准的3x3魔方和魔方最初搁置在其上的平坦表面(例如桌子)。我们证明了这个协议的两个不同的基线方法的PR2机器人。第一个基线为基于姿势的魔方操作提供了基本方法。第二个基准演示了该基准对系统性能改进进行量化的能力,特别是由于集成了触摸前传感。为了证明基准的适用性,其他机器人平台和算法的方法,我们提出了所需的功能块,使HERB机器人操纵魔方通过推抓。
2022-02-14 cs.AI cs.RO
RoboTok: A Scalable Data Engine for Internet Demonstration Video Retrieval and Dexterous Manipulation Learning
Rice University(莱斯大学);NVIDIA(英伟达)
RoboTok是用于人类演示检索与灵巧操作学习的互联网规模数据引擎,通过学习3D手部轨迹的潜在运动空间,从网络视频检索相关演示,提升了机器人策略的下游任务成功率。
2026-09-29 cs.CV cs.RO
ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
提出将机器人操作任务形式化为接触合成的基础模型,通过输入物体和机器人的点云及物理属性等,输出接触点和接触力,在多维度物体的仿真和真实实验中达到约90%成功率。
2024-09-25 cs.AI cs.RO
Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Meituan(美团)
该研究针对机器人操作数据收集成本高的问题,提出CBST方法,通过因果束约束从人类视频中迁移操作知识,使机器人无需动作对应即可生成动作,提升了基准任务的成功率。
2026-10-16 cs.AI cs.RO
Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods
ByteDance Research(字节跳动研究院);Southeast University(东南大学);Tsinghua University(清华大学)
本文系统研究了预训练数据集、模型架构和训练方法对机器人操作的影响,并提出结合对比自监督与监督学习的视觉预训练方案Vi-PRoM,在仿真和真实机器人实验中验证了其优越性。
2023-08-07 cs.CV cs.RO
Multi-task real-robot data with gaze attention for dual-arm fine manipulation
The University of Tokyo(东京大学)
本文提出包含双臂精细操作任务的多任务真实机器人数据集,结合视觉注意力与双动作标签,并应用于DAA模型,在超7k次真实试验中验证了其精细操作能力。
2024-03-19 cs.AI cs.RO
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University(山东大学);Shanghai Jiao Tong University(上海交通大学)
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势,这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而,一般的视频描述方法更多地关注于对全帧的理解,缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型,从人类演示视频中学习机器人操作的动作。它由两个深度网络组成,抓取检测网络(GNet)和视频描述网络(CNet)。GNet执行两个功能:提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明,我们的方法可以产生更准确的命令,从视频演示比国家的最先进的工作,从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
Interpreting Behaviors and Geometric Constraints as Knowledge Graphs for Robot Manipulation Control
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学)
本文提出利用机器人知识图谱统一行为树与几何约束,将操作控制概念化为语义事件,以实现可解释的机器人操作控制。
2025-10-07 cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景,探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
FOCUS: Object-Centric World Models for Robotics Manipulation
Ghent University(根特大学)
本文提出 FOCUS,一个学习对象中心世界模型的智能体,利用对象中心表示驱动的探索奖励提升机器人操作中的对象交互探索效率,并在仿真和 Franka Emika 机械臂上验证了其有效性。
2023-07-07 cs.AI cs.RO
ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics(亚马逊机器人公司);Rutgers University(罗格斯大学)
本文介绍了Amazon Robotic Manipulation Benchmark(ARMBench),这是一个大规模的、以对象为中心的基准数据集,用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象,非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景,在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集,收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据,对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获,即,预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战,即1)在混乱中的对象分割,2)对象识别,和3)缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
Scaling Robot Supervision to Hundreds of Hours with RoboTurk: Robotic Manipulation Dataset through Human Reasoning and Dexterity
Stanford University(斯坦福大学);Nvidia(英伟达);University of Toronto(多伦多大学)
大型、注释丰富的数据集加速了计算机视觉和自然语言处理等领域的进步,但在机器人领域复制这些成功一直是一个挑战。虽然诸如自我监督的现有数据汇集方法已经导致了大的数据集,但是数据可能具有差的信噪比。相比之下,以前收集人类任务演示的努力提供了更高质量的数据,但它们无法达到相同的数据量。此外,这两种方法都不能保证所收集的数据在解决方案战略方面的多样性。在这项工作中,我们利用和扩展的RoboTurk平台,以扩大数据汇集的机器人操作使用远程遥控。我们平台的主要动机有两个方面:(1)解决先前工作的缺点,并在不牺牲数据质量的情况下,将通过人工监督收集的操作数据总量增加一个数量级;(2)收集多个操作员之间具有挑战性的操作任务的数据,并观察各种紧急行为和解决方案。我们在1周内收集了54名用户超过111小时的机器人操作数据和3项具有挑战性的操作任务,从而形成了通过远程遥控操作收集的最大机器人数据集。我们通过定量和定性分析来评估平台的质量、数据集中演示的多样性以及数据集的实用性。有关其他结果、补充视频以及下载我们的数据集,请访问www.example.com。
2019-11-11 cs.HC cs.LG cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
Mobile Robot Manipulation using Pure Object Detection
Agility Robotics(敏捷机器人公司)
本文研究了基于目标检测的移动机器人操作问题。我们的方法使用检测和控制作为从现实世界的交互中学习的互补功能。我们开发了一个端到端的操作方法,完全基于检测和引入任务为中心的Few-Shot目标检测(TFOD),以了解新的对象和设置。我们的机器人收集自己的训练数据,并自动确定何时重新训练检测,以提高各种子任务的性能(例如,抓握)。值得注意的是,检测训练的成本很低,我们的机器人只需点击四次注释就能学会操纵新对象。在物理实验中,我们的机器人学习视觉控制从一个单一的点击注释和一个新的更新配方,操纵新的对象在混乱和其他移动设置,并实现现有的视觉伺服控制和深度估计基准的最先进的结果。最后,我们开发了一个TFOD基准,以支持未来的机器人目标检测研究:https://github.com/griffbr/tfod。
2022-10-17 cs.CV cs.RO
A Transferable Legged Mobile Manipulation Framework Based on Disturbance Predictive Control
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);University of Chinese Academy of Sciences(中国科学院大学);Westlake University(西湖大学)
四足机器人由于其适应不同地形的能力,在机器人学习的研究领域引起了广泛的关注。腿式移动操作是指在四足机器人上安装一个机械臂,可以大大提高机器人在各种操作任务中的性能。一些先前的工作已经从控制理论的角度研究了腿移动操作。然而,为各种机械臂和四足机器人建模统一的结构是一项具有挑战性的任务。在本文中,我们提出了一个统一的框架干扰预测控制的强化学习计划与潜在的动态适配器嵌入到我们提出的低级别控制器。实验结果表明,该方法能够很好地适应各种类型的机器人手臂,具有少量的随机运动样本,我们的方法的有效性。
2022-03-02 cs.LG cs.RO
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Toyota Research Institute(丰田研究所)
针对机器人操作中音频数据来源受限的问题,提出ManiWAV音视频采集设备与对应策略接口,从真实场景人类演示学习操作策略,可完成多类接触任务并泛化到新环境。
2024-11-04 cs.AI cs.CV cs.RO
Creativity in Robot Manipulation with Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
深度强化学习(DRL)已成为机器人科学中一种强大的控制技术。与控制理论相比,DRL在对环境的深入探索中具有更强的鲁棒性。DRL的这种能力在应用于机器人时会产生更多类似人类的行为和智能。为了探索这种能力,我们设计了具有挑战性的操作任务,以观察机器人处理复杂场景的策略。我们观察到,机器人不仅能成功地执行任务,而且还能产生创造性和非直觉的解决方案。我们还观察到机器人在接近成功的任务中的持久性,以及它在辨别继续或放弃方面的惊人能力。
2019-10-16 cs.LG cs.RO stat.ML
GP3: A 3D Geometry-Aware Policy with Multi-View Images for Robotic Manipulation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);HuPan Lab(虎鹏实验室);Tongji University(同济大学)
本文提出GP3策略,利用多视角RGB图像和空间编码器推断三维几何表示,并结合语言指令生成连续动作,在模拟与真实机器人上均展现出优于现有方法的几何感知操作能力。
2025-09-19 cs.AI cs.RO
See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
人类在日常活动中使用所有的感官来完成不同的任务。相比之下,现有的机器人操作工作主要依赖于一种或偶尔两种模式,如视觉和触觉。在这项工作中,我们系统地研究视觉,听觉和触觉感知如何共同帮助机器人解决复杂的操作任务。我们建立了一个机器人系统,它可以用摄像头看,用接触式麦克风听,用基于视觉的触觉传感器感觉,所有三种感觉方式都融合了自我注意力模型。两个具有挑战性的任务,密集的包装和浇注的结果,展示了机器人操作的多感官感知的必要性和力量:视觉显示的机器人的全球地位,但往往会受到闭塞,音频提供即时反馈的关键时刻,甚至是不可见的,触摸提供精确的局部几何决策。利用所有三种模式,我们的机器人系统显着优于以前的方法。
2022-12-08 cs.CV cs.RO
Robot Manipulation in Salient Vision through Referring Image Segmentation and Geometric Constraints
University of Alberta(阿尔伯塔大学)
本文提出CLIPU$^2$Net轻量级指代分割模型,结合眼在手视觉伺服系统,通过几何约束实现语言引导的机器人操作,在46项真实任务中优于传统方法。
2024-09-17 cs.CV cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich(苏黎世联邦理工学院);Mimic Robotics(Mimic机器人公司);Microsoft Research(微软研究院)
MAPLE通过从第一人称视频中学习的先验知识,提升灵巧机器人操作任务的策略学习,有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Affordance-based Robot Manipulation with Flow Matching
Honda Research Institute EU(本田欧洲研究院)
本文提出将参数高效提示微调用于可供性理解,并以流匹配学习机器人动作轨迹,在10个日常生活任务数据集上验证了该方法在性能、稳定性和推理速度上的优势。
2025-11-07 cs.AI cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个遥操作系统,使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务,如折布,锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系,动态运动缩放和重新定位的操作框架,以增加我们的遥操作系统的灵活性。我们假设,降低遥操作的进入门槛将允许更广泛地部署监督自治系统,这将反过来生成现实的数据集,释放机器学习的潜力,用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset
UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
针对现实世界复杂性给机器人操作研究带来的挑战,本文提出具备密集视角覆盖、多特性物体的Robo360数据集,验证了其在动态NeRF、多视角策略学习中的效用,有望推动3D物理理解与机器人控制交叉研究。
2023-12-09 cs.CV cs.RO
Perceiving, Reasoning, Adapting: A Dual-Layer Framework for VLM-Guided Precision Robotic Manipulation
本文提出一种渐进式VLM规划算法,通过任务记忆结构、2D拓扑图和3D空间网络实现空间-语义融合,使机器人能够基于实时反馈动态调整并逐步纠错,从而在复杂装配任务中实现快速、精确的精细操作。
2025-03-07 cs.AI cs.RO
Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Toyota Technological Institute(丰田技术研究院)
本报告介绍了我们在真实机器人挑战赛(https://real-robot-challenge.com/)中的获奖作品。真正的机器人挑战赛是一个三阶段的灵巧操纵比赛,涉及使用TriFinger平台操纵各种矩形物体。我们的方法结合了运动规划与几个运动基元来操纵对象。对于阶段1和阶段2,我们还在模拟中学习了一个残差策略,该策略在控制器上应用纠正措施。我们的方法在第二阶段和第三阶段的比赛中获得了第一名。我们在比赛排行榜上被匿名称为“ardentstork”(https://real-robot-challenge.com/leader-board)。视频和我们的代码可以在https://github.com/ripl-ttic/real-robot-challenge上找到。
2021-01-08 cs.AI cs.RO
Robotic self-representation improves manipulation skills and transfer learning
University of Hamburg(汉堡大学)
认知科学认为,自我表征对学习和解决问题至关重要。然而,缺乏将这种说法与认知上合理的机器人和强化学习联系起来的计算方法。在本文中,我们通过开发一个模型来弥合这一差距,该模型学习双向动作-效果关联,以从多感官信息中编码身体图式和近个人空间的表征,称为多模态BidAL。通过三个不同的机器人实验,我们证明,这种方法显着稳定的学习为基础的问题解决在嘈杂的条件下,它提高了机器人操作技能的迁移学习。
2020-11-13 cs.AI cs.RO
Recognising Known Configurations of Garments For Dual-Arm Robotic Flattening
University of Glasgow(格拉斯哥大学)
机器人可变形物体的操纵是机器人工业中的一个挑战,因为可变形物体具有复杂和多样的物体状态。预测这些对象的状态和更新操作规划是耗时和计算昂贵的。在本文中,我们提出学习已知的服装配置,让机器人识别服装状态,并选择一个预先设计的服装平整的操作计划。
2022-06-17 cs.CV cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
Efficient Sensorimotor Learning for Open-world Robot Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本论文面向开放世界机器人操作,提出以规律性为核心的高效感知运动学习方法,通过物体中心先验、空间理解和可复用技能识别,使机器人从少量示范或视频中快速学习并泛化多任务操作技能。
2025-05-07 cs.AI cs.RO
Fast Visuomotor Policy for Robotic Manipulation
Fudan University(复旦大学);MEGVII Technology(MEGVII科技)
提出Energy Policy框架,通过能量分数和能量MLP实现单次前向传播预测多模态动作,在模拟和真实任务中匹配或超越最先进方法,并显著降低计算开销。
2025-10-14 cs.CV cs.RO