SafeStage: Evaluating Safety Before, During, and After Vision-Language-Conditioned Robot Manipulation
Worcester Polytechnic Institute(伍斯特理工学院);Futurewei Technologies Inc.(未来华为技术有限公司)
SafeStage提出一个生命周期分阶段的基准,通过97个风险场景评估视觉-语言条件机器人操作在执行前、中、后的安全性,发现任务成功常伴随安全违规,并提供统一诊断平台。
2026-09-21 cs.RO
Bridging Visual Perception with Contextual Semantics for Understanding Robot Manipulation Tasks
University of Alberta(阿尔伯塔大学)
理解操作场景允许智能机器人计划适当的动作以成功完成操作任务。智能机器人必须通过对实体、关系和属性的结构化描述来对操作知识进行语义解释。在本文中,我们提出了一个实现框架,以产生高层次的概念动态知识图谱从视频剪辑。结合视觉语言模型和本体系统,结合视觉感知和上下文语义,用语义-关系-实体(E-R-E)和语义-属性-值(E-A-V)元组表示机器人操作知识。所提出的方法是灵活和熟练的。使用该框架,我们提出了一个案例研究,机器人在厨房环境中执行操作动作,桥接视觉感知与上下文语义使用生成的动态知识图谱。
2020-07-26 cs.CV
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
在本文中,我们提出了一种新的任务,操纵问答(MQA),其中机器人执行操作动作,以改变环境,以回答给定的问题。为了解决这个问题,提出了一个框架,包括一个QA模块和操纵模块。对于问答模块,我们采用了可视化问答任务的方法。对于操作模块,设计了一个深度Q网络(DQN)模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况,并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验,以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO
Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation
Technical University of Munich(慕尼黑技术大学);Corporate Research, Robert Bosch GmbH(罗伯特·博世集团企业研究部);University of California Berkeley(加州大学伯克利分校);Microsoft(微软);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学);Imperial College London(伦敦帝国理工学院);Princeton University(普林斯顿大学);University of Southern California(南加州大学);Sun Yat-sen University(中山大学);University of Michigan(密歇根大学);Institute for Artificial Intelligence, University of Stuttgart(斯图加特大学人工智能研究所);The State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
本文综述了语言引导的机器人操作领域,探讨了语言如何与机器人系统整合,分析了现有方法的分类及最新进展,指出关键争议和未来研究方向。
2026-06-22 cs.RO
One Word, Different Action: A Real-Robot Benchmark for Language-Conditioned Embodied Reasoning
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);Shenzhen Research Institute of Big Data (SRIBD)(深圳大数据研究院)
该研究推出真实机器人基准One Word, Different Action,评估具身系统的决策不变性与敏感性,发现现代模型在多任务约束整合为机器人动作时存在明显退化,核心挑战是组合多任务需求为正确决策。
2026-09-15 cs.RO
Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation
Stanford University(斯坦福大学);Robotics at Google(谷歌机器人部门)
我们研究的问题,学习一系列基于视觉的操作任务,从一个大型的离线数据集的机器人交互。为了实现这一目标,人类需要简单有效的方法来指定机器人的任务。目标图像是任务规范的一种流行形式,因为它们已经扎根于机器人的观察空间。然而,目标图像也有许多缺点:它们不便于人类提供,它们可能过度指定所需的行为,导致稀疏的奖励信号,或者在非目标达成任务的情况下指定任务信息不足。自然语言为任务规范提供了一种方便灵活的选择,但也带来了在机器人的观察空间中建立语言的挑战。为了可扩展地学习这种基础,我们建议利用离线机器人数据集(包括高度次优的,自主收集的数据)和众包的自然语言标签。有了这些数据,我们学习了一个简单的分类器,它可以预测状态的变化是否完成了语言指令。这提供了一个语言条件的奖励函数,然后可以用于离线多任务RL。在我们的实验中,我们发现,在语言条件下的操作任务,我们的方法优于目标图像规格和语言条件下的模仿技术超过25%,并能够执行视觉任务从自然语言,如“打开右抽屉”和“移动订书机”,在弗兰卡Panda机器人。
2021-10-31 cs.AI cs.LG cs.RO
vla.simd: Efficient CPU Inference for Language-Conditioned Manipulation
VinRobotics;Center for AI Research, VinUniversity(VinUniversity人工智能研究中心);Intelligent Autonomous Systems, TU Darmstadt(达姆施塔特工业大学智能自主系统)
提出vla.simd CPU推理引擎和IMPACT策略,实现语言条件操控的高效CPU部署,在多个CPU上加速1.4倍,并在Raspberry Pi 5上达到33.5动作/秒,GPU评估成功率76.4%。
2026-09-22 cs.AI cs.RO cs.SY
Goal-conditioned dual-action imitation learning for dexterous dual-arm robot manipulation
The University of Tokyo(东京大学)
针对长时程灵巧操作可变形物体(如剥香蕉)的难题,提出目标条件双动作模仿学习方法,通过局部与全局动作结合防止复合误差,并在真实双臂机器人上成功完成剥香蕉任务。
2025-05-21 cs.CV cs.RO
Mem-World: Memory-Augmented Action-Conditioned World Models for Persistent Robot Manipulation
Dalian University of Technology(大连理工大学);Samsung R&D Institute China-Beijing (SRCB)(三星中国北京研究院)
提出Mem-World,通过4D腕部视角曲面元索引内存W-VMem,解决操作中因遮挡和运动导致的场景遗忘问题,实现持久世界建模,提升策略评估与改进效果。
2026-09-16 cs.CV cs.RO
Manipulation Motion Taxonomy and Coding for Robots
University of South Florida(南佛罗里达大学)
本文介绍了一种分类的操作,特别是在烹饪1)分组操作从机器人的角度来看,2)巩固别名和消除运动类型的歧义,和3)提供了一条路径,将学习的操作新的未学习的操作。使用教学视频作为参考,我们选择了一个列表中常见的操作动作在烹饪活动中看到的分组为类似的运动的基础上的几个轨迹和接触属性。操作代码,然后开发的分类属性的基础上表示的操作运动。操作分类,然后用于比较日常交互式操作(DIM)数据集中的运动数据,以揭示它们的运动相似性。
2020-07-31 cs.CV cs.RO
EgoSpeedUp: Transferring Human Manipulation Tempo to Robot Policies
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立产业技术综合研究所(AIST))
EgoSpeedUp通过人类演示的节奏监督,对齐并迁移分阶段操作节奏至机器人模仿学习,在真实任务中提升成功率25个百分点并减少36.5%执行时间。
2026-09-28 cs.CV cs.RO
H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models
该研究推出H2R-Bench基准测试,评估视频世界模型跨实体将人类操作视频转为机器人操作视频的能力,发现现有模型在实体一致性等方面存在局限,为相关模型评估提供诊断框架。
2026-08-14 cs.CV cs.RO
RoboTok: A Scalable Data Engine for Internet Demonstration Video Retrieval and Dexterous Manipulation Learning
Rice University(莱斯大学);NVIDIA(英伟达)
RoboTok是用于人类演示检索与灵巧操作学习的互联网规模数据引擎,通过学习3D手部轨迹的潜在运动空间,从网络视频检索相关演示,提升了机器人策略的下游任务成功率。
2026-09-29 cs.CV cs.RO
Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods
ByteDance Research(字节跳动研究院);Southeast University(东南大学);Tsinghua University(清华大学)
本文系统研究了预训练数据集、模型架构和训练方法对机器人操作的影响,并提出结合对比自监督与监督学习的视觉预训练方案Vi-PRoM,在仿真和真实机器人实验中验证了其优越性。
2023-08-07 cs.CV cs.RO
Learning Actions from Human Demonstration Video for Robotic Manipulation
Shandong University(山东大学);Shanghai Jiao Tong University(上海交通大学)
从人的演示中学习动作是设计智能机器人系统的一个新兴趋势,这可以被称为视频命令。这种方法的性能高度依赖于视频描述的质量。然而,一般的视频描述方法更多地关注于对全帧的理解,缺乏对机器人操作中感兴趣的特定对象的考虑。我们提出了一种新的深度模型,从人类演示视频中学习机器人操作的动作。它由两个深度网络组成,抓取检测网络(GNet)和视频描述网络(CNet)。GNet执行两个功能:提供抓取解决方案和提取机器人操作中感兴趣对象的局部特征。CNet通过融合全帧和局部对象的特征来输出字幕结果。UR5机器人手臂上的实验结果表明,我们的方法可以产生更准确的命令,从视频演示比国家的最先进的工作,从而导致更强大的抓取性能。
2019-09-10 cs.CV cs.RO
ARMBench: An Object-centric Benchmark Dataset for Robotic Manipulation
Amazon Robotics(亚马逊机器人公司);Rutgers University(罗格斯大学)
本文介绍了Amazon Robotic Manipulation Benchmark(ARMBench),这是一个大规模的、以对象为中心的基准数据集,用于在仓库环境中进行机器人操作。现代仓库中的操作自动化需要机器人机械手来处理各种各样的对象,非结构化存储和动态变化的库存。这样的设置对在操纵期间感知对象的身份、物理特性和状态提出了挑战。用于机器人操作的现有数据集考虑有限的对象集合或利用3D模型来生成合成场景,在捕获各种对象属性、杂波和交互方面具有限制。我们提出了一个大规模的数据集,收集在亚马逊仓库使用机器人机械手执行对象从容器与异构内容分离。ARMBench包含图像、视频和元数据,对应于190K+唯一对象上的235K+拾取和放置活动。数据在不同的操作阶段被捕获,即,预拾取、转移期间和放置之后。基准任务提出凭借高质量的注释和基线性能评估提出了三个视觉感知的挑战,即1)在混乱中的对象分割,2)对象识别,和3)缺陷检测。ARMBench可以在http://armbench.com上访问
2023-03-29 cs.CV cs.RO
Action-conditioned Deep Visual Prediction with RoAM, a new Indoor Human Motion Dataset for Autonomous Robots
Indian Institute of Science(印度科学学院);Intel India(英特尔印度)
提出RoAM室内人类运动视频数据集及深度视觉预测框架ACPNet,通过结合机器人自我视角、LiDAR扫描与控制动作,实现基于动作条件的未来图像帧预测,推动自主导航研究。
2023-06-28 cs.CV cs.RO
Mobile Robot Manipulation using Pure Object Detection
Agility Robotics(敏捷机器人公司)
本文研究了基于目标检测的移动机器人操作问题。我们的方法使用检测和控制作为从现实世界的交互中学习的互补功能。我们开发了一个端到端的操作方法,完全基于检测和引入任务为中心的Few-Shot目标检测(TFOD),以了解新的对象和设置。我们的机器人收集自己的训练数据,并自动确定何时重新训练检测,以提高各种子任务的性能(例如,抓握)。值得注意的是,检测训练的成本很低,我们的机器人只需点击四次注释就能学会操纵新对象。在物理实验中,我们的机器人学习视觉控制从一个单一的点击注释和一个新的更新配方,操纵新的对象在混乱和其他移动设置,并实现现有的视觉伺服控制和深度估计基准的最先进的结果。最后,我们开发了一个TFOD基准,以支持未来的机器人目标检测研究:https://github.com/griffbr/tfod。
2022-10-17 cs.CV cs.RO
KITE: Keypoint-Conditioned Policies for Semantic Manipulation
Stanford University(斯坦福大学)
KITE提出两步框架,利用2D关键点接地指令与参数化技能,实现细粒度语义操作,在真实环境中指令跟随成功率显著优于现有方法。
2023-10-11 cs.CV cs.RO
See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
人类在日常活动中使用所有的感官来完成不同的任务。相比之下,现有的机器人操作工作主要依赖于一种或偶尔两种模式,如视觉和触觉。在这项工作中,我们系统地研究视觉,听觉和触觉感知如何共同帮助机器人解决复杂的操作任务。我们建立了一个机器人系统,它可以用摄像头看,用接触式麦克风听,用基于视觉的触觉传感器感觉,所有三种感觉方式都融合了自我注意力模型。两个具有挑战性的任务,密集的包装和浇注的结果,展示了机器人操作的多感官感知的必要性和力量:视觉显示的机器人的全球地位,但往往会受到闭塞,音频提供即时反馈的关键时刻,甚至是不可见的,触摸提供精确的局部几何决策。利用所有三种模式,我们的机器人系统显着优于以前的方法。
2022-12-08 cs.CV cs.RO
Robot Manipulation in Salient Vision through Referring Image Segmentation and Geometric Constraints
University of Alberta(阿尔伯塔大学)
本文提出CLIPU$^2$Net轻量级指代分割模型,结合眼在手视觉伺服系统,通过几何约束实现语言引导的机器人操作,在46项真实任务中优于传统方法。
2024-09-17 cs.CV cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich(苏黎世联邦理工学院);Mimic Robotics(Mimic机器人公司);Microsoft Research(微软研究院)
MAPLE通过从第一人称视频中学习的先验知识,提升灵巧机器人操作任务的策略学习,有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset
UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
针对现实世界复杂性给机器人操作研究带来的挑战,本文提出具备密集视角覆盖、多特性物体的Robo360数据集,验证了其在动态NeRF、多视角策略学习中的效用,有望推动3D物理理解与机器人控制交叉研究。
2023-12-09 cs.CV cs.RO
Scalable Multi-Task Data Generation via Reinforcement Learning for Language-Conditioned Bimanual Dexterous Manipulation
TU Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe GmbH(本田欧洲研究院有限公司);DFKI(德国人工智能研究中心)
提出基于强化学习的系统化数据生成流程,结合通用奖励设计、域随机化和语言条件任务标注,合成高质量双手灵巧操作数据集,训练语言条件多任务策略,提升跨任务泛化能力。
2026-06-23 cs.RO
Recognising Known Configurations of Garments For Dual-Arm Robotic Flattening
University of Glasgow(格拉斯哥大学)
机器人可变形物体的操纵是机器人工业中的一个挑战,因为可变形物体具有复杂和多样的物体状态。预测这些对象的状态和更新操作规划是耗时和计算昂贵的。在本文中,我们提出学习已知的服装配置,让机器人识别服装状态,并选择一个预先设计的服装平整的操作计划。
2022-06-17 cs.CV cs.RO
VisForce: Visual Grounding of Current and Desired Forces for Goal-Conditioned Dexterous Manipulation
针对灵巧手操作中力与视觉位置对应困难的问题,提出VisForce方法,将当前与期望力在指尖位置视觉锚定,结合目标条件交叉注意力生成力感知动作,实验验证了其有效性。
2026-09-23 cs.RO
Language-Conditioned Open-Vocabulary Mobile Manipulation with Pretrained Models
Harbin Institute of Technology(哈尔滨工业大学)
本文提出融合 LLM 与 VLM 的语言条件框架 LOVMM,使机器人依据自然语言指令完成家庭环境中的开放词汇移动操作,并在仿真和桌面任务中展现出优异的零样本泛化与成功率。
2025-07-23 cs.RO
Language-Conditioned Semantic Search-Based Policy for Robotic Manipulation Tasks
Bielefeld University(比勒费尔德大学);Indian Institute of Information Technology(印度信息技术学院)
针对强化学习与模仿学习在少样本任务上泛化困难的问题,提出语言条件化语义搜索策略,直接从演示轨迹中检索动作,在 CALVIN 基准上超越基线并具备零样本适应能力。
2023-12-10 cs.AI cs.CV cs.LG
H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
针对机器人操作模仿学习的高质量演示数据稀缺问题,本文提出H-RDT框架,通过两阶段训练利用人类操作数据增强双臂机器人操作能力,在仿真和真实实验中均优于现有方法。
2025-08-01 cs.CV cs.LG cs.RO
DexDLO: Learning Goal-Conditioned Dexterous Policy for Dynamic Manipulation of Deformable Linear Objects
University of Edinburgh(爱丁堡大学);University of York(约克大学)
DexDLO提出一种无模型端到端框架,利用固定底座灵巧手学习可变形线性物体的目标条件动态操作策略,在Mujoco中统一参数高效完成五种操作任务,并深入分析策略与奖励设计。
2023-12-23 cs.LG cs.RO
Local Neural Descriptor Fields: Locally Conditioned Object Representations for Manipulation
Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
在家庭环境中操作的机器人将看到各种独特和不熟悉的物体。虽然一个系统可以对其中的许多对象进行训练,但预测机器人将看到的所有对象是不可行的。在本文中,我们提出了一种方法来概括从有限数量的演示中获得的对象操作技能,从看不见的形状类别的新对象。我们的方法,局部神经描述符字段(L-NDF),利用神经描述符定义的局部几何形状的对象,有效地转移到新的对象在测试时的操作演示。在这样做时,我们利用对象之间共享的局部几何来产生更通用的操作框架。我们说明了我们的方法在操纵新的对象在新的姿态-无论是在模拟和现实世界中的功效。
2023-03-06 cs.AI cs.CV cs.LG
HANDFUL: Sequential Grasp-Conditioned Dexterous Manipulation with Resource Awareness
Northwestern University(西北大学);University of Southern California(南加州大学)
本文提出HANDFUL框架,通过资源感知抓取提升多任务操作的灵活性和鲁棒性,结合仿真与现实验证其有效性。
2026-07-08 cs.RO
Lifelong Language-Conditioned Robotic Manipulation Learning
本文提出SkillsCrafter框架,通过操作技能适应和技能专业化聚合,实现持续学习多种技能并减少旧技能的灾难性遗忘。
2026-03-05 cs.AI cs.RO
Modularity through Attention: Efficient Training and Transfer of Language-Conditioned Policies for Robot Manipulation
Arizona State University(亚利桑那州立大学);Intel AI(英特尔人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
机器人有条件的策略允许机器人解释和执行人类指令。学习这些策略需要在时间和计算资源方面进行大量投资。尽管如此,所得到的控制器是高度特定于设备的,并且不能容易地转移到具有不同形态、能力、外观或动力学的机器人。在本文中,我们提出了一种样本有效的方法来训练语言条件的操作策略,允许在不同类型的机器人之间快速传输。通过引入一种新的方法,即分层模块化,并在多个子模块之间采用监督注意力,我们弥合了模块化和端到端学习之间的鸿沟,并实现了功能构建块的重用。在模拟和真实世界的机器人操作实验中,我们证明了我们的方法优于当前最先进的方法,并且可以以样本高效的方式在4个不同的机器人之间传输策略。最后,我们证明了学习的子模块的功能在训练过程之外得到了维护,并且可以用于反思机器人决策过程。代码可在https://github.com/ir-lab/ModAttn上获得。
2022-12-08 cs.RO
PATCH: Action-Chunk-Conditioned Latent Patch Innovation Monitoring for Robot Manipulation
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);Australian Centre For Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心)
提出PATCH监控器,通过动作块条件潜在补丁创新检测局部场景动态,实现扰动感知的机器人操作干预与恢复。
2026-06-16 cs.AI cs.CV cs.RO
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego(加利福尼亚大学圣迭戈分校);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);University of Maryland, College Park(马里兰大学帕克分校);Tsinghua University(清华大学)
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题,提出融合视觉与动作等动力学信息的MCR框架,在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
Learning Language-Conditioned Deformable Object Manipulation with Graph Dynamics
National University of Singapore(新加坡国立大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对可变形物体多任务操作中目标图像方式泛化性差的问题,提出基于语言指令、融合Transformer架构与可见连通图的学习框架,在仿真与真实实验中均实现更高成功率与更短推理时间。
2024-01-29 cs.RO
Memory-based gaze prediction in deep imitation learning for robot manipulation
The University of Tokyo(东京大学)
深度模仿学习是一种很有前途的方法,在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而,未来的机器人也将被要求利用它们在复杂环境中的经验获得的记忆来解决任务(例如,当要求机器人在架子上找到先前使用过的物体时)。在这种情况下,简单的深度模仿学习可能会因为复杂环境造成的分心而失败。我们建议,从顺序的视觉输入的凝视预测,使机器人能够执行需要记忆的操作任务。该算法采用基于Transformer的自注意结构,对基于序列数据的视线估计进行记忆。所提出的方法进行了评估与一个真正的机器人多对象操作任务,需要以前的状态记忆。
2022-02-10 cs.AI cs.CV cs.RO
Interpreting Behaviors and Geometric Constraints as Knowledge Graphs for Robot Manipulation Control
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学)
本文提出利用机器人知识图谱统一行为树与几何约束,将操作控制概念化为语义事件,以实现可解释的机器人操作控制。
2025-10-07 cs.RO
Leveraging Passive Compliance of Soft Robotics for Physical Human-Robot Collaborative Manipulation
Brigham Young University(杨百翰大学)
本文通过气动连续体软体机械臂与全向移动基座组成的系统,基准测试了大型软体机器人与人协作操控长形物体的能力,结果表明其表现可媲美人类非视觉跟随者,并挑战了软体机器人力量受限的传统认知。
2025-04-11 cs.RO
Brace Yourself: Task-Conditioned Environmental Bracing for Forceful Humanoid Manipulation
Queensland University of Technology(昆士兰科技大学);Australian Cobotics Centre(澳大利亚协同机器人中心);Centre for Robotics(机器人中心)
本文提出支撑手策略(SHS),通过任务条件化环境支撑,使单臂有力操作时另一臂支撑,显著提升人形机器人接触力至60N,远超无支撑的13.5N,且无需重新训练即可泛化。
2026-09-23 cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
Learning Generalizable Language-Conditioned Cloth Manipulation from Long Demonstrations
Center for Artificial Intelligence and Robotics, Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院人工智能与机器人中心);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对多步布料操作难以泛化到未见任务的问题,提出一种基于分解策略的新流程,利用LLM从长演示中学习并组合基本技能,在已见和未见任务上均优于基线方法。
2025-03-06 cs.RO
Language-Conditioned Representations and Mixture-of-Experts Policy for Robust Multi-Task Robotic Manipulation
Xiucheng Zhang(未知);Yang Jiang(未知);Jiashuo Bai(未知)
针对多任务机器人操作中感知歧义与任务冲突的问题,提出融合语言条件视觉表征模块和语言条件混合专家密度策略的框架,在真实机器人基准上显著提升了多任务操作成功率。
2025-10-28 cs.LG cs.RO
Canonical mapping as a general-purpose object descriptor for robotic manipulation
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
感知是半结构化环境中机器人操作的重要组成部分。传统方法产生狭窄的特定于任务的预测(例如,对象的6D姿态),其不能适应于其他任务并且不适合于可变形对象。在本文中,我们建议使用规范映射作为一个近乎通用和灵活的对象描述符。我们证明了通用对象表示可以从单个预训练的规范映射模型中导出,而这些模型又可以使用自动数据生成和训练管道以最小的手动工作量生成。我们使用两个机器人手臂进行多阶段实验,展示了感知方法的鲁棒性以及它可以告知操作策略的方式,从而为通用机器人操作奠定了坚实的基础。
2023-03-02 cs.CV cs.LG cs.RO
RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for Robotic Manipulation
Peking University(北京大学);National University of Singapore(新加坡国立大学);Columbia University(哥伦比亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
本研究提出交互式场景探索任务与RoboEXP系统,融合LMM和显式记忆,让机器人自主探索并构建动作条件场景图,可高效支撑多种真实世界物体操作任务。
2024-10-08 cs.AI cs.CV cs.LG
Grounding Object Relations in Language-Conditioned Robotic Manipulation with Semantic-Spatial Reasoning
Shanghai Qi Zhi Institute(上海期智研究院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
针对机器人无法处理涉及多物体空间关系复杂指令的问题,提出解耦两阶段方案,通过物体中心语义-空间推理器选择相关物体并融合至可供性学习,有效提升了空间相关指令下的操作性能。
2023-03-31 cs.RO
Language-Conditioned Imitation Learning for Robot Manipulation Tasks
Arizona State University(亚利桑那州立大学);Intel AI Labs(英特尔人工智能实验室);Oregon State University(俄勒冈州立大学)
模仿学习是一种流行的机器人运动技能教学方法。然而,大多数方法集中于仅从执行跟踪提取策略参数(即,运动轨迹和感知数据)。人类专家和机器人之间没有足够的通信渠道来描述任务的关键方面,例如目标对象的属性或运动的预期形状。出于对人类教学过程的洞察,我们引入了一种将非结构化自然语言融入模仿学习的方法。在训练时,专家可以提供演示以及口头描述,以便描述潜在的意图(例如,“去大绿碗”)。然后,训练过程将这两种模式相互关联,以编码语言,感知和运动之间的相关性。由此产生的语言调节的可视化策略可以在运行时根据新的人类命令和指令进行调节,这允许对训练的策略进行更细粒度的控制,同时还减少了情景模糊性。我们在一组模拟实验中演示了我们的方法如何学习七自由度机器人手臂的语言条件操作策略,并将结果与各种替代方法进行比较。
2020-10-22 cs.CL cs.CV cs.LG
Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents
University of Michigan(密歇根大学);Princeton University(普林斯顿大学);University of Virginia(弗吉尼亚大学)
提出Foresight框架,利用动作条件世界模型的潜在表征监测操作轨迹,仅用最终任务级标签训练,结合函数共形预测自适应校准阈值,在仿真和真实机器人长时程任务中实现高效故障检测。
2026-06-23 cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
Amortized Object and Scene Perception for Long-term Robot Manipulation
University of Bremen(不来梅大学)
移动机器人在人类环境中进行长期的操作活动,必须感知各种各样的具有非常不同的视觉特性的对象,并需要在整个任务执行过程中可靠地跟踪这些对象。为了提高效率,机器人的感知能力需要超越当前可感知的范围,并且应该能够回答有关当前和过去场景的查询。在本文中,我们研究了一个长期的机器人操作的感知系统,跟踪不断变化的环境,并建立一个代表性的感知世界。具体来说,我们引入了一个摊销组件,在整个执行周期中传播感知任务。由此产生的查询驱动的感知系统异步集成的结果,从记录的图像到一个符号和数字(我们称之为子符号)表示,形成的感知信念状态的机器人。
2019-03-28 cs.AI cs.CV cs.RO
SEM: Enhancing Spatial Understanding for Robust Robot Manipulation
Horizon
针对机器人操作中空间理解不足的问题,提出基于扩散的SEM框架,融合三维几何增强与本体感知编码,显著提升操作稳健性与泛化性。
2025-09-24 cs.AI cs.CV cs.RO
Casting manipulation of unknown string by robot arm
针对专用抛投操作器无法完成常规任务的问题,提出普通机械臂拾取未知绳索实现抛投操作的方法,通过仿真运动生成、实际操作、参数估计三步迭代逼近真实运动,经实验验证有效,可提升多类机器人性能。
2024-01-30 cs.RO
Vision-based Robot Manipulation Learning via Human Demonstrations
Beihang University(北京航空航天大学)
基于视觉的学习方法为机器人学习复杂的操作任务提供了希望。然而,如何将学习到的操作技能推广到现实世界的交互仍然是一个悬而未决的问题。在这项工作中,我们研究了机器人操作技能的学习,从一个单一的第三人称视图演示使用活动识别和目标检测在计算机视觉。为了促进跨对象和环境的泛化,我们建议使用文本语料库形式的先验知识库来推断在机器人的上下文中要与之交互的对象。我们评估我们的方法在现实世界中的机器人,使用几个简单和复杂的操作任务,在日常生活中经常执行。实验结果表明,即使在少量训练数据的情况下,该方法也能取得良好的泛化性能。
2020-03-01 cs.RO