GP3: A 3D Geometry-Aware Policy with Multi-View Images for Robotic Manipulation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);HuPan Lab(虎鹏实验室);Tongji University(同济大学)
本文提出GP3策略,利用多视角RGB图像和空间编码器推断三维几何表示,并结合语言指令生成连续动作,在模拟与真实机器人上均展现出优于现有方法的几何感知操作能力。
2025-09-19 cs.AI cs.RO
Affordance-based Robot Manipulation with Flow Matching
Honda Research Institute EU(本田欧洲研究院)
本文提出将参数高效提示微调用于可供性理解,并以流匹配学习机器人动作轨迹,在10个日常生活任务数据集上验证了该方法在性能、稳定性和推理速度上的优势。
2025-11-07 cs.AI cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个遥操作系统,使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务,如折布,锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系,动态运动缩放和重新定位的操作框架,以增加我们的遥操作系统的灵活性。我们假设,降低遥操作的进入门槛将允许更广泛地部署监督自治系统,这将反过来生成现实的数据集,释放机器学习的潜力,用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Perceiving, Reasoning, Adapting: A Dual-Layer Framework for VLM-Guided Precision Robotic Manipulation
本文提出一种渐进式VLM规划算法,通过任务记忆结构、2D拓扑图和3D空间网络实现空间-语义融合,使机器人能够基于实时反馈动态调整并逐步纠错,从而在复杂装配任务中实现快速、精确的精细操作。
2025-03-07 cs.AI cs.RO
Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Toyota Technological Institute(丰田技术研究院)
本报告介绍了我们在真实机器人挑战赛(https://real-robot-challenge.com/)中的获奖作品。真正的机器人挑战赛是一个三阶段的灵巧操纵比赛,涉及使用TriFinger平台操纵各种矩形物体。我们的方法结合了运动规划与几个运动基元来操纵对象。对于阶段1和阶段2,我们还在模拟中学习了一个残差策略,该策略在控制器上应用纠正措施。我们的方法在第二阶段和第三阶段的比赛中获得了第一名。我们在比赛排行榜上被匿名称为“ardentstork”(https://real-robot-challenge.com/leader-board)。视频和我们的代码可以在https://github.com/ripl-ttic/real-robot-challenge上找到。
2021-01-08 cs.AI cs.RO
Robotic self-representation improves manipulation skills and transfer learning
University of Hamburg(汉堡大学)
认知科学认为,自我表征对学习和解决问题至关重要。然而,缺乏将这种说法与认知上合理的机器人和强化学习联系起来的计算方法。在本文中,我们通过开发一个模型来弥合这一差距,该模型学习双向动作-效果关联,以从多感官信息中编码身体图式和近个人空间的表征,称为多模态BidAL。通过三个不同的机器人实验,我们证明,这种方法显着稳定的学习为基础的问题解决在嘈杂的条件下,它提高了机器人操作技能的迁移学习。
2020-11-13 cs.AI cs.RO
Efficient Sensorimotor Learning for Open-world Robot Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本论文面向开放世界机器人操作,提出以规律性为核心的高效感知运动学习方法,通过物体中心先验、空间理解和可复用技能识别,使机器人从少量示范或视频中快速学习并泛化多任务操作技能。
2025-05-07 cs.AI cs.RO
Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information
具有高数据效率的端到端学习机器人操作是机器人技术的关键挑战之一。利用人类演示数据和无监督表示学习的最新方法已被证明是提高RL学习效率的一个有前途的方向。示范数据的使用还允许使用具有模仿学习的离线数据或最近出现的离线强化学习算法来“预热”RL策略。然而,现有的工作往往把离线策略学习和在线探索作为两个独立的过程,这往往是伴随着严重的性能下降,在离线到在线的过渡。此外,许多机器人操作任务涉及复杂的子任务结构,这是非常具有挑战性的稀疏奖励RL解决。在这项工作中,我们提出了一个统一的离线到在线RL框架,解决了过渡性能下降的问题。此外,我们引入目标感知的状态信息的RL代理,这可以大大降低任务的复杂性和加速策略学习。结合先进的无监督表示学习模块,我们的框架实现了很大的训练效率和性能相比,国家的最先进的方法在多个机器人操作任务。
2021-10-21 cs.AI cs.RO
Robustness of Robotic Manipulation: Foundations and Frontiers
Duke University(杜克大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Organifarms
本文系统研究机器人操作鲁棒性,提出正式定义、概率与控制理论框架,并综述感知、规划、控制、策略学习和硬件中的鲁棒性机制及评估方法,展望实现人类级鲁棒性的未来方向。
2026-07-01 cs.AI cs.RO
Never-Ending Behavior-Cloning Agent for Robotic Manipulation
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(机器人国家重点实验室,沈阳自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);School of Automation Science and Engineering, South China University of Technology(自动化科学与工程学院,华南理工大学);Mohamed bin Zayed University of Artificial Intelligence(马斯达尔大学人工智能学院)
本文提出NBAgent,通过持续学习技能共享和特定属性,解决具身机器人中3D场景表示和人类水平任务学习的挑战。
2025-12-26 cs.AI cs.RO
Transformer-based deep imitation learning for dual-arm robot manipulation
The University of Tokyo(东京大学)
本研究提出基于Transformer的深度模仿学习方法,利用自注意力机制减少双臂操作中高维状态带来的干扰,在真实机器人上验证了该方法能提升操作性能。
2025-05-21 cs.AI cs.RO
Supportive Actions for Manipulation in Human-Robot Coworker Teams
Georgia Institute of Technology(佐治亚理工学院);Monash University(莫纳什大学)
机器人与人类的共存越来越多,例如在制造业中的人机团队中,这引发了人们对机器人同行的行为偏好的研究问题。我们长期的行动,支持互动,减少未来的干扰与他人的支持机器人的行动,并调查他们的效用在一个共同定位的操纵方案。我们比较了两种机器人模式在一个共享的表拾取和放置任务:(1)任务导向:机器人只采取行动,以进一步自己的任务目标和(2)支持:机器人有时更喜欢支持行动,以任务为导向的,当他们减少未来的目标冲突。我们的模拟实验,使用简化的人类模型,揭示了支持性的行动减少代理之间的干扰,特别是在更困难的任务,但也导致机器人需要更长的时间来完成任务。我们实现了这些模式的物理机器人在用户研究中,人类和机器人执行对象放置在一个共享的表。我们的研究结果表明,一个支持机器人被认为是一个更有利的同事的人,也减少了干扰与人类在更困难的两种情况。然而,它也花了更长的时间来完成任务,突出了任务效率和人类偏好之间的一个有趣的权衡,需要考虑之前设计的机器人行为的近距离操作场景。
2020-05-02 cs.AI cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控,实现安全稳健的机器人操作,提升性能与可靠性。
2026-03-05 cs.AI cs.RO
PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation
Johns Hopkins University(约翰霍普金斯大学);ShanghaiTech University(上海科技大学)
本研究推出首个面向细粒度机器人操作的部件级指令基准PartInstruct,包含丰富标注的物体实例与任务、合成专家演示及测试套件,实验发现现有模型在部件概念落地和长时序部件操作上存在不足。
2025-06-16 cs.AI cs.RO
Learning from Imperfect Demonstrations with Self-Supervision for Robotic Manipulation
Syracuse University(苏利文大学);Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Peking University(北京大学);Shanghai University(上海大学)
本文提出SSDF框架,通过自监督学习利用不完美示范数据提升机器人操作任务的性能。
2025-03-17 cs.AI cs.RO
CapsDT: Diffusion-Transformer for Capsule Robot Manipulation
Department of Electronic Engineering, The Chinese University of Hong Kong (CUHK)(电子工程系,香港中文大学(CUHK))
本研究提出CapsDT,一种扩散Transformer模型,用于胃部胶囊机器人操作,通过处理视觉和文本指令生成控制信号,在多种内窥镜任务中达到最先进性能,真实世界模拟成功率为26.25%。
2025-06-19 cs.AI cs.RO
LLM-Based Human-Robot Collaboration Framework for Manipulation Tasks
Nagoya University(名古屋大学);National Center for Geriatrics and Gerontology(国立长寿医疗研究中心)
本文提出一种基于LLM的人机协作框架,利用LLM将语言命令转为运动序列,结合YOLO感知与遥操作及DMP纠正,提升机器人操作决策的准确性与泛化能力。
2023-08-29 cs.AI cs.RO
MoDeSuite: Robot Learning Task Suite for Benchmarking Mobile Manipulation with Deformable Objects
Department of Electrical Engineering and Automation, Aalto University(艾尔沃斯大学电气工程与自动化系);Faculty of Science, Vrije Universiteit Amsterdam(阿姆斯特丹自由大学科学学院)
针对可变形物体移动操作缺乏标准化基准的问题,研究团队推出MoDeSuite任务套件,包含8项相关任务,通过训练多种学习算法验证基准效用,并在Spot机器人上实现仿真到现实的迁移,有望开辟新研究方向。
2025-07-29 cs.AI cs.RO
RoboInspector: Unveiling the Unreliability of Policy Code for LLM-enabled Robotic Manipulation
Zhejiang University(浙江大学);Xi’an Jiaotong University(西安交通大学)
研究基于大语言模型的机器人操作中策略代码不可靠问题,设计RoboInspector从任务复杂性和指令粒度揭示其不可靠性,通过实验识别四种不可靠行为及原因,还引入优化方法,可提高策略代码生成可靠性达35%。
2026-07-22 cs.AI cs.RO
Robot Collapse: Supply Chain Backdoor Attacks Against VLM-based Robotic Manipulation
City University of Hong Kong(香港城市大学);Huazhong University of Science and Technology(华中科技大学);Beihang University(北京航空航天大学);Griffith University(格里菲斯大学)
本文提出TrojanRobot框架,通过在模块化机器人策略中嵌入恶意模块,操控LLM到VLM路径,验证了在18个真实任务和4个VLM上的优越性。
2026-04-02 cs.AI cs.RO
Improved Learning of Robot Manipulation Tasks via Tactile Intrinsic Motivation
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们解决了机器人操作任务的深度强化学习探索的挑战。在稀疏目标设置中,智能体在随机实现目标之前不会收到任何正反馈,这对于较长的控制序列变得不可行。受儿童中观察到的基于触摸的探索的启发,我们基于机器人的力传感器和鼓励物理交互的操纵对象之间的力的总和来制定内在奖励。此外,我们引入接触优先经验重放,采样方案,优先接触丰富的插曲和过渡。我们表明,我们的解决方案加速了探索,并优于三个基本的机器人操作基准的最先进的方法。
2021-02-22 cs.AI cs.LG cs.RO
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego(加利福尼亚大学圣迭戈分校);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);University of Maryland, College Park(马里兰大学帕克分校);Tsinghua University(清华大学)
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题,提出融合视觉与动作等动力学信息的MCR框架,在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
Memory-based gaze prediction in deep imitation learning for robot manipulation
The University of Tokyo(东京大学)
深度模仿学习是一种很有前途的方法,在自主机器人操作中不需要硬编码的控制规则。目前深度模仿学习在机器人操作中的应用仅限于基于当前时间步状态的反应式控制。然而,未来的机器人也将被要求利用它们在复杂环境中的经验获得的记忆来解决任务(例如,当要求机器人在架子上找到先前使用过的物体时)。在这种情况下,简单的深度模仿学习可能会因为复杂环境造成的分心而失败。我们建议,从顺序的视觉输入的凝视预测,使机器人能够执行需要记忆的操作任务。该算法采用基于Transformer的自注意结构,对基于序列数据的视线估计进行记忆。所提出的方法进行了评估与一个真正的机器人多对象操作任务,需要以前的状态记忆。
2022-02-10 cs.AI cs.CV cs.RO
Interpreting Behaviors and Geometric Constraints as Knowledge Graphs for Robot Manipulation Control
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学)
本文提出利用机器人知识图谱统一行为树与几何约束,将操作控制概念化为语义事件,以实现可解释的机器人操作控制。
2025-10-07 cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks
JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学)
针对双臂移动机器人家务操作数据匮乏问题,提出BRMData数据集,涵盖10项多样化家务任务并引入操作效率评分MES指标,以推动双臂移动操作技术发展。
2024-06-06 cs.RO
Learning to Transfer Human Hand Skills for Robot Manipulations
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔大学)
本文提出从人类手部示范学习联合运动流形并生成伪监督三元组,以推断合理机器人动作,显著提升真实机器人灵巧操作的重定向效果。
2025-01-07 cs.AI cs.LG cs.RO
The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
该综述总结机器人操作从机械编程到具身智能、从简单夹具到多指灵巧手的演变及挑战,重点介绍当前具身灵巧操作在数据采集与技能学习框架的进展,并讨论三大限制其发展的关键挑战。
2025-11-18 cs.RO
Binary Neural Network in Robotic Manipulation: Flexible Object Manipulation for Humanoid Robot Using Partially Binarized Auto-Encoder on FPGA
Osaka University(大阪大学);Waseda University(早稻田大学);Kyoto University(京都大学)
提出了一种基于FPGA的神经网络的人形机器人柔性物体操作系统。虽然使用机器人操纵柔性物体吸引了越来越多的关注,因为这些任务是我们日常生活中的基本和必不可少的活动,但直到最近才在深度神经网络的帮助下付诸实践。然而,这样的系统依赖于GPU加速器,其不能被实施到空间有限的机器人身体中。虽然现场可编程门阵列(FPGA)被认为是节能的并且适合于嵌入式系统,但是由于FPGA具有有限的片上存储器,因此模型大小应该被大幅减小。为此,我们提出了“部分”二进制化深度卷积自动编码器技术,其中只有编码器部分被二进制化以压缩模型大小,而不会降低推理精度。在Xilinx ZCU 102上实现的模型实现了每秒41.1帧,功耗为3.1 W,{ \awano {,分别相当于在Core i7 6700 K和RTX 2080 Ti上实现的系统的10倍和3.7倍改进。
2021-07-01 cs.RO
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
在本文中,我们提出了一种新的任务,操纵问答(MQA),其中机器人执行操作动作,以改变环境,以回答给定的问题。为了解决这个问题,提出了一个框架,包括一个QA模块和操纵模块。对于问答模块,我们采用了可视化问答任务的方法。对于操作模块,设计了一个深度Q网络(DQN)模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况,并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验,以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO
Amortized Object and Scene Perception for Long-term Robot Manipulation
University of Bremen(不来梅大学)
移动机器人在人类环境中进行长期的操作活动,必须感知各种各样的具有非常不同的视觉特性的对象,并需要在整个任务执行过程中可靠地跟踪这些对象。为了提高效率,机器人的感知能力需要超越当前可感知的范围,并且应该能够回答有关当前和过去场景的查询。在本文中,我们研究了一个长期的机器人操作的感知系统,跟踪不断变化的环境,并建立一个代表性的感知世界。具体来说,我们引入了一个摊销组件,在整个执行周期中传播感知任务。由此产生的查询驱动的感知系统异步集成的结果,从记录的图像到一个符号和数字(我们称之为子符号)表示,形成的感知信念状态的机器人。
2019-03-28 cs.AI cs.CV cs.RO
SEM: Enhancing Spatial Understanding for Robust Robot Manipulation
Horizon
针对机器人操作中空间理解不足的问题,提出基于扩散的SEM框架,融合三维几何增强与本体感知编码,显著提升操作稳健性与泛化性。
2025-09-24 cs.AI cs.CV cs.RO
Vision-based Robot Manipulation Learning via Human Demonstrations
Beihang University(北京航空航天大学)
基于视觉的学习方法为机器人学习复杂的操作任务提供了希望。然而,如何将学习到的操作技能推广到现实世界的交互仍然是一个悬而未决的问题。在这项工作中,我们研究了机器人操作技能的学习,从一个单一的第三人称视图演示使用活动识别和目标检测在计算机视觉。为了促进跨对象和环境的泛化,我们建议使用文本语料库形式的先验知识库来推断在机器人的上下文中要与之交互的对象。我们评估我们的方法在现实世界中的机器人,使用几个简单和复杂的操作任务,在日常生活中经常执行。实验结果表明,即使在少量训练数据的情况下,该方法也能取得良好的泛化性能。
2020-03-01 cs.RO
FLAME: A Federated Learning Benchmark for Robotic Manipulation
KTH Royal Institute of Technology(皇家理工学院)
本文提出首个面向机器人操作的联邦学习基准FLAME,包含超16万条多环境专家演示及训练评估框架,通过评估标准联邦学习算法揭示分布式策略学习的潜力与关键挑战。
2025-09-22 cs.RO
An Attention Transfer Model for Human-Assisted Failure Avoidance in Robot Manipulations
Kent State University(肯特州立大学)
由于现实世界的动态性和硬件的不确定性,机器人不可避免地会在任务执行中失败,导致不期望的甚至危险的执行。为了避免故障并提高机器人性能,在早期阶段识别和纠正异常机器人执行至关重要。然而,由于有限的推理能力和知识存储,它是具有挑战性的机器人自我诊断和纠正自己的异常在规划和执行。为了提高机器人的自诊断能力,提出了一种新的人-机器人注意转移(\textit{\textbf{H2R-AT}})方法,利用人的指令识别机器人的操作错误。\textit{\textbf{H2R-AT}}是将注意力映射机制融合到一种新的层叠式神经网络模型中,将人类的言语注意力转化为机器人的视觉注意力。通过注意力转移,机器人理解\textit{what}和\textit{where}人类关注的是识别和纠正异常操作。两个代表性的任务场景:“在厨房里为一个人供水”和"在工厂里拿起一个有缺陷的齿轮”被设计在一个具有异常机器人操作的模拟框架CRAIhri中; $252$志愿者被招募来提供大约12000个口头提醒来学习和测试\textit{\textbf{H2R-AT}}。通过$73.68\%$在转移注意力方面的高准确性和$66.86\%$在避免抓取失败方面的高准确性验证了该方法的有效性。
2021-06-29 cs.AI cs.HC cs.RO
GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation
UC San Diego(加州大学圣迭戈分校);UC Los Angeles(加州大学洛杉矶分校);Meta
GSWorld结合3D高斯泼溅与物理引擎,提出GSDF资产格式,构建含3种机器人和40+物体的数据库,实现零样本sim2real策略学习、DAgger数据收集、可重复基准测试等应用,推动机器人操作闭环开发。
2025-10-23 cs.AI cs.CV cs.RO
APEX: Ambidextrous Dual-Arm Robotic Manipulation Using Collision-Free Generative Diffusion Models
本文提出 APEX,将双臂操作抽象为双向量对齐,并用分类器引导的潜在扩散模型生成无碰撞、可行且安全的双臂轨迹,硬件实验证明其优于传统运动规划方法。
2024-04-02 cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University(萨班哲大学)
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明,与一些方法,感知和规划的紧密结合提高了计划的质量,以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University(清华大学)
在人们的日常对话中,指称语通常用于指称特定的对象。在本文中,我们开发了一个新的任务,视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式,并执行相应的操作。为了解决这个问题,提出了一个视听框架,用于视觉定位和声音识别。我们还建立了一个数据集,其中包含视觉数据,听觉数据和操作指令进行评估。最后,大量的实验进行了离线和在线,以验证所提出的视听框架的有效性。实验结果表明,机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
Underwater Robot Manipulation: Advances, Challenges and Prospective Ventures
Technology Innovation Institute (TII)(技术创新研究院)
水下操纵是机器人领域最引人注目的研究课题之一。\acp{I-AUV}不仅要应对与传统操作任务相关的技术挑战,而且要在水流和波浪干扰车辆稳定性,以及低光、浑浊的水条件阻碍感知周围环境的情况下完成这些任务。当然,动态的性质和我们对海洋环境的有限了解阻碍了水下机器人操作的自主性能。这份手稿提供了一个讨论以前的研究和限制因素,强加在长期设想的前景自主水下操纵,最终突出的研究方向,有可能提高自主能力的I-AUV。
2022-01-09 cs.RO
ProbRobScene: A Probabilistic Specification Language for 3D Robotic Manipulation Environments
The Alan Turing Institute(阿兰·图灵研究所)
机器人控制任务通常首先在仿真中运行,用于验证、调试和数据增强。存在许多方法来指定机器人必须完成什么任务,但很少有方法来指定用户期望在什么范围的环境中完成这些任务。ProbRobScene是一种描述机器人操作环境的概率规约语言。使用该语言,用户只需要指定场景中对象之间必须保持的关系约束。ProbRobScene将自动生成符合此规范的场景。通过结合概率程序设计语言和凸几何的方面,我们提供了一种有效地对可能环境的空间进行采样的方法。我们证明了我们的语言的有用性,用它来调试机器人控制器在桌面机器人操作环境。
2021-03-19 cs.RO
Human-inspired Grasping Strategies of Fresh Fruits and Vegetables Applied to Robotic Manipulation
Ocado Technology(奥凯多科技);University of Genoa(热那亚大学)
本研究借鉴人类抓取零散果蔬的操作策略,开发配备多指柔性夹爪的机器人抓取装置,通过物流行业KPIs验证其性能,为果蔬智能操作机器人的后续发展奠定基础。
2024-10-30 cs.RO
Deep Imitation Learning for Bimanual Robotic Manipulation
Northeastern University(东北大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个深度的模仿学习框架,机器人双手操作在一个连续的状态-动作空间。一个核心挑战是将操作技能推广到不同位置的对象。我们假设,在环境中的关系信息建模可以显着提高泛化。为了实现这一点,我们建议(i)分解的多模态动力学元素的运动原语,(ii)参数化每个原语使用一个经常性的图神经网络捕捉相互作用,和(iii)集成一个高层次的计划,组成原语顺序和低层次的控制器,结合原始动力学和逆运动学控制。我们的模型是一个深层次的,模块化的架构。与基线相比,我们的模型更好地推广,并在几个模拟双手机器人操作任务上实现了更高的成功率。我们在https://github.com/Rose-STL-Lab/HDR-IL上开源了模拟、数据和模型的代码。
2020-11-30 cs.AI cs.LG cs.RO
Region-Based Planning for 3D Within-Hand-Manipulation via Variable Friction Robot Fingers and Extrinsic Contacts
Worcester Polytechnic Institute(伍斯特理工学院);Imperial College London(伦敦帝国理工学院)
实现机器人手内操纵(WIHM)的尝试通常利用具有精细感测装置的高DOF机器人手或多臂机器人系统。在以前的工作中,我们提出了一个简单的机器人手与可变摩擦机器人手指,它允许一个低复杂度的方法,手内物体的平移和旋转,虽然这种操作仅限于平面动作。在这项工作中,我们扩展了该系统的能力,三维操纵一个新的区域为基础的WIHM规划算法,并利用外部接触。调节手指摩擦力的能力增强了三维WIHM的外在灵活性,并允许我们在准静态水平下操作。基于区域的规划器自动生成具有修改的A* 公式的3D操作序列,该修改的A* 公式导航手指和对象表面之间的接触区域以到达期望的区域。该方法的核心是一组物体运动基元(即手内滑动,旋转和旋转),这可以很容易地通过改变接触摩擦来实现。通过这种方法,可以实现广泛的目标区域,这是通过真实的机器人实验后,标准化的手操作基准协议证明。
2021-05-20 cs.RO
RobotGPT: Robot Manipulation Learning from ChatGPT
Samsung Research China – Beijing (SRC-B)(三星中国研究院——北京(SRC-B));Tsinghua University(清华大学);Universität Hamburg(汉堡大学)
本文提出RobotGPT框架,通过有效提示结构和鲁棒学习模型,利用ChatGPT作为专家训练稳定可靠的机器人操作智能体,将任务成功率从38.5%提升至91.5%,解决了直接使用ChatGPT生成代码的不稳定与安全问题。
2023-12-03 cs.RO
Towards Super-Nominal Payload Handling: Inverse Dynamics Analysis for Multi-Skill Robotic Manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对机器人受额定负载限制的问题,本文通过 Franka Emika Panda 的逆动力学实证分析,证明其可处理两倍以上额定负载,并指出结合非抓握原语可提升超重操作成功率。
2024-12-01 cs.RO
Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration
Nagoya University(名古屋大学);The University of Tokyo(东京大学);National Center for Geriatrics and Gerontology(国立长寿医疗研究中心)
本文提出结合GPT-4高层指令分解、YOLO视觉感知及遥操作与DMP的人机协作方法,使基于LLM的机器人能够通过人类指导高效完成复杂操作任务。
2024-07-01 cs.AI cs.HC cs.RO
RGBManip: Monocular Image-based Robotic Manipulation through Active Object Pose Estimation
Hyperplane Lab, School of CS, Peking University(北京大学计算机学院超平面实验室);National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
本文提出RGBManip框架,利用夹爪上的单目相机进行主动多视角6D物体位姿估计,并通过强化学习平衡位姿精度与操作效率,在仿真和真实环境中取得先进性能。
2024-09-09 cs.RO
Hefty: A Modular Reconfigurable Robot for Advancing Robot Manipulation in Agriculture
Ecorobotix(Ecorobotix公司)
针对农业机器人配置成本高、任务差异大的问题,本文设计模块化可重构机器人 Hefty,给出关键模块设计与集成流程,并以五种实际农业应用配置验证其实用性。
2024-02-28 cs.RO
Towards Robot-independent Manipulation Behavior Description
Deutsches Forschungszentrum für Künstliche Intelligenz(德国人工智能研究中心)
在本文中,我们提出了一个工作流程来设计和控制机器人的操作行为。为了保持独立于特定的机器人硬件和明确的应用领域,嵌入式领域特定语言(eDSL)被用于描述特定的机器人和驱动机器人的控制器网络。我们利用a)基于组件的软件框架,b)基于模型的算法的运动和传感器处理表示,c)控制系统的抽象模型,和d)计划管理软件,来描述一系列的软件组件网络,生成所需的机器人行为。作为第一个结果,我们提出了一个eDSL的机电一体化子系统组成的机器人系统的描述,并创建一个多阶段的控制网络。
2014-12-10 cs.RO
Human-in-the-loop Robotic Manipulation Planning for Collaborative Assembly
Osaka University(大阪大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
提出了一种面向人机协同装配的机器人操作规划器。与以往研究一个独立的、完全配备人工智能的自主系统的方法不同,本文探讨了机器人和人之间的子任务分配,并研究了一个用于协同装配的人在回路机器人系统。该系统通过利用机器人和人类的优势,避免他们的缺点,分配装配的子任务。系统中的机器人将执行拾取和放置任务,并为人类提供工件。人类合作者将工作的精细操作,如对齐,固定,拧,等约束为基础的增量操作规划方法,提出了产生的机器人的运动。所提出的系统的性能证明,要求一个人和双臂机器人协作组装一个内阁。实验结果表明,所提出的系统和规划器是有效的,高效的,可以帮助人类舒适地完成装配任务。
2019-09-25 cs.RO
Machine Learning for Robotic Manipulation
UCSD(加州大学圣地亚哥分校)
在过去的十年中,机器学习技术在监督学习范式中取得了巨大的成功,在这种范式中,训练和测试之间有着明确的界限。在监督学习范式中,学习本质上是被动的,寻求将大规模数据集中的人类提供的监督提取到高容量模型中。在这些成功之后,机器学习研究人员已经超越了这种范式,并对更具动态性的任务感兴趣。对他们来说,机器人技术是一个很好的测试平台,因为机器人技术的挑战打破了许多使监督学习成功的假设。在机器人技术的许多不同领域中,机器人操作已经成为研究人员展示新算法的最受欢迎的领域,因为它具有大量可能的应用及其高度动态和复杂的性质。本文件调查了最近的机器人会议,并确定了机器学习技术已被应用于机器人操作的挑战的主要趋势。
2021-01-04 cs.RO
Arm Manipulation Planning of Tethered Tools with the Help of a Tool Balancer
Osaka University(大阪大学)
机器人操纵系留工具在机器人工作单元中被广泛看到。它们可能会导致工具的电缆上的过度应变或与机器人手臂的不希望的缠绕。本文提出了一种具有电缆方向约束的工具平衡器悬挂的系留工具的操作规划器。规划器使用方向约束来限制平衡器的电缆的弯曲,而机器人操纵工具,并将其放置在所需的姿势。这些约束减少了缠绕并减小了由线缆在机器人关节上引起的扭矩。仿真和真实世界的实验表明,受约束的规划器可以成功地规划机器人运动的悬浮系留工具的操作,防止机器人损坏电缆或得到其手臂纠缠,潜在地避免事故。该规划器在制造单元中具有广阔的应用前景。
2018-12-15 cs.RO