Task-Directed Exploration in Continuous POMDPs for Robotic Manipulation of Articulated Objects
Massachusetts Institute of Technology(麻省理工学院);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
不确定性的表示和推理是自主智能体在部分可观测环境中与噪声传感器的关键。部分可观测马尔可夫决策过程(POMDPs)作为一个通用的框架,代表问题中的不确定性是一个重要因素。基于在线样本的POMDP方法已经成为解决大型POMDP的有效方法,并已被证明可以扩展到连续域。然而,这些解决方案很难在具有显著不确定性的问题中找到长期计划。探索地理学可以帮助指导规划,但许多现实世界的设置包含重大的任务无关的不确定性,可能会分散任务目标。在本文中,我们提出了一种在线POMDP求解器,能够处理需要长期规划的领域,具有显着的任务相关和任务无关的不确定性。我们展示了我们的解决方案在几个时间上的扩展版本的玩具POMDP问题,以及机器人操作的铰接对象使用神经感知前端构建一个可能的模型分布。我们的研究结果表明,BLOG优于目前基于样本的在线POMDP求解器在几个任务。
2022-12-08 cs.RO
Functional Co-Optimization of Articulated Robots
MIT Computer Science And Artificial Intelligence Laboratory (CSAIL), Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室(CSAIL))
我们提出了参数轨迹优化,同时计算物理参数,驱动要求,和机器人运动更有效的机器人设计的方法。在该方案中,机器人的尺寸,质量,和其他物理参数同时解决传统的运动规划变量,包括动态一致的机器人状态,驱动输入,和接触力。我们的方法需要最少的用户领域的知识,只需要一个粗略的猜测的目标机器人配置序列和参数化的机器人拓扑结构作为输入。我们展示了我们的结果在四个模拟机器人,其中一个我们物理制造,以证明物理一致性。我们证明,通过优化机器人的身体参数,机器人轨迹,运动规划问题,否则将是不可行的,可以成为可行的,驱动要求可以显着降低。
2017-07-20 cs.RO
Humanoid Robot Acrobatics Utilizing Complete Articulated Rigid Body Dynamics
Gerald Brantner(独立研究者)
本文提出了一种结合轨迹优化和全身控制的架构,基于完整铰接刚体动力学方程,使人形机器人能够在仿真中有效执行高动态杂技动作。
2025-07-17 cs.RO
FlowBotHD: History-Aware Diffuser Handling Ambiguities in Articulated Objects Manipulation
Robotics Institute, School of Computer Science(计算机学院机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
本文提出历史感知扩散网络FlowBotHD,通过建模关节模式的多模态分布并利用观测历史,解决对称或遮挡导致的关节物体操作歧义,显著提升操作性能。
2024-12-28 cs.RO
Hybrid Trajectory Optimization for Autonomous Terrain Traversal of Articulated Tracked Robots
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
提出一种铰接式履带机器人自主地形跨越的混合轨迹优化方法,通过平面接触模型与混合运动模式实现实时规划,在仿真与真实场景中验证了其在时间、能效、稳定性与平滑度上的优势。
2023-11-23 cs.RO
Collision-free Motion Generation Based on Stochastic Optimization and Composite Signed Distance Field Networks of Articulated Robot
本文提出复合SDF网络快速计算机器人与障碍物距离,并结合MPPI随机优化进行贝叶斯轨迹规划,在Franka Emika Panda上实现无碰撞、时间最优运动。
2023-06-07 cs.RO
Articulated Object Interaction in Unknown Scenes with Whole-Body Mobile Manipulation
ETH Zürich(苏黎世联邦理工学院);Vector Institute(矢量研究院);University of Toronto(多伦多大学);NVIDIA(英伟达公司)
针对未知动态环境中移动操作器与大型铰接物体自主交互的难题,提出物体中心规划加智能体中心最优控制的两阶段架构,在轮式、腿式平台的厨房场景中实现了更高成功率与更短执行时间,并完成硬件验证。
2022-03-18 cs.AI cs.RO
Sim2Real$^2$: Actively Building Explicit Physics Model for Precise Articulated Object Manipulation
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);AVIC Chengdu Aircraft Industrial (Group) Co., Ltd(中航工业成都飞机工业(集团)有限责任公司)
精确操纵关节对象是一个具有挑战性的,但对于实际的机器人应用的重要任务。在本文中,我们提出了一种新的框架,称为Sim2Real $^2$,使机器人能够操纵一个看不见的关节对象所需的状态,在现实世界中,没有人的示范。我们利用物理仿真和基于学习的感知的最新进展来构建对象的交互式显式物理模型,并使用它来规划长时间操作轨迹以完成任务。然而,交互模型不能从静态观测中正确估计。因此,我们学习从单帧点云预测对象启示,控制机器人以一步动作主动与对象交互,并捕获另一个点云。进一步地,从两个点云构造物理模型。实验结果表明,我们的框架实现了约70%的操作与常见的关节对象<30%的相对误差,和30%的操作困难的对象。我们提出的框架还支持高级操作策略,例如使用不同的工具进行操作。代码和视频可以在我们的项目网页上找到:https://ttimelord.github.io/Sim2Real2-site/
2023-02-21 cs.RO
Implicit Articulated Robot Morphology Modeling with Configuration Space Neural Signed Distance Functions
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Chalmers University of Technology(查尔姆斯理工大学);University College London(伦敦大学学院);Rice University(莱斯大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出机器人神经距离函数RNDF,用构型空间符号距离函数隐式建模关节机器人形态,以更少参数实现更高精度,并应用于杂乱环境下的全臂无碰撞抓取规划。
2025-03-07 cs.RO
Steering Through Contact: A Finite-Support Motion Model for Single-Track Center-Articulated Robots
Norlab, Université Laval(拉瓦尔大学Norlab);TSCF, INRAE(法国国家农业、食品与环境研究院TSCF)
本研究提出有限支撑二次模型(FSQ),通过准静态平衡纳入旋转阻力,推广点接触模型,在7公里实测中使五秒预测误差降低53.5%和68.9%。
2026-09-22 cs.RO
DexSim2Real$^{2}$: Building Explicit World Model for Precise Articulated Object Dexterous Manipulation
Department of Mechanical Engineering, Tsinghua University(清华大学机械工程系);Institute for Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology(机器人与智能机器研究所(IRIM),佐治亚理工学院);JD Explore Academy, Beijing, China(京东探索研究院,北京,中国)
提出DexSim2Real$^{2}$框架,通过主动交互构建未见铰接物体的显式世界模型,结合基于采样的模型预测控制与3D AIGC数字孪生,在无需演示或强化学习的情况下实现了多种夹爪与灵巧手的精确操作及工具使用。
2025-07-13 cs.RO
GSAM: A Generalizable and Safe Robotic Framework for Articulated Object Manipulation
College of Computer Science, Chongqing University, Chongqing, China(重庆大学计算机学院);Lumos Robotics, China(Lumos机器人中国);Xi'an Jiaotong-Liverpool University, China(西安交通大学利物浦大学);Fudan University, China(复旦大学);Department of Information Engineering and Computer Science, University of Trento, Trento, Italy(特伦托大学信息工程与计算机科学系)
提出GSAM框架,通过视觉感知器生成运动学参数、基于VLM的细调器进行常识推理修正、交互约束函数生成器集成障碍物避免知识,并由运动学感知规划器验证轨迹可达性,在50个铰链任务上相比最佳基线将标准差降低3.1%、操作成功率提升36.0%。
2026-05-29 cs.AI cs.RO
V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated Objects
Carnegie Mellon University(卡内基梅隆大学)
操纵关节式物体通常需要多个机器人手臂。使多个机器人手臂能够协作地完成对铰接对象的操作任务是具有挑战性的。在本文中,我们提出了$\textbf{V-MAO}$,一个框架,用于学习多臂操作的铰接对象。我们的框架包括一个变分生成模型,学习接触点分布的对象刚性部件为每个机器人arm.The训练信号是从与仿真环境,这是通过规划和一个新的制定对象为中心的控制铰接对象的互动。我们部署我们的框架在一个定制的MuJoCo仿真环境中,并证明我们的框架实现了六个不同的对象和两个不同的机器人的高成功率。我们还表明,生成式建模可以有效地学习关节对象上的接触点分布。
2021-11-07 cs.AI cs.CV cs.LG
GAMORA: A Gesture Articulated Meta Operative Robotic Arm for Hazardous Material Handling in Containment-Level Environments
Department of Computer Science \& AI Muffakham Jah College of Engineering
针对高风险实验室人员暴露风险与操作精度需求,研究团队提出VR引导的GAMORA机器人系统,整合多硬件与逆运动学等技术,实现危险任务远程精准操作,兼具低功耗与可扩展性。
2025-06-17 cs.AI cs.CV cs.RO
ArtiSG: Functional 3D Scene Graph Construction via Human-demonstrated Articulated Objects Manipulation
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Openmind;Pengcheng Laboratory(鹏城实验室)
ArtiSG通过编码人类示范到结构化机器人记忆中,构建功能3D场景图,解决现有方法在可动物体操作信息获取上的不足,提升机器人在真实环境中的任务执行能力。
2026-03-22 cs.RO
Manipulation of Articulated Objects using Dual-arm Robots via Answer Set Programming
University of Calabria(卡拉布里亚大学);Teseo srl(特塞奥有限公司);University of Genoa(热那亚大学);University of Huddersfield(哈德斯菲尔德大学)
关节式物体的操作是机器人技术中最重要的,也是最复杂的操作任务之一。传统上,这一问题是通过制定特别的方法来解决的,这种方法缺乏灵活性和可移植性。在本文中,我们提出了一个框架的基础上回答集编程(ASP)的自动操作的关节式物体的机器人控制架构。特别是,ASP用于表示的铰接对象的配置,用于检查在知识库中的这种表示的一致性,并用于生成操作动作的序列。该框架的Baxter双臂机械手在第一,简单的情况下,举例说明和验证。然后,我们扩展这样的场景,以提高整体设置精度,并引入一些限制,在机器人动作执行,以执行其可行性。扩展的场景需要大量可能的行动,这些行动可以有效地组合在一起。因此,我们利用自动规划的宏观行动,以提供更有效的计划。我们验证了扩展方案中的整体框架,从而证实了ASP在更现实的机器人设置中的适用性,并显示了基于机器人的关节式物体操作的宏动作的有用性。逻辑程序设计理论与实践(TPLP)
2020-10-02 cs.AI cs.LO cs.RO
Optimal Control for Articulated Soft Robots
Università di Pisa(比萨大学);Heriot-Watt University(赫瑞-瓦特大学);National Robotarium(国家机器人中心)
针对铰接式软体及欠驱动柔顺机器人控制难题,提出基于 DDP 的轨迹优化与状态反馈方法,可联合优化轨迹、力矩与刚度,并通过仿真和实验验证其性能提升。
2023-06-02 cs.RO
FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects
Carnegie Mellon University(卡内基梅隆大学)
FlowBot3D通过仿真训练神经网络预测点云稠密关节运动向量场,并结合解析运动规划器实现零微调的真实机器人关节式操纵,在仿真与真实实验中均达到最先进水平。
2024-05-02 cs.AI cs.CV cs.RO
Inferring 3D Articulated Models for Box Packaging Robot
Cornell University(康奈尔大学)
给定一个点云,我们考虑推断3D铰接对象的运动学模型,如框的目的是操纵它们。虽然以前的工作已经展示了如何提取平面运动学模型(通常表示为线性链),但这种平面模型不适用于由通常以循环配置链接到其他段的段组成的3D对象。我们提出了一种方法来建立一个模型,捕捉输入点云特征和对象段之间的关系,以及相邻对象段之间的关系。我们使用一个条件随机场,使我们能够对对象的不同部分之间的依赖关系进行建模。我们测试我们的方法推断运动学结构的部分和噪声点云数据的各种各样的盒子,包括蛋糕盒,比萨饼盒,和纸板箱的几个大小。推断出的结构使我们的机器人能够通过操纵襟翼成功关闭这些盒子。
2011-06-23 cs.AI cs.CV cs.RO
Kinematic-aware Prompting for Generalizable Articulated Object Manipulation with LLMs
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);Institute of Artificial Intelligence, China Telecom Corp Ltd(中国电信股份有限公司人工智能研究院)
本文提出运动学感知提示框架,将关节物体结构解析为统一文本描述,通过思维链提示大语言模型生成低层3D操作路径点,在16类48个实例上验证了优于传统方法的表现及对未见类别的零样本泛化能力。
2024-02-21 cs.AI cs.RO
GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);Hefei University of Technology(合肥工业大学)
针对铰接物体跨类别、未见实例泛化不足的问题,提出GAMMA框架,联合学习铰接建模与抓取可供性,并通过自适应操作迭代修正误差,在仿真和真实机器人上均优于现有SOTA方法。
2024-03-01 cs.CV cs.RO
DuetHOI: Language-Guided Bimanual Hand--Object Motion Generation with Articulation Planning and Contact Refinement
Hefei University of Technology(合肥工业大学);Shanghai Jiao Tong University(上海交通大学)
StructBiHOI通过结构化关节建模框架实现长时程双臂手-物体交互生成,提升稳定性和效率。
2026-08-03 cs.CV cs.RO
PokeNet: Learning Kinematic Models of Articulated Objects from Human Observations
School of Computation and AI, ASU, Tempe(计算与人工智能学院,亚利桑那州立大学);AI Institute, Seoul National University, Seoul, South Korea(首尔国立大学人工智能研究所)
PokeNet通过单个人类示范学习机械结构模型,无需先验知识,提升关节轴和状态估计精度达27%。
2026-07-16 cs.RO
Articulated Object Estimation in the Wild
University of Freiburg(弗赖堡大学);University of Stuttgart(斯图加特大学);University of Technology Nuremberg(纽伦堡技术大学)
针对现有铰接物体估计方法在真实无约束环境中失效的问题,提出结合深度点跟踪与因子图优化的ArtiPoint框架,可从动态RGB-D视频中鲁棒估计铰接特性,同时构建首个自我中心真实场景铰接数据集Arti4D,验证了方法的优越性能。
2025-09-01 cs.CV cs.RO
Language-Guided Terrain-Adaptive Neural MPC for Autonomous Traversal of Articulated Tracked Robots
针对铰接履带机器人在复杂环境中的自主穿越难题,提出结合学习运动学模型、NMPC和LLM调参的ASTRIL-MPC框架,显著提升穿越质量并消除碰撞。
2026-09-17 cs.AI cs.RO
Kinematify: Open-Vocabulary Synthesis of High-DoF Articulated Objects
Deemos Corporation(德莫斯公司);ShanghaiTech University(上海科技大学);Contextual Robotics Institute(情境机器人研究所);UC San Diego(加州大学圣地亚哥分校)
Kinematify通过自动化框架从RGB图像或文本描述合成高自由度可动物体,解决运动学拓扑推断和关节参数估计问题。
2026-03-03 cs.CV cs.RO
Mana: Dexterous Manipulation of Articulated Tools
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);Stanford University(斯坦福大学);Amazon FAR(亚马逊FAR)
提出Mana框架,将灵巧操作重解释为动画问题,通过粗到细的流水线自动生成操作轨迹,实现铰接工具的零样本仿真到现实迁移。
2026-06-12 cs.AI cs.CV cs.LG
Automatic Contact-Based 3D Scanning Using Articulated Robotic Arm
Military Institute of Science and Technology(军事科学技术学院);Bangladesh Army University of Science and Technology(孟加拉国陆军科学技术大学)
本文提出一种开环6自由度关节式机器人接触式3D扫描系统,利用逆运动学和直线轨迹规划实现自由曲面的自动单点测量与扫描,并基于ASME B89.4.22标准验证了其准确度与重复性。
2024-11-11 cs.RO physics.ins-det
Learning Sequential Kinematic Models from Demonstrations for Multi-Jointed Articulated Objects
School of Computation and AI, ASU, Tempe(计算与人工智能学院,亚利桑那州立大学);AI Institute, Seoul National University, Seoul, South Korea(首尔国立大学人工智能研究所)
提出 OKSM 表示与 Pokenet 网络,从人类演示和点云中学习多自由度铰接物体的运动学约束及操作顺序,并在仿真、真实数据和 Sawyer 机器人上验证。
2025-05-09 cs.AI cs.RO
NODE IK: Solving Inverse Kinematics with Neural Ordinary Differential Equations for Path Planning
Seoul National University(首尔国立大学);NJIT(新泽西理工学院)
提出了一种用于关节型机器人路径规划的逆运动学求解器。IK是机器人操作中一个传统而又重要的问题。最近,数据驱动的方法已被提出来快速解决路径规划的IK。这些方法可以利用GPU的优势一次处理大量的IK请求。然而,准确性仍然很低,并且模型需要相当长的时间进行训练。因此,我们提出了一个IK求解器,通过利用神经ODE的连续隐藏动力学来提高精度和内存效率。使用多个机器人的性能进行比较。
2022-09-01 cs.RO
Watch Less, Feel More: Sim-to-Real RL for Generalizable Articulated Object Manipulation via Motion Adaptation and Impedance Control
Peking University(北京大学);Galbot
本文提出融合观测历史运动适应与可变阻抗控制的RL流程,通过低维视觉信息提取、域随机化和双重奖励实现零样本sim-to-real铰接物体操作,真实世界成功率达84%。
2025-02-20 cs.AI cs.LG cs.RO
PointCast: One World Model for Rigid, Articulated, and Deformable Object Manipulation
University of Minnesota(明尼苏达大学)
PointCast提出一个点集世界模型,用扩散变换器预测物体点轨迹,统一处理刚体、铰接体和可变形物体操作,在模拟和真实数据上均优于基线。
2026-09-24 cs.RO
Versatile, Robust, and Explosive Locomotion with Rigid and Articulated Compliant Quadrupeds
Cognitive Robotics, Delft University of Technology(代尔夫特理工大学认知机器人学系);University of Trento(特伦托大学);University of Manchester(曼彻斯特大学);Institute of Robotics and Mechatronics, German Aerospace Center (DLR)(德国航空航天中心机器人与机电一体化研究所)
针对并联柔顺四足机器人控制难题,提出带躯干旋转的双足驱动弹簧加载倒立摆模板模型及双层轨迹优化流程,通过硬件实验验证其可生成多种动态运动,并联弹性能增强爆发性与鲁棒性。
2025-04-17 cs.RO
Integration of Robot and Scene Kinematics for Sequential Mobile Manipulation Planning
State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI), Beijing(国家一般人工智能重点实验室,北京一般人工智能研究院(BIGAI),北京);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Institute for Artificial Intelligence and School of Artificial Intelligence, Peking University(北京大学人工智能研究院和人工智能学院);Department of Automation, Tsinghua University(清华大学自动化系)
该研究提出序贯移动操作规划(SMMP)框架,通过构建增强配置空间(A-Space)集成机器人与场景运动学,实现三级高效规划,仿真成功率提升84.6%,真实系统验证了多物体、长步骤任务的流畅执行。
2025-08-26 cs.RO
Kineverse: A Symbolic Articulation Model Framework for Model-Agnostic Mobile Manipulation
University of Freiburg(弗莱堡大学);University of Bremen(不来梅大学)
未来的服务机器人需要执行抽象指令,例如“从冰箱里取牛奶”。为了将这些指令转化为可行的计划,机器人需要深入的背景知识。关于与门和抽屉的交互,机器人需要能够用于状态估计和运动规划的关节模型。现有的框架模型铰接连接抽象的概念,如棱柱,或旋转,但不提供一个参数化的模型,这些连接计算。在本文中,我们介绍了一种新的框架,使用符号数学表达式模型关节结构-机器人和物体一样-在一个统一的和可扩展的方式。我们提供了这个框架的理论描述,以及它的模型所支持的操作,并引入了一个架构来交换我们的模型在机器人应用程序中,使它们像任何其他环境观察一样灵活。为了证明我们的方法的实用性,我们采用我们的实际实现Kineverse解决常见的机器人任务,从状态估计和移动操作,并进一步使用它在现实世界中的移动机器人操作。
2022-02-16 cs.RO
Ditto in the House: Building Articulation Models of Indoor Scenes through Interactive Perception
the University of Texas at Austin(德克萨斯大学奥斯汀分校)
将物理世界虚拟化为虚拟模型是机器人在现实世界中导航和规划的关键技术。为了在日常生活中促进对铰接物体的操纵,这项工作探索通过机器人在这些场景中有目的的交互来构建室内场景的铰接模型。先前关于清晰度推理的工作主要集中在有限类别的孤立对象上。为了扩展到房间规模的环境中,机器人必须有效地探索大规模的3D空间,定位有关节的物体,并推断它们的关节。我们引入一个互动的感知方法来完成这项任务。我们的方法,命名为同上的房子,发现可能的关节对象,通过启示预测,与这些对象进行交互,以产生关节运动,并推断关节属性从视觉观察之前和之后的每一个互动。它紧密结合启示预测和清晰度推理,以改善这两项任务。我们证明了我们的方法在模拟和现实世界的场景中的有效性。代码和其他结果可在https://ut-austin-rpl.github.io/HouseDitto/上获得
2023-02-02 cs.AI cs.CV cs.RO
ArticuBot: Learning Universal Articulated Object Manipulation Policy via Large Scale Simulation
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人学院);IIIS, Tsinghua University(清华大学人工智能研究所);Department of Computer Science, National Yang Ming Chiao Tung University(国立阳明交通大学计算机科学系)
提出ArticuBot系统,通过大规模仿真生成42.3k演示并蒸馏成分层点云策略,实现零样本迁移至真实机器人,成功打开各类未见铰接物体。
2025-05-01 cs.AI cs.LG cs.RO
Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction
UC Berkeley(加州大学伯克利分校)
本研究提出RSRD方法,通过4D可微部件模型(4D-DPM)从单目RGB视频恢复3D部件运动,使双臂机器人能模仿人类演示的铰接物体操作,在90次试验中端到端成功率达60%。
2024-09-26 cs.CV cs.RO
Learning High-Fidelity Robot Self-Model with Articulated 3D Gaussian Splatting
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学)
针对现有机器人自建模方法质量低、数据成本高且缺失纹理建模的问题,提出基于铰接3D高斯溅射的连杆级纹理感知自建模方法,可实现高保真建模并支撑运动规划等下游任务。
2025-10-03 cs.CV cs.RO
Using Nonlinear Normal Modes for Execution of Efficient Cyclic Motions in Articulated Soft Robots
German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich(慕尼黑工业大学);University of Pisa(比萨大学);Istituto Italiano di Tecnologia(意大利理工学院)
针对关节式软体机器人,提出基于特征流形和非线性模态的控制策略,实现高效循环运动,并在软腿上实验验证摆动振荡。
2023-09-05 cs.RO cs.SY eess.SY
DoorBot: Closed-Loop Task Planning and Manipulation for Door Opening in the Wild with Haptic Feedback
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对机器人在非结构化环境中开门泛化性差的问题,提出触觉感知的闭环分层控制框架,通过实时力反馈动态调整策略,在20扇未知门上实现90%成功率,为开放世界铰接物体操作提供支持。
2025-04-12 cs.RO
Riemannian Optimization for Distance-Geometric Inverse Kinematics
University of Toronto, Institute for Aerospace Studies(多伦多大学航空航天研究所);University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院)
该研究将基于距离的逆运动学等价为距离几何问题,提出在固定秩 Gram 矩阵黎曼流形上补全部分欧氏距离矩阵,并用边界平滑初始化,以提升多约束问题的求解成功率。
2023-12-10 cs.RO
Towards Super-Nominal Payload Handling: Inverse Dynamics Analysis for Multi-Skill Robotic Manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对机器人受额定负载限制的问题,本文通过 Franka Emika Panda 的逆动力学实证分析,证明其可处理两倍以上额定负载,并指出结合非抓握原语可提升超重操作成功率。
2024-12-01 cs.RO
Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics
University of California, Berkeley(加州大学伯克利分校);Siemens Corporation, Corporate Technology(西门子公司企业技术部)
为了减少鲁棒机器人抓取计划的深度学习的数据汇集时间,我们探索从670万个点云,抓取和分析抓取度量的合成数据集进行训练,这些数据是从Dex-Net 1.0的数千个3D模型中生成的,这些模型在桌子上随机摆姿势。我们使用由此产生的数据集Dex-Net 2.0来训练抓取质量卷积神经网络(GQ-CNN)模型,该模型可以快速预测深度图像中抓取成功的概率,其中抓取被指定为相对于RGB-D传感器的平面位置,角度和深度。在ABB YuMi上进行了超过1,000次试验,比较了单个物体的抓取规划方法,结果表明,仅使用Dex-Net 2.0的合成数据训练的GQ-CNN可以在0.8秒内规划抓取,在8个具有对抗几何形状的已知物体上的成功率为93%,并且比将点云注册到预先计算的物体和索引抓取数据集快3倍。Dex-Net 2.0抓取规划器在10个新型刚性物体的数据集上也具有最高的成功率,并在40个新型家用物体的数据集上实现了99%的精度(69个抓取中有一个假阳性被归类为鲁棒),其中一些是铰接或可变形的。代码、数据集、视频和补充材料可在http://berkeleyautomation.github.io/dex-net上获得。
2017-08-08 cs.RO
BusyBot: Learning to Interact, Reason, and Plan in a BusyBoard Environment
Columbia University(哥伦比亚大学)
我们介绍BusyBoard,一个玩具启发的机器人学习环境,利用一组不同的铰接对象和对象间的功能关系,为机器人交互提供丰富的视觉反馈。基于这种环境,我们引入了一个学习框架,BusyBot,它允许代理以集成和自我监督的方式联合获得三个基本功能(交互,推理和规划)。利用BusyBoard提供的丰富的感知反馈,BusyBot首先学习与环境有效交互的策略;然后利用策略收集的数据,BusyBot通过因果发现网络推理对象间的功能关系;最后通过结合学习到的交互策略和关系推理技能,智能体能够执行目标条件的操作任务。我们评估BusyBot在模拟和现实世界的环境中,并验证其泛化到看不见的对象和关系。视频可在https://youtu.be/EJ98xBJZ9ek上获得。
2022-10-17 cs.CV cs.RO
Predicting Motion Plans for Articulating Everyday Objects
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
移动操作任务,如打开一扇门,拉开抽屉,或解除马桶盖需要约束运动的环境和任务的约束下的末端执行器。这一点,加上部分信息在新的环境中,使得它具有挑战性,采用经典的运动规划方法在测试时间。我们的主要见解是将其作为一个学习问题,利用过去解决类似规划问题的经验,在测试时直接预测移动操作任务在新情况下的运动计划。为了实现这一点,我们开发了一个模拟器,ArtObjSim,模拟关节放置在真实场景中的对象。然后,我们介绍SeqIK+ $θ_0$,一个快速和灵活的运动计划表示。最后,我们学习使用SeqIK+ $θ_0$来快速预测运动计划的模型,以便在测试时连接新对象。实验评估表明,在生成运动计划的速度和准确性比纯粹的基于搜索的方法和纯粹的学习方法。
2023-03-02 cs.AI cs.CV cs.LG
ArtiTwinSplat: Interactable Digital Twin Reconstruction via Gaussian Splatting from RGB-D videos
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软);University of Bonn(波恩大学)
提出ArtiTwinSplat框架,利用3D高斯泼溅从RGB-D视频自动构建可交互的铰接物体数字孪生,无需CAD模型或人工标注,支持实时渲染与交互操作。
2026-06-24 cs.CV cs.RO
A novel object slicing based grasp planner for 3D object grasping using underactuated robot gripper
IIT Kharagpur(印度理工学院克勒格布尔分校)
即使在完全已知的环境中,机器人抓取任意物体仍然是一个具有挑战性的问题。大多数以前开发的算法集中在指尖抓取,未能解决问题,即使是完全驱动的手/夹具在自适应/包裹型的把握,其中每个手指与对象在几个点接触。运动学封闭形式的解决方案是不可能的,这样一个铰接的手指,同时达到几个给定的目标点。提出了一种基于物体切片方法的欠驱动机器人手爪最佳抓取计算框架。该方法使用对象切片技术快速找到接触,并使用抓取质量度量从抓取池中找到最佳抓取。为了验证所提出的方法,实施已经做了24个家庭的对象和玩具使用两个手指欠驱动机器人夹持器。与许多其他现有的方法不同,所提出的方法具有以下几个优点:它可以处理具有复杂形状和尺寸的对象;它不需要将对象简化为原始几何形状;最重要的是,它可以应用于使用深度传感器的点云;它考虑到夹具运动学约束,并为自适应/包络和指尖类型的抓握生成可行的抓握。
2019-07-22 cs.CG cs.RO
Scalable Trajectory Generation for Whole-Body Mobile Manipulation
Institute for AI, Peking University(人工智能研究院,北京大学);Institute of Unmanned System, Beihang University(无人系统研究院,北航);School of Psychological and Cognitive Sciences, Peking University(心理学与认知科学学院,北京大学);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Beijing Key Laboratory of Behavior and Mental Health, Peking University(北京行为与心理健康重点实验室,北京大学);Yuanpei College, Peking University(元培学院,北京大学);Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence(具身智能实验室,PKU-武汉人工智能研究所)
本文提出AutoMoMa框架,通过GPU加速整合运动学模型与并行轨迹优化,生成大规模物理有效轨迹数据,解决全身体态移动操作中规模、多样性和运动学精度的瓶颈问题。
2026-04-14 cs.CV cs.RO
Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
HKUST (GZ)(香港科技大学(广州));Primatix;ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);HKUST(香港科技大学);University of St. Gallen(圣加仑大学)
该研究提出P³-WAM统一世界动作模型,通过三种互补模式实现自我中心灵巧操作,经统一训练后在多任务上优于专门基线,提升了规划等能力。
2026-10-23 cs.CV cs.RO
DiMSam: Diffusion Models as Samplers for Task and Motion Planning under Partial Observability
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA(英伟达)
提出DiMSam框架,通过TAMP系统组合扩散模型,利用潜在嵌入定义学习采样器和TAMP算子,解决了部分可观测下多步约束推理与自主机器人操作规划问题。
2024-10-11 cs.AI cs.CV cs.LG
GenSim2: Scaling Robot Data Generation with Multi-modal and Reasoning LLMs
UCSD(加利福尼亚大学圣地亚哥分校);Shanghai Jiao Tong University(上海交通大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对机器人仿真数据扩展难、策略迁移性弱的问题,提出GenSim2框架,用多模态推理LLM生成复杂仿真任务与大规模演示数据,搭配PPT策略架构实现高效sim-to-real零样本迁移,联合真实数据训练可提升策略性能20%。
2024-10-04 cs.AI cs.CV cs.LG