DisPositioNet: Disentangled Pose and Identity in Semantic Image Manipulation
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Google（谷歌）；Johns Hopkins University（约翰斯·霍普金斯大学）
场景中对象及其关系的图形表示（称为场景图）提供了精确且可辨别的接口，以通过修改图中的节点或边来操纵场景。虽然现有的作品已经显示出有希望的结果，在修改对象的位置和姿态，场景操作往往会导致失去一些视觉特性，如外观或身份的对象。在这项工作中，我们提出了DisPositioNet，这是一种模型，它以自我监督的方式使用场景图学习每个对象的解纠缠表示，用于图像操作任务。我们的框架使解纠缠的变化的潜在嵌入，以及在图中的特征表示。除了由于姿态和身份等特征的分解而产生更逼真的图像外，我们的方法还利用中间特征中的概率采样来在对象替换或添加任务中生成更多样化的图像。我们的实验结果表明，在两个公共基准上，在模型的隐流形中解开特征表示在定性和定量上优于以前的工作。项目页面：https://scenegenie.github.io/DispositioNet/
2022-11-10 cs.AI cs.CV cs.LG
DUQIM-Net: Probabilistic Object Hierarchy Representation for Multi-View Manipulation
Bosch Center for Artificial Intelligence（博世人工智能中心）
复杂场景中的物体操纵是机器人技术中的一个难点和重要问题。为了有效地操纵物体，了解它们的周围环境至关重要，特别是在多个物体一个堆叠在另一个之上，从而阻止有效抓取的情况下。在这里，我们提出了DUQIM-Net，一种在堆叠对象的设置中进行对象操作的决策方法。在DUQIM-Net中，分层堆叠关系是使用ADQIM-Net评估的，ADQIM-Net是一种通过添加邻接头来利用现有Transformer编码器-解码器对象检测器的模型。该头部的输出以概率方式推断场景中对象的底层层次结构。我们利用DUQIM-Net中邻接矩阵的属性来执行决策并协助对象抓取任务。我们的实验结果表明，在视觉操作关系数据集（VMRD）上，DUQIM-Net在对象关系推理方面超越了最先进的水平，并且DUQIM-Net在清箱任务中优于同类方法。
2022-07-19 cs.RO
Probabilistic Framework for Constrained Manipulations and Task and Motion Planning under Uncertainty
University Stuttgart（斯图加特大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
逻辑几何规划（Logic-Geometric Programming，LGP）是一种功能强大的运动和操纵规划框架，它使用描述问题离散方面的逻辑规则来表示分层结构，例如，触摸、抓握、击打或推动，并求解所得到的平滑轨迹优化。逻辑的表达能力允许LGP处理复杂的，大规模的顺序操作和工具使用规划问题。在本文中，我们将LGP公式推广到随机域。基于控制推理的对偶性，我们解释LGP在随机域拟合高斯混合后验路径分布，其中每个逻辑配置文件定义一个单一的高斯路径分布。该框架使机器人能够优先考虑各种交互模式，并获得有趣的行为，如接触开发的不确定性减少，最终提供一个复合控制方案，是反应的干扰。补充视频可以在https://youtu.be/CEaJdVlSZyo上找到
2020-03-09 cs.RO
Multi-Goal Dexterous Hand Manipulation using Probabilistic Model-based Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
本文提出目标条件概率模型预测控制（GC-PMPC）方法，通过概率神经网络集成和异步MPC策略解决多目标灵巧手操作问题，在模拟与真实DexHand 021平台上均展现出卓越的学习效率与控制性能。
2025-04-30 cs.AI cs.RO cs.SY
An Edit Friendly DDPM Noise Space: Inversion and Manipulations
Technion – Israel Institute of Technology（以色列理工学院）
本文提出 DDPM 的易编辑潜在噪声空间及反演方法，可完美重建图像并支持结构保持的语义与视觉操控，还能改进现有扩散编辑方法。
2024-04-09 cs.CV cs.LG
Probabilistic Slide-support Manipulation Planning in Clutter
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
本文提出一种双臂操作规划器，通过神经网络预测和蒙特卡洛树搜索，实现杂乱环境中安全高效地滑移取出目标物体，同时支撑周围物体，减少运动序列并提高安全性。
2023-06-22 cs.RO
COBRA-PPM: A Causal Bayesian Reasoning Architecture Using Probabilistic Programming for Robot Manipulation Under Uncertainty
Oxford Robotics Institute, Dept. Engineering Science, University of Oxford, UK（牛津大学机器人研究所）；Microsoft Research, Redmond, WA, USA（微软研究院）；Bristol Robotics Laboratory, School of Engineering, University of the West of England, Bristol, UK（布里斯托尔机器人实验室）
本文提出 COBRA-PPM 因果贝叶斯推理架构，融合因果贝叶斯网络与概率编程进行干预推理，在积木堆叠及家用机器人 sim2real 中实现高预测与任务成功率。
2025-08-29 cs.AI cs.LG cs.RO
Probabilistic Articulated Real-Time Tracking for Robot Manipulation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Southern California（南加州大学）
我们提出了一种概率滤波方法，该方法将联合测量与深度图像融合，以产生对相机帧中的末端执行器姿态的精确、实时的【形】估计。这避免了在与视觉对象跟踪方法结合使用时对帧转换的需要。精确度是通过建模和校正关节测量中的偏差以及机器人模型中的不准确性（如外部摄像机校准不良）来实现的。我们使我们的方法计算效率通过卡尔曼滤波的联合测量和异步深度图像更新的基础上的坐标粒子滤波器的原则相结合。我们定量评估我们的方法从一个真正的机器人平台记录的数据集，从运动捕捉系统的地面实况注释。我们表明，即使在具有挑战性的条件下，如快速运动，显着和长期的闭塞，以及随时间变化的偏见，我们的方法是强大的和准确的。我们将数据集与我们方法的开源代码一起发布，以便与其他方法进行定量比较。
2016-11-25 cs.RO
PLUME: Probabilistic Latent Unified World Modeling and Parameter Estimation for Multi-Finger Manipulation
University of Michigan（密歇根大学）；Honda Research Institute USA（本田美国研究所）
提出PLUME世界模型，联合学习参数信念演化与条件动力学，通过在线参数推断实现零样本迁移，在螺丝刀旋转等任务中优于现有方法。
2026-06-11 cs.RO
Diffusion-Informed Probabilistic Contact Search for Multi-Finger Manipulation
University of Michigan（密歇根大学）；Honda Research Institute USA（美国本田研究所）
本文提出扩散信息概率接触搜索（DIPS），结合A*搜索与扩散模型，并利用粒子滤波思想处理采样变异性，实现超越训练数据的多指操作接触序列规划。
2024-10-01 cs.RO
Robot Trajectron V3: A Probabilistic Shared Control Framework for SE(3) Manipulation
KU Leuven（鲁汶大学）；Flanders Make（法兰德斯制造）
针对远程操作机器人手臂执行高自由度操作任务的难题（认知要求高、易出错、依赖低带宽接口），提出概率共享控制框架RT-V3，通过贝叶斯推理结合用户意图先验与实时命令估计后验分布，实验证明其在多方面表现出色，优于基线方法。
2026-07-13 cs.RO
Posterior-driven Heuristic Support Adaptation in a Probabilistic Treatment of Real2Sim2Real for Vision-Driven Deformable Linear Object Manipulation
School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学）
本文提出三种启发式方法，用于改进随机动态系统中似然自由推断的支持适应，提升参数推断和策略学习的鲁棒性。
2026-09-10 cs.LG cs.RO
Inferring 3D Shapes of Unknown Rigid Objects in Clutter through Inverse Physics Reasoning
Rutgers University（罗格斯大学）
我们提出了一个概率的方法，在飞行中，未知物体的3-D模型，而被机器人操纵。我们特别考虑在包含以前看不见的对象的杂乱堆中的操作任务。大多数操作算法执行这样的任务需要已知的几何模型的对象，以掌握或重新安排他们鲁棒。这项工作的一个新的方面是利用物理引擎来验证模拟中的假设几何形状。物理模拟提供的证据被用于概率框架中，该框架解释了物体的机械特性是不确定的这一事实。我们提出了一个有效的算法推断闭塞部分的对象的基础上观察到的运动和相互作用。机器人实验表明，该方法可以有效地构建具有物理真实感的三维模型，为操作规划提供了依据。实验还表明，所提出的方法显着优于其他方法的形状精度。
2019-03-13 cs.CV cs.RO
A Probabilistic Framework for Learning Kinematic Models of Articulated Objects
University of Freiburg（弗莱堡大学）
在家庭环境中操作的机器人通常需要与铰接物体（例如门、橱柜、洗碗机或冰箱）交互。在这项工作中，我们提出了一种新的，概率框架建模关节的对象作为运动图。该图中的顶点对应于对象部分，而它们之间的边建模它们的运动学关系。特别是，我们提出了一组参数和非参数的边缘模型，以及它们如何可以鲁棒地估计从嘈杂的姿势观察。此外，我们描述了如何估计的运动学结构，以及如何使用学习的运动学模型的姿态预测和机器人操作任务。最后，我们介绍了如何学习模型可以推广到新的和以前看不见的对象。在各种实验中，使用真正的机器人与不同的相机系统，以及在模拟中，我们表明，我们的方法是有效的，准确的和高效的。此外，我们证明，我们的方法有一个广泛的应用，特别是移动操作和服务机器人的新兴领域。
2014-01-16 cs.RO
Probabilistic Depth Image Registration incorporating Nonvisual Information
University of Southern California（南加州大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在本文中，我们推导出一个概率注册算法的对象建模和跟踪。在许多机器人应用中，例如操作任务，关于物体运动的非视觉信息是可用的，我们将与视觉信息相结合。此外，我们不仅考虑对象的观察，而且我们还考虑空间，它被观察到不是对象的一部分。此外，我们正在计算相对对齐的后验分布，而不是像迭代最近点（ICP）中通常所做的那样进行点估计。据我们所知，没有现有的算法满足这三个条件，因此，我们推导出一个新的注册算法在贝叶斯框架。实验结果表明，所提出的方法进行有利的PCL实现的特征映射和ICP相比，特别是如果非视觉信息。
2015-05-01 cs.CV cs.RO
SUM: Sequential Scene Understanding and Manipulation
University of Michigan（密歇根大学）
为了执行自主顺序操作任务，在混乱的场景中的感知仍然是机器人的关键挑战。在本文中，我们提出了一个可靠的顺序场景估计和操纵的概率方法-顺序场景理解和操纵（SUM）。SUM考虑了由于在随时间保持的最可能的对象姿态的生成估计中的有区别的目标检测和识别导致的不确定性，以在严重遮挡和非结构化环境下实现场景的鲁棒估计。我们的方法利用候选人从歧视性的目标检测器和识别器来指导采样场景假设的生成过程，每个场景假设的评价对观察。此外，SUM维护机器人物理动作的场景假设的信念，以更好地估计和对抗噪声检测。我们进行了大量的实验，以表明我们的方法是能够执行强大的估计和操纵。
2017-03-22 cs.RO
Context-Aware Behavior Learning with Heuristic Motion Memory for Underwater Manipulation
1 School of Engineering \& Physical Sciences, Heriot-Watt University, Edinburgh, UK
本文提出一种结合启发式运动空间与贝叶斯网络的自适应运动规划框架，通过缩小搜索空间并动态更新不确定性估计，提升自主水下操作在动态环境中的实时规划性能与鲁棒性。
2025-07-18 cs.RO
A Bayesian Treatment of Real-to-Sim for Deformable Object Manipulation
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；NVIDIA（英伟达）；University of Washington（华盛顿大学）；The University of Sydney（悉尼大学）
可变形物体的操纵是机器人技术研究中的一个具有挑战性的课题。用于参数推断和状态估计的常规技术通常依赖于状态空间及其动态的精确定义。虽然这适用于刚性物体和机器人状态，但定义可变形物体的状态空间以及它如何随时间演变是具有挑战性的。在这项工作中，我们提出的问题，推断的物理参数的可变形物体作为一个概率推理任务定义的模拟器。我们提出了一种新的方法，通过一种技术来表示作为一个分布嵌入的可变形对象的状态，从图像序列中提取状态信息。这允许以原则性的方式将噪声状态观测直接纳入现代贝叶斯仿真推理工具中。我们的实验证实，我们可以估计后验分布的物理属性，如弹性，摩擦力和规模的高度可变形的物体，如布和绳子。总的来说，我们的方法解决了真实的SIM问题的概率，并有助于更好地代表变形对象的状态的演变。
2021-12-09 cs.LG cs.RO
Implicit Contact-Rich Manipulation Planning for a Manipulator with Insufficient Payload
Osaka University（大阪大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
本文使用一个移动机械手与协作机器人手臂操纵物体超过机器人的最大有效载荷。提出了一种基于单次概率路径图的环境支持下的操作运动规划和优化方法。该方法使用扩展的对象网格模型来检查接触，并随机探索对象运动，同时保持接触并确保负担得起的抓握力。它使用基于优化的算法获得对象运动后生成机器人运动轨迹。在所提出的方法的帮助下，我们可以计划接触丰富的操作，而无需特别分析对象的接触模式及其过渡。规划器和优化器自动确定它们。我们进行了实验和分析，使用模拟和现实世界的执行，以检查该方法的性能。它可以成功找到满足接触、力和运动学约束的操作运动，从而允许移动机械手移动重物，同时利用环境障碍物的支撑力。该方法不需要显式地分析接触状态和建立接触转移图，为机器人的无抓取操作、无接触操作和有接触操作等提供了新的视角。
2023-02-26 cs.RO
High-level Reasoning and Low-level Learning for Grasping: A Probabilistic Logic Pipeline
虽然抓握必须满足抓握稳定性标准，但良好的抓握取决于特定的操作场景：对象、其属性和功能，以及任务和抓握约束。在本文中，我们认为这样的信息，机器人把握利用流形和象征性的对象部分。具体来说，我们引入了一个新的概率逻辑模块，首先语义原因预把握配置相对于预期的任务。此外，从部件相关的视觉特征到良好的抓取点的映射被学习。概率逻辑模块利用对象任务启示和对象/任务本体来编码规则，这些规则概括了类似的对象部分和对象/任务类别。使用概率逻辑的任务相关的把握与目前的方法，通常学习直接映射的视觉感知任务相关的把握点。我们展示了完整的概率逻辑流水线实验和一个真正的机器人的好处。
2014-11-04 cs.RO
SE(3)-PoseFlow: Estimating 6D Pose Distributions for Uncertainty-Aware Robotic Manipulation
Department of Computer Science, TU Darmstadt（图宾根大学计算机科学系）；Honda Research Institute Europe GmbH（本田欧洲研究院）；DFKI, Research Department SAIROL（德累斯顿人工智能研究所）
针对物体位姿估计中的歧义和多模态分布问题，提出基于SE(3)流形流匹配的概率框架SE(3)-PoseFlow，通过样本估计完整6D位姿分布以实现不确定性推理，并在多个基准上达到SOTA，成功应用于下游机器人操作任务。
2025-11-03 cs.CV cs.RO
In-Hand Manipulation of Unknown Objects with Tactile Sensing for Insertion
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
在本文中，我们提出了一种方法来操纵未知的物体在手中使用触觉感知，而不依赖于一个已知的对象模型。在许多情况下，仅视觉的方法可能不可行;例如，由于杂乱空间中的遮挡。我们通过引入一种使用触觉感知来重新定向未知对象的方法来解决这个限制。它在任务驱动的操作过程中逐步建立对象形状和姿态的概率估计。我们的方法使用贝叶斯优化来平衡探索的全球对象形状与高效的任务完成。为了证明我们的方法的有效性，我们将其应用于模拟触觉启用辊抓钳，一个抓手，滚动对象的手，同时收集触觉数据。我们评估我们的方法插入任务与随机生成的对象，并发现它可靠地reorients对象，同时显着减少探索时间。
2023-03-10 cs.RO
Predicting Sim-to-Real Transfer with Probabilistic Dynamics Models
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
我们提出了一种方法来预测RL策略的仿真到现实迁移性能。我们的转移指标简化了模拟中训练设置（如算法、超参数、随机化）和策略的选择，而不需要大量耗时的真实世界部署。概率动力学模型与策略一起训练，并在一组固定的真实世界轨迹上进行评估，以获得转移度量。实验表明，传输度量是高度相关的策略性能在模拟和真实世界的机器人环境中的复杂操作任务。我们进一步表明，转移度量可以预测训练设置对策略转移性能的影响。
2020-09-27 cs.AI cs.LG cs.RO
Active Exploration for Robotic Manipulation
Technical University of Darmstadt（达姆施塔特工业大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
尽管近年来机器人技术和机器学习取得了重大进展，但机器人操作仍然是一个很大程度上未解决的问题。操纵中的关键挑战之一是当被操纵的对象之间存在连续接触时对环境的动态的探索。本文提出了一种基于模型的主动探索方法，使有效的学习稀疏奖励机器人操作任务。所提出的方法估计的信息增益目标使用的概率模型的合奏和部署模型预测控制（MPC）计划的行动，最大限度地提高预期的回报，同时也执行定向探索。我们评估我们提出的算法在模拟和一个真正的机器人，从头开始训练我们的方法，在一个具有挑战性的球推任务倾斜的桌子上，目标球的位置是不知道代理先验。我们的真实世界的机器人实验作为一个基本的应用程序的积极探索基于模型的强化学习的复杂的机器人操作任务。
2022-10-23 cs.LG cs.RO
A Model Predictive Approach for Online Mobile Manipulation of Nonholonomic Objects using Learned Dynamics
University of Utah（犹他大学）
设计用于与物体进行物理交互的特定类型的辅助机器人可以在医疗机构中发挥重要作用，以协助移动和预防跌倒。自主移动操作是在现实生活中安全使用机器人之前的一个障碍。在这篇文章中，我们介绍了一个移动操作框架的基础上模型预测控制使用学习动态模型的对象。我们专注于操纵有腿物体的具体问题，例如在医疗环境和个人住宅（例如步行者，桌子，椅子）中常见的物体。我们描述了一种概率方法自主学习的近似动力学模型，这些对象。在这种方法中，我们使用一个小的数据集学习动态参数，该数据集由机器人和物体之间的相互作用的力和运动数据组成。此外，我们占多个操作策略制定的操作规划作为一个混合整数凸优化。所提出的框架考虑了混合控制系统，包括i）选择哪条腿抓住，和ii）控制连续施加的操纵力。我们正式我们的算法的基础上模型预测控制，以补偿建模误差，并找到一个最佳的路径来操纵对象从一个配置到另一个。我们展示了几个对象与各种车轮配置的结果。仿真和物理实验表明，所获得的动力学模型足够准确，可以进行安全、无碰撞的操作。当结合所提出的操作规划算法，机器人成功地将物体移动到所需的姿态，同时避免碰撞。
2020-11-11 cs.RO
A Real-Time Neuro-Symbolic Ethical Governor for Safe Decision Control in Autonomous Robotic Manipulation
本文提出一种实时神经符号伦理控制器，通过整合伦理推理与风险评估机制，提升自主机器人操作中的安全决策能力，实验验证了其在不同人类接近度和操作风险下的有效性。
2026-03-15 cs.AI cs.LG cs.RO
POMDP Manipulation Planning under Object Composition Uncertainty
Aalto University（阿尔托大学）；TU Darmstadt（达姆施塔特工业大学）
在杂乱的环境中操纵未知对象是困难的，因为将场景分割成对象，即对象组成是不确定的。由于这种不确定性，早期的工作集中在识别“最佳”对象组合并相应地决定操作动作，或者试图收集关于“最佳”对象组合的信息。与以前的工作相反，我们1）在规划中利用不同的可能对象组成，2）利用机器人动作提供的对象组成信息，3）考虑到不同的竞争对象假设对实际任务的影响。我们铸造的操纵规划问题作为一个部分可观察的马尔可夫决策过程（POMDP），计划在可能的假设对象组成。POMDP模型选择最大化长期预期任务特定效用的行动，同时考虑信息行动的价值和不同对象假设对任务完成的影响。在使用RGB-D传感器、Kinova Jaco和Franka Panda机器人手臂的模拟和实验中，概率方法优于仅考虑最可能的对象组成的方法，并且长期规划优于贪婪决策。
2020-10-26 cs.RO
"The World Is Its Own Best Model": Robust Real-World Manipulation Through Online Behavior Selection
Technische Universität Berlin（柏林工业大学）；Science of Intelligence (SCIoI), Cluster of Excellence（卓越集群“智能科学”）
机器人操作行为应该对违反高级任务结构的干扰具有鲁棒性。这种鲁棒性可以通过不断地监视环境来观察任务的离散高级状态来实现。这是可能的，因为任务的不同阶段的特征在于不同的传感器模式，并且通过监视这些模式，机器人可以决定当前执行哪些控制器。这放松了对这些控制器的时间序列的假设，并使行为对不可预见的干扰具有鲁棒性。我们实现这个想法作为概率过滤器的离散状态，每个状态是直接与控制器。基于这个框架，我们提出了一个机器人系统，能够打开一个抽屉，并抓住网球从它在一个令人惊讶的强大的方式。
2022-05-09 cs.AI cs.RO
GUIDER: Evaluating Goal-Free Human Intent Inference for Teleoperated Manipulation on Real-Robot Data
Santa Clara University（圣克拉拉大学）；University of Birmingham（伯明翰大学）；Queen Mary University of London（伦敦玛丽女王大学）；Indiana University（印第安纳大学）
该研究评估了用于遥操作机器人操控的无目标人类意图推理框架GUIDER，在20个操控步骤的三个场景测试中，其意图估计准确率达100%，并取得了相关性能指标，验证了该框架的有效性。
2026-08-18 cs.HC cs.RO
Residual Robot Learning for Object-Centric Probabilistic Movement Primitives
Technische Universität Darmstadt（达姆施塔特工业大学）
希望未来的机器人能够快速学习新任务，并使学习到的技能适应不断变化的环境。为此，ProbabilityMovement Primitives（ProMPs）已被证明是一个很有前途的框架，可以从演示轨迹的分布中学习可推广的轨迹生成器。然而，在实际应用中，需要高精度的对象的操纵，ProMP的准确性往往是不够的，特别是当他们学习carnival空间从外部观察和执行有限的控制器增益。因此，我们建议将ProMPs与最近引入的残差强化学习（RRL）相结合，以解决任务执行过程中位置和方向的校正问题。特别是，我们学习一个标称ProMP轨迹与软演员批评顶部的残差，并将示范的变化作为决策变量，以减少RRL的搜索空间。作为一个概念证明，我们评估我们提出的方法上的3D块插入任务与7自由度弗兰卡Panda机器人。实验结果表明，机器人成功地学习完成插入，这是不可能的，以前使用基本的ProMP。
2022-03-08 cs.RO
Movement Primitive Diffusion: Learning Gentle Robotic Manipulation of Deformable Objects
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出运动基元扩散（MPD）方法，将扩散模仿学习与概率动态运动基元结合，在机器人辅助手术中实现数据高效且高质量的可变形物体轻柔操作，并在多项任务中超越现有方法。
2024-06-10 cs.AI cs.LG cs.RO
APEX: Unsupervised, Object-Centric Scene Segmentation and Tracking for Robot Manipulation
University of Oxford（牛津大学）
目标检测、分割和跟踪的无监督学习的最新进展为机器人技术的应用带来了巨大的希望。一种常见的方法是将这些任务框架为概率潜变量模型中的推理。然而，在本文中，我们表明，目前最先进的斗争与视觉上复杂的场景，如通常遇到的机器人操作任务。我们提出了APEX，一个新的潜在变量模型，它能够分割和跟踪对象在更逼真的场景中，具有不同的大小和纹理的对象，包括机器人手臂本身。这是通过一个原则性的掩模归一化算法和高分辨率场景编码器来实现的。为了评估我们的方法，我们在真实世界的Sketchy数据集上展示了结果。然而，该数据集不包含用于定量评估的地面真实掩模和对象ID。因此，我们介绍了熊猫推数据集（P2D），它显示了一个熊猫手臂与模拟中的桌子上的对象进行交互，其中包括地面真实分割掩码和用于跟踪的对象ID。在这两种情况下，APEX在无监督对象分割和跟踪方面都全面优于当前最先进的技术。我们证明了我们的分割机器人技能执行的对象安排任务，在那里我们也实现了最好的或可比的性能之间的所有基线的功效。
2021-09-12 cs.RO
One Hand Watches The Other: Dynamic Multi-Agent Cooperation for Sample-Efficient Bimanual Manipulation in Dynamic Environments
University of Freiburg（弗莱堡大学）
研究动态环境中双机器人操作问题，提出轻量级DynaMAC框架，将相对手臂视为动态任务参数，解决因果限制，保留多流策略优势。通过DynaBench基准测试，性能远超基线，能零样本泛化，简化数据收集，为人机协作助力。
2026-07-27 cs.AI cs.LG cs.RO
Bridging Probabilistic Inference and Behavior Trees: An Interactive Framework for Adaptive Multi-Robot Cooperation
School of Aeronautic and Astronautics, Zhejiang University（航空航天学院，浙江大学）；Shanghai Huawei Technologies Co., Ltd（上海华为技术有限公司）
本文提出IIBT框架，结合概率推断与行为树，实现多机器人自适应协作，实验表明其能显著降低复杂度并保持鲁棒性。
2025-12-04 cs.RO
V-PRISM: Probabilistic Mapping of Unknown Tabletop Scenes
University of Utah（犹他大学）；Kahlert School of Computing, University of Utah（犹他大学卡勒特计算学院）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；NVIDIA Corporation（英伟达公司）
本文提出V-PRISM框架，将桌面场景3D表示视为多类分类问题，生成含占用、分割及不确定性的概率映射，在程序化与真实数据上优于不显式推理对象的连续重建方法。
2024-03-14 cs.RO
Optimistic Reinforcement Learning-Based Skill Insertions for Task and Motion Planning
Brubotics；Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec；Artificial Intelligence (AI) Lab, Vrije Universiteit Brussel（人工智能（AI）实验室，布鲁塞尔自由大学）
本文提出将强化学习技能嵌入任务与运动规划流程，通过数据驱动逻辑组件和计划细化子程序，扩展TAMP至概率技能领域并提升规划效率。
2025-10-15 cs.RO
LiMA: Bridging Long-term Imagination to Real-time Dexterous Manipulation via Asynchronous Diffusion
Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对灵巧操作中意图规划与快速反应控制的时间错位问题，提出异步双系统生成框架LiMA，通过多尺度层次解耦慢速长期意图生成与快速高频运动细化，并引入潜在薛定谔桥耦合机制实现概率传输对齐，显著降低推理延迟并提升任务成功率。
2026-09-24 cs.RO
Intention estimation from gaze and motion features for human-robot shared-control object manipulation
Honda Research Institute EU（本田欧洲研究院）；Honda R&D Co., Ltd. Innovative Research Excellence（本田研发株式会社创新卓越研究中心）
共享控制可以通过协助执行用户的意图来帮助远程操作的对象操纵。为此，需要鲁棒且及时的意图估计，这依赖于行为观察。在这里，提出了一个意图估计框架，该框架使用自然注视和运动特征来预测当前动作和目标对象。该系统是在一个模拟的环境中进行训练和测试，在一个相对混乱的场景中产生的拾取和放置序列，用双手，可能移交给另一只手。验证是在不同的用户和手，实现良好的准确性和预测的早期性。单个特征的预测能力的分析显示了抓握触发和凝视特征在当前动作的早期识别中的优势。在目前的框架中，相同的概率模型可以用于两只手并行和独立工作，而基于规则的模型，提出了确定由此产生的双手动作。最后，这种方法的局限性和前景更复杂，全双手操作进行了讨论。
2022-08-18 cs.AI cs.HC cs.LG
Learning Articulated Motion Models from Visual and Lingual Signals
Georgia Tech（佐治亚理工学院）；TTI-Chicago（芝加哥丰田技术学院）
为了让机器人在家庭和工作场所有效地工作，它们必须能够操纵为人类建造的环境中常见的铰接物体。以前的工作学习运动学模型，规定这种操作从视觉演示。诸如自然语言描述和指令的语言信号提供了传达这种操纵模型的知识的补充手段，并且适合于广泛的交互（例如，远程操纵）。在本文中，我们提出了一个多模态学习框架，它结合了视觉和语言信息来估计定义关节对象运动学模型的结构和参数。视觉信号采用RGB-D图像流的形式，该图像流在无准备的场景中机会性地捕获对象运动。伴随的运动的自然语言描述构成语言信号。我们提出了一个概率语言模型，使用词嵌入语言动词与其相应的运动结构相关联。通过利用视觉和语言输入的互补性，我们的方法推断出正确的运动学结构的各种多部分的对象上，以前的国家的最先进的，只视觉系统失败。我们在由各种家居物品组成的数据集上评估了我们的多模态学习框架，并证明了模型准确性比仅视觉基线提高了36%。
2016-07-01 cs.CL cs.CV cs.RO
D3RoMa: Disparity Diffusion-based Depth Sensing for Material-Agnostic Robotic Manipulation
CFCS；School of Computer Science, Peking University（北京大学计算机学院）；Galbot；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
提出D3RoMa框架，利用去噪扩散概率模型将深度估计与恢复统一为图像到图像的转换问题，结合左右一致性约束，在透明和镜面等挑战性场景下实现准确深度感知，显著提升机器人操作性能。
2024-09-25 cs.RO
FFRob: Leveraging Symbolic Planning for Efficient Task and Motion Planning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
由于混合配置空间的高维性和多模态性，涉及多个对象的移动操作问题的求解具有挑战性。执行纯几何搜索的planet在解决这些问题时非常慢，因为它们无法分解配置空间。符号任务规划器可以有效地构建涉及许多变量的计划，但不能表示操作所需的几何和运动约束。我们提出了解决任务和运动规划问题的FFRob算法。首先，我们引入扩展动作规范（EAS）作为一个通用的规划表示，支持任意谓词作为条件。我们适应现有的启发式搜索思想解决\proc{strips}规划问题，特别是删除松弛，解决EAS问题的实例。然后，我们将EAS表示和规划者的操作问题，导致FFRob。FFRob迭代离散任务和运动规划问题，使用批量采样的操作原语和多查询路线图结构，可以条件化，以评估可移动物体的不同放置下的可达性。这种结构使EAS规划者能够有效地计算包含几何和运动规划约束的几何学，以给出到目标的距离的严格估计。此外，我们表明FFRob是概率完整的，并有有限的预期运行时间。最后，我们实证证明FFRob的有效性，复杂和多样化的任务和运动规划任务，包括重排规划和可移动物体之间的导航。
2017-12-01 cs.RO
Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions
Keio University（庆应义塾大学）
针对复杂操作指令中的目标物体分割问题，提出两阶段多模态扩散分割模型 MDSM，并构建新数据集，其平均 IoU 较基线提升 10.13。
2023-07-17 cs.CL cs.CV cs.RO
A Helping (Human) Hand in Kinematic Structure Estimation
Robotics and Biology Laboratory, Technische Universität Berlin（技术大学柏林机器人与生物学实验室）；Science of Intelligence, Research Cluster of Excellence, Berlin（智能科学优秀研究集群，柏林）
针对视觉不确定性导致机器人难以获取准确运动学模型的问题，提出一种利用人手先验和显式不确定性建模的概率实时估计方法，在遮挡场景下显著优于基线并实现安全操作。
2025-11-03 cs.RO
Becoming a Fruit Ninja: Real-Time Probabilistic Kinodynamic Planning for Manipulator Projectile Interception
Purdue University（普渡大学）
提出FRUITNINJA，一种GPU上的任意时间采样规划器，通过精确三次曲线和并行搜索满足执行器限制，在实时模拟中显著提升机械臂抛射物拦截成功率。
2026-09-22 cs.RO
Towards a Causal Probabilistic Framework for Prediction, Action-Selection & Explanations for Robot Block-Stacking Tasks
University of Oxford（牛津大学）
针对机器人积木堆叠任务，本文提出将物理仿真嵌入结构因果模型的因果概率框架，以实现状态评估、下一最优动作选择和事后反事实解释。
2023-09-29 cs.AI cs.LG cs.RO
Semantic-Geometric Task Representations for Bimanual Manipulation from Human Demonstrations to Robot Action Planning
Interactive Robot Perception & Learning (PEARL) Lab, Computer Science Dept., TU Darmstadt, Germany（图腾大学达姆施塔特分校计算机科学系交互机器人感知与学习实验室）；Hessian.AI, Darmstadt, Germany（黑森人工智能公司）；Robotics Institute Germany (RIG)（德国机器人研究所）；Interactive AI Algorithms & Cognitive Models for Human-AI Interaction (IKIDA), Computer Science Dept., TU Darmstadt, Germany（人机交互的交互人工智能算法与认知模型（IKIDA），图腾大学达姆施塔特分校计算机科学系）；Center for Cognitive Science, TU Darmstadt, Germany（图腾大学达姆施塔特分校认知科学中心）
提出一种语义-几何图任务表示，通过消息传递神经网络编码器和Transformer解码器联合编码对象身份、语义关系和运动历史，实现从人类示范中学习结构化任务表示，并支持跨实体迁移和双臂操作规划。
2026-10-28 cs.LG cs.RO
