COCOI: Contact-aware Online Context Inference for Generalizable Non-planar Pushing
Everyday Robots, X The Moonshot Factory(日常机器人,X登月工厂);Robotics at Google(谷歌机器人);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
由于难以理解复杂的接触物理,一般的接触丰富的操作问题是机器人技术中长期存在的挑战。深度强化学习(RL)在解决机器人操作任务方面显示出巨大的潜力。然而,现有的强化学习策略对具有不同动力学特性的环境的适应性有限,这是解决许多接触丰富的操作任务的关键。在这项工作中,我们提出了接触感知的在线上下文推理(COCOI),这是一种深度RL方法,使用丰富的接触交互在线编码动态属性的上下文嵌入。我们研究这种方法的基础上,一个新的和具有挑战性的非平面推动任务,其中机器人使用单目摄像头图像和腕力扭矩传感器读数,推动一个对象到目标位置,同时保持直立。我们进行了大量的实验,以证明COCOI在模拟中的各种设置和动力学特性中的能力,以及在真实机器人上的仿真到现实迁移场景中的能力(视频:https://youtu.be/nrmJYksh1Kc)
2020-11-23 cs.LG cs.RO
GP-SUM. Gaussian Processes Filtering of non-Gaussian Beliefs
Massachusetts Institute of Technology(麻省理工学院);Mechanical Engineering Department(机械工程系)
本文研究了具有复杂信念的随机动态滤波和状态传播问题。主要贡献是GP-SUM,一种适合于动态系统和观测模型的滤波算法,表示为高斯过程(GP),以及表示为高斯加权和的状态。GP-SUM的关键属性是它不依赖于动态或观测模型的线性化,也不依赖于信念的单峰高斯近似,因此能够跟踪复杂的状态分布。该算法可以被看作是一个基于采样的过滤器与概率贝叶斯过滤器的组合。一方面,GP-SUM通过对状态分布进行采样并通过动态系统和观测模型传播每个样本来运行。另一方面,它实现了有效的采样和准确的概率传播依赖于GP形式的系统,高斯和形式的信念。我们表明,GP-SUM优于几个GP-Bayes和粒子滤波器的标准基准。我们还展示了它在推任务中的使用,预测自然发生的非高斯分布的实验精度。
2019-01-30 cs.LG cs.RO stat.ML
Tactile SLAM: Real-time inference of shape and pose from planar pushing
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Mechanical Engineering Department, Massachusetts Institute of Technology(麻省理工学院机械工程系);XYZ Robotics(XYZ机器人公司);Electrical and Computer Engineering Department, Brigham Young University(杨百翰大学电气与计算机工程系)
触觉感知是机器人在非结构化环境中操作的核心。然而,它需要接触,一个成熟的实现必须推断对象模型,同时还要考虑交互引起的运动。在这项工作中,我们提出了一种方法来估计对象的形状和姿态在实时的【形】从触觉测量流。这适用于通过平面推动对未知对象的触觉探索。我们认为这是一个在线SLAM问题的非参数形状表示。我们制定的触觉推理交替高斯过程隐式表面回归和姿势估计的因素图。通过局部高斯过程和固定滞后平滑的组合,我们实时的【形】推断物体的形状和姿态。我们评估我们的系统在不同的对象在模拟和现实世界的平面推任务。
2021-03-26 cs.RO
A Fast Stochastic Contact Model for Planar Pushing and Grasping: Theory and Experimental Validation
Carnegie Mellon University(卡内基梅隆大学)
基于准静态滑动的凸力-运动多项式模型,推导了位置控制机械手在支撑面上的运动学接触模型,用于确定接触模式和物体的瞬时运动。固有的随机对象表面摩擦分布的建模从适当的分布采样物理上一致的参数,只有一个参数来控制噪声量。由于凸多项式模型的高保真度和光滑度,贴片接触的力学被捕获,同时计算效率高,无需在支撑点处进行模式选择。给出了单摩擦接触和多摩擦接触的运动方程。基于该模型的仿真通过机器人的推取实验进行了验证。
2017-05-30 cs.RO
Friction Variability in Planar Pushing Data: Anisotropic Friction and Data-collection Bias
Massachusetts Institute of Technology(麻省理工学院)
摩擦力在操纵物体时起着关键作用。我们用手做的大部分事情,以及机器人用它们的抓手做的大部分事情,都是基于控制摩擦力的能力。本文旨在更好地了解平面摩擦的可变性和可预测性。特别是,我们专注于分析Yu等人[1]最近关于平面推动的数据集。该数据集旨在创建平面摩擦的数据驱动足迹。在本文中,我们展示了如何解释所观察到的非常规现象的重要部分,例如,随机性和多模态,通过结合材料非均匀性、摩擦各向异性和由于数据汇集动态而产生的偏差的影响,暗示可变性是可解释的,但在实践中是不可避免的。我们介绍了一种各向异性摩擦模型,并进行了仿真实验,与更标准的各向同性摩擦模型进行了比较。在自动数据汇集过程中,物体与支撑面之间的各向异性摩擦力导致初始条件收敛。数值结果证实了各向异性摩擦模型解释了数据集的偏差和推压结果的明显随机性。事实上,数据汇集过程本身可能会在收集的数据集中产生偏差,导致训练模型的恶化,这引起了对数据汇集动态的关注。
2018-06-22 cs.RO physics.data-an
How Physics and Background Attributes Impact Video Transformers in Robotic Manipulation: A Case Study on Planar Pushing
KTH Royal Institute of Technology(瑞典皇家理工学院);School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Linköping University(林雪平大学);National Supercomputer Centre(国家超级计算机中心)
本研究实证调查了物理属性和场景背景特征对Video Transformers预测平面推动轨迹性能的影响,发布了大规模数据集CloudGripper-Push-1K,并提出模块化框架VOT作为案例研究对象。
2024-08-28 cs.CV cs.RO
Goal-Driven Robotic Pushing Using Tactile and Proprioceptive Feedback
University of Bristol(布里斯托大学)
在机器人中,非易失性操作(如推动)是移动大型、重型或笨重物体、一次移动多个物体或减少物体位置或姿态不确定性的有用方法。在这项研究中,我们提出了一种反应和自适应的方法,用于机器人推动,使用丰富的反馈,从高分辨率的光学触觉传感器来控制推动运动,而不是依赖于分析或数据驱动的模型的推动相互作用。具体而言,我们使用目标驱动的触觉探索,积极寻找稳定的推动配置,使对象保持其相对于推杆的姿态,同时逐步移动推杆和对象朝向目标。我们评估我们的方法,推动物体在平面和曲面。对于平面表面,我们表明,该方法是准确的和鲁棒的初始接触位置/角度,物体形状和起始位置的变化;对于曲面,性能略有下降。我们的工作的一个直接后果是,它表明,明确的推交互模型可能是足够的,但对于这种类型的任务是不必要的。它还提出了一个有趣的问题,即应该对系统的哪些方面进行建模,以在各种场景中实现最佳性能和泛化。最后,它强调了在开发机器人推动新方法时,在非平面表面和其他更复杂的环境中进行测试的重要性。
2021-08-02 cs.RO
Position prediction using disturbance observer for planar pushing
University of Leeds(利兹大学)
由机器人在平面上推动的刚体物体的位置和方向是非常难以预测的。在本文中,预测问题制定为干扰观测器设计问题。扰动观测器提供了对作用于对象的模型误差和外部扰动的总和的精确估计。从估计结果,它揭示了有一个很强的线性关系之间的作用力或扭矩和估计的干扰。所提出的预测算法有两个阶段:识别和预测。在辨识阶段,线性关系是由观测器的输出用递归最小二乘算法来辨识的。在预测阶段中,所识别的线性关系与将由任务规划器提供的力规划一起使用,以预测对象的位置和取向。该算法进行了测试,六个不同的推实验数据可从麻省理工学院MCube实验室。与简单的校正算法相比,所提出的算法在减少预测误差方面表现出改进的性能。
2023-01-17 cs.RO cs.SY eess.SY
Collaborative Planar Pushing of Polytopic Objects with Multiple Robots in Complex Scenes
College of Engineering, Peking University(北京理工大学工程学院)
针对复杂场景中多机器人协作推动多面体物体的问题,提出基于混合优化与分层搜索的框架,并采用非线性模型预测控制,经仿真和实验验证有效。
2024-06-01 cs.RO
Model-Based Adaptive Precision Control for Tabletop Planar Pushing Under Uncertain Dynamics
提出基于学习模型与MPPI控制器的桌面推操作框架,用单一模型实现多任务,无需重训,在仿真和真实实验中达到高精度定位与轨迹跟踪。
2026-09-17 cs.RO
Decision Making in Joint Push-Grasp Action Space for Large-Scale Object Sorting
Department of Computer Science, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机科学系)
我们提出了一个规划器的大规模(联合国)标记的对象排序任务,它使用两种类型的操作动作:头顶抓和平面推。抓取动作在温和的假设下提供了完整性保证,平面推动是一种同时移动多个物体的加速策略。我们的主要贡献是两方面的:(1)我们提出了一个双层规划算法。我们的高级计划者基于成本模型在推动和抓取动作之间做出有效的、接近最优的选择。我们的低级规划器计算一步贪婪的推或抓动作。(2)我们提出了一种新的低层次的推动计划,可以找到一步贪婪推动行动在半离散搜索空间。搜索空间的结构,使我们能够有效的我们表明,排序到$200$对象,我们的计划可以找到接近最佳的行动与$10$秒的计算在台式机上。
2020-10-20 cs.RO
Empirical Analysis of Sim-and-Real Cotraining of Diffusion Policies for Planar Pushing from Pixels
Massachusetts Institute of Technology(麻省理工学院)
本研究实证分析仿真与真实数据联合训练扩散策略,发现仿真数据可显著提升性能,且缩小物理域差距比视觉保真度更重要,并揭示一定视觉差异有助于策略区分域。
2025-08-05 cs.AI cs.RO
Nonprehensile Planar Manipulation through Reinforcement Learning with Multimodal Categorical Exploration
The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
提出基于分类分布的多模态探索强化学习方法,解决了非抓握式平面推动任务中精度低和运动简单的问题,实现了对任意位姿的高精度、鲁棒操作及仿真到真实机器人的迁移。
2023-08-04 cs.AI cs.LG cs.RO
Stability Analysis of Planar Probabilistic Piecewise Constant Derivative Systems
Kansas State University(堪萨斯州立大学)
本文研究一类随机混杂系统--平面概率分段常数微分系统(Planar Probabilistic Piecewise Constant Derivative Systems,Planar PPCD)的概率稳定性分析,其中连续动态是确定的、常速率的、平面的,模式之间的离散切换是概率的,发生在不变区域的边界,并且在切换过程中连续状态不重置。这些适当的模型分段线性行为的平面机器人。我们的主要结果是一个精确的算法来决定的绝对和几乎肯定的稳定性的平面PPCD下一些温和的假设状态之间的相互可达性和存在的非零概率自环。我们的主要思想是把平面PPCD上的稳定性问题转化为相应的带边权的离散时间马尔可夫链上的问题。
2022-07-06 cs.RO
Advancing Deep Learning through Probability Engineering: A Pragmatic Paradigm for Modern AI
Duke University(杜克大学)
本文提出概率工程范式,将深度学习中的概率分布视为可主动修改的工程对象,通过新技术和约束提升其鲁棒性、效率、适应性与可信度,并在贝叶斯深度学习、边缘AI和生成式AI中展示应用,为现代AI提供更可靠的解决方案。
2025-03-19 cs.AI math.PR stat.ML
Self-Adapting Recurrent Models for Object Pushing from Learning in Simulation
University of Hamburg(汉堡大学)
平面推送是一个具有挑战性的研究课题,其核心问题是建立相互作用的动力学模型。即使是一个精确的分析动态模型本质上是不稳定的,因为物理参数,如惯性和摩擦只能近似。数据驱动模型通常依赖于大量的训练数据,但在使用真实机器人时,数据汇集非常耗时。在本文中,我们收集了所有的训练数据在物理模拟器,并建立了一个基于LSTM的模型,以适应推动动力学。域随机化被应用于捕获广义对象类的推动轨迹。当在真实机器人上执行时,经过训练的递归模型在几个步骤内适应被跟踪对象的真实动态。我们提出了算法\emph{Recurrent}模型预测路径积分(RMPPI)作为一个变化的原始MPPI方法,采用状态依赖的经常性模型。作为比较,我们还训练了一个深度确定性策略梯度(DDPG)网络作为无模型基线,它也被用作数据汇集阶段的动作生成器。在策略训练中,采用后见之明经验回放的方法来提高探索效率。在UR5平台上的推流实验证明了模型的适应性和框架的有效性。
2020-07-27 cs.RO
Omnipush: accurate, diverse, real-world dataset of pushing dynamics with RGB-D video
Massachusetts Institute of Technology(麻省理工学院)
推动是机器人的基本技能。现有的工作已经展示了如何利用推的模型来实现各种任务,包括在不确定性下的抓取,手操纵和清除混乱。然而,这些模型是近似的,这限制了它们的适用性。基于学习的方法可以准确地直接从原始感官数据中推理,并有可能推广到更广泛的场景。然而,开发和测试这些方法需要足够丰富的数据集。在本文中,我们介绍Omnipush,一个数据集与各种各样的平面推送行为。特别是,我们为250个对象中的每个对象提供250次推送,所有这些都使用RGB-D和高精度跟踪系统进行记录。构建对象是为了系统地探索影响推送的关键因素-对象的形状及其质量分布-这些因素在以前的数据集中没有得到广泛的探索,并允许在模型学习中研究泛化。Omnipush包括元学习动态模型的基准,这需要算法做出良好的预测并估计自己的不确定性。我们还提供了一个RGB视频预测基准,并提出了适合此数据集的其他相关任务。数据和代码可在\url{https://web.mit.edu/mcube/omnipush-dataset/}上获得。
2021-08-19 cs.CV cs.LG cs.RO
Probabilistic Model Updating of Steel Frame Structures Using Strain and Acceleration Measurements: A Multitask Learning Framework
针对钢框架结构概率模型更新问题,提出一种结合应变与加速度测量的多任务学习框架,通过分解空间框架为多任务并利用模态位移-应力关系,经足尺试验验证可降低参数估计不确定性,提升模型更新鲁棒性。
2024-01-31 stat.AP
A Probabilistic Model for Planar Sliding of Objects with Unknown Material Properties: Identification and Robust Planning
Rutgers University(罗格斯大学)
本文介绍了一种新的技术,学习未知物体的质量和摩擦分布的概率模型,并通过使用学习到的模型执行鲁棒滑动动作。所提出的方法在两个连续的阶段中执行。在探索阶段,机器人从不同角度戳桌面物体。观察到的物体的运动与各种假设的质量和摩擦模型的模拟运动进行比较。然后,相对于未知的质量和摩擦参数对仿真与现实的差距进行微分,并使用解析计算的梯度来优化这些参数。由于它是很难解开的质量从摩擦系数在低数据和准静态运动制度,我们的方法保留了一组局部最优的对质量和摩擦模型。基于每对模型的相对准确度来计算模型上的概率分布。在开发阶段,使用概率规划器来选择具有高置信度的稳定的目标配置和航路点。所提出的技术进行评估,对真实的物体,并使用一个真正的机械手。结果表明,该方法不仅可以准确识别非均匀物体的质量和摩擦系数,而且可以在不需要人工帮助或反馈的情况下,成功地将未知物体滑到桌子边缘并从那里拾取。
2020-08-05 cs.RO cs.SY eess.SY
Contact-Implicit Planning and Control for Non-Prehensile Manipulation Using State-Triggered Constraints
Amazon Robotics(亚马逊机器人);Toyota Research Institute(丰田研究院)
我们提出了一种接触隐式规划方法,可以产生接触互动轨迹的非易失性操作问题,没有调整或定制的初始猜测,并具有很高的成功率。这是通过利用状态触发约束(STC)的概念来捕获离散接触模式引起的混合动力学,而无需明确推理的组合。STC使得能够以连续的方式通过严格的不等式条件触发任意约束。我们首先使用STC开发一个自动的接触约束激活方法,以最小化有效的约束空间的基础上的实用程序的接触候选人为一个给定的任务。然后,我们介绍了一个重新制定的库仑摩擦模型的基础上STC的切向力的发现是更有效的比研究互补约束为基础的方法。最后,我们将所提出的摩擦模型应用于准静态平面推进的规划与控制。基于STC的接触激活和摩擦方法的性能进行了评估,通过广泛的模拟实验中的动态推动的情况下。结果表明,我们的方法优于基线的基础上互补约束的规划时间和更高的成功率显着减少。然后,我们比较了拟静态推控制器对基于混合整数规划的方法在仿真中,发现我们的方法是计算更有效,并提供了更好的跟踪精度,与额外的好处,不需要一个初始控制轨迹。最后,我们提出了硬件实验,证明了我们的框架在执行复杂的轨迹实时,即使是低精度的跟踪系统的可用性。
2022-10-18 cs.RO
Learning Sequential Latent Variable Models from Multimodal Time Series Data
University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究所)
高维数据的序列建模是包括基于模型的强化学习和控制动态辨识在内的许多领域的重要问题。应用于序列数据的潜变量模型(即,潜在动态模型)已经被证明是解决该问题的特别有效的概率方法,尤其是在处理图像时。然而,在许多应用领域(例如,机器人技术),来自多个感测模态的信息是可用的-现有的潜在动态方法尚未被扩展以有效地利用这种多模态顺序数据。多模态传感器流可以以有用的方式相关,并且通常包含跨模态的互补信息。在这项工作中,我们提出了一个自监督生成建模框架,以共同学习多模态数据的概率潜在状态表示和相应的动态。使用来自多模式机器人平面推动任务的合成和真实世界数据集,我们证明我们的方法可以显着提高预测和表示质量。此外,我们比较了连接潜在空间中的每个模态的共同学习基线,并表明我们的原则概率公式执行得更好。最后,尽管是完全自我监督的,但我们证明了我们的方法几乎与依赖于地面真实标签的现有监督方法一样有效。
2023-01-20 cs.AI cs.CV cs.LG