Online Time-Informed Kinodynamic Motion Planning of Nonlinear Systems
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学)
本文提出结合深度可逆Koopman算子DIKU与可达性分析方法ASKU,在线近似非线性系统的时间信息集,并设计直接采样技术加速时间最优动力学运动规划,实验验证其近实时性能与优越规划效果。
2024-07-03 cs.RO
The Generalized Label Correcting Method for Optimal Kinodynamic Motion Planning
Massachusetts Institute of Technology(麻省理工学院)
几乎所有的自主机器人系统都使用某种形式的运动规划来计算通过其环境的参考运动。自主机器人在广泛的应用中的日益增加的使用产生了对适用于这些新应用领域中的任何一个的有效的通用运动规划算法的需要。本文提出了一种基于可容许输入信号集直接前向搜索的分辨率完全最优运动动力学运动规划算法。这种通用标签校正方法的优点是它不需要像相关方法那样的本地规划子程序。初步材料集中在新的拓扑性质的规范问题制定,用于显示连续性的性能目标。这些意见被用来推导出一个概括的贝尔曼的最优性原则的背景下,kinodynamic运动规划。然后提出了一种广义标签校正算法,该算法利用这些结果从搜索中修剪候选输入信号,当它们的成本大于相关信号时。本论文的第二部分讨论了运动动力学运动规划的可接受算法。推导出了一个可容许性条件,该条件可用于验证特定问题的候选算法的可容许性。这个条件也刻画了一个凸集的可容许算法。一个线性规划制定,以获得一个启发式,这是尽可能接近最佳的成本去,而其余的容许。这种优化是合理的,通过显示其解决方案与Hamilton-Jacobi-Bellman方程的解决方案相一致。最后,提出了一个平方和松弛的无限维线性规划,以获得可证容许的近似解。
2017-05-12 cs.RO
Towards Learning Efficient Maneuver Sets for Kinodynamic Motion Planning
Rutgers University(罗格斯大学)
动态系统的规划是具有挑战性的,因为通常没有可用的本地规划器,并且探索状态空间的唯一原始方法是控制的前向传播。在这种情况下,树抽样为基础的规划已经开发出来,其中一些实现渐近最优传播随机控制在每次迭代。虽然对于分析是理想的,但随机控制导致在实践中缓慢收敛到高质量轨迹。这个简短的立场声明首先认为,如果一个kinodynamic规划者有机会适当地平衡开发探索权衡本地演习,规划者的每次迭代性能显着提高。在规划过程中生成这样的机动可以通过策划随机控制的大样本来实现。然而,这在计算上非常昂贵。如果这样的机动可以快速生成,规划器的性能也将作为计算时间的函数得到改善。为了客观,这个简短的立场声明主张将现代机器学习框架与最先进的,知情的和渐进最佳的Kinodynamic规划器相结合。所提出的方法涉及使用神经网络来推断机器人系统的动力学,适当地平衡上述开发探索权衡本地演习。特别是,提出了一个神经网络架构,它被训练,以反映在线策展过程中的选择,给定的局部障碍和启发式信息。规划器使用这些机动来有效地探索底层状态空间,同时仍然保持期望的属性。模拟环境和系统中的初步迹象是有希望的,但也指出了一些挑战,激励在这一方向上进一步研究。
2019-07-18 cs.RO
Sampling-based Kinodynamic Planning with World Models
Purdue University(普渡大学)
本文提出两种适用于世界模型隐空间的采样式运动-动力学规划策略,在模拟和真实推方块任务中,其规划效率和成功率均优于CEM、MPPI等优化器。
2026-10-12 cs.RO
iDb-RRT: Sampling-based Kinodynamic Motion Planning with Motion Primitives and Trajectory Optimization
New York University(纽约大学);TU Berlin(柏林工业大学);ETH Zurich(苏黎世联邦理工学院)
提出iDb-RRT,一种结合运动基元与轨迹优化的采样型动力学运动规划算法,具备概率完备性,在30个问题、8个系统的基准测试中,求解速度比先前方法快最多10倍,尤其适用于长轨迹和狭窄通道场景。
2024-03-16 cs.RO
VI-IKD: High-Speed Accurate Off-Road Navigation using Learned Visual-Inertial Inverse Kinodynamics
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室)
在地面车辆上的高速越野导航的关键挑战之一是,车辆地形相互作用的Kinodynamics可以根据地形而显著不同。以前的方法来解决这一挑战已经考虑学习逆kinodynamics(IKD)模型,条件是惯性信息的车辆感测的kinodynamics的相互作用。在本文中,我们假设,使准确的高速越野导航使用一个学习的IKD模型,除了惯性信息从过去的,还必须预测的kinodynamic相互作用的车辆与地形在未来。为此,我们引入视觉惯性逆Kinodynamics(VI-IKD),一种新的基于学习的IKD模型,除了过去的惯性信息之外,它还基于机器人前方地形的视觉信息,使其能够预测未来的Kinodynamic交互。我们验证了VI-IKD在室内和室外环境中的1/5 UT-AlphaTruck越野自动驾驶汽车上进行精确高速越野导航的有效性,并表明与其他最先进的方法相比,VI-IKD能够在各种不同地形上以高达3.5 m/s的速度进行更准确和更强大的越野导航。
2022-08-01 cs.AI cs.CV cs.LG
A Scalable Whole-body Motion Transfer via Implicit Kinodynamic Motion Retargeting
HKUST(GZ)(香港科技大学(广州));ETH Zurich(苏黎世联邦理工学院);Zhejiang University(浙江大学);Xiaomi Robotics Lab(小米机器人实验室)
提出隐式动力学运动重定向(IKMR),利用骨架图卷积双自编码器将人体与机器人运动映射到共享拓扑潜空间,结合物理信息精炼实现高速、鲁棒的运动数据转换,解决噪声与计算瓶颈。
2026-07-01 cs.AI cs.RO
Dispersive Forward Tree Search for Optimal Control: Coverage, Complexity, and Computation
Massachusetts Institute of Technology(麻省理工学院)
本文针对非线性平台的规划问题,提出具有有限样本近最优性保证的DFT*算法,通过分散指令集与代价剪枝,在嵌入式处理器上实现高效实时规划,性能优于现有运动学动力学规划器。
2026-08-28 cs.RO math.OC
Improving Kinodynamic Planners for Vehicular Navigation with Learned Goal-Reaching Controllers
Rutgers(罗格斯大学)
本文的目的是提高路径质量和计算效率的采样基kinodynamic规划器的车辆导航。它提出了一个学习框架,以确定有前途的控制在扩大过程中的抽样为基础的规划师。给定动态模型,离线训练强化学习过程以返回达到局部目标状态(即,在没有障碍物的情况下。通过专注于系统的动态而不了解环境,这个过程是数据高效的,并且对于机器人系统只发生一次。它可以在不同的环境中重复使用。规划器以明智的方式为学习的控制器生成在线局部目标状态,以偏向目标,并且以探索性的随机方式连续地生成。对于知情的扩展,本地目标状态生成通过(a)中轴信息的环境中的障碍物,或(b)波前信息的设置与可通行性成本。学习过程和由此产生的规划框架进行评估的第一和第二阶差分驱动系统,以及物理模拟的赛格威机器人。结果表明,所提出的集成的学习和规划可以产生更高的质量路径比采样为基础的Kinodynamic规划与随机控制在更少的迭代次数和计算时间。
2021-10-08 cs.RO
Terminal Matters: Kinodynamic Planning with a Terminal Cost and Learned Uncertainty in Belief State-Cost Space
Department of Robotics Engineering, Worcester Polytechnic Institute (WPI)(机器人工程系,沃斯通理工学院(WPI))
本文提出一种终端成本形式的动力学规划方法,通过优化终端状态质量和累积轨迹成本提升目标可靠性。KiTe规划器结合学习的不确定性模型,提高了在不确定环境下的目标达成成功率。
2026-05-13 cs.RO
Learned Risk Metric Maps for Kinodynamic Systems
Massachusetts Institute of Technology(麻省理工学院)
我们提出了学习的风险度量地图(LRMM)的实时估计的相干风险度量的高维动力系统在非结构化的,部分观测的环境中运行。LRMM模型的设计和训练简单-只需要程序生成的障碍集,状态和控制采样,并监督训练的函数逼近器-这使得它们广泛适用于任意系统动力学和障碍集。在一个平行的自治设置,我们展示了模型的能力,快速推断碰撞概率的快速移动的汽车一样的机器人鲁莽驾驶在障碍物的环境中,允许LRMM代理进行干预,控制车辆,并避免碰撞。在这种时间关键的情况下,我们表明,LRMM可以评估风险指标20- 100倍的速度比替代安全算法的基础上控制障碍函数(CBF)和汉密尔顿-雅可比可达性(HJ-到达),导致5- 15%的障碍碰撞LRMM代理比CBF和HJ-到达。尽管LRMM模型只能访问障碍物的局部/部分观察,而CBF和HJ到达代理被授予特权/全局信息,但这种性能改进仍然存在。我们还表明,我们的模型可以同样很好地训练12维四旋翼系统在一个有障碍的室内环境中运行。LRMM代码库在https://github.com/mit-drl/pyrmm上提供。
2023-02-28 cs.LG cs.RO
DMotion: Robotic Visuomotor Control with Unsupervised Forward Model Learned from Videos
Peking University(北京大学);Princeton University(普林斯顿大学);Peng Cheng Lab(鹏城实验室)
学习环境的精确模型对于基于模型的控制任务至关重要。机器人视觉控制中的现有方法通常从具有大量标记的动作、对象实体或位置的数据中学习,这在许多情况下可能是苛刻的。为了应对这一限制,我们提出了一种方法,被称为DMotion,通过解开可控代理的运动来模拟过渡动态,仅从视频数据训练前向模型。对象提取器和交互学习器在没有监督的情况下以端到端的方式被训练。代理的运动显式表示使用空间变换矩阵包含物理意义。在实验中,DMotion在Grid World环境中学习精确的前向模型以及在仿真中更逼真的机器人控制环境方面取得了优异的性能。随着准确的学习前向模型,我们进一步证明了它们的使用模型预测控制作为一种有效的方法,机器人操作。
2021-07-26 cs.RO
Zero-Shot Adaptation to Robot Structural Damage via Natural Language-Informed Kinodynamics Modeling
本研究提出ZLIK方法,利用自然语言引导的自监督学习,通过数据驱动的方式学习运动动力学模型,实现对机器人结构损伤的零样本适应,显著降低运动动力学误差并提升跨尺度泛化能力。
2026-02-12 cs.RO
VertiCoder: Self-Supervised Kinodynamic Representation Learning on Vertically Challenging Terrain
George Mason University(乔治梅森大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出VertiCoder,一种用于垂直挑战地形机器人移动性的自监督运动动力学表示学习方法,通过单一预训练表示处理四项下游任务,在参数量减少77%的情况下性能优于专用端到端模型,并展现出稳健的泛化能力。
2025-03-06 cs.RO
External Forces Resilient Safe Motion Planning for Quadrotor
Zhejiang University(浙江大学);University of Pennsylvania(宾夕法尼亚大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院)
对于复杂未知环境中的四旋翼飞行器,在不需要外界干扰先验知识的情况下进行自适应自主导航具有重要意义。考虑外部干扰的主流方法是实现干扰抑制控制和路径跟踪。然而,鲁棒控制,以补偿跟踪偏差没有很好地考虑到能源消耗,甚至参考路径将成为危险和棘手的干扰。随着最近外力估计的发展,可以结合实时力估计器来开发更强大和安全的规划框架。本文提出了一个系统的(重新)规划框架,可以弹性地产生安全的轨迹在动荡的条件下。首先,前端Kinodynamic路径搜索力偏置运动基元。然后,我们开发了一个非线性模型预测控制(NMPC)作为一个本地规划器与哈密尔顿-雅可比(HJ)前向可达性分析的误差动态外力。它保证避免碰撞的约束椭球的四旋翼机构扩展的前向可达集(FRS)内的安全凸多面体。我们的方法在模拟和现实世界的实验与不同的外力来源进行了验证。
2021-09-29 cs.RO
Development of a Modular and Submersible Soft Robotic Arm and Corresponding Learned Kinematics Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Beckman Institute for Advanced Science and Technology(贝克曼高等科学技术研究所);University of Michigan(密歇根大学)
自然界中发现的许多软体生物在水下繁殖。类似地,软体机器人可能非常适合水下环境,部分原因是重力、摩擦和谐波振荡的问题影响在水下不那么严重。然而,它仍然是一个挑战,设计,制造,防水,建模和控制水下软机器人系统。此外,潜水机器人通常没有可配置的组件,因为需要密封的电子和机械元件。这项工作介绍了一种由液压致动器驱动的模块化和可潜水软机械臂的开发,该机械臂主要由3D打印部件组成,可以在相对较短的时间内组装或修改。其模块化设计可实现多种形状配置,并可轻松更换软致动器。作为在该系统上探索机器学习控制算法的第一步,我们还提出了使用深度神经网络开发的初步正向和逆运动学模型。
2022-12-06 cs.AI cs.LG cs.RO
Accounting for Hysteresis in the Forward Kinematics of Nonlinearly-Routed Tendon-Driven Continuum Robots via a Learned Deep Decoder Network
University of Utah(犹他大学);Vanderbilt University(范德堡大学)
本文提出一种深度解码器神经网络,以点云表示形状并基于先前配置建模迟滞效应,从而准确预测腱驱动连续体机器人的完整形状,实验表明其性能显著优于现有物理模型和未考虑迟滞的学习模型。
2024-04-04 cs.RO
Object-centric Forward Modeling for Model Predictive Control
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
我们提出了一种学习以对象为中心的前向模型的方法,并表明这使我们能够计划行动序列,以实现遥远的预期目标。我们建议将场景建模为对象的集合,每个对象都具有显式的空间位置和隐式的视觉特征,并学习使用随机交互数据对动作的效果进行建模。我们的模型允许捕获机器人-对象和对象-对象的交互,并导致更有效的样本和准确的预测。我们表明,可以利用这个学习模型来搜索导致所需目标配置的动作序列,并且与学习的纠正模块结合,这可以实现鲁棒的闭环执行。我们目前在模拟和现实世界中的实验,并表明,我们的方法提高了替代隐式或像素空间的前向模型。请查看我们的项目页面(https://judyye.github.io/ocmpc/)获取结果视频。
2019-10-08 cs.CV cs.RO
Wheel-loader V-Cycle Automation with Deep Koopman MPC
University of California, Davis(加州大学戴维斯分校)
本文提出一种结合几何规划与数据驱动深度Koopman MPC的分层框架,实现轮式装载机V型循环作业的实时自主控制,并在高保真仿真中验证了准确性与高效性。
2026-09-23 cs.RO cs.SY eess.SY
Continuous Versatile Jumping Using Learned Action Residuals
University of Washington(华盛顿大学);Google(谷歌)
本文提出融合最优控制与强化学习的分层框架,通过学习动作残差增强手动加速度控制器,使四足机器人能够直接从仿真部署到实机并完成连续多功能跳跃。
2023-04-17 cs.AI cs.LG cs.RO
VIP-Loco: A Visually Guided Infinite Horizon Planning Framework for Legged Locomotion
VIP-Loco结合视觉感知与强化学习,实现腿部机器人在复杂动态环境中的鲁棒运动规划,通过内部模型将本体状态与深度图像映射为紧凑的运动动力学特征,结合无限 horizon MPC提升适应性与结构化规划能力。
2026-03-15 cs.RO
GPU Based Path Integral Control with Learned Dynamics
Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学)
我们提出了一种算法,结合了最新的进展,基于模型的路径积分控制与机器学习方法来学习前向动力学模型。我们利用GPU的并行计算能力,从学习的概率动力学模型中快速获取大量样本,我们使用这些样本来近似最优控制的路径积分形式。由此产生的算法以滚动时域的方式实时运行,并且不受关于成本、约束或动态的限制性假设的影响。一个简单的变化的路径积分控制制定允许算法在规划过程中考虑模型的不确定性,我们证明了其性能的四旋翼导航任务。除了这种新颖的适应路径积分控制,这是第一次,滚动时域实现迭代路径积分控制已运行在一个真实的系统。
2015-03-01 cs.RO
Dynamic Inference on Graphs using Structured Transition Models
Carnegie Mellon University(卡内基梅隆大学)
使机器人能够执行复杂的动态任务,例如在一个清扫动作中拾取物体或推离墙壁以快速转弯是一个具有挑战性的问题。这些任务中隐含的动态交互对于成功执行这些任务至关重要。图神经网络(GNN)提供了一种学习交互系统动态的原则性方法,但随着交互数量的增加,可能会遇到缩放问题。此外,使用学习的基于GNN的模型进行最优控制的问题没有得到充分的探索。在这项工作中,我们提出了一种有效地学习相互作用系统的动态的方法,同时学习动态图结构和系统的稳定和局部线性前向模型。动态图形结构通过在图形的边缘上进行概率预测来编码沿着轨迹的演变接触模式。此外,我们在学习的图结构中引入了时间依赖性,这允许我们在执行过程中合并接触测量更新,从而实现更准确的向前预测。学习的稳定和局部线性动态使得能够使用最优控制算法,例如iLQR,用于复杂交互任务的长期规划和控制。通过模拟和现实世界中的实验,我们通过使用学习到的交互动力学进行控制来评估我们的方法的性能,并展示了在训练过程中看不到的更多对象和交互的泛化。我们引入了一个控制方案,利用接触测量更新,因此是强大的预测不准确的执行过程中。
2022-09-29 cs.RO
Neural Optimal Control using Learned System Dynamics
University of Minnesota(明尼苏达大学)
研究了动态未知系统的控制律生成问题。我们的方法是用神经网络来表示控制器和价值函数,并用HJB方程中的损失函数来训练它们。在没有已知动态模型的情况下,我们的方法首先从通过在离线过程中与系统交互收集的数据中学习状态转换。然后将学习的过渡函数集成到HJB方程中,并用于在反馈回路中正向模拟由我们的控制器产生的控制信号。与针对单个初始状态优化控制器的轨迹优化方法相比,我们的控制器可以从状态空间的大部分中为初始状态生成接近最优控制信号。与最近的基于模型的强化学习算法相比,我们表明,我们的方法是更有效的样本和训练速度的一个数量级。我们证明了我们的方法在一些任务,包括控制的四旋翼与12个状态变量。
2023-02-20 cs.RO
Bi-directional Value Learning for Risk-aware Planning Under Uncertainty: Extended Version
Carnegie Mellon University(卡内基梅隆大学);Jet Propulsion Laboratory(喷气推进实验室)
不确定性决策是自治系统的一项重要能力。在其最一般的形式,这个问题可以制定为一个部分可观测马尔可夫决策过程(POMDP)。POMDP的解决方案策略可以隐式地编码为价值函数。在部分可观察的设置中,价值函数通常通过系统演化的前向模拟来学习。针对准确和长期的风险评估,我们提出了一种新的方法,其中价值函数是通过在信念空间中的双向搜索在不同的阶段学习。反向价值学习过程提供了一个长期和风险意识的基本策略。前向值学习过程确保局部最优性,并通过前向模拟更新策略。我们考虑一类可扩展和连续空间漫游车导航问题(RNP)的安全性,可扩展性和最优性的评估所提出的算法。结果表明,所提出的算法的能力,在评估长期的风险/安全的规划者,同时解决连续的问题,长期规划的视野。
2019-04-06 cs.RO
Online Adaptation of Sampling-Based Motion Planning with Inaccurate Models
University of Michigan(密歇根大学)
针对机器人运动规划模型不准、难以适配实际系统偏差的问题,提出带上下文感知的采样式运动规划在线自适应方法,通过调整代价函数与采样偏置避开不可靠运动,提升执行成功率并减少重规划次数。
2024-03-12 cs.RO
Maximum-Entropy Multi-Agent Dynamic Games: Forward and Inverse Solutions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
在本文中,我们研究的问题,多个随机代理人在一个动态的游戏场景与连续的状态和行动空间。我们定义了一个新的概念,有限理性代理的随机纳什均衡,我们称之为熵成本均衡(ECE)。我们表明,ECE是一个自然扩张多个代理的最大熵最优的单一代理。我们解决了多智能体ECE游戏的“正”和“逆”问题。对于正问题,我们提供了一个Riccati算法来计算封闭形式的ECE反馈策略的代理,这是精确的线性二次高斯的情况下。我们给出了一个迭代的变种,找到本地ECE反馈政策的非线性情况下。对于逆问题,我们提出了一种算法来推断的费用函数的多个相互作用的代理商给出嘈杂的,有界理性的输入和状态轨迹的例子,代理商在ECE。我们的算法的有效性证明在一个模拟的多智能体碰撞避免的情况下,并与数据的互动交通数据集。在这两种情况下,我们表明,考虑到代理的博弈论的相互作用,使用我们的算法,更准确的代理成本模型可以学习,与标准的逆最优控制方法相比。
2021-10-03 cs.RO math.OC
Kinodynamic Trajectory Following with STELA: Simultaneous Trajectory Estimation & Local Adaptation
Dept. of Computer Science, Rutgers University, NJ, USA(计算机科学系,罗格斯大学,新泽西州,美国)
本文提出STELA框架,通过因子图表示将轨迹估计与局部自适应控制统一,支持任意动力学模型并引入执行时间作为优化变量,实现至少10Hz的在线控制更新,在理想车辆上性能与现有框架相当。
2025-04-28 cs.RO
Vector Field-Guided Learning Predictive Control for Motion Planning of Mobile Robots with Uncertain Dynamics
College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学);School of Robotics, Hunan University(机器人学院,湖南大学)
本文提出两级向量场引导学习预测控制方法,结合运动动力学GVF、深度库普曼算子与稀疏高斯过程,提升移动机器人在障碍物密集环境中的安全机动能力。
2025-09-22 cs.RO
Plan-Space State Embeddings for Improved Reinforcement Learning
University of Southern California(南加州大学)
机器人控制问题通常是用一个策略函数来构造的,该策略函数将状态值映射到控制值,但是在许多动态问题中,观察到的状态可能难以表征与有用的策略动作的关系。在本文中,我们提出了一种新的方法学习状态嵌入计划或其他形式的演示,使嵌入空间具有特定的几何关系的演示。我们提出了一种新的变分框架来学习这些嵌入,试图优化学习的嵌入空间中的轨迹线性。我们展示了如何将这些嵌入空间用作强化学习问题中机器人状态的增强。我们使用kinodynamic规划来生成一些示例环境的训练轨迹,然后为这些环境训练嵌入空间。我们的经验表明,在学习的嵌入空间中观察系统可以提高策略梯度强化学习算法的性能,特别是通过减少训练运行之间的方差。我们的技术仅限于演示数据可用的环境,但对如何收集数据没有限制。我们的嵌入技术提供了一种方法来转移领域知识从现有的技术,如规划和控制算法,到更灵活的策略学习算法,通过创建一个抽象的机器人状态表示有意义的几何形状。
2020-04-30 cs.LG cs.RO stat.ML
Dom, cars don't fly! -- Or do they? In-Air Vehicle Maneuver for High-Speed Off-Road Navigation
Department of Computer Science, George Mason University(计算机科学系,乔治·马歇尔大学)
本文提出了一种基于混合前向动力学模型的空中车辆操控方法,通过车辆控制实现高速越野导航中的精准空中 maneuver。
2025-03-24 cs.RO cs.SY eess.SY
Learned Perceptive Forward Dynamics Model for Safe and Platform-aware Robotic Navigation
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
提出一种学习型感知前向动力学模型(FDM),通过预测机器人未来状态并集成至零样本MPPI规划框架,无需繁琐成本调整即可实现安全且平台感知的导航,在ANYmal机器人上显著提升位置估计精度与导航成功率。
2025-04-29 cs.RO
First Steps: Latent-Space Control with Semantic Constraints for Quadruped Locomotion
Applied AI Lab (A2I)(应用人工智能实验室(A2I));Dynamic Robot Systems (DRS)(动态机器人系统(DRS));Oxford Robotics Institute (ORI), University of Oxford(牛津大学牛津机器人研究所(ORI))
传统的四足动物控制方法通常采用简化的手衍生模型。这显著降低了机器人的能力,因为其有效的运动范围被缩减。此外,Kinodynamic约束通常是不可微的,并且难以在优化方法中实现。在这项工作中,这些挑战是解决框架四足动物控制优化结构化的潜在空间。深度生成模型捕获可行的关节配置的统计表示,而复杂的动态和终端约束通过高级语义指标表示,并由在潜在空间上操作的学习分类器表示。因此,复杂的约束呈现微分和评估的数量级快于分析方法。我们验证的可行性运动轨迹优化使用我们的方法在模拟和现实世界中的ANYmal四足动物。我们的研究结果表明,这种方法是能够产生平滑和可实现的轨迹。据我们所知,这是第一次潜在的空间控制已成功地应用于一个复杂的,真正的机器人平台。
2020-11-20 cs.LG cs.RO
Flexible-Joint Manipulator Trajectory Tracking with Learned Two-Stage Model employing One-Step Future Prediction
University of Bonn(波恩大学)
在人机协作和共享工作空间任务期间,经常使用双关节机械手来提高安全性。然而,关节的灵活性大大降低了运动的精度,特别是在高速和廉价的致动器。在本文中,我们提出了一种基于学习的方法来识别未知的动力学的柔性关节机械手,提高在高速的轨迹跟踪。我们提出了一个两阶段的模型,它是由一个一步向前动态未来预测器和逆动态估计。第二部分是基于线性时不变动力学算子来近似前馈关节位置和速度命令。我们在真实世界的数据上对模型进行端到端的训练,并在Baxter机器人上对其进行评估。我们的实验表明,与没有预测的相同模型相比,用一步未来状态预测来增强输入可以提高性能。我们比较关节位置,关节速度和末端执行器的位置跟踪精度对经典的基线控制器和几个简单的模型。
2021-12-06 cs.RO
Uncertainty Averse Pushing with Model Predictive Path Integral Control
University of Birmingham(伯明翰大学);University of Edinburgh(爱丁堡大学)
规划强大的机器人操作需要良好的前向模型,使强大的计划被发现。这项工作显示了如何实现这一目标,使用前向模型从机器人数据学习计划推操作。我们探索了学习方法(高斯过程回归和混合密度网络),这些方法可以估计预测中的不确定性。模型预测路径积分(MPPI)控制器利用这些学习的模型来规划如何将盒子推到目标位置。该规划器避免了在正演模型中具有高预测不确定性的区域。这既包括动态中固有的不确定性,也包括由于数据有限而产生的Meta不确定性。因此,推进任务相对于前向模型中的估计不确定性以鲁棒的方式完成,并且不需要可微分的成本函数。我们在一个真实的机器人上演示了该方法,并表明学习可以胜过物理模拟。使用模拟,我们还显示了规划不确定性规避路径的能力。
2017-10-15 cs.RO
Learning Temporally Extended Skills in Continuous Domains as Symbolic Actions for Planning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出 SEADS 分层强化学习智能体,通过内在动机联合学习多样化连续控制技能与符号前向模型,从而将技能作为符号动作支持长时程规划,并在复杂任务和真实机器人上验证了高成功率。
2023-07-24 cs.LG cs.RO
Adaptive Asynchronous Control Using Meta-learned Neural Ordinary Differential Equations
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);Magazino GmbH(Magazino有限公司)
针对机器人系统中观测与动作异步及环境动力学剧烈变化的问题,提出基于元学习神经常微分方程的自适应连续时间动力学建模与控制框架,并在仿真和真实工业机器人上验证了其有效性。
2023-10-23 cs.LG cs.RO
DrivingScene: A Multi-Task Online Feed-Forward 3D Gaussian Splatting Method for Dynamic Driving Scenes
Harbin Institute of Technology, China(哈尔滨工业大学);Chongqing Research Institute of HIT, China(哈尔滨工业大学重庆研究院);Li Auto, China(利亚汽车)
针对动态驾驶场景实时高保真重建的质量效率平衡难题,提出在线前馈框架DrivingScene,结合残差流网络与粗到精训练,仅用两张环视图像即可同时生成多类高质量结果,性能超越现有最优方法。
2025-10-14 cs.CV cs.LG cs.RO
CAHSOR: Competence-Aware High-Speed Off-Road Ground Navigation in SE(3)
George Mason University(乔治梅森大学)
针对高速越野车辆在SE(3)中的稳定性问题,提出CAHSOR方法,利用6自由度运动模型和TRON地形表示,实现能力感知导航,减少62%不稳定性,仅牺牲8.6%速度。
2025-03-24 cs.RO
Deep Learning based Segmentation of Fish in Noisy Forward Looking MBES Images
Technical University of Denmark(丹麦技术大学);ATLAS MARIDAN(阿特拉斯马里丹公司)
在这项工作中,我们研究了一种深度学习(DL)方法,用于在由前视多波束回声测深仪(MBES)生成的噪声低分辨率图像的小数据集中进行鱼类分割。我们建立在DL和卷积神经网络(CNN)的语义分割的最新进展,并展示了一个端到端的方法,鱼/非鱼的概率预测的所有距离方位角位置投影的成像声纳。我们使用自收集的数据集,从丹麦的声音和法罗群岛训练和测试我们的模型和本技术,以获得令人满意的性能和泛化,即使是低容量的数据集。我们表明,我们的模型证明了所需的性能,并学会了利用语义上下文的重要性,并考虑到这一点,从真正的目标分离噪声和非目标。此外,我们提出了在低成本嵌入式平台上部署模型的技术,以获得适合边缘环境的更高性能-其中计算和功率受到尺寸/成本的限制-用于测试和原型设计。
2020-06-16 cs.CV cs.RO