Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University(亚利桑那州立大学);Google DeepMind(谷歌DeepMind)
深度确定性策略梯度(DDPG)等无模型强化学习算法通常需要额外的探索策略,特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时,训练的潜像嵌入。此外,DDPG的扩展派生使用价值函数作为评论家,利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家,后者受益于规划器生成的增强探索。两个连续的控制任务,一个在模拟和一个在现实世界中的方法进行评估。特别是,Baxter机器人被训练来执行插入任务,同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
DiffCo: Auto-Differentiable Proxy Collision Detection with Multi-class Labels for Safety-Aware Trajectory Optimization
University of California San Diego(加州大学圣地亚哥分校)
轨迹优化算法的目标是实现起始状态和目标状态之间的最优无碰撞路径。在现实世界的场景中,环境可能是复杂和不均匀的,机器人需要能够衡量一个状态是否会与各种物体发生碰撞,以满足一些安全指标。碰撞检测器应该在计算上是高效的,并且理想地,在分析上是可微的,以促进优化期间的稳定和快速的梯度下降。然而,今天的方法缺乏一个优雅的方法来检测碰撞微分,而依赖于数值梯度,可能是不稳定的。我们提出了DiffCo,第一个完全自动微分的非参数碰撞检测模型。它的非参数行为允许人们实时计算碰撞边界并更新它们,不需要预先训练,并允许它在动态环境中不断更新。它通过反向传播为轨迹优化提供了强大的梯度,并且通常比其几何对应物的计算速度快10- 100倍。DiffCo还可以扩展到对不同对象碰撞类进行建模,以实现语义上的轨迹优化。
2022-02-19 cs.LG cs.RO
Fast UAV Trajectory Optimization using Bilevel Optimization with Analytical Gradients
XYZ Robotics Inc.(XYZ机器人公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Duke University(杜克大学)
我们提出了一个有效的优化框架,解决了轨迹优化问题的解耦状态变量的时间变量,从而分解成两个更容易的子问题的一个具有挑战性的非线性规划(NLP)问题。在定时固定的情况下,可以使用凸优化来有效地优化状态变量,并且可以在单独的NLP中优化定时变量,这形成了两层优化问题。通过参数NLP的灵敏度分析解决了获得时间变量梯度的挑战。精确的解析梯度计算从对偶解作为副产品,而现有的有限差分技术需要额外的优化。双层优化框架有效地优化了时间和状态变量,这是证明在生成轨迹的无人机。数值实验表明,双层优化收敛显着更可靠的比一个标准的NLP求解器,和分析梯度优于有限差分计算速度和精度。物理实验表明,它的实时反应目标跟踪任务的适用性。
2021-04-27 cs.RO
From Field to Planning: Learning Temporal Polar Gradient Fields for Vision-based AAV Trajectory Planning in Dynamic Environments
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院);College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化学院)
针对动态环境中基于视觉的AAV轨迹规划的现有方法计算负担重、轨迹保守的问题,提出两阶段F2P学习框架,引入EPO表示与TPGF,结合ESDF先验,经实验验证其实时性与鲁棒性优于现有方法。
2026-10-14 cs.RO
Receding-Horizon Perceptive Trajectory Optimization for Dynamic Legged Locomotion with Learned Initialization
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
为了动态地穿越具有挑战性的地形,足式机器人需要不断地感知和推理即将到来的特征,调整未来脚步的位置和时间,并战略性地利用动量。我们提出了一个流水线,使灵活的参数化轨迹感知和动态四足动物的运动进行优化,在一个在线的,滚动的方式。传递给优化器的初始猜测会影响实现收敛所需的计算和解决方案的质量。我们考虑两种方法产生良好的猜测。第一种是启发式初始化器,它提供了一个简单的猜测,需要显着的优化,但仍然适合于适应即将到来的地形。我们演示了使用ANYmal C四足动物的实验,完全板载传感和计算,以中等速度使用这种技术跨越障碍。我们的第二种方法使用潜伏模式轨迹回归(LMTR)来模仿专家数据-同时避免不同行为之间的无效插值-这样就需要最小的优化。这使得高速运动能够更广泛地利用机器人的能力。我们在平地上用真正的机器人演示了它,并提供了在地形上部署的数值试验。这些结果说明了一个范例,推进超越短期的动态反应,对动物和人类表现出的直觉和自适应运动规划的类型。
2021-04-19 cs.RO
GraphDistNet: A Graph-based Collision-distance Estimator for Gradient-based Trajectory Optimization
Korea Advanced Institute of Science and Technology(韩国科学技术院)
GraphDistNet利用边特征卷积和注意力机制,高效精确估计碰撞距离与梯度,在模拟和真实任务中超越现有方法,用于基于梯度的轨迹优化。
2023-09-05 cs.RO
Track-centric Iterative Learning for Global Trajectory Optimization in Autonomous Racing
本文提出了一种以赛道为中心的迭代学习框架,通过小波变换和贝叶斯优化优化完整赛程轨迹,实现实时动态更新和圈速提升。
2026-01-28 cs.RO
Leveraging Neural Network Gradients within Trajectory Optimization for Proactive Human-Robot Interactions
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
为了实现无缝的人机交互,机器人需要在其运动规划过程中密切推理复杂的交互动力学和未来的人类行为。然而,有一个国家的最先进的神经网络为基础的人类行为模型和机器人运动规划之间的脱节-要么行为模型是有限的,在考虑下游规划或简化的行为模型是用来确保规划问题的易处理性。在这项工作中,我们提出了一个框架,融合在一起的解释性和灵活性的轨迹优化(TO)与国家的最先进的人类轨迹预测模型的预测能力。特别是,我们利用数据驱动的预测模型中的梯度信息,在基于梯度的TO问题中明确地推理人机交互动力学。我们证明了我们的方法在多智能体的情况下,机器人需要安全,高效地通过人群中多达10个行人导航的有效性。我们对各种规划方法进行了比较,并表明通过明确考虑规划器内的交互动态,我们的方法提供了更安全,更有效的行为,甚至产生积极主动和细致入微的行为,如等待行人通过移动之前。
2020-12-02 cs.AI cs.RO
Vision-aided UAV navigation and dynamic obstacle avoidance using gradient-based B-spline trajectory optimization
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于机载视觉和梯度B样条轨迹优化的无人机导航方法,结合引导点算法与滚动时域距离场同时避开静态和动态障碍物,实现实时安全导航。
2024-01-12 cs.AI cs.RO
Online state vector reduction during model predictive control with gradient-based trajectory optimisation
School of Computer Science, University of Leeds(利兹大学计算机学院)
针对高维系统非抓取操作轨迹优化规划耗时久的问题,提出随系统演化在线约简轨迹优化自由度的方法,在异步MPC仿真中验证其可降低策略滞后、提升整体性能且有效优化轨迹。
2024-09-12 cs.RO
Functional Gradient Motion Planning in Reproducing Kernel Hilbert Spaces
University of Washington(华盛顿大学);Georgia Institute of Technology(佐治亚理工学院)
在再生核希尔伯特空间(RKHS)中提出了一种机器人运动规划的函数梯度下降轨迹优化算法。函数梯度算法是复杂多自由度机器人运动规划的流行选择,因为它们(理论上)通过在连续轨迹的空间内直接优化来避免障碍物,同时保持几何特性,如平滑度。然而,在实践中,函数梯度算法通常致力于固定的、有限的轨迹参数化,通常作为路点列表。这样的参数化可能会失去在连续轨迹空间中推理的大部分好处:例如,可能需要采用不方便的小步长和大量迭代来保持平滑度。我们的工作概括了功能梯度轨迹优化,制定它作为最小化的成本功能在RKHS。这种推广使我们能够将轨迹表示为核函数的线性组合,而不需要任何路点。因此,我们能够采取更大的步骤,并在几次迭代中实现局部最优轨迹。根据内核的选择,我们可以直接在速度、加加速度、曲率等方面固有平滑的轨迹空间中进行优化,并且具有低维的、自适应选择的参数化。我们的实验说明了不同的内核,包括高斯径向基函数,拉普拉斯径向基函数和B-样条,相比,标准的离散化路点表示的规划的有效性。
2016-01-14 cs.RO
Combining Benefits from Trajectory Optimization and Deep Reinforcement Learning
University of California at Santa Barbara(加州大学圣巴巴拉分校)
最近在强化学习和轨迹优化方面的突破已经在现实世界的机器人系统部署方面取得了重大进展。强化学习(RL)可以应用于许多问题,而不需要对系统进行任何建模或直觉,代价是高样本复杂性和无法证明有关学习策略的任何度量。另一方面,轨迹优化(TO)允许对生成的运动和轨迹进行稳定性和鲁棒性分析,但仅与通常过度简化的导出模型一样好,并且对于实时控制可能具有过于昂贵的计算时间。本文试图结合这两个领域的优点,同时通过以下方式减轻其缺点:(1)通过使用最优控制问题的现有知识来降低RL样本的复杂性,以及(2)提供对组合学习优化策略的到达时间的上限估计,通过使用TO作为最坏情况下的动作,允许在训练过程中的任何点进行在线策略部署。这种方法进行评估的汽车模型,适用于任何移动机器人系统。一个显示政策执行比较的视频可以在https://youtu.be/mv2xw83NyWU上找到。
2019-10-21 cs.LG cs.RO cs.SY
Velocity Field: An Informative Traveling Cost Representation for Trajectory Planning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院)
针对自动驾驶轨迹规划难以穷尽设计规则的问题,提出名为 Velocity Field 的局部地图表示方法,通过学习人类驾驶示范提供朝向与速度先验,在真实数据集上比栅格化代价地图更可靠高效。
2024-09-20 cs.RO
Sequence Modeling for Time-Optimal Quadrotor Trajectory Optimization with Sampling-based Robustness Analysis
University of Pennsylvania(宾夕法尼亚大学);University of California San Diego(加州大学圣地亚哥分校)
针对四旋翼时间最优轨迹计算成本高难实时的问题,提出用序列学习模型模仿基于模型的规划器加速生成,结合鲁棒性分析框架与数据增强,实现显著提速且可泛化新路径长度,经硬件验证实时可行。
2025-06-16 cs.RO
DiffCoord: Differentiable Coordination for Distributed Multi-Agent Trajectory Optimization
Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电子与计算机工程系)
提出DiffCoord框架,将截断ADMM-DDP管道的耦合参数通过端到端元学习联合优化,利用智能体神经网络实现任务自适应,并扩展到不同智能体数量。在协作空中运输系统中验证,相比现有方法将每智能体梯度计算时间减少70%。
2026-06-12 cs.LG cs.MA cs.RO
Mosaic: An Extensible Framework for Composing Rule-Based and Learned Motion Planners
Institute of Measurement and Control Systems, Karlsruhe Institute of Technology (KIT)(测量与控制系统的研究所,卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(信息技术研究所以)
Mosaic框架结合规则基和学习型运动规划方法,通过仲裁图实现结构化决策,提高自动驾驶的安全性和可解释性,实验表明其在多个基准测试中表现优异。
2026-07-15 cs.RO
Trajectory Optimization for Collision-Aware Redundant Robotic Multi-Axis Additive Manufacturing by Constrained Gradient Projection
Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong(香港中文大学机械与自动化工程系);Centre for Perceptual and Interactive Intelligence (CPII)(感知与交互智能中心);Department of Robotics at the School of Mechanical Engineering, Southeast University(东南大学机械工程学院机器人系)
提出一种约束梯度投影框架,用于冗余机器人多轴增材制造的碰撞感知轨迹优化,通过相对雅可比和可微SDF碰撞模型实现硬约束,在8-DOF平台上平均位置误差<10μm,关节加加速度降低77.6%,速度提升10.2倍。
2026-06-29 cs.CG cs.GR cs.RO
Online State-Time Trajectory Planning Using Timed-ESDF in Highly Dynamic Environments
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
在线状态时间轨迹规划在高度动态环境中仍然是一个未解决的问题,由于不可预测的运动的移动障碍物和灾难的维数从状态时间空间。现有的状态时间规划器通常是基于随机采样方法或离散状态图上的路径搜索来实现的。这些规划器的平滑性、路径间隙和规划效率通常不能令人满意。在这项工作中,我们提出了一个基于梯度的规划在高度动态的环境中的在线轨迹生成的状态时间空间。为了实现基于梯度的优化,我们提出了一个定时ESDT,支持距离和梯度查询的状态时间键。基于Timed-ESDT,我们还定义了一个光滑的先验和障碍似然函数,这是兼容的状态时间空间。轨迹规划,然后制定一个MAP问题,并解决了一个有效的数值优化。此外,为了提高规划器的最优性,我们还定义了一个状态时间图,然后进行路径搜索,以找到一个更好的初始化优化器。通过集成图搜索,规划质量得到显著提高。模拟和基准数据集上的实验结果表明,我们的规划器可以优于国家的最先进的方法,证明了其显着的优势,比传统的。
2020-10-29 cs.RO
Collision-free Motion Generation Based on Stochastic Optimization and Composite Signed Distance Field Networks of Articulated Robot
本文提出复合SDF网络快速计算机器人与障碍物距离,并结合MPPI随机优化进行贝叶斯轨迹规划,在Franka Emika Panda上实现无碰撞、时间最优运动。
2023-06-07 cs.RO
Local Path Optimization in The Latent Space Using Learned Distance Gradient
Harbin Institute of Technology(哈尔滨工业大学)
本文提出利用学习的距离梯度在潜在空间中进行局部路径优化,通过训练神经网络预测机器人与障碍物的距离,提高路径规划效率。
2025-12-30 cs.RO
Optimization of Flip-Landing Trajectories for Starship based on a Deep Learned Simulator
Beijing Institute of Astronautical Systems Engineering(北京宇航系统工程研究所);Harbin Institute of Technology(哈尔滨工业大学)
提出一种基于深度神经网络和可微动力学的翻转着陆轨迹优化框架,无需线性化即可处理约束并优化高非线性机动。
2025-07-31 cs.RO cs.SY eess.SY
VH-Diffuser: Variable Horizon Diffusion Planner for Time-Aware Goal-Conditioned Trajectory Planning
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学)
提出VHD框架,将规划视界作为学习变量,通过Length Predictor预测实例特定视界并引导Diffusion Planner生成目标长度轨迹,有效解决了固定视界导致的长度不匹配问题,提升了长视界任务的成功率与鲁棒性。
2025-09-15 cs.RO cs.SY eess.SY
Trajectory Optimization with Optimization-Based Dynamics
Stanford University(斯坦福大学);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个双层轨迹优化的框架,其中一个系统的动态被编码为一个约束优化问题的解决方案和平滑的梯度,这个较低级别的问题被传递到一个上层的轨迹优化。这种基于优化的动态表示使约束处理,附加变量和非光滑行为能够从上层优化器中抽象出来,并允许经典的无约束优化器为更复杂的系统合成轨迹。我们提供了一个有效的评价约束动力学和利用隐式微分计算光滑梯度表示的邻域点方法。我们展示了框架建模系统从运动,航空航天和操作域,包括:杂技演员与关节限制,车极库仑摩擦,Raibert料斗,火箭着陆推力限制,平面推任务与优化为基础的动态,然后使用迭代LQR优化轨迹。
2023-01-11 cs.RO cs.SY eess.SY
Spacecraft Rendezvous Trajectory Generation with Modular Constraints via Diffusion Model Composition
Massachusetts Inst. of Technology(麻省理工学院)
本文提出一种基于扩散模型组合的模块化轨迹生成方法,用于航天器交会与接近操作,通过组合能量模型灵活配置约束,实验验证满足率高且无需重训练。
2026-10-06 cs.LG cs.RO
Context-aware Learned Mesh-based Simulation via Trajectory-Level Meta-Learning
本文提出了一种基于轨迹级元学习的网格模拟方法,利用运动原语实现快速且准确的模拟,提升模拟精度并降低运行成本。
2026-01-21 cs.LG cs.RO
THOMAS: Trajectory Heatmap Output with learned Multi-Agent Sampling
Huawei Technologies France(华为技术法国公司);MINES ParisTech(巴黎高科矿业学院)
在本文中,我们提出了THOMAS,一个联合多智能体轨迹预测框架,允许多智能体多模态轨迹的有效和一致的预测。我们提出了一个统一的模型架构,同时代理未来热图估计,在其中,我们利用分层和稀疏图像生成快速和内存效率的推理。我们提出了一个可学习的轨迹重组模型,该模型将每个智能体的一组预测轨迹作为输入,并输出其一致的重新排序重组。该重组模块能够重新排列最初独立的模态,使得它们不冲突并且彼此相干。我们报告我们的结果的互动多智能体预测的挑战和排名$1^{st}$的在线测试排行榜。
2022-01-21 cs.CV cs.RO
Interactive Trajectory Adaptation through Force-guided Bayesian Optimization
Bosch Center for Artificial Intelligence(博世人工智能中心)
灵活的制造工艺要求机器人能够轻松适应环境的变化并与人类互动。在这样的动态场景中,机器人任务可以通过从演示中学习的方法来编程,其中任务的标称计划由机器人学习。然而,学习的计划可能需要调整,以满足额外的要求或克服意外的环境变化。当所需的适应发生在末端执行器轨迹水平,人类操作员可能希望直观地显示机器人所需的变化,通过物理与它交互。在这种情况下,机器人需要了解人类预期的变化,从嘈杂的触觉数据,快速适应相应的执行标称任务计划时,没有进一步的适应是必要的。本文通过利用LfD和贝叶斯优化来解决上述挑战,以赋予机器人数据高效的适应能力。我们的方法利用感测到的相互作用力来指导机器人适应,并通过定义从学习的任务模型中提取的局部搜索空间来加快优化过程。我们展示了我们的框架如何快速适应任务的时空模式,从而导致与标称计划和人类引入的变化一致的变形轨迹分布。
2019-08-20 cs.LG cs.RO math.OC
Proactive slip control by learned slip model and trajectory adaptation
University of Lincoln(林肯大学)
本文提出了一种新的控制方法来处理对象滑移过程中的机器人操作运动。滑移是许多机器人抓取和操作任务失败的主要原因。现有工程增加抓地力,以避免/控制滑动。然而,当(i)机器人不能增加夹持力--已经施加了最大夹持力,或者(ii)增加的力损坏了所夹持的物体(例如软水果)时,这可能是不可行的。此外,机器人在物体表面形成稳定抓握时固定抓握力,并且在实时操作期间改变抓握力可能不是有效的控制策略。我们提出了一种新的控制方法,包括一个学习的行动条件滑移预测器和约束优化避免预测滑移给定所需的机器人动作。我们提出的轨迹自适应方法与滚动时域控制器的有效性与一系列真实的机器人测试案例。我们的实验结果表明,我们提出的数据驱动的预测控制器可以控制在训练中看不见的对象的滑移。
2022-09-13 cs.RO
HYPER: Learned Hybrid Trajectory Prediction via Factored Inference and Adaptive Sampling
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室);Toyota Research Institute(丰田研究院);Massachusetts Institute of Technology(麻省理工学院);Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室)
对多模态高级意图进行建模对于确保轨迹预测的多样性非常重要。现有方法在预测连续轨迹之前探索人类意图的离散性质,以提高准确性并支持可解释性。然而,这些方法往往假定在预测范围内保持固定不变,这在实践中是有问题的,特别是在较长的范围内。为了克服这一限制,我们引入了HYPER,一个通用的和富有表现力的混合预测框架,模型不断变化的人类意图。通过将交通代理建模为混合离散-连续系统,我们的方法能够预测离散意图随时间的变化。我们通过最大似然估计问题学习概率混合模型,并利用神经建议分布从指数增长的离散空间中自适应地采样。总体方法在准确性和覆盖范围之间提供了更好的权衡。我们训练和验证我们的模型上的Argoverse数据集,并证明其有效性,通过全面的消融研究和比较与国家的最先进的模型。
2021-10-05 cs.AI cs.LG cs.RO
Flexible-Joint Manipulator Trajectory Tracking with Learned Two-Stage Model employing One-Step Future Prediction
University of Bonn(波恩大学)
在人机协作和共享工作空间任务期间,经常使用双关节机械手来提高安全性。然而,关节的灵活性大大降低了运动的精度,特别是在高速和廉价的致动器。在本文中,我们提出了一种基于学习的方法来识别未知的动力学的柔性关节机械手,提高在高速的轨迹跟踪。我们提出了一个两阶段的模型,它是由一个一步向前动态未来预测器和逆动态估计。第二部分是基于线性时不变动力学算子来近似前馈关节位置和速度命令。我们在真实世界的数据上对模型进行端到端的训练,并在Baxter机器人上对其进行评估。我们的实验表明,与没有预测的相同模型相比,用一步未来状态预测来增强输入可以提高性能。我们比较关节位置,关节速度和末端执行器的位置跟踪精度对经典的基线控制器和几个简单的模型。
2021-12-06 cs.RO
Incremental Learning of Motion Primitives for Pedestrian Trajectory Prediction at Intersections
MIT(麻省理工学院);Ford Motor Company(福特汽车公司)
本文提出了一种新的增量式学习算法的行人运动预测,随着时间的推移,提高学习模型的能力时,数据是增量可用。在此设置中,轨迹被建模为称为运动基元的简单段。运动基元之间的转换被建模为高斯过程。当新数据可用时,通过测量运动基元向量的内积,将从新数据学习的运动基元与先前的运动基元进行比较。相似的运动基元和过渡融合,并添加新的运动基元来捕获新观察到的行为。所提出的方法进行了测试,并与其他基线交叉的情况下,数据是增量可从一个单一的交叉口或从多个交叉口不同的几何形状。在这两种情况下,我们的方法增量学习运动模式,并在预测误差方面优于离线学习方法。结果还表明,在我们的算法中,模型大小的增长速度比标准的增量学习要低得多,在标准的增量学习中,新学习的运动基元和过渡只是随着时间的推移而积累。
2019-11-21 cs.AI cs.LG cs.RO
Designing Versatile Samples for Learned Trajectory Scoring
Purdue University(普渡大学);Bosch Artifical Intelligence Center(博世人工智能中心)
该研究针对驾驶规划器决策边界监督不足的问题,设计了扰动人类轨迹的通用训练样本,将Transformer评分器应用于DiffusionDrive、MeanFuser等规划器,在NAVSIM数据集上取得了EPDMS性能提升。
2026-10-27 cs.CV cs.RO
Planning as Descent: Goal-Conditioned Latent Trajectory Synthesis in Learned Energy Landscapes
University of Alicante(阿利坎特大学)
PaD通过学习目标条件化能量函数实现离线无奖励规划,以验证为基础进行轨迹合成,取得95%的成功率并优于现有方法。
2025-12-19 cs.AI cs.RO
Trajectory Tracking Using Frenet Coordinates with Deep Deterministic Policy Gradient
Peking University(北京大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Sherbrooke(舍布鲁克大学)
本文提出结合Frenet坐标系与DDPG算法的轨迹跟踪控制方法,通过坐标转换更准确描述车辆相对道路中心线的偏差,实验证明其在复杂环境中能实现高精度稳定路径跟踪,展现了在自动驾驶中的应用潜力。
2024-11-21 cs.RO
Closing the Loop on the Poppy Humanoid: Bipedal Locomotion with Linear-Quadratic Control and Learned Cost Functions
Syracuse University(雪城大学)
本文针对开源低成本的Poppy人形机器人,提出结合线性二次调节器(LQR)与学习二次代价函数的闭环行走控制器,经实验验证其行走性能较开环轨迹回放有统计学意义的显著提升。
2026-08-28 cs.RO
3DOF Pedestrian Trajectory Prediction Learned from Long-Term Autonomous Mobile Robot Deployment Data
University of Lincoln(林肯大学);University of Technology of Belfort-Montbéliard(贝尔福-蒙贝利亚技术大学)
提出了一种新的自主移动服务机器人3自由度行人轨迹预测方法。虽然大多数以前报道的方法是基于学习单目相机图像中的2D位置,但我们的方法使用测距传感器来学习和预测3DOF姿态轨迹(即世界坐标系内的2D位置加上1D旋转)。我们的方法T-Pose-LSTM(Temporal 3DOF-Pose长短期记忆)使用来自真实世界机器人部署的长期数据进行训练,旨在学习上下文相关(特定于环境和时间)的人类活动。我们的方法结合了长期的时间信息(即日期和时间)与短期的姿态观测作为输入。训练序列到序列LSTM编码器-解码器,将观察编码到LSTM中,然后解码为预测。对于部署,它可以实时执行动态预测。我们不使用手动注释的数据,而是依靠强大的人体检测,跟踪和SLAM系统,为我们提供全球坐标系中的示例。我们使用超过15 K的行人轨迹记录在一个护理院的环境中,在为期三个月的方法进行验证。实验表明,所提出的T-Pose-LSTM模型推进了最先进的基于2D的方法,用于长期移动机器人部署中的人类轨迹预测。
2017-09-30 cs.CV cs.RO
EGO-Planner: An ESDF-free Gradient-based Local Planner for Quadrotors
Zhejiang University(浙江大学)
基于梯度的规划器被广泛用于四旋翼局部规划,其中欧几里德符号距离场(ESDF)是评估梯度大小和方向的关键。然而,由于轨迹优化过程仅覆盖ESDF更新范围的非常有限的子空间,因此计算这样的场具有很多冗余。在本文中,ESDF的自由梯度规划框架,提出了显着减少计算时间。改进之处在于将碰撞轨迹与无碰撞引导路径进行比较,形成罚函数中的碰撞项,只有当轨迹遇到新的障碍物时,才存储产生的障碍物信息,使得规划器只提取必要的障碍物信息。然后,我们延长的时间分配,如果违反动态可行性。引入各向异性曲线拟合算法来调整轨迹的高阶导数,同时保持原始形状。基准比较和真实世界的实验验证了它的鲁棒性和高性能。源代码作为ROS包发布。
2020-12-07 cs.RO
DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning
University of California San Diego(加利福尼亚大学圣地亚哥分校);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
针对以往基于模型的强化学习的目标不匹配问题,提出将可微轨迹优化作为策略表示的DiffTORI方法,实现端到端学习,在多类机器人操作任务上性能优于现有最优方法。
2025-06-13 cs.AI cs.LG cs.RO
Real-Robot Deep Reinforcement Learning: Improving Trajectory Tracking of Flexible-Joint Manipulator with Reference Correction
University of Bonn(波恩大学)
双关节机械臂是由复杂的非线性动力学,定义了一个具有挑战性的控制问题。在这项工作中,我们提出了一种方法来学习外环关节轨迹跟踪控制器与深度强化学习。由随机策略表示的控制器在两个小时内直接在真实机器人上学习。这是通过有界参考校正动作和使用无模型离策略学习方法来实现的。此外,提出了一个明智的政策初始化,其中代理是预先训练的学习模拟。我们测试我们的方法上的7自由度的巴克斯特机器人机械手。我们证明了所提出的方法是能够在多次运行时,直接应用于真正的机器人一致的学习。我们的方法产生的政策,显着提高了轨迹跟踪精度相比,供应商提供的控制器,概括到一个看不见的有效载荷。
2022-03-14 cs.RO
Leveling the Playing Field: Carefully Comparing Classical and Learned Controllers for Quadrotor Trajectory Tracking
University of Pennsylvania(宾夕法尼亚大学)
本研究通过对称比较协议,发现强化学习与几何控制在四旋翼轨迹跟踪中的性能差距远小于先前报道,并开源了两种控制器的实现。
2025-06-21 cs.LG cs.RO cs.SY
Constraining Streaming Flow Models for Adapting Learned Robot Trajectory Distributions
School of Computer Science, The University of Sydney, Australia(计算机科学学院,悉尼大学,澳大利亚);School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney, Australia(航空航天、机械与机电工程学院,悉尼大学,澳大利亚);Australian Center For Robotics, The University of Sydney, Australia(机器人研究中心,悉尼大学,澳大利亚);College of Connected Computing, Vanderbilt University, TN, USA(连接计算学院,范德比尔特大学,美国)
CASF通过约束感知流式流模型在实时中适应机器人轨迹,确保安全性和可行性,优于传统方法。
2026-02-17 cs.RO
Adaptive Control of SE(3) Hamiltonian Dynamics with Learned Disturbance Features
University of California San Diego(加州大学圣地亚哥分校)
自适应控制是机器人在快速变化的操作条件下可靠自主的关键组成部分。自适应控制设计受益于干扰模型,这在实践中往往是不可用的。这促使使用机器学习技术来离线地从训练数据学习干扰特征,其随后可以用于在线地补偿干扰。本文开发了几何自适应控制与学习的干扰模型的刚体系统,如地面,空中和水下航行器,满足汉密尔顿的运动方程的$SE(3)$流形。我们的设计包括一个\emph{offline disturbance model identification stage},使用汉密尔顿为基础的神经常微分方程(ODE)网络训练的状态控制轨迹数据,和一个\emph{online adaptive control stage},估计和补偿的基础上的几何跟踪误差的干扰。我们证明了我们的自适应几何控制器的轨迹跟踪仿真全驱动摆和欠驱动四旋翼系统。
2022-03-22 cs.LG cs.RO cs.SY
Bregman Gradient Policy Optimization
University of Pittsburgh(匹兹堡大学)
基于Bregman发散和动量技术,设计了一种新的用于强化学习的Bregman梯度策略优化框架。具体地说,我们提出了一个布雷格曼梯度策略优化(BPENS)算法的基础上的基本动量技术和镜像下降迭代。同时,我们进一步提出了一个加速的Bregman梯度策略优化算法(VR-BPENN)的基础上减少的方差技术。此外,我们提供了一个收敛性分析框架下,我们的Bregman梯度策略优化的非凸设置。我们证明,我们的BGPO达到了寻找$O(ε^{-4})$的样本复杂度$O(ε^{-4})$-每次迭代仅需要一个轨迹的静态策略,并且我们的VR-BGPO达到了已知的最佳样本复杂度$O(ε^{-3})$,这也只需要一个轨迹每次迭代。特别地,通过使用不同的Bregman分歧,我们的Battlefield框架统一了许多现有的策略优化算法,如现有的(方差减少的)策略梯度算法,如自然策略梯度算法。在多个强化学习任务上的大量实验结果证明了我们的新算法的有效性。
2022-03-16 cs.LG cs.RO math.OC
Flash: Fast and Light Motion Prediction for Autonomous Driving with Bayesian Inverse Planning and Learned Motion Profiles
Five AI(Five AI公司);University of Edinburgh(爱丁堡大学)
交通场景中道路使用者的运动预测对于自动驾驶系统至关重要,自动驾驶系统必须在复杂的动态环境中做出安全和鲁棒的决策。我们提出了一种新的自动驾驶运动预测系统。我们的系统是基于贝叶斯逆规划框架,有效地编排基于地图的目标提取,一个经典的基于控制的轨迹生成器和混合专家模型收集专门从事运动轮廓预测的轻量级神经网络。与许多替代方法相比,这种模块化有助于隔离性能因素并更好地解释结果,而不会影响性能。该系统解决了多个方面的利益,即多模态,运动轮廓的不确定性和轨迹的物理可行性。我们报告了几个实验与流行的高速公路数据集NGSIM,展示了最先进的性能方面的轨迹误差。我们还对系统组件进行了详细分析,并进行了基于行为(例如变道与随道)对数据进行分层的实验,以深入了解该领域的挑战。最后,我们提出了一个定性分析,以显示我们的方法的其他好处,如解释输出的能力。
2022-08-15 cs.RO
EANet: Expert Attention Network for Online Trajectory Prediction
North China Electric Power University(华北电力大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对自动驾驶轨迹预测中场景突变时模型更新慢、梯度异常的问题,提出基于Hedge Propagation的在线学习框架EANet,通过专家注意力调整网络层权重并引入短期运动趋势核函数,实现快速响应与高精度预测。
2023-09-11 cs.AI cs.LG cs.RO
Accelerating Sampling-Based Control via Learned Linear Koopman Dynamics
School of Aeronautics and Astronautics, Purdue University(航空航天学院,普渡大学)
本文提出了一种基于学习的线性Koopman动力学的MPPI控制框架,通过减少计算成本实现高效实时控制。
2026-07-14 cs.RO cs.SY eess.SY
Look Around You: Sequence-based Radar Place Recognition with Learned Rotational Invariance
University of Oxford(牛津大学)
本文详细介绍了一个应用程序,产生显着的改进与调频连续波雷达的位置识别的熟练程度-一个商业上有前途的传感器准备在移动自主开发。我们展示了如何将雷达扫描的旋转不变度量嵌入到基于序列的轨迹匹配系统中,该系统通常应用于视觉传感器拍摄的视频。由于雷达扫描形成过程中固有的完整的水平视野,我们展示了如何操作这种现成的基于序列的轨迹匹配系统来检测位置匹配时,车辆行驶在一个以前访问过的路段在相反的方向。我们证明了该方法在26公里具有挑战性的城市驾驶中的有效性,这些驾驶来自迄今为止发布的最大的以雷达为中心的城市自主数据集-在高精度下,与最近邻方法相比,召回率提高了30%。
2020-03-10 cs.RO
Robust Real-time UAV Replanning Using Guided Gradient-based Optimization and Topological Paths
Hong Kong University of Science and Technology(香港科技大学)
基于惯性的轨迹优化(GTO)在四旋翼飞行器轨迹规划中得到了广泛的应用。但是,它存在局部极小值,这不仅是致命的安全,也不利于顺利航行。在本文中,我们提出了一个重新规划方法的基础上GTO解决这个问题系统。提出了一种路径引导优化(PGO)方法来解决不可行的局部极小值问题,显著提高了重规划的成功率。提出了一种拓扑路径搜索算法,用于在三维环境中捕获一组不同的有用路径,然后每个路径引导一个独立的轨迹优化。它激活了对解决方案空间的更全面的探索,并输出卓越的重新规划轨迹。基准评估表明,我们的方法在重新规划成功率和最优性方面优于最先进的方法。攻击性自主飞行的仿真实验证明了该方法的鲁棒性。我们将以开源包的形式发布我们的实现。
2020-04-16 cs.RO
Knowledge Transfer Between Robots with Similar Dynamics for High-Accuracy Impromptu Trajectory Tracking
Vector Institute for Artificial Intelligence(矢量人工智能研究所);Electrical Power and Machines Department, Cairo University(开罗大学电力与机械系);School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院);Department of Engineering, Aarhus University(奥胡斯大学工程系)
在本文中,我们提出了一种在线学习方法,该方法能够将为源机器人学习的逆动力学模型转移到目标机器人(例如,从一个四旋翼到具有不同质量或空气动力学特性的另一个四旋翼)。目标是利用来自源机器人的知识,使得目标机器人从第一次尝试起就以最少的数据收集和训练实现对任意轨迹的高精度轨迹跟踪。大多数现有的多机器人知识转移方法都是基于对从两个机器人收集的数据集的后分析。在这项工作中,我们研究了通过在线学习错误预测模块在机器人之间即兴传输模型的可行性。特别是,我们分析推导出的映射的形式学习的在线模块精确跟踪,提出了一种方法来表征机器人之间的相似性,并使用这些结果来分析整个系统的稳定性。所提出的方法是在模拟和实验验证两个不同的四旋翼执行即兴轨迹跟踪任务,四旋翼需要准确地跟踪任意手绘轨迹从第一次尝试。
2019-03-30 cs.RO
Tree-structured Policy Planning with Learned Behavior Models
NVIDIA Research(英伟达研究院);NVIDIA Corporation(英伟达公司);Stanford University(斯坦福大学)
自动驾驶汽车(AV)需要在规划自己的运动时推理相邻智能体的多模式行为。许多现有的轨迹规划器寻求在\emph{all}合理的未来下同时表现良好的单个轨迹,忽略了双向相互作用,从而导致过度保守的计划。政策规划,即自我代理计划的政策,对环境的多模态行为的反应,是一个很有前途的方向,因为它可以占AV和环境之间的动作-反应的相互作用。然而,大多数现有的策略规划器无法扩展到真正的自动驾驶汽车应用的复杂性:它们要么与现代深度学习预测模型不兼容,不可解释,要么无法生成高质量的轨迹。为了填补这一空白,我们提出了树策略规划(TPP),这是一种与最先进的深度学习预测模型兼容的策略规划器,可以生成多级运动计划,并考虑自我代理对环境行为的影响。TPP的核心思想是通过构建两个树结构将连续优化问题简化为易于处理的离散马尔可夫决策过程(MDP):用于自我轨迹选项的自我轨迹树和用于多模态自我调节环境预测的情景树。我们在基于真实世界nuScenes数据集的闭环模拟中证明了TPP的有效性,结果表明TPP可扩展到现实的AV场景,并显着优于非政策基线。
2023-02-27 cs.RO cs.SY eess.SY
Active Model Learning using Informative Trajectories for Improved Closed-Loop Control on Real Robots
Autonomous Systems Lab, ETH Zürich(苏黎世联邦理工学院自主系统实验室)
真实机器人上基于模型的控制器需要精确的系统动态知识才能实现最佳性能。对于复杂的动力学,第一原理建模不够精确,可以利用数据驱动的方法从实际实验中学习统计模型。然而,在真实机器人上的这种数据驱动系统的高效和有效的数据汇集仍然是一个开放的挑战。本文介绍了一种优化问题的制定,以找到一个信息丰富的轨迹,允许有效的数据汇集和模型学习。我们提出了一个基于采样的方法,计算的轨迹,最大限度地减少预测的不确定性的动力学模型的近似。然后执行该轨迹,收集数据以更新学习的模型。在实验中,我们证明了我们提出的框架时,应用到一个复杂的全向飞行器与可倾斜的转子的能力。使用我们的信息轨迹的结果,在模型中获得的非信息轨迹的13.3\%,具有相同数量的训练数据。此外,我们表明,从信息轨迹学习的模型比从非信息轨迹学习的模型更好地泛化,在不同的任务上实现了更好的跟踪性能。
2021-05-14 cs.RO cs.SY eess.SY
Diffusion-ES: Gradient-free Planning with Diffusion for Autonomous Driving and Zero-Shot Instruction Following
Carnegie Mellon University(卡内基梅隆大学)
Diffusion-ES将无梯度进化搜索与扩散模型去噪结合,优化黑盒非可微目标,在自动驾驶基准nuPlan上达到最先进性能,并能通过少样本LLM提示优化语言奖励,实现零样本指令跟随和复杂行为生成。
2024-07-16 cs.AI cs.CL cs.LG