Group-based Motion Prediction for Navigation in Crowded Environments
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
我们专注于规划的问题,在一个动态的多智能体环境,如行人场景的机器人的运动。使机器人能够安全地导航,并在社会上兼容的方式在这样的场景需要一个表示,占展开的多智能体动态。现有的解决这个问题的方法往往采用微观模型的运动预测的原因对其他代理的个人行为。虽然这些模型可以在轨迹预测基准中实现高跟踪精度,但它们通常缺乏对在拥挤场景中展开的组结构的理解。受心理学中的完形理论的启发,我们建立了一个模型预测控制框架(G-MPC),利用基于群体的预测机器人运动规划。我们进行了广泛的模拟研究,涉及一系列具有挑战性的导航任务,从两个真实世界的行人数据集提取的场景。我们说明,G-MPC使机器人能够实现统计上显着更高的安全性和更低数量的组入侵比一系列的基线具有个人的行人运动预测模型。最后,我们表明,G-MPC可以处理噪声激光雷达扫描估计没有显着的性能损失。
2022-03-16 cs.HC cs.RO
Binary Quadratic Programing for Online Tracking of Hundreds of People in Extremely Crowded Scenes
多目标跟踪已经研究了几十年。然而,当涉及到在极其拥挤的场景中跟踪行人时,我们仅限于少数作品。这是一个重要的问题,引起了若干挑战。预先训练的对象检测器无法在拥挤的序列中定位目标。因此,这限制了依赖于对象检测器的结果的基于数据关联的多目标跟踪方法的使用。此外,小的表观目标尺寸使得提取特征以将目标与其周围环境区分开具有挑战性。最后,大量的目标大大增加了计算复杂性,这反过来又使得现有的多目标跟踪方法难以扩展到高密度人群场景。在本文中,我们提出了一个跟踪器,解决了上述问题,并能够有效地跟踪数百人。我们制定在线人群跟踪二进制二次规划。我们的配方采用目标的个人信息的外观和运动的形式,以及上下文线索的形式邻域运动,空间接近和分组的限制,并解决检测和数据关联同时。为了有效地解决所提出的二次优化问题,在最先进的商业二次规划求解器无法在合理的时间内找到答案的情况下,我们建议使用最新版本的修改的Frank Wolfe算法,该算法利用SWAP步骤来加速优化。我们表明,所提出的配方可以有效地跟踪数百个目标,并提高了国家的最先进的结果显着利润率对11个具有挑战性的高密度人群序列。
2016-03-30 cs.CV cs.RO
Social Navigation in Crowded Environments with Model Predictive Control and Deep Learning-Based Human Trajectory Prediction
University of Delaware(特拉华大学);Cornell University(康奈尔大学);Honda Research Institute USA, Inc.(美国本田研究院有限公司)
该研究提出将 Social-LSTM 行人轨迹预测与 MPC 规划耦合,在模拟人群中实现考虑多智能体交互的社会导航,并优于多种强化学习基线。
2023-09-28 cs.MA cs.RO
Visibility Guided NMS: Efficient Boosting of Amodal Object Detection in Crowded Traffic Scenes
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Jena(耶拿大学)
目标检测是自动驾驶环境感知中的一项重要任务。现代的2D目标检测框架,如Yolo、SSD或Faster R-CNN,预测每个对象的多个边界框,这些边界框使用非最大值抑制(NMS)进行细化,以抑制除一个限界框之外的所有边界框。虽然目标检测本身是完全端到端可学习的,并且不需要任何手动参数选择,但标准NMS由必须手动选择的重叠阈值参数化。在实践中,这通常导致标准NMS策略无法在存在高度相互遮挡的情况下区分拥挤场景中的不同对象,例如,对于停放的汽车或行人人群。我们的新的可见性引导NMS(vg-NMS)利用基于像素以及非模态目标检测范例,并提高了检测性能,特别是对高度闭塞的对象,很少的计算开销。我们使用KITTI,VIPER以及Synscapes数据集评估了vg-NMS,并表明它优于当前最先进的NMS。
2020-06-15 cs.CV cs.LG cs.RO
Learning Structured Representations of Spatial and Interactive Dynamics for Trajectory Prediction in Crowded Scenes
University of Edinburgh(爱丁堡大学);Monash University(莫纳什大学)
上下文在交互环境中动态主体的运动生成过程中起着重要的作用。这项工作提出了一种模块化的方法,利用一个学习模型的运动预测的环境。这种模块化明确允许轨迹预测模型通过仅依赖于未标记的图像数据来无监督地适应看不见的环境和新任务。我们建模的空间和动态方面的一个给定的环境旁边的每代理运动。这将导致更明智的运动预测,并允许性能媲美国家的最先进的。我们强调模型的预测能力,使用基准行人预测问题和机器人操作任务,并表明我们可以在这些任务中转移的预测在一个完全无监督的方式。所提出的方法允许鲁棒和标签高效的正向建模,并放松了在新环境中进行完整模型重新训练的需要。
2021-01-02 cs.CV cs.LG cs.MA
DRL-VO: Learning to Navigate Through Crowded Dynamic Scenes Using Velocity Obstacles
Temple University(天普大学)
本文提出一种基于速度障碍的强化学习控制策略,使移动机器人在密集动态场景中高效导航,实现高成功率与速度平衡,并具备跨环境泛化能力。
2023-04-04 cs.RO
JRDB-Pose: A Large-scale Dataset for Multi-Person Pose Estimation and Tracking
Stanford University(斯坦福大学);Monash University(莫纳什大学)
在人类环境中运行的自主机器人系统必须了解其周围环境,以做出准确和安全的决策。在具有近距离人机交互和机器人导航的拥挤人类场景中,深入理解需要通过人体姿势估计和跟踪来推理人体运动和身体动态。然而,现有的数据集要么不提供姿势注释,要么包括与机器人应用无关的场景类型。许多数据集还缺乏在拥挤的人类场景中发现的姿势和遮挡的多样性。为了解决这一限制,我们引入了JRDB-Pose,这是一个大规模的数据集和基准,用于使用从社交导航机器人捕获的视频进行多人姿势估计和跟踪。该数据集包含具有拥挤的室内和室外位置以及各种尺度和遮挡类型的挑战场景。JRDB-Pose为每个关键点的遮挡标签和整个场景中一致的轨迹ID提供了人类姿势注释。一个公共的评估服务器可用于对一个保留的测试集进行公平的评估。JRDB-Pose可在https://jrdb.erc.monash.edu/上获得。
2023-03-12 cs.CV cs.RO
Safe Hierarchical Navigation in Crowded Dynamic Uncertain Environments
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种由多阶段规划器和底层安全控制器组成的层次化解决方案,以共同解决拥挤、动态和不确定环境中的安全导航问题。该规划器采用动态间隙分析和轨迹优化来实现与传感和规划范围内动态代理的预测轨迹的碰撞避免,并对代理不确定性具有鲁棒性。为了解决规划范围内的不确定性和实时安全性,采用快速反应安全设置算法(SSA),在轨迹跟踪过程中监测和修改不安全的控制。与其他现有方法相比,我们的方法提供了理论上的安全保证,并在不确定的环境中以更高的概率实现无碰撞导航,如20和50个动态代理的场景所示。项目网址:https://hychen-naza.github.io/projects/HDAGap/。
2023-03-24 cs.RO cs.SY eess.SY
SoLo T-DIRL: Socially-Aware Dynamic Local Planner based on Trajectory-Ranked Deep Inverse Reinforcement Learning
University of Michigan(密歇根大学)
这项工作提出了一个新的框架,社会意识的动态本地规划在拥挤的环境中建立在最近提出的轨迹排名最大熵深度逆强化学习(T-MEDIRL)。为了解决社交导航问题,我们的多模态学习规划器明确地将社交互动因素以及社交意识因素考虑到T-MEDIRL管道中,以从人类演示中学习奖励函数。此外,我们提出了一种新的轨迹排名分数使用周围的机器人行人的突然速度变化,以解决次优人类示范。我们的评估表明,该方法可以成功地使机器人在拥挤的社会环境中导航,并在成功率,导航时间和入侵率方面优于最先进的社会导航方法。
2022-09-16 cs.AI cs.RO
3D Gaussian Representations with Motion Trajectory Field for Dynamic Scene Reconstruction
CSIRO(澳大利亚联邦科学工业研究组织);The Australian National University(澳大利亚国立大学)
本文提出一种结合3D Gaussian Splatting与运动轨迹场的新方法,通过解耦动静场景并利用时间不变系数与共享轨迹基,实现了单目视频下高精度的动态场景新视角合成与运动轨迹重建。
2025-08-10 cs.RO
Forecasting Social Navigation in Crowded Complex Scenes
Stanford University(斯坦福大学)
当人们在拥挤的空间中穿行时,比如在大学校园或繁忙街道的人行道上,他们会遵循基于社交礼仪的常识规则。在本文中,我们认为,为了能够设计出能够充分利用这些规则的新算法,以更好地解决目标跟踪或轨迹预测等任务,我们首先需要获得更好的数据。为此,我们贡献了第一个大规模数据集(据我们所知),该数据集收集了在真实户外环境(如大学校园)中导航的各种类型目标(不仅是行人,还有骑自行车的人,滑板者,汽车,公共汽车,高尔夫球车)的图像和视频。我们提出了一个广泛的评估,不同的方法进行评估和比较的轨迹预测。此外,我们提出了一种新的轨迹预测算法,该算法利用了我们新数据集的复杂性,并允许:i)将类间交互纳入轨迹预测模型(例如,行人与自行车),而不仅仅是类内交互(例如,行人对行人); ii)对社会力量调节相互作用的程度进行建模。我们称后者为“社会敏感性”,它捕捉了目标对某种互动做出反应的敏感性。一个广泛的实验评估证明了我们的新方法的有效性。
2016-01-05 cs.CV cs.RO cs.SI
Robust Trajectory Planning for Spatial-Temporal Multi-Drone Coordination in Large Scenes
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Huzhou Institute, Zhejiang University(浙江大学湖州研究院)
在本文中,我们描述了一个强大的多无人机规划框架,在大场景中的高速轨迹。它使用面向自由空间的映射来将优化从繁琐的环境数据中解放出来。设计了一个类似于胶囊的安全约束,以避免飞行器在扰动下偏离其标称飞行过程时发生相互碰撞。我们进一步展示了我们的无人机动力学与非线性阻力效应的最小奇异微分平坦性。利用平坦度图,在平坦输出上有效地进行轨迹优化,同时仍然受到考虑高速下的阻力的物理限制。我们的框架的鲁棒性和有效性都在大规模的模拟验证。它可以在几分钟内为数百架无人机计算满足高保真车辆约束的无碰撞轨迹。
2021-09-17 cs.RO
SCREP: Scene Coordinate Regression and Evidential Learning-based Perception-Aware Trajectory Generation
本文提出了一种感知感知轨迹规划器,结合基于证据学习的SCR姿态估计器和递推时间窗口轨迹优化器,以提高室内GPS拒止环境下的轨迹精度。
2026-06-28 cs.RO
SIPTraj: Map-Free End-to-End Trajectory Prediction via Physics-Guided Scene Interaction
School of Data Science and Engineering, Xingzhi College, South China Normal University(华南师范大学行知学院数据科学与工程学院);Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学);College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学学院);School of Electronic Science and Engineering, South China Normal University(华南师范大学电子科学与工程学院)
SIPTraj是一种无高精地图的端到端轨迹预测框架,通过分层智能体-场景编码器和物理引导迭代解码器解决场景锚定与物理可行性问题,在两个数据集上性能优于现有方法,推理无需高精地图。
2026-08-04 cs.RO
Scene Induced Multi-Modal Trajectory Forecasting via Planning
University of California, San Diego(加州大学圣迭戈分校)
我们解决多模态轨迹预测的代理在未知的场景制定它作为一个规划问题。我们提出了一种方法,包括三个模型;一个目标预测模型,以确定潜在的目标的代理,逆强化学习模型,以规划最佳路径到每个目标,和轨迹生成器,以获得未来的轨迹沿规划的路径。对斯坦福无人机数据集的预测分析显示了我们对新场景的方法的普遍性。
2019-05-23 cs.CV cs.RO
ExTraCT -- Explainable Trajectory Corrections from language inputs using Textual description of features
Nanyang Technological University (NTU)(南洋理工大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);National Healthcare Group (NHG)(新加坡国立健保集团)
本文提出ExTraCT框架,结合LLM和轨迹形变函数,通过自然语言实现可解释的轨迹修正,解决端到端方法泛化性差的问题,并在用户研究中优于基线。
2024-01-08 cs.RO
SparScene: Efficient Traffic Scene Representation via Sparse Graph Learning for Large-Scale Trajectory Generation
Division of Decision and Control Systems, School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(决策与控制系统系,电气工程与计算机科学学院,皇家理工学院);iFLYTEK Co., Ltd.(iFLYTEK公司);School of Mechanical and Aerospace Engineering, Nanyang Technological University(机械与航空航天工程学院,南洋理工大学)
SparScene通过稀疏图学习实现高效交通场景表示,显著提升大规模轨迹生成的效率和可扩展性。
2025-12-24 cs.RO
Grouptron: Dynamic Multi-Scale Graph Convolutional Networks for Group-Aware Dense Crowd Trajectory Forecasting
University of California, Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学);Stanford University(斯坦福大学)
在高度动态和交互的场景中准确、长期地预测行人轨迹是一个长期的挑战。使用数据驱动方法的最新进展在预测准确性方面取得了显着改善。然而,缺乏群体感知分析限制了预测模型的性能。在高度拥挤的场景中,这一点尤其不可忽视,因为行人成群移动,群体之间的互动极其复杂和动态。在本文中,我们提出了Grouptron,一个多尺度的动态预测框架,利用行人群体检测,并利用个人层面,群体层面和场景层面的信息,更好地理解和表示的场景。我们的方法采用时空聚类算法来识别行人群体,在个人,群体和场景水平上创建时空图。然后,它使用图神经网络在不同尺度上对动态进行编码,并聚合嵌入以进行轨迹预测。我们进行了广泛的比较和消融实验,以证明我们的方法的有效性。与ETH/UCY基准数据集上的最先进方法相比,我们的方法实现了最终位移误差(FDE)降低9.3%,并且在更拥挤的场景中FDE降低16.1%,其中广泛的人类群体交互更频繁。
2022-03-04 cs.AI cs.CV cs.RO
ScePT: Scene-consistent, Policy-based Trajectory Predictions for Planning
NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学)
轨迹预测是与不受控制的代理共享环境的自主系统的关键功能,一个突出的例子是自动驾驶车辆。目前,大多数预测方法不强制场景一致性,即,在场景中的不同代理的预测轨迹之间存在大量的自冲突。此外,许多方法生成每个智能体的单独轨迹预测,而不是整个场景的联合轨迹预测,这使得下游规划变得困难。在这项工作中,我们提出了ScePT,一个基于策略规划的轨迹预测模型,生成准确的,场景一致的轨迹预测,适用于自主系统运动规划。它显式地执行场景一致性,并学习可用于条件预测的代理交互策略。在多个真实世界行人和自动驾驶车辆数据集上的实验表明,ScePT与当前最先进的预测精度相匹配,并显著提高了场景一致性。我们还展示了ScePT与下游应急计划人员合作的能力。
2022-06-18 cs.AI cs.CV cs.LG
Video Individual Counting for Moving Drones
Sun Yat-sen University(中山大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Hong Kong University of Science and Technology(香港科学大学);City University of Hong Kong(香港城市大学)
提出 MovingDroneCrowd 数据集和 SDNet 网络,通过深度跨帧注意力模块估计共享密度图并推导流入流出密度图,解决移动无人机在拥挤场景中的视频个体计数问题。
2025-07-14 cs.CV cs.RO
Robust Trajectory Forecasting for Multiple Intelligent Agents in Dynamic Scene
Meituan-Dianping Group(美团点评集团);Wenzhou University(温州大学)
动态场景中多个交互智能体的轨迹预测是机器人系统和自动驾驶等应用中的一个重要问题。由于智能体之间的复杂交互以及它们与周围场景的交互,该问题是一个巨大的挑战。在本文中,我们提出了一种新的方法,在动态场景中的多智能体的鲁棒轨迹预测。所提出的方法由三个主要的相互关联的部分组成:用于全局时空交互式特征提取的交互网络、用于解码动态场景的环境网络(即,智能体的周围道路拓扑),以及结合时空特征、场景特征、智能体的过去轨迹和一些随机噪声的预测网络,用于智能体的鲁棒轨迹预测。在行人-步行和车辆-行人异构数据集上的实验表明,该方法在预测精度方面优于现有的预测方法。
2020-05-27 cs.CV cs.LG cs.RO
Scene Compliant Trajectory Forecast with Agent-Centric Spatio-Temporal Grids
University of California, San Diego(加州大学圣迭戈分校);University of Sao Paulo(圣保罗大学)
由于人体运动轨迹的非线性、多模态和固有的不确定性,预测人体长期运动是一项具有挑战性的任务。智能体的潜在场景和过去的运动可以提供有用的线索来预测他们未来的运动。然而,两个输入的异质性对学习场景和过去轨迹的联合表示提出了挑战。为了应对这一挑战,我们提出了一个基于网格表示的模型来预测代理轨迹。我们代表过去的轨迹代理使用二进制2-D网格,和底层的场景作为一个RGB鸟瞰图(BEV)的图像,与代理为中心的参考系。我们使用卷积层对场景和过去的轨迹进行编码,并使用卷积LSTM(ConvLSTM)解码器生成轨迹预测。在公开的斯坦福无人机数据集(SDD)上的结果表明,我们的模型优于以前的方法,并输出符合场景结构和过去运动的真实未来轨迹。
2019-09-16 cs.CV cs.RO
Efficient Data Representation for Motion Forecasting: A Scene-Specific Trajectory Set Approach
FZI Research Center for Information Technology(FZI信息技术研究中心);KIT - Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对自动驾驶运动预测中紧凑高效表示多样合理轨迹的难题,提出结合地图信息与智能体动力学的场景特定轨迹集生成方法,经Argoverse 2数据集验证,DAC较基线最高提升10%且位移误差具竞争力。
2024-12-09 cs.CV cs.RO
SDSS-V Algorithms: Fast, Collision-Free Trajectory Planning for Heavily Overlapping Robotic Fiber Positioners
University of Washington(华盛顿大学);New York University(纽约大学);Swiss Federal Institute of Technology in Lausanne (EPFL)(洛桑联邦理工学院(EPFL));École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Carnegie Institution for Science(卡内基科学研究所);Ohio State University(俄亥俄州立大学)
机器人光纤定位器(RFP)阵列在宽视场大规模复用光谱测量仪器中被大量采用。RFP阵列通过在字段和曝光之间快速重新配置,减少了夜间运营开销。与类似的仪器相比,SDSS-V选择了一种非常密集的RFP包装方案,在该方案中,现场的任何一点通常都可以由三个或更多的机器人访问。这种设计提供了目标分配的灵活性。然而,无碰撞轨迹规划的任务尤其具有挑战性。我们提出了两个多代理分布式控制策略,是非常有效的,计算成本低廉的确定无冲突路径的RFP在严重重叠的重叠重叠。我们证明,如果在初始状态和最终状态之间插入“折叠”状态(其中所有机器人手臂都缩回并以格子状方向对齐),则可以有效地找到两个任意机器人配置之间的重新配置路径。虽然是为SDSS-V开发的,但我们描述的方法是通用的,因此适用于广泛的RFP设计和布局。机器人光纤定位器技术继续快速发展,在不久的将来,超密集封装的RFP设计可能是可行的。我们的算法特别能够在非常拥挤的环境中的路由路径,在那里我们看到有效的结果,即使在政权显着拥挤比SDSS-V RFP设计。
2020-12-08 astro-ph.IM cs.RO
Trajectory Prediction for Autonomous Driving based on Multi-Head Attention with Joint Agent-Map Representation
INRIA Paris(法国国家信息与自动化研究所巴黎中心);LISA, UCSD(加州大学圣地亚哥分校LISA实验室)
预测周围智能体的轨迹是自主车辆在复杂交通场景中导航的基本能力。代理的未来轨迹可以推断使用两个重要的线索:代理的位置和过去的运动,以及静态场景结构。由于场景结构和代理配置的高度可变性,先前的工作采用了注意力机制,分别应用于场景和代理配置,以学习这两个线索的最显着的部分。然而,这两个线索是紧密相连的。代理配置可以通知场景的哪个部分与预测最相关。静态场景反过来可以帮助确定代理对彼此运动的相对影响。此外,未来轨迹的分布是多模式的,模式对应于代理的意图。智能体的意图还通知场景的哪个部分和智能体配置与预测相关。因此,我们提出了一种新的方法,通过考虑静态场景和周围代理的联合表示应用多头注意力。我们使用每个注意头来生成不同的未来轨迹,以解决未来轨迹的多模态。我们的模型在nuScenes预测基准上取得了最先进的结果,并生成了符合场景结构和代理配置的各种未来轨迹。
2020-09-02 cs.CV cs.RO
AVGCN: Trajectory Prediction using Graph Convolutional Networks Guided by Human Attention
Hong Kong University of Science and Technology(香港科技大学)
行人轨迹预测是一项关键而又具有挑战性的任务,特别是在拥挤的场景中。我们建议,引入一个注意力机制来推断不同的邻居的重要性是至关重要的准确的轨迹预测场景中的人群规模变化。在这项工作中,我们提出了一种新的方法,AVGCN,轨迹预测利用图卷积网络(GCN)的基础上人类的注意力(A表示注意力,V表示视野的限制)。首先,我们训练一个注意力网络,估计邻近行人的重要性,使用收集的目光数据作为主体执行鸟瞰人群导航任务。然后,我们将学习到的注意力权重调制行人的视野上的约束到一个轨迹预测网络,使用GCN聚合信息的邻居有效。AVGCN还考虑了行人轨迹的随机性,利用变化的轨迹预测。我们的方法在几个轨迹预测基准上实现了最先进的性能,并且在所有考虑的基准上具有最低的平均预测误差。
2021-01-14 cs.CV cs.RO
SceneDM: Scene-level Multi-agent Trajectory Generation with Consistent Diffusion Models
Huazhong University of Science and Technology(华中科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出基于扩散模型的SceneDM框架,通过Transformer网络处理交互和一致性扩散方法提升轨迹平滑性,在Waymo Sim Agents Benchmark上实现了场景级多智能体一致且逼真的轨迹生成。
2023-11-27 cs.AI cs.RO
TRACE: Ergodic Trajectory Optimization for Active Scene Reconstruction
本研究针对现有主动重建系统的贪婪解耦缺陷,提出TRACE遍历轨迹优化方法,在Replica数据集上较NBV基准将PSNR提升1.5 dB,实现更高效的主动场景重建。
2026-08-10 cs.CV cs.RO
Trajectory Forecasts in Unknown Environments Conditioned on Grid-Based Plans
University of California at San Diego(加州大学圣迭戈分校)
我们解决的问题,预测行人和车辆的轨迹在未知的环境中,他们过去的运动和场景结构的条件。由于场景结构的变化和未来轨迹的多模态分布,轨迹预测是一个具有挑战性的问题。与以前的方法,直接学习一对多的映射,从观察到的背景下,多个未来的轨迹,我们提出了条件轨迹预测的计划,从一个基于网格的政策学习使用最大熵逆强化学习(MaxEnt IRL)。我们重新制定MaxEnt IRL,让政策共同推断合理的代理目标,并在场景中定义的粗2-D网格上的这些目标的路径。我们提出了一个基于注意力的轨迹生成器,生成连续值的未来轨迹的条件下,从MaxEnt政策采样的状态序列。对公开的斯坦福无人机和NuScenes数据集的定量和定性评估表明,我们的模型生成的轨迹是多样的,代表多模态预测分布,并且精确,符合长期预测范围内的底层场景结构。
2021-04-29 cs.CV cs.RO
Trajectory Forecasting on Temporal Graphs
Middle East Technical University(中东技术大学);KUIS AI Center(KUIS人工智能中心);Koç University(科奇大学)
预测场景中智能体的未来位置是自动驾驶中的一个重要问题。近年来,在场景和场景中Agent的表示方面取得了很大的进展,Agent与场景的交互以及Agent之间的交互通常采用图神经网络来建模。然而,图结构大多是静态的,不能表示高度动态场景中的时间变化。在这项工作中,我们提出了一个时间图表示,以更好地捕捉交通场景中的动态。我们补充我们的表示与两种类型的内存模块;一个专注于代理的兴趣和其他的整个场景。这使我们能够学习具有时间意识的表征,即使对多个未来进行简单的回归也可以取得良好的结果。当与目标条件预测相结合时,我们显示出更好的结果,可以达到Argoverse基准测试的最先进性能。
2022-07-01 cs.CV cs.RO
T2FPV: Dataset and Method for Correcting First-Person View Errors in Pedestrian Trajectory Prediction
Carnegie Mellon University(卡内基梅隆大学)
预测行人运动对于开发具有社会意识的机器人在拥挤的环境中进行交互至关重要。虽然社交互动环境的自然视觉视角是以自我为中心的观点,但其中轨迹预测中的大多数现有工作纯粹是在自上而下的轨迹空间中进行研究的。为了支持第一人称视角轨迹预测研究,我们提出了T2 FPV,这是一种在给定真实世界的自上而下的轨迹数据集的情况下构建高保真第一人称视角(FPV)数据集的方法;我们在ETH/UCY行人数据集上展示了我们的方法,以生成所有交互行人的以自我为中心的视觉数据,创建了T2 FPV-ETH数据集。在这种情况下,由于不完美的检测和跟踪,遮挡和摄像机的视场(FOV)限制,会出现FPV特定的错误。为了解决这些错误,我们提出了CoFE,这是一个模块,可以通过轨迹预测算法以端到端的方式进一步细化缺失数据的插补。我们的方法减少了这种FPV误差对下游预测性能的影响,平均减少了10%以上的位移误差。为了促进研究参与,我们发布了T2 FPV-ETH数据集和软件工具。
2023-03-02 cs.CV cs.RO
GMT: Goal-Conditioned Multimodal Transformer for 6-DOF Object Trajectory Synthesis in 3D Scenes
TU München(慕尼黑工业大学);MCML;ETH Zürich(苏黎世联邦理工学院);MBZUAI(穆桑大学人工智能研究所)
本文提出GMT,一种多模态Transformer框架,通过结合3D边界框几何、点云上下文、语义物体类别和目标末端姿态,生成真实且目标导向的物体轨迹,提升了空间精度和方向控制。
2026-03-18 cs.CV cs.RO
nuScenes Knowledge Graph -- A comprehensive semantic representation of traffic scenes for trajectory prediction
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Robert Bosch GmbH(罗伯特·博世有限公司);University of Osnabrück(奥斯纳布吕克大学);Technical University of Munich(慕尼黑工业大学)
本文提出利用知识图谱建模交通场景实体及其语义连接,构建了针对nuScenes数据集的nSKG知识图谱,并提供了适配PyG库的格式,以促进基于图神经网络的轨迹预测。
2023-12-15 cs.AI cs.CV cs.RO
A Hierarchical Hybrid Learning Framework for Multi-agent Trajectory Prediction
Wuhan University of Technology(武汉理工大学)
精确和鲁棒的邻近智能体轨迹预测是自主车辆在复杂场景中穿越的关键。近年来提出的大多数方法都是基于深度学习的,因为它们在编码复杂交互方面很强大。然而,不合理的预测往往会产生,因为它们严重依赖于过去的观察,不能有效地捕捉到稀疏样本的瞬态和偶然的相互作用。在本文中,我们提出了一个分层的混合框架,深度学习(DL)和强化学习(RL)的多智能体轨迹预测,以应对预测运动的挑战,形成多尺度的相互作用。在DL阶段,交通场景被划分为多个中等规模的异构图,在此基础上,采用Transformer风格的GNN来编码中间和全局级别的异构交互。在RL阶段,我们利用DL阶段预测的关键未来点将交通场景划分为局部子场景。为了模拟运动规划过程,以便产生轨迹预测,基于变换器的近端策略优化(PPO)结合车辆运动学模型设计规划运动的主要影响下的微观相互作用。多目标奖励旨在平衡以代理为中心的准确性和场景兼容性。实验结果表明,我们的建议相匹配的国家的最先进的Argoverse预测基准。可视化结果还表明,分层学习框架捕捉到了多尺度的相互作用,提高了预测轨迹的可行性和顺应性。
2023-03-24 cs.CV cs.RO
Off-road Autonomous Vehicles Traversability Analysis and Trajectory Planning Based on Deep Inverse Reinforcement Learning
Key Lab of Machine Perception (MOE), Peking University(北京大学机器感知重点实验室(教育部))
地形可通过性分析是实现机器人在越野环境下自主行走的基础。基于几何和基于外观的方法已经研究了几十年,而基于行为的方法利用从演示示教学习(LfD)是新的趋势。基于行为的方法学习成本函数,指导轨迹规划符合专家的演示,这可以更可扩展到各种场景和驾驶行为。提出了一种基于深度最大熵逆强化学习的越野可通过性分析和轨迹规划方法。为了在解决状态空间复杂度指数增长的问题的同时结合车辆的运动学,使用了两个卷积神经网络,RL ConvNet和Svf ConvNet被开发用于将运动学编码到卷积核中,并实现高效的前向强化学习。我们在越野环境中进行实验。场景地图使用3D LiDAR数据生成,专家演示是车辆在场景中的真实行驶轨迹,或者是合成的轨迹,以表示特定的行为,例如穿越负面障碍物。在不同的能力场景下学习和测试了不同的可通行性分析成本函数,以指导不同行为的轨迹规划。我们还证明了所提出的方法的性能和计算效率。
2020-05-09 cs.LG cs.RO
Scene Informer: Anchor-based Occlusion Inference and Trajectory Prediction in Partially Observable Environments
Stanford University(斯坦福大学);University of California, Riverside(加州大学河滨分校)
针对自动驾驶领域遮挡推理与轨迹预测研究割裂、假设不符实际的问题,提出统一框架Scene Informer,基于Transformer实现部分可观测环境下的双任务推理,在Waymo数据集上性能优于现有方法。
2024-03-09 cs.AI cs.CV cs.RO
Long-Term Planning Around Humans in Domestic Environments with 3D Scene Graphs
KTH Royal Institute of Technology(皇家理工学院);University of Stuttgart(斯图加特大学)
本文提出一种基于增强三维场景图(3DSG)的轨迹规划方法,通过建模人类活动对空间的影响来整合人类偏好与空间上下文,从而在家庭环境中实现兼顾任务效率与社会适当性的上下文感知机器人导航。
2025-03-12 cs.AI cs.RO
Perception Without Vision for Trajectory Prediction: Ego Vehicle Dynamics as Scene Representation for Efficient Active Learning in Autonomous Driving
本研究提出基于轨迹状态聚类与采样策略的主动学习方法,利用自车轨迹动态信息筛选数据,在nuScenes轨迹预测任务中以更低数据成本超越随机采样性能,验证了低成本数据筛选提升自动驾驶系统效率与鲁棒性的可行性。
2024-05-20 cs.AI cs.CV cs.LG
StopNet: Scalable Trajectory and Occupancy Prediction for Urban Autonomous Driving
Waymo;Korea University(高丽大学)
我们介绍了一种运动预测(行为预测)方法,可以在不牺牲准确性的情况下满足密集城市环境中自动驾驶的延迟要求。全场景稀疏输入表示允许StopNet扩展到预测数百个道路代理的轨迹,并具有可靠的延迟。除了预测轨迹外,我们的场景编码器还可以预测整个场景的概率占用网格,这是一种适合繁忙城市环境的补充输出表示。占领网格允许AV集体推理代理组的行为,而不处理他们的个人轨迹。我们证明了我们的稀疏输入表示和我们的模型在三个数据集的计算和准确性方面的有效性。我们进一步表明,共同训练一致的轨迹和占用预测在标准指标下提高了最先进的性能。
2022-06-02 cs.CV cs.RO
SSP: Single Shot Future Trajectory Prediction
Honda Research Institute USA(本田美国研究院)
我们提出了一个强大的解决方案,未来的轨迹预测,这可以实际适用于高度拥挤的环境中的自主智能体。为此,本文着重从三个方面进行了论述。首先,我们使用复合字段来预测未来的位置,所有的道路代理在一个单一的拍摄,这导致一个恒定的时间复杂度,无论在现场的代理的数量。其次,代理之间的交互被建模为非本地响应,使得不同位置之间的空间关系也能够在时间上被捕获(即,在时空交互中)。第三,对场景的语义上下文进行建模,并考虑可能影响未来运动的环境约束。为此,我们使用ETH,UCY和SDD数据集验证了所提出方法的鲁棒性,并与当前最先进的方法相比突出了其实用功能。
2020-11-09 cs.CV cs.LG cs.RO
Heterogeneous-Agent Trajectory Forecasting Incorporating Class Uncertainty
Toyota Research Institute(丰田研究院);NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学)
推理其他代理的未来行为对机器人安全导航至关重要。可信的未来的多样性进一步放大了固有的不确定性代理状态估计从数据,包括位置,速度和语义类。然而,预测方法通常忽略类别的不确定性,仅以代理最可能的类别为条件,即使感知模型通常返回完整的类别分布。为了利用这些信息,我们提出了HAICU,异构代理轨迹预测的方法,明确纳入代理的类概率。我们还介绍了PUP,一个新的具有挑战性的现实世界自动驾驶数据集,以研究预测中感知不确定性的影响。它包含具有挑战性的拥挤场景,具有未过滤的代理类概率,反映了当前最先进的感知系统的长尾。我们证明,将类概率的轨迹预测显着提高性能,面对不确定性,并实现新的预测能力,如反事实预测。
2022-03-03 cs.CV cs.LG cs.RO
HDGT: Heterogeneous Driving Graph Transformer for Multi-Agent Trajectory Prediction via Scene Encoding
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
针对自动驾驶场景元素异质、空间关系具相对性的特点,提出将场景建模为异质图、采用分层Transformer聚合的HDGT方法,在两项轨迹预测挑战赛中达到SOTA性能。
2023-07-20 cs.AI cs.CV cs.LG
Social-WaGDAT: Interaction-aware Trajectory Prediction via Wasserstein Graph Double-Attention Network
University of California, Berkeley(加利福尼亚大学伯克利分校)
对环境的有效理解和周围动态障碍物的准确轨迹预测对于智能移动系统(如自动驾驶汽车和社交机器人)在高度交互和拥挤的场景中导航时实现安全和高质量的规划是必不可少的。由于场景演化中存在频繁的交互和不确定性,因此期望预测系统能够对不同实体进行关系推理,并为每个代理提供未来轨迹的分布。在本文中,我们提出了一个通用的生成神经系统(称为社会WaGDAT)的多智能体轨迹预测,这使得一步明确的交互建模,将关系归纳偏见与动态图形表示,并利用轨迹和场景上下文信息。我们还采用了一个有效的运动约束层应用于车辆轨迹预测,不仅确保物理可行性,但也提高了模型的性能。该系统在三个公共基准数据集上进行了评估,用于轨迹预测,其中代理涵盖行人,骑自行车者和道路车辆。实验结果表明,我们的模型实现了更好的性能比各种基线方法的预测精度。
2020-02-14 cs.CV cs.LG cs.MA