MoFlow: One-Step Flow Matching for Human Trajectory Forecasting via Implicit Maximum Likelihood Estimation based Distillation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；Simon Fraser University（西蒙菲莎大学）
提出条件流匹配模型 MoFlow 及仅需教师样本的 IMLE 蒸馏方法，在多个人体轨迹基准上达到最优，并以一步学生模型实现百倍采样加速。
2026-10-06 cs.AI cs.CV cs.LG
FlowCast: Trajectory Forecasting for Scalable Zero-Cost Speculative Flow Matching
Indian Institute of Technology Bombay（印度理工学院班加罗尔分校）；University of California, Berkeley（加州大学伯克利分校）；Inception Labs（Inception实验室）；Adobe Research India（Adobe印度研究）
FlowCast通过利用流匹配模型保持恒定速度的特性，实现无需训练的高效推理，提升图像生成等任务的速度2.5倍，同时保持质量。
2026-02-01 cs.CV
Multi-Camera Trajectory Forecasting with Trajectory Tensors
该研究针对多摄像头轨迹预测（MCTF）问题，提出轨迹张量技术及对应编码器-解码器模型，在含15个摄像头视角600小时视频的自建数据库上验证，其模型性能优于现有相关方法。
2026-08-05 cs.AI cs.CV
Social-DualCVAE: Multimodal Trajectory Forecasting Based on Social Interactions Pattern Aware and Dual Conditional Variational Auto-Encoder
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）
行人轨迹预测是自动驾驶、自主机器人和监控系统等多个实用领域的基本任务。未来的轨迹预测是多模态的，受到与场景上下文的物理交互和行人之间复杂的社会交互的影响。现有的文献主要通过深度学习网络来学习社会交互的表示，而没有利用显式交互模式。不同的交互模式，如跟随或碰撞避免，将产生不同的趋势，下一个运动，因此，社会交互模式的意识是重要的轨迹预测。此外，社会互动模式是隐私关注或缺乏标签。为了共同解决上述问题，我们提出了一种用于多模态轨迹预测的社会对偶条件变分自动编码器（Social-DualCVAE），该编码器基于生成模型，不仅以过去的轨迹为条件，还以交互模式的无监督分类为条件。在生成未标记的社会交互模式的类别分布后，DualCVAE，以过去的轨迹和社会交互模式为条件，通过潜变量估计提出了多模态轨迹预测。在训练过程中，作为最小化目标的变分界。该模型被广泛使用的轨迹基准进行评估，并优于现有的最先进的方法。
2022-02-08 cs.AI cs.CV
Socially-Informed Reconstruction for Pedestrian Trajectory Forecasting
Queen’s University（女王大学）；Ingenuity Labs Research Institute（创新实验室研究院）
针对自主系统中行人轨迹预测受复杂社交交互影响的挑战，提出结合重构器与条件变分自动编码器模块、引入社交损失函数的模型，在ETH/UCY和SDD基准上性能优于先进方法。
2024-12-05 cs.AI cs.CV
Heterogeneous Trajectory Forecasting via Risk and Scene Graph Learning
Chang’an University（长安大学）；National University of Singapore（新加坡国立大学）；KargoBot；Xi’an Jiaotong University（西安交通大学）；Cleveland State University（克利夫兰州立大学）
提出风险与场景图学习方法，通过异构风险图和分层场景图建模道路智能体交互与环境约束，在多个数据集上取得优于SOTA的轨迹预测性能。
2023-06-26 cs.AI cs.CV
Multimodal trajectory forecasting based on discrete heat map
HIKVISION Research Institute（海康威视研究院）
Argoverse运动预测竞赛的任务是预测交通场景中感兴趣目标的概率未来轨迹分布。我们使用矢量化的车道地图和2s目标的历史轨迹作为输入。然后，该模型输出6个预测轨迹的概率为每个目标。
2021-06-22 cs.CV
Multi-agent Long-term 3D Human Pose Forecasting via Interaction-aware Trajectory Conditioning
KAIST（韩国科学技术院）
本文提出 Trajectory2Pose，通过由粗到细的多模态轨迹条件化与图式智能体交互实现长期多智能体3D姿态预测，并构建6秒以上、5人以上的新数据集验证其先进性能。
2024-04-08 cs.AI cs.CV
Multi-Camera Trajectory Forecasting: Pedestrian Trajectory Prediction in a Network of Cameras
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）
我们介绍了多摄像机轨迹预测（MCTF）的任务，其中一个对象的未来轨迹预测的摄像机网络。先前的工作考虑在单个相机视图中预测轨迹。我们的工作是第一个考虑在多个不重叠的相机视图预测的挑战性场景。这在诸如重新识别和多目标多相机跟踪的任务中具有广泛的适用性。为了促进这一新领域的研究，我们发布了Warwick-NTU多摄像机预测数据库（WNMF），这是一个来自15个同步摄像机网络的多摄像机行人轨迹的独特数据集。为了准确地标记这个大型数据集（600小时的视频片段），我们还开发了一种半自动化的注释方法。一个有效的MCTF模型应该主动预测一个人将在何时何地重新出现在摄像机网络中。在本文中，我们考虑的任务，预测下一个摄像头的行人将重新出现后，离开另一个摄像头的视图，并提出了几个基线的方法。标记的数据库可在线获得：https://github.com/olly-styles/Multi-Camera-Trajectory-Forecasting。
2020-05-01 cs.CV
From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting
UC Berkeley（加州大学伯克利分校）；Technical University of Munich（慕尼黑工业大学）
人体轨迹预测是一个固有的多模态问题。未来轨迹的不确定性源于两个来源：（a）智能体已知但模型未知的来源，例如长期目标;（b）智能体和模型都未知的来源，例如其他智能体的意图和不可约随机性犹豫不决。我们建议将这种不确定性分解为认识性和任意性的来源。我们通过长期目标中的多模态来模拟认知的不确定性，通过路点和路径中的多模态来模拟任意的不确定性。为了消除这种二分法，我们还提出了一种新的长期轨迹预测设置，预测范围长达一分钟，比以前的作品长一个数量级。最后，我们介绍Y-net，一个场景兼容的轨迹预测网络，利用所提出的认知和任意结构在长期预测范围内进行多种轨迹预测。Y-net显着提高了先前最先进的性能（a）斯坦福无人机和ETH/UCY数据集上经过充分研究的短期预测范围设置和（b）重新提出的长期预测范围设置。斯坦福无人机和交叉无人机数据集。
2020-12-02 cs.AI cs.CV cs.RO
RealTraj: Towards Real-World Pedestrian Trajectory Forecasting
Keio University（庆应义塾大学）；NVIDIA（英伟达）
RealTraj框架通过合成数据自监督预训练和有限真实数据弱监督微调，结合对跟踪噪声不变的Det2TrajFormer模型，在降低数据采集与ID标注成本的同时提升真实场景行人轨迹预测性能。
2025-03-09 cs.CV
Egocentric Human Trajectory Forecasting with a Wearable Camera and Multi-Modal Fusion
Imperial College London（帝国理工学院）；Tencent Robotics X（腾讯Robotics X）；Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们解决的问题预测的轨迹自我中心的相机佩戴者（自我人）在拥挤的空间。从不同相机佩戴者在现实世界中行走的数据中学习到的轨迹预测能力可以转移到帮助视障人士导航，以及在移动机器人中灌输人类导航行为，从而实现更好的人机交互。为此，构建了一个新的以自我为中心的人类轨迹预测数据集，包含佩戴相机在拥挤空间中导航的人的真实轨迹，以及提取的丰富上下文数据。我们提取并利用三种不同的模态来预测相机佩戴者的轨迹，即，他/她的过去轨迹、附近人的过去轨迹以及诸如场景语义或场景深度的环境。一个基于transformer的编码器-解码器神经网络模型，集成了一种新的级联交叉注意力机制，融合多种形式，已被设计用于预测未来的轨迹的相机佩戴者。已经进行了大量的实验，结果表明，我们的模型优于自我中心的人类轨迹预测的最先进的方法。
2022-07-07 cs.CV
Trajectory Forecasting from Detection with Uncertainty-Aware Motion Encoding
Xi’an Jiaotong University（西安交通大学）；Chang’an University（长安大学）；The University of Sydney（悉尼大学）
轨迹预测对于自主平台进行安全规划和行动至关重要。目前，大多数轨迹预测方法假设已经提取了对象轨迹，并基于地面实况轨迹直接开发轨迹预测器。然而，这一假设在实际情况中并不成立。通过目标检测和跟踪得到的轨迹不可避免地含有噪声，这会给基于地面真实轨迹的预测器带来严重的预测误差。在本文中，我们提出了一个轨迹预测直接基于检测结果，而不依赖于明确形成的轨迹。与传统的基于Agent运动轨迹的运动信息编码方法不同，本文仅根据检测结果中的亲和性信息提取Agent的运动信息，并设计了一种亲和性感知的状态更新机制，以考虑关联的不确定性.此外，考虑到可能有多个看似合理的匹配候选者，我们聚合它们的状态。该设计缓解了从数据关联获得的噪声轨迹的不良影响。大量的烧蚀实验验证了该方法的有效性及其在不同检测器上的推广能力。与其他预测方案的交叉比较进一步证明了该方法的优越性。代码将在接受后发布。
2022-02-10 cs.CV
AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models
Southeast University（东南大学）
AutoTraces通过多模态大语言模型实现自回归轨迹预测，采用创新的轨迹标记方案和自动链式推理机制，提升长周期预测精度与跨场景泛化能力。
2026-03-09 cs.CV
Joint Learning Architecture for Multiple Object Tracking and Trajectory Forecasting
University of Warwick（华威大学）
本文介绍了一种用于多目标跟踪和轨迹预测的联合学习结构（JLA），其目标是同时预测目标的当前和未来轨迹。运动预测被广泛地用在若干现有技术的MOT方法中，以改进边界框形式的预测。通常，卡尔曼滤波器提供短期估计以帮助跟踪器正确地预测对象在当前帧中的位置。然而，基于卡尔曼滤波器的方法不能预测非线性轨迹。我们建议联合训练跟踪和轨迹预测模型，并使用预测的轨迹预测短期运动估计代替线性运动预测方法，如卡尔曼滤波器。我们在MOTChallenge基准上评估我们的JLA。评估结果表明，JLA在短期运动预测方面表现更好，与FairMOT相比，在MOT16，MOT17和MOT20数据集中分别减少了33%，31%和47%的ID切换。
2021-08-24 cs.CV
Scene Induced Multi-Modal Trajectory Forecasting via Planning
University of California, San Diego（加州大学圣迭戈分校）
我们解决多模态轨迹预测的代理在未知的场景制定它作为一个规划问题。我们提出了一种方法，包括三个模型;一个目标预测模型，以确定潜在的目标的代理，逆强化学习模型，以规划最佳路径到每个目标，和轨迹生成器，以获得未来的轨迹沿规划的路径。对斯坦福无人机数据集的预测分析显示了我们对新场景的方法的普遍性。
2019-05-23 cs.CV cs.RO
Towards Metric-Agnostic Trajectory Forecasting
RWTH Aachen University（亚琛工业大学）；Eindhoven University of Technology（埃因霍温理工大学）
提出度量无关的概率训练目标，并引入TraDiE策略将预测分布映射为轨迹和置信度，实现度量优化作为下游任务，在Waymo基准上取得最优结果。
2026-07-02 cs.CV cs.RO
OmniCam: Omni-Camera Trajectory Generation via Geometry-Grounded Pose Token Learning
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Tencent Hunyuan（腾讯混元）；Zhejiang University（浙江大学）
OmniCam提出一种基于几何锚定位姿标记学习的自回归模型，从全景图和文本生成相机轨迹，在OmniCaT基准上显著降低轨迹误差和碰撞率。
2026-10-14 cs.AI cs.CV
Back to square one: probabilistic trajectory forecasting without bells and whistles
Sharif University of Technology（谢里夫理工大学）；Institute of Science and Technology Austria (IST Austria)（奥地利科学技术研究所（IST Austria））
我们介绍了一个时空卷积神经网络模型的轨迹预测从视觉源。以自回归的方式应用，它提供了一个明确的概率分布在一个给定的初始轨迹段的延续。我们讨论了与（更复杂的）现有工作有关的问题，并报告了在两个用于轨迹预测的标准数据集上进行的实验：MNISTseq和斯坦福无人机，取得了与以前的方法相当或更好的结果。
2018-12-07 cs.CV cs.LG stat.ML
Human Trajectory Forecasting with Explainable Behavioral Uncertainty
University of Leeds（利兹大学）；University of Maryland at College Park（马里兰大学帕克分校）
本文提出结合贝叶斯神经网络与行为随机微分方程的 BNSP-SFM 模型，在提升人类轨迹预测精度的同时提供可解释的行为不确定性量化，并展现出更强的跨场景泛化能力。
2023-07-04 cs.AI cs.CV
Forecasting Pedestrian Trajectory with Machine-Annotated Training Data
University of Warwick（华威大学）；Michigan State University（密歇根州立大学）
可靠地预测行人轨迹对于自动驾驶汽车的运行至关重要，并且可以显著增强高级驾驶员辅助系统的功能。虽然行人检测领域已经取得了重大进展，但由于行人的不可预测性和潜在有用特征的巨大空间，预测行人轨迹仍然是一个具有挑战性的问题。在这项工作中，我们提出了一个深度学习的方法，行人轨迹预测使用一个单一的车载摄像头。深度学习模型已经彻底改变了计算机视觉的其他领域，但在轨迹预测方面的应用有限，部分原因是缺乏丰富注释的训练数据。我们通过引入一个可扩展的机器注释方案来解决训练数据的缺乏问题，该方案使我们的模型能够使用大型数据集进行训练，而无需人工注释。此外，我们还提出了动态轨迹预测器（DTP），一种用于预测未来一秒内行人轨迹的模型。DTP使用人类和机器注释的数据进行训练，并预测线性模型无法捕获的动态运动。实验评估证实了所提出的模型的好处。
2019-05-09 cs.CV cs.RO
How many Observations are Enough? Knowledge Distillation for Trajectory Forecasting
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）；University of Padova（帕多瓦大学）
准确预测未来人体位置是现代视频监控系统的一项重要任务。当前最先进的模型通常依赖于过去跟踪位置的“历史”（例如，3到5秒）来预测未来位置的合理序列（例如，直到下一个5秒）。我们认为这种常见的模式忽略了现实应用的关键特征：由于输入轨迹的集合涉及机器感知（即，检测和跟踪），不正确的检测和分段错误可能在拥挤的场景中积累，导致跟踪漂移。由于这个原因，该模型将被馈送有损坏和噪声的输入数据，从而致命地影响其预测性能。在这方面，我们专注于在只使用很少的输入观察时提供准确的预测，从而潜在地降低与自动感知相关的风险。为此，我们设想了一种新的蒸馏策略，允许从教师网络到学生网络的知识转移，后者用较少的观察（只有两个）。我们表明，一个适当定义的教师监督允许学生网络执行的最先进的方法，需要更多的观察。此外，对常见轨迹预测数据集的广泛实验表明，我们的学生网络更好地概括了看不见的场景。
2022-03-09 cs.AI cs.CV
Interpretable Social Anchors for Human Trajectory Forecasting in Crowds
EPFL（洛桑联邦理工学院）
人群中的人类轨迹预测，其核心是一个序列预测问题，具有捕获序列间依赖性（社会交互）并因此预测社会兼容的多模态分布的特定挑战。近年来，基于神经网络的方法已被证明在基于距离的度量上优于手工制作的方法。然而，这些数据驱动的方法仍然受到一个关键的限制：缺乏可解释性。为了克服这一限制，我们利用离散选择模型的力量来学习可解释的基于规则的意图，并随后利用神经网络的可表达性来建模特定场景的残差。在以交互为中心的基准测试TrajNet++上进行的大量实验表明，我们提出的架构可以有效地解释其预测，而不会影响准确性。
2021-05-07 cs.CV
Human Trajectory Forecasting in Crowds: A Deep Learning Perspective
在过去的几十年里，人类轨迹预测一直是一个活跃的研究领域，因为它有许多现实世界的应用：疏散情况分析，智能交通系统的部署，交通运营，仅举几例。早期的作品基于领域知识手工制作了这种表示。然而，在拥挤的环境中，社会互动不仅多样，而且往往微妙。最近，深度学习方法的表现已经超过了手工制作的方法，因为它们以更通用的数据驱动方式学习人与人之间的交互。在这项工作中，我们对现有的基于深度学习的方法进行了深入分析，用于对社交互动进行建模。我们提出了两种基于知识的数据驱动的方法来有效地捕捉这些社会互动。为了客观地比较这些基于交互的预测模型的性能，我们开发了一个大规模的以交互为中心的基准TrajNet++，这是人类轨迹预测领域中一个重要但缺失的组件。我们提出了新的性能指标，评估模型输出社会可接受的轨迹的能力。TrajNet++上的实验验证了我们提出的指标的必要性，我们的方法在真实世界和合成数据集上的性能都优于竞争基线。
2021-01-11 cs.CV
Aware of the History: Trajectory Forecasting with the Local Behavior Data
University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）
先前经过位置的历史轨迹可以帮助推断当前在该位置处的代理的未来轨迹。尽管在高清地图的指导下，轨迹预测有了很大的改进，但只有少数作品探索了这种局部历史信息。在这项工作中，我们重新引入这些信息作为一种新的类型的轨迹预测系统的输入数据：本地行为数据，我们将其概念化为特定位置的历史轨迹的集合。局部行为数据有助于系统强调预测的局部性，并更好地理解静态地图对象对移动代理的影响。我们提出了一种新的本地行为感知（LBA）预测框架，通过融合来自观察到的轨迹，HD地图和本地行为数据的信息来提高预测精度。此外，在这种历史数据不足或不可用的情况下，我们采用了本地行为自由（LBF）预测框架，该框架采用基于知识蒸馏的架构来推断缺失数据的影响。大量的实验表明，升级现有的方法与这两个框架显着提高其性能。特别是，对于K=1的指标，LBA框架将SOTA方法在nuScenes数据集上的性能提高了至少14%。
2022-07-20 cs.CV
Hierarchical Latent Structure for Multi-Modal Vehicle Trajectory Forecasting
ETRI（韩国电子通信研究院）
变分自编码器（VAE）由于其理论简洁、易于训练、具有良好的流形表示等优点，被广泛用于数据分布建模。然而，当应用于图像重建和合成任务时，VAE显示出生成的样本趋于模糊的限制。我们观察到，一个类似的问题，其中生成的轨迹位于相邻车道之间，经常出现在基于VAE的轨迹预测模型。为了缓解这个问题，我们引入了层次潜在结构的VAE为基础的预测模型。基于轨迹分布可以近似为简单分布（或模式）的混合的假设，采用低级潜变量来对混合的每个模式进行建模，并且采用高级潜变量来表示模式的权重。为了准确地对每种模式进行建模，我们使用以新颖的方式计算的两个车道级上下文向量来调节低级别潜变量，一个对应于车辆-车道交互，另一个对应于车辆-车辆交互。上下文向量也被用来通过建议的模式选择网络的权重建模。为了评估我们的预测模型，我们使用了两个大规模的真实世界数据集。实验结果表明，我们的模型不仅能够生成清晰的多模态轨迹分布，而且在预测精度方面优于最先进的（SOTA）模型。我们的代码可在https://github.com/d1024choi/HLSTrajForecast上获得。
2022-07-11 cs.CV
Hierarchical Light Transformer Ensembles for Multimodal Trajectory Forecasting
U2IS, ENSTA Paris, Institut Polytechnique de Paris（巴黎综合理工学院 ENSTA 学院 U2IS 实验室）；Ampere Software Technology（安培软件技术公司）
针对轨迹预测中多模态分布建模与不确定性量化难题，提出 HLT-Ens，通过分层损失和分组全连接层高效训练 Transformer 集成，并经实验验证达到最先进性能。
2025-01-07 cs.CV
ECAM: A Contrastive Learning Approach to Avoid Environmental Collision in Trajectory Forecasting
Department of Environmental Sciences, Informatics and Statistics, Ca' Foscari University of Venice, Italy（环境科学、信息学与统计学系，威尼斯卡福斯卡里大学，意大利）
ECAM通过对比学习方法提升轨迹预测中对环境碰撞的避免能力，有效降低碰撞率。
2025-06-11 cs.CV
Hierarchical Motion Encoder-Decoder Network for Trajectory Forecasting
Southeast University（东南大学）
轨迹预测在智能车辆或社交机器人领域中起着举足轻重的作用。近年来的研究主要集中在对空间社会影响或时间运动注意力的建模上，而忽略了运动的内在属性，即运动趋势和驾驶意图。提出了一种上下文无关的分层运动编码解码网络（HMNet）用于车辆轨迹预测。HMNet首先推断运动的层次差异，以编码具有高运动趋势和驾驶意图表现力的物理兼容模式。然后，一个目标（端点）嵌入式解码器分层结构的位置-速度-加速度相关的模式，根据多模式预测。此外，我们提出了一个修改后的社会汇集模块，考虑某些运动属性来表示社会互动。HMNet能够做出准确的，单峰/多峰和物理社会兼容的预测。在NGSIM、HighD和Interaction三个公共轨迹预测数据集上的实验表明，该模型在定量和定性上都达到了最先进的性能。我们将在这里发布我们的代码：https://github.com/xuedashuai/HMNet。
2021-11-26 cs.CV
Rethinking Trajectory Forecasting Evaluation
NVIDIA Research（英伟达研究院）
预测其他智能体的行为是现代机器人自动化堆栈的一个组成部分，特别是在人机交互的安全关键场景中，例如自动驾驶。反过来，人们对轨迹预测产生了大量的兴趣和研究，从而产生了各种各样的方法。然而，所有工作的共同点是使用相同的几个基于准确性的评估指标，例如，位移误差和对数似然。虽然这些指标是信息性的，但它们是任务不可知的，并且被评估为相等的预测可能导致截然不同的结果，例如，下游规划和决策。在这项工作中，我们退后一步，批判性地评估当前的轨迹预测指标，提出任务感知指标作为部署预测的系统中性能的更好衡量标准。我们还提出了这样一个指标的一个例子，将规划意识在现有的轨迹预测指标。
2021-07-21 cs.CV cs.LG cs.RO
PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map
University of California, Berkeley（加州大学伯克利分校）；University of California San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
深度学习最近在轨迹预测方面取得了重大进展。然而，轨迹数据的稀缺阻碍了数据饥渴的深度学习模型学习良好的表示。虽然在计算机视觉和自然语言处理中存在成熟的表示学习方法，但这些预训练方法需要大规模数据。由于缺乏足够的轨迹数据（例如，nuScenes数据集中的34 K样本）。为了解决轨迹数据稀缺的问题，我们求助于另一种与地图密切相关的数据形式-HD地图，这在现有数据集中有大量的提供。在本文中，我们提出了PreTraM，这是一种通过连接轨迹和地图进行轨迹预测的自监督预训练方案。具体来说，PreTraM由两部分组成：1）轨迹地图对比学习，我们将轨迹和地图投影到跨模态对比学习的共享嵌入空间，以及2）地图对比学习，我们在大量HD地图上通过对比学习增强地图表示。除了AgentFormer和Trajectron++等流行的基线之外，PreTraM在FDE-10中对具有挑战性的nuScenes数据集的性能相对提高了5.5%和6.9%。我们表明，PreTraM提高了数据效率，并与模型大小的规模。
2022-04-21 cs.AI cs.CV
MoCAR: Motion-code Coordinate-aware AutoRegression for Continuous Trajectory Forecasting
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Twente（特文特大学）
MoCAR提出坐标感知连续潜在空间中的运动码自回归，将轨迹预测转化为下一码预测，实现无需重标记的单阶段架构，在Argoverse基准上达到顶级性能并强迁移。
2026-10-06 cs.CV
Roundabout Dilemma Zone Data Mining and Forecasting with Trajectory Prediction and Graph Neural Networks
Arizona State University（亚利桑那州立大学）；Rider University（莱德大学）；ARGOS Vision Inc.（ARGOS Vision公司）
本文提出一种基于图神经网络和轨迹预测的模块化循环模型，用于预测交通环岛困境区事件，在真实数据集上实现了高精度和0.1的低假阳性率，提升了自动驾驶时代的交叉口安全性。
2024-09-01 cs.AI cs.CV cs.LG
Transformer Networks for Trajectory Forecasting
University of Verona（维罗纳大学）；Inception Institute of Artificial Intelligence（创世纪人工智能研究所）；Sapienza University of Rome（罗马大学）
最近在预测人的运动方面取得的最大成功是基于LSTM模型，所有最近的进展都是通过对人与人之间的社交互动以及人与场景的互动进行建模来实现的。我们质疑LSTM模型的使用，并提出了Transformer Networks用于轨迹预测的新用途。这是从LSTM的顺序逐步处理到Transformers的仅基于注意力的记忆机制的根本转变。特别是，我们考虑了原始的Transformer网络（TF）和更大的双向Transformer（BERT），所有自然语言处理任务的最新技术。我们提出的Transformers预测场景中单个人的轨迹。这些是“简单”模型，因为每个人都是单独建模的，没有任何复杂的人-人或场景交互项。特别是，没有花里胡哨的TF模型在TrajNet的最大和最具挑战性的轨迹预测基准上获得了最好的分数。此外，它的扩展预测了多个合理的未来轨迹，在ETH + UCY的5个数据集上与更工程化的技术表现相当。最后，我们表明，Transformers可能会处理丢失的意见，因为它可能是真实的传感器数据的情况。代码可在https://github.com/FGiuliari/Trajectory-Transformer上获得。
2020-10-21 cs.CV
Propagating State Uncertainty Through Trajectory Forecasting
Ford Greenfield Labs（福特格林菲尔德实验室）；Stanford University（斯坦福大学）；NVIDIA（英伟达）
不确定性弥漫在现代机器人自主堆栈中，几乎每个组件（例如，传感器、检测、分类、跟踪、行为预测）产生连续或离散的概率分布。特别是轨迹预测，被不确定性所包围，因为它的输入是由（嘈杂的）上游感知产生的，它的输出是预测，通常是概率性的，用于下游规划。然而，大多数轨迹预测方法不考虑上游的不确定性，而是只采用最可能的值。因此，感知的不确定性不会通过预测传播，预测往往过于自信。为了解决这个问题，我们提出了一种新的方法，将感知状态的不确定性的轨迹预测，其中的一个关键组成部分是一个新的统计距离为基础的损失函数，鼓励预测的不确定性，更好地匹配上游的看法。我们评估我们的方法都在说明性的模拟和大规模的，真实世界的数据，证明其有效性传播感知状态的不确定性，通过预测和产生更多的校准预测。
2022-07-12 cs.CV cs.LG cs.RO
Grouptron: Dynamic Multi-Scale Graph Convolutional Networks for Group-Aware Dense Crowd Trajectory Forecasting
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
在高度动态和交互的场景中准确、长期地预测行人轨迹是一个长期的挑战。使用数据驱动方法的最新进展在预测准确性方面取得了显着改善。然而，缺乏群体感知分析限制了预测模型的性能。在高度拥挤的场景中，这一点尤其不可忽视，因为行人成群移动，群体之间的互动极其复杂和动态。在本文中，我们提出了Grouptron，一个多尺度的动态预测框架，利用行人群体检测，并利用个人层面，群体层面和场景层面的信息，更好地理解和表示的场景。我们的方法采用时空聚类算法来识别行人群体，在个人，群体和场景水平上创建时空图。然后，它使用图神经网络在不同尺度上对动态进行编码，并聚合嵌入以进行轨迹预测。我们进行了广泛的比较和消融实验，以证明我们的方法的有效性。与ETH/UCY基准数据集上的最先进方法相比，我们的方法实现了最终位移误差（FDE）降低9.3%，并且在更拥挤的场景中FDE降低16.1%，其中广泛的人类群体交互更频繁。
2022-03-04 cs.AI cs.CV cs.RO
Uncertainty-aware State Space Transformer for Egocentric 3D Hand Trajectory Forecasting
OPPO US Research Center（OPPO美国研究中心）；University at Buffalo（布法罗大学）；Michigan State University（密歇根州立大学）；Texas A&M University（得克萨斯农工大学）
本文提出不确定性感知状态空间Transformer（USST），结合注意力机制、任意不确定性、速度约束和视觉提示微调，用于从自我中心RGB视频预测三维手部轨迹，并在H2O和EgoPAT3D上验证其优越性。
2023-09-17 cs.CV
Event-Only Drone Trajectory Forecasting with RPM-Modulated Kalman Filtering
Aalto University（阿alto大学）
本文提出一种基于事件数据和RPM调制卡尔曼滤波的无人机轨迹预测方法，实现了无需RGB图像或训练数据的高精度短中时间范围预测。
2026-03-02 cs.CV cs.RO eess.IV
Data-Driven Vehicle Trajectory Forecasting
University of Hildesheim（希尔德斯海姆大学）
一个活跃的研究领域是提高自动驾驶汽车的安全性。虽然安全性不能完全保证，但车辆预测周围车辆未来轨迹的能力可以帮助确保这种安全性。我们将轨迹预测问题转化为多时间步长预测问题，并开发了一种基于卷积神经网络的方法来实时地从完全原始数据集生成的轨迹序列中学习。结果表明，与基线相比，情况有所改善。
2019-02-09 cs.CV cs.LG cs.RO
SMEMO: Social Memory for Trajectory Forecasting
University of Florence（佛罗伦萨大学）；Media Integration and Communication Center (MICC)（媒体集成与传播中心（MICC））
本文提出SMEMO，一种基于端到端可训练工作记忆的神经网络，通过持续写入、更新和调用智能体信息来建模随时间演变的社会交互，在多个轨迹预测数据集上取得SOTA结果并学习可解释的因果关系。
2024-02-18 cs.CV
Under the Hood of Transformer Networks for Trajectory Forecasting
Sapienza University of Rome（罗马第一大学）；University of Verona（维罗纳大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
Transformer网络已经成为轨迹预测的事实上的最先进技术，但目前还没有对其在没有与其他个体或社会背景交互的情况下对人的运动模式进行建模的能力进行系统研究。本文提出了第一次深入研究的Transformer网络（TF）和双向Transformers（BERT）的个人运动的人，没有花里胡哨的预测。我们进行了详尽的评估，输入/输出表示，问题的配方和序列建模，包括一个新的分析，他们的能力，预测多模态期货。在ETH+UCY基准的比较评估中，TF和BERT在预测单个动作方面表现最好，绝对超过了RNN和LSTM。此外，他们仍然在一个狭窄的范围内，相对于更复杂的技术，其中包括社会互动和场景上下文。将发布所有已执行实验的源代码。
2022-03-22 cs.CV
Robust Trajectory Forecasting for Multiple Intelligent Agents in Dynamic Scene
Meituan-Dianping Group（美团点评集团）；Wenzhou University（温州大学）
动态场景中多个交互智能体的轨迹预测是机器人系统和自动驾驶等应用中的一个重要问题。由于智能体之间的复杂交互以及它们与周围场景的交互，该问题是一个巨大的挑战。在本文中，我们提出了一种新的方法，在动态场景中的多智能体的鲁棒轨迹预测。所提出的方法由三个主要的相互关联的部分组成：用于全局时空交互式特征提取的交互网络、用于解码动态场景的环境网络（即，智能体的周围道路拓扑），以及结合时空特征、场景特征、智能体的过去轨迹和一些随机噪声的预测网络，用于智能体的鲁棒轨迹预测。在行人-步行和车辆-行人异构数据集上的实验表明，该方法在预测精度方面优于现有的预测方法。
2020-05-27 cs.CV cs.LG cs.RO
Heterogeneous-Agent Trajectory Forecasting Incorporating Class Uncertainty
Toyota Research Institute（丰田研究院）；NVIDIA Research（英伟达研究院）；Stanford University（斯坦福大学）
推理其他代理的未来行为对机器人安全导航至关重要。可信的未来的多样性进一步放大了固有的不确定性代理状态估计从数据，包括位置，速度和语义类。然而，预测方法通常忽略类别的不确定性，仅以代理最可能的类别为条件，即使感知模型通常返回完整的类别分布。为了利用这些信息，我们提出了HAICU，异构代理轨迹预测的方法，明确纳入代理的类概率。我们还介绍了PUP，一个新的具有挑战性的现实世界自动驾驶数据集，以研究预测中感知不确定性的影响。它包含具有挑战性的拥挤场景，具有未过滤的代理类概率，反映了当前最先进的感知系统的长尾。我们证明，将类概率的轨迹预测显着提高性能，面对不确定性，并实现新的预测能力，如反事实预测。
2022-03-03 cs.CV cs.LG cs.RO
Learning Cooperative Trajectory Representations for Motion Forecasting
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；University of Chinese Academy of Science（中国科学院大学）；The University of Hong Kong（香港大学）
针对自动驾驶协同运动预测中现有方法未充分利用多端运动交互上下文的问题，提出V2X-Graph轨迹特征融合框架，构建首个真实V2X预测数据集V2X-Traj，实验验证了方法有效性。
2024-10-31 cs.CV
AGMA: Adaptive Gaussian Mixture Anchors for Prior-Guided Multimodal Human Trajectory Forecasting
本文提出AGMA，通过两阶段方法构建表达性先验，提升多模态人类轨迹预测的准确性和多样性，实验表明其在ETH-UCY等数据集上达到SOTA性能。
2026-04-14 cs.CV cs.LG
Motion-o: Trajectory-Grounded Video Reasoning
Northeastern University（东北大学）
Motion-o通过引入运动链推理，使视频推理模型能够显式且可验证地表示物体运动轨迹，提升动态和轨迹依赖性推理的可监督性。
2026-05-07 cs.AI cs.CV
Likelihood-Based Diverse Sampling for Trajectory Forecasting
University of Pennsylvania（宾夕法尼亚大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
预测复杂的车辆和行人多模态分布需要强大的概率方法。规范化流（NF）最近成为一个有吸引力的工具来模拟这样的分布。然而，一个关键的缺点是，从流模型中提取的独立样本往往不能充分捕获底层分布中的所有模式。我们提出了基于似然的多样性采样（LDS），这是一种用于提高来自预训练流模型的轨迹样本的质量和多样性的方法。LDS不是生成单个样本，而是在一次射击中生成一组轨迹。给定预先训练的预测流模型，我们使用来自模型的梯度来训练LDS，以优化目标函数，该目标函数奖励预测集中各个轨迹的高似然性，以及轨迹之间的高空间分离。LDS优于各种预训练流模型以及条件变分自编码器（CVAE）模型的最先进的事后神经多样性预测方法。至关重要的是，它还可以用于转换轨迹预测，其中各种预测都是在未标记的测试示例上进行实时训练的。LDS很容易实现，我们证明了它在两个具有挑战性的基准测试中提供了一个简单的插件改进。代码在：https://github.com/JasonMa2016/LDS
2021-09-14 cs.CV cs.LG
End-to-End 3D Multi-Object Tracking and Trajectory Forecasting
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
三维多目标跟踪和轨迹预测是现代三维感知系统的两个关键组成部分。我们假设，这是有益的统一在一个框架下的任务，学习代理交互的共享功能表示。为了评估这一假设，我们提出了一个统一的解决方案，三维MOT和轨迹预测，其中还包括两个额外的新的计算单元。首先，我们通过引入图神经网络（GNNs）来捕获多个代理相互交互的方式，从而采用特征交互技术。GNN能够对复杂的分层交互进行建模，改进MOT关联的判别特征学习，并为轨迹预测提供社会感知的上下文。其次，我们使用多样性采样函数来提高预测轨迹的质量和多样性。学习的采样函数经过训练，可以有效地从生成轨迹分布中提取各种结果，并有助于避免生成许多重复轨迹样本的问题。我们表明，我们的方法在KITTI数据集上实现了最先进的性能。我们的项目网站是http://www.xinshuoweng.com/projects/GNNTrkForecast。
2020-08-25 cs.CV cs.LG cs.MA
Collaborative Uncertainty Benefits Multi-Agent Multi-Modal Trajectory Forecasting
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；School of Mechanical Engineering, Nanjing University of Science and Technology（南京理工大学机械工程学院）
本文提出协作不确定性（CU）概念及CU感知回归框架，作为插件模块帮助SOTA多智能体多模态轨迹预测系统估计不确定性、排序并选择最优预测，在多个基准上稳定提升性能。
2025-03-11 cs.CV stat.ML
Trajectory-Aware Body Interaction Transformer for Multi-Person Pose Forecasting
Hangzhou Dianzi University（杭州电子科技大学）
多人姿态预测仍然是一个具有挑战性的问题，特别是在复杂人群场景中建模细粒度的人体交互。现有的方法通常将整个姿势序列表示为时间序列，但忽略了基于骨骼身体部位的人之间的交互影响。在本文中，我们提出了一种新的轨迹感知的身体交互Transformer（TBIFormer）的多人姿态预测，通过有效地建模身体部位的相互作用。具体来说，我们构建了一个时间身体分割模块，将所有的姿势序列转换成一个多人的身体部分序列，以保留基于身体语义的空间和时间信息。然后，我们设计了一个社会身体互动自我注意力（SBI-MSA）模块，利用转换后的序列来学习身体部位动态的个体间和个体内的相互作用。此外，不同于以前的欧氏距离为基础的空间编码，我们提出了一种新的和有效的轨迹感知相对位置编码的SBI-MSA提供歧视性的空间信息和额外的互动线索。在短期和长期两个方面，我们在CMU-Mocap，MuPoTS-3D以及合成数据集（6 ~ 10人）上对我们的框架进行了实证评估，并证明我们的方法大大优于最先进的方法。代码将在接受后公开提供。
2023-03-13 cs.CV
TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；University of Adelaide（阿德莱德大学）；Stanford University（斯坦福大学）；Monash University（莫纳什大学）
人类轨迹和姿态动态的联合预测是从机器人和自动驾驶到监控系统的各种应用的基本构建块。预测身体动态需要捕捉嵌入在人类相互之间以及与场景中存在的对象的交互中的微妙信息。在本文中，我们提出了一种新的TRajectory和POSE动力学（昵称TRiPOD）方法的基础上，图注意力网络模型的人与人和人与物体的相互作用都在输入空间和输出空间（解码的未来输出）。该模型由图上的消息传递接口补充，以有效地融合这些不同级别的交互。此外，为了结合现实世界的挑战，我们提出学习表示估计的身体关节在每个帧处是否可见/不可见的指示符，例如，由于遮挡或在传感器视场之外。最后，我们基于两个具有挑战性的数据集（PoseTrack和3DPW）为这项联合任务引入了一个新的基准，并提出了评估指标来衡量全球空间中预测的有效性，即使有不可见的关节情况。我们的评估表明，TRiPOD优于所有先前的工作和国家的最先进的专门设计的轨迹和姿态预测任务。
2021-08-27 cs.CV
JRDB-Traj: A Dataset and Benchmark for Trajectory Forecasting in Crowds
EPFL（洛桑联邦理工学院）；Monash University（莫纳什大学）
本研究提出基于JRDB扩展的端到端轨迹预测数据集JRDB-Traj及新型评估指标，解决现实场景中轨迹预测模型因组件孤立导致的适配问题，推动导航动力学研究与模型基准测试。
2023-11-05 cs.CV cs.RO
ForeSight: Multi-View Streaming Joint Object Detection and Trajectory Forecasting
University of Toronto（多伦多大学）
ForeSight提出了一种多视角流式联合检测与轨迹预测框架，通过多任务流式和双向学习实现检测与预测的查询内存共享与信息无缝传播，在nuScenes数据集上取得54.9%的EPA，超越现有方法9.3%。
2025-08-09 cs.CV cs.RO
Collaborative Uncertainty in Multi-Agent Trajectory Forecasting
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；Beijing Institute of Technology（北京理工大学）
不确定性建模在弹道预测系统中对于解释和安全原因都是至关重要的。为了更好地预测多个代理的未来轨迹，最近的作品引入了交互模块来捕捉代理之间的交互。这种方法导致预测轨迹之间的相关性。然而，这种相关性带来的不确定性被忽略了。为了填补这一空白，我们提出了一个新的概念，协作的不确定性（CU），模型的不确定性所产生的互动模块。我们建立了一个通用的CU为基础的框架，使预测模型学习未来的轨迹和相应的不确定性。基于CU的框架作为一个插件模块集成到当前最先进的（SOTA）系统，并部署在两个特殊的情况下，基于多元高斯分布和拉普拉斯分布。在每种情况下，我们都对两个合成数据集和两个公共的大规模轨迹预测基准进行了广泛的实验。结果令人鼓舞：1）合成数据集的结果表明，基于CU的框架允许模型适当地近似地面实况分布。2)轨迹预测基准测试的结果表明，基于CU的框架稳定地帮助SOTA系统提高其性能。特别是，所提出的基于CU的框架帮助VectorNet在nuScenes数据集上的最终位移误差方面改进了57 cm。3)CU的可视化结果表明，CU的价值是高度相关的智能体之间的交互信息的量。
2021-10-26 cs.CV cs.LG
