Encore: Conditioning Trajectory Forecasting via Biased Ego Rehearsals
Huazhong University of Science and Technology（华中科技大学）
本文提出 Encore 模型，通过有偏自我演练条件化轨迹预测，提升预测性能并增强对主体性的可解释性。
2026-05-12 cs.CV
Uncertainty-Aware Trajectory Forecasting from Imperfect Tracking
SATIE – CNRS UMR 8029, Université Paris-Saclay（巴黎萨克雷大学SATIE实验室（法国国家科学研究中心联合研究单位））；ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷高等师范学校，巴黎萨克雷大学）
针对实际跟踪轨迹的不完美问题，本文提出不确定性感知轨迹预测方法，结合检测与关联不确定性建模，通过扰动与知识蒸馏训练，提升了预测精度与概率预测的可靠性-清晰度权衡。
2026-09-01 cs.CV
Multi-agent Long-term 3D Human Pose Forecasting via Interaction-aware Trajectory Conditioning
KAIST（韩国科学技术院）
本文提出 Trajectory2Pose，通过由粗到细的多模态轨迹条件化与图式智能体交互实现长期多智能体3D姿态预测，并构建6秒以上、5人以上的新数据集验证其先进性能。
2024-04-08 cs.AI cs.CV
Multi-modal Knowledge Distillation-based Human Trajectory Forecasting
KAIST（韩国科学技术院）；DGIST（大邱庆北科学技术院）
针对资源受限系统中文本模态获取困难的问题，提出多模态知识蒸馏框架，将教师模型的多模态知识蒸馏至仅用轨迹或姿态的学生模型，在多个数据集上提升预测精度最高约13%。
2025-03-28 cs.CV
Social-STAGE: Spatio-Temporal Multi-Modal Future Trajectory Forecast
Honda Research Institute USA（美国本田研究所）
研究了带排序的多模态未来轨迹预测问题。这里，多模态和排名分别指的是多个合理路径预测和这些预测中的置信度。我们提出了Social-STAGE，社会交互感知的时空多注意力图卷积网络，具有新的多模态评估。我们的主要贡献包括使用交互和多注意力对多模态进行分析和制定，并引入新的指标来评估多模态预测的多样性和相关置信度。我们在现有的公共数据集ETH和UCY上评估了我们的方法，并表明所提出的算法在这些数据集上的性能优于现有技术。
2021-03-24 cs.AI cs.CV
Event-Only Drone Trajectory Forecasting with RPM-Modulated Kalman Filtering
Aalto University（阿alto大学）
本文提出一种基于事件数据和RPM调制卡尔曼滤波的无人机轨迹预测方法，实现了无需RGB图像或训练数据的高精度短中时间范围预测。
2026-03-02 cs.CV cs.RO eess.IV
JRDB-Traj: A Dataset and Benchmark for Trajectory Forecasting in Crowds
EPFL（洛桑联邦理工学院）；Monash University（莫纳什大学）
本研究提出基于JRDB扩展的端到端轨迹预测数据集JRDB-Traj及新型评估指标，解决现实场景中轨迹预测模型因组件孤立导致的适配问题，推动导航动力学研究与模型基准测试。
2023-11-05 cs.CV cs.RO
From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting
UC Berkeley（加州大学伯克利分校）；Technical University of Munich（慕尼黑工业大学）
人体轨迹预测是一个固有的多模态问题。未来轨迹的不确定性源于两个来源：（a）智能体已知但模型未知的来源，例如长期目标;（b）智能体和模型都未知的来源，例如其他智能体的意图和不可约随机性犹豫不决。我们建议将这种不确定性分解为认识性和任意性的来源。我们通过长期目标中的多模态来模拟认知的不确定性，通过路点和路径中的多模态来模拟任意的不确定性。为了消除这种二分法，我们还提出了一种新的长期轨迹预测设置，预测范围长达一分钟，比以前的作品长一个数量级。最后，我们介绍Y-net，一个场景兼容的轨迹预测网络，利用所提出的认知和任意结构在长期预测范围内进行多种轨迹预测。Y-net显着提高了先前最先进的性能（a）斯坦福无人机和ETH/UCY数据集上经过充分研究的短期预测范围设置和（b）重新提出的长期预测范围设置。斯坦福无人机和交叉无人机数据集。
2020-12-02 cs.AI cs.CV cs.RO
Multiple Object Forecasting: Predicting Future Object Locations in Diverse Environments
University of Warwick（华威大学）
本文介绍了多目标预测（MOF）的问题，其中的目标是预测未来的边界框跟踪对象。与现有的主要从鸟瞰角度考虑问题的对象轨迹预测的工作相比，我们从对象级别的角度制定问题，并要求预测完整的对象边界框，而不是单独的轨迹。为了解决这个问题，我们引入了Citywalks数据集，它由超过20万个高分辨率视频帧组成。CityWalks由来自10个欧洲国家的21个城市在各种天气条件下记录的镜头和超过3.5k的独特行人轨迹组成。为了进行评估，我们调整了现有的MOF轨迹预测方法，并在MOT-17数据集上确认了跨数据集的可推广性，而无需进行微调。最后，我们提出了STED，一种新的编解码器架构的MOF。STED结合了视觉和时间特征来建模对象运动和自我运动，并且优于现有的MOF方法。代码和数据集链接：https://github.com/olly-styles/Multiple-Object-Forecasting
2020-01-07 cs.CV
EigenTrajectory: Low-Rank Descriptors for Multi-Modal Trajectory Forecasting
GIST AI Graduate School（光州科学技术院人工智能研究生院）；Carnegie Mellon University（卡内基梅隆大学）
针对现有参数曲线拟合方法不适用于行人轨迹预测的问题，提出基于低秩描述符的EigenTrajectory方法，构建ET空间表征行人运动并结合锚点细化，显著提升现有模型的预测精度与可靠性。
2023-07-18 cs.CV cs.LG cs.RO
How many Observations are Enough? Knowledge Distillation for Trajectory Forecasting
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）；University of Padova（帕多瓦大学）
准确预测未来人体位置是现代视频监控系统的一项重要任务。当前最先进的模型通常依赖于过去跟踪位置的“历史”（例如，3到5秒）来预测未来位置的合理序列（例如，直到下一个5秒）。我们认为这种常见的模式忽略了现实应用的关键特征：由于输入轨迹的集合涉及机器感知（即，检测和跟踪），不正确的检测和分段错误可能在拥挤的场景中积累，导致跟踪漂移。由于这个原因，该模型将被馈送有损坏和噪声的输入数据，从而致命地影响其预测性能。在这方面，我们专注于在只使用很少的输入观察时提供准确的预测，从而潜在地降低与自动感知相关的风险。为此，我们设想了一种新的蒸馏策略，允许从教师网络到学生网络的知识转移，后者用较少的观察（只有两个）。我们表明，一个适当定义的教师监督允许学生网络执行的最先进的方法，需要更多的观察。此外，对常见轨迹预测数据集的广泛实验表明，我们的学生网络更好地概括了看不见的场景。
2022-03-09 cs.AI cs.CV
PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map
University of California, Berkeley（加州大学伯克利分校）；University of California San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
深度学习最近在轨迹预测方面取得了重大进展。然而，轨迹数据的稀缺阻碍了数据饥渴的深度学习模型学习良好的表示。虽然在计算机视觉和自然语言处理中存在成熟的表示学习方法，但这些预训练方法需要大规模数据。由于缺乏足够的轨迹数据（例如，nuScenes数据集中的34 K样本）。为了解决轨迹数据稀缺的问题，我们求助于另一种与地图密切相关的数据形式-HD地图，这在现有数据集中有大量的提供。在本文中，我们提出了PreTraM，这是一种通过连接轨迹和地图进行轨迹预测的自监督预训练方案。具体来说，PreTraM由两部分组成：1）轨迹地图对比学习，我们将轨迹和地图投影到跨模态对比学习的共享嵌入空间，以及2）地图对比学习，我们在大量HD地图上通过对比学习增强地图表示。除了AgentFormer和Trajectron++等流行的基线之外，PreTraM在FDE-10中对具有挑战性的nuScenes数据集的性能相对提高了5.5%和6.9%。我们表明，PreTraM提高了数据效率，并与模型大小的规模。
2022-04-21 cs.AI cs.CV
TITAN: Future Forecast using Action Priors
Honda Research Institute USA（本田研究院美国）
我们考虑的问题，预测未来的轨迹场景代理从自我中心的意见，从移动平台。这个问题在许多领域都很重要，特别是对于在导航中做出反应性或战略性决策的自主系统。为了解决这个问题，我们引入了TITAN（使用目标动作先验网络的轨迹推理），这是一种新的模型，它结合了先前的位置，动作和上下文来预测代理的未来轨迹和未来的自我运动。在没有合适的数据集用于此任务的情况下，我们创建了TITAN数据集，该数据集由700个标记的视频剪辑（具有里程计）组成，这些视频剪辑是从东京高度交互式城市交通场景中的移动车辆上捕获的。我们的数据集包括50个标签，包括车辆状态和动作，行人年龄组和有针对性的行人动作属性，这些属性按层次组织，对应于原子，简单/复杂上下文，运输和交流动作。为了评估我们的模型，我们在TITAN数据集上进行了大量的实验，结果显示，与基线和最先进的算法相比，性能有了显著的提高。我们还报告了我们的代理重要性机制（AIM），一个模块，通过计算每个代理对未来自我轨迹的相对影响，提供了深入了解感知风险的评估有希望的结果。该数据集可在https://usa.honda-ri.com/titan上获得
2020-08-06 cs.CV cs.LG cs.RO
Distilling Knowledge for Short-to-Long Term Trajectory Prediction
University of Padova（帕多瓦大学）；Disney Research（迪士尼研究院）；Northwestern Polytechnical University（西北工业大学）
本文提出Di-Long方法，通过蒸馏短期轨迹预测教师模型的知识来指导长期轨迹预测学生网络，降低长期未来不确定性，并在inD和SDD数据集上取得领先性能。
2024-09-03 cs.AI cs.CV cs.LG
MoCAR: Motion-code Coordinate-aware AutoRegression for Continuous Trajectory Forecasting
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Twente（特文特大学）
MoCAR提出坐标感知连续潜在空间中的运动码自回归，将轨迹预测转化为下一码预测，实现无需重标记的单阶段架构，在Argoverse基准上达到顶级性能并强迁移。
2026-10-06 cs.CV
Transformer Networks for Trajectory Forecasting
University of Verona（维罗纳大学）；Inception Institute of Artificial Intelligence（创世纪人工智能研究所）；Sapienza University of Rome（罗马大学）
最近在预测人的运动方面取得的最大成功是基于LSTM模型，所有最近的进展都是通过对人与人之间的社交互动以及人与场景的互动进行建模来实现的。我们质疑LSTM模型的使用，并提出了Transformer Networks用于轨迹预测的新用途。这是从LSTM的顺序逐步处理到Transformers的仅基于注意力的记忆机制的根本转变。特别是，我们考虑了原始的Transformer网络（TF）和更大的双向Transformer（BERT），所有自然语言处理任务的最新技术。我们提出的Transformers预测场景中单个人的轨迹。这些是“简单”模型，因为每个人都是单独建模的，没有任何复杂的人-人或场景交互项。特别是，没有花里胡哨的TF模型在TrajNet的最大和最具挑战性的轨迹预测基准上获得了最好的分数。此外，它的扩展预测了多个合理的未来轨迹，在ETH + UCY的5个数据集上与更工程化的技术表现相当。最后，我们表明，Transformers可能会处理丢失的意见，因为它可能是真实的传感器数据的情况。代码可在https://github.com/FGiuliari/Trajectory-Transformer上获得。
2020-10-21 cs.CV
Social-Mamba: Socially-Aware Trajectory Forecasting with State-Space Models
EPFL, Switzerland（瑞士联邦理工学院）
本文提出Social-Mamba，通过将社会互动视为结构化序列过程，结合循环Mamba模块和社交三元组分解，实现高效准确的轨迹预测，实验表明其在多个基准上表现优异。
2026-05-14 cs.CV
MX-LSTM: mixing tracklets and vislets to jointly forecast trajectories and head poses
University of Verona (UNIVR)（维罗纳大学）；OSRAM GmbH（欧司朗股份有限公司）；Istituto Italiano di Tecnologia (IIT)（意大利理工学院）
最近的轨迹预测方法使用tracklet来预测行人的未来位置，利用长短期记忆（LSTM）架构。本文表明，添加vislets，即头部姿态估计的短序列，允许显着增加的轨迹预测性能。然后，我们建议在一个名为MX-LSTM的新框架中使用vislet，通过LSTM反向传播期间对全协方差矩阵的联合无约束优化来捕获tracklet和vislet之间的相互作用。与此同时，MX-LSTM预测未来的头部姿势，提高了长期轨迹预测方法的标准能力。通过标准的头部姿势估计器和基于注意力的社交池，MX-LSTM在所有考虑的数据集（Zara 01，Zara 02，UCY和TownCentre）中对新的轨迹预测进行了最先进的评分，当行人减速时，这种情况下大多数预测方法都难以提供准确的解决方案。
2018-05-02 cs.CV
SMEMO: Social Memory for Trajectory Forecasting
University of Florence（佛罗伦萨大学）；Media Integration and Communication Center (MICC)（媒体集成与传播中心（MICC））
本文提出SMEMO，一种基于端到端可训练工作记忆的神经网络，通过持续写入、更新和调用智能体信息来建模随时间演变的社会交互，在多个轨迹预测数据集上取得SOTA结果并学习可解释的因果关系。
2024-02-18 cs.CV
Safety-compliant Generative Adversarial Networks for Human Trajectory Forecasting
人群中的人类轨迹预测提出了对社会互动建模和输出无碰撞多模态分布的挑战。继社会生成对抗网络（SGAN）的成功之后，最近的工作提出了各种基于GAN的设计，以更好地模拟人群中的人体运动。尽管在减少基于距离的指标方面表现出色，但当前的网络无法输出社会可接受的轨迹，正如模型预测中的高碰撞所证明的那样。为了解决这个问题，我们介绍SGANv2：一个改进的安全兼容SGAN架构配备了时空交互建模和基于transformer的slogan。时空建模能力有助于更好地学习人类社会互动，而基于transformer的设计改进了时间序列建模。此外，SGANv2甚至在测试时通过协作采样策略利用学习到的数据，不仅可以细化碰撞轨迹，还可以防止模式崩溃，这是GAN训练中的常见现象。通过在多个真实世界和合成数据集上进行广泛的实验，我们证明了SGANv2提供社会兼容的多模式轨迹的有效性。
2022-11-01 cs.CV
Trajectory-Aware Body Interaction Transformer for Multi-Person Pose Forecasting
Hangzhou Dianzi University（杭州电子科技大学）
多人姿态预测仍然是一个具有挑战性的问题，特别是在复杂人群场景中建模细粒度的人体交互。现有的方法通常将整个姿势序列表示为时间序列，但忽略了基于骨骼身体部位的人之间的交互影响。在本文中，我们提出了一种新的轨迹感知的身体交互Transformer（TBIFormer）的多人姿态预测，通过有效地建模身体部位的相互作用。具体来说，我们构建了一个时间身体分割模块，将所有的姿势序列转换成一个多人的身体部分序列，以保留基于身体语义的空间和时间信息。然后，我们设计了一个社会身体互动自我注意力（SBI-MSA）模块，利用转换后的序列来学习身体部位动态的个体间和个体内的相互作用。此外，不同于以前的欧氏距离为基础的空间编码，我们提出了一种新的和有效的轨迹感知相对位置编码的SBI-MSA提供歧视性的空间信息和额外的互动线索。在短期和长期两个方面，我们在CMU-Mocap，MuPoTS-3D以及合成数据集（6 ~ 10人）上对我们的框架进行了实证评估，并证明我们的方法大大优于最先进的方法。代码将在接受后公开提供。
2023-03-13 cs.CV
TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；University of Adelaide（阿德莱德大学）；Stanford University（斯坦福大学）；Monash University（莫纳什大学）
人类轨迹和姿态动态的联合预测是从机器人和自动驾驶到监控系统的各种应用的基本构建块。预测身体动态需要捕捉嵌入在人类相互之间以及与场景中存在的对象的交互中的微妙信息。在本文中，我们提出了一种新的TRajectory和POSE动力学（昵称TRiPOD）方法的基础上，图注意力网络模型的人与人和人与物体的相互作用都在输入空间和输出空间（解码的未来输出）。该模型由图上的消息传递接口补充，以有效地融合这些不同级别的交互。此外，为了结合现实世界的挑战，我们提出学习表示估计的身体关节在每个帧处是否可见/不可见的指示符，例如，由于遮挡或在传感器视场之外。最后，我们基于两个具有挑战性的数据集（PoseTrack和3DPW）为这项联合任务引入了一个新的基准，并提出了评估指标来衡量全球空间中预测的有效性，即使有不可见的关节情况。我们的评估表明，TRiPOD优于所有先前的工作和国家的最先进的专门设计的轨迹和姿态预测任务。
2021-08-27 cs.CV
Forecasting Human Trajectory from Scene History
ShanghaiTech University（上海科技大学）；United Imaging Intelligence（联影智能）
由于人类运动的随机性和主观性，预测一个人的未来轨迹仍然是一个具有挑战性的问题。然而，由于场景的限制以及人与人或人与物的交互性，人在受限场景中的运动模式在一定程度上通常遵循有限数量的规则。因此，在这种情况下，一个人也应该遵循其中一个。换句话说，一个人后来的轨迹很可能已经被其他人走过。基于这一假设，我们提出通过从内隐场景学习来预测一个人的未来轨迹。我们称之为场景历史，它内在地源自于过去人与环境的动态场景，即场景历史。我们将场景历史信息分为两类：历史群体轨迹和个体与环境的交互。为了利用这两种类型的信息进行轨迹预测，我们提出了一个新的框架场景历史挖掘网络（SHENet），其中场景历史是利用在一个简单而有效的方法。特别是，我们设计了两个组件：组轨迹银行模块，以提取代表性的组轨迹作为未来路径的候选人，和跨模态交互模块，以模拟个人过去的轨迹和它的周围环境的轨迹细化之间的相互作用。此外，为了减轻由上述人类运动的随机性和主观性引起的地面实况轨迹的不确定性，我们建议将平滑度纳入训练过程和评估指标。我们进行了广泛的评估，以验证我们提出的框架对ETH，UCY以及新的具有挑战性的基准数据集PAV的有效性，与最先进的方法相比，表现出卓越的性能。
2022-10-17 cs.CV
Social-DualCVAE: Multimodal Trajectory Forecasting Based on Social Interactions Pattern Aware and Dual Conditional Variational Auto-Encoder
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）
行人轨迹预测是自动驾驶、自主机器人和监控系统等多个实用领域的基本任务。未来的轨迹预测是多模态的，受到与场景上下文的物理交互和行人之间复杂的社会交互的影响。现有的文献主要通过深度学习网络来学习社会交互的表示，而没有利用显式交互模式。不同的交互模式，如跟随或碰撞避免，将产生不同的趋势，下一个运动，因此，社会交互模式的意识是重要的轨迹预测。此外，社会互动模式是隐私关注或缺乏标签。为了共同解决上述问题，我们提出了一种用于多模态轨迹预测的社会对偶条件变分自动编码器（Social-DualCVAE），该编码器基于生成模型，不仅以过去的轨迹为条件，还以交互模式的无监督分类为条件。在生成未标记的社会交互模式的类别分布后，DualCVAE，以过去的轨迹和社会交互模式为条件，通过潜变量估计提出了多模态轨迹预测。在训练过程中，作为最小化目标的变分界。该模型被广泛使用的轨迹基准进行评估，并优于现有的最先进的方法。
2022-02-08 cs.AI cs.CV
Human Trajectory Prediction via Counterfactual Analysis
Tsinghua University（清华大学）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
预测复杂动态环境中的人体轨迹在自主车辆和智能机器人中起着关键作用。大多数现有的方法学习预测未来轨迹的行为线索从历史轨迹和环境的相互作用线索。然而，训练和部署环境之间的固有偏差被忽略了。因此，我们提出了一种反事实分析方法来预测人类轨迹，以研究预测轨迹与输入线索之间的因果关系，减轻环境偏差带来的负面影响。我们首先建立了一个因果图的轨迹预测与历史轨迹，未来轨迹，和环境的相互作用。然后，通过对轨迹本身的反事实干预，切断了从环境到轨迹的推理。最后，我们比较了事实和反事实的轨迹线索，以减轻环境偏见的影响，突出轨迹线索。我们的反事实分析是一个即插即用模块，可以应用于任何基线预测方法，包括基于RNN和CNN的方法。我们表明，我们的方法实现了一致的改善不同的基线，并获得了国家的最先进的公共行人轨迹预测基准的结果。
2021-07-29 cs.CV
Socially-Informed Reconstruction for Pedestrian Trajectory Forecasting
Queen’s University（女王大学）；Ingenuity Labs Research Institute（创新实验室研究院）
针对自主系统中行人轨迹预测受复杂社交交互影响的挑战，提出结合重构器与条件变分自动编码器模块、引入社交损失函数的模型，在ETH/UCY和SDD基准上性能优于先进方法。
2024-12-05 cs.AI cs.CV
Trajectory Forecasts in Unknown Environments Conditioned on Grid-Based Plans
University of California at San Diego（加州大学圣迭戈分校）
我们解决的问题，预测行人和车辆的轨迹在未知的环境中，他们过去的运动和场景结构的条件。由于场景结构的变化和未来轨迹的多模态分布，轨迹预测是一个具有挑战性的问题。与以前的方法，直接学习一对多的映射，从观察到的背景下，多个未来的轨迹，我们提出了条件轨迹预测的计划，从一个基于网格的政策学习使用最大熵逆强化学习（MaxEnt IRL）。我们重新制定MaxEnt IRL，让政策共同推断合理的代理目标，并在场景中定义的粗2-D网格上的这些目标的路径。我们提出了一个基于注意力的轨迹生成器，生成连续值的未来轨迹的条件下，从MaxEnt政策采样的状态序列。对公开的斯坦福无人机和NuScenes数据集的定量和定性评估表明，我们的模型生成的轨迹是多样的，代表多模态预测分布，并且精确，符合长期预测范围内的底层场景结构。
2021-04-29 cs.CV cs.RO
Quo Vadis: Is Trajectory Forecasting the Key Towards Long-Term Multi-Object Tracking?
Technical University of Munich（慕尼黑工业大学）
单目多目标跟踪的最新发展在跟踪可见对象和桥接短遮挡间隙方面非常成功，主要依赖于数据驱动的外观模型。虽然我们已经显著提高了短期跟踪性能，但桥接较长的遮挡间隙仍然难以实现：最先进的对象跟踪器只能桥接不到10%的超过三秒的遮挡。我们认为，缺少的关键是在较长的时间范围内推理未来的轨迹。直觉上，遮挡间隙越长，可能关联的搜索空间就越大。在本文中，我们表明，即使是一个小而多样的移动代理的轨迹预测集将显着减少这个搜索空间，从而提高长期跟踪的鲁棒性。我们的实验表明，我们的方法的关键组成部分是在鸟瞰图空间中进行推理，并在考虑其定位不确定性的同时生成一组小而多样的预测。通过这种方式，我们可以在MOTChallenge数据集上推进最先进的跟踪器，并显着提高其长期跟踪性能。本文的源代码和实验数据可在https://github.com/dendorferpatrick/QuoVadis上获得。
2022-10-25 cs.CV
Diverse and Admissible Trajectory Forecasting through Multimodal Context Understanding
Hanyang University（汉阳大学）；Yonsei University（延世大学）；Carnegie Mellon University（卡内基梅隆大学）；Korea University（高丽大学）；Sogang University（西江大学）；Bosch Research Pittsburgh（博世匹兹堡研究中心）
自动驾驶中的多智能体轨迹预测需要智能体准确预测周围车辆和行人的行为，以做出安全可靠的决策。由于这些动态场景的部分可观测性，直接获得未来智能体轨迹的后验分布仍然是一个具有挑战性的问题。在现实的具体环境中，每个代理的未来轨迹应该是多样的，因为多个合理的行动序列可以用来达到其预期的目标，和可接受的，因为他们必须遵守物理约束，并留在可驾驶的区域。在本文中，我们提出了一个模型，综合多个输入信号从多模态世界|环境的场景上下文和多个周围代理之间的交互|以最好地模拟所有不同的和可接受的轨迹。我们将我们的模型与两个公共数据集的强基线和消融进行比较，并显示出比以前最先进的方法显着的性能改进。最后，我们提供了新的度量标准，包括可接受性标准，以进一步研究和评估预测的多样性。代码位于：https://github.com/kami93/CMU-DATF。
2020-08-31 cs.CV
ForeSight: Multi-View Streaming Joint Object Detection and Trajectory Forecasting
University of Toronto（多伦多大学）
ForeSight提出了一种多视角流式联合检测与轨迹预测框架，通过多任务流式和双向学习实现检测与预测的查询内存共享与信息无缝传播，在nuScenes数据集上取得54.9%的EPA，超越现有方法9.3%。
2025-08-09 cs.CV cs.RO
Trajectory Mamba: Efficient Attention-Mamba Forecasting Model Based on Selective SSM
Brunel University of London（伦敦布鲁内尔大学）；University of Birmingham（伯明翰大学）
针对自动驾驶轨迹预测中注意力机制计算成本高的问题，本文提出基于选择性SSM的Trajectory Mamba，通过联合折线编码和跨状态空间注意力实现高效高精度预测。
2025-03-13 cs.CV
Reverberation: Learning the Latencies Before Forecasting Trajectories
Huazhong University of Science and Technology（华中科技大学）
Rev模型通过回声变换学习延迟偏好，实现可控的轨迹预测，提升预测准确性和可解释性。
2026-10-20 cs.CV
Res-GCNN: A Lightweight Residual Graph Convolutional Neural Networks for Human Trajectory Forecasting
自动驾驶汽车（ADV）对解决交通拥堵问题和减少交通事故数量寄予厚望。精确的轨迹预测ADV周围的其他交通代理是至关重要的，以实现安全和高效的驾驶。特别是行人，由于其复杂的社会互动和随机移动模式，预测更具挑战性。本文提出了一种残差图卷积神经网络（Res-GCNN），它利用当前场景中所构造的图的邻接矩阵来模拟pedes-trians的交互行为。虽然所提出的Res-GCNN是非常轻量级的，只有大约6.4千个参数，在参数大小方面优于所有其他方法，但我们的实验结果显示，最终位移误差（FDE）比现有技术提高了13.3%，达到0.65米。至于平均位移误差（ADE），我们达到了次优的结果（值为0.37米），这也是非常有竞争力的。Res-GCNN在NVIDIA GeForce RTX1080Ti GPU平台上进行了评估，整个数据集的平均推理时间仅为2.2微秒。与其他方法相比，所提出的方法显示出强大的潜力，船上的应用占预测精度和时间效率。该代码将在GitHub上公开。
2020-11-18 cs.CV
AGMA: Adaptive Gaussian Mixture Anchors for Prior-Guided Multimodal Human Trajectory Forecasting
本文提出AGMA，通过两阶段方法构建表达性先验，提升多模态人类轨迹预测的准确性和多样性，实验表明其在ETH-UCY等数据集上达到SOTA性能。
2026-04-14 cs.CV cs.LG
Heterogeneous Trajectory Forecasting via Risk and Scene Graph Learning
Chang’an University（长安大学）；National University of Singapore（新加坡国立大学）；KargoBot；Xi’an Jiaotong University（西安交通大学）；Cleveland State University（克利夫兰州立大学）
提出风险与场景图学习方法，通过异构风险图和分层场景图建模道路智能体交互与环境约束，在多个数据集上取得优于SOTA的轨迹预测性能。
2023-06-26 cs.AI cs.CV
Scene Compliant Trajectory Forecast with Agent-Centric Spatio-Temporal Grids
University of California, San Diego（加州大学圣迭戈分校）；University of Sao Paulo（圣保罗大学）
由于人体运动轨迹的非线性、多模态和固有的不确定性，预测人体长期运动是一项具有挑战性的任务。智能体的潜在场景和过去的运动可以提供有用的线索来预测他们未来的运动。然而，两个输入的异质性对学习场景和过去轨迹的联合表示提出了挑战。为了应对这一挑战，我们提出了一个基于网格表示的模型来预测代理轨迹。我们代表过去的轨迹代理使用二进制2-D网格，和底层的场景作为一个RGB鸟瞰图（BEV）的图像，与代理为中心的参考系。我们使用卷积层对场景和过去的轨迹进行编码，并使用卷积LSTM（ConvLSTM）解码器生成轨迹预测。在公开的斯坦福无人机数据集（SDD）上的结果表明，我们的模型优于以前的方法，并输出符合场景结构和过去运动的真实未来轨迹。
2019-09-16 cs.CV cs.RO
Robust Trajectory Forecasting for Multiple Intelligent Agents in Dynamic Scene
Meituan-Dianping Group（美团点评集团）；Wenzhou University（温州大学）
动态场景中多个交互智能体的轨迹预测是机器人系统和自动驾驶等应用中的一个重要问题。由于智能体之间的复杂交互以及它们与周围场景的交互，该问题是一个巨大的挑战。在本文中，我们提出了一种新的方法，在动态场景中的多智能体的鲁棒轨迹预测。所提出的方法由三个主要的相互关联的部分组成：用于全局时空交互式特征提取的交互网络、用于解码动态场景的环境网络（即，智能体的周围道路拓扑），以及结合时空特征、场景特征、智能体的过去轨迹和一些随机噪声的预测网络，用于智能体的鲁棒轨迹预测。在行人-步行和车辆-行人异构数据集上的实验表明，该方法在预测精度方面优于现有的预测方法。
2020-05-27 cs.CV cs.LG cs.RO
Heterogeneous-Agent Trajectory Forecasting Incorporating Class Uncertainty
Toyota Research Institute（丰田研究院）；NVIDIA Research（英伟达研究院）；Stanford University（斯坦福大学）
推理其他代理的未来行为对机器人安全导航至关重要。可信的未来的多样性进一步放大了固有的不确定性代理状态估计从数据，包括位置，速度和语义类。然而，预测方法通常忽略类别的不确定性，仅以代理最可能的类别为条件，即使感知模型通常返回完整的类别分布。为了利用这些信息，我们提出了HAICU，异构代理轨迹预测的方法，明确纳入代理的类概率。我们还介绍了PUP，一个新的具有挑战性的现实世界自动驾驶数据集，以研究预测中感知不确定性的影响。它包含具有挑战性的拥挤场景，具有未过滤的代理类概率，反映了当前最先进的感知系统的长尾。我们证明，将类概率的轨迹预测显着提高性能，面对不确定性，并实现新的预测能力，如反事实预测。
2022-03-03 cs.CV cs.LG cs.RO
End-to-End 3D Multi-Object Tracking and Trajectory Forecasting
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
三维多目标跟踪和轨迹预测是现代三维感知系统的两个关键组成部分。我们假设，这是有益的统一在一个框架下的任务，学习代理交互的共享功能表示。为了评估这一假设，我们提出了一个统一的解决方案，三维MOT和轨迹预测，其中还包括两个额外的新的计算单元。首先，我们通过引入图神经网络（GNNs）来捕获多个代理相互交互的方式，从而采用特征交互技术。GNN能够对复杂的分层交互进行建模，改进MOT关联的判别特征学习，并为轨迹预测提供社会感知的上下文。其次，我们使用多样性采样函数来提高预测轨迹的质量和多样性。学习的采样函数经过训练，可以有效地从生成轨迹分布中提取各种结果，并有助于避免生成许多重复轨迹样本的问题。我们表明，我们的方法在KITTI数据集上实现了最先进的性能。我们的项目网站是http://www.xinshuoweng.com/projects/GNNTrkForecast。
2020-08-25 cs.CV cs.LG cs.MA
Collaborative Uncertainty in Multi-Agent Trajectory Forecasting
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；Beijing Institute of Technology（北京理工大学）
不确定性建模在弹道预测系统中对于解释和安全原因都是至关重要的。为了更好地预测多个代理的未来轨迹，最近的作品引入了交互模块来捕捉代理之间的交互。这种方法导致预测轨迹之间的相关性。然而，这种相关性带来的不确定性被忽略了。为了填补这一空白，我们提出了一个新的概念，协作的不确定性（CU），模型的不确定性所产生的互动模块。我们建立了一个通用的CU为基础的框架，使预测模型学习未来的轨迹和相应的不确定性。基于CU的框架作为一个插件模块集成到当前最先进的（SOTA）系统，并部署在两个特殊的情况下，基于多元高斯分布和拉普拉斯分布。在每种情况下，我们都对两个合成数据集和两个公共的大规模轨迹预测基准进行了广泛的实验。结果令人鼓舞：1）合成数据集的结果表明，基于CU的框架允许模型适当地近似地面实况分布。2)轨迹预测基准测试的结果表明，基于CU的框架稳定地帮助SOTA系统提高其性能。特别是，所提出的基于CU的框架帮助VectorNet在nuScenes数据集上的最终位移误差方面改进了57 cm。3)CU的可视化结果表明，CU的价值是高度相关的智能体之间的交互信息的量。
2021-10-26 cs.CV cs.LG
TIGFlow-GRPO: Trajectory Forecasting via Interaction-Aware Flow Matching and Reward-Guided Optimization
Tianjin University（天津大学）
本文提出TIGFlow-GRPO，通过交互感知的流匹配和奖励引导优化，提升复杂环境下的轨迹预测准确性与稳定性，生成更符合社会规范和物理可行的轨迹。
2026-04-06 cs.AI cs.CV
Cyclist Trajectory Forecasts by Incorporation of Multi-View Video Information
University of Applied Sciences Aschaffenburg（阿沙芬堡应用科学大学）；University of Kassel（卡塞尔大学）
本文提出了一种新的方法，将视觉线索从视频数据从安装在城市交叉口的广角立体摄像机系统到预测骑自行车的轨迹。我们使用3D卷积神经网络（3D-ConvNet）从图像和光流（OF）序列中提取特征，并将其与从骑自行车者过去的轨迹中提取的特征相结合，以预测未来骑自行车者的位置。通过使用额外的信息，与仅基于过去轨迹的方法相比，我们能够将测试数据集的位置精度提高约7.5%，并将特定运动类型的位置精度提高高达22%。此外，我们比较使用的图像序列的使用的OF序列作为额外的信息，显示单独的OF导致显着改善位置精度。通过训练和测试我们的方法使用一个真实世界的数据集记录在一个频繁的公共交叉路口和评估方法的运行时，我们证明了在真实的交通场景中的适用性。我们的代码和部分数据集是公开的。
2021-06-30 cs.CV cs.LG
Towards Surgical World-Action Modeling: A Preliminary Joint Visual-Trajectory Forecasting for Surgical Motion Planning
University of Macau（澳门大学）；University of Macau Advanced Research Institute in Hengqin（澳门大学横琴研究院）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）；Shanghai Jiao Tong University（上海交通大学）；Tongren Hospital（同仁医院）；Duke University（杜克大学）
本文提出初步联合视觉-轨迹世界动作模型，从历史手术观测中同时预测未来视觉状态与器械轨迹，采用分块自回归展开法，提升了预测性能，证明了联合预测的可行性，但仍存在长范围预测的退化与误差挑战。
2026-08-21 cs.CV cs.RO
DD-MDN: Human Trajectory Forecasting with Diffusion-Based Dual Mixture Density Networks and Uncertainty Self-Calibration
Faculty of Engineering, University of Applied Sciences Aschaffenburg（亚琛应用科学大学工程学院）；Intelligent Embedded Systems Lab, University of Kassel（卡塞尔大学智能嵌入式系统实验室）
DD-MDN通过结合扩散模型和双混合密度网络，实现高精度的人体轨迹预测，具备自校准的不确定性建模和对短观察期的鲁棒性。
2026-02-11 cs.CV cs.RO
Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks
Stanford University（斯坦福大学）；Aibee Inc（Aibee公司）；University of Adelaide（阿德莱德大学）
预测场景中多个交互代理的未来轨迹已经成为许多不同应用的一个越来越重要的问题，从自动驾驶汽车和社交机器人的控制到安全和监控。这个问题由于人类之间的社会互动以及他们与场景的物理互动而变得更加复杂。虽然现有的文献已经探索了其中的一些线索，但它们主要忽略了每个人未来轨迹的多模态性质。在本文中，我们提出了Social-BiGAT，这是一个基于图的生成对抗网络，它通过更好地模拟场景中行人的社交互动来生成逼真的多模式轨迹预测。我们的方法是基于一个图形注意力网络（GAT），学习可靠的特征表示，编码场景中的人类之间的社会互动，和一个经常性的编码器-解码器架构，训练对抗预测，根据功能，人类的路径。我们通过在每个场景及其潜在噪声向量之间形成可逆变换来明确解释预测问题的多模态性质，如Bicycle-GAN中所述。我们表明，我们的框架实现了最先进的性能比较它的几个基线对现有的轨迹预测基准。
2019-07-17 cs.CV cs.LG
Trajectory Forecasting on Temporal Graphs
Middle East Technical University（中东技术大学）；KUIS AI Center（KUIS人工智能中心）；Koç University（科奇大学）
预测场景中智能体的未来位置是自动驾驶中的一个重要问题。近年来，在场景和场景中Agent的表示方面取得了很大的进展，Agent与场景的交互以及Agent之间的交互通常采用图神经网络来建模。然而，图结构大多是静态的，不能表示高度动态场景中的时间变化。在这项工作中，我们提出了一个时间图表示，以更好地捕捉交通场景中的动态。我们补充我们的表示与两种类型的内存模块;一个专注于代理的兴趣和其他的整个场景。这使我们能够学习具有时间意识的表征，即使对多个未来进行简单的回归也可以取得良好的结果。当与目标条件预测相结合时，我们显示出更好的结果，可以达到Argoverse基准测试的最先进性能。
2022-07-01 cs.CV cs.RO
FutureLift: Lifting Trajectory Proposals into Bidirectional Future Graphs for Motion Forecasting
FZI Research Center for Information Technology（FZI信息技术研究中心）
FutureLift是一种与主干无关的运动预测修正器，通过异构未来图实现双向修正，在Argoverse2、Waymo Open Motion Dataset上提升性能，在WOMD排行榜标准输入方法中minADE、minFDE居首。
2026-10-16 cs.CV cs.LG
Human Trajectory Forecasting with Explainable Behavioral Uncertainty
University of Leeds（利兹大学）；University of Maryland at College Park（马里兰大学帕克分校）
本文提出结合贝叶斯神经网络与行为随机微分方程的 BNSP-SFM 模型，在提升人类轨迹预测精度的同时提供可解释的行为不确定性量化，并展现出更强的跨场景泛化能力。
2023-07-04 cs.AI cs.CV
Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes
AImageLab；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Ammagamma S.r.l.（Ammagamma有限责任公司）
提出基于实例码本低秩更新的VQ-VAEs与扩散模型结合的框架，解决轨迹预测中保真度与多样性平衡问题，在三个基准上达到最先进性能。
2024-08-29 cs.AI cs.CV cs.LG
SITUATE: Indoor Human Trajectory Prediction through Geometric Features and Self-Supervised Vision Representation
University of Verona（维罗纳大学）；Visvesvaraya National Institute of Technology（维斯瓦瓦拉亚国家理工学院）
本文提出 SITUATE 方法，结合等变与不变几何特征和自监督视觉表示进行室内人类轨迹预测，在 THÖR 和 Supermarket 数据集上取得最优性能，并展现出优于室外导向模型的泛化能力。
2024-09-01 cs.CV cs.LG
DAG-Net: Double Attentive Graph Neural Network for Trajectory Forecasting
AImageLab（AImage实验室）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
理解人类运动行为对于自动驾驶汽车或社交机器人等几种可能的应用来说是一项关键任务，并且通常对于自主智能体必须在以人为中心的环境中导航的所有设置来说都是如此。这是不平凡的，因为人类运动本质上是多模态的：给定人类运动路径的历史，人们在未来可以通过许多合理的方式移动。此外，人员活动通常由目标驱动，例如到达特定位置或与环境交互。我们通过提出一个新的循环生成模型来解决上述问题，该模型既考虑了单个代理的未来目标，也考虑了不同代理之间的交互。该模型利用基于双重注意力的图神经网络来收集关于不同代理之间的相互影响的信息，并将其与关于代理可能的未来目标的数据相结合。我们的建议是一般性的，足以适用于不同的场景：该模型在城市环境中，也在体育应用中实现了最先进的结果。
2020-10-23 cs.CV cs.LG
Disentangling Human Dynamics for Pedestrian Locomotion Forecasting with Noisy Supervision
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
我们解决的问题，人体运动预测，共同预测的几个关键点的空间位置在不久的将来在人体上的自我中心的设置下的任务。与以前的工作，旨在解决任何任务的姿势预测或轨迹预测孤立，我们提出了一个框架，统一这两个问题，并解决实际有用的任务，行人运动预测在野外。解决这一任务的主要挑战之一是缺乏带有密集注释的自我中心视频数据集，用于姿势，深度或自我运动。为了克服这一困难，我们使用最先进的模型来生成（噪声）注释，并提出了强大的预测模型，可以从这种噪声监督中学习。我们提出了一种方法来解开整体行人运动到更容易学习的子部分，利用一个姿势完成和分解模块。完成模块填充缺失的关键点注释，分解模块将清洁的运动分解为全局（轨迹）和局部（姿势关键点移动）。此外，以Quasi RNN为骨干，我们提出了一种新的分层轨迹预测网络，该网络利用低级视觉域特定信号（如自运动和深度）来预测全局轨迹。我们的方法导致国家的最先进的结果预测人类运动的自我中心的观点。Pade项目：https://karttikeya.github.io/publication/plf/
2020-04-13 cs.CV cs.LG cs.RO
Diverse Trajectory Forecasting with Determinantal Point Processes
Carnegie Mellon University（卡内基梅隆大学）
预测代理的一组可能但不同的可能未来行为的能力（例如，行人的未来轨迹）对于安全关键感知系统（例如，自动驾驶汽车）。特别是，系统产生的一组可能的未来行为必须是多样化的，以考虑所有可能的结果，以便采取必要的安全预防措施。仅仅维护一组最有可能的未来结果是不够的，因为该组可能只包含单个结果的扰动。虽然生成模型，如变分自编码器（VAE）已被证明是一个强大的工具，用于学习分布在未来的轨迹，随机抽取的样本，从学习的隐式似然模型可能不是多样化的-似然模型是从训练数据分布和样本将集中在主要模式，具有最多的数据。在这项工作中，我们建议学习一个多样性采样函数（DSF），生成一个多样化的和可能的未来轨迹集。DSF将预测上下文特征映射到可以由生成模型（例如，VAE）到一组不同的轨迹样本中。具体地说，识别不同的样本集的过程被视为DSF的参数估计。为了学习DSF的参数，轨迹样本的多样性评估的多样性损失的基础上的决定点过程（DPP）。在DSF参数上执行梯度下降，这进而移动样本集的潜在代码以找到最佳多样且可能的轨迹集。我们的方法是一个新的应用程序的DPP优化一组项目（轨迹）在连续空间。我们证明了我们的方法在低维2D轨迹数据和高维人体运动数据上产生的轨迹的多样性。
2019-12-23 cs.CV cs.LG cs.RO
Forecasting Social Navigation in Crowded Complex Scenes
Stanford University（斯坦福大学）
当人们在拥挤的空间中穿行时，比如在大学校园或繁忙街道的人行道上，他们会遵循基于社交礼仪的常识规则。在本文中，我们认为，为了能够设计出能够充分利用这些规则的新算法，以更好地解决目标跟踪或轨迹预测等任务，我们首先需要获得更好的数据。为此，我们贡献了第一个大规模数据集（据我们所知），该数据集收集了在真实户外环境（如大学校园）中导航的各种类型目标（不仅是行人，还有骑自行车的人，滑板者，汽车，公共汽车，高尔夫球车）的图像和视频。我们提出了一个广泛的评估，不同的方法进行评估和比较的轨迹预测。此外，我们提出了一种新的轨迹预测算法，该算法利用了我们新数据集的复杂性，并允许：i）将类间交互纳入轨迹预测模型（例如，行人与自行车），而不仅仅是类内交互（例如，行人对行人）; ii）对社会力量调节相互作用的程度进行建模。我们称后者为“社会敏感性”，它捕捉了目标对某种互动做出反应的敏感性。一个广泛的实验评估证明了我们的新方法的有效性。
2016-01-05 cs.CV cs.RO cs.SI
