Pedestrian Trajectory Prediction with Structured Memory Hierarchies
Queensland University of Technology(昆士兰科技大学)
提出了一种基于多模态数据(视频和雷达)的人体轨迹预测框架。受最近神经科学发现的启发,我们建议在人类轨迹预测管道中加入结构化记忆组件,以捕获历史信息,从而提高性能。我们引入了结构化的LSTM单元,用于分层地对记忆内容进行建模,保留信息的时空结构,并使我们能够捕获短期和长期上下文。我们演示了如何扩展这种架构,以整合来自多种模态的突出信息,从而在没有任何监督的情况下自动存储和检索重要的决策信息。我们评估了所提出的模型在我们引入的一个新的多模态数据集上的有效性,该数据集由40,000个行人轨迹组成,这些行人轨迹是从安装在公共场所的雷达系统和闭路电视摄像机系统联合获取的。该性能也在公开的纽约中央大酒店行人数据库上进行评估。在这两种设置中,所提出的模型证明了它们的能力,以更好地预测未来的行人运动相比,现有的最先进的。
2018-07-22 cs.CV
Hazy Pedestrian Trajectory Prediction via Physical Priors and Graph-Mamba
Shandong Normal University(山东师范大学);Sun Yat-sen University(中山大学);Shandong Jiaotong University(山东交通大学)
提出融合可微大气散射先验、自适应 Mamba 与异构图注意力的轨迹预测模型,并构建雾天 ETH/UCY 数据集,显著提升浓雾场景预测精度与推理速度。
2025-09-28 cs.CV
RealTraj: Towards Real-World Pedestrian Trajectory Forecasting
Keio University(庆应义塾大学);NVIDIA(英伟达)
RealTraj框架通过合成数据自监督预训练和有限真实数据弱监督微调,结合对跟踪噪声不变的Det2TrajFormer模型,在降低数据采集与ID标注成本的同时提升真实场景行人轨迹预测性能。
2025-03-09 cs.CV
Attentional-GCNN: Adaptive Pedestrian Trajectory Prediction towards Generic Autonomous Vehicle Use Cases
Australian Centre for Field Robotics, University of Sydney(悉尼大学澳大利亚野外机器人中心);University Institute for Computer Research, Universidad de Alicante(阿利坎特大学计算机研究所)
共享行人环境中的自主车辆导航需要能够准确且以最小延迟预测未来人群运动。理解预测的不确定性也至关重要。然而,大多数现有的方法只能通过生成模型的重复采样来估计不确定性。此外,大多数当前的预测模型都是在数据集上训练的,这些数据集假设使用鸟瞰图可以完全观察到人群。从车辆的角度来看,这些通常不代表真实世界的使用情况,并且当车载传感器被遮挡时,可能导致低估不确定性界限。受时空图运动预测研究的启发,提出了一种基于图卷积神经网络(GCNN)的方法Attentional-GCNN,它通过在图的边缘分配注意力权重来聚合人群中行人之间隐式交互的信息。我们的模型可以被训练为输出概率分布或更快的确定性预测,证明了对自动驾驶汽车用例的适用性,其中需要速度或精度与不确定性界限。为了进一步改进预测模型的训练,我们提出了一个自动标记的行人数据集,该数据集是从代表现实世界使用的智能车辆平台收集的。通过在大量数据集上的实验,我们表明我们提出的方法比现有技术提高了10%的平均位移误差(ADE)和12%的最终位移误差(FDE),推理速度快。
2020-11-23 cs.CV cs.RO
CCF: Cross Correcting Framework for Pedestrian Trajectory Prediction
IIT Roorkee(印度鲁基印度理工学院)
提出交叉校正框架(CCF),通过双子网相互校正机制学习时空表示,结合轨迹预测与分类任务,在ETH-UCY和SDD数据集上精确预测行人轨迹。
2024-06-02 cs.CV
CrowdTraj: A Benchmark for Dense Crowd Trajectory Prediction in Realistic Crowded Environments
提出CrowdTraj基准,用于真实密集人群场景下的行人轨迹预测,支持端到端评估,揭示现有方法在跟踪噪声和计算开销上的局限。
2026-09-09 cs.CV
Recurrent Aligned Network for Generalized Pedestrian Trajectory Prediction
Xi’an Jiaotong University(西安交通大学);Dolby Laboratory(杜比实验室);Anhui University(安徽大学)
针对行人轨迹预测的领域偏移问题,提出循环对齐网络(RAN),通过循环对齐模块和预对齐表示模块在时间状态与序列层面及社会交互层面进行特征对齐,无需目标域数据即可实现卓越的跨域泛化能力。
2024-12-21 cs.AI cs.CV
SocialMOIF: Multi-Order Intention Fusion for Pedestrian Trajectory Prediction
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Beihang University(北京航空航天大学);Nanyang Technological University(新加坡国立大学)
SocialMOIF通过多阶意图融合模型捕捉邻近群体间高阶交互与一阶交互,结合轨迹分布逼近器和全局优化器,在动态与静态数据集上超越现有基线。
2025-04-22 cs.CV cs.LG
Trustworthy Pedestrian Trajectory Prediction via Pattern-Aware Interaction Modeling
Shanghai University(上海大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
针对行人交互复杂性导致的可信轨迹预测难题,提出基于Transformer的InSyn模型显式捕捉交互模式并建模方向敏感社交行为,结合SSOS训练策略缓解初始步偏差,在ETH和UCY数据集上精度优于黑箱基线且交互透明,初始步误差降约6.58%。
2025-11-12 cs.CV
Analysis and Prediction of Pedestrian Crosswalk Behavior during Automated Vehicle Interactions
Department of Mechanical Engineering, University of Michigan, Ann Arbor, USA(美国密歇根大学安娜堡分校机械工程系)
为了在行人周围安全导航,自动驾驶汽车(AV)需要通过准确预测长时间范围内的行人轨迹来规划其运动。目前的方法,以AV运动规划周围的人行横道预测只有很短的时间范围(1-2秒),是基于行人与人类驾驶的车辆(HDV)的相互作用的数据。在本文中,我们开发了一个混合系统模型,使用行人间隙接受行为和恒定速度动态的长期行人轨迹预测时,与自动驾驶汽车。结果表明,该模型的长期(> 5 s)的行人轨迹预测在人行横道的适用性。此外,我们将沉浸式虚拟环境中的行人过街行为(与AV交互时)与现实世界中的行人过街行为(已发表的行人与HDV交互的研究结果)进行了比较,并发现两者之间存在相似之处。这些相似之处表明了从沉浸式虚拟环境(IVE)开发的AV交互混合模型对于AV和HDV的真实场景的适用性。
2020-03-22 cs.CY cs.HC cs.RO
Cross-Camera Trajectories Help Person Retrieval in a Camera Network
Sun Yat-sen University(中山大学)
本文提出一种融合时空信息的跨摄像头轨迹生成行人检索框架,通过联合建模行走习惯与路径布局、条件随机场与受限非负矩阵分解优化轨迹,并构建首个真实场景行人轨迹数据集以验证有效性。
2023-07-04 cs.AI cs.CV
Towards predicting Pedestrian Evacuation Time and Density from Floorplans using a Vision Transformer
Technical University of Munich(慕尼黑工业大学)
本研究提出一种基于 Vision Transformer 的深度学习方法,可直接从建筑平面图预测行人密度热力图和总疏散时间,通过构建大型合成数据集进行训练,并集成至 BIM 创作工具实现即时自动生成模拟结果,有效解决传统模拟器耗时的瓶颈。
2023-06-27 cs.AI cs.CV
ParkFormer: A Transformer-Based Parking Policy with Goal Embedding and Pedestrian-Aware Control
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出ParkFormer,一种基于Transformer的端到端自主停车框架,利用交叉注意力融合BEV特征与目标点,并通过GRU预测行人,在CARLA模拟中达到96.57%成功率。
2025-06-20 cs.AI cs.CV
A Pedestrian-Vehicle Interaction Benchmark and Annotation Framework for Unstructured Scenes via Uncalibrated Cameras
School of Automation and Intelligent Sensing(自动化与智能感知学院);Global Institute of Future Technology(未来技术全球研究院)
针对非结构化场景中行人-车辆交互数据稀缺的问题,提出基于非标定监控视频的标注框架PINNS数据集,包含多国多场景的密集交互轨迹与场景信息,以促进复杂混合交通中的轨迹预测研究。
2026-05-25 cs.CV
Learning CLIP Guided Visual-Text Fusion Transformer for Video-based Pedestrian Attribute Recognition
Anhui University(安徽大学)
针对静态图像 PAR 在遮挡和模糊等场景下不可靠的问题,提出 CLIP 引导的视觉-文本融合 Transformer,利用视频时间信息与属性语义实现行人属性预测。
2023-04-20 cs.CV cs.MM
Socially acceptable route planning and trajectory behavior analysis of personal mobility device for mobility management with improved sensing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在城市中,随着行人和个人移动设备(PMD)使用的共享空间的可接受性越来越高,需要实用的社会可接受的路径规划和导航管理政策。因此,我们提出了一个社会可接受的全球路线规划和评估的易读性所产生的全球路线。我们提出的方法来选择全球路线,避免街道穿透共享空间和主要路线的高概率密集使用。实验结果表明,在优化超参数的情况下,平均增加10%的路径长度,可以有效地找到社会可接受的路径.这有助于PMD达到目标,同时采取社会可接受的安全路线,最大限度地减少不同PMD和行人的相互作用。当PMD与行人和其他类型的PMD在共享空间中交互时,微移动性模拟对于可接受和安全的导航策略具有主要用途。社会力模型是最先进的行人模拟校准捕捉行人行为的随机运动。社会力模型与校准可以模拟所需的行为PMD在行人混合导航方案。基于校准后的模型,对共享空间链路“与”门结构进行了仿真,以辅助决策等待和停止时间的相关策略。此外,基于模拟的PMD与移动机器人的相互作用,如果GPS传感器的分辨率为0.2 m或更小,则可以获得具有更高分辨率的位置数据。这将有助于形式化更好的建模,从而更好的微移动策略。
2021-12-07 cs.RO
Cross-domain Trajectory Prediction with CTP-Net
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Fudan University(复旦大学);ShanghaiTech University(上海科技大学)
大多数行人轨迹预测方法依赖于大量的轨迹标注,这是耗时和昂贵的。此外,经过良好训练的模型可能无法有效地推广到由另一个相机捕获的新场景。因此,期望使在注释的源域上训练的模型适应目标域。为了实现轨迹预测的领域自适应,我们提出了跨域轨迹预测网络(CTP-Net)。在这个框架中,编码器被用于在两个域中对观察到的轨迹进行编码,然后通过跨域特征匹配来对齐它们的特征。此外,考虑到观察到的轨迹和预测的轨迹之间的一致性,目标域偏移量被用来逆正则化未来的轨迹预测,以符合观察到的轨迹。大量的实验表明,我们的方法的有效性领域自适应的行人轨迹预测。
2022-08-16 cs.CV
Model Predictive Control for Crowd Navigation via Learning-Based Trajectory Prediction
Continental Automotive GmbH, Germany(德国Continental汽车有限公司);Technical University of Berlin, Germany(柏林技术大学);Free University of Berlin, Germany(柏林自由大学)
本研究在 Continental Corriere 机器人上评估了基于深度学习的 SI 预测器与 MPC 框架的集成,发现 SI-MPC 相比传统 CV 模型显著降低了预测误差并提升了导航安全性与平滑度,同时揭示了开环指标与闭环性能间的差异。
2025-08-09 cs.AI cs.RO cs.SY
A Spatio-temporal Graph Network Allowing Incomplete Trajectory Input for Pedestrian Trajectory Prediction
Politecnico di Milano(米兰理工学院)
STGN-IT通过引入静态障碍物节点和改进的编码方法,提升了行人轨迹预测的准确性,尤其在处理不完整历史轨迹时表现更优。
2025-01-22 cs.AI cs.CV cs.LG
Context-aware Multi-task Learning for Pedestrian Intent and Trajectory Prediction
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence(芬兰人工智能中心)
提出PTINet网络,通过结合历史轨迹、局部和全局上下文特征联合学习行人的轨迹与意图预测,在JAAD和PIE数据集上优于现有模型,为自动驾驶系统与行人的无缝交互奠定基础。
2024-07-24 cs.CV cs.RO
MamMA: A Mamba-Based Pedestrian Trajectory Prediction Algorithm Considering Occupancy Map and Pedestrian Awareness States
Politecnico di Milano(米兰理工大学)
针对移动机器人导航安全,提出MamMA算法,利用占用地图块特征和行人感知状态,基于Mamba模型预测轨迹,在多个数据集上优于现有方法。
2026-09-09 cs.CV cs.LG
Forecasting Pedestrian Trajectory with Machine-Annotated Training Data
University of Warwick(华威大学);Michigan State University(密歇根州立大学)
可靠地预测行人轨迹对于自动驾驶汽车的运行至关重要,并且可以显著增强高级驾驶员辅助系统的功能。虽然行人检测领域已经取得了重大进展,但由于行人的不可预测性和潜在有用特征的巨大空间,预测行人轨迹仍然是一个具有挑战性的问题。在这项工作中,我们提出了一个深度学习的方法,行人轨迹预测使用一个单一的车载摄像头。深度学习模型已经彻底改变了计算机视觉的其他领域,但在轨迹预测方面的应用有限,部分原因是缺乏丰富注释的训练数据。我们通过引入一个可扩展的机器注释方案来解决训练数据的缺乏问题,该方案使我们的模型能够使用大型数据集进行训练,而无需人工注释。此外,我们还提出了动态轨迹预测器(DTP),一种用于预测未来一秒内行人轨迹的模型。DTP使用人类和机器注释的数据进行训练,并预测线性模型无法捕获的动态运动。实验评估证实了所提出的模型的好处。
2019-05-09 cs.CV cs.RO
Learning Pedestrian Group Representations for Multi-modal Trajectory Prediction
GIST(光州科学技术院);AI Graduate School, GIST(光州科学技术院人工智能研究生院)
对人行走的动力学建模是计算机视觉中一个长期感兴趣的问题。许多以前的作品涉及行人轨迹预测定义了一组特定的个人行动隐式模型组的行动。在本文中,我们提出了一种新的架构命名为GP-图,具有集体的组表示有效的行人轨迹预测在拥挤的环境中,并兼容所有类型的现有方法。GP-图的一个关键思想是将个体和组之间的关系建模为图表示。为此,GP-Graph首先学习将每个行人分配到最可能的行为组中。使用此分配信息,GP-Graph然后将组内和组间交互形成为图,分别说明组内的人与人之间的关系和组与组之间的关系。具体来说,对于组内交互,我们将行人图边缘从相关联的组中屏蔽出来。我们还提出了组池和unpooling操作来表示一组多个行人作为一个图形节点。最后,GP-Graph从两组交互的综合特征中推断出社会可接受的未来轨迹的概率图。此外,我们引入了一个组级的潜在向量采样,以确保集体推断一组可能的未来轨迹。进行了大量的实验,以验证我们的架构的有效性,这表明与公开可用的基准一致的性能改进。代码可在https://github.com/inhwanbae/GPGraph上公开获取。
2022-07-20 cs.CV cs.LG cs.RO
Probabilistic Crowd GAN: Multimodal Pedestrian Trajectory Prediction using a Graph Vehicle-Pedestrian Attention Network
Australian Centre for Field Robotics(澳大利亚野外机器人中心)
理解和预测行人的意图对于使自动驾驶汽车和移动机器人能够在人群中导航至关重要。当我们考虑到行人运动的不确定性和多模态性,以及人群成员之间的隐式相互作用,包括对车辆的任何反应时,这个问题变得越来越复杂。我们的方法Probably Crowd GAN扩展了最近在轨迹预测方面的工作,将递归神经网络(RNN)与混合密度网络(MDN)相结合,以输出概率多模态预测,从中找到可能的模态路径并用于对抗训练。我们还建议使用图形车辆-行人注意力网络(GVAT),该网络对社交互动进行建模,并允许输入共享车辆功能,表明包含此模块可以在有车辆和无车辆存在的情况下改善轨迹预测。通过对各种数据集的评估,我们展示了对现有最先进的轨迹预测方法的改进,并说明了如何直接模拟人群交互的真实多模态和不确定性。
2020-07-12 cs.CV cs.RO
Learning Sparse Interaction Graphs of Partially Detected Pedestrians for Trajectory Prediction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
多行人轨迹预测是自主系统中不可或缺的元素,可以在非结构化环境中与人群安全互动。最近在轨迹预测算法方面的许多努力都集中在理解行人运动背后的社会规范上。然而,我们观察到这些作品通常持有两个假设,这使得它们不能顺利地应用于机器人应用:(1)所有行人的位置都被一致地跟踪,(2)目标代理注意场景中的所有行人。第一个假设导致有偏见的互动建模与不完整的行人数据。第二个假设引入了冗余的周围信息的聚合,和目标代理可能会受到不重要的邻居或目前过于保守的运动。因此,我们提出了Gumbel社会Transformer,其中边缘Gumbel采样稀疏的交互图的部分检测到的行人在每个时间步。Node Transformer Encoder和Masked LSTM使用采样稀疏图对行人特征进行编码,以预测轨迹。我们证明,我们的模型克服了上述假设所造成的潜在问题,我们的方法在轨迹预测基准中优于相关工作。代码可在\url{https://github.com/tedhuang96/gst}上获得。
2022-02-03 cs.CV cs.RO
Polar Collision Grids: Effective Interaction Modelling for Pedestrian Trajectory Prediction in Shared Space Using Collision Checks
University of Waterloo(滑铁卢大学)
本文提出基于碰撞风险的启发式交互智能体选择方法,并通过极坐标碰撞网格图融合碰撞时间与接近方向角,提升共享空间行人轨迹预测精度。
2023-08-13 cs.CV cs.HC cs.LG
TrajFusionNet: Pedestrian Crossing Intention Prediction via Fusion of Sequential and Visual Trajectory Representations
Perception, Robotics and Intelligent Machines Research Group (PRIME) Department of Computer Science, Université de Moncton, Canada(感知、机器人与智能机器研究组(PRIME)计算机科学系,新不伦瑞克大学)
本文提出TrajFusionNet,通过融合序列注意力与视觉注意力分支,将未来行人轨迹和车辆速度预测作为先验,在三个常用数据集上以最低推理时间实现行人过街意图预测的最先进性能。
2025-08-27 cs.CV cs.LG
Pedestrian Trajectory Prediction via Spatial Interaction Transformer Network
School of Mechanical Engineering, University of Science and Technology Beijing(北京科技大学机械工程学院)
行人轨迹预测作为自动驾驶系统的核心技术,能够显著增强车辆主动安全功能,减少道路交通伤害。在交通场景中,行人遇到迎面而来的行人时,可能会突然转弯或立即停车,这往往会导致复杂的轨迹。为了预测这种不可预测的轨迹,我们可以深入了解行人之间的互动。本文提出了一种新的生成方法空间交互Transformer(SIT),通过注意力机制学习行人轨迹的时空相关性。此外,我们引入了条件变分自编码器(CVAE)框架来模拟行人未来的潜在运动状态。特别是,基于大规模trafc数据集nuScenes [2]的实验表明,SIT比最先进的(SOTA)方法具有出色的性能。在具有挑战性的ETH和UCY数据集上的实验评估证实了我们提出的模型的鲁棒性
2021-12-13 cs.CV cs.LG
Comparison of Pedestrian Prediction Models from Trajectory and Appearance Data for Autonomous Driving
Five AI (Bosch UK)(Five AI(博世英国));University of Edinburgh(爱丁堡大学)
本文比较了自动驾驶中仅用轨迹与结合外观数据的行人预测方法,基于NuScenes构建新数据集实验,发现外观信息虽有优势但受数据集限制,并提出改进方案以充分挖掘外观模型潜力。
2023-05-25 cs.CV cs.RO
Self-Growing Spatial Graph Network for Context-Aware Pedestrian Trajectory Prediction
Nanyang Technological University(南洋理工大学)
行人轨迹预测是一个活跃的研究领域,最近的工作是将行人社会互动及其上下文顺应性的准确模型嵌入到动态空间图中。然而,现有的作品依赖于空间的场景和动态的假设,这需要一个重大的挑战,以适应在未知的环境中的在线系统的图形结构。此外,还缺乏评估方法的关系建模预测性能的影响。为了填补这一空白,我们提出了社会轨迹推荐门控图递归邻域网络(STR-GGRNN),它使用基于上下文场景特征和行人视觉线索的数据驱动的自适应在线邻域推荐。通过在线非负矩阵分解(NMF)来构造用于预测行人轨迹的图邻接矩阵,从而实现邻域推荐。在ETH-UCY数据集上的实验结果表明,该方法的性能优于现有方法,最佳模型在ETH-UCY数据集上达到了12 cm ADE和$\sim$ 15 cm FDE。当每帧采样总共20 K个未来轨迹时,所提出的方法仅需要0.49秒。
2020-12-21 cs.CV cs.LG
Long-term Pedestrian Trajectory Prediction using Mutable Intention Filter and Warp LSTM
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
轨迹预测是机器人安全导航和与行人交互的关键能力之一。需要整合来自人类意图和行为模式的关键见解,以有效预测长期行人行为。因此,我们提出了一个包含可变意图过滤器和Warp LSTM(MIF-WLSTM)的框架,以同时估计人类意图并执行轨迹预测。可变意图过滤器的灵感来自粒子过滤和遗传算法,其中粒子表示可以在整个行人运动中发生变化的意图假设。我们的Warp LSTM不是预测随时间推移的顺序位移,而是学习在由名义意图感知线性模型预测的完整轨迹上生成偏移,该模型在过滤过程中考虑意图假设。通过在公开数据集上的实验,我们证明了我们的方法优于基线方法,并证明了我们的方法在异常意图变化情况下的鲁棒性能。代码可在https://github.com/tedhuang96/mifwlstm上获得。
2021-06-21 cs.CV cs.RO
Enhancing Pedestrian Trajectory Prediction with Crowd Trip Information
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出将人群出行信息作为新模态纳入行人轨迹预测模型,开发了通用模型RNTransformer来捕捉社会互动的全局信息,实验证明其能显著提升多种局部预测模型在多个数据集上的准确性。
2024-09-23 cs.AI cs.CV cs.LG
On-Board Pedestrian Trajectory Prediction Using Behavioral Features
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Stuttgart(斯图加特大学)
本文提出了一种新的方法来预测行人的轨迹车载摄像头系统,它利用行人的行为特征,可以从视觉观察推断。我们提出的方法,称为行为感知行人轨迹预测(BA-PTP),处理多个输入模态,即边界框,身体和头部方向的行人以及他们的姿势,与独立的编码流。使用模态注意力机制融合每个流的编码,从而产生用于预测图像中的未来边界框的最终嵌入。在两个行人行为预测数据集上的实验中,我们证明了使用行为特征进行行人轨迹预测的好处,并评估了所提出的编码策略的有效性。此外,我们研究了基于消融研究的不同行为特征对预测性能的相关性。
2022-10-21 cs.CV
Leveraging Trajectory Prediction for Pedestrian Video Anomaly Detection
University of Michigan(密歇根大学)
视频异常检测是视觉领域的一个核心问题。从视频数据中正确检测和识别行人的异常行为将使安全关键型应用成为可能,如监控、活动监控和人机交互。在本文中,我们建议利用轨迹定位和预测的无监督行人异常事件检测。不同于以前的基于重建的方法,我们提出的框架依赖于正常和异常行人轨迹的预测误差来检测空间和时间上的异常。我们在不同时间尺度的真实世界基准数据集上进行了实验,结果表明,我们提出的基于概率预测的异常检测管道在识别视频中行人的异常活动方面是有效和高效的。代码将在https://github.com/akanuasiegbu/Leveraging-Trajectory-Prediction-for-Pedestrian-Video-Anomaly-Detection上提供。
2022-07-05 cs.CV
Characterizing Structured versus Unstructured Environments based on Pedestrians' and Vehicles' Motion Trajectories
University of Waterloo(滑铁卢大学)
本文通过提取轨迹特征并运用K-means聚类和广义线性模型,提出量化指标以区分结构化与非结构化环境,发现轨迹变异性、停车比例和行人密度可用于分类现有数据集。
2025-02-24 cs.AI cs.CV cs.LG
MVTrajecter: Multi-View Pedestrian Tracking with Trajectory Motion Cost and Trajectory Appearance Cost
NTT Human Informatics Laboratries, NTT Corporation(日本电报电话株式会社人机信息实验室)
针对现有端到端多视角行人跟踪方法仅利用相邻时刻信息、丢弃更早历史轨迹的问题,提出MVTrajecter方法,通过轨迹运动/外观代价及注意力机制融合多时刻历史信息,性能超越当前最优水平。
2025-09-01 cs.CV
G-PECNet: Towards a Generalizable Pedestrian Trajectory Prediction System
Vehant Technologies(维汉科技)
本文提出G-PECNet,通过周期激活函数架构改进和基于HMM与RL的合成轨迹增强,在PECNet基准上将FDE提升9.5%,并引入几何启发式度量检测轨迹非线性和异常值,用于自主无人机导航中的域外行人轨迹预测。
2024-03-31 cs.AI cs.CV cs.LG
Pedestrian Trajectory Prediction with Convolutional Neural Networks
KTH(皇家理工学院);Scania CV AB(斯堪尼亚商用车有限公司)
预测行人的未来轨迹是一个具有挑战性的问题,从人群监控到自动驾驶都有广泛的应用。在文献中,接近行人轨迹预测的方法已经发展,从基于物理的模型过渡到基于递归神经网络的数据驱动模型。在这项工作中,我们提出了一种新的行人轨迹预测方法,引入了一种新的2D卷积模型。这个新模型的性能优于递归模型,并在ETH和TrajNet数据集上实现了最先进的结果。我们还提出了一个有效的系统来表示行人的位置和强大的数据增强技术,如添加高斯噪声和使用随机旋转,可以应用于任何模型。作为一个额外的探索性分析,我们提出的实验结果包括占用方法来模拟社会信息,经验表明,这些方法是无效的,在捕捉社会互动。
2021-09-16 cs.CV cs.LG
Situation-Aware Pedestrian Trajectory Prediction with Spatio-Temporal Attention Model
Nanyang Technological University (NTU)(南洋理工大学)
行人轨迹预测对于自动驾驶和机器人导航中的避碰是必不可少的。然而,在拥挤的环境中预测行人的轨迹是不平凡的,因为它受到场景中存在的其他行人的运动和静态结构的影响。这种人与人和人与空间的相互作用导致轨迹的非线性。本文提出了一种新的基于时空图的长短期记忆(LSTM)网络,用于预测拥挤环境中的行人轨迹,该网络考虑了场景中静态(物理对象)和动态(其他行人)元素的交互。我们的研究结果是基于两个广泛使用的数据集,以证明所提出的方法在人体轨迹预测方面优于最先进的方法。特别是,我们的方法导致平均位移误差(ADE)和最终位移误差(FDE)的减少高达55%和61%,分别超过最先进的方法。
2019-02-13 cs.CV
Where Do You Go? Pedestrian Trajectory Prediction using Scene Features
Amirkabir University of Technology(阿米尔卡比尔理工大学);The University of Tokyo(东京大学)
本文提出一种融合行人交互与环境场景特征的轨迹预测模型,利用稀疏图、交叉注意力和时间卷积网络,在公开基准上显著超越现有方法,实现ADE 0.252米、FDE 0.372米的高精度预测。
2025-01-23 cs.AI cs.CV cs.LG
BiTraP: Bi-directional Pedestrian Trajectory Prediction with Multi-modal Goal Estimation
University of Michigan(密歇根大学)
行人轨迹预测是机器人应用中的一项重要任务,如自动驾驶和机器人导航。最先进的轨迹预测器使用具有递归神经网络(RNN)的条件变分自编码器(CVAE)来编码观察到的轨迹并解码多模态未来轨迹。这个过程可能会在长预测范围(>=2秒)内出现累积误差。提出了一种基于CVAE的目标条件双向多模态弹道预测方法BiTraP。BiTraP估计轨迹的目标(终点),并引入了一种新的双向解码器,以提高长期轨迹预测的准确性。大量的实验表明,BiTraP可以推广到第一人称视角(FPV)和鸟瞰视角(BEV)场景,并且比最先进的结果高出约10- 50%。我们还表明,不同的选择非参数与参数目标模型的CVAE直接影响预测的多模态轨迹分布。这些结果提供了指导的轨迹预测器设计的机器人应用,如防撞和导航系统。
2020-11-16 cs.CV cs.RO
ForceFormer: Exploring Social Force and Transformer for Pedestrian Trajectory Prediction
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Twente(特温特大学);Clausthal University of Technology(克劳斯塔尔工业大学)
在高度交互的场景中,基于目标信息预测行人的轨迹是智能交通系统和自动驾驶的关键一步。这项任务的挑战来自两个关键来源:(1)高行人密度场景中的复杂社交互动,以及(2)目标信息的有限利用,以有效地与过去的运动信息相关联。为了解决这些困难,我们将社会力量整合到基于Transformer的随机生成模型中,并提出了一种新的基于目标的轨迹预测器ForceFormer。区别于大多数以前的作品,简单地使用目的地的位置作为输入功能,我们利用从目的地的驱动力,有效地模拟行人的目标的指导。此外,排斥力被用作另一个输入特征来描述相邻行人之间的回避动作。大量的实验表明,我们提出的方法实现了与最先进的模型的距离误差测量的同等性能,但明显减少碰撞,特别是在密集的行人场景中广泛使用的行人数据集。
2023-02-15 cs.CV cs.MA cs.RO
PEDESTRIANQA: A Benchmark for Vision-Language Models on Pedestrian Intention and Trajectory Prediction
CVIT, IIIT-Hyderabad, India(IIIT-海得拉巴计算机视觉与智能技术研究所,印度)
提出大规模视频数据集PedestrianQA,将行人意图和轨迹预测转化为带结构化理由的问答任务,通过微调视觉-语言模型显著提升预测准确性与可解释性。
2026-05-23 cs.AI cs.CV
Scene Gated Social Graph: Pedestrian Trajectory Prediction Based on Dynamic Social Graphs and Scene Constraints
The University of Western Australia(西澳大学)
行人轨迹预测对于理解人类运动行为是有价值的,并且由于其他行人的社会影响、场景约束和预测轨迹的多模态可能性,因此具有挑战性。大多数现有的方法只关注上述三个关键要素中的两个。为了综合考虑所有这些因素,我们提出了一种新的轨迹预测方法场景门控社交图(SGSG)。在建议SGSG,动态图被用来描述行人之间的社会关系。通过结合编码的社交图特征和语义场景特征的场景门控社交图特征来考虑社交和场景的影响。此外,一个VAE模块被纳入学习场景门控的社会功能和样本的潜变量,用于生成多个轨迹,是社会和环境可接受的。我们比较了我们的SGSG对20个国家的最先进的行人轨迹预测方法,结果表明,该方法在两个广泛使用的轨迹预测基准取得了优异的性能。
2020-10-12 cs.CV
LG-Traj: LLM Guided Pedestrian Trajectory Prediction
Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
本文提出LG-Traj,利用大语言模型生成运动线索并结合高斯混合聚类与奇异值分解,通过Transformer架构提升行人轨迹预测精度,在ETH-UCY和SDD基准上验证了有效性。
2024-03-12 cs.AI cs.CV
SGCN:Sparse Graph Convolution Network for Pedestrian Trajectory Prediction
JD Finance America Corporation(京东金融美国公司);Alibaba Group(阿里巴巴集团);Wormpex AI Research(Wormpex AI 研究院)
行人轨迹预测是自动驾驶中的一项关键技术,由于行人之间复杂的相互作用,行人轨迹预测仍然是非常具有挑战性的。然而,以往的工作基于密集的无向相互作用遭受建模多余的相互作用和忽视的轨迹运动趋势,从而不可避免地导致相当大的偏离现实。为了解决这些问题,我们提出了一个稀疏图卷积网络(SGCN)的行人轨迹预测。具体来说,SGCN明确地建模稀疏有向交互与稀疏有向空间图捕捉自适应交互行人。同时,我们使用一个稀疏的有向时间图来建模的运动趋势,从而促进预测的基础上观察到的方向。最后,通过融合上述两个稀疏图,估计用于轨迹预测的双高斯分布的参数。我们在ETH和UCY数据集上对我们提出的方法进行了评估,实验结果表明,我们的方法在平均位移误差(ADE)和最终位移误差(FDE)方面分别比最先进的方法高出9%和13%。值得注意的是,可视化表明,我们的方法可以捕获行人和他们的有效运动趋势之间的自适应交互。
2021-04-04 cs.CV
Pedestrian Motion Prediction Using Transformer-based Behavior Clustering and Data-Driven Reachability Analysis
KTH Royal Institute of Technology(KTH皇家理工学院);Integrated Transport Research Lab(综合交通研究实验室);Digital Futures(数字未来机构)
提出基于Transformer的框架,结合分层密度聚类自动识别行人行为模式,并利用数据驱动可达性分析端到端预测行人未来运动,有效减少人工标签依赖与偏见。
2024-08-09 cs.CV cs.RO cs.SY
Learning Trajectory-Conditioned Relations to Predict Pedestrian Crossing Behavior
Georgia Institute of Technology(佐治亚理工学院);Ford Motor Company(福特汽车公司)
在智能交通中,智能系统通过预测交通代理,特别是行人的意图来避免潜在的碰撞。行人意图,定义为未来的行动,例如,开始过马路时,可根据交通环境而定。在本文中,我们开发了一个框架,将这种依赖性观察到的行人轨迹和场景帧。我们的框架首先将行人与周围环境之间的区域联合信息随时间编码为特征图向量。然后从成对特征图向量中提取全局关系表示,以估计具有过去轨迹条件的意图。我们在两个公共数据集上评估了我们的方法,并与两种最先进的方法进行了比较。实验结果表明,我们的方法有助于通知潜在的风险,在交叉事件与0.04的改善,在JAAD数据集上的F1分数和0.01的改善,在PIE数据集上的召回。此外,我们进行消融实验,以确认我们的框架中的关系抽取的贡献。
2023-01-14 cs.CV
AVGCN: Trajectory Prediction using Graph Convolutional Networks Guided by Human Attention
Hong Kong University of Science and Technology(香港科技大学)
行人轨迹预测是一项关键而又具有挑战性的任务,特别是在拥挤的场景中。我们建议,引入一个注意力机制来推断不同的邻居的重要性是至关重要的准确的轨迹预测场景中的人群规模变化。在这项工作中,我们提出了一种新的方法,AVGCN,轨迹预测利用图卷积网络(GCN)的基础上人类的注意力(A表示注意力,V表示视野的限制)。首先,我们训练一个注意力网络,估计邻近行人的重要性,使用收集的目光数据作为主体执行鸟瞰人群导航任务。然后,我们将学习到的注意力权重调制行人的视野上的约束到一个轨迹预测网络,使用GCN聚合信息的邻居有效。AVGCN还考虑了行人轨迹的随机性,利用变化的轨迹预测。我们的方法在几个轨迹预测基准上实现了最先进的性能,并且在所有考虑的基准上具有最低的平均预测误差。
2021-01-14 cs.CV cs.RO
TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective
本文提出基于Mamba模型的TrajMamba模型,通过提取行人和自身运动特征,结合自身运动引导解码器预测未来轨迹,实现在自动驾驶和机器人导航中的高性能表现。
2026-03-16 cs.AI cs.CV
GoalNet: Goal Areas Oriented Pedestrian Trajectory Prediction
Department of Electronic Engineering, National Taipei University of Technology(电子工程系,国立台北科技大学);Department of Artificial Intelligence Technology, National Taipei University of Technology(人工智能技术系,国立台北科技大学)
提出GoalNet神经网络,利用场景上下文和观测轨迹先预测行人目标点再生成未来轨迹,在JAAD和PIE数据集上分别将最先进性能提升48.7%和40.8%。
2025-07-11 cs.AI cs.CV
VIT-Ped: Visionary Intention Transformer for Pedestrian Behavior Analysis
German University in Cairo(埃及德国大学);Faculty of Media Engineering and Technology(媒体工程与技术学院);Computer Science and Engineering Department(计算机科学与工程系);C-DRiVeS Lab(C-DRiVeS实验室);Cognitive Driving Research in Vehicular Systems(车载系统认知驾驶研究)
VIT-Ped提出了一种基于变换器的算法,用于行人行为分析,通过不同数据模态和消融研究实现了SOTA性能。
2026-01-05 cs.AI cs.CV cs.RO
Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks
University of Technology Sydney(悉尼科技大学)
预测共享城市交通环境中行人的轨迹仍然被认为是自动驾驶汽车(AV)发展面临的挑战性问题之一。在文献中,这个问题通常使用递归神经网络(RNN)来解决。尽管RNN在捕获行人运动轨迹的时间依赖性方面具有强大的能力,但在处理较长的序列数据时,它们受到了挑战。因此,在这项工作中,我们引入了一个基于Transformer网络的框架,该框架最近被证明在许多基于序列的任务中更有效,并且优于RNN。我们依赖于过去的位置信息,代理交互信息和场景物理语义信息的融合作为我们的框架的输入,以提供一个强大的行人轨迹预测。我们已经在共享城市交通环境中的两个真实行人数据集上评估了我们的框架,并且在短期和长期预测范围内都优于比较的基线方法。
2021-08-08 cs.CV
Semantic segmentation of trajectories with improved agent models for pedestrian behavior analysis
Hiroshima University(广岛大学)
在本文中,我们提出了一种基于行人行为模型或代理的行人轨迹语义分割方法。该代理使用线性动力学模型和轨迹的共同开始和目标位置来模拟二维空间中的行人运动的动力学。首先,代理模型估计从图像序列中获得的轨迹。该方法建立在动态行人智能体(MDA)的混合模型之上,但对MDA的轨迹建模和估计进行了改进。然后,将轨迹划分为语义上有意义的段。通过应用隐马尔可夫模型,使用估计的代理模型的轨迹的子段进行建模。与经典的Ramer-Douglas-Peucker算法和原始的MDA模型相比,真实轨迹数据集的实验结果表明了该方法的有效性。
2019-12-12 cs.CV cs.LG