IA-LSTM: Interaction-Aware LSTM for Pedestrian Trajectory Prediction
University of Florida（佛罗里达大学）
针对人群中行人交互重要性被忽视的问题，本文提出基于相关熵的交互模块与交互感知 LSTM 架构，用于建模动态人-人交互并提升轨迹预测精度。
2024-01-25 cs.AI cs.CV
Long-term Pedestrian Trajectory Prediction using Mutable Intention Filter and Warp LSTM
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
轨迹预测是机器人安全导航和与行人交互的关键能力之一。需要整合来自人类意图和行为模式的关键见解，以有效预测长期行人行为。因此，我们提出了一个包含可变意图过滤器和Warp LSTM（MIF-WLSTM）的框架，以同时估计人类意图并执行轨迹预测。可变意图过滤器的灵感来自粒子过滤和遗传算法，其中粒子表示可以在整个行人运动中发生变化的意图假设。我们的Warp LSTM不是预测随时间推移的顺序位移，而是学习在由名义意图感知线性模型预测的完整轨迹上生成偏移，该模型在过滤过程中考虑意图假设。通过在公开数据集上的实验，我们证明了我们的方法优于基线方法，并证明了我们的方法在异常意图变化情况下的鲁棒性能。代码可在https://github.com/tedhuang96/mifwlstm上获得。
2021-06-21 cs.CV cs.RO
Bio-LSTM: A Biomechanically Inspired Recurrent Neural Network for 3D Pedestrian Pose and Gait Prediction
University of Michigan（密歇根大学）
在自动驾驶等应用中，理解、推断和预测行人的意图和未来行为非常重要。这种能力使车辆能够避免碰撞，提高行驶安全性和质量。本文提出了一种生物力学启发的循环神经网络（Bio-LSTM），它可以预测全局坐标系中行人的位置和3D关节式身体姿势，给定先前帧中估计的3D姿势和位置，但不准确。该网络能够同时预测多个行人的姿势和全球位置，行人距离摄像机最多45米（城市交叉口规模）。所提出的网络的输出是以蒙皮多人线性（SMPL）模型参数表示的全身3D网格。所提出的方法依赖于一种新的目标函数，该函数结合了人类行走（步态）的周期性，人体的镜像对称性，以及在人类步态周期中地面反作用力的变化。本文介绍了PedX数据集的预测结果，PedX数据集是一个在行人交通繁忙的真实城市交叉口收集的大规模野外数据集。结果表明，该网络可以成功地学习行人步态的特征，并产生准确和一致的三维姿态预测。
2019-09-13 cs.CV cs.LG cs.RO
MX-LSTM: mixing tracklets and vislets to jointly forecast trajectories and head poses
University of Verona (UNIVR)（维罗纳大学）；OSRAM GmbH（欧司朗股份有限公司）；Istituto Italiano di Tecnologia (IIT)（意大利理工学院）
最近的轨迹预测方法使用tracklet来预测行人的未来位置，利用长短期记忆（LSTM）架构。本文表明，添加vislets，即头部姿态估计的短序列，允许显着增加的轨迹预测性能。然后，我们建议在一个名为MX-LSTM的新框架中使用vislet，通过LSTM反向传播期间对全协方差矩阵的联合无约束优化来捕获tracklet和vislet之间的相互作用。与此同时，MX-LSTM预测未来的头部姿势，提高了长期轨迹预测方法的标准能力。通过标准的头部姿势估计器和基于注意力的社交池，MX-LSTM在所有考虑的数据集（Zara 01，Zara 02，UCY和TownCentre）中对新的轨迹预测进行了最先进的评分，当行人减速时，这种情况下大多数预测方法都难以提供准确的解决方案。
2018-05-02 cs.CV
Learning Pedestrian Actions to Ensure Safe Autonomous Driving
Texas A&M University（德克萨斯农工大学）
本文提出了一种多任务序列到序列Transformer编码器-解码器（TF-ed）架构，仅利用自车摄像头观测进行行人动作与轨迹预测，在JAAD数据集上动作预测准确率达81%，较LSTM-ed提升7.4%。
2023-05-22 cs.CV cs.RO
Scene-LSTM: A Model for Human Trajectory Prediction
University of Colorado Denver（科罗拉多大学丹佛分校）
我们开发了一个人体运动轨迹预测系统，该系统在静态拥挤场景的预测过程中结合了场景信息（Scene-LSTM）和人体运动轨迹（行人运动LSTM）。我们构建了一个两级网格结构（场景被划分为网格单元，每个网格单元由场景LSTM建模，这些网格单元被进一步划分为更小的子网格以获得更精细的空间粒度），并探索网格单元中发生的常见人类轨迹（例如，在从小巷出来的人行道上右拐或左拐;或在公共汽车/训练站处静止不动）。两个耦合的LSTM网络，行人运动LSTM（每个目标一个）和相应的场景LSTM（每个网格单元一个）同时训练，以预测下一个运动。我们表明，这种共同的路径信息极大地影响了未来的运动预测。我们进一步设计了一个场景数据过滤器，保持重要的非线性运动信息。场景数据过滤器允许我们从网格单元的内存中选择与目标状态相关的信息部分。我们评估和比较了我们的方法的两个版本与线性和几个现有的基于LSTM的方法对来自UCY [1]和ETH [2]数据集的五个拥挤的视频序列。结果表明，我们的方法减少了位置位移误差相比，相关的方法，特别是约80%的减少相比，社会互动的方法。
2019-04-15 cs.CV
Social LSTM with Dynamic Occupancy Modeling for Realistic Pedestrian Trajectory Prediction
针对动态拥挤环境下行人轨迹预测中忽略物理空间占用的问题，本文提出结合动态占用空间损失函数的Social LSTM模型，有效避免碰撞且不增加位移误差，在多密度数据集上性能优于基线及最新模型。
2025-11-12 cs.AI cs.CV
Hybrid CNN-LSTM based Indoor Pedestrian Localization with CSI Fingerprint Maps
Texas A&M University（德克萨斯农工大学）
本文提出一种基于CSI指纹图和混合CNN-LSTM架构的室内行人定位方法，结合粒子滤波筛选轨迹假设，在动态和静态环境中分别取得0.36米和0.17米的平均RMSE，验证了稀疏观测和有限基础设施条件下细粒度Wi-Fi定位的可行性。
2024-12-29 cs.AI cs.CV
Forecasting People Trajectories and Head Poses by Jointly Reasoning on Tracklets and Vislets
Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Verona（维罗纳大学）；Osram GmbH（欧司朗有限公司）；Italian Institute of Technology（意大利理工学院）；Ulm University（乌尔姆大学）
在这项工作中，我们探讨人的轨迹和他们的头部方向之间的相关性。我们认为，人的轨迹和头部姿态预测可以建模为一个联合问题。最近的轨迹预测方法利用行人的短期轨迹（又名轨迹）来预测他们未来的路径。此外，社会学线索，如预期的目的地或行人互动，往往与轨迹相结合。在本文中，我们提出了Mixing-LSTM（MX-LSTM）来捕获位置和头部方向（vislet）之间的相互作用，这要归功于LSTM反向传播期间全协方差矩阵的联合无约束优化。我们还利用头部的方向作为代理的视觉注意力，建模时的社会互动。MX-LSTM预测未来行人的位置和头部姿势，提高了当前方法在长期轨迹预测方面的标准能力。与最先进的方法相比，我们的方法在广泛的公共基准上表现出更好的性能。当人们移动缓慢时，MX-LSTM特别有效，即所有其他模型最具挑战性的场景。所提出的方法还允许在较长的时间范围内进行准确的预测。
2019-10-15 cs.CV
Asymmetrical Bi-RNN for pedestrian trajectory encoding
École Normale Supérieure - Université PSL（巴黎高等师范学院-巴黎文理研究大学）；MINES ParisTech - Université PSL（巴黎高等矿业学院-巴黎文理研究大学）；Institut Vedecom（Vedecom研究所）
行人运动行为涉及个人目标和与其他代理人的社会互动的组合。在本文中，我们提出了一种称为U-RNN的非对称双向递归神经网络架构，用于编码行人轨迹并评估其相关性，以取代各种预测模型的LSTM。Trajnet++基准测试的实验结果表明，对于各种方法和交互模块，U-LSTM变体在每个可用指标（ADE，FDE，碰撞率）方面都比常见的轨迹编码器产生更好的结果，这表明所提出的方法是事实上序列编码RNN的可行替代方案。我们为Trajnet++基准测试实现的非对称Bi-RNN可在以下网站获得：github.com/JosephGesnouin/Asymmetrical-Bi-RNNs-to-encode-pedestrian-trajectories
2021-06-19 cs.AI cs.CV
3DOF Pedestrian Trajectory Prediction Learned from Long-Term Autonomous Mobile Robot Deployment Data
University of Lincoln（林肯大学）；University of Technology of Belfort-Montbéliard（贝尔福-蒙贝利亚技术大学）
提出了一种新的自主移动服务机器人3自由度行人轨迹预测方法。虽然大多数以前报道的方法是基于学习单目相机图像中的2D位置，但我们的方法使用测距传感器来学习和预测3DOF姿态轨迹（即世界坐标系内的2D位置加上1D旋转）。我们的方法T-Pose-LSTM（Temporal 3DOF-Pose长短期记忆）使用来自真实世界机器人部署的长期数据进行训练，旨在学习上下文相关（特定于环境和时间）的人类活动。我们的方法结合了长期的时间信息（即日期和时间）与短期的姿态观测作为输入。训练序列到序列LSTM编码器-解码器，将观察编码到LSTM中，然后解码为预测。对于部署，它可以实时执行动态预测。我们不使用手动注释的数据，而是依靠强大的人体检测，跟踪和SLAM系统，为我们提供全球坐标系中的示例。我们使用超过15 K的行人轨迹记录在一个护理院的环境中，在为期三个月的方法进行验证。实验表明，所提出的T-Pose-LSTM模型推进了最先进的基于2D的方法，用于长期移动机器人部署中的人类轨迹预测。
2017-09-30 cs.CV cs.RO
Learning the Pedestrian-Vehicle Interaction for Pedestrian Trajectory Prediction
University of Gothenburg（哥德堡大学）
本研究提出行人-车辆交互（PVI）提取器，用于学习行人轨迹预测中的交互，在LSTM和卷积模型上分别将ADE和FDE降低7.46%/5.24%和2.10%/1.27%，验证了交互对行人行为的影响。
2022-04-25 cs.AI cs.CV cs.RO
Situation-Aware Pedestrian Trajectory Prediction with Spatio-Temporal Attention Model
Nanyang Technological University (NTU)（南洋理工大学）
行人轨迹预测对于自动驾驶和机器人导航中的避碰是必不可少的。然而，在拥挤的环境中预测行人的轨迹是不平凡的，因为它受到场景中存在的其他行人的运动和静态结构的影响。这种人与人和人与空间的相互作用导致轨迹的非线性。本文提出了一种新的基于时空图的长短期记忆（LSTM）网络，用于预测拥挤环境中的行人轨迹，该网络考虑了场景中静态（物理对象）和动态（其他行人）元素的交互。我们的研究结果是基于两个广泛使用的数据集，以证明所提出的方法在人体轨迹预测方面优于最先进的方法。特别是，我们的方法导致平均位移误差（ADE）和最终位移误差（FDE）的减少高达55%和61%，分别超过最先进的方法。
2019-02-13 cs.CV
Dynamic and Static Context-aware LSTM for Multi-agent Motion Prediction
The University of Hong Kong（香港大学）；University of Electronic Science and Technology of China（电子科技大学）；SenseTime（商汤科技）
多智能体运动预测具有挑战性，因为它的目的是预测未来的轨迹，多个代理（\textit{e.g.}行人）同时在一个复杂的场景。现有的工作解决了这一挑战，要么学习社会空间的相互作用所代表的一组行人的位置，而忽略其时间的连贯性（\textit{i.e.}依赖于不同的长轨迹之间），或通过理解复杂的场景布局（\textit{e.g.}场景分割），以确保安全导航。然而，与以往将空间交互、时间一致性和场景布局分离的工作不同，本文设计了一种新的机制\textit{i.e.}，动态和静态上下文感知运动预测器（DSCMP），将这些丰富的信息集成到长短期记忆（LSTM）中。它有三个吸引人的好处。(1)DSCMP通过学习代理的空间位置和时间一致性以及理解上下文场景布局来建模代理之间的动态交互。(2)与以前的LSTM模型通过逐帧传播隐藏特征来预测运动，限制了学习长轨迹之间相关性的能力不同，我们在DSCMP中仔细设计了一个可微队列机制，它能够显式地记忆和学习长轨迹之间的相关性。(3)DSCMP通过推断潜在变量来捕获场景的上下文，这使得多模态预测具有有意义的语义场景布局。大量的实验表明，DSCMP在ETH-UCY和SDD数据集上的相对性能分别提高了9.05%和7.62%。
2020-08-03 cs.CV
Pedestrian Trajectory Prediction with Structured Memory Hierarchies
Queensland University of Technology（昆士兰科技大学）
提出了一种基于多模态数据（视频和雷达）的人体轨迹预测框架。受最近神经科学发现的启发，我们建议在人类轨迹预测管道中加入结构化记忆组件，以捕获历史信息，从而提高性能。我们引入了结构化的LSTM单元，用于分层地对记忆内容进行建模，保留信息的时空结构，并使我们能够捕获短期和长期上下文。我们演示了如何扩展这种架构，以整合来自多种模态的突出信息，从而在没有任何监督的情况下自动存储和检索重要的决策信息。我们评估了所提出的模型在我们引入的一个新的多模态数据集上的有效性，该数据集由40，000个行人轨迹组成，这些行人轨迹是从安装在公共场所的雷达系统和闭路电视摄像机系统联合获取的。该性能也在公开的纽约中央大酒店行人数据库上进行评估。在这两种设置中，所提出的模型证明了它们的能力，以更好地预测未来的行人运动相比，现有的最先进的。
2018-07-22 cs.CV
Understanding Human Behaviors in Crowds by Imitating the Decision-Making Process
Tsinghua University（清华大学）
人群行为理解在广泛的应用中是至关重要但具有挑战性的，因为人群行为本质上是由基于各种因素的顺序决策过程确定的，例如行人自己的目的地，与附近行人的互动以及对即将发生的事件的预期。在本文中，我们提出了一个新的框架，社会意识生成对抗模仿学习（SA-GAIL）模仿行人在人群中的潜在决策过程。具体来说，我们推断人类决策过程中的潜在因素，在无监督的方式，通过扩展生成对抗模仿学习框架，以预测未来的行人路径。通过互信息最大化来分解人类决策的不同因素，并通过避碰正则化和社会感知LSTM来建模该过程。实验结果表明，我们的框架在解开潜在的决策因素的行人和更强的能力，在预测未来的轨迹的潜力。
2018-01-25 cs.CV
Soft + Hardwired Attention: An LSTM Framework for Human Trajectory Prediction and Abnormal Event Detection
Queensland University of Technology（昆士兰科技大学）
作为人类，我们拥有一种直观的导航能力，我们通过多年的实践掌握了这一能力;然而，现有的方法来模拟这种特性，用于各种任务，包括监测行人流量和检测异常事件，这些方法都受到了使用各种手工制作功能的限制。深度学习领域的最新研究已经证明了直接从数据中学习特征的能力;递归神经网络的相关研究已经在序列到序列的问题中显示了示例性结果，例如神经机器翻译和神经图像字幕生成。受这些方法的启发，我们提出了一种新的方法来预测未来的运动的行人给予一个简短的历史，他们的邻居，过去的行为。所提出的方法的新颖性是组合的注意力模型，它利用“软注意力”以及“硬连线”的注意力，以映射的轨迹信息从本地附近的未来位置的行人的兴趣。我们说明了如何一个简单的近似的注意力权重（即硬连线）可以合并在一起，软注意力权重，以使我们的模型适用于具有挑战性的现实世界的情况下，数百个邻居。所提出的方法的导航能力进行了测试，在两个具有挑战性的公开可用的监控数据库，我们的模型优于目前的最先进的方法。此外，我们说明了如何提出的架构可以直接应用于异常事件检测的任务，而无需手工制作的功能。
2017-02-18 cs.CV cs.NE
A Siamese Long Short-Term Memory Architecture for Human Re-Identification
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；University of Sydney（悉尼大学）
在多个摄像机视图中匹配行人被称为人类重新识别（重新识别）是视觉监控中的一个具有挑战性的问题。在现有的工作集中在特征提取，表示形成本地和独立于其他区域。我们提出了一种新的连体长短期记忆（LSTM）架构，可以顺序处理图像区域，并通过利用上下文信息来增强局部特征表示的区分能力。LSTM单元的反馈连接和内部门控机制使我们的模型能够记住空间依赖性，并通过网络选择性地传播相关的上下文信息。与没有LSTM单元的基线算法相比，我们展示了改进的性能，并且与Market-1501，CUHK 03和VIPeR数据集上的最先进方法相比，结果令人鼓舞。LSTM细胞内部机制的可视化显示，我们的方法可以学习有意义的模式。
2016-07-28 cs.CV
Learning Sparse Interaction Graphs of Partially Detected Pedestrians for Trajectory Prediction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
多行人轨迹预测是自主系统中不可或缺的元素，可以在非结构化环境中与人群安全互动。最近在轨迹预测算法方面的许多努力都集中在理解行人运动背后的社会规范上。然而，我们观察到这些作品通常持有两个假设，这使得它们不能顺利地应用于机器人应用：（1）所有行人的位置都被一致地跟踪，（2）目标代理注意场景中的所有行人。第一个假设导致有偏见的互动建模与不完整的行人数据。第二个假设引入了冗余的周围信息的聚合，和目标代理可能会受到不重要的邻居或目前过于保守的运动。因此，我们提出了Gumbel社会Transformer，其中边缘Gumbel采样稀疏的交互图的部分检测到的行人在每个时间步。Node Transformer Encoder和Masked LSTM使用采样稀疏图对行人特征进行编码，以预测轨迹。我们证明，我们的模型克服了上述假设所造成的潜在问题，我们的方法在轨迹预测基准中优于相关工作。代码可在\url{https://github.com/tedhuang96/gst}上获得。
2022-02-03 cs.CV cs.RO
TSCA-Net: Temporal-Spatial Clique Attention for Interpretable Multimodal Pedestrian Trajectory Prediction
针对拥挤环境中行人轨迹预测难题，提出TSCA-Net框架，含时空团块注意力、跨行人团块势、自适应KAN网格细化三个模块，经实验验证其性能最优，消融研究证实模块互补作用。
2026-07-15 cs.CV
Deep Learning and Statistical Models for Time-Critical Pedestrian Behaviour Prediction
Data61, CSIRO, Australia（澳大利亚联邦科学与工业研究组织（CSIRO）数据61研究所（Data61））；University of Pretoria, South Africa（南非比勒陀利亚大学）；CSIR, Pretoria, South Africa（南非科学与工业研究委员会（CSIR）比勒陀利亚分部）
在许多行为识别问题中，分类器做出准确预测所需的时间可能至关重要。例如，自动驾驶汽车应该尽早检测到危险的行人行为，以便采取适当的措施。在这种情况下，我们比较了切换线性动力系统（SLDS）和三层双向长短期记忆（LSTM）神经网络，它们被应用于从运动轨迹推断行人行为。我们表明，虽然神经网络模型达到了80%的准确度，它需要长序列来实现这一点（100个样本或更多）。SLDS的准确度较低，为74%，但它可以用短序列（10个样本）实现这一结果。据我们所知，这样的序列长度的比较还没有考虑在文献中。结果提供了一个关键的直觉模型的适用性，在时间紧迫的问题。
2020-02-26 cs.CV cs.LG stat.ML
Context Model for Pedestrian Intention Prediction using Factored Latent-Dynamic Conditional Random Fields
顺畅地处理行人交互是自动驾驶汽车（AV）和高级驾驶员辅助系统（ADAS）的关键要求。这样的系统要求对车辆前方行人的横穿/不横穿行为进行早期和准确的预测。现有的行人行为预测方法利用行人的运动，他/她在场景中的位置和静态的上下文变量，如交通信号灯，斑马线等，我们强调的必要性，早期预测平稳运行这样的系统。为此，我们介绍了车辆的相互作用对行人意图的影响。在本文中，我们展示了一个明显的进步，在预测时间的帮助下，包括这样的车辆相互作用的背景。我们将我们的方法应用于两个不同的数据集，一个是内部收集的NTU数据集，另一个是公开的真实基准测试JAAD数据集。我们还提出了一个通用的图形模型因子化的潜在动态条件随机场（FLDCRF）的单标签和多标签序列预测以及联合互动建模任务。在相同的时间序列特征上，FLDCRF在数据集（每个数据集$\sim$ 100个序列）上的表现优于长短期记忆（LSTM）网络。虽然现有的最好的系统预测行人停车行为与70\%的准确性0.38秒之前的实际事件，我们的系统达到这样的准确性平均至少0.9秒之前的实际事件跨数据集。
2020-09-15 cs.CV cs.RO eess.IV
Analyzing vehicle pedestrian interactions combining data cube structure and predictive collision risk estimation model
Korea Advanced Institute of Science and Technology（韩国科学技术院）
交通事故是对人的生命的威胁，特别是造成行人过早死亡。因此，有必要设计系统，以防止事故的提前和积极响应，使用潜在的危险情况作为替代安全措施之一。这项研究介绍了一个新的概念，行人安全系统相结合的领域和集中的过程。该系统可以在现场立即警告即将到来的风险，并通过评估道路的安全水平来提高风险频繁区域的安全性，而不会发生实际碰撞。特别是，本研究的重点是后者，通过引入一个新的分析框架的车辆/行人和环境特征的行为的人行横道安全评估。我们从城市中的实际交通视频片段中获得这些行为特征，并进行完全自动处理。该框架主要通过构建数据立方体结构来从多维角度分析这些行为，该数据立方体结构结合了基于LSTM的预测碰撞风险估计模型和在线分析处理操作。从PCR估计模型，我们将风险的严重程度分为四个级别，并应用所提出的框架来评估人行横道的行为特征的安全性。我们的分析实验是基于两种情况下，和各种描述性的结果收获的车辆和行人的运动模式的道路环境和风险水平和车速之间的关系。因此，所提出的框架可以通过提供有价值的信息来支持决策者，以提高行人的安全性，为未来的事故，它可以帮助我们更好地了解他们的行为附近的人行横道主动。为了确认所提出的框架的可行性和适用性，我们实施并应用于实际运营的闭路电视在乌山市，韩国。
2021-07-26 cs.CV cs.CY
Enhancing Pedestrian Trajectory Prediction with Crowd Trip Information
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出将人群出行信息作为新模态纳入行人轨迹预测模型，开发了通用模型RNTransformer来捕捉社会互动的全局信息，实验证明其能显著提升多种局部预测模型在多个数据集上的准确性。
2024-09-23 cs.AI cs.CV cs.LG
Stochastic trajectory prediction with social graph network
Intel Labs China（英特尔中国研究院）
由于现实世界中人类社会行为的复杂性和未来运动的不确定性，行人轨迹预测是一项具有挑战性的任务。对于第一个问题，现有的方法采用全连通拓扑结构来建模社会行为，而忽略了非对称的成对关系。为了有效地捕捉相关行人的社会行为，我们利用有向社会图，这是动态构建的及时位置和速度方向。基于社会图，我们进一步提出了一个网络来收集社会效果，并与个人表示积累，以产生面向目的地和社会意识的表示。对于第二个问题，而不是建模的不确定性，整个未来作为一个整体，我们利用时间随机方法顺序学习的不确定性在社会互动的先验模型。然后通过对先验模型进行采样并使用分层LSTM进行渐进解码来生成下一步骤的预测。在两个公共数据集上的实验结果表明了该方法的有效性，特别是在非常拥挤的场景中预测轨迹时。
2019-07-24 cs.CV
Convolutional Neural Network for Trajectory Prediction
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
预测行人的轨迹是与人类共享相同环境的自主机器人的精髓。为了有效和安全地与人类互动，轨迹预测需要精确和计算效率。在这项工作中，我们提出了一种基于卷积神经网络（CNN）的人体轨迹预测方法。不像最近的基于LSTM的摩尔出席顺序每帧，我们的模型支持增加并行性和有效的时间表示。所提出的紧凑型CNN模型比当前的方法更快，但仍然产生有竞争力的结果。
2018-11-26 cs.CV
LTN: Long-Term Network for Long-Term Motion Prediction
Colby College（科尔比学院）
在机器人进行自主导航任务时，对周围的物体（如行人和车辆）进行准确的运动预测是一项关键任务。最近关于多模态轨迹预测的研究，包括回归和分类方法，在短期预测方面表现非常好。然而，当涉及到长期预测时，大多数基于长短期记忆（LSTM）的模型往往偏离真实情况。因此，在这项工作中，我们提出了一个两阶段的长期轨迹预测框架，这是长期网络（LTN）。我们的长期网络集成了回归和分类方法。我们首先使用条件变分自编码器（CVAE）生成一组具有我们提出的分布的建议轨迹，然后使用二进制标签对其进行分类，并输出具有最高分数的轨迹。我们通过对两个真实世界行人数据集的实验来展示我们的长期网络的性能：ETH/UCY，斯坦福无人机数据集（SDD）和一个具有挑战性的真实世界驾驶预测数据集：nuScenes。结果表明，我们的方法在长期轨迹预测的准确性方面优于多种最先进的方法。
2020-10-15 cs.CV
Predictive Coding Based Multiscale Network with Encoder-Decoder LSTM for Video Prediction
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对传统预测编码模型无法预测未来的问题，提出嵌入编解码LSTM的多尺度预测编码视频预测模型，改进训练策略，在多个数据集上取得良好性能。
2023-10-08 cs.AI cs.CV
Soft Attention: Does it Actually Help to Learn Social Interactions in Pedestrian Trajectory Prediction?
Polytechnique Montreal（蒙特利尔理工学院）
针对行人轨迹预测中的软注意力社会交互模型，本文通过随机噪声替代和 $L_0$ 门控剪枝实验证明，模型在预测时并未利用社会信息。
2021-06-16 cs.CV cs.LG
Deep-Person: Learning Discriminative Deep Features for Person Re-Identification
Huazhong University of Science and Technology（华中科技大学）
最近，许多人重新识别（Re-ID）的方法依赖于基于部件的特征表示来学习有区别的行人描述符。然而，这些部分之间的空间上下文对于每个单独部分的独立提取器被忽略。在本文中，我们建议以端到端的方式应用长短期记忆（LSTM）来建模行人，将其视为从头到脚的身体部位序列。结合上下文信息增强了局部表征的区分能力。我们还利用局部和全局特征之间的互补信息。此外，我们将识别任务和排名任务集成在一个网络中，其中同时学习判别嵌入和相似性度量。这导致了一种名为Deep-Person的新的三分支框架，该框架学习了人Re-ID的高度区分特征。实验结果表明，Deep-Person在三个具有挑战性的数据集（包括Market-1501，CUHK 03和DukeMTMC-reID）上的性能大大优于最先进的方法。具体来说，结合重新排名的方法，我们实现了90.84%的市场上的mAP-1501在单一的查询设置。
2019-09-09 cs.CV
Human trajectory prediction using LSTM with Attention mechanism
Isfahan University of Technology（伊斯法罕理工大学）
提出一种结合LSTM与注意力机制的人类轨迹预测模型，通过注意力分数聚焦关键输入特征，在ETH和UCY数据集上相比Social LSTM在ADE和FDE上分别提升6.2%和6.3%。
2023-09-01 cs.CV cs.RO
Social-IWSTCNN: A Social Interaction-Weighted Spatio-Temporal Convolutional Neural Network for Pedestrian Trajectory Prediction in Urban Traffic Scenarios
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出Social-IWSTCNN，融合时空特征与社会交互提取器，在Waymo城市数据集上超越SOTA模型，显著提升轨迹预测精度与速度。
2021-05-26 cs.AI cs.CV cs.LG
TrafficPredict: Trajectory Prediction for Heterogeneous Traffic-Agents
Baidu Research（百度研究院）；Baidu Inc（百度公司）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；University of Maryland at College Park（马里兰大学帕克分校）
为了在复杂的城市交通中安全有效地导航，自动驾驶汽车必须对周围的交通代理（车辆、自行车、行人等）做出负责任的预测。探索不同交通智能体的运动模式并准确预测它们的未来轨迹，以帮助自主车辆做出合理的导航决策，是一项具有挑战性和关键性的任务。为了解决这个问题，我们提出了一种基于长短期记忆（LSTM）的实时流量预测算法，JupicPredict。我们的方法使用一个实例层来学习实例的移动和交互，并有一个类别层来学习属于同一类型的实例的相似性，以改进预测。为了评估其性能，我们收集了一个大城市的轨迹数据集，包括不同的条件和交通密度。该数据集包括许多具有挑战性的场景，其中车辆，自行车和行人相互移动。我们在新的数据集上评估了MPEGICPredict的性能，并通过与先前的预测方法进行比较，突出了其更高的轨迹预测准确性。
2019-04-09 cs.CV cs.RO
Navigating Uncertainty: The Role of Short-Term Trajectory Prediction in Autonomous Vehicle Safety
University of Limerick（利默里克大学）；Valeo Vision Systems（法雷奥视觉系统公司）；DSW, Valeo India（法雷奥印度DSW）
本文针对自动驾驶轨迹预测缺乏复杂场景数据的问题，基于 CARLA 构建含 6000 帧及 IMU、里程计信息的合成数据集，并提出 CNN-LSTM 端到端模型以处理行人横穿等安全关键场景。
2023-07-12 cs.CV
Context-Aware Trajectory Prediction
University of Florence（佛罗伦萨大学）；University of Padova（帕多瓦大学）
拥挤空间中的人类运动和行为受到几个因素的影响，例如场景中其他移动代理的动态，以及可能被视为吸引点或障碍物的静态元素。在这项工作中，我们提出了一个新的模型，人类轨迹预测，这是能够利用人与人和人与空间的相互作用。人类的未来轨迹是通过观察他们过去的位置和与周围环境的互动而产生的。为此，我们提出了一种“上下文感知”的递归神经网络LSTM模型，它可以学习和预测人行道、博物馆或购物中心等拥挤空间中的人体运动。我们在公共行人数据集上评估了我们的模型，并贡献了一个新的具有挑战性的数据集，该数据集收集了人类在（真实）拥挤的空间（如大型博物馆）中导航的视频。结果表明，我们的方法可以更好地预测人类轨迹相比，以前的国家的最先进的预测模型。
2017-05-06 cs.CV
Adaptive Deep Metric Embeddings for Person Re-Identification under Occlusions
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）
遮挡情况下的人员重新识别是视频监控中的一个难题。现有的人的ReID方法大多利用局部特征来处理遮挡。然而，这些方法通常独立地从图像的局部区域提取特征，而不考虑不同局部区域之间的关系。在本文中，我们提出了一种新的人的ReID方法，学习局部区域之间的空间依赖关系，并提取基于长短期记忆（LSTM）的行人图像的判别特征表示，处理遮挡问题。特别是，我们提出了一种新的损失（称为自适应最近邻损失）的分类不确定性的基础上，有效地减少类内的变化，同时扩大类间差异的自适应邻域内的样本。所提出的损失使得深度神经网络能够自适应地学习判别度量嵌入，这显著提高了识别看不见的人身份的泛化能力。在具有挑战性的人ReID数据集上进行的广泛比较评估表明，与几种最先进的方法相比，所提出的方法的性能得到了显着改善。
2020-02-07 cs.CV
Multi-Level Sequence GAN for Group Activity Recognition
Queensland University of Technology（昆士兰科技大学）
我们提出了一种新的半监督，多层次的顺序生成对抗网络（MLS-GAN）架构的群体活动识别。与以前利用手动注释的个人人类动作预测的工作相比，我们允许模型学习自己的内部表示，以发现有助于最终群体活动识别任务的相关子活动。生成器被输入通过LSTM网络在时间上映射的人级和场景级特征。通过新的门控融合单元，能够考虑长期的依赖关系，探索所有个人的行动之间的关系，学习一个中间表示或“行动代码”的当前组活动的基于XML的功能融合。该网络通过允许它执行组动作分类以及对抗性真/假验证来实现其半监督行为。我们对不同的架构变体进行了广泛的评估，以证明所提出的架构的重要性。此外，我们表明，利用人的水平和场景水平的功能，有利于组活动预测比只使用人的水平的功能。我们提出的架构在排球和集体活动数据集上的运动和基于行人的分类任务方面优于当前最先进的结果，表明它对于有效学习群体活动具有灵活性。
2018-12-18 cs.CV
Social-Pose: Enhancing Trajectory Prediction with Human Body Pose
Visual Intelligence for Transportation (VITA) lab（视觉交通智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院洛桑校区）
针对自动驾驶中人体轨迹预测未充分利用人体视觉线索的问题，提出基于注意力的Social-pose姿态编码器，可集成到多种预测架构，在多个数据集上提升主流模型性能，并探究了姿态维度、噪声及机器人导航应用相关问题。
2025-07-30 cs.CV
