Attention-Aware Multi-View Pedestrian Tracking
University of Surrey（萨里大学）
针对多视角行人跟踪中透视变换导致特征畸变的问题，提出结合早期融合与交叉注意力机制的新模型，实现跨帧鲁棒关联与特征传播，在Wildtrack和MultiviewX数据集上性能优于现有模型。
2025-04-03 cs.CV
OccluTrack: Rethinking Awareness of Occlusion for Enhancing Multiple Pedestrian Tracking
IEEE Publication Technology Group（IEEE出版技术组）
本文提出自适应遮挡感知多行人跟踪器OccluTrack，通过在卡尔曼滤波中引入异常运动抑制机制、姿态引导Re-ID模块及遮挡感知关联方法，有效缓解部分遮挡影响，在MOTChallenge和DanceTrack数据集上取得SOTA性能。
2025-04-26 cs.AI cs.CV
Transferable Physical-World Adversarial Patches Against Pedestrian Detection Models
Huazhong University of Science and Technology（华中科技大学）
本文提出TriPatch方法，结合多阶段协同攻击与物理多样性下的鲁棒性增强，解决现有物理攻击在多阶段决策管道系统中缺乏系统性干扰和复杂物理变化建模不足的问题。
2026-04-24 cs.CV
Sparse Pedestrian Character Learning for Trajectory Prediction
Xi’an Jiaotong University（西安交通大学）；Wormpex AI Research（Wormpex人工智能研究院）；Anhui University（安徽大学）
提出双流稀疏特征网络TSNet，通过稀疏特征图学习去除负面影响的行人特征，改进轨迹嵌入，在PIE和JAAD数据集上优于现有方法。
2023-11-27 cs.CV
Integrating Language-Derived Appearance Elements with Visual Cues in Pedestrian Detection
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出利用大型语言模型从描述语料库中提取行人外观知识元素，并将其与视觉线索结合以增强行人检测，在CrowdHuman和WiderPedestrian两个基准上取得了最先进性能。
2024-04-30 cs.CV
Pedestrian Detection by Exemplar-Guided Contrastive Learning
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））
典型的行人检测方法集中在解决拥挤的行人之间的相互遮挡，或处理不同尺度的行人。检测具有大量外观变化的行人，例如不同的行人轮廓、不同的视点或不同的穿着，仍然是一个至关重要的挑战。而不是学习每个这些不同的行人外观特征，因为大多数现有的方法做，我们建议进行对比学习，以指导特征学习的方式，在学习的特征空间中，具有不同外观的行人之间的语义距离最小化，以消除外观的差异，而行人和背景之间的距离最大化。为了提高对比学习的效率和有效性，我们构建了一个具有代表性的行人外观作为先验知识的样本字典，以构建有效的对比训练对，从而指导对比学习。此外，构造的范例字典进一步利用行人建议在推理过程中的质量，通过测量建议和范例字典之间的语义距离。白天和夜间的行人检测实验验证了该方法的有效性。
2022-07-09 cs.CV
Pedestrian Detection Inspired by Appearance Constancy and Shape Symmetry
Tianjin University（天津大学）；Chinese Academy of Sciences（中国科学院）
特征的区分度和简单性对于有效和高效的行人检测非常重要。然而，大多数国家的最先进的方法是无法实现良好的准确性和效率之间的权衡。灵感来自于行人的一些简单的固有属性（即，外观恒定性和形状对称性），我们提出了两种新类型的非相邻特征（NNF）：侧内差异特征（SIDF）和对称相似特征（SSF）。SIDF可以表征背景与行人之间的差异以及行人轮廓与其内部的差异。SSF能够捕捉行人形状的对称相似性。然而，相邻特征很难具有上述特征化能力。最后，我们建议结合非相邻和相邻特征进行行人检测。研究发现，非相邻特征可以进一步降低平均误检率4.44%。在INRIA和Caltech行人数据集上的实验结果表明了该方法的有效性和高效性。与不使用CNN的最先进方法相比，我们的方法在加州理工学院实现了最佳检测性能，优于第二好的方法（即，检查板）1.63%。
2015-11-25 cs.CV
Hyper-STTN: Hypergraph Augmented Spatial-Temporal Transformer Network for Trajectory Prediction
School of Applied and Creative Computing, Purdue University（普渡大学应用与创意计算学院）；Department of Computer Science and Department of Intelligent Systems Engineering, Indiana University Bloomington（印第安纳大学布卢明顿分校计算机科学系和智能系统工程系）；Department of Applied Artificial Intelligence, Sungkyunkwan University（成均馆大学应用人工智能系）
本文提出Hyper-STTN，通过构建多尺度超图和时空变换器，有效建模人群轨迹预测中的群体和个体交互，实验表明其优于现有方法。
2026-03-20 cs.CV cs.LG
Detecting 32 Pedestrian Attributes for Autonomous Vehicles
EPFL（洛桑联邦理工学院）；Sorbonne Université（索邦大学）
行人可以说是城市地区自动驾驶汽车考虑的最安全的道路使用者之一。在本文中，我们解决的问题，联合检测行人和识别32个行人属性从一个单一的图像。这些包括视觉外观和行为，还包括道路交叉口的预测，这是一个主要的安全问题。为此，我们引入了一个多任务学习（MTL）模型依赖于一个复合领域的框架，它以一种有效的方式实现这两个目标。每个字段在空间上定位行人实例，并聚合它们的属性预测。这种公式自然地利用了空间背景，使其非常适合自动驾驶等低分辨率场景。通过增加联合学习的属性数量，我们强调了与梯度尺度相关的问题，这在MTL中出现了许多任务。我们通过将来自不同目标函数的梯度归一化来解决这个问题，当它们在反向传递过程中加入网络架构的分叉时，称为分叉归一化。在JAAD上进行了实验验证，JAAD是一个为自动驾驶车辆的行人分析提供众多属性的数据集，并显示了竞争性的检测和属性识别结果，以及更稳定的MTL训练。
2021-08-27 cs.CV cs.LG eess.IV
Accurate pedestrian localization in overhead depth images via Height-Augmented HOG
Eindhoven University of Technology（埃因霍温理工大学）
我们通过在前所未有的高密度条件下进行头顶深度成像，解决了在现实生活条件下可靠自动定位行人的挑战。利用类似于定向约束的特征描述符的直方图、神经网络、数据增强和自定义数据注释策略的组合，这项工作贡献了一种鲁棒且可扩展的基于机器学习的定位算法，该算法实时提供接近人类的定位性能，即使在局部行人密度约为3 ped/m2的情况下，在这种情况下，大多数现有技术的算法在性能上显著降级。
2018-05-31 cs.CV
CA3Net: Contextual-Attentional Attribute-Appearance Network for Person Re-Identification
University of Science and Technology of China（中国科学技术大学）
人员重新识别旨在跨非重叠的相机视图识别相同的行人。最近，深度学习技术已经被应用于人的重新识别，以学习行人外观的表示。本文提出了一种新的上下文-注意属性-外观网络（CA 3 Net）的人重新识别。CA 3 Net同时利用语义属性和视觉外观之间的互补性，属性之间的语义上下文，对属性的视觉注意力以及身体部位之间的空间依赖性，从而产生有区别的和鲁棒的行人表示。具体来说，CA 3 Net中的属性网络是用Attention-LSTM模块设计的。它将网络集中在与每个属性相关的潜像区域上，并通过LSTM模块利用属性之间的语义上下文。开发了一个外观网络，用于学习行人全身、水平和垂直身体部位的外观特征，以及身体部位之间的空间依赖性。CA 3 Net以多任务学习方式联合学习属性和外观特征，生成行人的综合表示。在两个具有挑战性的基准上进行了广泛的实验，即，Market-1501和DukeMTMC-reID数据集的实验结果表明了该方法的有效性。
2018-11-19 cs.CV
Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks
University of Technology Sydney（悉尼科技大学）
预测共享城市交通环境中行人的轨迹仍然被认为是自动驾驶汽车（AV）发展面临的挑战性问题之一。在文献中，这个问题通常使用递归神经网络（RNN）来解决。尽管RNN在捕获行人运动轨迹的时间依赖性方面具有强大的能力，但在处理较长的序列数据时，它们受到了挑战。因此，在这项工作中，我们引入了一个基于Transformer网络的框架，该框架最近被证明在许多基于序列的任务中更有效，并且优于RNN。我们依赖于过去的位置信息，代理交互信息和场景物理语义信息的融合作为我们的框架的输入，以提供一个强大的行人轨迹预测。我们已经在共享城市交通环境中的两个真实行人数据集上评估了我们的框架，并且在短期和长期预测范围内都优于比较的基线方法。
2021-08-08 cs.CV
Augmented LiDAR Simulator for Autonomous Driving
Baidu（百度）
在自动驾驶（AD）中，道路上障碍物的检测和跟踪是一项关键任务。使用带注释的LiDAR数据的基于深度学习的方法是最广泛采用的方法。不幸的是，注释3D点云是一项非常具有挑战性、耗时耗钱的任务。在本文中，我们提出了一种新的激光雷达模拟器，它用合成障碍物（例如，汽车、行人和其他可移动物体）。与以前完全依赖CG模型和游戏引擎的模拟器不同，我们的增强模拟器绕过了创建高保真背景CAD模型的要求。相反，我们可以简单地部署一辆带有LiDAR扫描仪的车辆来扫描感兴趣的街道，以获得背景点云，并在此基础上自动生成带注释的点云。这种独特的“扫描和模拟”功能使我们的方法具有可扩展性和实用性，可用于大规模工业应用。在本文中，我们详细描述了我们的模拟器，特别是障碍物的位置，这是提高性能的关键。我们表明，仅使用我们模拟的LiDAR点云的探测器就可以使用这些用真实数据训练的点云进行重复检测（在两个百分点内）。混合真实和模拟数据可以达到95%以上的准确度。
2019-04-10 cs.CV
Deep Similarity Metric Learning for Real-Time Pedestrian Tracking
检测跟踪是解决多目标跟踪问题的常用方法。在本文中，我们展示了学习深度相似性度量如何在多对象跟踪基准上改善行人跟踪的三个关键方面。我们训练一个卷积神经网络来学习一个大的人重新识别数据集上的连体结构中的嵌入函数。离线训练的嵌入网络被集成到跟踪公式中，以提高性能，同时保留实时的【形】性能。建议的跟踪器存储外观指标，而检测是强的，使用此外观信息：防止ID开关，通过闭塞相关联的tracklet，并提出新的检测检测器的信心是低的。该方法在评价中取得了有竞争力的结果，特别是在在线的、实时的【形】方法中。我们提出了一个消融研究，显示我们的深度外观指标的三种用途中的每一种的影响。
2019-11-11 cs.CV
Temporal Attribute-Appearance Learning Network for Video-based Person Re-Identification
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）
基于视频的行人再识别是指在不同时间、不同地点的监控视频中匹配特定的行人。人的属性和外观是相辅相成的，两者都有助于行人匹配。在这项工作中，我们提出了一种新的时间属性外观学习网络（TALNet）的视频为基础的人重新识别。TALNet同时利用人类属性和外观从视频中学习全面有效的行人表示。它探索了硬视觉注意和属性的时间-语义上下文，以及身体部位之间的时空依赖性，以促进对它们的学习。具体地说，提出了一个属性分支网络的空间注意力块和时间语义上下文块学习鲁棒属性表示。空间注意力块将网络集中在与每个属性相关的视频帧内的对应区域上，时间-语义上下文块学习跨视频帧的每个属性的时间上下文和每个视频帧中的属性之间的语义上下文。外观分支网络的目的是学习有效的外观表示从整个身体和身体部位之间的时空依赖性。TALNet利用属性和外观表示之间的互补性，并通过多任务学习方式联合优化它们。此外，我们在两个常用的视频数据集中为每个行人标注ID级属性。在这些数据集上进行的大量实验验证了TALNet优于最先进的方法。
2020-09-09 cs.CV
A Memory-Augmented Multi-Task Collaborative Framework for Unsupervised Traffic Accident Detection in Driving Videos
Shenzhen University（深圳大学）；University of Macau（澳门大学）
提出记忆增强多任务协作框架MAMTCF，通过光流重建与未来物体定位任务协作同时建模外观变化和物体运动，并引入记忆增强机制，提升驾驶视频中无监督交通事故检测性能。
2023-07-27 cs.AI cs.CV
Rt-Track: Robust Tricks for Multi-Pedestrian Tracking
Yunnan Normal University（云南师范大学）
目标跟踪分为单目标跟踪（SOT）和多目标跟踪（MOT）。MOT的目标是在一系列连续的视频序列中保持多个对象的身份。近年来，MOT取得了长足的进步。然而，在复杂场景中建立物体的运动和外观模型仍然面临着各种挑战性的问题。本文提出了一种新的平滑轨迹预测的方向一致性方法（STP-DC），以提高运动信息的建模能力，克服以往方法在复杂场景下鲁棒性不足的缺点。现有的方法使用行人重新识别（Re-ID）来建模外观，但他们提取更多的背景信息，缺乏可区分的遮挡和拥挤的场景。我们提出了一个超粒度特征嵌入网络（HG-FEN），以加强外观模型的建模，从而产生强大的外观描述符。我们还提出了其他鲁棒性技术，包括CF-ECM存储强大的外观信息和SK-AS提高关联精度。为了实现国家的最先进的性能在MOT，我们提出了一个强大的跟踪器名为RT跟踪，结合各种技巧和技术。在MOT 17的测试集上，Rt-track的MOTA、IDF 1和HOTA分别达到79.5、76.0和62.1。在MOT 20的测试集上，Rt-track的MOTA、IDF 1和HOTA分别达到77.9、78.4和63.3，超过了所有已发表的方法。
2023-03-16 cs.CV
Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification
Carnegie Mellon University（卡内基梅隆大学）
基于运动关联的多目标跟踪（MOT）最近重新取得了突出的崛起，强大的目标检测器。尽管如此，除了简单的启发式模型外，几乎没有做过什么工作来整合外观线索，这些模型对特征退化缺乏鲁棒性。在本文中，我们提出了一种新的方法来利用对象的外观自适应地集成到现有的高性能的基于运动的方法的外观匹配。在基于纯运动的方法OC-SORT的基础上，我们分别以63.9和64.9的HOTA在MOT 20和MOT 17上获得第一名和第二名。我们还在具有挑战性的DanceTrack基准测试中实现了61.3 HOTA，即使与更重设计的方法相比，也是一种新的最先进的方法。代码和型号可在\url{https://github.com/GerardMaggiolino/Deep-OC-SORT}上获得。
2023-02-23 cs.CV
AADS: Augmented Autonomous Driving Simulation using Data-driven Algorithms
Baidu Research（百度研究院）；Deepwise AI Lab（深度智谷人工智能实验室）；Zhejiang University（浙江大学）；University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）；University of Maryland（马里兰大学）
仿真系统已成为自动驾驶技术开发和验证的重要组成部分。目前最先进的模拟方法是使用游戏引擎或高保真计算机图形（CG）模型来创建驾驶场景。然而，创建CG模型和车辆运动（例如，用于模拟的资产）仍然是一项人工任务，可能是昂贵和耗时的。此外，CG图像的保真度仍然缺乏真实世界图像的丰富性和真实性，使用这些图像进行训练会导致性能下降。在本文中，我们提出了一种解决这些问题的新方法：增强自动驾驶模拟（AADS）。我们的配方增加了现实世界的图片与模拟交通流，以创建照片般逼真的模拟图像和渲染。更具体地说，我们使用激光雷达和相机来扫描街景。从获取的轨迹数据中，我们为汽车和行人生成高度可信的交通流，并将其组成背景。合成图像可以用不同的视点和传感器模型重新合成。生成的图像具有照片般的真实感，完全注释，并可用于从感知到规划的自动驾驶系统的端到端培训和测试。我们解释了我们的系统设计，并通过从检测到分割和预测的许多自动驾驶任务验证了我们的算法。与传统方法相比，我们的方法提供了无与伦比的可扩展性和现实主义。可扩展性对于AD模拟尤其重要，我们认为现实世界的复杂性和多样性无法在虚拟环境中真实地捕捉。我们的增强方法结合了虚拟环境中的灵活性（例如，车辆运动）与真实世界的丰富性，以允许对地球上任何地方的有效模拟。
2020-10-29 cs.CV
Artificial Dummies for Urban Dataset Augmentation
CIIRC CTU（捷克理工大学CIIRC）
用于训练图像中的行人检测器的现有数据集遭受有限的外观和姿势变化。最具挑战性的场景很少被包括在内，因为它们由于安全原因太难捕获，或者它们不太可能发生。辅助和自动驾驶应用中严格的安全要求也要求在这些罕见的情况下具有极高的检测精度。能够生成具有任意姿态、任意外观并嵌入具有不同照明和天气条件的不同背景场景中的人物图像，是开发和测试此类应用程序的关键组成部分。本文的贡献有三个方面。首先，我们描述了一种增强方法，用于控制合成包含人的城市场景，从而产生罕见或从未见过的情况。这是通过一个数据生成器（称为DummyNet）来实现的，它可以对姿势、外观和目标背景场景进行分离控制。其次，建议的生成器依赖于新的网络架构和相关的损失，考虑到前景的人和其组成到背景场景的分割。最后，我们证明了我们的DummyNet生成的数据提高了几个现有的人检测器在各种数据集以及在具有挑战性的情况下，如夜间条件下，只有有限的训练数据可用的性能。在只有白天数据可用的设置中，我们通过$17\%$对数平均未命中率来改进夜间检测器。
2020-12-15 cs.CV
Pose-Aided Video-based Person Re-Identification via Recurrent Graph Convolutional Network
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Chongqing Normal University（重庆师范大学）；National Center for Applied Mathematics in Chongqing（重庆国家应用数学中心）；Northeast Forestry University（东北林业大学）；Inner Mongolia University（内蒙古大学）；Southern University of Science and Technology（南方科技大学）
现有的基于视频的行人再识别方法主要通过特征提取器和特征聚合器学习行人的外观特征。然而，当不同的行人具有相似的外观时，外观模型会失败。考虑到不同的行人有不同的行走姿势和身体比例，我们建议学习的区别性的姿态特征以外的外观特征的视频检索。具体来说，我们实现了一个两分支架构，分别学习外观特征和姿势特征，然后将它们连接在一起进行推理。为了学习姿势特征，我们首先通过现成的姿势检测器检测每帧中的行人姿势，并使用姿势序列构建时间图。然后利用递归图卷积网络（RGCN）学习时间姿态图的节点嵌入，设计全局信息传播机制，同时实现帧内节点的邻域聚合和帧间图的消息传递.最后，提出了一种由节点注意力和时间注意力组成的双注意力方法，利用自注意力机制学习每个节点和每个帧的重要性，从节点嵌入中获得时间图表示。我们在三个基于视频的ReID数据集上验证了所提出的方法，即，Mars、DukeMTMC和iLIDS-VID的实验结果表明，学习的姿态特征可以有效地提高现有外观模型的性能。
2022-09-23 cs.CV
LLM-Guided Transformation of Non-Critical Driving Scenes into Safety-Critical Scenarios Using Augmented Reality
C-DRiVeS Lab: Cognitive Driving Research in Vehicular Systems（C-DRiVeS实验室：车辆系统认知驾驶研究实验室）；German University in Cairo（开罗德国大学）
本文提出一种结合计算机视觉、LLM和AR的自动化流水线，将安全驾驶场景转换为安全关键场景，在nuScenes上实现97.52%分类准确率，生成逼真测试场景。
2026-09-18 cs.AI cs.CV cs.RO
Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association
Hyundai Motor Company（现代汽车公司）；RMIT University（皇家墨尔本理工大学）；SI-Analytics Company, Ltd.（SI分析有限公司）；GIST（韩国科学技术院）
在在线多目标跟踪中，行人视觉场景之间的外观和几何相似性建模非常重要。与几何模型相比，外观模型中的固有信息的更高维度在许多方面是有问题的。然而，由于最近基于深度学习的方法的成功，处理高维外观信息变得可行。在众多的深度神经网络中，具有三重丢失的连体网络作为一种有效的外观特征提取器被广泛采用。由于Siamese网络可以独立地提取每个输入的特征，因此可以更新和维护特定于目标的特征。但是，它不适用于需要与其他输入进行比较的多目标设置。为了解决这个问题，我们提出了一种新的轨迹外观模型的基础上的联合推理网络。所提出的方法使两个输入的比较用于自适应外观建模，并有助于消除目标观测匹配的歧义和身份一致性的巩固。不同的实验结果支持我们的方法的有效性。我们的工作在CVPR 2019举办的BMTT MOTChallenge 2019中被评为第三名。该代码可在https://github.com/yyc9268/Deep-TAMA上获得。
2020-10-09 cs.CV cs.LG eess.IV
Real-Time RGB-D based Template Matching Pedestrian Detection
行人检测是计算机视觉和机器人领域的研究热点之一。针对多行人检测中的难点问题，提出了一种实时的【形】基于深度的模板匹配人检测器。在本文中，我们提出了不同的方法来训练基于深度的模板。我们训练多个模板来处理由于行人的各种上半身方向和行人与相机的各种距离的深度图中的不同细节水平而引起的问题。并且，我们考虑到不同区域的滑动窗口的可靠性程度，提出了加权模板的方法。此外，我们结合了深度检测器与基于外观的检测器作为验证器，以利用外观线索来处理深度数据的限制。我们在具有挑战性的ETH数据集序列上评估了我们的方法。我们表明，我们的方法优于国家的最先进的方法。
2016-10-03 cs.CV cs.RO
Deep Person Re-identification for Probabilistic Data Association in Multiple Pedestrian Tracking
Cornell University（康奈尔大学）
我们提出了一种用于基于视觉的多行人跟踪的数据关联方法，使用深度卷积特征来根据外观区分不同的人。这些重新识别（re-ID）特征被学习，使得它们对于诸如旋转、平移和背景中的变化之类的变换是不变的，从而允许一致地识别移动通过场景的行人。我们将重新ID功能到一个通用的数据关联似然模型的多人跟踪，实验验证此模型，使用它来执行跟踪在两个评估视频序列，并检查性能的改善相比，获得了几个基线方法。我们的研究结果表明，使用深度人re-ID进行数据关联大大提高了跟踪鲁棒性，以应对遮挡和路径交叉等挑战。
2018-10-19 cs.CV
Robust Real-time Pedestrian Detection in Aerial Imagery on Jetson TX2
在无人机捕获的航拍图像中检测行人具有许多应用，包括交叉路口监控、巡逻和监视等。然而，这个问题涉及到由于continuouslychanging相机的观点和对象的外观，以及需要轻量级的算法上运行的板上嵌入式系统。为了解决这个问题，本文提出了一个基于YOLO目标检测网络[6]的视频行人检测框架，同时在Jetson TX 2嵌入式板上具有超过5 FPS的高吞吐量。该框架利用深度学习实现强大的操作，并使用预先训练的模型，而无需任何额外的训练，这使得它可以灵活地应用于不同的设置，只需最少的调整。当应用于嵌入式实时的【形】推理（ERTI）挑战赛的样本视频时，该方法实现了~81 mAP，其中行人由无人机监视。
2019-05-16 cs.CV
Beyond Appearance: A Multi-cue Framework and Large-scale Benchmark for Pedestrian Association and Tracking on Mobile Aerial-Ground Platforms
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机科学学院）；Ningbo Institute, Northwestern Polytechnical University（西北工业大学宁波研究院）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（国家空天地海一体化大数据应用技术工程实验室）；Shenzhen University of Advanced Technology（深圳先进技术研究院）
该研究针对移动空地平台上行人关联与跟踪面临的视点变化问题，提出FUSION框架，含MAC和OMFS模块，还引入大规模基准测试RealMvMoAT，实验表明FUSION在多个测试中达领先性能，为相关研究提供了资源。
2026-07-28 cs.CV cs.MM
Looking at the right stuff: Guided semantic-gaze for autonomous driving
UC San Diego（加州大学圣迭戈分校）
近年来，预测驾驶员的注意力焦点一直是自动驾驶社区中非常活跃的研究领域。不幸的是，现有的最先进的技术通过仅依赖于人类凝视信息来实现这一点，从而忽略了场景语义。我们提出了一种新的语义增强凝视（SAGE）检测方法，捕获驾驶特定的上下文信息，除了原始的凝视。这种组合的注意力机制用作聚焦于图像帧中的相关区域以便使驾驶既安全又高效的有力工具。利用这一点，我们设计了一个完整的显着性预测框架- SAGE-Net，它通过考虑到重要的方面，如到对象的距离（深度），自我车辆速度和行人过街意图，修改了SAGE的初始预测。通过四种流行的显着性算法进行的详尽实验表明，在$\mathbf{49/56\text{ }(87.5\%)}$的情况下-考虑到整个数据集和关键的驾驶场景，SAGE优于现有的技术，在训练过程中没有任何额外的计算开销。增加的数据集以及相关代码可作为补充材料的一部分。
2020-03-31 cs.CV cs.RO
GaitMPL: Gait Recognition with Memory-Augmented Progressive Learning
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Lab（上海人工智能实验室）；Merit Interactive Co., Ltd.（每日互动股份有限公司）
针对步态识别中由协变量和剪影特性导致的难样本问题，提出含动态重加权渐进学习模块与全局结构对齐记忆库的GaitMPL网络，在CASIA-B等数据集上取得当前最优性能。
2023-06-06 cs.CV
Does Appearance Help? A Systematic Study of Image-Based Re-Identification in Online 3D Multi-Pedestrian Tracking
Institute of Systems and Robotics, Department of Electrical and Computer Engineering, University of Coimbra（系统与机器人研究所，电气与计算机工程系，科英布拉大学）
系统研究轻量级投影框架下图像重识别在在线3D多目标追踪中的作用，提出级联匹配策略以在低延迟下恢复遮挡轨迹并防止身份切换。
2026-06-05 cs.CV cs.LG cs.RO
Multi-level Memory-augmented Appearance-Motion Correspondence Framework for Video Anomaly Detection
Xiamen University（厦门大学）；PKU-Wuhan Institute for Artificial Intelligence（北京大学-武汉人工智能研究院）
基于AutoEncoder的帧预测在无监督视频异常检测中起着重要的作用。理想情况下，在正常数据上训练的模型可以产生更大的异常预测误差。然而，外观和运动信息之间的相关性没有得到充分利用，这使得模型缺乏对正常模式的理解。此外，由于深度AutoEncoder的不可控制的泛化性，这些模型不能很好地工作。为了解决这些问题，我们提出了一个多层次的记忆增强的外观运动对应框架。通过外观-运动语义对齐和语义替换训练，探索外观和运动之间的潜在对应关系。此外，我们还引入了一个记忆引导抑制模块，利用与正常原型特征的差异来抑制跳连接造成的重构能力，实现正常数据的良好重构和异常数据的不良重构之间的折衷。实验结果表明，该框架在UCSD Ped 2、CUHK Avenue和ShanghaiTech数据集上的AUC分别为99.6%、93.8%和76.3%，优于现有的方法.
2023-03-09 cs.CV
Robust Real-Time Pedestrian Detection on Embedded Devices
Center for Informatics Science, Nile University（尼罗大学信息学中心）
在嵌入式设备（例如机器人和无人机上的嵌入式设备）上检测行人具有许多应用，包括道路交叉口监测、安全、人群监测和监视等。然而，这个问题可能是具有挑战性的，由于不断变化的相机的观点和不同的对象外观，以及需要轻量级的算法适合嵌入式系统。本文提出了一个强大的框架，行人检测在许多镜头。该框架对不同的图像区域进行精细和粗略的检测，并利用时间和空间特性来提高嵌入式板上的准确性和实时的性能。该框架使用Yolo-v3目标检测[1]作为其骨干检测器，并在Nvidia Jetson TX 2嵌入式板上运行，但也可以使用其他检测器和/或板。该框架的性能在两个已建立的数据集上得到了证明，并在CVPR 2019嵌入式实时的推理（ERTI）挑战赛中获得了第二名。
2020-12-13 cs.CV
Multispectral Pedestrian Detection with Sparsely Annotated Label
Kyung Hee University（庆熙大学）
针对现有多光谱稀疏标注行人检测方法伪标签质量不足、学习外观有限的问题，提出SAMPD框架，通过MPAW、PPE提升伪标签质量，APRA扩充学习样本，显著提升稀疏标注下的检测性能。
2025-01-15 cs.CV
Contour-Guided Spectral Routing for Robust Real-Time Pedestrian Detection
University of California, Los Angeles (UCLA)（加州大学洛杉矶分校）
提出轮廓引导的频谱路由方法，通过有序融合空间、频谱和边界信息，并采用小波子带训练增强，在CityPersons上实现实时行人检测性能提升。
2026-09-15 cs.CV
Pedestrian Attribute Recognition: A New Benchmark Dataset and A Large Language Model Augmented Framework
School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）
针对现有PAR数据集跨域性不足、性能饱和且近年无大规模公开数据集的问题，本文提出含6万余张图像、57个属性的跨域数据集MSP60K，构建LLM增强的PAR框架LLM-PAR，经多基准实验验证其有效性。
2024-08-19 cs.AI cs.CL cs.CV
Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer
Technische Universität Berlin（柏林工业大学）
针对手机引发的行人分心问题，提出多模态融合Transformer（MFT），融合骨骼动态与视觉特征，利用跨模态和时间注意力，在287个行人实例数据集上达到95%准确率，超越六种基线6%。
2026-09-22 cs.CV
Pedestrian Tracking by Probabilistic Data Association and Correspondence Embeddings
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
本文研究了运动学（位置和速度）和外观线索之间的相互作用，以建立多目标行人跟踪的对应关系。我们研究了基于深度学习检测器、联合集成概率数据关联（JIPDA）和基于外观的深度对应嵌入跟踪的检测跟踪方法。我们首先通过微调卷积检测器来实现准确的行人检测，并将其与仅运动学的JIPDA相结合来解决固定摄像头设置。最终提交的作品在3DMOT 2015基准中排名第一。然而，在具有移动相机和未知自我运动的序列中，我们通过用深度对应嵌入的全局最近邻跟踪替换运动学线索来实现最佳结果。我们通过使用由边际项扩展的角度损失来微调ResNet-18第二块的特征来训练嵌入。我们注意到，直接在JIPDA中集成深度对应嵌入并没有带来显着的改进。看来，软数据关联的深度对应嵌入的几何结构需要进一步研究，以便从两个世界中获得最佳效果。
2019-07-16 cs.CV cs.LG cs.RO
Discriminative Pedestrian Features and Gated Channel Attention for Clothes-Changing Person Re-Identification
College of Computer Science；Technology Nanjing University of Aeronautics；School of Information；Artificial Intelligence Anhui Agriculture University Hefei, China
针对换衣行人重识别中外观变化的挑战，提出结合行人解析的解耦特征提取与门控通道注意力方法，在两个标准数据集上取得超越现有方案的Top-1准确率。
2024-10-29 cs.CV
Towards Generalizable Person Re-identification with a Bi-stream Generative Model
可推广的人再识别（re-ID）由于其强大的适应能力，在看不见的数据域引起了越来越多的关注。然而，现有的解决方案通常忽略交叉相机（例如，照明和分辨率差异）或行人未对准（例如，视点和姿态差异），这在适应新领域时容易导致较差的泛化能力。在本文中，我们将这些困难表述为：1）摄像机（CC）问题，这表示不同的相机引起的各种人的外观变化; 2）摄像机（CP）问题，这表示在不同的相机视点或改变姿势的情况下，由同一身份的人引起的行人错位。为了解决上述问题，本文提出了一种双流生成模型（BGM），该模型融合了摄像机不变的全局特征和摄像机对齐的局部特征来学习图像的细粒度表示，包含一个编码网络和两个流解码子网络。在原始行人图像的引导下，通过过滤跨相机干扰因素，使用一个流来学习用于CC问题的相机不变全局特征。对于CP问题，另一个流使用信息完整的密集语义对齐的部分地图学习行人对齐的局部特征。提出了部分加权的损失函数，以减小缺失部分对行人线形的影响。大量的实验表明，我们的方法优于国家的最先进的方法在大规模的可推广的re-ID基准，涉及领域泛化设置和跨域设置。
2022-06-26 cs.CV
AA-SGAN: Adversarially Augmented Social GAN with Synthetic Data
Department of Computer Science, University of Turin（计算机科学系，都灵大学）
针对合成轨迹不真实导致预测模型训练效果差的问题，提出对抗增强方法在训练时增强合成轨迹，显著提升最先进生成模型在真实轨迹上的预测性能。
2024-12-23 cs.AI cs.CV
SA-Person: Text-Based Person Retrieval with Scene-aware Re-ranking
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院人工智能与机器人中心）；Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统（MAIS））；Wuhan University（武汉大学）；University of Chinese Academy of Sciences（中国科学院大学）
SA-Person通过整合个体外观和全局场景上下文，提升基于文本的人检索准确性，提出ScenePerson-13W数据集和两阶段检索框架。
2025-11-22 cs.CV
PedFormer: Pedestrian Behavior Prediction via Cross-Modal Attention Modulation and Gated Multitask Learning
Huawei（华为）；York University（约克大学）
行人行为预测是智能驾驶系统的关键任务。准确的预测需要深入了解可能影响行人行为方式的各种上下文元素。为了应对这一挑战，我们提出了一个新的框架，依赖于不同的数据模式来预测未来的轨迹和行人从自我为中心的角度穿越动作。具体来说，我们的模型利用跨模态的Transformer架构来捕获不同数据类型之间的依赖关系。Transformer的输出增强了行人和其他交通代理之间的互动的表示条件下的行人和自我车辆的动态，通过语义注意的互动模块生成。最后，使用门控共享网络将上下文编码馈送到多流解码器框架中。我们在公共行人行为基准PIE和JAAD上评估了我们的算法，并表明我们的模型在各种指标上分别将轨迹和动作预测的最新水平提高了22%和13%。通过广泛的消融研究，我们的模型的组件所带来的优势进行了研究。
2022-10-14 cs.CV cs.RO
Positional Encoding Augmented GAN for the Assessment of Wind Flow for Pedestrian Comfort in Urban Areas
Norwegian University of Science and Technology（挪威科技大学）；University of Stavanger（斯塔万格大学）；Elsevier B.V.（爱思唯尔出版集团）；STM Document Engineering Pvt Ltd.（STM文档工程私人有限公司）
使用计算流体动力学（CFD）方法来近似风流动可能是耗时的。创建用于交互式设计原型的工具，同时观察风流变化需要更简单的模型来更快地模拟。数据驱动的方法和深度学习可能会在很短的时间内给出类似的结果，而不是运行数值近似来进行详细的计算。这项工作重新措辞的问题，从计算三维流场计算流体动力学的二维图像到图像的投影为基础的问题上的建筑足迹，以预测在行人高度水平的流场。我们研究了生成对抗网络（GAN）的使用，例如Pix 2 Pix [1]和CycleGAN [2]代表了各个领域中最先进的图像到图像翻译任务以及U-Net自动编码器[3]。模型可以以数据驱动的方式学习数据集的底层分布，我们认为这可以帮助模型从CFD学习底层的雷诺平均Navier-Stokes（RANS）方程。我们实验上的各种三维虚张声势的形状的建筑物的高度信息和没有新的模拟数据集。此外，我们提出了一个广泛的定性和定量评估生成的图像选择的模型，并比较其性能与CFD提供的模拟。然后，我们表明，添加位置数据的输入可以产生更准确的结果，提出了一个通用的框架，注入这些信息的不同架构。此外，我们表明，通过应用注意力机制和谱归一化来促进稳定的训练，模型的性能得到了改善。
2022-01-04 cs.AI cs.CV cs.LG
Scene-Specific Pedestrian Detection Based on Parallel Vision
The State Key Laboratory for Management and Control of Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统管理与控制国家重点实验室）；Qingdao Academy of Intelligent Industries（青岛智能产业研究院）；Research Center for Computational Experiments and Parallel Systems Technology, National University of Defense Technology（国防科技大学计算实验与平行系统技术研究中心）
作为目标检测的一种特殊类型，一般场景下的行人检测在人工训练大量带标签的训练数据的基础上取得了显著的进展。而使用通用数据集训练的模型在直接用于特定场景时效果不佳。由于特殊的视点、流动光和背景，来自特定场景的数据集与来自一般场景的数据集有很大的不同。为了使通用场景行人检测器在特定场景中工作良好，需要从特定场景中标记数据，以适应特定场景的模型。虽然手动标记数据花费了大量的时间和金钱，特别是对于特定场景，每次使用新的特定场景，都必须标记大量的图像。另外，人工标注信息在像素点上并不准确，不同的人标注的信息也不一样。本文提出了一种基于ACP的方法，借助增强现实技术，构建特定场景的虚拟世界，并使人在虚拟场景中行走，从而解决了缺乏标记数据的问题，结果表明，虚拟世界中的数据有助于通用行人检测器适应特定场景。
2017-12-23 cs.CV
RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学）；School of Artificial Intelligence, Anhui University（人工智能学院，安徽大学）
本文提出RGB-事件多模态行人属性识别任务，构建含100K配对样本的EventPAR数据集，并设计基于RWKV的非对称融合框架，在多个数据集上取得最先进性能。
2025-08-06 cs.AI cs.CV
Augmented Memory for Correlation Filters in Real-Time UAV Tracking
Tongji University（同济大学）；National University of Singapore（新加坡国立大学）；The University of Hong Kong（香港大学）
鉴别相关滤波器（DCF）出色的计算效率随着各种复杂的改进而逐渐消失。在DCF框架的传统外观更新方案中，由于历史视图的指数衰减，以前的外观也逐渐被遗忘，降低了模型的鲁棒性。在这项工作中，提出了一种新的跟踪器DCF框架的基础上，以增加内存的以前出现的意见，同时运行在实时的【形】速度。在训练中同时引入几个历史视图和当前视图，以允许跟踪器适应新的外观并记住以前的外观。提出了一种新的快速压缩上下文学习算法，有效地提高了滤波器的区分能力。在UAVDT和UAV123数据集上的大量实验已经验证了所提出的跟踪器与其他26个顶级DCF和深基跟踪器相比具有竞争力，CPU上的FPS超过40。
2019-09-24 cs.CV
Motion-Augmented Self-Training for Video Recognition at Smaller Scale
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
本文的目标是在未标记的视频集合上自训练3D卷积神经网络，以部署在小规模视频集合上。由于较小的视频数据集更多地受益于运动而不是外观，因此我们努力使用光流来训练我们的网络，但避免在推理过程中进行计算。我们提出了第一个运动增强的自我训练制度，我们称之为MotionFit。我们首先在一个小的、有标签的视频集合上对运动模型进行监督训练。通过运动模型，我们为大量未标记的视频集合生成伪标签，这使我们能够通过学习使用外观模型预测这些伪标签来传递知识。此外，我们引入了多剪辑损失作为一种简单而有效的方法来提高伪标记的质量，即使没有额外的辅助任务。我们还考虑了在外观模型的自训练过程中视频的时间粒度，这在以前的作品中是遗漏的。因此，我们得到了一个强大的运动增强表示模型，适合视频下游的任务，如动作识别和剪辑检索。在小规模视频数据集上，MotionFit在使用相同数量的类标签的情况下，知识转移的性能优于替代方案5%-8%，仅视频自我监督的性能优于替代方案1%-7%，半监督学习的性能优于替代方案9%-18%。
2021-05-04 cs.CV
TSCA-Net: Temporal-Spatial Clique Attention for Interpretable Multimodal Pedestrian Trajectory Prediction
针对拥挤环境中行人轨迹预测难题，提出TSCA-Net框架，含时空团块注意力、跨行人团块势、自适应KAN网格细化三个模块，经实验验证其性能最优，消融研究证实模块互补作用。
2026-07-15 cs.CV
The P-DESTRE: A Fully Annotated Dataset for Pedestrian Detection, Tracking, Re-Identification and Search from Aerial Devices
Instituto de Telecomunicações（电信研究所）；University of Beira Interior（贝拉内格罗大学）；India Statistical Institute（印度统计研究所）；JSS Science and Technology University（JSS科技大学）
在过去的几十年里，世界目睹了城市空间安全面临的日益增长的威胁，这增强了能够检测、跟踪和识别人群中感兴趣的人的视觉监控解决方案的相关性。特别是，无人驾驶飞行器（无人机）是这种分析的潜在工具，因为它们提供了一种廉价的数据汇集方式，覆盖了大片和难以到达的地区，同时减少了人力需求。在这种情况下，所有可用的数据集都专门适合于行人重新识别问题，其中每个ID的多相机视图是在一天内拍摄的，并且允许使用服装外观特征进行识别。因此，本文的主要贡献有两个方面：1）我们宣布了基于无人机的P-DESTRE数据集，这是第一个在多天内提供一致的ID注释的数据集，使其适用于极具挑战性的人员搜索问题，即，其中不能可靠地使用服装信息。除此之外，P-DESTRE注释还支持对基于无人机的行人检测、跟踪、重新识别和软生物识别解决方案的研究; 2）我们将最先进的行人检测、跟踪、重新识别和搜索技术在知名监控数据集中获得的结果与相同技术在P-DESTRE数据中获得的有效性进行了比较。这种比较能够确定每个任务中基于无人机的数据中最有问题的数据退化因素，并可用作此类技术后续进展的基线。数据集和经验评估的全部细节可在http://p-destre.di.ubi.pt/上免费获得。
2020-04-06 cs.CV
Dynamic Group Detection using VLM-augmented Temporal Groupness Graph
Toyota Technological Institute（丰田技术研究所）
针对视频动态人类群体检测问题，提出经群体检测增强的VLM提取帧内局部与全局特征，结合含所有帧群体度概率的图做全局优化实现动态群体检测，性能在公开数据集上超越现有最优方法。
2025-09-05 cs.CV
CrowdTrack: A Benchmark for Difficult Multiple Pedestrian Tracking in Real Scenarios
Fudan University（复旦大学）
本文提出大规模困难多行人跟踪基准CrowdTrack，包含33个真实复杂场景视频和5,185条轨迹，并通过全面分析与多模型测试为复杂场景跟踪算法研究提供平台。
2025-07-03 cs.AI cs.CV
Multi-Object Tracking by Iteratively Associating Detections with Uniform Appearance for Trawl-Based Fishing Bycatch Monitoring
University of Washington（华盛顿大学）；National Institute of Water and Atmospheric Research（国家水与大气研究所）；BetterFishing Ltd.（BetterFishing有限公司）
本文针对拖网渔业监测中鱼类目标外观均匀、传统MOT方法不适用的难题，提出一种基于迭代关联模块的MOT方法，可嵌入现有跟踪算法，在水下鱼类数据集和MOT17上均优于现有方法且不增加延迟。
2023-04-10 cs.CV
IAN: The Individual Aggregation Network for Person Search
National University of Singapore（新加坡国立大学）
现实世界中的人物搜索是一个新的具有挑战性的计算机版本的任务与许多有意义的应用。这项任务的挑战主要来自：（1）行人的边界框不可用，模型需要在整个图库图像中搜索人;（2）由于不同的姿势，照明条件和遮挡，特定人的视觉外观存在巨大差异。为了解决这两个关键问题，在现代人的搜索应用程序，我们提出了一种新的个人聚合网络（IAN），可以准确地定位的人通过学习，以尽量减少内部的人的特征变化。IAN建立在最先进的目标检测框架之上，即，更快的R-CNN，以便以在线方式为行人提供高质量的区域建议。此外，为了减轻由同一个体的不同视觉外观引起的负面影响，IAN引入了一种新的中心损失，可以增加特征表示的类内紧凑性。参与中心的缺失促使具有相同身份的人具有相似的特征。在两个基准上的广泛实验结果，即，中大中山大学和PRW的算例充分证明了该模型的优越性。特别是，IAN实现了77.23%的mAP和80.45%的前1名的准确性，分别超过了1.7%和1.85%的最先进的，中大中山大学。
2017-05-16 cs.CV
Vision Meets Wireless Positioning: Effective Person Re-identification with Recurrent Context Propagation
University of Science and Technology of China（中国科学技术大学）
现有的人的重新识别方法依赖于视觉传感器来捕获行人。视觉传感器获取的图像或视频数据不可避免地会受到遮挡和行人姿态变化的影响，从而降低了行人的再识别性能，进一步限制了其在开放环境中的应用。另一方面，对于大多数人来说，最重要的随身物品之一就是手机，手机可以通过WiFi和蜂窝网络以无线定位信号的形式感知。这种信号对行人遮挡和视觉外观变化具有鲁棒性，但存在一定的定位误差。在这项工作中，我们的方法与视觉和无线定位的传感数据的人重新识别。为了利用这种跨模态的线索，我们提出了一种新的经常性的上下文传播模块，使信息之间的视觉数据和无线定位数据的传播，并最终提高匹配精度。为了评估我们的方法，我们贡献了一个新的无线定位人员重新识别（WP-ReID）数据集。大量的实验表明，该算法的有效性。代码将在https://github.com/yolomax/WP-ReID上发布。
2020-09-04 cs.CV
