基于前景-背景对比学习的夜间行人检测

可见光与红外图像馈源中的弱光行人检测：问题与挑战

Low-light Pedestrian Detection in Visible and Infrared Image Feeds: Issues and Challenges

Lakehead University（湖首大学）

本文回顾了弱光行人检测方法的最新进展，系统分类分析了基于区域、非基于区域及基于图学习的多种算法，并概述了可用于弱光场景研发的关键基准数据集。

2025-06-25cs.AIcs.CVcs.LG

一种端到端的前景感知网络用于人员重新识别

An End-to-End Foreground-Aware Network for Person Re-Identification

University of Science and Technology of China（中国科学技术大学）；Huawei Cloud EI Product Department（华为云EI产品部）；Cloud & AI, Huawei Technologies（华为技术有限公司云与智能业务部）

人员重新识别是在多个监控摄像机视图中识别感兴趣的行人的关键任务。在行人身份识别中，行人通常是由包含场景背景的矩形图像区域提取特征来表示的，这会导致识别不同行人的模糊性，降低识别的准确性。为此，我们提出了一个端到端的前景感知网络，通过学习软掩模来重新识别人，从而区分前景和背景。在我们的方法中，除了行人ID作为前景的监督，我们引入了每个行人图像的摄像机ID的背景建模。前景分支和背景分支协同优化。通过呈现目标注意力损失，从前景分支提取的行人特征变得对背景更不敏感，这大大降低了改变背景对在不同相机视图中匹配相同的行人的负面影响。值得注意的是，与现有方法相比，我们的方法不需要任何额外的数据集来训练人类地标检测器或用于定位背景区域的分割模型。在三个具有挑战性的数据集上进行的实验结果，即，Market-1501、DukeMTMC-reID和MSMT 17证明了我们方法的有效性。

2021-03-06cs.CV

基于神经网络的鲁棒多视点行人跟踪

Robust Multi-view Pedestrian Tracking Using Neural Networks

University of Dayton（代顿大学）

在本文中，我们提出了一个实时鲁棒的多视角行人检测和跟踪系统的视频监控神经网络，可用于动态环境。该系统包括两个阶段：多视角行人检测和跟踪。首先，行人检测利用背景差分分割前景斑点。提出了一种自适应背景减除方法，将输入图像的每个像素作为高斯混合模型，并使用在线近似来更新模型，应用于前景区域的提取。然后评估高斯分布，以确定哪些最有可能来自背景过程。该方法在室外环境中产生稳定、实时的跟踪器，能够一致地处理光照条件的变化和长时间的场景变化。其次，跟踪分两个阶段进行：行人分类和跟踪个体主体。在前景二值图像上应用滑动窗口来选择输入窗口，该输入窗口用于从实际输入帧中选择输入图像块。神经网络用于PHOG特征的分类。最后，应用卡尔曼滤波器来计算用于跟踪的后续步骤，该后续步骤旨在找到输入图像中的行人的准确位置。实验结果表明，该方法在不同基准数据集上的多视角行人检测和跟踪方面具有良好的性能。

2017-04-21cs.CV

行人检测十年，我们学到了什么？

Ten Years of Pedestrian Detection, What Have We Learned?

Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）

我们通过讨论加州理工学院行人检测基准中目前存在的40多个检测器中探索的主要思想，分析了过去十年的显著进展。我们观察到，存在三个家庭的方法，目前都达到类似的检测质量。基于我们的分析，我们研究了最有前途的想法，结合多个已发表的战略的互补性。这种新的决策森林检测器在具有挑战性的加州理工学院-美国数据集上实现了当前最知名的性能。

2014-11-16cs.CV

我们离解决行人检测还有多远？

How Far are We from Solving Pedestrian Detection?

Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）

受行人检测的最新进展的鼓舞，我们研究了当前最先进的方法和“完美的单帧检测器”之间的差距。我们通过创建行人检测的人类基线（在加州理工学院的数据集上），并通过手动聚类顶级检测器的经常性错误来实现我们的分析。我们的研究结果表征本地化和背景与前景的错误。为了解决定位误差，我们研究了训练注释噪声对检测器性能的影响，并表明即使使用一小部分经过消毒的训练数据，我们也可以提高检测器性能。为了解决背景/前景歧视，我们研究了行人检测的convnets，并讨论了哪些因素影响其性能。除了我们的深入分析之外，我们还报告了加州理工学院数据集的最佳性能，并提供了一组新的经过消毒的训练和测试注释。

2016-06-21cs.CV

用于行人检测的滤波通道特征

Filtered Channel Features for Pedestrian Detection

Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）

本文首先观察到，多个性能最好的行人检测器可以通过使用中间层过滤低级别的功能与提升决策森林相结合来建模。基于这一观察，我们提出了一个统一的框架和实验探索不同的过滤器家庭。我们报告了广泛的结果，使系统的分析。使用过滤通道特征，我们在具有挑战性的加州理工学院和KITTI数据集上获得了最佳性能，同时仅使用HOG+LUV作为低级特征。当添加光流特征时，我们进一步提高了检测质量，并报告了加州理工学院数据集上最知名的结果，在1 FPPI时达到93%的召回率。

2015-01-23cs.CV

BiPOCO：基于姿态约束的双向轨迹预测行人异常检测

BiPOCO: Bi-Directional Trajectory Prediction with Pose Constraints for Pedestrian Anomaly Detection

University of Michigan（密歇根大学）

我们提出了一个双向轨迹预测器BiPOCO，用于检测视频中行人的异常活动。与之前基于特征重建的工作相比，我们的工作通过预测行人未来的轨迹并将预测与预期进行比较来识别行人异常事件。我们引入了一组新的组合姿势为基础的损失与我们的预测和杠杆预测误差的每个身体关节的行人异常检测。实验结果表明，我们的BiPOCO方法可以检测行人异常活动的检测率高（高达87.0%），并结合姿势约束有助于区分正常和异常的预测姿势。这项工作扩展了使用基于预测的方法进行异常检测的现有文献，可以使自动驾驶和监控等安全关键型应用受益。代码可在https://github.com/akanuasiegbu/BiPOCO上获得。

2022-07-05cs.CV

基于上下文增强Transformer网络的行人轨迹预测

Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks

University of Technology Sydney（悉尼科技大学）

预测共享城市交通环境中行人的轨迹仍然被认为是自动驾驶汽车（AV）发展面临的挑战性问题之一。在文献中，这个问题通常使用递归神经网络（RNN）来解决。尽管RNN在捕获行人运动轨迹的时间依赖性方面具有强大的能力，但在处理较长的序列数据时，它们受到了挑战。因此，在这项工作中，我们引入了一个基于Transformer网络的框架，该框架最近被证明在许多基于序列的任务中更有效，并且优于RNN。我们依赖于过去的位置信息，代理交互信息和场景物理语义信息的融合作为我们的框架的输入，以提供一个强大的行人轨迹预测。我们已经在共享城市交通环境中的两个真实行人数据集上评估了我们的框架，并且在短期和长期预测范围内都优于比较的基线方法。

2021-08-08cs.CV

一种行人遮挡程度的客观分类方法

An Objective Method for Pedestrian Occlusion Level Classification

National University of Ireland, Galway（爱尔兰国立大学戈尔韦）；Atlantic Technological University（大西洋理工大学）

行人检测是自动驾驶汽车驾驶员辅助系统中最重要的安全功能之一。最复杂的检测挑战之一是部分遮挡，其中目标对象由于另一个前景对象的遮挡而仅部分地可用于传感器。许多当前的行人检测基准提供了部分遮挡的注释，以评估算法在这些场景中的性能，然而每个基准在其对遮挡的发生和严重程度的定义方面差异很大。此外，当前的遮挡水平注释方法包含人类注释者的高度主观性。这可能导致算法对部分被遮挡行人的检测性能的报告不准确或不一致，这取决于使用的基准。本研究提出一种新的，客观的行人遮挡水平分类方法的地面实况注释。通过识别可见的行人关键点，并通过使用一种新的，有效的方法的二维体表面积估计的遮挡水平分类。实验结果表明，该方法反映了图像中行人的像素级遮挡水平，并且对所有形式的遮挡都是有效的，包括具有挑战性的边缘情况，如自遮挡，截断和相互遮挡行人。

2022-05-31cs.CV

更快的R-CNN是否适合行人检测？

Is Faster R-CNN Doing Well for Pedestrian Detection?

Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）

行人检测已经被认为是一般目标检测之外的一个特殊课题。虽然最近的深度学习对象检测器，如Fast/Faster R-CNN [1，2]，在一般目标检测方面表现出了出色的性能，但它们在检测行人方面的成功有限，并且以前的领先行人检测器通常是结合手工制作和深度卷积特征的混合方法。在本文中，我们研究了涉及Faster R-CNN [2]的行人检测问题。我们发现Faster R-CNN中的区域建议网络（RPN）确实作为独立的行人检测器表现良好，但令人惊讶的是，下游分类器降低了结果。我们认为，两个原因占不满意的准确性：（i）处理小实例的特征映射的分辨率不足，以及（ii）缺乏任何自举策略挖掘硬负的例子。在这些观察的推动下，我们提出了一个非常简单但有效的行人检测基线，使用RPN，然后在共享的高分辨率卷积特征图上增强森林。我们在几个基准（Caltech，INRIA，ETH和KITTI）上全面评估了该方法，呈现出具有竞争力的准确性和良好的速度。代码将公开提供。

2016-07-27cs.CV

重新思考跨域行人检测：面向无实例单阶段检测器的背景聚焦分布对齐框架

Rethinking Cross-Domain Pedestrian Detection: A Background-Focused Distribution Alignment Framework for Instance-Free One-Stage Detectors

Fudan University（复旦大学）；University of Cambridge（剑桥大学）；Shanghai AI Laboratory（上海人工智能实验室）

针对单阶段行人检测器在跨域场景中仅能进行图像级对齐且易出现前景-背景错位的问题，本文提出背景聚焦分布对齐框架BFDA，通过解耦背景特征并利用长短程判别器实现更有效的跨域对齐。

2023-09-15cs.AIcs.CV

弱势道路使用者的意图-通过机器学习进行检测和预测

Intentions of Vulnerable Road Users - Detection and Forecasting by Means of Machine Learning

University of Applied Sciences Aschaffenburg（阿沙芬堡应用科学大学）；University of Kassel（卡塞尔大学）；Ulm University（乌尔姆大学）

使用基于传感器的紧急情况早期识别来避免与易受伤害的道路使用者（VRU）的碰撞是智能车辆领域当前发展所提供的多种机会之一。特别是行人和骑自行车的人非常敏捷，有各种各样的运动选择，建模他们的行为在交通场景是一项具有挑战性的任务。在这篇文章中，我们提出了基于机器学习方法，特别是人工神经网络的运动模型，以分类当前的运动状态，并预测未来的轨迹VRU。这两种模型类型还被组合在一起，以支持基于连续更新的伪概率状态分类来应用专门训练的运动预测器。此外，该架构被用来评估特定于运动的物理模型的启动和停止和基于视频的行人运动分类。一个全面的数据集，包括1068行人和494骑自行车的场景在城市交叉口采集用于优化，训练和评估不同的模型。结果表明，与交互式多模型（IMM）卡尔曼滤波相比，机器学习方法具有更高的分类率和更早识别运动状态变化的能力。对于各种测试场景，尤其是包含启动和停止运动的场景，轨迹预测质量也有所提高。在这里，平均分别实现了37%和41%的低位置误差。

2018-03-09cs.CV

用于行人检测的深度卷积神经网络

Deep convolutional neural networks for pedestrian detection

Politecnico di Milano（米兰理工大学）

行人检测是一个热门的研究课题，因为它对许多应用至关重要，特别是在汽车，监控和机器人领域。尽管有了显著的改进，行人检测仍然是一个开放的挑战，需要越来越准确的算法。在过去的几年里，深度学习，特别是卷积神经网络，在图像分类、目标检测和分割等许多计算机视觉任务的准确性方面成为最先进的技术，通常远远超过以前的黄金标准。在本文中，我们提出了一种基于深度学习的行人检测系统，使通用卷积网络适应手头的任务。通过彻底分析和优化检测流水线的每一步，我们提出了一种优于传统方法的架构，实现了接近最先进方法的任务精度，同时需要较低的计算时间。最后，我们在NVIDIA Jetson TK1上测试了该系统，这是一个192核平台，预计将成为未来自动驾驶汽车的先驱计算大脑。

2016-03-07cs.CV

部分遮挡对行人可检测性的影响

The Impact of Partial Occlusion on Pedestrian Detectability

Atlantic Technological University（大西洋理工大学）；University of Galway（戈尔韦大学）

针对行人检测中部分遮挡的主观分类问题，研究提出了客观基准，在0-99%遮挡级别下表征七种主流模型，发现CenterNet性能最佳，RetinaNet最低。

2023-07-27cs.CVeess.IV

Camo-M3FD：一种新的跨光谱伪装行人检测基准数据集

Camo-M3FD: A New Benchmark Dataset for Cross-Spectral Camouflaged Pedestrian Detection

ESPOL Polytechnic University（ESPOL理工大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Software Engineering Department, Research Center for Information and Communication Technologies (CITIC-UGR), University of Granada（格拉纳达大学软件工程系，信息与通信技术研究中心（CITIC-UGR））；Università della Svizzera Italiana（瑞士意大利大学）

本文提出Camo-M3FD数据集，用于跨光谱伪装行人检测，通过高精度图像对和标准化评估框架提升检测性能。

2026-04-17cs.AIcs.CV

基于注意力机制和FasterNet的改进YOLOv5用于铁路和航空轨道异物检测

Improved YOLOv5 Based on Attention Mechanism and FasterNet for Foreign Object Detection on Railway and Airway tracks

Stevens Institute of Technology（史蒂文斯理工学院）；Northern Arizona University（北亚利桑那大学）；University of Electronic Science and Technology of China（电子科技大学）；Shenzhen SmartChip Microelectronics Technology Co., Ltd.（深圳市智芯微电子技术有限公司）

本文提出结合FasterNet和注意力机制的改进YOLOv5架构，并构建AARFOD数据集，用于铁路和机场跑道异物检测，在提升检测精度的同时显著降低了模型参数和计算量。

2024-11-17cs.CV

S-AT GCN：基于空间注意力图卷积网络的三维目标检测特征增强

S-AT GCN: Spatial-Attention Graph Convolution Network based Feature Enhancement for 3D Object Detection

State Key Laboratory of Automotive Safety and Energy（汽车安全与节能国家重点实验室）；School of Vehicle and Mobility（车辆与动力学院）；Tsinghua University（清华大学）

三维目标检测在自主车辆的环境感知中起着至关重要的作用，是自主车辆进行决策和控制的前提。本文分析了基于划分方法的固有缺陷。在分割操作中，单个实例（如行人）被切成几块，我们称之为分割效应。我们提出了空间注意力图卷积（S-AT GCN），形成特征增强（FE）层来克服这个缺点。S-AT GCN利用图卷积和空间注意力机制来提取局部几何结构特征。这允许网络为前台提供更有意义的功能。我们在KITTI 3D物体和鸟瞰图检测上的实验表明，S-AT Conv和FE层是有效的，特别是对于小物体。FE层将行人类性能提高了3.62%，将自行车类3D mAP提高了4.21%。这些额外的FE层的时间成本是有限的。带FE层的PointPillars可以实现48个PFS，满足实时性要求。

2021-03-15cs.CV

用于行人轨迹预测的时空图元路径分析

Meta-path Analysis on Spatio-Temporal Graphs for Pedestrian Trajectory Prediction

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

提出MESRNN框架，利用时空图中的元路径特征增强Structural RNN，应用于行人轨迹预测，在长时间跨度预测上性能提升超32%，并生成更具社会合规性的轨迹。

2022-02-27cs.AIcs.CVcs.LG

CADP：一种用于CCTV交通摄像机事故分析的新型数据集

CADP: A Novel Dataset for CCTV Traffic Camera based Accident Analysis

Carnegie Mellon University（卡内基梅隆大学）；University of Tokyo（东京大学）

本文提出了一种新的数据集的交通事故分析。我们的目标是解决缺乏公共数据的研究自动时空标注的道路交通安全。通过对拟议数据集的分析，我们观察到由于场景的对象大小和复杂性，数据集中行人类别的目标检测显着下降。为此，我们建议使用上下文挖掘（CM）和增强上下文挖掘（ACM）将上下文信息集成到传统的Faster R-CNN中，以补充小型行人检测的准确性。我们的实验表明，在目标检测的准确性相当大的改善：+8.51%的CM和+6.20%的ACM。最后，我们使用Faster R-CNN和Accident LSTM架构在我们的数据集中展示了事故预测的性能。我们在事故发生时间方面达到了平均1.684秒，平均精度为47.25%。我们的网页是https://goo.gl/cqK2wE

2018-11-16cs.CVcs.MM