Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer
Technische Universität Berlin（柏林工业大学）
针对手机引发的行人分心问题，提出多模态融合Transformer（MFT），融合骨骼动态与视觉特征，利用跨模态和时间注意力，在287个行人实例数据集上达到95%准确率，超越六种基线6%。
2026-09-22 cs.CV
Multispectral Deep Neural Networks for Pedestrian Detection
Rutgers University（罗格斯大学）；UNC Charlotte（北卡罗来纳大学夏洛特分校）
多光谱行人检测对于全天候应用至关重要，例如，监控和自动驾驶。我们深入分析了用于多光谱行人检测任务的Faster R-CNN，然后将其建模为卷积网络（ConvNet）融合问题。此外，我们发现，基于ConvNet的行人检测器分别由彩色或热图像训练，在区分人类实例时提供了补充信息。因此，通过在DNN中同时使用彩色和热图像来改善行人检测有很大的潜力。我们精心设计了四个ConvNet融合架构，在不同的DNN阶段集成了两个分支的ConvNet，与基线检测器相比，所有这些都产生了更好的性能。我们在KAIST行人基准测试上的实验结果表明，在中层卷积特征上进行融合的中途融合模型比基线方法性能高出11%，并且丢失率比其他提出的架构低3.5%。
2016-11-08 cs.CV
RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学）；School of Artificial Intelligence, Anhui University（人工智能学院，安徽大学）
本文提出RGB-事件多模态行人属性识别任务，构建含100K配对样本的EventPAR数据集，并设计基于RWKV的非对称融合框架，在多个数据集上取得最先进性能。
2025-08-06 cs.AI cs.CV
Cascaded information enhancement and cross-modal attention feature fusion for multispectral pedestrian detection
Kunming University of Science and Technology（昆明理工大学）
多光谱行人检测是一种在彩色和热图像中检测和定位行人的技术，在自动驾驶、视频监控等领域有着广泛的应用。由于没有考虑彩色和热图像中行人信息和背景噪声的混淆，目前已有的多光谱行人检测算法在行人检测中取得的成功有限。本文提出了一种多光谱行人检测算法，该算法主要由级联信息增强模块和跨模态注意特征融合模块组成。一方面，级联信息增强模块采用通道和空间注意力机制对级联特征融合块融合的特征进行注意力加权。此外，它乘的单模态特征与注意力权重元素的元素，以增强行人特征的单模态，从而抑制来自背景的干扰。另一方面，跨模态注意力特征融合模块挖掘Color和Thermal模态的特征，使之互补，然后将互补后的跨模态特征逐元素相加，构建全局特征，并对全局特征进行注意力加权，实现两种模态特征的有效融合。最后将融合后的特征输入检测头进行行人检测和定位。广泛的实验已经进行了两个改进版本的注释（消毒注释和配对注释）的公共数据集KAIST。实验结果表明，我们的方法表现出较低的行人错过率和更准确的行人检测盒相比，比较方法。此外，烧蚀实验也验证了本文设计的各个模块的有效性。
2023-02-17 cs.CV cs.IR
A Pedestrian Detection and Tracking Framework for Autonomous Cars: Efficient Fusion of Camera and LiDAR Data
North Carolina A&T State University（北卡罗来纳农工州立大学）
提出了一种融合摄像机和激光雷达传感器数据的行人检测与跟踪新方法。为了应对与自动驾驶场景相关的挑战，提出了一种集成的跟踪和检测框架。检测阶段通过将LiDAR流转换为计算上易于处理的深度图像来执行，然后，开发深度神经网络来识别RGB和深度图像中的行人候选者。为了提供准确的信息，通过使用卡尔曼滤波器融合多模态传感器信息来进一步增强检测阶段。跟踪阶段是卡尔曼滤波器预测和光流算法的组合，以跟踪场景中的多个行人。我们在一个真实的公共驾驶数据集上评估我们的框架。实验结果表明，所提出的方法实现了显着的性能改善基线方法，仅使用基于图像的行人检测。
2021-08-27 cs.AI cs.CV cs.LG
MTF-Net: Multi-Modal Temporal Feature Fusion Network for Pedestrian Intention Prediction
Chongqing University（重庆大学）；Daffodil International University（达芙妮国际大学）
针对现有方法在单模态或粗粒度融合上的局限，提出MTF-Net，通过门控线性单元在循环框架中融合四种模态并利用多时间编码分支，在PIE和JAAD上以实时性能取得最高0.95和0.94的AUC，验证了原则性多模态融合的有效性。
2026-09-18 cs.CV
Fusion of Multispectral Data Through Illumination-aware Deep Neural Networks for Pedestrian Detection
Zhejiang University（浙江大学）；University of Twente（特文特大学）
近年来，多光谱行人检测作为一种很有前途的解决方案受到了广泛的关注，以促进全天候应用（例如安全监控和自动驾驶）的鲁棒人体目标检测。在本文中，我们证明了照明信息编码的多光谱图像可以用来显着提高行人检测的性能。提出了一种新的光照感知加权机制，以准确地描述场景的光照条件。这种照明信息被纳入到双流深度卷积神经网络中，以学习不同照明条件（白天和夜间）下的多光谱人类相关特征。此外，我们利用光照信息与多光谱数据一起生成更准确的语义分割，用于提高行人检测精度。把所有的碎片放在一起，我们提出了一个强大的框架，多光谱行人检测的多任务学习的照明感知行人检测和语义分割的基础上。我们提出的方法使用设计良好的多任务损失函数进行端到端训练，并且在KAIST多光谱行人数据集上的性能优于最先进的方法。
2018-02-27 cs.CV
Pedestrian Stop and Go Forecasting with Hybrid Feature Fusion
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
预测行人的未来运动对于自动驾驶系统在城市地区安全导航至关重要。然而，现有的预测算法通常过度依赖于过去观察到的轨迹，并且往往在突然的动态变化（例如行人突然开始或停止行走）时失败。我们建议，预测这些高度非线性的过渡应该形成一个核心组成部分，以提高运动预测算法的鲁棒性。在本文中，我们介绍了行人停走预测的新任务。考虑到缺乏合适的现有数据集，我们发布了TRANS，一个明确研究城市交通中行人停走行为的基准。我们从几个现有的数据集与行人的步行运动注释，以建立它有各种场景和行为。我们还提出了一种新的混合模型，利用特定的和场景的功能，从几种形式，视频序列和高层次的属性，并逐步融合它们，以整合多层次的上下文。我们评估了我们的模型和几个关于TRANS的基线，并为社区建立了一个新的基准来进行行人停站和出行预测。
2022-03-04 cs.AI cs.CV cs.LG
TrajFusionNet+: Transformer-Based Prediction of Pedestrian Crossing Intention via Fusion of Trajectory Representations and Scene Graphs
Perception, Robotics and Intelligent Machines Research Group (PRIME)（感知、机器人与智能机器研究组（PRIME））；Department of Computer Science, Université de Moncton（蒙克顿大学计算机科学系）
提出TrajFusionNet+，一种基于Transformer的三分支融合模型，结合轨迹序列、视觉与场景图表示，在PIE和JAAD数据集上实现最先进性能，并引入联合训练分别评估的新协议以提升泛化能力。
2026-09-11 cs.CV
Pedestrain detection for low-light vision proposal
行人检测的需求为各种视觉任务（如图像融合）带来了挑战性的问题。由于红外图像可以捕获热辐射信息，因此红外图像与可见光图像之间的图像融合可以显着提高环境限制下的目标检测能力。在我们的项目中，我们将采用图像融合技术对数据集进行预处理，然后使用视觉Transformer模型从融合图像中检测行人。在评估过程中，将在我们的融合图像上比较YOLOv5和修订的ViT模型性能
2023-03-17 cs.AI cs.CV
Pedestrian Action Anticipation using Contextual Feature Fusion in Stacked RNNs
York University（约克大学）
在城市环境中，自动驾驶汽车面临的主要挑战之一是理解和预测其他道路使用者的行为，特别是行人在交叉路口的行为。解决这个问题的常用方法是使用代理的运动历史来预测他们的未来轨迹。然而，行人表现出高度可变的行动，其中大部分不能理解没有视觉观察的行人本身和他们的周围环境。为此，我们提出了一个解决方案的问题，行人的行动预期在交叉点。我们的方法使用了一种新的堆叠RNN架构，其中从各种来源收集的信息，包括场景动态和视觉特征，在不同的处理级别上逐渐融合到网络中。我们表明，通过广泛的实证评估，该算法实现了更高的预测精度相比，替代经常性的网络架构。我们进行实验，调查的观察时间，事件和所提出的方法的性能的功能类型的长度的影响。最后，我们展示了不同的数据融合策略如何影响预测精度。
2020-05-13 cs.CV cs.RO
Revisiting Misalignment in Multispectral Pedestrian Detection: A Language-Driven Approach for Cross-modal Alignment Fusion
KAIST（韩国科学技术院）；Center for Applied Research in Artificial Intelligence (CARAI)（应用人工智能研究中心（CARAI））
针对多光谱行人检测中模态严重错位的问题，提出一种无需传统预处理校准的语言驱动框架，利用大规模视觉语言模型（LVLM）实现跨模态语义对齐，提升检测精度并扩展技术实用性。
2024-11-27 cs.CV
Pedestrian Attribute Recognition via CLIP based Prompt Vision-Language Fusion
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Information Materials and Intelligent Sensing Laboratory of Anhui Province（安徽省信息材料与智能感知实验室）；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室）；School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；Video Investigation Detachment of Hefei Public Security Bureau（合肥市公安局视频侦查支队）
本文提出将行人属性识别形式化为视觉-语言融合问题，利用CLIP结合多模态Transformer和区域感知提示调优，仅调整0.75%参数即在多个标准和零样本数据集上取得最优性能。
2024-09-02 cs.AI cs.CV
Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention
The Ohio State University（俄亥俄州立大学）
预测易受攻击的道路使用者行为是在现实世界中部署自动驾驶系统（ADS）的必要前提。行人过街意图应实时识别，尤其是对于城市驾驶。最近的工作已经显示出使用基于视觉的深度神经网络模型来完成这项任务的潜力。然而，这些模型并不稳健，某些问题仍需解决。首先，占目标行人和场景之间的相互作用的全球时空背景没有得到适当的利用。其次，融合不同传感器数据的最佳策略尚未得到彻底研究。本文针对上述局限性，引入一种新的神经网络架构，融合行人过街意图预测的时空特征。我们融合了不同的现象，如RGB图像序列，语义分割面具，和自我车辆的速度在一个最佳的方式使用注意力机制和堆栈的递归神经网络。通过详尽的消融和比较研究获得了最佳结构。在JAAD行人行为预测基准上进行的大量对比实验表明了该方法的有效性，达到了最先进的性能。我们的代码是开源的，公开可用。
2021-10-13 cs.CV
Adaptive Cross-Modal Fusion with Sparse Attention for Pedestrian Crossing Intention Prediction
Faculty of Information Science & Technology, Multimedia University（信息科学与技术学院，马来西亚多媒体大学）
研究针对自动驾驶中行人过街意图预测问题，提出ADAPT多模态框架，通过五个模块联合建模视觉和运动信息，实验证明该方法优于现有技术，在准确率和实时性上取得平衡，为智能交通等应用提供有效方案。
2026-07-15 cs.CV
GFD-SSD: Gated Fusion Double SSD for Multispectral Pedestrian Detection
Aptiv（安波福）；Rutgers University（罗格斯大学）
行人检测是自动驾驶研究中的一项重要任务。除了典型的彩色图像，热图像有利于在黑暗环境中的检测。因此，它是值得探索的综合方法，同时利用彩色和热图像。在本文中，我们提出了一种新的方法来融合颜色和热传感器使用深度神经网络（DNN）。目前最先进的DNN对象检测器从两级到一级机制不等。Faster-RCNN等两级检测器可实现更高的准确性，而Single Shot Detector（SSD）等一级检测器则表现出更快的性能。为了平衡这种权衡，特别是在考虑自动驾驶应用时，我们研究了一种融合策略，将两个SSD在颜色和热量输入上结合起来。传统的融合方法堆叠从每个通道中选择的特征并调整它们的权重。在本文中，我们提出了新的门控融合单元（GFU）的两种变体，它们学习由两个SSD中间层生成的特征图的组合。利用GFU的整个特征金字塔结构，我们提出了几个混合版本的堆栈融合和门控融合。在KAIST多光谱行人检测数据集上进行了实验。我们的门控融合双SSD（GFD-SSD）优于堆栈融合，并在基准测试中实现了最低的未命中率，推理速度比基于Faster-RCNN的融合网络快两倍。
2019-03-21 cs.CV cs.LG eess.IV
SemanticVoxels: Sequential Fusion for 3D Pedestrian Detection using LiDAR Point Cloud and Semantic Segmentation
Opel Automobile GmbH（欧宝汽车公司）；Institute of Measurement and Control Systems, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院测量与控制系统研究所）
3D行人检测在自动驾驶中是一项具有挑战性的任务，因为行人相对较小，经常被遮挡，并且容易与狭窄的垂直物体混淆。激光雷达和相机是这一任务中两种常用的传感器形式，它们应该提供补充信息。出乎意料的是，在公共基准测试中，仅使用激光雷达的检测方法往往优于多传感器融合方法。最近，PointPainting已经被提出来通过有效地融合语义分割网络的输出而不是原始图像信息来消除这种性能下降。在本文中，我们提出了一个概括的PointPainting能够在不同的层次上应用融合。在对点云进行语义增强后，将原始点数据编码为柱体，得到几何特征，将语义点数据编码为体素，得到语义特征，并进行有效的融合。在KITTI测试集上的实验结果表明，SemanticVoxels在3D和鸟瞰图行人检测基准中都达到了最先进的性能。特别是，我们的方法证明了它在检测具有挑战性的行人案例中的优势，并且优于当前最先进的方法。
2020-09-25 cs.CV cs.RO eess.IV
TrajFusionNet: Pedestrian Crossing Intention Prediction via Fusion of Sequential and Visual Trajectory Representations
Perception, Robotics and Intelligent Machines Research Group (PRIME) Department of Computer Science, Université de Moncton, Canada（感知、机器人与智能机器研究组（PRIME）计算机科学系，新不伦瑞克大学）
本文提出TrajFusionNet，通过融合序列注意力与视觉注意力分支，将未来行人轨迹和车辆速度预测作为先验，在三个常用数据集上以最低推理时间实现行人过街意图预测的最先进性能。
2025-08-27 cs.CV cs.LG
Design of Sensor Fusion Driver Assistance System for Active Pedestrian Safety
National Sun Yat-sen University（国立中山大学）；Wenzao Ursuline University of Languages（文藻外语大学）；Automotive Research and Testing Center（车辆研究测试中心）
在本文中，我们提出了一种并行架构的传感器融合检测系统，结合了摄像机和一维光检测和测距（激光雷达）传感器的目标检测。该系统包含两种目标检测方法，一种基于光流，另一种使用激光雷达。这两种传感器可以有效地弥补另一种传感器的缺陷。可以同时实现对象的位置及其横向运动信息的精确纵向精度。使用时空对齐和传感器融合的政策，我们完成了融合检测系统的发展，具有高可靠性，在距离高达20米。测试结果表明，该系统对车辆前方行人或目标检测具有较高的准确性，对特殊环境具有较强的鲁棒性。
2022-01-23 cs.CV eess.SP
Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds
Queen’s University（女王大学）
协作感知允许联网自主车辆（CAV）与附近的其他CAV交互，以增强对周围物体的感知，从而提高安全性和可靠性。它可以弥补传统车辆感知的局限性，如盲点，低分辨率和天气影响。一个有效的特征融合模型可以改善特征选择和信息聚合，进一步提高协同感知的中间融合方法的感知精度。我们提出了自适应特征融合模型与可训练的特征选择模块。我们提出的模型之一空间自适应特征融合（S-AdaFusion）在OPV 2V数据集的两个子集上的性能优于所有其他最先进的（SOTA）：用于车辆检测的默认CARLA Towns和用于领域自适应的Culver City。此外，以前的研究只测试了车辆检测的合作感知。然而，行人更有可能在交通事故中受重伤。我们使用CODD数据集评估车辆和行人检测的合作感知性能。我们的架构在CODD数据集上实现了比其他现有模型更高的车辆和行人检测平均精度（AP）。实验结果表明，与传统的单车辆感知过程相比，协同感知也提高了行人检测的准确性。
2023-01-12 cs.CV
AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory of System Control and Information Processing, Ministry of Education of China（系统控制与信息处理教育部重点实验室）
本文提出AMFD框架，通过自适应多模态融合模块有效利用教师网络的原始模态特征，提升学生网络性能，实验表明其在减少漏检率和提升平均精度方面优于现有方法。
2026-03-27 cs.CV
TFDet: Target-Aware Fusion for RGB-T Pedestrian Detection
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；Jinhua Institute of Zhejiang University（浙江大学金华研究院）；School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机学院）
TFDet提出了一种面向多光谱行人检测的目标感知融合策略，通过增强特征对比度减少噪声融合特征图引起的误报，在KAIST、LLVIP、FLIR和M3FD等基准上取得最先进性能且保持高效推理。
2024-08-27 cs.CV
MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Research Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对多光谱行人检测中的错位与模态不平衡问题，提出MS-DETR，采用松散耦合融合和实例感知模态平衡优化，在KAIST、CVC-14和LLVIP上取得优越性能。
2024-11-05 cs.CV
ATLASFusion: Aggregation Tracking with Location-Aware Sparse Fusion for Robust Spatio-Temporal Multi-View Pedestrian Tracking
Meijo University（名古屋大学）；Chubu Electric Power Co., Inc.（Chubu电力公司）
本文提出ATLASFusion框架，通过稀疏透视变换、密度感知加权聚合等技术解决多视角行人跟踪的特征畸变问题，在基准测试中提升精度与鲁棒性，且计算开销极小。
2026-08-11 cs.AI cs.CV
Fused Deep Neural Networks for Efficient Pedestrian Detection
在本文中，我们提出了一个有效的行人检测系统，设计融合多个深度神经网络（DNN）系统。行人候选人首先由Single Shot卷积多盒检测器在不同位置以各种尺度和纵横比生成。候选生成器被设计为以大量误报为代价提供大多数地面实况行人注释。然后，使用集成学习的思想部署的分类系统，以提高检测精度。该分类系统还基于多个深度验证网络和融合网络的意见对生成的候选进行分类，该融合网络利用新颖的软拒绝融合方法来调整检测结果的置信度。为了改进深度验证网络的训练，设计了一种新的软标签方法来为生成的行人候选人分配浮点标签。深度上下文聚合语义分割网络还提供场景的像素级分类，并且其结果与Single Shot检测器的检测结果软融合。我们的行人检测器在所有流行的行人检测数据集上与最先进的方法相比毫不逊色。例如，我们的融合DNN在加州理工学院行人数据集上的检测精度比所有以前的最新方法都要高，同时也是最快的。我们将加州理工学院行人数据集的对数平均错过率显著提高到7.67%，并达到了最先进的水平。
2018-05-02 cs.CV cs.LG
WTTFNet: A Weather-Time-Trajectory Fusion Network for Pedestrian Trajectory Prediction in Urban Complex
School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科技学院）
提出WTTFNet融合天气、时间与轨迹特征，提升行人轨迹预测的准确率，解决城市综合体中行人目的地预测难、类不平衡问题。
2024-05-29 cs.CV cs.LG
Learning CLIP Guided Visual-Text Fusion Transformer for Video-based Pedestrian Attribute Recognition
Anhui University（安徽大学）
针对静态图像 PAR 在遮挡和模糊等场景下不可靠的问题，提出 CLIP 引导的视觉-文本融合 Transformer，利用视频时间信息与属性语义实现行人属性预测。
2023-04-20 cs.CV cs.MM
Spatio-Contextual Deep Network Based Multimodal Pedestrian Detection For Autonomous Driving
Indian Statistical Institute（印度统计研究所）；Valeo India（法雷奥印度公司）；Valeo Visions Systems（法雷奥视觉系统公司）
行人检测是自动驾驶系统中最关键的模块。虽然相机通常用于此目的，但其质量在低光夜间驾驶场景中严重下降。另一方面，热成像相机图像的质量在类似条件下不受影响。提出了一种基于RGB和热图像的端到端多模态融合行人检测模型。其新颖的空间上下文深度网络架构能够有效地利用多模态输入。它由两个不同的可变形ResNeXt-50编码器组成，用于从两种模态中提取特征提取。这两个编码特征的融合发生在多模态特征嵌入模块（MuFEm）内，该模块由若干组一对图注意力网络和特征融合单元组成。MuFEm的最后一个特征融合单元的输出随后被传递到两个CRF以进行空间细化。通过在四个不同方向上遍历的四个RNN的帮助下应用通道注意力和上下文信息提取来实现特征的进一步增强。最后，这些特征图由单级解码器用于生成每个行人的限界框和分数图。我们已经在三个公开的多模式行人检测基准数据集（即KAIST，CVC-14和UTokyo）上对所提出的框架进行了广泛的实验。每一个的结果都提高了各自的最先进的性能。在https://youtu.be/FDJdSifuuCs上可以看到一个简短的视频，概述了这项工作及其定性结果。我们的源代码将在论文发表后发布。
2022-01-24 cs.CV
LLVIP: A Visible-infrared Paired Dataset for Low-light Vision
Beijing University of Posts and Telecommunications（北京邮电大学）
针对低光下视觉任务效果差的问题，提出包含15488对严格对齐、带行人标注的极暗场景可见光-红外配对数据集LLVIP，验证了图像融合的信息互补性并指出现有三类算法的不足，助力低光视觉研究。
2023-06-14 cs.AI cs.CV
Pedestrian Spatio-Temporal Information Fusion For Video Anomaly Detection
Unicom (Shanghai) Industry Internet Co., Ltd.（联通（上海）产业互联网有限公司）
针对当前视频异常检测不能充分利用时间信息，忽视正常行为多样性的问题，提出一种融合行人时空信息的异常检测方法。在卷积自编码器的基础上，通过编码器和解码器对输入帧进行压缩和恢复。根据输出帧与真值之间的差异实现异常检测。为了加强连续视频帧间的特征信息联系，引入残差时间偏移模块和残差通道注意模块，分别提高网络对时间信息和通道信息的建模能力。由于卷积神经网络的过度泛化，在内存增强模块中，增加了各编解码层的跳变连接，限制了自编码器过于剧烈地表现异常帧的能力，提高了网络的异常检测精度。此外，目标函数被修改的特征离散化损失，有效地区分不同的正常行为模式。在中大大道和上海科技大学数据集上的实验结果表明，该方法在满足实时性要求的同时，优于目前主流的视频异常检测方法。
2022-11-28 cs.CV
FuSSI-Net: Fusion of Spatio-temporal Skeletons for Intention Prediction Network
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Cars Technology USA（沃尔沃汽车美国技术公司）；Volvo Car Corporation（沃尔沃汽车公司）；University of California, Berkeley（加州大学伯克利分校）
行人意图识别对于开发鲁棒和安全的自动驾驶（AD）和高级驾驶员辅助系统（ADAS）功能非常重要。在这项工作中，我们开发了一个端到端的行人意图框架，在白天和夜间的情况下表现良好。我们的框架依赖于对象检测边界框结合人体姿态的骨架特征。我们研究了早期，晚期和组合（早期和晚期）融合机制，以利用骨骼特征并减少误报，以及提高意图预测性能。早期融合机制的行人意图分类的AP为0.89，精确率/召回率为0.79/0.89。此外，我们提出了三个新的指标，以适当地评估行人的意图系统。在这些新的意图预测评估指标下，所提出的端到端网络提供了准确的行人意图，比实际的危险动作提前半秒。
2020-05-15 cs.CV cs.LG eess.IV
Attention-Aware Multi-View Pedestrian Tracking
University of Surrey（萨里大学）
针对多视角行人跟踪中透视变换导致特征畸变的问题，提出结合早期融合与交叉注意力机制的新模型，实现跨帧鲁棒关联与特征传播，在Wildtrack和MultiviewX数据集上性能优于现有模型。
2025-04-03 cs.CV
GRACE: Geometry- and Ray-Aware Camera-Efficient Multi-View Pedestrian Tracking
Meijo University（名城大学）；Chubu Electric Power Co., Inc.（中部电力公司）
GRACE通过体积引导融合、射线条件化和BEV轨迹恢复，在减少相机数量下提升多视角行人跟踪性能，MOTA从83.54升至91.07。
2026-09-21 cs.CV
TriBand-BEV: Real-Time LiDAR-Only 3D Pedestrian Detection via Height-Aware BEV and High-Resolution Feature Fusion
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出TriBand-BEV方法，通过高度感知的鸟瞰图与高分辨率特征融合实现实时LiDAR-only三维行人检测，采用轻量级鸟瞰图张量映射，单网络一次通过检测车辆、行人和自行车，提升检测精度与速度。
2026-05-12 cs.AI cs.CV cs.LG
ReLoc-PDR: Visual Relocalization Enhanced Pedestrian Dead Reckoning via Graph Optimization
National University of Defense Technology（国防科技大学）
提出ReLoc-PDR，融合PDR与视觉重定位，通过图优化和Tukey核校正累积误差，在低纹理和夜间等挑战环境下仅用智能手机实现高精度鲁棒行人定位。
2023-09-04 cs.CV cs.RO
Pedestrian Detection in Low-Light Conditions: A Comprehensive Survey
University of Guilan（吉兰大学）；University of Luxembourg（卢森堡大学）；Delft University of Technology（代尔夫特理工大学）
本文综述低光照行人检测的方法、基线与数据集，分析夜间检测挑战及深度学习、特征和混合方案，并指出图像融合主流范式与 KAIST 评估现状。
2024-01-15 cs.CV
Weakly-supervised Learning of Mid-level Features for Pedestrian Attribute Recognition and Localization
Chinese Academy of Sciences（中国科学院）
现有的方法将行人属性识别视为多标签图像分类问题。在以往的工作中，人体属性的位置信息通常被删除或简单地编码在整个身体的刚性分裂。在本文中，我们制定了一个弱监督属性定位框架的任务。基于GoogLeNet，首先通过新颖设计的检测层发现一组中层属性特征，并采用基于最大池的弱监督目标检测技术，仅用图像级标签对这些层进行训练，无需行人属性的限界框标注.其次，通过检测响应幅度的回归来预测属性标签。最后，行人属性的位置和大致形状可以通过对检测层的激活图的融合执行聚类来推断，其中融合权重被估计为每个属性与其相关的中间层特征之间的相关强度。在两个目前最大的行人属性数据集上进行了大量的实验，即PETA数据集和RAP数据集。实验结果表明，该方法在属性识别方面取得了较好的效果。此外，属性定位的结果可视化，了解所提出的方法的特点。
2016-11-17 cs.CV
Cross-Modality Proposal-guided Feature Mining for Unregistered RGB-Thermal Pedestrian Detection
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对未配准RGB-红外图像对的行人检测难题，提出跨模态候选框引导特征挖掘机制与双流检测范式，结合Homography数据增强和两种NMS后处理方法，有效提升了未配准场景下的检测效果与鲁棒性。
2023-08-23 cs.CV
Hybrid Attention for Robust RGB-T Pedestrian Detection in Real-World Conditions
University of Luxembourg（卢森堡大学）；University of Poitiers（普瓦捷大学）；Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；Loria（洛林理论与应用信息学实验室）
针对RGB-T行人检测中图像部分重叠与传感器故障导致的性能下降，提出混合注意力机制，结合移动端骨干网络，实现鲁棒融合，实验验证优于现有方法。
2024-11-06 cs.AI cs.CV
Illumination and Temperature-Aware Multispectral Networks for Edge-Computing-Enabled Pedestrian Detection
Monash University（莫纳什大学）；Tongji University（同济大学）
准确有效的行人检测对于智能交通系统中行人安全和移动性至关重要，例如，先进的驾驶员辅助系统和智能人行横道系统。在众多的行人检测方法中，基于视觉的行人检测方法在以往的研究中被证明是最有效的。然而，现有的基于视觉的行人检测算法仍然存在两个限制其实现的限制，即实时性能以及对环境因素的影响的抵抗力，例如，低光照条件下。为了解决这些问题，本研究提出了一种轻量级的照明和温度感知多光谱网络（IT-MN），用于准确和高效的行人检测。建议的IT-MN是一个有效的一级检测器。为了适应环境因素的影响，提高传感精度，热图像数据融合的建议IT-MN与视觉图像，丰富有用的信息时，视觉图像质量是有限的。此外，还提出了一种新颖有效的后期融合策略，以优化图像融合性能。为了使所提出的模型可用于边缘计算，应用模型量化将模型大小减少了75%，同时显著缩短了推理时间。所提出的算法进行评估，通过比较与选定的国家的最先进的算法，使用公共数据集收集的车载摄像头。实验结果表明，该算法在GPU上实现了较低的误识率和推理时间，每对图像的误识率为14.19%，推理时间为0.03秒。此外，量化的IT-MN在边缘设备上实现了每对图像0.21秒的推理时间，这也证明了将所提出的模型部署在边缘设备上作为高效行人检测算法的潜力。
2021-12-09 cs.CV
Pedestrian Crossing Intent Prediction via Psychological Features and Transformer Fusion
The University of Tennessee at Chattanooga（田纳西大学查塔努加分校）
本文提出一种轻量级社交感知架构，通过融合四种行为流实现行人意图预测，采用高效Transformer结构和不确定性量化方法，在PSI 1.0和PSI 2.0数据集上取得优异性能。
2026-03-20 cs.CV cs.RO
Self-learning Scene-specific Pedestrian Detectors using a Progressive Latent Model
University of Chinese Academy of Sciences（中国科学院大学）；Duke University（杜克大学）；Beihang University（北京航空航天大学）；Oulu University（奥卢大学）
本文提出了一种自学习的方法来解决场景特定的行人检测问题，而无需任何人的注释。自学习方法被部署为对象发现、对象实施和标签传播的渐进步骤。在学习过程中，在每帧中的对象位置被视为潜在变量，解决了渐进的潜在模型（PLM）。与传统的潜在模型相比，拟议的PLM采用了空间正则化项，以减少在对象的建议，并强制执行对象定位的模糊性，也是一个基于图形的标签传播，以发现更难的情况下，在相邻的帧。利用凸（DC）目标函数的差异，可以有效地优化PLM的凹凸规划，从而保证自学习的稳定性。大量的实验表明，即使没有注释，所提出的自学习方法优于弱监督学习方法，同时实现与迁移学习和完全监督方法相当的性能。
2016-11-22 cs.CV
Unified Vision-Centric Pedestrian Crossing Action Prediction via Adaptive Patch Projection and Proactive Spatial Rectification
School of Electronics and Control Engineering, Chang’an University（长安大学电子与控制工程学院）；School of Astronautics, Northwestern Polytechnical University（西北工业大学航天学院）
ViCross提出一种基于多模态大语言模型的视觉中心行人过街动作预测框架，通过可变分辨率补丁映射和空间约束增强策略，在无需额外感知模块下实现高效准确的预测，性能优于现有方法。
2026-09-09 cs.CV
DeepIPCv3: Event-Aware Multi-Modal Sensor Fusion for Sudden Pedestrian Crossing Avoidance
Department of Computer Science and Electronics, Universitas Gadjah Mada（计算机科学与电子系，加雅马达大学）；Department of Computer Science and Engineering, Toyohashi University of Technology（计算机科学与工程系，东福士大学）
提出DeepIPCv3框架，通过Transformer交叉模态注意力融合LiDAR点云与DVS事件流，实现突发行人穿越场景下的高反应性避让，在自定义多模态数据集上达到最优轨迹与控制精度。
2026-05-31 cs.AI cs.CV cs.RO
SocialMOIF: Multi-Order Intention Fusion for Pedestrian Trajectory Prediction
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Beihang University（北京航空航天大学）；Nanyang Technological University（新加坡国立大学）
SocialMOIF通过多阶意图融合模型捕捉邻近群体间高阶交互与一阶交互，结合轨迹分布逼近器和全局优化器，在动态与静态数据集上超越现有基线。
2025-04-22 cs.CV cs.LG
Generalizable Multi-Camera 3D Pedestrian Detection
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universidade Federal Rural de Pernambuco（伯南布哥农村联邦大学）
我们提出了一种多摄像机三维行人检测方法，不需要训练使用的数据从目标场景。我们估计行人在地平面上的位置使用一种新的启发式的基础上，人体姿势和人的边界框从现成的单目检测器。然后，我们将这些位置投影到世界地平面上，并将它们与集团覆盖问题的新公式相融合。我们还提出了一个可选的步骤，利用融合过程中的行人外观，通过使用域概括的人重新识别模型。我们在具有挑战性的WILDTRACK数据集上评估了所提出的方法。它的MODA为0.569，F评分为0.78，优于最先进的通用检测技术。
2021-04-12 cs.CV
Camo-M3FD: A New Benchmark Dataset for Cross-Spectral Camouflaged Pedestrian Detection
ESPOL Polytechnic University（ESPOL理工大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Software Engineering Department, Research Center for Information and Communication Technologies (CITIC-UGR), University of Granada（格拉纳达大学软件工程系，信息与通信技术研究中心（CITIC-UGR））；Università della Svizzera Italiana（瑞士意大利大学）
本文提出Camo-M3FD数据集，用于跨光谱伪装行人检测，通过高精度图像对和标准化评估框架提升检测性能。
2026-04-17 cs.AI cs.CV
Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems
Nanjing University（南京大学）
多光谱行人检测是能够适应不足的照明条件下，利用颜色热模态。另一方面，对于如何有效地融合这两种模式，仍然缺乏深入的见解。与传统的行人检测方法相比，多光谱行人检测存在模态不平衡问题，阻碍了双模态网络的优化过程，降低了检测器的性能。受此启发，我们提出了模态平衡网络（MBNet），它以更灵活和平衡的方式促进优化过程。首先，我们设计了一个新的差分模态感知融合（DMAF）模块，使这两种模态相互补充。其次，光照感知特征对齐模块根据光照条件选择互补特征，并自适应地对齐两个模态特征。大量的实验结果表明，MBNet在准确性和计算效率方面优于具有挑战性的KAIST和CVC-14多光谱行人数据集。代码可在https://github.com/CalayZhou/MBNet上获得。
2020-08-17 cs.CV
3D Random Occlusion and Multi-Layer Projection for Deep Multi-Camera Pedestrian Localization
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）
虽然基于深度学习的单目行人检测方法已经取得了很大进展，但它们仍然容易受到严重遮挡的影响。使用多视图信息融合是一种潜在的解决方案，但由于现有多视图数据集中缺乏带注释的训练样本，这增加了过拟合的风险，因此应用有限。为了解决这个问题，提出了一种数据增强方法，在地平面上随机生成3D圆柱体遮挡，该遮挡具有行人的平均尺寸并投影到多个视图，以减轻训练中过拟合的影响。此外，通过使用单应性，每个视图的特征图被投影到不同高度的多个平行平面，这允许CNN充分利用每个行人高度上的特征来推断行人在地平面上的位置。所提出的3DROM方法与最先进的基于深度学习的多视角行人检测方法相比，具有极大的性能提高。
2022-07-25 cs.CV
Illumination-aware Faster R-CNN for Robust Multispectral Pedestrian Detection
Zhejiang University（浙江大学）
多光谱图像的颜色热对行人检测显示出比一个单一的颜色通道更有效，特别是在具有挑战性的照明条件下。然而，如何将两种模式有效地融合起来，目前还缺乏研究。在本文中，我们深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，使香草架构能够获得与最先进结果相当的检测性能。此外，我们发现，行人检测置信度从彩色或热图像与照明条件。考虑到这一点，我们提出了一种照明感知的快速R-CNN（IAF RCNN）。具体来说，引入光照感知网络来给出输入图像的光照度量。然后，我们自适应地合并颜色和热的子网络通过一个门函数定义的照度值。在KAIST多光谱行人基准上的实验结果验证了所提出的IAF R-CNN的有效性。
2018-08-14 cs.CV
BAANet: Learning Bi-directional Adaptive Attention Gates for Multispectral Pedestrian Detection
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory of System Control and Information Processing, Ministry of Education of China（系统控制与信息处理教育部重点实验室）；Science and Technology on Near-Surface Detection Laboratory（近地面探测技术重点实验室）；University of Michigan-Shanghai Jiao Tong University Joint Institute（密西根大学-上海交通大学联合学院）
热红外（TIR）图像已被证明在提供温度线索的RGB功能的多光谱行人检测的有效性。大多数现有方法直接将TIR模态注入到基于RGB的框架中，或者简单地集成两种模态的结果。然而，这可能导致较差的检测性能，因为RGB和TIR特征通常具有模态特定的噪声，这可能会随着网络的传播而恶化特征。因此，本文提出了一种有效的跨模态融合模块，称为双向自适应注意门（BAA-Gate）。基于注意力机制，设计了BAA-Gate来提取信息特征并渐近地重新校准表示。具体而言，采用双向多阶段融合策略，在传播过程中逐步优化两种模态的特征并保持其特异性。此外，通过基于光照的加权策略，引入了BAA门的自适应交互，自适应调整BAA门中的重校准和聚集强度，增强了对光照变化的鲁棒性。在具有挑战性的KAIST数据集上的大量实验表明，我们的方法具有令人满意的速度。
2021-12-04 cs.CV
Pedestrian Detection in Thermal Images using Saliency Maps
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
热图像主要用于在夜间或光照条件差的情况下检测人的存在，但在白天表现不佳。为了解决这个问题，大多数最先进的技术采用融合网络，该网络使用来自成对的热图像和彩色图像的特征。相反，我们建议增加热图像与显着图，作为行人检测器的注意力机制，特别是在白天。我们研究了这种方法如何只使用热图像来提高行人检测的性能，从而消除了对彩色图像的需求。对于我们的实验，我们训练Faster R-CNN进行行人检测，并报告使用静态和深度方法（PiCA-Net和R3-Net）生成的显着图的附加效果。我们的最佳性能模型在白天和夜间图像中分别使未命中率绝对降低了13.4%和19.4%。我们还在KAIST多光谱行人检测数据集的一个子集上注释和发布行人的像素级掩模，该数据集是第一个公开的用于显著行人检测的数据集。
2019-04-15 cs.CV
When Pedestrian Detection Meets Multi-Modal Learning: Generalist Model and Benchmark Dataset
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对多模态行人检测缺乏统一通用模型的问题，本文提出带MAA、MAF可学习token的MMPedestron通用模型，构建MMPD大规模基准数据集，经多模态联合训练后在多个基准上取得SOTA性能且参数量远低于同类大模型。
2024-07-14 cs.CV
Multispectral Pedestrian Detection via Simultaneous Detection and Segmentation
Zhejiang University（浙江大学）
多光谱行人检测由于其对于许多全天候应用（例如，视频监控和自动驾驶），尤其是在照明不足的条件下。我们在KAIST数据集上创建了一个人类基线，并揭示了当前顶级检测器和人类性能之间仍然存在很大的差距。为了缩小这一差距，我们提出了一个网络融合架构，它由一个多光谱建议网络生成行人建议，和随后的多光谱分类网络区分行人实例从硬底片。通过联合优化行人检测和语义分割任务来学习统一网络。最后的检测是通过整合来自不同模态以及两个阶段的输出来获得的。该方法在KAIST数据集上的性能显着优于最先进的方法，同时保持快速。此外，我们为KAIST数据集提供了一个经过消毒的训练注释版本，并检查了不同类型的注释错误所造成的影响。净化版本消除了注释错误的干扰，这将有利于对该问题的进一步研究。
2018-08-14 cs.CV
