Real-Time Detection and Analysis of Vehicles and Pedestrians using Deep Learning
University of Alberta（阿尔伯塔大学）
针对当前交通监控系统实时识别小目标和行人难度大的问题，本研究构建深度学习框架，在复杂城市场景数据集上训练评估YOLOv8、RT-DETR多版本模型，发现YOLOv8 Large表现最优，为实时交通检测树立新基准。
2024-04-11 cs.CV
Waymo-3DSkelMo: A Multi-Agent 3D Skeletal Motion Dataset for Pedestrian Interaction Modeling in Autonomous Driving
University of Glasgow（格拉斯哥大学）；Wuhan University（武汉大学）
本文提出首个大规模3D骨骼运动数据集Waymo-3DSkelMo，利用3D人体形状与运动先验从原始点云提取高质量时间连贯的多人交互动作，并建立3D姿态预测基准，为自动驾驶中细粒度行人行为理解提供基础资源。
2025-08-13 cs.CV cs.MM
Modeling 3D Pedestrian-Vehicle Interactions for Vehicle-Conditioned Pose Forecasting
School of Computing Science, University of Glasgow（计算科学学院，格拉斯哥大学）；James Watt School of Engineering, University of Glasgow（詹姆斯·瓦特工程学院，格拉斯哥大学）
本文提出了一种基于3D车辆条件化的行人姿态预测方法，通过融合车辆信息提升自动驾驶中行人-车辆交互的预测精度。
2026-02-09 cs.CV cs.RO
MetaUrban: An Embodied AI Simulation Platform for Urban Micromobility
University of California, Los Angeles（加州大学洛杉矶分校）
提出面向城市微出行的组合式仿真平台MetaUrban，通过构建无限交互式场景支持导航任务研究，实验证明环境组合特性能显著提升移动智能体的泛化能力与安全性。
2024-10-11 cs.AI cs.CV cs.RO
NU-AIR -- A Neuromorphic Urban Aerial Dataset for Detection and Localization of Pedestrians and Vehicles
New Jersey Institute of Technology（新泽西理工学院）
本文提出开源城市航空神经形态数据集NU-AIR，包含70.75分钟事件录像及93,204个行人和车辆标注，并通过SNN消融实验和DNN训练验证其质量与可靠性。
2024-07-30 cs.CV
Explainable, automated urban interventions to improve pedestrian and vehicle safety
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；Massachusetts Institute of Technology（麻省理工学院）
目前，城市交通研究和政府举措主要集中在与汽车相关的问题上，例如拥堵和污染问题。然而，我们不能忽视城市景观中最脆弱的元素：行人，他们比其他道路使用者面临更高的风险。事实上，城市安全、无障碍和可持续的交通系统是联合国2030年议程的核心目标。因此，有机会将先进的计算工具应用于交通安全问题，特别是过去经常被忽视的行人。本文结合了公共数据源，大规模的街道图像和计算机视觉技术，以接近行人和车辆的安全与自动化，相对简单，普遍适用的数据处理方案。该管道中涉及的步骤包括残差卷积神经网络的适应和训练，以确定每个给定城市场景的危险指数，以及基于图像分割和这些相同图像上的类激活映射的可解释性分析。结合起来，这种计算方法的结果是一个细粒度的地图，整个城市的危险水平，和一个启发式，以确定干预措施，可能同时提高行人和车辆的安全。拟议的框架应被视为对城市规划者和公共当局工作的补充。
2021-11-08 cs.CV
APE: An Open and Shared Annotated Dataset for Learning Urban Pedestrian Path Networks
University of Washington（华盛顿大学）
推断完整的交通网络，包括人行道和自行车道，对于许多自动化系统至关重要，包括自动驾驶，多模式导航，行程规划，移动模拟和货运管理。许多交通决策可以基于准确的行人网络、其相互作用以及与其他出行方式的道路网络的连通性来做出。连接的行人路径网络对交通活动至关重要，因为人行道和交叉口将行人与其他交通方式连接起来。然而，在城市规划系统和寻路应用程序中，关于这些路径的位置和连通性的信息通常是缺失或不准确的，这给规划者和行人造成了严重的信息差距和错误。这项工作开始解决这个问题的规模，通过引入一个新的数据集的航空卫星图像，街道地图图像，和光栅化的注释的人行道，十字路口，在城市的角落灯泡。该数据集跨越$2,700 km^2$陆地区域，覆盖来自$6$不同城市的选定区域。它可用于与分割和理解行人环境相关的各种学习任务。我们还提出了一个端到端的过程，用于使用街道网络信息和我们提出的数据集推断连接的行人路径网络地图。该过程的特点是使用在我们的数据集上训练的多输入分割网络来预测行人环境中的重要类别，然后生成连接的行人路径网络。我们的研究结果表明，数据集是足够大的训练常见的分割模型，产生准确的，强大的行人路径网络。
2023-03-04 cs.CV
Detecting 32 Pedestrian Attributes for Autonomous Vehicles
EPFL（洛桑联邦理工学院）；Sorbonne Université（索邦大学）
行人可以说是城市地区自动驾驶汽车考虑的最安全的道路使用者之一。在本文中，我们解决的问题，联合检测行人和识别32个行人属性从一个单一的图像。这些包括视觉外观和行为，还包括道路交叉口的预测，这是一个主要的安全问题。为此，我们引入了一个多任务学习（MTL）模型依赖于一个复合领域的框架，它以一种有效的方式实现这两个目标。每个字段在空间上定位行人实例，并聚合它们的属性预测。这种公式自然地利用了空间背景，使其非常适合自动驾驶等低分辨率场景。通过增加联合学习的属性数量，我们强调了与梯度尺度相关的问题，这在MTL中出现了许多任务。我们通过将来自不同目标函数的梯度归一化来解决这个问题，当它们在反向传递过程中加入网络架构的分叉时，称为分叉归一化。在JAAD上进行了实验验证，JAAD是一个为自动驾驶车辆的行人分析提供众多属性的数据集，并显示了竞争性的检测和属性识别结果，以及更稳定的MTL训练。
2021-08-27 cs.CV cs.LG eess.IV
Inpainting U-Net for seamless pedestrian-level wind prediction across urban morphologies
Department of Civil and Environmental Engineering, Imperial College London（伦敦帝国理工学院土木与环境工程系）；Department of Earth Science and Engineering, Applied Modelling and Computation Group, Imperial College London（伦敦帝国理工学院地球科学与工程系应用建模与计算组）
研究针对行人级风速预测，开发两阶段U-Net框架。先由基线U-Net逐块预测，再用基于修复的U-Net改进，减少块边界不连续性，为跨城市形态的高分辨率行人级风速预测提供了高效灵活的替代模型。
2026-07-07 cs.CV
Enhancing Pedestrian Trajectory Prediction with Crowd Trip Information
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出将人群出行信息作为新模态纳入行人轨迹预测模型，开发了通用模型RNTransformer来捕捉社会互动的全局信息，实验证明其能显著提升多种局部预测模型在多个数据集上的准确性。
2024-09-23 cs.AI cs.CV cs.LG
Hyperspectral vs. RGB for Pedestrian Segmentation in Urban Driving Scenes: A Comparative Study
School of Engineering, University of Galway（Galway大学工程学院）；Ryan Institute, University of Galway（Galway大学Ryan学院）；Valeo Vision Systems（Valeo视觉系统）
本研究比较了高光谱与RGB在城市驾驶场景中行人分割的效果，发现CSNR-JMIM方法在行人和骑手分割中均取得显著提升。
2025-08-15 cs.CV
Predicting the impact of urban change in pedestrian and road safety
Internet Interdisciplinary Institute (IN3), Universitat Oberta de Catalunya（互联网跨学科研究所（IN3），加泰罗尼亚开放大学）
在当今拥挤的城市环境中，行人和车辆之间的互动增加，产生了负面的副作用：交通事故增加，行人是最脆弱的因素。最近的工作表明，卷积神经网络能够准确地预测事故率利用街景图像沿城市道路。有希望的结果指出，安全的城市景观辅助设计的可行性，行人和车辆。在本文中，通过考虑历史事故数据和街景图像，我们详细介绍了如何自动预测的影响（增加或减少）的城市干预事故发生率。结果是肯定的，呈现出60至80%的准确度。我们还提供了一个可解释性分析，以揭示哪些特定类别的城市特征对事故率产生积极或消极的影响。考虑到交通网络的基底（人行道和道路网络）和他们的需求，我们将这些结果整合到一个复杂的网络框架，估计城市变化对行人和车辆的安全的有效影响。结果表明，公共当局可以利用机器学习工具来优先考虑有针对性的干预措施，因为我们的分析表明，使用当前工具所获得的改善有限。此外，我们的研究结果具有更广泛的应用范围，例如为行人设计安全的城市路线或驾驶员辅助技术领域。
2022-02-03 cs.AI cs.CV
PedX: Benchmark Dataset for Metric 3D Pose Estimation of Pedestrians in Complex Urban Intersections
University of Michigan（密歇根大学）；Ford Center for Autonomous Vehicles Laboratory（福特自动驾驶汽车实验室）
本文提出了一种新的数据集名为PedX，一个大规模的多模式收集行人在复杂的城市交叉口。PedX由5，000多对高分辨率（12MP）立体图像和LiDAR数据组成，并提供行人的2D和3D标签。我们还提出了一种新的3D模型拟合算法，用于自动3D标记，利用不同模态和新形状和时间先验的约束。所有带注释的3D行人都被定位到真实世界的度量空间中，并且使用在受控室外环境中配置的mocap系统来验证生成的3D模型，以模拟城市十字路口中的行人。我们还表明，手动2D标签可以被最先进的自动标记方法所取代，从而促进大规模数据集的自动生成。
2018-09-10 cs.CV cs.RO
Leveraging 3D LiDAR Sensors to Enable Enhanced Urban Safety and Public Health: Pedestrian Monitoring and Abnormal Activity Detection
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
该研究提出融合LiDAR与IoT的双模型框架，用改进PV-RCNN做3D检测、PointNet分类行人活动，还通过Blender构建模拟数据集解决数据稀缺问题，助力城市交通管理与公共健康。
2024-04-17 cs.AI cs.CV cs.LG
Euro-PVI: Pedestrian Vehicle Interactions in Dense Urban Centers
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Toyota Motor Europe（丰田汽车欧洲公司）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
准确预测行人和自行车路径对于在密集的城市环境中开发可靠的自动驾驶车辆至关重要。车辆与行人或骑自行车者之间的相互作用对交通参与者的轨迹有显著影响，例如停止或转向以避免碰撞。虽然最近的数据集和轨迹预测方法促进了自动驾驶汽车的发展，但建模的车辆-行人（骑自行车的人）交互的数量很少。在这项工作中，我们提出了欧洲PVI，行人和骑自行车的轨迹的数据集。特别是，与现有数据集相比，我们的数据集在密集的城市场景中满足了更多样化和复杂的交互。为了解决预测未来轨迹与密集的相互作用的挑战，我们开发了一个联合推理模型，学习一个富有表现力的多模态共享潜在空间在城市场景中的代理。这使得我们的联合- $β$ -cVAE方法能够更好地对未来轨迹的分布进行建模。我们在nuScenes和Euro-PVI数据集上获得了最先进的结果，证明了捕获自我车辆和行人（骑自行车的人）之间的交互对于准确预测的重要性。
2021-06-22 cs.CV cs.LG cs.RO
A Real-Time Bike-Pedestrian Safety System with Wide-Angle Perception and Evaluation Testbed for Urban Intersections
Columbia University（哥伦比亚大学）
本文提出一个基于边缘设备的实时碰撞预警系统，利用宽视角鱼眼镜头实现30fps的音频和视觉警报，通过校准流程、鱼眼感知检测、符合性仿真和可审计决策层设计，实现了93.3%的灵敏度和92.3%的特异性。
2026-04-18 cs.CV
Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks
University of Technology Sydney（悉尼科技大学）
预测共享城市交通环境中行人的轨迹仍然被认为是自动驾驶汽车（AV）发展面临的挑战性问题之一。在文献中，这个问题通常使用递归神经网络（RNN）来解决。尽管RNN在捕获行人运动轨迹的时间依赖性方面具有强大的能力，但在处理较长的序列数据时，它们受到了挑战。因此，在这项工作中，我们引入了一个基于Transformer网络的框架，该框架最近被证明在许多基于序列的任务中更有效，并且优于RNN。我们依赖于过去的位置信息，代理交互信息和场景物理语义信息的融合作为我们的框架的输入，以提供一个强大的行人轨迹预测。我们已经在共享城市交通环境中的两个真实行人数据集上评估了我们的框架，并且在短期和长期预测范围内都优于比较的基线方法。
2021-08-08 cs.CV
A novel method of predictive collision risk area estimation for proactive pedestrian accident prevention system in urban surveillance infrastructure
Korea Advanced Institute of Science and Technology（韩国科学技术院）
道路交通事故，特别是人行横道上的车辆行人碰撞，在全球范围内对人类生命构成严重威胁，并已成为过早死亡的主要原因。为了保护这些易受伤害的道路使用者免遭碰撞，有必要事先认识到可能发生的冲突，并向道路使用者发出警告，而不是事后警告。主动预防行人碰撞的一个突破是基于视觉传感器（如CCTV）识别行人的潜在风险。在这项研究中，我们提出了一个预测碰撞危险区估计系统在无信号的人行横道。该系统应用预处理后的视频片段中的车辆和行人的轨迹，然后使用深度LSTM网络预测它们的轨迹。该系统利用预测轨迹，统计推断碰撞危险区域，并将严重程度划分为危险、警告和相对安全三个等级。为了验证所提出的系统的可行性和适用性，我们应用它，并评估在两个无信号点在乌山市，韩国的潜在风险的严重程度。
2021-05-06 cs.AI cs.CV
Solution for UCF UrbanTwin V2X-Real Track: Sim-to-Real Urban LiDAR 3D Object Detection
Xidian University（西安电子科技大学）
提出多源协同训练与类别感知融合框架，利用数字孪生、扩散重绘等数据源，在DSVT上实现路侧LiDAR仿真到现实的3D检测，UrbanTwin V2X-Real测试集综合得分0.7421。
2026-09-09 cs.CV
URBAN-i: From urban scenes to mapping slums, transport modes, and pedestrians in cities using deep learning and computer vision
University College London (UCL)（伦敦大学学院）
随着深度学习和计算机视觉在不同科学领域的迅速发展，当涉及到城市发展时，深度学习和计算机视觉的应用仍然局限于智能城市和自动驾驶汽车的概念。事实上，在欠发达国家的城市和城市地区，非正规的混乱是主要的模式，在这方面出现了很大的知识差距。深度学习和人工智能（AI）如何解开非正式性的复杂性，以推进城市建模和我们对城市的理解？在人工智能和计算机视觉的范式下，关于北方和南方城市的未来，可以提出各种问题和辩论。在本文中，我们介绍了一种基于深度学习和计算机视觉的多用途现实动态城市建模的新方法，使用深度卷积神经网络（CNN），从空中和街景图像中感知和检测城市场景中的非正规性和贫民窟，以及行人和交通模式的检测。该模型已经在全球城市的城市场景图像上进行了训练。该模型显示，在了解规划区域和非规划区域（包括非正规地区和贫民窟地区）之间的广泛细微差别方面，该模型得到了很好的验证。我们试图推进城市建模，以更好地了解城市发展的动态。我们的目标还包括，在主流讨论和感知智慧城市的方式之外，探讨人工智能对城市的重大影响。URBAN-i模型的算法是用Python编程完全编码的，预训练的深度学习模型将用作全球各个角落（包括非正规住区和贫民窟地区）的测绘和城市建模工具。
2018-09-10 cs.AI cs.CV
Multi-Context Fusion Transformer for Pedestrian Crossing Intention Prediction in Urban Environments
Chair of Automotive Engineering, Technische Universität Berlin（柏林技术大学汽车工程系）
本文提出多上下文融合变换器(MFT)，通过融合行人行为、环境、定位和车辆运动四个维度的上下文信息，提升行人意图预测的准确性，实验结果表明其在JAADbeh、JAADall和PIE数据集上的准确率分别达到73%、93%和90%。
2026-08-25 cs.AI cs.CV
Context-Aware Pedestrian Motion Prediction In Urban Intersections
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的基于上下文的行人运动预测方法，在拥挤的城市交叉口，在类似的，但新的，环境预测的额外的灵活性。此前，陈等。等人组合了基于马尔可夫和基于聚类的方法来学习基于网格的世界中的运动基元，并随后通过将学习到的基元之间的过渡建模为高斯过程（GP）来预测行人轨迹。这项工作扩展了先前的方法，将语义特征从环境（相对距离路边和行人交通灯的状态）在GP制定更准确的预测行人轨迹在同一时间尺度。我们评估了使用MIT Mobility On Demand车队中的一辆车收集的真实数据的新方法。结果显示，预测精度提高了12.5%，曲线下面积（AUC）减少了2.65倍，曲线下面积（AUC）用作量化预测轨迹集的跨度的度量，使得较低的AUC对应于行人运动的未来方向的较高置信度。
2018-06-25 cs.AI cs.CV cs.LG
Building Prior Knowledge: A Markov Based Pedestrian Prediction Model Using Urban Environmental Data
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
在城市地区导航的自动驾驶汽车需要了解和预测未来的行人行为，以实现更安全的导航。这种高水平的态势感知需要观察行人的行为，并推断他们的位置，以了解未来的位置。虽然在这一领域已经做了一些工作，使用隐马尔可夫模型（HMM），该方法的少数观察到的缺点之一是需要知情的先验知识的学习行为。在这项工作中，提出了一种扩展的增长隐马尔可夫模型（GHMM）方法来解决这些缺点。这是通过利用潜在成本图和自然视觉原理在现有工作的基础上实现的。因此，所提出的模型是能够更精确地预测行人的位置在一个较长的地平线相比，最先进的。该方法是测试过的行人的“合法”和“非法”的行为，训练模型稀疏的观察和部分轨迹。将没有训练数据的方法与训练的现有技术模型进行比较。据观察，所提出的方法是强大的，即使在新的，以前看不见的领域。
2018-09-17 cs.CV cs.LG stat.ML
Learning to Generate Diverse Pedestrian Movements from Web Videos with Noisy Labels
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出从网络视频中学习生成多样化行人运动，构建了CityWalkers数据集并提出了PedGen生成模型，通过自动标签过滤、掩码嵌入和3D上下文编码器利用噪声标签与上下文因素，在真实与模拟环境中实现了优于基线方法的性能及零样本泛化。
2024-10-10 cs.CV
Real-time Intent Prediction of Pedestrians for Autonomous Ground Vehicles via Spatio-Temporal DenseNet
Institute for Intelligent Systems Research and Innovation (IISRI), Deakin University（迪肯大学智能系统研究与创新研究所）
理解人类的行为和意图是自主地面车辆仍然面临的主要挑战之一。更具体地说，当涉及到城市交通场景等复杂环境时，推断行人等弱势道路使用者的意图和行动变得更加困难。在本文中，我们解决的问题，意图行动预测行人在城市交通环境中使用的单目RGB摄像机的图像序列。我们提出了一个实时的【形】框架，可以准确地检测，跟踪和预测行人的预期行动的基础上跟踪检测技术结合一种新的时空DenseNet模型。我们根据从城市交通环境中收集的真实数据对我们的框架进行了训练和评估。与其他基线方法相比，我们的框架显示出弹性和竞争力。总体而言，我们在20 FPS的实时的【形】性能下实现了84.76%的平均精度分数。
2019-04-22 cs.AI cs.CV
WTTFNet: A Weather-Time-Trajectory Fusion Network for Pedestrian Trajectory Prediction in Urban Complex
School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科技学院）
提出WTTFNet融合天气、时间与轨迹特征，提升行人轨迹预测的准确率，解决城市综合体中行人目的地预测难、类不平衡问题。
2024-05-29 cs.CV cs.LG
Comparing Apples and Oranges: Off-Road Pedestrian Detection on the NREC Agricultural Person-Detection Dataset
National Robotics Engineering Center, Carnegie Mellon University（卡内基梅隆大学国家机器人工程中心）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
随着城市和高速公路驾驶的多个高质量数据集的出现，车辆中的人员检测最近取得了快速进展，但在越野或农业环境中没有大规模的基准可用于相同的问题。在这里，我们提出了NREC农业人员检测数据集，以刺激在这些环境中的研究。它包括从两个感知平台（一辆拖拉机和一辆皮卡）拍摄的橘子园和苹果园中的人的标记立体视频，以及来自RTK GPS的车辆位置数据。我们在数据集的一部分上定义了一个基准，该数据集结合了总共76 k个标记的人物图像和19 k个采样的无人物图像。该数据集突出了该领域的几个关键挑战，包括变化的环境，植被的大量遮挡，运动和非标准姿势的人，以及从各种距离看到的人;包括元数据，以便有针对性地评估这些影响。最后，我们提出了基线检测性能结果的三个领先的方法，从城市行人检测和我们自己的卷积神经网络的方法，受益于纳入额外的图像上下文。我们表明，现有的方法对城市数据的成功并没有直接转移到这个领域。
2017-10-26 cs.CV
Social-IWSTCNN: A Social Interaction-Weighted Spatio-Temporal Convolutional Neural Network for Pedestrian Trajectory Prediction in Urban Traffic Scenarios
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出Social-IWSTCNN，融合时空特征与社会交互提取器，在Waymo城市数据集上超越SOTA模型，显著提升轨迹预测精度与速度。
2021-05-26 cs.AI cs.CV cs.LG
OASIS: Automated Assessment of Urban Pedestrian Paths at Scale
针对人工检查公共通行权区域人行道障碍效率低、成本高、难规模化的问题，研究提出开源自动化测绘系统OASIS，结合神经网络等技术提取人行道数据并识别障碍，试点显示测绘精度高且能提升测量员工作效率，可适配市政工作流程。
2023-05-04 cs.CV
E-Scooter Rider Detection and Classification in Dense Urban Environments
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）；Atlantic Technological University（大西洋理工大学）
对易受攻击的道路使用者进行准确检测和分类是在异构交通中部署自动驾驶车辆的安全关键要求。尽管电动滑板车的外形与行人相似，但它们遵循着截然不同的运动特征，时速可达45公里。在城市环境中，检测电动滑板车骑手的挑战更加严峻，因为骑手在车辆、交通基础设施和其他道路使用者之间导航时，部分遮挡的频率会增加。这可能会导致电动滑板车骑手无法检测或错误分类为行人，从而为自动驾驶汽车应用中的事故缓解和路径规划提供不准确的信息。本研究引入了一种新的基准部分闭塞的电动滑板车骑手检测，以促进检测模型的客观表征。提出了一种新颖的、遮挡感知的电动滑板车骑手检测方法，该方法在检测性能上比现有技术提高了15.93%。
2022-05-20 cs.CV
CrosswalkNet: An Optimized Deep Learning Framework for Pedestrian Crosswalk Detection in Aerial Images with High-Performance Computing
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出 CrosswalkNet 深度学习框架，利用 OBB、注意力与双分支 SPPF 等优化，从15厘米航空影像中高精度检测人行横道，并经多州数据验证其泛化能力。
2025-06-09 cs.CV
PEDESTRIAN: An Egocentric Vision Dataset for Obstacle Detection on Pavements
CYENS Centre of Excellence（CYENS卓越中心）；Open University Cyprus（塞浦路斯开放大学）；Department of Communication and Internet Studies（通信与互联网研究系）；Cyprus University of Technology（塞浦路斯技术大学）；AI Cyprus Ethical Novelties Ltd（塞浦路斯AI伦理创新有限公司）；Department of Multimedia and Graphic Arts（多媒体与图形艺术系）
本文提出PEDESTRIAN数据集，用于训练深度学习模型检测人行道上的障碍物，提升城市行人安全。
2025-12-22 cs.CV cs.LG
Constellation Dataset: Benchmarking High-Altitude Object Detection for an Urban Intersection
Columbia University（哥伦比亚大学）
本文提出Constellation数据集，用于基准测试密集城市街景高空目标检测，评估发现最先进方法在检测小行人方面性能低于车辆，预训练、数据增强和伪标注可提升性能，最佳模型在NVIDIA A100上实现92.0%行人AP和95.4% mAP。
2024-04-25 cs.CV
Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction
IMT Nord Europe, University of Lille, CNRS UMR 9189 - CRIStAL（IMT 北欧洲、里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL）；University of Lille, CNRS UMR 9189 - CRIStAL（里尔大学、法国国家科学研究中心 UMR 9189 - CRIStAL）；Explain
提出三步层次Transformer，通过分离时间编码、多模态融合和场景交互推理，在JRDB和城市数据集上达到最先进性能。
2026-06-23 cs.CV
Do Pedestrians Pay Attention? Eye Contact Detection in the Wild
Sorbonne Université（索邦大学）；EPFL（洛桑联邦理工学院）
在城市或拥挤的环境中，人们依靠目光接触与附近的人进行快速有效的沟通。自主智能体还需要检测眼神接触，以与行人互动并安全地在行人周围导航。在本文中，我们专注于在野外的目光接触检测，即，自动驾驶汽车的真实场景，无法控制环境或行人的距离。我们引入了一个利用语义关键点来检测目光接触的模型，并表明这种高级表示（i）在公开数据集JAAD上实现了最先进的结果，（ii）比利用端到端网络中的原始图像传达了更好的泛化特性。为了研究领域自适应，我们创建了LOOK：一个用于野外目光接触检测的大规模数据集，该数据集专注于真实世界泛化的多样化和无约束场景。源代码和LOOK数据集是公开共享的，以实现开放科学任务。
2021-12-08 cs.CV
Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention
The Ohio State University（俄亥俄州立大学）
预测易受攻击的道路使用者行为是在现实世界中部署自动驾驶系统（ADS）的必要前提。行人过街意图应实时识别，尤其是对于城市驾驶。最近的工作已经显示出使用基于视觉的深度神经网络模型来完成这项任务的潜力。然而，这些模型并不稳健，某些问题仍需解决。首先，占目标行人和场景之间的相互作用的全球时空背景没有得到适当的利用。其次，融合不同传感器数据的最佳策略尚未得到彻底研究。本文针对上述局限性，引入一种新的神经网络架构，融合行人过街意图预测的时空特征。我们融合了不同的现象，如RGB图像序列，语义分割面具，和自我车辆的速度在一个最佳的方式使用注意力机制和堆栈的递归神经网络。通过详尽的消融和比较研究获得了最佳结构。在JAAD行人行为预测基准上进行的大量对比实验表明了该方法的有效性，达到了最先进的性能。我们的代码是开源的，公开可用。
2021-10-13 cs.CV
UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City
Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）；Meituan（美团）；The Chinese University of Hong Kong（香港中文大学）；Shanghai University（上海大学）；University of Oxford（牛津大学）
本文提出首个基于香港3D地理空间数据构建的UrbanGround沙盒，探究MLLM智能体在真实城市中从局部感知转化为可靠行动的程度，发现其长时间探索时错误累积的缺陷，为相关研究提供支撑。
2026-09-29 cs.CV
Multi-Modal Hybrid Architecture for Pedestrian Action Prediction
Noah’s Ark Laboratory, Huawei（华为诺亚方舟实验室）
行人行为预测是城市环境下智能驾驶系统面临的主要挑战之一。行人往往表现出广泛的行为和充分的解释，这些依赖于各种来源的信息，如行人的外观，其他道路使用者的状态，环境布局等，为了解决这个问题，我们提出了一种新的多模态预测算法，采用不同的信息来源，从环境中捕捉到的预测未来的行人过马路的行动。所提出的模型受益于一个混合学习架构，包括前馈和递归网络分析的视觉特征的环境和动态的场景。使用现有的2D行人行为基准和新注释的3D驾驶数据集，我们表明，我们提出的模型在行人过街预测方面达到了最先进的性能。
2020-11-16 cs.CV cs.RO
SEPose: A Synthetic Event-based Human Pose Estimation Dataset for Pedestrian Monitoring
Arizona State University（亚利桑那州立大学）
针对事件相机行人监控数据匮乏问题，提出合成数据集SEPose，利用CARLA模拟器生成近35万带姿态关键点的行人标注，涵盖多种环境条件，并验证了RVT和YOLOv8模型的仿真到现实泛化能力。
2025-07-16 cs.CV
Positional Encoding Augmented GAN for the Assessment of Wind Flow for Pedestrian Comfort in Urban Areas
Norwegian University of Science and Technology（挪威科技大学）；University of Stavanger（斯塔万格大学）；Elsevier B.V.（爱思唯尔出版集团）；STM Document Engineering Pvt Ltd.（STM文档工程私人有限公司）
使用计算流体动力学（CFD）方法来近似风流动可能是耗时的。创建用于交互式设计原型的工具，同时观察风流变化需要更简单的模型来更快地模拟。数据驱动的方法和深度学习可能会在很短的时间内给出类似的结果，而不是运行数值近似来进行详细的计算。这项工作重新措辞的问题，从计算三维流场计算流体动力学的二维图像到图像的投影为基础的问题上的建筑足迹，以预测在行人高度水平的流场。我们研究了生成对抗网络（GAN）的使用，例如Pix 2 Pix [1]和CycleGAN [2]代表了各个领域中最先进的图像到图像翻译任务以及U-Net自动编码器[3]。模型可以以数据驱动的方式学习数据集的底层分布，我们认为这可以帮助模型从CFD学习底层的雷诺平均Navier-Stokes（RANS）方程。我们实验上的各种三维虚张声势的形状的建筑物的高度信息和没有新的模拟数据集。此外，我们提出了一个广泛的定性和定量评估生成的图像选择的模型，并比较其性能与CFD提供的模拟。然后，我们表明，添加位置数据的输入可以产生更准确的结果，提出了一个通用的框架，注入这些信息的不同架构。此外，我们表明，通过应用注意力机制和谱归一化来促进稳定的训练，模型的性能得到了改善。
2022-01-04 cs.AI cs.CV cs.LG
I see you: A Vehicle-Pedestrian Interaction Dataset from Traffic Surveillance Cameras
Universidad Nacional de San Antonio Abad del Cusco（库斯科圣安东尼奥阿巴德国立大学）；Pontificia Universidad Católica del Perú（秘鲁天主教大学）
自动驾驶汽车的发展在城市交通场景中提出了新的挑战，其中车辆与行人的相互作用是频繁的，例如车辆向行人让行，行人由于接近车辆而减速。在过去的几年里，已经开发了几个数据集来模拟这些相互作用。然而，现有的数据集并不涵盖我们的数据集所涵盖的近乎事故的场景。我们介绍了I see you，一个新的车辆-行人交互数据集，使用YOLOv 5和相机校准方法解决了近乎事故场景中缺乏轨迹数据的问题。我看到你在库斯科-秘鲁的七个十字路口发生了170起险些发生的事故。这个新的数据集和管道代码可以在Github上找到。
2022-11-17 cs.AI cs.CV
From Street View Imagery to Street Quality Indicators: Vision Language Inference for the Suburban 15-minute City
本文以法国尼斯东北部郊区为研究对象，采用开源的SAGAI工作流，利用视觉语言模型从街景图像评估街景质量，发现理想街景仅存在于部分郊区区域，证明了VLM可支持郊区城市诊断，助力循证规划。
2026-08-21 cs.CV cs.LG
Radar-Based NLoS Pedestrian Localization for Darting-Out Scenarios Near Parked Vehicles with Camera-Assisted Point Cloud Interpretation
Seoul National University（首尔国立大学）；Samsung Electro-Mechanics Co., Ltd.（三星机电有限公司）；Chungnam National University（全南国立大学）；Ajou University（亚运会大学）；Institute of Engineering Research at Seoul National University（首尔国立大学工程研究所）
针对停驻车辆附近行人突然出现的NLoS盲区问题，提出融合单目相机与2D雷达点云的定位框架，通过图像分割和深度估计结合雷达细化空间推断，实验验证可增强早期检测并提升道路安全。
2025-08-06 cs.CV eess.SP
Graph-SIM: A Graph-based Spatiotemporal Interaction Modelling for Pedestrian Action Prediction
Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
在城市环境中，自动驾驶汽车最关键但最具挑战性的任务之一是预测附近行人的未来行为，特别是在交叉路口。预测行为取决于许多社会和环境因素，特别是道路使用者之间的互动。捕捉这种互动需要一个全局视图的场景和动态的道路使用者在三维空间。然而，目前的行人行为基准数据集缺少这些信息。受这些挑战的启发，我们提出了1）一种新的基于图的模型来预测行人过街行为。我们的方法模型行人与附近的道路使用者的互动，通过聚类和相对重要性加权的互动，从鸟瞰图获得的功能。2)我们引入了一个新的数据集，为现有的nuScenes数据集提供3D限界框和行人行为注释。在新数据上，我们的方法通过将各种指标与现有方法相比提高15%以上来实现最先进的性能。该数据集可在https://github.com/huawei-noah/datasets/PePScenes上获得。
2021-03-25 cs.CV cs.RO
DeepWait: Pedestrian Wait Time Estimation in Mixed Traffic Conditions Using Deep Survival Analysis
Ryerson University（瑞尔森大学）
行人的过马路行为是城市动态的重要方面之一，将受到自动驾驶汽车的引入的影响。在这项研究中，我们介绍了DeepSurvival，一种新的框架，估计行人的等待时间在无信号的中间块人行横道在混合交通条件。我们利用深度学习在捕捉数据中的非线性方面的优势，开发了一个以深度神经网络作为对数风险函数的cox比例风险模型。一个嵌入式的特征选择算法，以减少数据的维数，提高网络的可解释性。我们使用沉浸式虚拟现实环境从160名参与者收集的数据集上测试我们的框架。验证结果表明，我们提出的框架的C指数为0.64，优于标准的考克斯比例风险为基础的模型，C指数为0.58。
2019-08-08 cs.CV cs.HC
PIP-Net: Pedestrian Intention Prediction in the Wild
Institute for Transport Studies, Computer Vision and Machine Learning Group, University of Leeds（交通研究所、计算机视觉与机器学习组、利兹大学）；UCL Centre for Artificial Intelligence, Department of Computer Science, University College London（伦敦大学学院人工智能中心、计算机科学系、伦敦大学学院）
本文提出PIP-Net框架，结合运动学、空间特征与时间注意力机制，并引入分类深度图和局部运动流，最多提前4秒预测行人过街意图，同时发布首个多摄像头Urban-PIP数据集。
2025-07-06 cs.AI cs.CV cs.NE
MMS-VPR: A Fine-Grained Multimodal Street-Level Visual Place Recognition Dataset and Evaluation Benchmark for Dense Pedestrian Environments
The University of Auckland（奥克兰大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区）
MMS-VPR提出一个大规模多模态数据集和基准，用于行人环境中的街道级视觉地点识别，整合了多模态数据和统一评估平台。
2026-09-22 cs.AI cs.CV cs.LG
Context-aware Multi-task Learning for Pedestrian Intent and Trajectory Prediction
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence（芬兰人工智能中心）
提出PTINet网络，通过结合历史轨迹、局部和全局上下文特征联合学习行人的轨迹与意图预测，在JAAD和PIE数据集上优于现有模型，为自动驾驶系统与行人的无缝交互奠定基础。
2024-07-24 cs.CV cs.RO
TrouSPI-Net: Spatio-temporal attention on parallel atrous convolutions and U-GRUs for skeletal pedestrian crossing prediction
Institut VEDECOM（VEDECOM研究所）；MINES ParisTech, Université PSL（巴黎高科矿业学院，巴黎文理研究大学）
理解行人的行为和意图仍然是车辆自主的主要挑战之一，因为准确预测他们的意图可以保证他们的安全和车辆的驾驶舒适性。在本文中，我们解决了行人过街预测在城市交通环境中的动态行人的骨架连接到一个二进制的过街意图。我们介绍TrouSPI-Net：一个上下文无关的，轻量级的，多分支预测器。TrouSPI-Net通过编码骨骼关节位置的伪图像序列来提取不同时间分辨率的时空特征，并使用并行注意力模块和atrous卷积来处理它们。所提出的方法，然后增强处理功能，如相对距离的骨骼关节，限界框的位置，或自我车辆的速度与U-GRU。使用新提出的两个大型公共自然数据集研究行人在交通中的行为：JAAD和PIE的评估程序，我们评估TrouSPI-Net并分析其性能。实验结果表明，TrouSPI-Net在JAAD上获得了0.76的F1分数，在PIE上获得了0.80的F1分数，因此在轻量级和上下文无关的同时优于当前最先进的技术。
2021-09-07 cs.AI cs.CV
Pedestrian Crossing Intention Prediction Using Multimodal Fusion Network
Chair of Automotive Engineering, Technische Universität Berlin（柏林技术大学汽车工程系）
本文提出多模态融合网络，通过视觉和运动分支提取七种模态特征，有效整合互补信息，提升自动驾驶车辆在城市环境中对行人意图预测的准确性。
2026-03-24 cs.AI cs.CV
Traffic-Aware Pedestrian Intention Prediction
Department of Electrical Engineering, University of Notre Dame（电子工程系，圣约翰大学）
本文提出TA-STGCN模型，通过整合动态交通信号和边界框大小，提升行人意图预测的准确性，在PIE数据集上实现了4.75%的提升。
2025-07-16 cs.CV cs.SY eess.SY
Learning the Pedestrian-Vehicle Interaction for Pedestrian Trajectory Prediction
University of Gothenburg（哥德堡大学）
本研究提出行人-车辆交互（PVI）提取器，用于学习行人轨迹预测中的交互，在LSTM和卷积模型上分别将ADE和FDE降低7.46%/5.24%和2.10%/1.27%，验证了交互对行人行为的影响。
2022-04-25 cs.AI cs.CV cs.RO
End-to-End Model-Free Reinforcement Learning for Urban Driving using Implicit Affordances
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Valeo Driving Assistance Research Valeo.ai（法雷奥驾驶辅助研究法雷奥人工智能）
强化学习（RL）旨在从自己的实验中学习最优行为策略，而不是基于规则的控制方法。然而，目前还没有RL算法能够处理像城市驾驶这样困难的任务。我们提出了一种新的技术，创造了隐含的启示，有效地利用RL的城市驾驶，从而包括车道保持，行人和车辆回避，交通灯检测。据我们所知，我们是第一个提出一个成功的RL代理处理这样一个复杂的任务，特别是关于交通灯检测。此外，我们通过赢得CARLA挑战赛的Camera Only赛道证明了我们方法的有效性。
2020-03-16 cs.AI cs.CV cs.LG
