I see you: A Vehicle-Pedestrian Interaction Dataset from Traffic Surveillance Cameras
Universidad Nacional de San Antonio Abad del Cusco(库斯科圣安东尼奥阿巴德国立大学);Pontificia Universidad Católica del Perú(秘鲁天主教大学)
自动驾驶汽车的发展在城市交通场景中提出了新的挑战,其中车辆与行人的相互作用是频繁的,例如车辆向行人让行,行人由于接近车辆而减速。在过去的几年里,已经开发了几个数据集来模拟这些相互作用。然而,现有的数据集并不涵盖我们的数据集所涵盖的近乎事故的场景。我们介绍了I see you,一个新的车辆-行人交互数据集,使用YOLOv 5和相机校准方法解决了近乎事故场景中缺乏轨迹数据的问题。我看到你在库斯科-秘鲁的七个十字路口发生了170起险些发生的事故。这个新的数据集和管道代码可以在Github上找到。
2022-11-17 cs.AI cs.CV
Tracking System to Automate Data Collection of Microscopic Pedestrian Traffic Flow
Tohoku University(东北大学)
为了处理大量的行人数据,需要自动的数据汇集。本文介绍了如何自动化的微观行人流数据汇集从视频文件。该研究仅限于行人,没有考虑车辆-行人的相互作用。行人跟踪系统由三个子系统组成,分别是图像处理、目标跟踪和交通流变量计算。系统接收图像和参数的堆栈的输入。第一个子系统进行图像处理分析,而第二个子系统进行跟踪的行人通过匹配的特征和跟踪的行人数量逐帧。最后一个子系统处理NTXY数据库,计算行人流量、速度和面积等交通流特性。与手动数据汇集方法的比较证实,所描述的程序具有显着的潜力,自动化的微观和宏观的行人流量变量的数据汇集。
2016-09-07 cs.CV cs.CY cs.MA
Adversarial Appearance Learning in Augmented Cityscapes for Pedestrian Recognition in Autonomous Driving
TU Munich(慕尼黑技术大学);BMW AG(宝马集团);Google(谷歌)
本文提出一种基于数据增强和对抗性光照学习生成虚拟行人的流程,以缩小合成与真实域差距,有效提升自动驾驶场景下的行人识别及分割性能。
2025-09-16 cs.CV
Learning Trajectory-Conditioned Relations to Predict Pedestrian Crossing Behavior
Georgia Institute of Technology(佐治亚理工学院);Ford Motor Company(福特汽车公司)
在智能交通中,智能系统通过预测交通代理,特别是行人的意图来避免潜在的碰撞。行人意图,定义为未来的行动,例如,开始过马路时,可根据交通环境而定。在本文中,我们开发了一个框架,将这种依赖性观察到的行人轨迹和场景帧。我们的框架首先将行人与周围环境之间的区域联合信息随时间编码为特征图向量。然后从成对特征图向量中提取全局关系表示,以估计具有过去轨迹条件的意图。我们在两个公共数据集上评估了我们的方法,并与两种最先进的方法进行了比较。实验结果表明,我们的方法有助于通知潜在的风险,在交叉事件与0.04的改善,在JAAD数据集上的F1分数和0.01的改善,在PIE数据集上的召回。此外,我们进行消融实验,以确认我们的框架中的关系抽取的贡献。
2023-01-14 cs.CV
Pedestrian Intention and Trajectory Prediction in Unstructured Traffic Using IDD-PeD
IIIT, Hyderabad, India(印度海得拉巴IIIT);King Faisal University, Al Hofuf, Saudi Arabia(沙特阿拉伯胡夫国王法尔德大学)
本文提出了一个针对非结构化印度交通环境的行人数据集IDD-PeD,发现现有意图与轨迹预测方法在该数据集上性能显著下降,为构建更鲁棒的行人行为预测模型提供了新挑战。
2025-06-27 cs.CV cs.HC
Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks
University of Technology Sydney(悉尼科技大学)
预测共享城市交通环境中行人的轨迹仍然被认为是自动驾驶汽车(AV)发展面临的挑战性问题之一。在文献中,这个问题通常使用递归神经网络(RNN)来解决。尽管RNN在捕获行人运动轨迹的时间依赖性方面具有强大的能力,但在处理较长的序列数据时,它们受到了挑战。因此,在这项工作中,我们引入了一个基于Transformer网络的框架,该框架最近被证明在许多基于序列的任务中更有效,并且优于RNN。我们依赖于过去的位置信息,代理交互信息和场景物理语义信息的融合作为我们的框架的输入,以提供一个强大的行人轨迹预测。我们已经在共享城市交通环境中的两个真实行人数据集上评估了我们的框架,并且在短期和长期预测范围内都优于比较的基线方法。
2021-08-08 cs.CV
SEPose: A Synthetic Event-based Human Pose Estimation Dataset for Pedestrian Monitoring
Arizona State University(亚利桑那州立大学)
针对事件相机行人监控数据匮乏问题,提出合成数据集SEPose,利用CARLA模拟器生成近35万带姿态关键点的行人标注,涵盖多种环境条件,并验证了RVT和YOLOv8模型的仿真到现实泛化能力。
2025-07-16 cs.CV
Traffic-Aware Pedestrian Intention Prediction
Department of Electrical Engineering, University of Notre Dame(电子工程系,圣约翰大学)
本文提出TA-STGCN模型,通过整合动态交通信号和边界框大小,提升行人意图预测的准确性,在PIE数据集上实现了4.75%的提升。
2025-07-16 cs.CV cs.SY eess.SY
DeepWait: Pedestrian Wait Time Estimation in Mixed Traffic Conditions Using Deep Survival Analysis
Ryerson University(瑞尔森大学)
行人的过马路行为是城市动态的重要方面之一,将受到自动驾驶汽车的引入的影响。在这项研究中,我们介绍了DeepSurvival,一种新的框架,估计行人的等待时间在无信号的中间块人行横道在混合交通条件。我们利用深度学习在捕捉数据中的非线性方面的优势,开发了一个以深度神经网络作为对数风险函数的cox比例风险模型。一个嵌入式的特征选择算法,以减少数据的维数,提高网络的可解释性。我们使用沉浸式虚拟现实环境从160名参与者收集的数据集上测试我们的框架。验证结果表明,我们提出的框架的C指数为0.64,优于标准的考克斯比例风险为基础的模型,C指数为0.58。
2019-08-08 cs.CV cs.HC
LYTNet: A Convolutional Neural Network for Real-Time Pedestrian Traffic Lights and Zebra Crossing Recognition for the Visually Impaired
Shanghai American School(上海美国学校)
目前,视力受损者依靠视力正常的人、导盲犬或白色手杖来安全导航。然而,训练导盲犬的费用非常昂贵,而且手杖不能提供有关交通灯颜色和人行横道方向的基本信息。在本文中,我们提出了一个基于深度学习的解决方案,提供有关交通灯模式和斑马线位置的信息。以前利用机器学习的解决方案只提供一条信息,并且大多是二进制的:只检测红灯或绿灯。建议的卷积神经网络,LYTNet,是专为全面性,准确性和计算效率。LYTNet为视障人士过马路提供了两条最重要的信息。我们提供了五类行人交通信号灯,而不是常见的三个或四个,和一个方向矢量表示的斑马线的中线,从2D图像平面转换到现实世界的位置。我们创建了自己的行人交通灯数据集,其中包含在上海数百个十字路口拍摄的5000多张照片。在iPhone 7上测试网络时,通过额外的后处理步骤,所进行的实验实现了94%的分类准确度,6.35度的平均角度误差,帧速率为每秒20帧。
2019-07-23 cs.CV cs.LG
Crossing the Road Without Traffic Lights: An Android-based Safety Device
Tel Aviv University(特拉维夫大学)
在没有行人过路灯的情况下,寻找一个安全的时刻过马路往往是危险和具有挑战性的,特别是对视力障碍的人来说。我们提出了一个可靠的低成本解决方案,一个Android设备连接到十字路口附近的交通标志或灯杆,指示过马路是否安全。该指示可以是通过声音、显示、振动和由Android设备提供的各种通信模态。一体化系统摄像头对准接近的车辆。光流从输入的视频流计算,并投影到流入图上,在短暂的训练期间自动获取。基于从投影导出的1维时间信号来确定交叉安全性。我们在三星Galaxy K-Zoom Android智能手机上实现了完整的系统,并获得了实时操作。该系统取得了可喜的实验结果,为行人提供足够的预警接近车辆。该系统可以作为一个独立的安全装置,可以安装在行人过路灯被排除的地方。它不需要专门的基础设施,可以由太阳能电池板供电,并通过蜂窝网络进行远程维护。
2016-10-11 cs.CV
CNN-Based Framework for Pedestrian Age and Gender Classification Using Far-View Surveillance in Mixed-Traffic Intersections
Bangladesh University of Engineering and Technology (BUET)(孟加拉国工程技术大学)
本研究提出基于CNN的远视监控框架,用于混合交通交叉口行人年龄和性别分类,无需面部识别或高分辨率图像,提供高效、低成本的行人人口统计数据监测解决方案。
2025-11-28 cs.CV cs.IR
Predicting the Influence of Adverse Weather on Pedestrian Detection with Automotive Radar and Lidar Sensors
Technische Hochschule Ingolstadt(英戈尔施塔特应用科学大学);Royal Melbourne Institute of Technology(皇家墨尔本理工大学);Eindhoven University of Technology(埃因霍温理工大学)
本文通过受控雨雾环境测量行人检测数据,并提出 Weather Filter 模型,结合经验数据修正物理基线,以低成本预测天气对指定雷达和激光雷达检测性能的影响。
2024-05-21 cs.CV
Leveraging 3D LiDAR Sensors to Enable Enhanced Urban Safety and Public Health: Pedestrian Monitoring and Abnormal Activity Detection
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
该研究提出融合LiDAR与IoT的双模型框架,用改进PV-RCNN做3D检测、PointNet分类行人活动,还通过Blender构建模拟数据集解决数据稀缺问题,助力城市交通管理与公共健康。
2024-04-17 cs.AI cs.CV cs.LG
Real-time Intent Prediction of Pedestrians for Autonomous Ground Vehicles via Spatio-Temporal DenseNet
Institute for Intelligent Systems Research and Innovation (IISRI), Deakin University(迪肯大学智能系统研究与创新研究所)
理解人类的行为和意图是自主地面车辆仍然面临的主要挑战之一。更具体地说,当涉及到城市交通场景等复杂环境时,推断行人等弱势道路使用者的意图和行动变得更加困难。在本文中,我们解决的问题,意图行动预测行人在城市交通环境中使用的单目RGB摄像机的图像序列。我们提出了一个实时的【形】框架,可以准确地检测,跟踪和预测行人的预期行动的基础上跟踪检测技术结合一种新的时空DenseNet模型。我们根据从城市交通环境中收集的真实数据对我们的框架进行了训练和评估。与其他基线方法相比,我们的框架显示出弹性和竞争力。总体而言,我们在20 FPS的实时的【形】性能下实现了84.76%的平均精度分数。
2019-04-22 cs.AI cs.CV
Understanding Pedestrian-Vehicle Interactions with Vehicle Mounted Vision: An LSTM Model and Empirical Analysis
University of Sao Paulo(圣保罗大学);University of California, San Diego(加州大学圣地亚哥分校)
在复杂的内城交通中,行人和车辆经常共用道路。这导致车辆和行人之间的相互作用,每个人都会影响另一个人的运动。为了创建强大的方法来推理行人的行为,并设计自动驾驶汽车和行人之间的通信接口,我们需要更好地理解这种交互。在本文中,我们提出了一种数据驱动的方法来隐式地模拟行人与车辆的交互,以更好地预测行人的行为。我们提出了一个LSTM模型,该模型将行人和自我车辆的过去轨迹以及行人头部方向作为输入,并预测行人的未来位置。我们的实验基于一个真实世界的,与车载摄像头捕获的内城数据集,表明使用这样的线索,提高行人预测相比,纯粹使用过去的轨迹的行人的基线。
2019-05-14 cs.CV
Pedestrian Trajectory Prediction via Spatial Interaction Transformer Network
School of Mechanical Engineering, University of Science and Technology Beijing(北京科技大学机械工程学院)
行人轨迹预测作为自动驾驶系统的核心技术,能够显著增强车辆主动安全功能,减少道路交通伤害。在交通场景中,行人遇到迎面而来的行人时,可能会突然转弯或立即停车,这往往会导致复杂的轨迹。为了预测这种不可预测的轨迹,我们可以深入了解行人之间的互动。本文提出了一种新的生成方法空间交互Transformer(SIT),通过注意力机制学习行人轨迹的时空相关性。此外,我们引入了条件变分自编码器(CVAE)框架来模拟行人未来的潜在运动状态。特别是,基于大规模trafc数据集nuScenes [2]的实验表明,SIT比最先进的(SOTA)方法具有出色的性能。在具有挑战性的ETH和UCY数据集上的实验评估证实了我们提出的模型的鲁棒性
2021-12-13 cs.CV cs.LG
iOSPointMapper: RealTime Pedestrian and Accessibility Mapping with Mobile AI
University of Washington(华盛顿大学);Paul G. Allen School of Computer Science and Engineering(保罗·G·艾伦计算机科学与工程学院)
iOSPointMapper通过移动AI实现实时人行道制图,结合语义分割、LiDAR和GPS数据,提供隐私保护的数据收集与多模式交通数据整合,提升行人基础设施的可达性。
2026-08-31 cs.CV
PEDESTRIANQA: A Benchmark for Vision-Language Models on Pedestrian Intention and Trajectory Prediction
CVIT, IIIT-Hyderabad, India(IIIT-海得拉巴计算机视觉与智能技术研究所,印度)
提出大规模视频数据集PedestrianQA,将行人意图和轨迹预测转化为带结构化理由的问答任务,通过微调视觉-语言模型显著提升预测准确性与可解释性。
2026-05-23 cs.AI cs.CV
Pedestrian Prediction by Planning using Deep Neural Networks
Institue of Measurement and Control Systems(测量与控制系统研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
准确的交通参与者预测是自动驾驶汽车避碰的前提。在这项工作中,我们预测行人通过模仿自己的运动规划。从在线观测,我们推断出一个混合密度函数的可能目的地。我们使用这个结果作为目标状态的规划阶段,执行运动预测的基础上共同的行为模式。整个系统被建模为一个单片神经网络,并通过逆强化学习进行训练。对真实世界数据的实验验证表明,该系统能够准确地预测目的地和轨迹。
2017-06-20 cs.CV
No Pedestrian Left Behind: Real-Time Detection and Tracking of Vulnerable Road Users for Adaptive Traffic Signal Control
Stetson University(史蒂森大学)
本文提出NPLB系统,通过实时监测人行横道上的脆弱道路使用者,动态延长信号时间以提升安全,实验显示安全提升71.4%。
2026-04-28 cs.AI cs.CV cs.RO
Video-to-Text Pedestrian Monitoring (VTPM): Leveraging Computer Vision and Large Language Models for Privacy-Preserve Pedestrian Activity Monitoring at Intersections
University of Central Florida(中佛罗里达大学)
本文提出VTPM框架,结合计算机视觉与大型语言模型,在交叉口进行隐私保护的行人活动监测,生成实时文本报告,并通过微调模型实现历史安全分析,大幅节省内存并消除隐私问题。
2024-08-21 cs.AI cs.CV
A Pedestrian-Vehicle Interaction Benchmark and Annotation Framework for Unstructured Scenes via Uncalibrated Cameras
School of Automation and Intelligent Sensing(自动化与智能感知学院);Global Institute of Future Technology(未来技术全球研究院)
针对非结构化场景中行人-车辆交互数据稀缺的问题,提出基于非标定监控视频的标注框架PINNS数据集,包含多国多场景的密集交互轨迹与场景信息,以促进复杂混合交通中的轨迹预测研究。
2026-05-25 cs.CV
WiderPerson: A Diverse Dataset for Dense Pedestrian Detection in the Wild
Center for Biometric Security Research(生物特征安全研究中心);National Laboratory of Pattern Recognition(模式识别国家重点实验室);Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Macau University of Science and Technology(澳门科技大学);University of Southern California(南加利福尼亚大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Institute of Deep Learning, Baidu Research(百度研究院深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
随着现有基准数据集的可用性,行人检测已经取得了重大进展。然而,现实世界的需求和当前的行人检测基准之间的多样性和密度存在差距:1)大多数现有的数据集是从车辆行驶通过常规交通场景,通常导致多样性不足; 2)具有高度遮挡行人的人群场景仍然代表不足,导致密度低。为了缩小这一差距,促进未来的行人检测研究,我们引入了一个大型而多样化的数据集WiderPerson,用于在野外进行密集行人检测。该数据集涉及广泛场景中的五种类型的注释,不再局限于交通场景。共有带有$399,786$注释的$13,382$图像,即,每个图像的$29.87$注释,这意味着该数据集包含具有各种遮挡的密集行人。因此,由于场景和遮挡的变化很大,所提出的数据集中的行人极具挑战性,这适合于评估野外的行人检测器。我们引入了改进的Faster R-CNN和vanilla RetinaNet作为新行人检测基准的基线。在以前的数据集上进行了几个实验,包括Caltech-USA和CityPersons,以分析所提出的数据集的泛化能力,我们在这些以前的数据集上实现了最先进的性能,没有花里胡哨的东西。最后,我们分析了常见的故障情况,发现行人检测器的分类能力需要提高,以减少误报率和漏检率。建议的数据集可在http://www.cbsr.ia.ac.cn/users/sfzhang/WiderPerson上获得
2019-09-25 cs.CV
Pedestrian Archetypes Extension -- More Pedestrian Models for Autonomous Vehicle Safety Testing
Stanford University(斯坦福大学);University of California San Diego(加利福尼亚大学圣地亚哥分校);University of Washington(华盛顿大学)
研究在行人原型基础上,通过注释YouTube行车记录仪视频,识别出7种新的行人原型,介绍其行为,阐述与旧原型差异并提供视频证据,为自动驾驶车辆安全测试提供更多行人模型。
2026-07-21 cs.CV
Social-IWSTCNN: A Social Interaction-Weighted Spatio-Temporal Convolutional Neural Network for Pedestrian Trajectory Prediction in Urban Traffic Scenarios
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
提出Social-IWSTCNN,融合时空特征与社会交互提取器,在Waymo城市数据集上超越SOTA模型,显著提升轨迹预测精度与速度。
2021-05-26 cs.AI cs.CV cs.LG
TrackletMapper: Ground Surface Segmentation and Mapping from Traffic Participant Trajectories
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
对道路和街道交叉口等地面基础设施进行鲁棒分类是移动机器人在行人旁边运行的一项重要任务。虽然许多语义分割数据集可用于自动驾驶车辆,但在这些数据集上训练的模型在部署在行人空间中操作的机器人上时表现出很大的域差距。手动注释从行人视点记录的图像既昂贵又耗时。为了克服这一挑战,我们提出了TrackletMapper,一个框架,用于注释地面类型,如人行道,道路和街道交叉口从对象tracklet,而不需要人类注释的数据。为此,我们将机器人自我轨迹和其他交通参与者的路径投影到自我视图相机图像中,为多种类型的地面创建稀疏语义注释,从而可以训练地面分割模型。我们进一步表明,该模型可以通过聚合地面地图并将其投影到相机图像中来自我蒸馏以获得额外的性能优势,与稀疏tracklet注释相比,可以创建更密集的训练注释集。我们定性和定量地证明了我们的研究结果在一个新的大规模数据集的移动机器人在行人区运行。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。
2023-01-08 cs.CV cs.RO
Traffic-Net: 3D Traffic Monitoring Using a Single Camera
Institute for Transport Studies, The University of Leeds(利兹大学交通研究所);Qazvin University(加兹温大学);Tehran Azad University, Science & Research Branch(德黑兰阿扎德大学科学与研究分院)
计算机视觉在智能交通系统(ITS)和交通监控中发挥了重要作用。随着自动化车辆的快速增长和拥挤的城市,使用视频监控基础设施的自动化和先进的交通管理系统(ATMS)已经通过实施深度神经网络而发展。在这项研究中,我们提供了一个实用的实时交通监控平台,包括3D车辆/行人检测,速度检测,轨迹估计,拥堵检测,以及监控车辆和行人的相互作用,所有这些都使用一个单一的CCTV交通摄像头。我们采用自定义YOLOv 5深度神经网络模型进行车辆/行人检测和增强的SORT跟踪算法。第一次,一个混合的卫星-地面为基础的逆透视映射(SG-IPM)的相机自动校准方法也被开发,从而导致一个准确的三维目标检测和可视化。我们还开发了一种基于短期和长期时间视频数据流的分层交通建模解决方案,以了解弱势道路使用者的交通流量,瓶颈和风险点。使用各种交通监测数据集,包括MIO-TCD,UA-DETRAC和GRAM-RTM,在不同的照明和天气条件下从高速公路,交叉口和城市地区收集的真实世界的场景和比较与国家的最先进的几个实验进行。
2022-07-02 cs.AI cs.CV cs.LG
Linear Support Tensor Machine: Pedestrian Detection in Thermal Infrared Images
由于图像的低分辨率和噪声特性,热红外图像中的行人检测提出了独特的挑战。在这里,我们提出了一个中级属性的多维模板,或张量的形式,使用本地转向核(LSK)作为低级别的描述符,用于检测远红外图像中的行人。LSK被专门设计为通过简洁地捕获局部图像几何形状而不是收集局部取向统计来处理固有图像噪声和像素级不确定性(例如,HOG中的直方图)。我们的第二个贡献是引入一个新的图像相似性内核中流行的最大间距框架的支持向量机,结果在一个相对较短的和简单的训练阶段,建立一个刚性的行人检测器。我们的第三个贡献是用多通道离散傅立叶变换代替了缓慢但事实上基于滑动窗口的检测方法,从而促进了非常快速和有效的行人定位。公开的热红外图像的实验研究证明我们的建议和模型假设。此外,拟议的工作还涉及在超过17000帧的OSU Color Thermal数据库中发布我们内部的行人注释,以便与研究界共享。
2016-09-26 cs.CV
Tracking Algorithm for Microscopic Flow Data Collection
Tohoku University(东北大学)
许多研究人员最近开发了各种使交通数据汇集自动化的方法。提出了通过图像处理进行宏观数据汇集的方法。对于微观交通流数据,例如个体速度和时间或距离车头时距,需要跟踪个体运动。行人或车辆的跟踪算法已经发展到跟踪一个或两个行人的运动的基础上的标志模式,和特征检测。目前还没有研究同时跟踪许多行人或车辆。本文描述了一种新的快速算法来跟踪多个单独的车辆或行人的运动
2016-09-07 cs.CV cs.CY
Semantic and Articulated Pedestrian Sensing Onboard a Moving Vehicle
Lund University(隆德大学)
本文指出车载视频3D重建困难且现有LiDAR方法在远距离铰接式人体检测上不足,提出建立针对LiDAR铰接式行人感知的基准以促进相关研究并提升行人交通安全。
2023-09-12 cs.CV cs.LG cs.RO
Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation
Institute for Transport Studies(交通研究所);University of Leeds(利兹大学)
本研究提出基于骨架姿态评估的行人手势识别框架,通过分析手部位置和运动速度提升AV对交通手势的识别准确率至87%。
2026-02-09 cs.AI cs.CV cs.ET
PSI: A Benchmark for Human Interpretation and Response in Traffic Interactions
Tulane University(路易斯安那州立大学);Purdue University(普渡大学);North Carolina State University(北卡罗来纳州立大学);Toyota Motor North America(丰田美国公司)
PSI基准通过捕捉行人过马路意图的动态变化,结合人类文本解释,为开发可解释且符合人类认知的自动驾驶系统提供支持。
2026-04-23 cs.AI cs.CV
Automated Object Behavioral Feature Extraction for Potential Risk Analysis based on Video Sensor
Korea Advanced Institute of Science and Technology(韩国科学技术院)
由于各种原因,行人在道路上,特别是在无信号的人行横道上,面临死亡或严重受伤的风险。迄今为止,基于视觉的交通安全系统已经有了广泛的研究报道。然而,许多研究需要人工检查的交通视频的体积,以可靠地获得交通相关的对象的行为因素。在本文中,我们提出了一个自动化和简单的系统,有效地提取对象的行为特征,从视频传感器部署在道路上。我们对这些特征进行了基本的统计分析,并展示了它们如何用于监控道路上的交通行为。我们确认了所提出的系统的可行性,将我们的原型,在乌山市,韩国的两个无信号人行横道。最后,我们通过简单的统计分析比较了这两个地区的车辆和行人的行为。这项研究表明,连接的视频传感器网络有可能为智慧城市提供可操作的数据,以改善危险道路环境中的行人安全。
2021-10-26 cs.CV cs.CY
Multi-view Phase-aware Pedestrian-Vehicle Incident Reasoning Framework with Vision-Language Models
College of Engineering University of Georgia(工程学院 乔治亚大学)
针对行人-车辆事故推理缺乏行为认知阶段分析与多视角整合的问题,提出MP-PVIR框架,结合专用VLMs实现相位分割、多视角推理与报告生成,在Woven数据集验证其将视频转化为可操作安全见解的能力。
2025-11-18 cs.AI cs.CV
DEEGITS: Deep Learning based Framework for Measuring Heterogenous Traffic State in Challenging Traffic Scenarios
Bangladesh University of Engineering and Technology (BUET)(孟加拉国工程技术大学);Accident Research Institute(事故研究所)
本文提出DEEGITS框架,结合CNN与YOLOv8迁移学习检测拥堵等场景下的车辆与行人,并利用DeepSORT跟踪以测量异构交通状态,实验证明其准确率高且误差极小。
2024-11-13 cs.AI cs.CV
Can Vision-Language Models Understand and Interpret Dynamic Gestures from Pedestrians? Pilot Datasets and Exploration Towards Instructive Nonverbal Commands for Cooperative Autonomous Vehicles
University of California Merced(加州大学默塞德分校);Aalborg University(奥尔堡大学)
本研究针对自动驾驶中交通手势解读的需求,调查了视觉语言模型(VLMs)的零样本解释能力,创建并公开了两个交通手势数据集,评估发现现有VLMs表现远低于专家基线,需进一步研究。
2025-04-15 cs.AI cs.CV cs.HC
Birds Eye View Social Distancing Analysis System
Columbia University(哥伦比亚大学)
社交距离可以降低呼吸道流行病(如COVID-19)的感染率。交通交叉口特别适合于大城市的社会距离行为的监测和评价。我们提出并评估了一个隐私保护的社交距离分析系统(B-SDA),它使用鸟瞰视频记录的行人谁穿过交通路口。我们设计了用于视频预处理、目标检测和跟踪的算法,这些算法植根于已知的计算机视觉和深度学习技术,但被修改以解决检测由高度升高的摄像机捕获的非常小的物体/行人的问题。我们提出了一种方法,将行人分组检测违反社会距离。B-SDA用于比较基于大流行前和大流行视频的主要大都市地区的行人行为。完成的行人检测性能为$63.0\%$ $AP_{50}$,跟踪性能为$47.6\%$ MOTA。在疫情期间,$15.6\%$的社交距离违规率明显低于$31.4\%$疫情前的基线,表明行人遵守了CDC规定的社交距离建议。所提出的系统是适合部署在现实世界中的应用。
2022-02-09 cs.AI cs.CV cs.DC
Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models
Technical University of Denmark(丹麦技术大学);University of Helsinki(赫尔辛基大学);Delft University of Technology(代尔夫特理工大学)
利用视觉语言模型(VLM)将行人过街意图预测转化为视觉问答任务,通过参数高效微调并结合自我运动、车辆运动和眼动等上下文线索,在自我中心视频上实现了14.5%的准确率提升,创下新纪录。
2026-06-08 cs.AI cs.CV
PedFormer: Pedestrian Behavior Prediction via Cross-Modal Attention Modulation and Gated Multitask Learning
Huawei(华为);York University(约克大学)
行人行为预测是智能驾驶系统的关键任务。准确的预测需要深入了解可能影响行人行为方式的各种上下文元素。为了应对这一挑战,我们提出了一个新的框架,依赖于不同的数据模式来预测未来的轨迹和行人从自我为中心的角度穿越动作。具体来说,我们的模型利用跨模态的Transformer架构来捕获不同数据类型之间的依赖关系。Transformer的输出增强了行人和其他交通代理之间的互动的表示条件下的行人和自我车辆的动态,通过语义注意的互动模块生成。最后,使用门控共享网络将上下文编码馈送到多流解码器框架中。我们在公共行人行为基准PIE和JAAD上评估了我们的算法,并表明我们的模型在各种指标上分别将轨迹和动作预测的最新水平提高了22%和13%。通过广泛的消融研究,我们的模型的组件所带来的优势进行了研究。
2022-10-14 cs.CV cs.RO
Vision-based Pedestrian Alert Safety System (PASS) for Signalized Intersections
Clemson University(克莱姆森大学);Benedict College(本尼迪克特学院)
虽然车辆到行人(V2P)通信可以显著提高信号交叉口处的行人安全性,但是由于行人通常不携带手持设备(例如,专用短距离通信(DSRC)和5G手机)与附近的联网车辆进行通信。为了克服这一限制,在这项研究中,信号交叉口的交通摄像头被用来通过基于视觉的深度学习技术准确地检测和定位行人,以实时生成关于车辆和行人之间可能发生冲突的安全警报。本文的贡献在于使用基于视觉的深度学习模型开发了一个系统,该系统能够实时(每100毫秒)生成个人安全消息(PSM)。我们开发了一个行人警报安全系统(PASS),以产生一个即将发生的车辆碰撞的安全警报,使用生成的PSM,以提高行人在信号交叉口的安全性。我们的方法估计的位置和速度的行人更准确地比现有的DSRC启用行人手持设备。一个连接的车辆应用程序,行人信号人行横道警告(PSCW),开发了基于视觉的PASS评估。数值分析表明,我们的基于视觉的PASS是能够满足行人安全应用在连接的车辆环境中的准确性和延迟的要求。
2019-07-02 cs.CV eess.IV
CADP: A Novel Dataset for CCTV Traffic Camera based Accident Analysis
Carnegie Mellon University(卡内基梅隆大学);University of Tokyo(东京大学)
本文提出了一种新的数据集的交通事故分析。我们的目标是解决缺乏公共数据的研究自动时空标注的道路交通安全。通过对拟议数据集的分析,我们观察到由于场景的对象大小和复杂性,数据集中行人类别的目标检测显着下降。为此,我们建议使用上下文挖掘(CM)和增强上下文挖掘(ACM)将上下文信息集成到传统的Faster R-CNN中,以补充小型行人检测的准确性。我们的实验表明,在目标检测的准确性相当大的改善:+8.51%的CM和+6.20%的ACM。最后,我们使用Faster R-CNN和Accident LSTM架构在我们的数据集中展示了事故预测的性能。我们在事故发生时间方面达到了平均1.684秒,平均精度为47.25%。我们的网页是https://goo.gl/cqK2wE
2018-11-16 cs.CV cs.MM
Dynamics of Pedestrian Crossing Decisions Based on Vehicle Trajectories in Large-Scale Simulated and Real-World Data
Massachusetts Institute of Technology(麻省理工学院);Toyota Collaborative Safety Research Center(丰田协作安全研究中心)
作为行人和驾驶员的人类通常熟练地在交通十字路口导航。尽管这些互动中普遍存在不确定性、危险性和非语言性的沟通,但考虑到互动的总数,冲突却少得令人惊讶。随着自动化技术在车辆中的作用越来越大,了解行人和驾驶员行为之间的关系变得越来越重要:行人如何感知车辆/驾驶员的行为以及行人如何做出交叉决策。到达时间(TTA)和行人间隙接受度(即,行人是否选择在给定的过街时间窗口下过街)已经被广泛地调查。然而,在非语言交流的背景下,车辆轨迹的动态性质还没有得到系统的探讨。我们的工作提供的证据表明,轨迹动态,如TTA的变化,可以在驾驶员和行人之间的非语言交流的强大信号。此外,我们在模拟和真实世界的数据集,都比以前在文献中被认为是最好的我们所知的这些影响进行了调查。
2019-04-08 cs.CV cs.HC