A novel efficient Multi-view traffic-related object detection framework
Academy for Engineering & Technology, Fudan University(复旦大学工程与应用技术研究院);Duke Kunshan University(昆山杜克大学);Shanghai East-bund Research Institute on NSAI(上海东滩NSAI研究院);Jiangxi Open University(江西开放大学)
随着智能交通系统应用的快速发展,大量的多视角视频数据不断涌现,以增强车辆感知。然而,通过利用来自视频数据的时空冗余来有效地执行视频分析仍然具有挑战性。因此,我们提出了一种新的交通相关的框架,名为CEVAS实现高效的目标检测,使用多视角视频数据。简单地说,引入细粒度的输入过滤策略以从捕获的图像产生合理的感兴趣区域。此外,我们还设计了一个共享对象管理器来管理具有空间冗余的对象的信息,并将其结果与其他车辆共享。我们进一步推导出一个内容感知的模型选择策略,以自适应地选择检测方法。实验结果表明,我们的框架显着减少响应延迟,同时达到相同的检测精度的国家的最先进的方法。
2023-02-23 cs.CV
Detection of Micromobility Vehicles in Urban Traffic Videos
Polytechnique Montréal(蒙特利尔理工学院);University of Québec (TÉLUQ)(魁北克大学(TÉLUQ))
针对城市交通中微型代步车辆检测难题,提出融合连续帧运动流聚合特征与YOLOX架构的检测模型,在自建数据集上性能优于现有前沿方法,可提升遮挡等场景下的检测可靠性。
2024-10-30 cs.CV
Comparison of Object Detection Algorithms Using Video and Thermal Images Collected from a UAS Platform: An Application of Drones in Traffic Management
University of South Florida(南佛罗里达大学);Center for Urban Transportation Research(城市交通研究中心);Florida Department of Transportation(佛罗里达州交通部)
无人机(UAV)在交通管理中的应用迅速增长,例如交通监视、监控和事件检测。然而,现有的文献缺乏解决方案,实时事件检测,同时在实践中解决隐私问题。本研究探讨了实时车辆检测算法的视觉和红外摄像机,并进行了实验比较其性能。红绿蓝(RGB)视频和热图像是从佛罗里达州坦帕市高速公路沿线的UAS平台收集的。实验设计了量化的性能,实时背景减除为基础的方法在车辆检测从一个固定的摄像机悬停无人机在自由流条件下。根据无人机和传感器相对于道路的几何形状,在实验中设置了几个参数。实验结果表明,基于背景减除的方法在RGB图像上具有良好的检测性能(F1值在0.9左右),在不同方位角的热图像上具有更好的检测性能。这些实验的结果将有助于为使用无人机检测高速公路拥堵的协议、标准和指南的开发提供信息,并为事件检测算法的开发提供投入。
2021-09-27 cs.CV
COLLIDE-PRED: Prediction of On-Road Collision From Surveillance Videos
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
预测道路上的异常情况,如道路事故或交通违规,是交通监控中一项具有挑战性的任务。如果能提前做好这样的预测,许多损害是可以控制的。在我们的工作中,我们试图用计算机视觉和深度网络来制定交通监控视频中自动碰撞预测的解决方案。它涉及目标检测、跟踪、轨迹估计和碰撞预测。我们提出了一个端到端的碰撞预测系统,命名为COLLIDE-PRED,智能地集成了过去和未来的移动对象的轨迹的信息来预测视频中的碰撞。这是一条从用于对象跟踪的目标检测开始,然后执行轨迹预测,最后进行碰撞检测的流水线。COLLIDE-PRED能够准确识别出碰撞的可能位置和可能导致碰撞的物体,并通过大量视频对该方法进行了实验验证,证明该方法能够有效地提前识别事故。
2021-01-21 cs.CV
TAU: A Framework for Video-Based Traffic Analytics Leveraging Artificial Intelligence and Unmanned Aerial Systems
Prince Sultan University(苏丹王子大学);Benha University(本哈大学)
政府部门对智能交通工程和智能交通服务的需求日益增加,以优化交通性能,从而降低能源成本,提高驾驶员的安全性和舒适性,确保交通法规的执行,并检测交通违法行为。在本文中,我们将解决这一挑战,并利用人工智能(AI)和无人机(UAV)开发一个集成AI的视频分析框架,称为TAU(来自UAV的交通分析),用于自动交通分析和理解。与以前的交通视频分析工作不同,我们提出了一个自动化的目标检测和跟踪管道,从视频处理到使用高分辨率无人机图像的高级交通理解。TAU结合了六个主要贡献。首先,它提出了一种预处理算法,以适应高分辨率的无人机图像作为输入的对象检测器,而不降低分辨率。这确保了高质量特征的出色检测精度,特别是从无人机图像中检测到的小尺寸物体。其次,它引入了一种重新校准车辆坐标的算法,以确保车辆在同一帧的多个裁剪中被唯一识别和跟踪。第三,提出了一种基于连续帧信息积累的速度计算算法。第四,TAU基于光线追踪算法计算每个交通区的车辆数量。第五,TAU有一个完全独立的算法,用于基于从周围不同区域收集的数据进行交叉路口仲裁。第六,TAU引入了一套算法,用于从收集的原始数据中提取24种见解。代码在这里共享:https://github.com/bilel-bj/TAU。视频演示在这里提供:https://youtu.be/wXJV0H7LviU和这里:https://youtu.be/kGv0gmtVEbI。
2023-03-01 cs.AI cs.CV
Vehicle Perception from Satellite
本文提出从卫星视频进行车辆感知的新任务,构建了包含真实与合成视频的大规模基准,支持微小目标检测、计数与密度估计,并评估多种传统计算机视觉方法以分析挑战与前景。
2024-02-01 cs.CV
Deep Learning Serves Traffic Safety Analysis: A Forward-looking Review
Clemson University(克莱姆森大学);University of Arizona(亚利桑那大学);Northern Arizona University(北亚利桑那大学);Arizona State University(亚利桑那州立大学)
本文探讨了用于或有可能用于交通视频分析的深度学习(DL)方法,强调了自动驾驶汽车(AV)和人工驾驶汽车的驾驶安全。我们提出了一个典型的处理管道,它可以用来理解和解释交通视频提取操作安全指标,并提供一般的提示和指导方针,以提高交通安全。该处理框架包括视频增强、视频稳定、语义和事件分割、目标检测和分类、轨迹提取、速度估计、事件分析、建模和异常检测等步骤。我们的主要目标是引导流量分析师开发自己的定制的处理框架,选择最好的选择,为每一步,并提供新的设计,缺乏模块,通过提供最成功的传统和DL为基础的算法的比较分析,提出了每一步。我们还回顾了现有的开源工具和公共数据集,可以帮助训练DL模型。更具体地说,我们回顾了典型的交通问题,并提到了每个问题的步骤。此外,我们还调查了与驾驶员认知评估、基于众包的监控系统、路边基础设施中的边缘计算、配备自动驾驶系统(ADS)的车辆等密切相关的研究领域的联系,并强调了缺失的差距。最后,我们回顾了交通监控系统的商业实现,其未来的前景,以及开放的问题和广泛使用这样的系统仍然存在的挑战。
2022-07-05 cs.AI cs.CV
An Efficient Approach for Anomaly Detection in Traffic Videos
University of South Florida(南佛罗里达大学)
由于其在智能交通系统中的相关性,交通视频中的异常检测最近受到了很大的关注。由于实时交通流的视频质量受到温度、视角、光照等多种因素的影响,目前的方法虽然在已有的基准数据集上表现良好,但需要大量的外部训练数据和大量的计算资源。在本文中,我们提出了一种有效的方法,视频异常检测系统,这是能够运行在边缘设备,例如,路边的摄像头所提出的方法包括一个预处理模块,检测场景中的变化,并删除损坏的帧,一个两阶段的背景建模模块和两阶段的对象检测器。最后,回溯异常检测算法计算相似性统计量,并决定异常的发生时间。我们还提出了一个连续的变化检测算法,可以快速适应一个新的场景,并检测相似性统计的变化。在2021年AI城市挑战赛的Track 4测试集上的实验结果显示了所提出的框架的有效性,因为我们实现了0.9157的F1分数以及8.4027的均方根误差(RMSE),并在比赛中排名第四。
2021-04-20 cs.AI cs.CV eess.IV
SynCrash: A Multi-Stage Pipeline for Zero-Shot Accident Detection and Localization in Traffic Surveillance Video
Indian Institute of Technology Jodhpur(印度焦特布尔印度理工学院)
提出SynCrash多阶段流水线,针对CVPR2026挑战赛ACCIDENT任务,在无真实标注数据下,结合VideoMAEv2、YOLO及物理启发式算法,实现交通监控视频零样本事故检测、定位与碰撞分类。
2026-09-01 cs.AI cs.CV
Traffic-Net: 3D Traffic Monitoring Using a Single Camera
Institute for Transport Studies, The University of Leeds(利兹大学交通研究所);Qazvin University(加兹温大学);Tehran Azad University, Science & Research Branch(德黑兰阿扎德大学科学与研究分院)
计算机视觉在智能交通系统(ITS)和交通监控中发挥了重要作用。随着自动化车辆的快速增长和拥挤的城市,使用视频监控基础设施的自动化和先进的交通管理系统(ATMS)已经通过实施深度神经网络而发展。在这项研究中,我们提供了一个实用的实时交通监控平台,包括3D车辆/行人检测,速度检测,轨迹估计,拥堵检测,以及监控车辆和行人的相互作用,所有这些都使用一个单一的CCTV交通摄像头。我们采用自定义YOLOv 5深度神经网络模型进行车辆/行人检测和增强的SORT跟踪算法。第一次,一个混合的卫星-地面为基础的逆透视映射(SG-IPM)的相机自动校准方法也被开发,从而导致一个准确的三维目标检测和可视化。我们还开发了一种基于短期和长期时间视频数据流的分层交通建模解决方案,以了解弱势道路使用者的交通流量,瓶颈和风险点。使用各种交通监测数据集,包括MIO-TCD,UA-DETRAC和GRAM-RTM,在不同的照明和天气条件下从高速公路,交叉口和城市地区收集的真实世界的场景和比较与国家的最先进的几个实验进行。
2022-07-02 cs.AI cs.CV cs.LG
A Robust Framework for Moving-Object Detection and Vehicular Traffic Density Estimation
National ICT Australia (NICTA)(澳大利亚国家信息与通信技术研究院(NICTA));The University of New South Wales (UNSW)(新南威尔士大学(UNSW))
本文提出了一种基于纹理度量的移动物体检测方法,具有计算成本低、参数调整少和抗噪声能力强的特点,实验表明其性能优于现有方法,并提出车辆交通密度估计的框架及对比分析。
2014-02-03 cs.CV cs.RO cs.SY
SUTD-TrafficQA: A Question Answering Benchmark and an Efficient Network for Video Reasoning over Traffic Events
Singapore University of Technology and Design(新加坡科技设计大学)
视频中的交通事件认知和推理是一项重要任务,在智能交通、辅助驾驶和自动驾驶汽车等领域有着广泛的应用。在本文中,我们创建了一个新的数据集,SUTD-Question QA(Traffic问答),它采用视频QA的形式,基于收集的10,080个野外视频和注释的62,535个QA对,用于对复杂交通场景中因果推理和事件理解模型的认知能力进行基准测试。具体而言,我们提出了6个具有挑战性的推理任务,对应于各种交通场景,以评估推理能力在不同类型的复杂而实际的交通事件。此外,我们提出了Eclipse,一种新的高效的一瞥网络,通过动态推理,以实现计算效率和可靠的视频推理。实验表明,我们的方法实现了优越的性能,同时大大降低了计算成本。项目页面:https://github.com/SUTDCV/SUTD-TrafficQA。
2021-07-06 cs.CV
InterAct-Video: Reasoning-Rich Video QA for Urban Traffic
Arizona State University(亚利桑那州立大学)
本文构建包含8小时真实交叉口视频与2.5万余QA对的 InterAct VideoQA 数据集,用于评测和微调交通视频问答模型,揭示细粒度时空推理难题并验证领域数据价值。
2025-08-28 cs.CV
SGTA: Scene-Graph Based Multi-Modal Traffic Agent for Video Understanding
Technical University of Munich(慕尼黑工业大学)
SGTA结合结构化场景图与多模态推理,通过检测、跟踪和车道提取构建交通场景图,并利用ReAct处理大语言模型的推理轨迹,实现复杂视频问题的可解释决策。
2026-04-04 cs.CV
Interpretable Traffic Responsibility from Dashcam Video via Legal Multi Agent Reasoning
Northeast University(东北大学);SUNY Binghamton University(纽约州立大学布法罗分校)
本文提出C-TRAIL多模态数据集,结合视频与文本描述,通过两阶段框架实现交通责任判定,优于现有方法并提供透明法律推理过程。
2026-03-18 cs.CV
AAD: Adaptive Anomaly Detection through traffic surveillance videos
通过视频分析的异常检测对于检测交通路口的任何异常车辆/人行为具有重要意义。虽然大多数现有的作品使用神经网络和传统的机器学习方法的基础上提供的数据集,我们将使用对象识别(更快的R-CNN),以确定对象的标签和它们在视频场景中的相应位置作为第一步,以实现异常检测。然后,将利用光流来识别帧的每个区域中的自适应业务流。基本上,我们提出了一种替代方法,使用自适应异常检测框架进行异常活动检测。与参考文献中描述的基线方法相比,我们的方法是更有效的,并产生相当的精度。
2018-08-29 cs.CV
TUMTraffic-VideoQA: A Benchmark for Unified Spatio-Temporal Video Understanding in Traffic Scenes
本文提出TUMTraffic-VideoQA数据集与基准,通过基于元组的时空目标表达统一多项选择视频问答、指称目标描述和时空目标定位三项任务,并引入TUMTraffic-Qwen基线模型,为智能交通系统的细粒度时空推理研究提供基础。
2025-02-04 cs.CV
CAROM Air -- Vehicle Localization and Traffic Scene Reconstruction from Aerial Videos
Rider University(莱德大学);Arizona State University(亚利桑那州立大学)
提出CAROM Air方法,从航拍视频中提取车辆轨迹并自动重建、重仿真交通场景,定位误差约0.1至0.3米,并发布含50个场景、源自约100小时视频的数据集。
2023-05-31 cs.CV
Unsupervised Traffic Accident Detection in First-Person Videos
Indiana University(印第安纳大学);University of Michigan(密歇根大学)
识别自然驾驶场景中的交通违规和事故等异常事件对于成功的自动驾驶和高级驾驶员辅助系统至关重要。然而,大多数视频异常检测的工作遭受两个关键的缺点。首先,他们假设摄像头是固定的,视频具有静态背景,这对于监控应用是合理的,但对于车载摄像头则不然。其次,它们将问题视为一类分类,依赖于艰苦的手工标记的训练数据集,这些数据集将识别限制在已明确训练的异常类别。本文提出了一种无监督的方法在第一人称(仪表盘安装的摄像头)视频交通事故检测。我们的主要创新之处是通过预测交通参与者的未来位置来检测异常,然后用三种不同的策略来监测预测的准确性和一致性指标。我们使用一个新的不同交通事故数据集,AnAn事故检测(A3D),以及另一个公开的数据集来评估我们的方法。实验结果表明,我们的方法优于最先进的。
2019-07-26 cs.CV
Eyes on the Road: State-of-the-Art Video Question Answering Models Assessment for Traffic Monitoring Tasks
Arizona State University(亚利桑那州立大学)
本文利用GPT-4o在合成与真实交通视频上评估多种VideoQA模型,发现VideoLLaMA-2准确率最高但仍受限于多目标跟踪与时序推理。
2024-12-02 cs.CV
Traffic Signs in the Wild: Highlights from the IEEE Video and Image Processing Cup 2017 Student Competition [SP Competitions]
强大而可靠的交通标志检测是将自动驾驶汽车带到道路上的必要条件。国家的最先进的算法成功地执行交通标志检测现有的数据库,大多缺乏严重的挑战性条件。2017年VIP杯比赛的重点是在具有挑战性的条件下检测此类交通标志。为了促进这样的任务和竞争,我们引入了一个名为CURE-TSD的视频数据集,其中包括各种具有挑战性的条件。这项挑战的目标是实现交通标志检测算法,可以在这种具有挑战性的条件下稳健地执行。在这篇文章中,我们分享了2017年VIP杯的经验,包括比赛设置,团队,技术方法,参与统计,以及通过决赛团队成员和组织者的眼睛的比赛经验。
2018-11-13 cs.CV
Enhancing Traffic Safety with Parallel Dense Video Captioning for End-to-End Event Analysis
University of Central Florida(中佛罗里达大学);North Dakota State University(北达科他州立大学)
本研究针对2024年AI City挑战赛交通安全分析任务,基于PDVC框架结合CLIP特征、领域适配与知识迁移优化密集视频字幕,在WTS数据集测试集上获竞赛第6名。
2024-04-12 cs.CV
When, Where, and What? A New Dataset for Anomaly Detection in Driving Videos
University of Michigan(密歇根大学);Indiana University(印第安纳大学);Amazon Rekognition(亚马逊Rekognition)
视频异常检测(VAD)已经被广泛研究。然而,对以自我为中心的动态场景的交通视频的研究缺乏大规模的基准数据集以及有效的评价指标。本文提出了一种流量异常检测与\textit{when-where-what}管道检测,定位和识别异常事件的自我中心的视频。我们引入了一个名为交通异常检测(DoTA)的新数据集,其中包含4,677个具有时间,空间和分类注释的视频。提出了一种新的时空曲线下面积(STAUC)评估指标,并与DoTA一起使用。实验结果表明,STAUC是一种有效的VAD度量方法。据我们所知,DoTA是迄今为止最大的流量异常数据集,也是第一个支持跨时间-地点-内容视角的流量异常研究。我们的代码和数据集可以在https://github.com/MoonBlvd/Detection-of-Traffic-Anomaly上找到
2020-04-06 cs.CV
Bicycle Detection Based On Multi-feature and Multi-frame Fusion in low-resolution traffic videos
自行车作为一种主要的交通工具,包括电动自行车在内,在中国几乎遍布各地。自行车引发的交通事故已成为严重威胁公共安全的问题。因此自行车检测是我国交通视频监控系统的主要任务之一。提出了一种基于多特征多帧融合的低分辨率交通视频中自行车检测方法。该方法首先从每帧图像中提取物体的几何特征,然后将多个特征拼接成一个特征向量,利用线性支持向量机(SVM)学习分类器,或将这些特征放入级联分类器中,得到物体是否为自行车的初步检测结果。它进一步融合来自多个帧的这些初步检测结果,以提供更可靠的检测决策以及该决策的置信水平。实验结果表明,该方法基于多特征、多帧融合的方法能够以较高的准确率和较低的计算复杂性对自行车进行识别。因此,它适用于实时交通视频监控系统。
2017-06-11 cs.CV
TAD: A Large-Scale Benchmark for Traffic Accidents Detection from Video Surveillance
AI Innovation and Application Center of China Unicom(中国联通人工智能创新应用中心)
自动交通事故检测由于其对自主智能交通系统(ITS)的发展和对交通安全的重要性而受到机器视觉界的关注。然而,以往对交通事故进行有效分析和预测的研究大多采用覆盖范围有限的小规模数据集,这限制了其效果和适用性。现有的交通事故数据集要么是小规模的,不是来自监控摄像头,不是开源的,或者不是为高速公路场景而构建的。由于高速公路上发生的交通事故往往造成严重的损害,而且速度太快,难以捕捉现场。高速公路交通事故监控摄像头采集的开源数据集具有重要的现实意义。为了帮助视觉界解决这些问题,我们努力收集涵盖丰富场景的真实交通事故视频数据。在对数据进行多维集成和标注后,本文提出了一个大规模的交通事故数据集--交通事故数据集。在这项工作中,使用公共主流视觉算法或框架对图像分类、目标检测和视频分类任务进行各种实验,以展示不同方法的性能。建议的数据集与实验结果一起提出了一个新的基准,以提高计算机视觉的研究,特别是在ITS。
2022-09-26 cs.CV
WTS: A Pedestrian-Centric Traffic Video Dataset for Fine-grained Spatial-Temporal Understanding
Woven by Toyota(丰田编织公司);The University of Tokyo(东京大学);Santa Clara University(圣克拉拉大学)
本文提出行人中心交通视频数据集WTS,含1200+事件及5000个标注视频,整合多视角与3D视线数据,并引入LLMScorer评估指标及实例感知VideoLLM基线,以推动细粒度视频事件理解,提升交通安全与自动驾驶。
2024-07-22 cs.CV
Challenges in Time-Stamp Aware Anomaly Detection in Traffic Videos
Malaviya National Institute of Technology Jaipur(斋浦尔马拉维亚国家技术学院)
基于时间戳的交通视频异常检测是智能交通系统发展的一项重要任务。视频中的异常检测是一个具有挑战性的问题,由于稀疏的异常事件的发生,不同类型的异常的不一致的行为和不平衡的可用数据的正常和异常的情况。在本文中,我们提出了一个三阶段的管道来学习视频中的运动模式,以检测视觉异常。首先,从最近的历史帧中估计背景,以识别不动的对象。该背景图像用于定位帧内的正常/异常行为。此外,我们在估计的背景中检测感兴趣的对象,并将其归类为基于时间戳感知的异常检测算法的异常。我们还讨论了所面临的挑战,在提高性能看不见的测试数据的流量异常检测。实验是在NVIDIA AI城市挑战赛2019的第三场比赛中进行的。实验结果表明,该方法能够有效地检测交通/道路视频中的时间戳异常。
2019-06-11 cs.CV
CCTVBench: Contrastive Consistency Traffic VideoQA Benchmark for Multimodal LLMs
Technical University of Munich(慕尼黑技术大学);University of California, Los Angeles(加州大学洛杉矶分校)
CCTVBench通过真实事故视频与世界模型生成的反事实场景配对,提出对比一致性评估方法,揭示视频问答中对比一致性与标准指标间的显著差距,并引入C-TCD方法提升问答与一致性性能。
2026-04-22 cs.CV
A Comparison between Background Modelling Methods for Vehicle Segmentation in Highway Traffic Videos
本文的目的是比较三种背景建模算法在分割和检测高速公路交通视频中的车辆的性能。所有算法都可以在OpenCV中使用,并且都是用Python编写的。我们分析了7个视频,总共2个小时的记录。为了比较这些算法,我们创建了35个地面实况图像,每个视频5个,我们使用了三个不同的指标:准确率,精确率和处理时间。通过使用准确度和精度,我们的目标是确定算法在检测和分割方面的表现如何,同时使用处理时间来评估对计算系统的影响。实验结果表明,三种算法的准确率均在90%以上,平均准确率在80%以上。对处理时间影响最小的算法允许每秒计算60帧。
2018-10-05 cs.CV
An Attention-guided Multistream Feature Fusion Network for Localization of Risky Objects in Driving Videos
Stony Brook University(石溪大学)
在车载仪表盘摄像头(dashcams)捕获的视频中检测危险交通人员对于在复杂环境中促进安全导航至关重要。事故相关视频只是行车视频大数据的一小部分,事故前的瞬态过程是高度动态和复杂的。此外,有风险和无风险的交通代理人可以在他们的外观相似。这些使得驾驶视频中的危险对象定位特别具有挑战性。为此,本文提出了一种注意力引导的多流特征融合网络(AM-Net)来定位来自仪表盘视频的危险交通代理。两个门控递归单元(GRU)网络使用对象限界框和光流特征提取连续的视频帧捕捉时空线索区分危险的交通代理。与GRU耦合的注意力模块学习关注与事故相关的交通代理。融合这两个特征流,AM-Net预测视频中交通代理的风险分数。为了支持这项研究,本文还介绍了一个名为Risky Object Localization(ROL)的基准数据集。该数据集包含空间、时间和分类注释,以及事故、对象和场景级属性。所提出的AM-Net在ROL数据集上实现了85.73% AUC的有希望的性能。同时,AM-Net在DoTA数据集上的视频异常检测性能优于当前最先进的6.3% AUC。一项彻底的消融研究通过评估其不同组件的贡献进一步揭示了AM-Net的优点。
2022-09-16 cs.CV
Towards Safer Transportation: a self-supervised learning approach for traffic video deraining
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
交通视频监控对于交通管理和控制、交通统计和交通执法都是有用的。然而,在恶劣天气如下雨期间的交通监控是一项具有挑战性的任务,因为视频质量被视频图像上的雨滴条纹破坏,这不仅阻碍了道路环境的可靠表征,而且也阻碍了在这种恶劣天气事件期间道路使用者行为的可靠表征。本研究提出一种两阶段自监督学习方法来去除交通视频中的雨纹。第一级和第二级分别处理帧内和帧间噪声。实验结果表明,该模型在图像视觉质量和峰值信噪比方面表现出令人满意的性能。
2021-10-11 cs.CV eess.IV
Audio-Visual Dataset and Method for Anomaly Detection in Traffic Videos
Aarhus University(奥胡斯大学);Greenroads Ltd.(绿道有限公司);University of Malta(马耳他大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
针对交通异常检测,研究提出首个真实场景视听数据集MAVAD,并设计了通过交叉注意力融合视听特征的AVACA方法,证实音频提升性能达5.2%且图像匿名化影响轻微。
2023-05-24 cs.CV
Automated Construction of Time-Space Diagrams for Traffic Analysis Using Street-View Video Sequence
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对传统时空图数据收集的时空覆盖局限,提出基于移动车辆街景视频序列的构建方法,结合YOLOv5、StrongSORT和摄影测量技术生成车辆轨迹及时空图,经KITTI数据集验证有效,为交通分析提供新工具。
2024-03-27 cs.CV
Recognition and Co-Analysis of Pedestrian Activities in Different Parts of Road using Traffic Camera Video
Texas Advanced Computing Center, The University of Texas at Austin(德克萨斯大学奥斯汀分校德克萨斯高级计算中心);Center of Transportation Research, The University of Texas at Austin(德克萨斯大学奥斯汀分校交通研究中心);Austin Transportation Department, City of Austin(奥斯汀市奥斯汀交通局)
行人安全是交通系统管理人员和运营商的优先事项,也是德克萨斯州奥斯汀市采用的Vision Zero战略的主要重点。虽然有许多治疗方法和技术可以有效地改善行人安全,但确定最需要这些治疗方法的位置仍然是一个挑战。目前的做法需要在有限的时间段内手动观察候选位置,导致识别过程耗时,滞后于流量模式随时间的变化,并且缺乏可扩展性。通常最需要安全对策的中间街区位置尤其难以识别和监控。本研究的目的是了解公交车站位置和中间街区交叉口之间的相关性,以协助交通工程师实施零愿景策略,以提高行人安全。在以前的工作中,我们已经开发了一种工具,使用深度神经网络模型来识别交叉事件,通过交通摄像头视频检测行人过街事件。在本文中,我们扩展的方法来识别公交车站的使用与交通摄像头视频从现成的CCTV云台(PTZ)交通监控摄像头安装在附近的十字路口。我们相关的视频检测结果为中间块路口附近的公交车站,行人活动的公交车站在每一侧的中间块路口。我们还实现了一个门户网站,通过自动创建仅显示交叉事件的视频剪辑来促进对行人活动检测的手动审查,从而大大提高了人工审查过程的效率。
2021-11-27 cs.CV
Classification of Motorcycles using Extracted Images of Traffic Monitoring Videos
University of Sao Paulo(圣保罗大学);School of Engineering of São Carlos(圣卡洛斯工程学院)
由于城市车队中摩托车的大量增长以及对其行为和车辆如何影响交通流量的研究的增长,有必要开发不同于传统的工具和技术,以识别其在交通流量中的存在并能够提取您的信息。本文试图通过生成摩托车图像库,并结合LBP技术创建特征向量和分类技术LinearSVC来执行预测,从而开发和校准摩托车分类器,从而为此类车辆的研究做出贡献。以这种方式,在本研究中开发的摩托车类型的车辆的分类器可以分类的两个类摩托车和非摩托车之间的监控视频提取的车辆的图像的精度和准确度优于0.9。
2019-06-20 cs.CV
From Accuracy to Visual Dependence: Auditing and Filtering Modality Collapse in Traffic VideoQA
针对交通视频问答中模型依赖文本捷径而非视觉证据的问题,提出盲差距和视觉增益两个数据集级诊断指标,以及实例级捷径分数实现无训练过滤,提升视觉基础。
2026-06-29 cs.CV
Temporal Unknown Incremental Clustering (TUIC) Model for Analysis of Traffic Surveillance Videos
Indian Institute of Technology Bhubaneswar(印度理工学院布巴内斯瓦尔分校);Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
优化的场景表示是用于检测实时视频上的异常的框架的重要特征。实时视频中异常检测的挑战之一是以非参数方式实时检测对象。另一个挑战是在时间上跨帧有效地表示对象的状态。在本文中,吉布斯采样为基础的启发式模型被称为时间未知的增量聚类(TUIC)已被提出来聚类运动像素。首先使用光流检测像素运动,并应用贝叶斯算法来关联后续帧中属于相似聚类的像素。该算法是快速的,并在$Θ(kn)$时间内产生准确的结果,其中$k$是簇的数量,$n$是像素的数量。我们的实验验证与公开可用的数据集表明,所提出的框架具有良好的潜力,开辟了新的机会,实时流量分析。
2018-04-18 cs.CV
UDVideoQA: A Traffic Video Question Answering Dataset for Multi-Object Spatio-Temporal Reasoning in Urban Dynamics
Arizona State University(亚利桑那州立大学)
UDVideoQA是一个用于城市动态多对象时空推理的交通视频问答数据集,通过统一标注流程生成28K问题-答案对,评估视觉定位和因果推理能力。
2026-02-24 cs.CV
DashCop: Automated E-ticket Generation for Two-Wheeler Traffic Violations Using Dashcam Videos
International Institute of Information Technology, Hyderabad(国际信息技术学院(海得拉巴))
提出DashCop端到端系统,通过车载行车记录仪视频自动检测两轮车交通违规并生成电子罚单,包含SAC关联模块、优化跟踪算法及RideSafe-400数据集,显著提升违规检测性能。
2025-03-01 cs.CV
Causal-Entity Reflected Egocentric Traffic Accident Video Synthesis
Xi’an Jiaotong University(西安交通大学);National University of Singapore(国立新加坡大学);Nanyang Technological University(南洋理工大学);Cleveland State University(克利夫兰州立大学)
提出扩散模型 Causal-VidSyn,利用原因描述与驾驶员注视点识别事故参与者及行为,并构建最大驾驶员注视数据集 Drive-Gaze,在帧质量和因果敏感性上超越现有视频扩散模型。
2025-06-29 cs.CV
TrafficImag: A Benchmark for Counterfactual Roadside Traffic Video Generation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Duke University(杜克大学)
TrafficImag是首个反事实路侧交通视频生成基准,结合大规模数据集与可执行协议,评估四个有效性维度,发现条件视频执行是主要瓶颈。
2026-09-28 cs.AI cs.CV
TrafficLens: Multi-Camera Traffic Video Analysis Using LLMs
NEC Laboratories America(NEC美国实验室);University of Missouri–Kansas City (UMKC)(密苏里大学-堪萨斯城分校)
TrafficLens通过利用多摄像头重叠区域和对象相似性检测,高效地将视频转换为文本,减少处理时间并提升交通视频分析效率。
2025-11-26 cs.CL cs.CV
Traffic-Domain Video Question Answering with Automatic Captioning
University of Southern California(南加州大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对交通域VidQA缺乏场景知识融合的问题,提出弱监督方法TRIVIA将交通知识注入大视频语言模型,在SUTD-TrafficQA任务上使模型准确率提升6.5个百分点(19.88%)。
2023-07-18 cs.AI cs.CV
Text-Driven Traffic Anomaly Detection with Temporal High-Frequency Modeling in Driving Videos
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);University of Macau(澳门大学)
针对驾驶视频交通异常检测受动态背景干扰、两阶段方法易误差传播的问题,提出文本驱动的单阶段TTHF方法,结合时序高频建模与异常聚焦机制,在DoTA数据集AUC提升5.4%且泛化性强。
2024-04-15 cs.CV
Content-based Video Retrieval in Traffic Videos using Latent Dirichlet Allocation Topic Model
针对监控系统中基于内容的视频检索挑战,提出基于LDA主题模型的无监督标注方法,通过处理特征向量和主模型得到无歧义次级模型,检索性能较其他主题模型方法提升,且轻量数据库加快搜索速度。
2025-02-08 cs.CV
A Deep Reinforcement Learning Approach for Ramp Metering Based on Traffic Video Data
Tongji University(同济大学);New York University(纽约大学)
匝道控制是利用交通信号来调节匝道上的车流量,以提高高速公路的机动性。以往的研究通常基于点检测器收集的预定义交通测量值(如交通量和占用率)实时更新信号配时。与点检测器相比,交通摄像机可以覆盖更大的区域,提供更详细的交通信息,并已越来越多地部署在道路网络中。在这项工作中,我们提出了一种深度强化学习(DRL)方法,以探索交通视频数据在提高匝道控制效率方面的潜力。该方法使用交通视频帧作为输入,并直接从高维视觉输入中学习最优控制策略。一个真实的案例研究表明,与一个国家的实践方法相比,建议的日间行车线方法的结果在1)更低的旅行时间在主线,2)更短的车辆排队在入口匝道,和3)更高的交通流量下游的合并区。结果表明,该方法能够从视频数据中提取有用的信息,更好地匝道控制。
2020-12-09 cs.AI cs.CV
Advances and Applications of Computer Vision Techniques in Vehicle Trajectory Generation and Surrogate Traffic Safety Indicators
University of Central Florida(中佛罗里达大学)
本文系统综述了计算机视觉技术在车辆轨迹生成和替代交通安全指标中的应用,梳理了检测跟踪算法、视频处理流程及SSM分析方法,为交通研究者提供了从视频处理到安全建模的实用指导。
2023-06-29 cs.CV
Smart Traffic Monitoring System using Computer Vision and Edge Computing
New Jersey Institute of Technology(新泽西理工学院);AT&T Labs(AT&T实验室)
交通管理系统捕获大量视频数据,并利用视频处理的进步来检测和监控交通事件。收集到的数据传统上被转发到流量管理中心(TMC)进行深入分析,因此可能会加剧到TMC的网络路径。为了缓解这种瓶颈,我们建议通过为靠近摄像头的边缘节点配备计算资源(例如云)来利用边缘计算。与TMC相比,具有有限计算资源的微云提供有限的视频处理能力。在本文中,我们专注于两个常见的流量监控任务,拥塞检测和速度检测,并提出了一个基于边缘计算的双层模型,该模型考虑到了云计算能力的有限性和TMC网络条件的不稳定性。我们的解决方案为每个任务使用两种算法,一种在边缘实现,另一种在TMC实现,它们是考虑到不同的计算资源而设计的。虽然TMC提供强大的计算能力,但它接收的视频质量取决于底层网络条件。另一方面,边缘处理非常高质量的视频,但计算资源有限。我们的模型捕捉到了这种权衡。我们通过不同天气和网络条件下的测试台实验来评估所提出的两层模型以及流量监控算法的性能,并表明我们提出的混合边缘云解决方案优于仅云和仅边缘解决方案。
2021-09-07 cs.CV
Microscopic Vehicle Trajectory Datasets from UAV-collected Video for Heterogeneous, Area-Based Urban Traffic
Transportation Research & Injury Prevention Centre (TRIPC), Indian Institute of Technology Delhi(印度理工学院德里分校交通研究与伤害预防中心(TRIPC));Indian Institute of Technology Delhi(印度理工学院德里分校);Queensland University of Technology(昆士兰科技大学)
本文提出基于无人机视频的微观车辆轨迹数据集,用于研究异质区域型城市交通的行为模式与动态特性。
2025-12-10 cs.CV
Task-Specific Dual-Model Framework for Comprehensive Traffic Safety Video Description and Analysis
North Dakota State University(北达科塔州立大学);University of Missouri–Columbia(密苏里大学哥伦比亚分校);University of Memphis(孟菲斯大学)
针对交通安全视频分析,提出任务特定双模型框架,分离训练VideoLLaMA和Qwen2.5-VL以分别优化字幕生成与VQA,在WTS数据集上取得S2分数45.7572,排名第10,VQA准确率提升8.6%。
2025-10-13 cs.CV
Simplifying Traffic Anomaly Detection with Video Foundation Models
Eindhoven University of Technology(埃因霍温理工大学)
本研究针对交通异常检测现有架构复杂的问题,提出基于Video ViTs的简单纯编码器方案,验证了自监督MVM预训练结合驾驶视频DAPT可让轻量模型达到甚至超越SOTA性能,同时效率更高。
2025-09-01 cs.CV
Asynchronous Trajectory Matching-Based Multimodal Maritime Data Fusion for Vessel Traffic Surveillance in Inland Waterways
Wuhan University of Technology(武汉理工大学);National Engineering Research Center for Water Transport Safety(国家水运安全工程技术研究中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
船舶自动识别系统(AIS)和摄像机在内河船舶交通监控中得到了广泛的应用。AIS数据可以提供船舶身份和船舶位置和运动的动态信息。相比之下,视频数据可以描述运动船舶的视觉外观,但不知道身份,位置和运动等信息,以进一步提高船舶交通监控,它成为必要的融合AIS和视频数据,同时捕获的视觉特征,身份和动态信息的兴趣船只。然而,传统的数据融合方法容易受到几个潜在的限制,例如,异步消息、缺失数据、随机离群值等。在这项工作中,我们首先提取基于AIS和视频的血管轨迹,然后提出一种支持深度学习的异步轨迹匹配方法(名为DeepSORVF),将基于AIS的血管信息与相应的视觉目标融合。此外,通过结合基于AIS和视频的运动特征,我们还提出了一种先验知识驱动的抗遮挡方法,以在遮挡条件下获得准确和鲁棒的血管跟踪结果。为了验证DeepSORVF的有效性,我们还构建了一个新的基准数据集(称为FVessel),用于血管检测,跟踪和数据融合。它由许多视频和在各种天气条件和地点收集的相应AIS数据组成。实验结果表明,该方法能够保证高可靠的数据融合和抗阻塞血管跟踪。
2023-02-22 cs.CV
A Natural Language-Inspired Multi-label Video Streaming Traffic Classification Method Based on Deep Neural Networks
Michigan State University(密歇根州立大学)
本文提出了一种基于深度学习的流量分类方法,用于在加密隧道内同时识别多个流式视频源。这项工作定义了一个受自然语言处理(NLP)启发的新功能,允许现有的NLP技术帮助流量分类。描述了特征提取方法,并创建了包含视频流和Web流量的大型数据集来验证其有效性。通过应用几种NLP方法获得的结果表明,所提出的方法在二进制和多标签流量分类问题上都表现良好。我们还展示了该方法实现zero-shot学习的能力。
2019-06-04 cs.CV cs.LG eess.SP
Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video
提出一种无需微调的管道,通过粗到细的两遍分解和专家角色分配,利用冻结视觉语言模型实现罕见交通事件在时间、空间和碰撞类型上的联合定位。
2026-05-23 cs.CV