PVSS: A Progressive Vehicle Search System for Video Surveillance Networks
JD AI Research, JD.com（京东人工智能研究院，京东）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文研究的是在监控网络中搜索特定车辆的任务。现有的方法通常假设车辆图像是从监控视频中裁剪好的，然后使用视觉属性，如颜色和类型，或车牌号码来匹配图像集中的目标车辆。然而，一个完整的车辆搜索系统需要考虑车辆的检测、表示、索引、存储、匹配等问题，并且由于不同摄像机的实例内变化和环境的不确定性，基于属性的搜索不能准确地找到同一辆车。此外，车牌可能会被误识别的监控场景中，由于低分辨率和噪声。本文设计了一个渐进式车辆搜索系统PVSS，以解决上述问题。PVSS由爬行器、索引器和查询器三个模块组成。车辆爬虫旨在检测和跟踪监控视频中的车辆，并将捕获的车辆图像，元数据和上下文信息传输到服务器或云。然后提取车辆的视觉特征和车牌指纹等多粒度属性，并由车辆索引器进行索引。最后，车辆查询器将输入车辆图像、时间范围和空间范围的查询三元组作为输入。目标车辆将通过渐进过程在数据库中搜索。在一个真实监控网络的公共数据集上进行的大量实验验证了PVSS的有效性。
2019-01-10 cs.CV
E^2VTS: Energy-Efficient Video Text Spotting from Unmanned Aerial Vehicles
Texas A&M University（德州农工大学）；Kwai Inc.（快手公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于无人机的视频文本定位技术在民用和军事领域得到了广泛的应用。无人机有限的电池容量促使我们开发一种节能的视频文本定位解决方案。在本文中，我们首先回顾了RCNN的裁剪和调整大小训练策略，并根据经验发现它在无人机捕获的真实视频文本数据集上的性能优于对齐的RoI采样。为了降低能耗，我们进一步提出了一个多级图像处理器，考虑到视频的冗余，连续性和混合退化。最后，在部署到Raspberry Pi之前，对模型进行修剪和量化。我们提出的节能视频文本定位解决方案，被称为E^2VTS，通过实现能源效率和性能之间的竞争性权衡，优于所有以前的方法。我们所有的代码和预训练模型都可以在https://github.com/wuzhenyusjtu/LPCVC20-VideoTextSpotting上找到。
2022-06-05 cs.CV
R$^3$-Net: A Deep Network for Multi-oriented Vehicle Detection in Aerial Images and Videos
Beihang University（北京航空航天大学）；German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）；University of New Brunswick（新不伦瑞克大学）
车辆检测是航空遥感应用中一项重要而又具有挑战性的任务。现有的车辆检测方法大多采用规则矩形框，无法提供车辆的方向信息。然而，方向信息是至关重要的几个实际应用，如轨迹和运动估计的车辆。在本文中，我们提出了一种新的深度网络，称为可旋转区域为基础的残差网络（R $^3$ -Net），检测航空图像和视频中的多方向车辆。更具体地说，R $^3$ -Net被用于在半坐标系中生成可旋转的矩形目标框。首先，我们使用可旋转区域建议网络（R-RPN）从深度卷积神经网络产生的特征图中生成可旋转感兴趣区域（R-ROI）。在这里，提出了一个批量平均可旋转锚（BAR锚）的策略应用于初始化车辆候选人的形状。接下来，我们提出了一个可旋转的检测网络（R-DN）的R-ROI的最终分类和回归。在R-DN中，设计了一种新的可旋转位置敏感池（R-PS池），以在对R-RoIs的特征图进行下采样的同时保持位置和方向信息。在我们的模型中，R-RPN和R-DN可以联合训练。我们在两个开放的车辆检测图像数据集上测试了我们的网络，即DLR 3 K Munich Dataset和VEDAI Dataset，证明了我们方法的高精度和鲁棒性。最后，通过对航拍视频的仿真实验，验证了该方法的泛化能力和在航拍视频车辆跟踪中的应用潜力。演示视频可在https://youtu.be/xCYD-tYudN0上获得。
2018-08-16 cs.CV
A Comparison between Background Modelling Methods for Vehicle Segmentation in Highway Traffic Videos
本文的目的是比较三种背景建模算法在分割和检测高速公路交通视频中的车辆的性能。所有算法都可以在OpenCV中使用，并且都是用Python编写的。我们分析了7个视频，总共2个小时的记录。为了比较这些算法，我们创建了35个地面实况图像，每个视频5个，我们使用了三个不同的指标：准确率，精确率和处理时间。通过使用准确度和精度，我们的目标是确定算法在检测和分割方面的表现如何，同时使用处理时间来评估对计算系统的影响。实验结果表明，三种算法的准确率均在90%以上，平均准确率在80%以上。对处理时间影响最小的算法允许每秒计算60帧。
2018-10-05 cs.CV
Ego-Vehicle Action Recognition based on Semi-Supervised Contrastive Learning
Toyota Motor Corporation（丰田汽车公司）
近年来，许多汽车都配备了摄像机，这些摄像机积累了大量的驾驶场景的视频片段。自动驾驶要求最高的安全性，为此，即使是极其罕见的驾驶场景也必须收集到训练数据中，以提高特定场景的识别准确率。然而，从大量视频中找到很少的特定场景的成本过高。在这篇文章中，我们表明，适当的视频到视频的距离可以通过专注于自我车辆的行动来定义。众所周知，基于监督学习的现有方法不能处理不属于预定义类的视频，尽管它们在定义标记视频之间的嵌入空间中的视频到视频距离方面工作得很好。为了解决这个问题，我们提出了一种基于半监督对比学习的方法。我们考虑两个相关但不同的对比学习：标准图对比学习和我们提出的基于SOIA的对比学习。我们观察到，后一种方法可以在未标记的视频之间提供更合理的视频到视频的距离。接下来，通过使用HDD数据集评估自我车辆动作识别的分类性能来量化我们方法的有效性，这表明我们的方法在训练中包括未标记的数据显著优于仅使用标记数据的现有方法。
2023-03-02 cs.CV
Real-Time Optical flow-based Video Stabilization for Unmanned Aerial Vehicles
National University of Singapore（新加坡国立大学）；Temasek Laboratories（淡马锡实验室）
本文描述了一种新的算法来解决无人机（UAV）的实时的【形】视频稳定的问题。该算法主要包括两个部分：（1）通过设计一个适合无人机全局运动的模型，避免了对最一般的运动模型--投影变换进行估计的必要性，而考虑了刚体变换和相似变换等较为简单的运动模型。(2)为了实现高处理速度，采用基于光流的跟踪来代替由最先进的算法所使用的传统跟踪和匹配方法。这两个新的想法导致了一个实时的【形】稳定算法，开发了两个阶段。第一阶段考虑处理视频中的整个帧序列，同时在几个公开的基准视频上实现50 fps的平均处理速度。接下来，阶段II使用阶段I中设计的算法的多线程实现来承担实时的【形】视频稳定的任务。
2017-01-13 cs.CV
SDM-Car: A Dataset for Small and Dim Moving Vehicles Detection in Satellite Videos
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）
针对卫星视频中低辐射暗弱运动车辆标注不足导致检测效果差的问题，构建了包含99个高质量视频的SDM-Car数据集，并提出基于图像增强和注意力机制的基准方法以提升暗弱车辆检测精度。
2024-12-24 cs.CV
End-to-end Learning of Driving Models from Large-scale Video Datasets
University of California, Berkeley（加州大学伯克利分校）
鲁棒的感知-动作模型应该从具有不同视觉外观和真实行为的训练数据中学习，但目前的深度视觉策略学习方法通常限于从单个车辆或模拟环境中学习的原位模型。我们提倡从大规模的众包视频数据中学习通用的车辆运动模型，并开发一种端到端的可训练架构，用于学习从瞬时单目摄像机观察和先前的车辆状态预测未来车辆自运动的分布。我们的模型采用了一种新的FCN-LSTM架构，可以从大规模的众包车辆动作数据中学习，并利用可用的场景分割侧任务来提高特权学习范式下的性能。
2017-07-23 cs.CV
CAROM Air -- Vehicle Localization and Traffic Scene Reconstruction from Aerial Videos
Rider University（莱德大学）；Arizona State University（亚利桑那州立大学）
提出CAROM Air方法，从航拍视频中提取车辆轨迹并自动重建、重仿真交通场景，定位误差约0.1至0.3米，并发布含50个场景、源自约100小时视频的数据集。
2023-05-31 cs.CV
SAVeD: A First-Person Social Media Video Dataset for ADAS-equipped vehicle Near-Miss and Crash Event Analyses
University of Central Florida（中佛罗里达大学）
SAVeD是一个用于分析ADAS车辆近距碰撞和碰撞事件的第一人称社交媒体视频数据集，通过引入新的框架和基准测试，提升了模型在复杂场景中的性能。
2025-12-19 cs.CV
Fast Vehicle Detection and Tracking on Fisheye Traffic Monitoring Video using CNN and Bounding Box Propagation
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对十字路口交通监控鱼眼视频，设计了一种快速的车辆检测与跟踪算法。我们使用ICIP 2020 VIP Cup数据集，并采用YOLOv5作为目标检测基础模型。该数据集的夜间视频非常具有挑战性，基础模型的检测准确率（AP50）约为54%。我们基于帧间限界框传播的概念设计了一种可靠的汽车检测和跟踪算法，可提供17.9个百分点（pp）和6.2个百分点。分别针对夜间和白天视频的基础模型的准确度提高。为了加快速度，灰度帧差用于片段中的中间帧，这可以使处理速度加倍。
2022-07-13 cs.CV
DriveWeaver: Point-Conditioned Video Inpainting for Controllable Vehicle Insertion in Autonomous Driving Simulation
School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Innovation Institute（上海创新研究院）
提出DriveWeaver框架，通过点云条件视频修复实现自动驾驶仿真中可控车辆插入，解决光照不一致和3D资产依赖问题，支持大规模场景增强。
2026-07-03 cs.CV
Vehicle Perception from Satellite
本文提出从卫星视频进行车辆感知的新任务，构建了包含真实与合成视频的大规模基准，支持微小目标检测、计数与密度估计，并评估多种传统计算机视觉方法以分析挑战与前景。
2024-02-01 cs.CV
Real-Time Vehicle Detection and Urban Traffic Behavior Analysis Based on UAV Traffic Videos on Mobile Devices
Inner Mongolia Center for Transportation Research（内蒙古交通研究中心）；Inner Mongolia University（内蒙古大学）；Old Dominion University（老道明大学）
本文提出在iOS移动设备上结合无人机视频、YOLOv8与SORT算法实现实时车辆检测跟踪及交通行为分析，检测精确率达98.27%，处理速度稳定在30帧/秒。
2024-02-26 cs.CV
Other Vehicle Trajectories Are Also Needed: A Driving World Model Unifies Ego-Other Vehicle Trajectories in Video Latent Space
Project Leader（项目负责人）
针对现有驾驶世界模型无法控制其他车辆轨迹的问题，提出EOT-WM模型，通过统一自车-他车轨迹实现驾驶模拟，在nuScenes数据集上FID和FVD指标分别提升30%和55%，还能预测未见场景。
2025-11-19 cs.AI cs.CV
Camera-based vehicle velocity estimation from monocular video
Institute of Electrical Measurement and Measurement Signal Processing（电气测量与测量信号处理研究所）；Institute of Theoretical Computer Science（理论计算机科学研究所）；Graz University of Technology（格拉茨理工大学）
本文记录了CVPR 2017车辆速度估计挑战赛的获奖作品。速度估计是自动驾驶中的一项新兴任务，尚未得到彻底研究。目标是从一系列图像中估计特定车辆的相对速度。在本文中，我们提出了一个轻量级的方法，直接回归车辆速度从他们的轨迹使用多层感知器。另一个贡献是单目车辆速度估计的特征的探索性研究。我们发现，基于轻量级轨迹的特征优于从深度ConvNets中提取的深度和运动线索，特别是对于远距离预测，其中当前视差和光流估计器受到显著挑战。我们的轻量级方法在单个CPU上具有实时能力，并且在速度估计挑战中优于所有竞争条目。在测试集上，我们报告了1.12 m/s的平均误差，这与结合了LiDAR和雷达技术的（地面实况）系统相当，误差约为0.71 m/s。
2018-02-20 cs.CV
AccidentSim: Generating Vehicle Collision Videos with Physically Realistic Collision Trajectories from Real-World Accident Reports
School of Computer and Artificial Intelligence, Beijing Technology and Business University（北京工商大学计算机与人工智能学院）；The University of Sydney（悉尼大学）
AccidentSim通过提取事故报告中的物理信息生成真实碰撞视频，结合物理模拟和NeRF技术提升视觉与物理真实性。
2026-09-07 cs.AI cs.CV
Vehicle Instance Segmentation from Aerial Image and Video Using a Multi-Task Learning Residual Fully Convolutional Network
Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)（德国航空航天中心（DLR）遥感技术研究所（IMF））；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
目标检测和语义分割是高分辨率遥感图像目标检索的两个主要主题，近年来，通过深度学习和卷积神经网络（CNN）的浪潮，目标检索取得了令人瞩目的成绩。在本文中，我们感兴趣的是一个新的，更具挑战性的问题，车辆实例分割，这需要识别，在像素级，车辆出现的地方，以及关联每个像素与车辆的物理实例。相比之下，车辆检测和语义分割各自仅涉及两者之一。我们建议用一个语义边界感知的多任务学习网络来解决这个问题。更具体地说，我们利用残差学习（ResNet）的理念来构建一个完全卷积的网络，该网络能够利用从不同残差块中学习到的多级上下文特征表示。我们从理论上分析和讨论了为什么残差网络可以为逐像素分割任务产生更好的概率图。然后，基于这种网络架构，我们提出了一个统一的多任务学习网络，可以同时学习两个互补的任务，即分割车辆区域和检测语义边界。后一个子问题有助于区分密集的车辆，这通常是不正确的分离到实例。目前，用于车辆提取的具有逐像素注释的数据集是ISPRS数据集和Zeebrugge上的IEEE GRSS DFC 2015数据集，其专门用于语义分割。因此，我们为车辆实例分割构建了一个新的、更具挑战性的数据集，称为繁忙停车场无人机视频数据集，我们在http://www.sipeo.bgu.tum.de/download上提供了我们的数据集，以便它可以用于对未来的车辆实例分割算法进行基准测试。
2018-05-26 cs.CV
UAV-OVVIS: Unmanned Aerial Vehicles Also Need Open-Vocabulary Video Instance Segmentation
研究针对无人机视频感知在开放场景中支持灵活查询和细粒度实例级动态理解不足的问题，提出无需训练的AeroTrack统一框架，构建AeroVIS评估基准，其实例化变体在无人机场景表现优异，还发布框架和基准以支持后续研究。
2026-07-23 cs.CV
A Real-Time Wrong-Way Vehicle Detection Based on YOLO and Centroid Tracking
Chittagong University of Engineering and Technology（吉大港工程技术大学）
错道驾驶是世界范围内道路交通事故和交通堵塞的主要原因之一。通过检测错误的道路车辆，事故的数量可以减少，交通堵塞可以减少。随着实时的【形】交通管理系统的日益普及以及廉价摄像机的出现，监控视频已经成为一个重要的数据来源。在本文中，我们提出了一个自动错误的方式车辆检测系统，从道路上的监控摄像机镜头。我们的系统工作在三个阶段：检测车辆从视频帧使用你只看一次（YOLO）算法，跟踪每个车辆在指定的兴趣区域使用质心跟踪算法和检测错误的方向行驶的车辆。YOLO在目标检测方面非常准确，质心跟踪算法可以有效地跟踪任何运动目标。实验结果表明，该系统可以在不同的光照和天气条件下检测和识别任何逆行车辆。该系统非常简单，易于实现。
2022-10-19 cs.CV
Classification of Motorcycles using Extracted Images of Traffic Monitoring Videos
University of Sao Paulo（圣保罗大学）；School of Engineering of São Carlos（圣卡洛斯工程学院）
由于城市车队中摩托车的大量增长以及对其行为和车辆如何影响交通流量的研究的增长，有必要开发不同于传统的工具和技术，以识别其在交通流量中的存在并能够提取您的信息。本文试图通过生成摩托车图像库，并结合LBP技术创建特征向量和分类技术LinearSVC来执行预测，从而开发和校准摩托车分类器，从而为此类车辆的研究做出贡献。以这种方式，在本研究中开发的摩托车类型的车辆的分类器可以分类的两个类摩托车和非摩托车之间的监控视频提取的车辆的图像的精度和准确度优于0.9。
2019-06-20 cs.CV
WTS: A Pedestrian-Centric Traffic Video Dataset for Fine-grained Spatial-Temporal Understanding
Woven by Toyota（丰田编织公司）；The University of Tokyo（东京大学）；Santa Clara University（圣克拉拉大学）
本文提出行人中心交通视频数据集WTS，含1200+事件及5000个标注视频，整合多视角与3D视线数据，并引入LLMScorer评估指标及实例感知VideoLLM基线，以推动细粒度视频事件理解，提升交通安全与自动驾驶。
2024-07-22 cs.CV
Detection of Micromobility Vehicles in Urban Traffic Videos
Polytechnique Montréal（蒙特利尔理工学院）；University of Québec (TÉLUQ)（魁北克大学（TÉLUQ））
针对城市交通中微型代步车辆检测难题，提出融合连续帧运动流聚合特征与YOLOX架构的检测模型，在自建数据集上性能优于现有前沿方法，可提升遮挡等场景下的检测可靠性。
2024-10-30 cs.CV
Microscopic Vehicle Trajectory Datasets from UAV-collected Video for Heterogeneous, Area-Based Urban Traffic
Transportation Research & Injury Prevention Centre (TRIPC), Indian Institute of Technology Delhi（印度理工学院德里分校交通研究与伤害预防中心（TRIPC））；Indian Institute of Technology Delhi（印度理工学院德里分校）；Queensland University of Technology（昆士兰科技大学）
本文提出基于无人机视频的微观车辆轨迹数据集，用于研究异质区域型城市交通的行为模式与动态特性。
2025-12-10 cs.CV
MCAM: Multimodal Causal Analysis Model for Ego-Vehicle-Level Driving Video Understanding
Department of Computer Science, Chongqing University, China（重庆大学计算机科学系）；National Elite Institute of Engineering, Chongqing University, China（重庆大学工程精英研究院）；College of Computer Science and Technology, National University of Deffense Technology, China（国防科技大学计算机科学与技术学院）
提出多模态因果分析模型MCAM，通过构建视觉与语言间的潜在因果结构、多级特征提取和DAG动态建模，在BDD-X和CoVLA数据集上实现SOTA性能，提升自动驾驶视频理解。
2025-07-08 cs.CV
Learning to Compress Unmanned Aerial Vehicle (UAV) Captured Video: Benchmark and Analysis
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
在过去的十年中，无人机（UAV）由于其灵活、广泛和动态的空间感知能力而引起了越来越多的关注。无人机捕获的视频量随着无人机上安装的传感器的进步而产生的比特率的增加而呈指数级增长，这为设备上的无人机存储和空地数据传输带来了新的挑战。现有的大多数视频压缩方案都是针对自然场景设计的，没有考虑到无人机视频的纹理和视角特性。在这项工作中，我们首先对无人机视频编码领域的现状进行了详细分析。然后，我们建议建立一个新的任务，学习无人机视频编码，并建立一个全面和系统的基准这样一个任务，提出了一个全面的审查高质量的无人机视频数据集和基准，并提供了广泛的率失真效率比较学习和传统的编解码器后。最后，我们讨论了无人机视频编码的挑战。预计该基准将加速无人机平台上视频编码的研究和开发。
2023-01-15 cs.CV eess.IV
A General Framework of Learning Multi-Vehicle Interaction Patterns from Videos
Chongqing University（重庆大学）；Carnegie Mellon University（卡内基梅隆大学）
在混乱的驾驶环境中，语义学习和多车辆交互模式的理解对于自动驾驶汽车做出正确的决策至关重要，但也具有挑战性。本文提出了一个通用的框架，以深入了解复杂的多车辆互动模式，从鸟瞰交通视频。我们采用高斯速度场来描述时变多车辆交互行为，然后使用深度自动编码器来学习每个时间帧的相关潜在表示。然后，我们利用一个隐藏的半马尔可夫模型的分层狄利克雷过程作为一个之前，这些顺序表示成颗粒组成部分，也称为交通原语，对应于交互模式。实验结果表明，我们提出的框架可以从视频中提取交通原语，从而提供了一种语义的方式来分析多车辆交互模式，即使是混乱的驾驶场景，远远超过人类可以应付。
2019-07-17 cs.CV cs.LG cs.RO
SeaDSC: A video-based unsupervised method for dynamic scene change detection in unmanned surface vehicles
IDLab；imec（微电子中心）
本文提出了一种基于视频的无监督方法 SeaDSC，用于无人水面艇的动态场景变化检测。该方法利用改进的 VQ-VAE-2 模型在多个海洋数据集上训练以增强特征提取，并引入创新的网格计算相似度评分技术来直接计算连续帧的相似度，在 RoboWhaler 数据集上验证了高效性能。
2023-11-20 cs.CV
Building BROOK: A Multi-modal and Facial Video Database for Human-Vehicle Interaction Research
University of Nottingham（诺丁汉大学）
随着自动驾驶汽车的日益普及，在人车交互的背景下，出现了更多的机会。然而，缺乏全面和具体的数据库支持这样的特定用例限制了整个设计空间的相关研究。在本文中，我们提出了我们正在进行的工作布鲁克，一个公共的多模态数据库与面部视频记录，它可以用来表征驾驶员的情感状态和驾驶风格。我们首先详细解释我们如何过度设计这样的数据库，以及我们通过十个月的研究所获得的成果。然后，我们展示了一个基于神经网络的预测器，利用BROOK，它支持通过面部视频进行多模态预测（包括心率和皮肤电导的生理数据和速度的驾驶状态数据）。最后，我们讨论了相关的问题时，建立这样一个数据库和我们未来的方向在布鲁克的上下文中。我们相信BROOK是未来人车交互研究的重要组成部分。
2020-05-19 cs.CV cs.HC
Advances and Applications of Computer Vision Techniques in Vehicle Trajectory Generation and Surrogate Traffic Safety Indicators
University of Central Florida（中佛罗里达大学）
本文系统综述了计算机视觉技术在车辆轨迹生成和替代交通安全指标中的应用，梳理了检测跟踪算法、视频处理流程及SSM分析方法，为交通研究者提供了从视频处理到安全建模的实用指导。
2023-06-29 cs.CV
A dataset for audio-video based vehicle speed estimation
Faculty of Electrical Engineering University of Montenegro Podgorica, Montenegro；Faculty of Maritime Studies University of Montenegro Kotor, Montenegro
道路车辆的准确速度估计由于若干原因而重要。一个是限速执法，这是减少交通事故和死亡的一个重要工具。与其他研究领域相比，车辆速度估计的可用数据集数量仍然非常有限。我们提出了一个数据集的道路上的音频视频记录的单个车辆通过摄像头在已知的速度，保持稳定的车载巡航控制。该数据集包含13辆汽车，选择尽可能多样化的制造商，生产年份，发动机类型，功率和传输，从而产生总共$ 400 $注释的音频-视频记录。该数据集是完全可用的，并打算作为一个公共基准，以促进音频视频车辆速度估计的研究。除了数据集之外，我们还提出了一种交叉验证策略，该策略可用于车辆速度估计的机器学习模型中。提出了两种对数据集进行训练-验证分割的方法。
2022-12-03 cs.CV cs.LG cs.SD
On Learning Vehicle Detection in Satellite Video
AIT Austrian Institute of Technology, Center for Digital Safety & Security（奥地利技术学院（AIT）数字安全与保障中心）；TU Wien, Institute of Visual Computing & Human-Centered Technology（维也纳技术大学视觉计算与以人类为中心技术研究所）
航空和卫星图像中的车辆检测仍然具有挑战性，因为与遥感图像的整体尺寸相比，它们的像素外观很小。经典的目标检测方法在这种情况下经常失败，因为违反了隐含的假设，如丰富的纹理，图像大小和目标大小之间的小到中等的比例。卫星视频是一种非常新的模态，它引入了时间一致性作为归纳偏差。卫星视频中的车辆检测方法使用背景减除、帧差分或子空间方法，表现出中等性能（0.26 - 0.82 $F_1$分数）。这项工作提出了将最近的深度学习应用于卫星视频上的广域运动图像（WAMI）。我们在第一种方法中显示了行星SkySat-1 LasVegas视频上的可比结果（0.84 $F_1$），并有进一步改进的空间。
2020-01-29 cs.CV cs.LG eess.IV
Object Detection and Tracking Algorithms for Vehicle Counting: A Comparative Analysis
University of Missouri-Columbia（密苏里大学哥伦比亚分校）；WSP USA（WSP美国公司）
深度学习和高性能计算领域的快速发展极大地扩展了基于视频的车辆计数系统的范围。在本文中，作者部署了几个国家的最先进的目标检测和跟踪算法来检测和跟踪不同类别的车辆在他们的兴趣区（ROI）。正确检测和跟踪ROI中车辆的目标是获得准确的车辆计数。应用与不同跟踪系统耦合的目标检测模型的多种组合来访问最佳车辆计数框架。这些模型解决了与不同天气条件、遮挡和低光环境相关的挑战，并通过其计算丰富的训练和反馈周期有效地提取车辆信息和轨迹。所有模型组合产生的自动车辆计数进行了验证，并与从路易斯安那州交通和发展部获得的超过9小时的交通视频数据的手动计数地面实况进行了比较。实验结果表明，CenterNet和Deep SORT、Detectron2和Deep SORT以及YOLOv4和Deep SORT的组合为所有车辆产生了最佳的总体计数百分比。
2020-07-31 cs.CV
Tracking in Aerial Hyperspectral Videos using Deep Kernelized Correlation Filters
Rochester Institute of Technology（罗切斯特理工学院）；Chester F. Carlson Center for Imaging Science（切斯特·F·卡尔森成像科学中心）；School of Mathematical Sciences, Rochester Institute of Technology（罗切斯特理工学院数学科学学院）
高光谱成像具有巨大的潜力，以提高国家的最先进的飞行器跟踪与低空间和时间分辨率。最近，自适应多模态高光谱传感器由于其能够快速记录来自空中平台的扩展数据而引起了越来越多的兴趣。在这项研究中，我们将传统目标跟踪中的流行概念，即（1）核相关滤波器（KCF）和（2）深度卷积神经网络（CNN）特征应用于高光谱域中的空中跟踪。我们提出了基于深度高光谱核相关滤波器的跟踪器（DeepHKCF），使用自适应多模态高光谱传感器有效地跟踪飞行器。我们通过设计一个单一的KCF在多个感兴趣区域（ROI）的方法来解决时间分辨率低，以覆盖一个合理的大面积。为了提高从多个ROI中提取深度卷积特征的速度，我们设计了一种有效的ROI映射策略。所提出的跟踪器还提供了灵活性，以耦合到更先进的相关滤波器跟踪器。DeepHKCF跟踪器在数字成像和遥感图像生成（DIRSIG）软件生成的合成高光谱视频中设置的深度特征表现非常出色。此外，我们使用DIRSIG生成一个大型的合成单通道数据集，以在广域运动图像（WAMI）平台中执行车辆分类。通过这种方式，DIRSIG软件的高保真度得到了证明，并发布了大规模的飞行器分类数据集，以支持在WAMI平台上进行飞行器检测和跟踪的研究。
2018-05-06 cs.CV
Video action recognition for lane-change classification and prediction of surrounding vehicles
York University（约克大学）；University of Alcalá（阿尔卡拉大学）；European Commission - Joint Research Center（欧盟委员会联合研究中心）
在高速公路场景中，警觉的人类驾驶员通常将主要使用视觉线索来预测周围车辆的早期切入/切出操纵。自动驾驶汽车也必须在早期阶段预测这些情况，以提高其安全性和效率。在这项工作中，车道变换识别和预测任务构成的视频动作识别问题。多达四种不同的基于两个流的方法，已成功地应用于解决人类行为识别，在这里通过堆叠来自前视摄像机的视觉线索来识别和预测目标车辆的车道变化。我们研究了情境和观察视野对绩效的影响，并对不同的预测视野进行了分析。不同的模型使用预防数据集进行训练和评估。所获得的结果清楚地表明，这些方法的潜力，作为强大的预测未来的车道变化的周围车辆证明的准确性高于90%，在1-2秒之间的时间范围。
2022-04-06 cs.AI cs.CV cs.RO
FTDMamba: Frequency-Assisted Temporal Dilation Mamba for Unmanned Aerial Vehicle Video Anomaly Detection
Information Materials and Intelligent Sensing Laboratory of Anhui Province（安徽省信息材料与智能感知实验室）；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Department of Computer Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）计算机科学与工程系）
FTDMamba通过频率辅助的时域扩张Mamba网络，解决动态背景下无人机视频异常检测的挑战，提出两个核心模块并构建大规模数据集，实现最先进的检测性能。
2026-01-16 cs.CV
Robust, Extensible, and Fast: Teamed Classifiers for Vehicle Tracking and Vehicle Re-ID in Multi-Camera Networks
Georgia Institute of Technology（佐治亚理工学院）；University of São Paulo（圣保罗大学）
随着摄像机网络在过去十年中变得越来越普遍，视频管理的研究兴趣已经转移到多摄像机网络上的分析。这包括执行任务，如目标检测，属性识别，以及车辆/人员跟踪跨不同的相机没有重叠。当前的管理框架是为封闭数据集环境中的多摄像机网络设计的，在封闭数据集环境中，摄像机的可变性有限，并且监控环境的特性是众所周知的。此外，目前的框架是为离线分析而设计的，并有人类操作员的指导，用于法医应用。本文提出了一种用于异构多摄像机网络中视频分析的组合分类器框架，该网络具有对抗性条件，例如多尺度，多分辨率摄像机捕获具有不同遮挡，模糊和方向的环境。我们描述了车辆跟踪和车辆重新识别（重新识别）的实现，其中我们实现了一个零样本学习（zero-shot learning）系统，该系统始终对所有车辆进行自动跟踪。我们对VeRi-776和Cars 196的评估表明，与当前离线视频分析方法相比，团队分类器框架对对抗性条件具有鲁棒性，可扩展到不断变化的视频特征，如新的车辆类型/品牌和新的摄像头，并提供实时性能。
2020-01-07 cs.CV cs.LG
Video-based Pedestrian and Vehicle Traffic Analysis During Football Games
University of Florida（佛罗里达大学）
该研究利用视频分析对比足球比赛日与非比赛日的交叉口交通，揭示行人流量、P2V/V2V冲突变化规律，并提出基于获胜概率预测及Barnes Dance等安全管理措施。
2024-08-04 cs.CV cs.CY
Vehicles Detection Based on Background Modeling
Al-Azhar University（爱资哈尔大学）
背景差算法是一种常用的检测视频序列中运动目标的方法，它通过寻找视频帧与静态背景模型之间的显著差异来检测运动目标。本文提出了一种开发的系统，该系统通过使用基于块的背景图像相减算法和深度学习数据验证算法来实现车辆检测。其主要思想是将图像分割成大小相等的块，对静态参考背景图像（SRBI）进行建模，通过计算每个块像素与相邻帧中对应块像素之间的方差，系统实现了四种不同的方法：绝对差法、图像熵法、异或法和离散余弦变换法。实验结果表明，DCT方法具有最高的车辆检测精度。
2019-01-13 cs.CV
Measurement of Road Traffic Parameters Based on Multi-Vehicle Tracking
University of Zagreb（萨格勒布大学）
计算能力和廉价摄像机的发展使今天的交通管理系统能够包括更多的摄像机和计算机视觉应用，用于交通系统的监测和控制。结合图像处理算法，摄像机作为传感器来测量道路交通参数，如流量，起讫点矩阵，分类车辆，在本文中，我们提出了一个测量系统的道路交通参数（基本运动模型参数和宏观交通参数）。该系统是基于本地二进制模式（LBP）的图像特征分类与级联的温和Adaboost（GAB）分类器，以确定车辆的存在和它在图像中的位置。此外，通过使用扩展卡尔曼滤波器（EKF）和虚拟标记来执行道路交通视频中的车辆跟踪和计数。新提出的系统进行了比较，基于背景减法的系统。通过执行时间和准确性进行比较。
2015-10-16 cs.CV
FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras
Carnegie Mellon University（卡内基梅隆大学）；ISR - IST, Universidade de Lisboa（里斯本大学高等技术学院系统与机器人研究所）
在本文中，我们开发了深度时空神经网络，从城市摄像机（citycams）捕获的低质量视频中顺序计数车辆。Citycam视频具有低分辨率、低帧速率、高遮挡和大视角等特点，使得现有的大多数方法失去了有效性。为了克服现有方法的局限性，并结合交通视频的时间信息，我们设计了一种新的FCN-rLSTM网络，通过将完全卷积神经网络（FCN）与长短期记忆网络（LSTM）以残差学习的方式连接起来，来联合估计车辆密度和车辆数量。这种设计利用了FCN在像素级预测方面的优势和LSTM在学习复杂时间动态方面的优势。残差学习连接将车辆计数回归重新表示为参考每帧中密度之和的学习残差函数，这显著加速了网络的训练。为了保持特征图的分辨率，我们提出了一种Hyper-Atrous组合，将Atrous卷积集成到FCN中，并组合不同卷积层的特征图。FCN-rLSTM实现了精细的特征表示和从像素到车辆计数的新型端到端可训练映射。我们广泛地评估了所提出的方法在不同的计数任务与三个数据集，实验结果表明，其有效性和鲁棒性。特别是，FCN-rLSTM将TRANCOS上的平均绝对误差（MAE）从5.31降低到4.21，并将WebCamT上的MAE从2.74降低到1.53。培训过程平均加快5倍。
2017-08-01 cs.CV
VideoGAN-based Trajectory Proposal for Automated Vehicles
Technical University of Berlin（柏林技术大学）；Heinrich-Heine-University（海因里希-海涅大学）
本文提出基于VideoGAN的自动车辆轨迹生成方法，利用BEV视频训练生成对抗网络，以提高轨迹生成的准确性和现实感。
2025-06-19 cs.CV cs.LG
Diverse Large-Scale ITS Dataset Created from Continuous Learning for Real-Time Vehicle Detection
Miovision Technologies Inc.（米奥维森技术公司）
在交通工程中，车辆检测器在有限的数据集上进行训练，导致在现实世界应用中部署时准确性较差。注释大规模高质量数据集是一项挑战。通常情况下，这些数据集的多样性有限;它们不能反映真实的操作环境。需要一个大规模的，基于云的积极和消极的挖掘（PNM）过程和大规模的学习和评估系统的交通事件检测的应用。所提出的正面和负面挖掘过程通过机器学习审查和人类反馈机制来解决众包地面实况数据的质量。所提出的学习和评估系统使用分布式云计算框架来处理与大量样本和高维特征空间相关联的数据缩放问题。该系统使用AdaBoost对从$70,000$注释视频帧中提取的$1,000,000$ Haar类特征进行训练。当在近似$7,500,000$视频帧上测试时，经训练的实时的【形】车辆检测器对于$1/2$实现至少$95\%$的准确度，并且对于$19/20$实现大约$78\%$的准确度。到2015年底，该数据集预计将拥有超过10亿个带注释的视频帧。
2015-10-07 cs.CV
Improving Vision-based Self-positioning in Intelligent Transportation Systems via Integrated Lane and Vehicle Detection
交通拥挤是一个普遍存在的问题。动态交通路由系统和拥挤定价是近年来研究的热点问题。车道预测和车辆密度估计是这种系统的重要组成部分。我们引入了一个新的问题，车辆自定位，其中涉及到预测道路上的车道数和车辆的位置，在这些车道上使用的视频捕获的仪表板摄像头。我们提出了一个集成的闭环方法，我们使用的存在的车辆，以帮助自我定位的任务，反之亦然。为了将多个因素和高级语义知识纳入解决方案，我们将此问题制定为贝叶斯框架。在该框架中，车道的数量，车辆在这些车道中的位置和其他车辆的存在被认为是参数。我们还提出了一个限界框选择方案，以减少错误检测的数量，提高计算效率。我们表明，箱提案的数量减少了一个因素6使用的选择方法。它还导致大量减少错误检测的数量。整个方法在真实世界的视频上进行了测试，并得到了可接受的结果。
2017-04-05 cs.CV
CoDrive: Cross-Vehicle World-Consistent Video Generation with Precise Trajectory Control for Cooperative Driving
Tsinghua University（清华大学）；Tencent Hunyuan（腾讯混元）；Zhongguancun Academy（中关村学院）
CoDrive提出跨车辆多视角视频生成框架，通过共享世界坐标与混合训练实现精确轨迹控制下的多车观测一致性，提升轨迹可控性和几何、实例一致性。
2026-09-29 cs.AI cs.CV
Automatic Road Lighting System (ARLS) Model Based on Image Processing of Moving Object
Institut Teknologi Bandung（万隆理工学院）
以汽车玩具（以后称为汽车）为运动对象，建立了自动道路照明系统（ARLS）模型。当车辆在道路的测试段中移动时，使用具有25 fps的数字视频摄像机来捕获车辆运动。然后处理捕获的图像以计算车辆速度。然后，车辆的速度和位置的信息被用于控制沿着经过车辆的路径的照明系统。道路测试段的长度为1米，摄像机位于测试段上方约1.1米处，车辆玩具尺寸为13厘米\times 9.3厘米。在该模型中，ARLS可以处理的最大速度约为1.32 m/s，并且在速度为0.93 m/s时获得最高性能约91%。
2013-11-27 cs.CV
Combining YOLO and Visual Rhythm for Vehicle Counting
University of São Paulo - USP（圣保罗大学）；Institute of Mathematics and Statistics（数学与统计学院）
本文提出结合 YOLO 与 Visual Rhythm 的车辆计数方法，通过关键帧检测替代逐帧检测与跟踪，在真实视频上达到约 99.15% 的平均计数准确率，速度提升三倍。
2025-01-08 cs.CV cs.LG
Video Trajectory Classification and Anomaly Detection Using Hybrid CNN-VAE
School of Electrical Sciences, Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校电气科学学院）
当数据长度变化时，使用神经网络对时间序列数据进行分类是一个具有挑战性的问题。视频对象的轨迹，这是许多视觉监控应用的关键，经常被发现是不同的长度。如果使用这些轨迹来理解移动对象的行为（正常或异常），则需要正确地表示它们。在本文中，我们提出了视频对象的轨迹分类和异常检测使用混合卷积神经网络（CNN）和变分自编码器（VAE）架构。首先，我们介绍了一个高层次的表示对象的轨迹，使用颜色梯度的形式。在下一阶段，一种半监督的方式来注释使用时间未知增量聚类（TUIC）提取的移动对象轨迹，已被应用于轨迹类标记。使用t-分布随机邻域嵌入（t-SNE）分离异常轨迹。最后，混合CNN-VAE架构已被用于轨迹分类和异常检测。使用公开的监控视频数据集获得的结果表明，该方法可以成功地识别一些重要的交通异常，如车辆不遵循车道行驶，突然的速度变化，突然终止的车辆运动，和车辆在错误的方向移动。与现有的异常检测方法相比，所提出的方法能够以更高的精度检测上述异常。
2018-12-18 cs.CV
Enhanced Vehicle Speed Detection Considering Lane Recognition Using Drone Videos in California
Department of Computer Science, University of California, Davis（计算机科学系，加州大学戴维斯分校）；Department of Civil and Environmental Engineering, University of California, Davis（土木与环境工程系，加州大学戴维斯分校）
针对加州车辆测速需求，本研究提出经近800张鸟瞰图微调的YOLOv11模型，可分车道检测车速并区分轿车与重型车辆，在北加州无人机数据上测速MAE达0.97mph、MSE达0.94mph²，精度优于现有方法。
2025-06-12 cs.CV cs.LG
Automatic creation of urban velocity fields from aerial video
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Arizona（亚利桑那大学）
在本文中，我们提出了一个系统，从低帧速率航拍视频在城市场景中的车辆运动建模。具体地，场景被建模为图像中每个像素处的速度的概率分布。我们描述了获取此模型的完整系统。该视频是从直升机上捕获的，并通过扭曲图像以匹配该区域的正射校正图像来稳定。像素分类器被应用于稳定的图像，并且响应被分段以确定汽车的位置和方向。结果被输入到跟踪方案中，该方案跟踪汽车三帧，创建轨迹。这允许跟踪器使用速度、方向、外观和加速度提示的组合来仅保持可能是正确的跟踪。每个tracklet都提供了沿着tracklet长度的每个点处的汽车速度的测量值，然后将这些测量值聚合以创建图像中每个像素处的车辆速度直方图。结果表明，速度概率分布先验可以用来推断各种信息的道路车道方向，速度限制，车辆速度和常见的轨迹，和交通瓶颈，以及提供一种手段来描述环境知识的交通规则，可用于跟踪。
2009-12-07 cs.CV
Vehicle-Human Interactive Behaviors in Emergency: Data Extraction from Traffic Accident Videos
University at Buffalo（布法罗大学）；The University of Arizona（亚利桑那大学）
目前，研究紧急情况下的车人交互行为需要大量的实际紧急情况下的数据集，而这些数据集几乎是不可用的。现有的自动驾驶汽车（AV）公共数据主要集中在正常驾驶场景或没有人类参与的紧急情况下。为了填补这一空白，促进相关研究，本文提供了一种新的但方便的方法来提取交互行为数据（即，车辆和人的轨迹）从由监控摄像机和行车记录仪捕获的实际事故视频中提取。从实时事故视频中提取数据的主要挑战在于记录摄像机未校准并且监视角度未知。本文提出的方法采用图像处理，以获得一个新的角度，这是不同于原始视频的角度。同时，我们手动检测和标记目标特征点，在每帧图像。为了获得参考比率梯度，在参考像素值分析中实现几何模型，然后根据比率梯度将特征点缩放到对象轨迹。生成的轨迹不仅完全恢复了对象的运动，而且还反映了车辆的速度和旋转的特征点分布的基础上的变化。
2020-08-12 cs.CV cs.SY eess.IV
Self-Supervised Real-Time Tracking of Military Vehicles in Low-FPS UAV Footage
CIDTD, MoD Ukraine（乌克兰国防部CIDTD）；Applied Sciences Faculty, Ukrainian Catholic University（乌克兰天主教大学应用科学学院）
针对实际作战场景中移动无人机低帧率视频下军用车辆跟踪的挑战，提出基于单帧标注的实例关联学习方法，利用场景全局特征提升鲁棒性，同时在降低分辨率和表示大小下仍保持高关联质量，并构建了相关基准数据集。
2025-07-07 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology（阿米尔卡比尔理工大学）；The University of Tokyo（东京大学）
本文提出一种LiDAR与图像特征融合模块，结合两个简单修改，在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能，评估指标最高提升5个点。
2024-12-30 cs.CV
SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models
Milestone Systems A/S（Milestone Systems公司）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Aalborg Universitet（奥胡斯大学）
SOVABench为多模态大语言模型提供车辆监控动作检索基准，通过定义两种评估协议评估跨动作区分和时间方向理解，展示了模型在复杂监控任务中的性能。
2026-10-14 cs.CV
