LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention
Beijing Institute of Technology(北京理工大学);Baidu Research(百度研究院);Inception Institute of Artificial Intelligence(人工智能起源研究所);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室);University of Kentucky(肯塔基大学)
现有的基于LiDAR的三维目标检测器通常只关注单帧点云的检测,而忽略了连续帧点云中的时空信息。在本文中,我们提出了一个端到端的在线3D视频对象检测器,点云序列上操作。所提出的模型包括一个空间特征编码组件和时空特征聚合组件。在前一部分中,提出了一种新的柱消息传递网络(PMPNet)编码每个离散点云帧。它通过迭代消息传递自适应地从相邻节点中收集信息,有效地扩大了柱特征的接收域。在后一个组件中,我们提出了一个有注意力的时空Transformer GRU(AST-GRU)聚合的时空信息,这增强了传统的ConvGRU与注意力的记忆门控机制。AST-GRU包含空间Transformer Attention(STA)模块和时间Transformer Attention(TTA)模块,分别用于强调前景对象和对齐动态对象。实验结果表明,所提出的3D视频对象检测器达到了最先进的性能上的大规模nuScenes基准。
2020-04-03 cs.CV
Fool the Stoplight: Realistic Adversarial Patch Attacks on Traffic Light Detectors
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Department of Technical Cognitive Systems(技术认知系统系);FZI Research Center for Information Technology(信息技术研究所以)
本文提出在交通信号灯下方放置打印对抗补丁的攻击方法,实现对交通信号灯检测CNN的红转绿标签翻转和图形符号分类攻击,并通过真实世界实验验证其有效性。
2025-06-05 cs.CV cs.LG
Weakly Supervised Training of Monocular 3D Object Detectors Using Wide Baseline Multi-view Traffic Camera Data
University of Adelaide(阿德莱德大学);Centre for Automotive Safety Research(汽车安全研究中心)
准确的交叉口车辆7自由度预测是评估道路使用者之间潜在冲突的重要任务。原则上,这可以通过能够检测每个车辆的姿态的单个相机系统来实现,但是这将需要大的、准确标记的数据集,从该数据集训练检测器。虽然存在大型车辆姿态数据集(表面上是为自动驾驶车辆开发的),但我们发现这些数据集的训练不足。这些数据集包含来自地面视点的图像,而用于交叉口观察的理想视图将位于路面上方更高的位置。我们开发了一种替代方法,使用弱监督方法微调交通观测摄像头的3D对象检测器;在此过程中,可以利用现有的大型自动驾驶车辆数据集进行预训练。为了微调单目3D对象检测器,我们的方法利用来自重叠的宽基线视图的多个2D检测和编码subjacent几何一致性的损失。我们的方法在我们的数据集上实现了车辆7 DoF姿态预测精度,与自动驾驶车辆数据集上性能最好的单目3D对象检测器相当。我们提出了我们的训练方法,多视图重投影损失和数据集。
2021-10-21 cs.CV
Estimating Vehicle Speed on Roadways Using RNNs and Transformers: A Video-based Approach
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对传统车辆测速方法成本高、覆盖有限等问题,本研究提出基于视频的LSTM、GRU和Transformer测速方案,验证了门控机制与长序列的优势,Transformer适配多场景,可提升测速系统性能,助力交通管理与安全。
2025-02-21 cs.CV cs.LG eess.IV
Video Detector: A Dual-Phase Vision-Based System for Real-Time Traffic Intersection Control and Intelligent Transportation Analysis
本文提出Video Detector,一种双阶段视觉系统,用于实时交通交叉口控制和智能交通分析,通过三种配置实现高精度检测与实时处理,支持多种交通行为分析。
2026-03-16 cs.AI cs.CV
DetectorNet: Transformer-enhanced Spatial Temporal Graph Neural Network for Traffic Prediction
Xidian University(西安电子科技大学);Chungbuk National University(忠北国立大学)
具有高覆盖率的检测器对于道路使用者在路线规划和避免交通拥堵方面具有直接和深远的益处,但是利用这些数据提出了独特的挑战,包括:动态时间相关性,以及由道路条件变化引起的动态空间相关性。现有的研究虽然考虑了时空相关性建模的重要性,但所得到的仍然是静态的路网结构,无法反映道路的动态变化,最终丢失了很多有价值的潜在信息。为了应对这些挑战,我们提出了由Transformer增强的DetectorNet。与以往研究不同的是,该模型包含多视角时间注意模块和动态注意模块,分别关注长距离和短距离的时间相关性和动态空间相关性,通过动态更新学习到的知识,从而做出准确的预测。此外,在两个公开数据集上的实验结果和四个烧蚀实验的对比结果证明,DetectorNet的性能优于11个先进基线。
2021-10-19 cs.AI cs.CV cs.LG
Perceiving Traffic from Aerial Images
EPFL(洛桑联邦理工学院)
配备不同传感器的无人机或无人机已被部署在许多地方,特别是用于城市交通监控或最后一英里交付。它提供了实时观测控制交通不同方面的能力,这是未来交通和智慧城市的重要支柱。随着这些机器的使用越来越多,许多以前在前置摄像头上实现高性能的最先进的物体检测器正在无人机数据集上使用。当应用于从这些数据集捕获的高分辨率航空图像时,它们无法推广到广泛的对象尺度。为了解决这个问题,我们提出了一个目标检测方法,称为蝴蝶检测器,是专门用于检测航空图像中的对象。我们扩展了字段的概念,并引入蝴蝶字段,一种复合字段,描述了输出功能的空间信息以及检测到的对象的规模。为了克服遮挡和视角的变化,可以阻碍定位过程中,我们采用了相关的蝴蝶矢量指向对象中心之间的投票机制。我们在两个公开的无人机数据集(UAVDT和VisDrone2019)上评估了我们的蝴蝶探测器,并表明它在保持实时性的同时优于以前的最先进方法。
2020-09-16 cs.CV
VATLD: A Visual Analytics System to Assess, Understand and Improve Traffic Light Detection
Robert Bosch Research and Technology Center(罗伯特·博世研究与技术中心);Robert Bosch GmbH(罗伯特·博世股份有限公司)
交通灯检测是自动驾驶环境感知和决策的关键。最先进的检测器建立在深度卷积神经网络(CNN)的基础上,并表现出良好的性能。然而,基于CNN的检测器的一个迫在眉睫的问题是如何在将其部署到自动驾驶车辆之前彻底评估准确性和鲁棒性的性能。在这项工作中,我们提出了一个视觉分析系统,VATLD,配备了一个解开表示学习和语义对抗学习,以评估,理解,并提高自动驾驶应用中的交通灯检测器的准确性和鲁棒性。解纠缠的表示学习提取数据语义,以增强人类的认知与人类友好的视觉摘要,语义对抗学习有效地暴露可解释的鲁棒性风险,并使最小的人类交互的可操作的见解。我们还展示了各种性能改进策略的有效性,这些策略来自我们的可视化分析系统VATLD的可操作见解,并说明了自动驾驶中安全关键应用的一些实际意义。
2020-09-27 cs.CV cs.HC
SMDDFNet: State-space Modeling and Dynamic Dual Fusion Network for Traffic Sign Detection
Zhejiang University(浙江大学);Shanghai Maritime University(上海海事大学)
针对交通标志检测中小目标、尺度变化和遮挡问题,提出SMDDFNet,集成动态双融合模块和状态空间建模骨干,增强多尺度特征表示,在多个数据集上取得竞争性精度并保持实时性能。
2026-09-24 cs.AI cs.CV
A Deep Reinforcement Learning Approach for Ramp Metering Based on Traffic Video Data
Tongji University(同济大学);New York University(纽约大学)
匝道控制是利用交通信号来调节匝道上的车流量,以提高高速公路的机动性。以往的研究通常基于点检测器收集的预定义交通测量值(如交通量和占用率)实时更新信号配时。与点检测器相比,交通摄像机可以覆盖更大的区域,提供更详细的交通信息,并已越来越多地部署在道路网络中。在这项工作中,我们提出了一种深度强化学习(DRL)方法,以探索交通视频数据在提高匝道控制效率方面的潜力。该方法使用交通视频帧作为输入,并直接从高维视觉输入中学习最优控制策略。一个真实的案例研究表明,与一个国家的实践方法相比,建议的日间行车线方法的结果在1)更低的旅行时间在主线,2)更短的车辆排队在入口匝道,和3)更高的交通流量下游的合并区。结果表明,该方法能够从视频数据中提取有用的信息,更好地匝道控制。
2020-12-09 cs.AI cs.CV
Fast detection of multiple objects in traffic scenes with a common detection framework
University of Adelaide(阿德莱德大学);NICTA(澳大利亚国家信息通信技术卓越中心);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
交通场景感知(TSP)旨在实时准确地提取道路环境信息,包括感兴趣目标的检测、检测目标的识别和运动目标的跟踪三个阶段。由于识别和跟踪往往依赖于检测的结果,有效地检测感兴趣的对象的能力在TSP中起着至关重要的作用。在本文中,我们专注于三类重要的对象:交通标志,汽车和骑自行车的人。我们建议在一个基于学习的检测框架中检测所有三个重要对象。建议的框架包括一个密集的特征提取器和检测器的三个重要类别。一旦提取了密集特征,这些特征就与所有检测器共享。使用一个通用框架的优点是检测速度快得多,因为所有密集特征只需要在测试阶段评估一次。相比之下,大多数以前的作品都设计了特定的检测器,使用不同的功能,这些对象。为了增强特征对噪声和图像变形的鲁棒性,我们引入空间池特征作为聚合通道特征的一部分。为了进一步提高泛化性能,我们提出了一个对象子分类方法作为一种手段,捕捉类内变化的对象。我们的实验证明了所提出的框架在三个检测应用程序:交通标志检测,汽车检测和骑自行车者检测的有效性和效率。所提出的框架实现了竞争力的性能与国家的最先进的方法在几个基准数据集。
2015-10-12 cs.CV
A Dynamic Spatial-temporal Attention Network for Early Anticipation of Traffic Accidents
Stony Brook University(石溪大学)
传感器技术和人工智能的快速发展为提高交通安全创造了新的机遇。仪表盘摄像头(dashcams)已经广泛部署在人类驾驶车辆和自动驾驶车辆上。一个可以从仪表盘视频中准确、及时地预测事故的计算智能模型将加强事故预防的准备。交通智能体的时空交互是复杂的。用于预测未来事故的视觉线索深深地嵌入到仪表盘视频数据中。因此,交通事故的早期预测仍然是一个挑战。受人类视觉感知事故风险时的注意行为的启发,提出了一种动态时空注意(DSTA)网络,用于从行车记录仪视频中进行事故早期预测。DSTA网络学习选择具有动态时间注意力(DTA)模块的视频序列的有区别的时间段。它还学习使用动态空间注意力(DSA)模块关注帧的信息空间区域。门控递归单元(GRU)与注意模块一起训练,以预测未来事故的概率。在两个基准数据集上对DSTA网络的评估证实,它已经超过了最先进的性能。在组件级别评估DSTA网络的彻底消融研究揭示了网络如何实现这种性能。此外,本文提出了一种方法来融合的预测得分从两个互补的模型,并验证了其有效性,进一步提高早期事故预测的性能。
2021-12-21 cs.AI cs.CV
Deep Learning-Based Object Detection for Autonomous Vehicles: A Comparative Study of One-Stage and Two-Stage Detectors on Basic Traffic Objects
本文比较了YOLOv5和Faster R-CNN在自动驾驶中的对象检测性能,发现YOLOv5在精度和效率上表现更优,而Faster R-CNN在检测小距离和复杂光照条件下的物体更有效。
2026-01-30 cs.CV
Deep Learning Based Traffic Surveillance System For Missing and Suspicious Car Detection
National Institute of Technology, Warangal(瓦朗加尔国家理工学院)
汽车盗窃可以说是印度增长最快的犯罪类型之一。在一些市区,据信每天约有100起汽车盗窃案件。在这种不稳定的情况下,使用传统的方法如人工检查和基于射频识别(RFID)的技术来识别被盗车辆是不可能的。本文提出了一种基于深度学习的自动交通监控系统,用于从闭路电视(CCTV)摄像头镜头中检测被盗/可疑车辆。它主要由四个部分组成:选择探测器、图像质量增强器、图像Transformer和智能识别器。选择检测器用于提取包含车辆的帧,并以最小的时间复杂度有效地检测车牌。然后使用图像质量增强器来增强车牌的质量,该图像质量增强器使用pix 2 pix生成对抗网络(GAN)来增强受时间变化(如低光,阴影,采用图像变换器Transformer来解决非水平车牌识别效率低的问题通过将牌照变换为不同级别的旋转和裁剪,可以实现对车辆牌照(其处于一个角度)的旋转和裁剪。Smart Recognizer使用Tesseract光学字符识别(OCR)识别车牌号码,并使用错误检测器纠正错误识别的字符。该方法的有效性在政府的闭路电视摄像机镜头上进行了测试,结果识别被盗/可疑车辆的准确率为87%。
2020-07-17 cs.CV
DRAFE: Domain-Robust Asymmetric Fusion of Heterogeneous Detection Transformers for Cross-City Fine-Grained Traffic Object Detection
Iowa State University(爱荷华州立大学);University of Arkansas(阿肯色大学);Parsons Corporation(帕森斯公司);Jacobs(雅各布斯公司);University of South Florida(南佛罗里达大学);Neel-Schaffer, Inc.(尼尔-沙弗公司)
针对跨城市细粒度交通目标检测中细粒度识别与域泛化难兼顾的问题,提出 DRAFE 模型,通过两阶段训练及多模块融合策略,在 AI City Challenge 2026 Track 6 任务中取得 0.4022 mAP 排名第六的成绩,性能优于初步集成模型。
2026-08-18 cs.CV
Urban Traffic Surveillance (UTS): A fully probabilistic 3D tracking approach based on 2D detections
Goethe University(歌德大学);NTNU(挪威科技大学)
城市交通监控(UTS)是一种基于单目和校准视频摄像机的监控系统,可在多车道交通密集和车辆执行急转弯操作的城市交通场景中检测车辆。UTS然后使用3D限界框表示和物理上合理的3D运动模型依赖于基于无迹卡尔曼滤波器的方法来跟踪车辆。由于UTS在三维世界坐标系中恢复位置,形状和运动信息,因此可以用于识别各种交通违法行为或为智能车辆提供有价值的交通信息。我们建立在YOLOv3上作为检测器,为每个车辆生成2D边界框和类标签。一个二维检测器使我们的系统更加独立于不同的相机的角度,因为各种标记的训练数据是可用的。这允许良好的泛化,同时也是更高效的硬件。基于2D检测的3D跟踪任务通过整合关于车辆形状的类特定先验知识来支持。我们定量评估UTS使用自生成的合成数据和地面真相的CARLA模拟器,由于不存在的数据集与城市车辆监控设置和标记的三维边界框。此外,我们给出了UTS如何在真实世界数据上执行的定性印象。我们的实现是能够在一个合理的现代工作站上实时的操作。据我们所知,UTS是迄今为止唯一一款用于监控场景(静态摄像头观察移动目标)的3D车辆跟踪系统。
2021-06-01 cs.CV
Thermal Detection of People with Mobility Restrictions for Barrier Reduction at Traffic Lights Controlled Intersections
Faculty of Mathematics and Computer Science, University of Münster(数学与计算机科学学院,穆斯特大学);University of Applied Sciences Erfurt(埃弗特应用科学大学);Faculty of Business, Logistics and Transport, University of Applied Sciences Erfurt(商业、物流与交通学院,埃弗特应用科学大学)
本文提出基于热成像检测的自适应交通信号灯系统,构建 TD4PWMR 数据集并设计 YOLO-Thermal,以提升行动受限及视障行人的路口无障碍通行能力。
2025-05-14 cs.CV
Effortless Deep Training for Traffic Sign Detection Using Templates and Arbitrary Natural Images
Universidade Federal do Espírito Santo(圣灵联邦大学);Instituto Federal do Espírito Santo(圣灵联邦研究所);University of Trento(特伦托大学)
深度学习已成功应用于与自动驾驶相关的几个问题。通常,这些解决方案依赖于需要问题的真实图像样本的数据库的大型网络(即,真实世界)进行适当的训练。在自动驾驶背景下,这种真实世界数据集的获取并不总是可能的,并且有时它们的注释是不可行的(例如,时间太长或太贵)。此外,在许多任务中,存在着大多数基于学习的方法难以应对的内在数据不平衡。事实证明,交通标志检测是一个问题,其中这三个问题被认为是在一起。在这项工作中,我们提出了一种新的数据库生成方法,只需要(i)任意的自然图像,即,不需要来自感兴趣域的真实图像,以及(ii)交通标志的模板,即,合成创建的模板,用于说明交通标志类别的外观。毫不费力地生成的训练数据库被证明对德国交通标志上的深度检测器(如Faster R-CNN)的训练是有效的,平均达到95.66%的mAP。此外,所提出的方法是能够检测交通标志的平均精度,召回率和F1分数分别约为94%,91%和93%。实验令人惊讶地表明,检测器可以用简单的数据生成方法进行训练,而无需背景的问题域数据,这与深度学习的常识相反。
2019-07-23 cs.CV
Traffic Sign Detection With Event Cameras and DCNN
AGH University of Science and Technology(AGH科技大学);Silesian University of Technology(西里西亚工业大学)
近年来,事件摄像机(DVS -动态视觉传感器)已经被用于视觉系统中作为传统摄像机的替代或补充。它们的特点是高动态范围、高时间分辨率、低延迟以及在有限照明条件下的可靠性能--这些参数在高级驾驶员辅助系统(ADAS)和自动驾驶汽车中尤为重要。在这项工作中,我们测试这些相当新颖的传感器是否可以应用于交通标志检测的流行任务。为此,我们分析了事件数据的不同表示:事件帧,事件频率和指数衰减的时间表面,并应用视频帧重建使用一个深神经网络称为FireNet。我们使用深度卷积神经网络YOLOv 4作为检测器。对于特定的表示,我们获得的检测精度在86.9- 88.9%mAP@0.5的范围内。所考虑的表示的融合的使用允许我们获得具有89.9%mAP@0.5的更高精度的检测器。相比之下,用FireNet重建的帧的检测器的特征在于72.67%mAP@0.5的准确度。所获得的结果说明了事件相机在汽车应用中的潜力,无论是作为独立的传感器还是与典型的基于帧的相机密切合作。
2022-07-27 cs.CV eess.IV
Fooling the Eyes of Autonomous Vehicles: Robust Physical Adversarial Examples Against Traffic Sign Recognition Systems
Shenzhen Kaiyuan Internet Security Co., Ltd(深圳开元互联网安全有限公司);University of Maryland(马里兰大学)
对抗性示例(AE)可以欺骗深度神经网络(DNN),最近受到了很多关注。然而,大多数关于AE的研究都是在数字领域,对抗补丁是静态的,这与许多现实世界的DNN应用(如自动驾驶汽车中的交通标志识别(TSR)系统)有很大不同。在TSR系统中,对象检测器使用DNN来实时的处理流视频。从物体检测器的角度来看,交通标志的位置和视频质量不断变化,使数字AE在物理世界中无效。在本文中,我们提出了一个系统的管道,以产生强大的物理AE对现实世界的对象检测器。鲁棒性通过三种方式实现。首先,我们模拟车载摄像机通过扩展的图像变换的分布与模糊变换和分辨率变换。其次,我们设计了单包围盒和多包围盒滤波器来提高扰动训练的效率。第三,我们考虑了四种有代表性的攻击向量,即隐藏攻击,外观攻击,非目标攻击和目标攻击。我们在各种环境条件下进行了一系列全面的实验,并考虑了晴天和多云天气以及夜间的照明。实验结果表明,从我们的管道中产生的物理AE是有效的和强大的攻击YOLO v5基于TSR系统。攻击具有良好的可移植性,可以欺骗其他国家的最先进的目标检测器。我们在全新的2021款车型上推出了HA和NTA。这两种攻击都成功地欺骗了TSR系统,这可能是危及自动驾驶汽车生命的情况。最后,我们讨论了基于图像预处理,AE检测和模型增强的三种防御机制。
2022-01-17 cs.AI cs.CV
Deep Traffic Sign Detection and Recognition Without Target Domain Real Images
Universidade Federal do Espirito Santo (UFES)(圣埃斯皮里图联邦大学);Instituto Federal do Espirito Santo (IFES)(圣埃斯皮里图联邦学院);University of Trento(特伦托大学)
深度学习已成功应用于与自动驾驶相关的几个问题,通常依赖于真实目标域图像的大型数据库进行适当的训练。在自动驾驶环境中,这种真实世界数据的获取并不总是可能的,有时它们的注释是不可行的。此外,在许多任务中,存在着大多数基于学习的方法难以应对的内在数据不平衡。特别是,交通标志检测是一个具有挑战性的问题,其中这三个问题一起看到。为了解决这些挑战,我们提出了一种新的数据库生成方法,该方法仅需要(i)任意自然图像,即,不需要来自目标域的真实图像,以及(ii)交通标志的模板。该方法的目的不是克服训练与真实的数据,而是一个兼容的替代方案时,真实的数据是不可用的。毫不费力地生成的数据库被证明是有效的训练深度检测器的交通标志来自多个国家。在大型数据集上,使用完全合成数据集进行训练几乎与使用真实数据集进行训练的性能相匹配。与使用较小的真实图像数据集进行训练相比,使用合成图像进行训练的准确率提高了12.25%。该方法还提高了检测器的性能时,目标域的数据是可用的。
2020-07-30 cs.CV
Non-recurrent Traffic Congestion Detection with a Coupled Scalable Bayesian Robust Tensor Factorization Model
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院);School of Transportation Engineering, Southeast University(东南大学交通工程学院);Faculty of Momenta(Momenta学院);McGill University(麦吉尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
非重现性交通拥堵(NRTC)通常会给通勤者带来意想不到的延误。因此,以实时的方式准确地检测和识别NRTC是至关重要的。道路交通检测器和环路检测器的发展为研究人员提供了大规模的多变量时空交通数据,为深入研究非线性交通流控制提供了条件。然而,它仍然是一个具有挑战性的任务,构建一个分析框架,通过该框架可以有效地表示和利用多变量交通信息的自然时空结构特性,以更好地理解和检测NRTC。在本文中,我们提出了一种新的分析训练免费框架的基础上耦合可扩展贝叶斯鲁棒张量分解(耦合SBRTF)。该框架可以通过共享相似或相同的稀疏结构来耦合多变量交通数据,包括交通流量、道路速度和占用率。而且,它自然地捕获的高维时空结构特性的交通数据的张量因式分解。该框架的共享稀疏结构包含了足够丰富的NRTC信息,其条目揭示了NRTC的分布和大小。而框架的低秩部分则将总体期望交通状况的分布作为辅助产品来表达。在真实交通数据上的实验结果表明,该方法在NRTC检测中的性能优于耦合贝叶斯鲁棒主成分分析(耦合BRPCA)、秩稀疏张量分解(RSTD)和标准正态偏差(SND).当只利用工作日的交通数据时,所提出的方法表现得更好,因此可以为日常通勤者提供更精确的NRTC估计。
2020-05-10 cs.CV cs.LG physics.soc-ph
Road images augmentation with synthetic traffic signs using neural networks
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);NRU Higher School of Economics(国立研究型大学高等经济学院)
交通标志识别是计算机视觉中的一个研究热点。然而,最先进的方法仅适用于频繁的符号类,这些符号类在训练数据集中得到了很好的表示。我们认为罕见的交通标志检测和分类的任务。我们的目标是通过使用合成训练数据来解决这个问题。这种训练数据是通过在真实照片中嵌入标志的合成图像而获得的。我们提出了三种方法,使合成标志与场景的外观一致。这些方法基于现代生成对抗网络(GAN)架构。我们提出的方法允许真实的嵌入罕见的交通标志类,在训练集中不存在。我们采用变分自编码器对图像中新交通标志的合理位置进行采样。我们证明,使用我们的合成数据与真实数据的混合提高了分类器和检测器的准确性。
2021-01-13 cs.CV
Accurate Automatic 3D Annotation of Traffic Lights and Signs for Autonomous Driving
aiMotive(艾莫蒂夫公司)
针对自动驾驶中交通信号灯与标志3D检测模型训练需大量标注数据的问题,提出仅用带2D框的RGB图像和GNSS/INS数据、无需LiDAR的自动3D标注方法,可生成200米内精准时序一致的标注。
2025-03-19 cs.CV
CARLA-Round: A Multi-Factor Simulation Dataset for Roundabout Trajectory Prediction
School of Engineering University of Warwick(工程学院 华威大学);School of Information Engineering Wuhan University of Technology(信息工程学院 武汉理工大学)
CARLA-Round数据集通过系统设计的环形交叉口轨迹预测模拟数据,量化了交通密度和天气对预测性能的影响,实现了有效的仿真到现实迁移。
2026-01-17 cs.CV
Deep traffic light detection by overlaying synthetic context on arbitrary natural images
Universidade Federal do Espírito Santo(圣埃斯皮里图联邦大学);Instituto Federal do Espírito Santo(圣埃斯皮里图联邦学院);University of Trento(特伦托大学)
深度神经网络是自动驾驶相关许多问题的有效解决方案。通过向网络提供具有交通背景的真实图像样本,该模型可以学习检测和分类感兴趣的元素,例如行人,交通标志和交通灯。然而,获取和注释真实数据在时间和精力方面可能是极其昂贵的。在这种情况下,我们提出了一种方法来生成人工交通相关的训练数据的深度交通灯检测器。这些数据是使用基本的非现实计算机图形生成的,以在与交通领域无关的任意图像背景上混合虚假的交通场景。因此,无需注释即可生成大量训练数据。此外,它还解决了交通信号灯数据集中固有的数据不平衡问题,主要是由于黄色状态的样本量较低。实验表明,有可能实现与利用来自问题域的真实训练数据获得的结果相当的结果,产生平均mAP和平均F1分数,其各自比利用真实世界参考模型获得的相应度量高近4p.p.。
2020-12-10 cs.CV
Accurate Localization of Road Traffic Objects on the Road Plane Using Surveillance Camera Imagery
针对单目路边监控车辆定位误差大的问题,提出两阶段几何感知定位流水线,经CARLA合成数据训练、DAIR-V2X真实数据微调后,定位精度大幅提升,尤其对远距离车辆效果显著。
2026-08-07 cs.CV eess.IV
Graph Neural Network and Spatiotemporal Transformer Attention for 3D Video Object Detection from Point Clouds
Beijing Institute of Technology(北京理工大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Indiana University(印第安纳大学);University of Kentucky(肯塔基大学)
基于LiDAR的3D目标检测的先前工作主要集中在单帧范例上。在本文中,我们提出了利用多帧中的时间信息来检测3D对象,即,点云视频我们根据经验将时间信息分为短期和长期模式。为了对短期数据进行编码,我们提出了一个网格消息传递网络(GMPNet),它考虑每个网格(即,分组的点)作为节点,并构造具有相邻网格的k-NN图。为了更新网格的特征,GMPNet迭代地从其邻居收集信息,从而从附近的帧中挖掘网格中的运动线索。为了进一步聚合长期帧,我们提出了一个注意时空Transformer GRU(AST-GRU),它包含一个空间Transformer注意(STA)模块和一个时间Transformer注意(TTA)模块。STA和TTA增强了vanilla GRU,使其能够专注于小物体,并更好地对齐移动物体。我们的整体框架支持点云中的在线和离线视频目标检测。我们实现我们的算法的基础上流行的锚为基础的和无锚检测器。在具有挑战性的nuScenes基准测试上的评估结果显示了我们方法的优越性能,在提交论文时,在排行榜上获得了第一名,没有任何花哨的东西。
2022-07-26 cs.CV
FlowDet: Overcoming Perspective and Scale Challenges in Real-Time End-to-End Traffic Detection
Chinese Academy of Medical Sciences(中国医学科学院);Peking Union Medical College(北京医学院);CICT Mobile Communication Technology Co.,Ltd(CICT移动通信技术有限公司)
本文提出 FlowDet,通过面向 DETR 的解耦编码器优化、GDU 几何建模与 SAA 尺度注意力,在 Intersection-Flow-5k 上以更低计算量实现交通检测新最优。
2025-10-20 cs.AI cs.CV
Real-Time Detectors for Digital and Physical Adversarial Inputs to Perception Systems
University of Pennsylvania(宾夕法尼亚大学)
深度神经网络(DNN)模型已被证明容易受到对抗性数字和物理攻击。在本文中,我们提出了一种新的攻击和入侵不可知和实时的【形】检测器,这两种类型的敌对输入基于DNN的感知系统。特别是,所提出的检测器依赖于敌对图像对某些标签不变变换敏感的观察。具体地,为了确定图像是否被逆向操纵,所提出的检测器检查在给定输入图像上的目标分类器的输出在向其馈送正在调查的图像的变换版本之后是否显著改变。此外,我们提出的检测器是计算轻在运行时和设计时,这使得它适合于实时的【形】应用程序,也可能涉及大规模的图像域。为了突出这一点,我们在ImageNet上展示了所提出的检测器的效率,这是一项对大多数相关防御具有计算挑战性的任务,并且在实时的【形】自治应用中可能遇到的物理攻击交通标志上。最后,我们提出了第一个对抗数据集,称为AdvNet,其中包括干净和物理交通标志图像。我们在MNIST、CIFAR10、ImageNet和AdvNet数据集上进行的广泛比较实验表明,VisionGuard在可扩展性和检测性能方面优于现有防御。我们还评估了所提出的检测器的现场测试数据上获得的移动车辆配备了基于感知的DNN受到攻击。
2022-04-21 cs.CV cs.RO eess.IV
TrafficLens: Multi-Camera Traffic Video Analysis Using LLMs
NEC Laboratories America(NEC美国实验室);University of Missouri–Kansas City (UMKC)(密苏里大学-堪萨斯城分校)
TrafficLens通过利用多摄像头重叠区域和对象相似性检测,高效地将视频转换为文本,减少处理时间并提升交通视频分析效率。
2025-11-26 cs.CL cs.CV
Tel2Veh: Fusion of Telecom Data and Vehicle Flow to Predict Camera-Free Traffic via a Spatio-Temporal Framework
National Taiwan University(国立台湾大学);Chunghwa Telecom Laboratories(中华电信研究院);Mobile Drive Technology(行驱科技)
提出Tel2Veh框架,融合电信蜂窝流量与稀疏车流数据,利用图神经网络融合特征差异,预测无摄像头区域的车流,推进交通管理。
2024-03-05 cs.CV cs.LG
Automated Augmentation with Reinforcement Learning and GANs for Robust Identification of Traffic Signs using Front Camera Images
Volvo Cars USA(沃尔沃汽车美国公司);U. Washington(华盛顿大学);VolvoCars(沃尔沃汽车);Chalmers University of Technology(查尔姆斯理工大学);Fung Institute, University of California, Berkeley(加州大学伯克利分校冯氏研究所)
利用车辆摄像头图像识别交通标志在自动驾驶和路径规划中起着关键作用。然而,前置摄像头图像可能由于模糊、光照变化和故意破坏而失真,这可能导致检测性能下降。作为一种解决方案,机器学习模型必须使用来自多个领域的数据进行训练,并且在每个新领域中收集和标记更多数据既耗时又昂贵。在这项工作中,我们提出了一个端到端的框架,以增强交通标志训练数据,使用最佳的强化学习策略和各种生成对抗网络(GAN)模型,然后可以用来训练交通标志检测器模块。我们的自动增强器可以使用LISA交通标志和BDD-Nexar数据集从转换的夜间,光线不足和不同程度的遮挡中学习。所提出的方法能够将训练数据从一个域映射到另一个域,从而将夜间图像的交通标志检测精度/召回率从0.70/0.66提高到0.83/0.71。
2019-11-15 cs.AI cs.CV cs.LG