Adversarial Examples in Environment Perception for Automated Driving (Review)
School of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
本文系统综述了自动驾驶环境感知中对抗样本的攻击与防御方法及其应用，梳理了近十年对抗鲁棒性研究的发展脉络和重要文献。
2025-04-11 cs.CV
DriveFix: Spatio-Temporally Coherent Driving Scene Restoration
Zhejiang University（浙江大学）；Huawei（华为）
DriveFix提出一种多视角修复框架，通过交错扩散变换器架构和几何感知损失，实现驾驶场景时空一致性，提升4D世界建模的鲁棒性。
2026-03-17 cs.CV
Non-parametric Memory for Spatio-Temporal Segmentation of Construction Zones for Self-Driving
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们介绍了一个非参数的记忆表示的时空分割，捕捉当地的空间和时间周围的自动驾驶汽车（AV）。我们的表征有三个重要的属性：（1）它记得过去看到的东西;（2）它强化和（3）基于新证据忘记过去的信念。强化很重要，因为我们第一次看到一个元素时，我们可能不确定，例如，如果元素被严重遮挡或在范围内。遗忘是可取的，否则误报将使自动驾驶车辆的行为不稳定。我们的过程是由3D推理告知的，因为遮挡是区分遗忘和记忆愿望的关键。我们展示了我们的方法如何可以作为一个在线组件，以补充静态的世界表示，如高清地图，通过检测和记住的变化，应该叠加在这个静态视图上，由于这样的事件。
2021-01-18 cs.CV
CASCADE: A Spatio-Temporal-Causal Reasoning Representation and Dataset for Driving
NVIDIA（英伟达）；ETH Zürich（苏黎世联邦理工学院）
CASCADE提出一种时空因果推理表示及人工标注数据集，用于驾驶场景，使推理预测可机器验证，并支持物理AI模型推理能力的基准测试。
2026-09-09 cs.CV
STSBench: A Spatio-temporal Scenario Benchmark for Multi-modal Large Language Models in Autonomous Driving
Graz University of Technology（格拉茨技术大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）；Amazon（亚马逊）
本文提出STSBench时空场景基准框架，并在NuScenes上构建STSnu，通过971道多选题系统评估自动驾驶VLM的时空推理能力，揭示现有模型在复杂交通动态推理上的关键不足。
2025-06-06 cs.CV
LiDAR Prompted Spatio-Temporal Multi-View Stereo for Autonomous Driving
Unmanned Vehicle Dept., CaiNiao Inc., Alibaba Group（无人车辆部门， Cainiao Inc.，阿里巴巴集团）；Harbin Institute of Technology（哈尔滨工业大学）
LiDAR驱动的时空多视角立体摄影框架DriveMVS通过几何提示和深度融合提升自动驾驶的度量精度和跨领域泛化能力。
2026-03-04 cs.CV
UniSplat: Unified Spatio-Temporal Fusion via 3D Latent Scaffolds for Dynamic Driving Scene Reconstruction
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Voyager Research, Didi Chuxing；The University of Hong Kong（香港大学）
UniSplat提出基于三维潜在支架的统一时空融合框架，结合双分支解码器与静态高斯持久记忆，解决稀疏多相机动态驾驶场景重建问题，在新视角合成上达到最优性能。
2025-11-06 cs.CV
Genesis: Multimodal Driving Scene Generation with Spatio-Temporal and Cross-Modal Consistency
Huazhong University of Science and Technology（华中科技大学）；Xiaomi EV（小米电动车）
提出Genesis统一框架，联合生成多视角驾驶视频与LiDAR序列，通过两阶段架构和共享潜在空间实现时空与跨模态一致性，在nuScenes上达到SOTA性能。
2025-06-20 cs.CV
FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving
Xi’an Jiaotong University（西安交通大学）；Amap, Alibaba Group（阿里巴巴集团）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
针对VLA模型在自动驾驶中因文本CoT导致感知-规划模态鸿沟的问题，提出FSDrive框架，通过视觉时空CoT生成含物理先验的未来帧，提升轨迹精度、减少碰撞并推进场景理解。
2025-11-11 cs.CV
DiST-4D: Disentangled Spatiotemporal Diffusion with Metric Depth for 4D Driving Scene Generation
Megvii（旷视科技）；Mach Drive
针对4D驾驶场景生成中时空合成难以兼顾的问题，提出以度量深度为核心几何表示的解耦时空扩散框架DiST-4D，通过两个扩散子模块分别处理时间预测与空间新视角合成，在两类任务及规划评估中表现优异。
2025-03-19 cs.CV
BEVPredFormer: Spatio-temporal Attention for BEV Instance Prediction in Autonomous Driving
University of Alcalá（阿尔卡拉大学）
本文提出BEVPredFormer，一种基于相机的新型架构，通过注意力机制提升时空感知能力，解决动态场景中密集空间和时间信息处理的挑战，实验证明其在nuScenes数据集上性能优异。
2026-04-03 cs.CV
LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving
LaST-VLA通过潜在空间-时间推理框架，结合双特征对齐机制和渐进式SFT训练策略，提升自动驾驶中的视觉-语言-动作处理能力，实现更安全的物理基础推理。
2026-03-12 cs.CV
Shadow Erosion and Nighttime Adaptability for Camera-Based Automated Driving Applications
Johannes Kepler University Linz, Austria（奥地利林茨约翰内斯·开普勒大学）；Department Intelligent Transport Systems（智能交通系统部门）
针对自动驾驶中挑战性光照下的图像增强问题，提出保留色彩纹理的阴影侵蚀与夜间适应性流水线，经对比CLAHE验证在光照均匀度等指标上更优，且能提升YOLO可行驶区域分割效果。
2025-09-02 cs.CV
VistaGEN: Consistent Driving Video Generation with Fine-Grained Control Using Multiview Visual-Language Reasoning
Hong Kong University of Science and Technology（香港科技大学）；Meituan, Inc.（美团）；Beijing Normal University（北京师范大学）
本文提出VistaGEN，通过多视角视觉语言推理实现驾驶视频生成的细粒度控制与时空一致性，引入多视角视觉语言评估器和对象级细化模块，提升长视频生成质量与一致性。
2026-03-30 cs.CV
Universal Embeddings for Spatio-Temporal Tagging of Self-Driving Logs
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们解决了从原始传感器数据中对自动驾驶场景进行时空标记的问题。我们的方法为所有标签学习了一个通用的嵌入，从而可以有效地标记许多属性，并在有限的数据下更快地学习新属性。重要的是，嵌入是时空感知的，允许模型自然地输出时空标签值。然后可以在任意区域上汇集值，例如，为了计算SDV前面的行人密度，或者确定一辆汽车是否在4路交叉口阻挡另一辆汽车。我们在一个新的大规模自动驾驶数据集SDVScenes上展示了我们方法的有效性，SDVScenes包含与车辆和行人密度、每个演员的动作、每个演员的速度、演员之间的交互以及道路图的拓扑结构相关的15个属性。
2020-11-12 cs.CV cs.LG cs.RO
TEScalib: Targetless Extrinsic Self-Calibration of LiDAR and Stereo Camera for Automated Driving Vehicles with Uncertainty Analysis
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
在本文中，我们提出了TEScalib，一种新的外部自校准方法的激光雷达和立体相机使用周围环境的几何和光度信息，没有任何校准目标的自动驾驶车辆。由于激光雷达和立体相机广泛用于自动驾驶车辆的传感器数据融合，因此它们的外部校准非常重要。然而，大多数LiDAR和立体相机校准方法主要是基于目标的，因此耗时。即使是最近几年新开发的无目标方法也不准确或不适合驾驶平台。为了解决这些问题，我们引入了TESCalib。通过应用基于三维网格重建的点云配准，几何信息被用于精确和鲁棒地估计LiDAR到立体相机的外部参数。为了标定立体相机，建立了一个光度误差函数，并涉及LiDAR深度转换的关键点从一个相机到另一个。在驱动期间，这两个部分被迭代地处理。此外，我们还提出了一个不确定性分析，以反映估计的外部参数的可靠性。我们在KITTI数据集上评估的TEScalib方法取得了非常有希望的结果。
2022-02-28 cs.CV
Facial Emotion Recognition does not detect feeling unsafe in automated driving
Faculty of Mechanical Engineering, Delft University of Technology（代尔夫特理工大学机械工程学院）；Siemens Digital Industries Software（西门子数字工业软件）
本文通过驾驶模拟器实验发现面部情绪识别无法可靠检测自动驾驶中的感知风险，并提出结合车辆运动与皮肤电导的神经网络模型，可客观预测感知风险。
2025-09-01 cs.CV
One World, Dual Timeline: Decoupled Spatio-Temporal Gaussian Scene Graph for 4D Cooperative Driving Reconstruction
City University of Hong Kong (Dongguan)（香港城市大学（东莞））；City University of Hong Kong（香港城市大学）；SLAI
本文提出DUST解耦空间-时间高斯场景图，解决车辆与基础设施相机时间不同步导致的动态场景重建问题，通过解耦姿态轨迹和静态锚点校正提升重建精度与鲁棒性。
2026-05-11 cs.CV
Online Out-of-Domain Detection for Automated Driving
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Ilmenau University of Technology（伊尔梅瑙工业大学）
本文提出了一种自动驾驶安全机制的概念验证，通过在线检测运行时输入数据是否离开训练域来应对分布偏移，在Synthia数据集上实现了100%的域内外检测准确率，为自动驾驶系统认证提供重要支持。
2023-10-23 cs.CV
Spatio-Contextual Deep Network Based Multimodal Pedestrian Detection For Autonomous Driving
Indian Statistical Institute（印度统计研究所）；Valeo India（法雷奥印度公司）；Valeo Visions Systems（法雷奥视觉系统公司）
行人检测是自动驾驶系统中最关键的模块。虽然相机通常用于此目的，但其质量在低光夜间驾驶场景中严重下降。另一方面，热成像相机图像的质量在类似条件下不受影响。提出了一种基于RGB和热图像的端到端多模态融合行人检测模型。其新颖的空间上下文深度网络架构能够有效地利用多模态输入。它由两个不同的可变形ResNeXt-50编码器组成，用于从两种模态中提取特征提取。这两个编码特征的融合发生在多模态特征嵌入模块（MuFEm）内，该模块由若干组一对图注意力网络和特征融合单元组成。MuFEm的最后一个特征融合单元的输出随后被传递到两个CRF以进行空间细化。通过在四个不同方向上遍历的四个RNN的帮助下应用通道注意力和上下文信息提取来实现特征的进一步增强。最后，这些特征图由单级解码器用于生成每个行人的限界框和分数图。我们已经在三个公开的多模式行人检测基准数据集（即KAIST，CVC-14和UTokyo）上对所提出的框架进行了广泛的实验。每一个的结果都提高了各自的最先进的性能。在https://youtu.be/FDJdSifuuCs上可以看到一个简短的视频，概述了这项工作及其定性结果。我们的源代码将在论文发表后发布。
2022-01-24 cs.CV
First qualitative observations on deep learning vision model YOLO and DETR for automated driving in Austria
TU Graz（格拉茨工业大学）
本文首次定性研究YOLO与RT-DETR在奥地利自动驾驶目标检测中的应用，分析其在城市、乡村及阿尔卑斯山区等多样化道路条件下的适用性与挑战。
2024-12-28 cs.CV
Automated Classification of General Movements in Infants Using a Two-stream Spatiotemporal Fusion Network
Hiroshima University（广岛大学）；Prefectural University of Hiroshima（广岛县立大学）；University of Genoa（热那亚大学）；Istituto G.Gaslini Pediatric Hospital（G.加斯利尼儿科研究所）；Italian Institute of Technology（意大利技术研究院）
婴儿一般运动（GM）的评估是一个有用的工具，在神经发育障碍的早期诊断。然而，其在临床实践中的评估依赖于专家的目视检查，并且迫切期待自动化解决方案。最近，基于视频的GM分类引起了人们的关注，但这种方法会受到不相关信息的强烈影响，例如视频中的背景杂波。此外，为了可靠性，它是必要的，以适当地提取时空特征的婴儿在GM。在这项研究中，我们提出了一种自动GM分类方法，它包括预处理网络，从GM视频中删除不必要的背景信息，并调整婴儿的身体位置，和一个后续的运动分类网络的基础上的双流结构。该方法可以有效地提取必要的时空特征的GM分类，同时防止过拟合无关的信息，为不同的记录环境。我们使用从100名婴儿获得的视频验证了所提出的方法。实验结果表明，该方法优于几个基线模型和现有的方法。
2022-07-04 cs.CV eess.IV
Automated Extraction of Spatio-Semantic Graphs for Identifying Cognitive Impairment
Arizona State University（亚利桑那州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出从 Cookie Theft 图片描述中自动提取内容信息单元以构建时空语义图，从而刻画视觉叙事路径，实验证明该方法可有效区分认知受损与未受损人群，且效果与人工标注相当甚至更好。
2025-02-02 cs.AI cs.CL cs.CV
Improving Generalization of Transfer Learning Across Domains Using Spatio-Temporal Features in Autonomous Driving
University of Maryland at College Park（马里兰大学帕克分校）
实际的基于学习的自动驾驶模型必须能够将学习到的行为从模拟领域推广到真实领域，并从训练数据推广到具有不寻常图像属性的未知领域。在本文中，我们研究迁移学习方法，通过利用跨域的时空特征的不变性来实现对域移位的鲁棒性。在本文中，我们提出了一种迁移学习方法，通过时空特征的迁移和显着的数据增强来提高跨领域的泛化能力。我们的模型使用带有Inception模块的CNN-LSTM网络进行图像特征提取。我们的方法分两个阶段运行：第一阶段涉及对源域数据进行训练，而第二阶段对目标域数据进行训练，这些数据已经由使用第一阶段模型生成的特征图进行了补充。与跨多个数据集的其他SOTA方法相比，我们的模型在看不见的测试用例中显着提高了性能，无论是模拟到模拟的传输还是模拟到真实的传输，测试准确度高达+37.3\%，转向角预测高达+40.8\%。
2021-09-23 cs.CV cs.LG
COVID-Net UV: An End-to-End Spatio-Temporal Deep Neural Network Architecture for Automated Diagnosis of COVID-19 Infection from Ultrasound Videos
National Research Council Canada（加拿大国家研究委员会）；University of Waterloo（滑铁卢大学）
除接种疫苗外，作为有效减缓COVID-19进一步传播的方法，仍有必要对个人进行快速准确的筛查以检测疾病，以确保公共卫生安全。我们提出了COVID-Net UV，一种端到端的混合时空深度神经网络架构，用于从凸换能器捕获的肺部床旁超声视频中检测COVID-19感染。COVID-Net UV包括一个提取空间特征的卷积神经网络和一个学习时间依赖性的循环神经网络。经过仔细的超参数调整，该网络在COVID-19病例中实现了94.44%的平均准确率，没有假阴性病例。COVID-Net UV的目标是通过加速肺部床旁超声视频的筛查和COVID-19阳性病例的自动检测，协助一线临床医生抗击COVID-19。
2022-05-18 cs.CV eess.IV
S2TNet: Spatio-Temporal Transformer Networks for Trajectory Prediction in Autonomous Driving
Xi’an Jiaotong University（西安交通大学）
为了安全合理地参与密集和异构的交通，自动驾驶汽车需要充分分析周围交通代理的运动模式，并准确预测其未来的轨迹。这是具有挑战性的，因为交通代理的轨迹不仅受到交通代理本身的影响，而且还受到空间相互作用的影响。以往的方法通常依赖于对长短期记忆网络（LSTM）的逐步处理，并且只提取单一类型交通代理的空间邻居之间的相互作用。提出了时空Transformer网络（S2 TNet），它用时空Transformer来描述时空交互，用时间Transformer来处理时间序列。我们输入额外的类别，形状和标题信息到我们的网络来处理交通代理的异质性。在ApolloScape Trajectory数据集上，该方法在平均位移误差和最终位移误差的加权和上均优于最先进的方法7%以上.我们的代码可在https://github.com/chenghuang66/s2tnet上获得。
2022-06-22 cs.CV cs.LG cs.RO
UST: Unifying Spatio-Temporal Context for Trajectory Prediction in Autonomous Driving
TuSimple（图森未来）
轨迹预测一直是自动驾驶的一个挑战性问题，因为它需要从交通参与者的行为和交互中推断出潜在的意图。这个问题本质上是困难的，因为每个参与者在不同的环境和互动下可能会有不同的行为。这一问题的关键在于如何有效地从空间上下文和时间上下文两个方面对交错的影响进行建模。现有的工作通常分别编码这两种类型的上下文，这将导致劣质的场景建模。在本文中，我们首先提出了一个统一的方法来处理时间和空间维度平等建模时空上下文。所提出的模块是简单的，易于实现的几行代码。与现有的方法严重依赖于递归神经网络的时间上下文和手工制作的空间上下文结构相比，我们的方法可以自动划分时空空间以适应数据。最后，我们在两个最近提出的轨迹预测数据集ApolloScape和Argoverse上测试了我们提出的框架。我们表明，该方法大大优于以前的国家的最先进的方法，同时保持其简单性。这些令人鼓舞的结果进一步验证了我们的方法的优越性。
2020-05-06 cs.CV cs.LG cs.RO
Automated Acanthamoeba polyphaga detection and computation of Salmonella typhimurium concentration in spatio-temporal images
Institute of Electronic Structure and Laser, Foundation for Research and Technology（电子结构与激光研究所，研究与技术基金会）；University of Warwick（华威大学）
细菌和原生动物之间的相互作用是一个越来越感兴趣的领域，但是有一些系统允许广泛观察相互作用。我们研究了一个表面系统组成的非营养琼脂与均匀的细菌草坪，延伸到琼脂表面，和空间局部化的中央人口的阿米巴。变形虫以细菌为食，并在平板上迁移。自动图像分析技术被用来定位和计数变形虫，囊肿和细菌覆盖在一系列的空间图像。大多数算法都是基于强度阈值，或者是对概率模型的修改。我们的策略是两层的，我们进行了对象分类和细菌计数的自动分析，然后使用自定义编写的图形用户界面进行用户干预/重新分类。
2010-09-29 cs.CV q-bio.PE q-bio.QM
RAIST: Learning Risk Aware Traffic Interactions via Spatio-Temporal Graph Convolutional Networks
Purdue University（普渡大学）
本文提出基于时空图卷积网络的驾驶框架RAIST，通过建模道路使用者间的时空交互与意图，在战术行为预测的同时提升风险目标识别能力，尤其针对行人和骑行者等脆弱交互对象。
2023-08-06 cs.CV cs.RO
Advancing Automated Spatio-Semantic Analysis in Picture Description Using Language Models
Arizona State University（亚利桑那州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究提出基于BERT的流水线，自动从图片描述中提取和排序内容信息单元，以表征视觉叙事路径，用于认知障碍评估，在CIU检测中达到93%中位精确率和96%中位召回率，优于词典基线。
2025-09-30 cs.CL cs.CV eess.AS
Applying Spatiotemporal Attention to Identify Distracted and Drowsy Driving with Vision Transformers
Jericho High School（杰里科高中）
与2020年相比，2021年的车祸数量增加了20%，这是由于注意力分散和困倦增加。昏昏欲睡和分心驾驶是45%的车祸的原因。作为减少困倦和分心驾驶的手段，使用计算机视觉的检测方法可以被设计成低成本、准确和微创的。这项工作研究了使用视觉Transformer来超越3D-CNN的最先进精度。两个独立的Transformers被训练困倦和分心。昏昏欲睡的视频Transformer模型在国立清华大学昏昏欲睡驾驶数据集（NTHU-DDD）上使用视频Swin Transformer模型在两个类上训练10个时期-昏昏欲睡和非昏昏欲睡模拟超过10.5小时。分心的视频Transformer在驾驶员监控数据集（DMD）上用视频Swin Transformer训练50个时期，超过9个分心相关类。睡意模型的准确率达到44%，并且在测试集上损失值很高，表明过拟合和模型性能较差。过拟合表明有限的训练数据和应用的模型架构缺乏可量化的参数来学习。分心模型在DMD上的表现优于最先进的模型，达到97.5%，这表明有了足够的数据和强大的架构，Transformers适合用于不合适的驾驶检测。未来的研究应该使用更新和更强大的模型，如TokenLearner，以实现更高的准确性和效率，合并现有的数据集，以扩展到检测酒后驾驶和道路愤怒，以创建一个全面的解决方案，以防止交通事故，并部署一个功能原型，以彻底改变汽车安全行业。
2022-07-22 cs.AI cs.CV
ST-Prune: Training-Free Spatio-Temporal Token Pruning for Vision-Language Models in Autonomous Driving
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Carizon；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对自动驾驶中多视角相机和多帧视频输入的计算开销问题，ST-Prune提出无训练的时空令牌修剪框架，通过MTP和RSP模块有效压缩时空冗余，实现90%令牌减少下的近无损性能。
2026-04-21 cs.AI cs.CV
Formalizing and Evaluating Requirements of Perception Systems for Automated Vehicles using Spatio-Temporal Perception Logic
Arizona State University（亚利桑那州立大学）；Toyota Research Institute of North America（北美丰田研究所）；University of Southern California（南加州大学）
针对自动驾驶逐帧评估的不足，提出时空感知逻辑（STPL），结合空间与时间算子对感知数据进行推理，支持离线多项式时间监控，无需真值即可进行功能健全性检查。
2023-11-21 cs.CV cs.FL cs.RO
Conditional Prediction by Simulation for Automated Driving
CARIAD SE；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出一种基于微观交通仿真和对抗性逆强化学习行为模型的条件预测方法，通过以自动驾驶车辆候选轨迹为条件生成预测并支持动态调整，从而实现协同规划。
2025-02-05 cs.CV cs.RO
HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving
Bosch Corporate Research（博世企业研究）；School of Communication and Information Engineering（信息工程学院）
HiST-VLA通过分层时空视觉-语言-动作模型提升自动驾驶轨迹生成的精度与效率，实现端到端的自动驾驶系统。
2026-02-11 cs.AI cs.CV cs.RO
Trustworthy Automated Driving through Qualitative Scene Understanding and Explanations
Simula（西穆拉研究院）；LIRMM（Montpellier 电子与计算机科学实验室）
本文提出定性可解释图（QXG），一种实时构建的符号场景表示，用于自动驾驶中通过时空图和定性约束解释决策，提升可信度并支持乘客告知、VRU提醒及事后分析。
2024-01-29 cs.AI cs.CV
Driving through the Concept Gridlock: Unraveling Explainability Bottlenecks in Automated Driving
University of California, San Diego（加州大学圣迭戈分校）；InfoTech Labs, Toyota Motor North America R&D（丰田汽车北美研发中心InfoTech实验室）
本文提出将概念瓶颈作为视觉特征用于自动驾驶控制命令预测与行为解释，通过学习人类可理解的概念层解释驾驶场景，并判断行为变化源于外部刺激还是偏好变化，在保持可解释性的同时取得与潜在视觉特征相当的竞争性能。
2023-10-26 cs.CV cs.LG
CLIPping the Limits: Finding the Sweet Spot for Relevant Images in Automated Driving Systems Perception Testing
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对自动驾驶感知测试中图像数据集检索难的问题，提出基于自然语言相似度排序的自动化阈值判定方法，平衡假阳假阴，兼顾鲁棒性并提供回退方案。
2024-07-12 cs.CV cs.RO
From Dashcam Videos to Driving Simulations: Stress Testing Automated Vehicles against Rare Events
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出一种基于视频语言模型的自动化框架，将真实车祸视频转换为CARLA仿真场景以测试自动驾驶系统，通过相似度反馈迭代优化，实现高保真且高效的罕见事件压力测试。
2025-01-27 cs.AI cs.CV
A Driver Fatigue Recognition Algorithm Based on Spatio-Temporal Feature Sequence
School of Automation, Southeast University（东南大学自动化学院）
研究表明，疲劳驾驶是导致道路交通事故的重要原因之一，因此研究驾驶员疲劳识别算法对提高道路交通安全具有重要意义。近年来，随着深度学习的发展，模式识别领域取得了长足的发展。设计了一种基于时空特征序列的实时疲劳状态识别算法，主要应用于疲劳驾驶识别场景。该算法分为三个任务网络：人脸检测网络、人脸标志点检测和头部姿态估计网络、疲劳识别网络。实验表明，该算法具有体积小、速度快、精度高等优点。
2020-03-18 cs.CV cs.LG eess.IV
RST-MODNet: Real-time Spatio-temporal Moving Object Detection for Autonomous Driving
Cairo University（开罗大学）；Valeo R&D（法雷奥研发中心）；Valeo Vision Systems（法雷奥视觉系统公司）
运动目标检测（MOD）是自主车辆的一项关键任务，因为运动物体比静止物体具有更高的碰撞风险。基于检测到的移动对象的未来状态来规划自我车辆的轨迹。这是相当具有挑战性的，因为自我运动必须被建模和补偿，以便能够理解周围物体的运动。在这项工作中，我们提出了一个实时的【形】的端到端的CNN架构MOD利用时空上下文，以提高鲁棒性。我们构建了一个新的时间感知的架构，利用时间运动信息嵌入在序列图像中，除了明确的运动地图使用光流images.We展示了我们的算法的影响KITTI数据集上，我们获得了8%的改善相对于基线。我们将我们的算法与最先进的方法进行比较，并在KITTI-Motion数据集上以三倍的运行时间获得了具有竞争力的结果。该算法在标准桌面GPU上以23 fps的速度运行，目标是在嵌入式平台上部署。
2019-12-01 cs.CV cs.LG cs.RO
A Review of Testing Object-Based Environment Perception for Safe Automated Driving
RWTH Aachen University（亚琛工业大学）；Institute for Automotive Engineering（汽车工程研究所）
自动驾驶系统的安全保证必须考虑不确定的环境感知。本文回顾了文献解决如何感知测试实现安全保证的一部分。我们专注于在感知和规划之间的接口进行验证和确认目的的测试，并沿着三个轴构建我们的分析：1）测试标准和度量，2）测试场景，3）参考数据。此外，分析的文献包括相关的安全标准，安全无关的感知算法基准测试和传感器建模。我们发现，实现安全感知测试仍然是一个悬而未决的问题，因为有关的三个测试轴和它们的相互依赖性的挑战目前似乎没有得到充分解决。
2021-02-16 cs.CV cs.RO cs.SY
NARRATE: A Multimodal Real-World Australian Driving Dataset for Human-Centred Explanations in Automated Driving
ARC Training Centre for Automated Vehicles in Rural and Remote Regions (AVR3)（澳大利亚农村及偏远地区自动驾驶车辆ARC培训中心）；Université Gustave Eiffel（Gustave Eiffel大学）；Queensland University of Technology (QUT)（昆士兰科技大学）
研究人员推出多模态真实世界澳大利亚驾驶数据集NARRATE，含2050个带注释事件，提供多类标签与情境意识注释，开展四项基准任务验证其价值，为开发以人为本的自动驾驶解释模型奠定基础。
2026-08-18 cs.AI cs.CL cs.CV
DeepCrashTest: Turning Dashcam Videos into Virtual Crash Tests for Automated Driving Systems
Arizona State University（亚利桑那州立大学）
本文的目标是生成具有真实碰撞场景的模拟，用于训练和测试自动驾驶车辆。我们使用互联网上上传的大量dashcam碰撞视频来提取有价值的碰撞数据，并在模拟器中重现碰撞场景。我们解决的问题，提取3D车辆轨迹从视频记录的一个未知的和未校准的单目摄像机源使用模块化的方法。论文提供了一个工作架构和演示视频以及开源实现。
2020-03-26 cs.CV cs.LG cs.RO
