Real-time Street Human Motion Capture
University of Alberta（阿尔伯塔大学）
近年来，使用计算机的运动捕捉技术得到了迅速发展。由于其效率高、性能优良，取代了许多传统的方法，正在许多领域得到广泛的应用。我们的项目是关于街景视频人体运动捕捉和分析。该项目的主要目标是捕获视频中的人体运动，并将运动信息用于实时的【形】3D动画（人体）。我们采用了一个神经网络的运动捕捉，并实现了在一个街景场景下的统一。通过分析运动数据，我们将更好地估计街道状况，这对自动驾驶汽车等其他高科技应用非常有用。
2021-12-21 cs.CV
Street-View Image Generation from a Bird's-Eye View Layout
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出条件生成模型BEVGen，通过结合空间注意力设计的跨视图变换，合成与鸟瞰图交通布局相匹配的逼真且空间一致的环视街景图像，助力自动驾驶仿真与感知模型开发。
2024-02-13 cs.CV
Repopulating Street Scenes
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）
我们提出了一个框架，用于自动重新配置街道场景的图像填充，人口减少，或重新填充他们与行人或车辆等对象。这种方法的应用包括匿名化图像以增强隐私，为自动驾驶等感知任务生成数据增强，以及组合场景以实现特定的氛围，例如清晨空旷的街道。在技术层面上，我们的工作有三个主要贡献：（1）一种清除对象图像的方法，（2）一种从单个图像估计太阳方向的方法，以及（3）一种在尊重场景几何形状和照明的场景中组合对象的方法。通过创造性地使用大量街道场景的短图像突发，每个组件都是从具有最小地面实况注释的数据中学习的。我们展示了令人信服的结果在一系列的街道场景，并说明潜在的应用。
2021-03-30 cs.CV
Layered Interpretation of Street View Images
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））；University of Maryland College Park（马里兰大学帕克分校）
我们提出了一个分层的街景模型编码的深度和语义信息的街景图像的自动驾驶。最近，stixels，stix-mantics和分层场景标记方法已被提出来建模街景图像。我们提出了一个4层的街景模型，一个紧凑的表示在最近提出的stix-mantics模型。我们的层编码语义类，如地面，行人，车辆，建筑物和天空，以及深度。我们算法的唯一输入是一对立体图像。我们使用深度神经网络来提取语义类的外观特征。我们使用一个简单而有效的推理算法来共同估计语义类和分层深度值。我们的方法优于其他竞争的方法在戴姆勒城市场景分割数据集。我们的算法是大规模并行化，允许GPU实现的处理速度约9 fps。
2015-07-29 cs.CV
SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；HUAWEI Noah’s Ark Lab（华为诺亚方舟实验室）
SyntheOcc提出以3D占用标签为条件、借助3D语义MPI编码几何信息的扩散模型，生成几何可控的街景图像与视频，并在nuScenes上验证其作为感知模型数据增强的有效性。
2024-10-01 cs.CV
LoLI-Street: Benchmarking Low-Light Image Enhancement and Beyond
Sungkyunkwan University（成均馆大学）；The Australian National University（澳大利亚国立大学）；Tech University of Korea（韩国技术大学）
针对街景配对数据稀缺问题，提出含33k配对图像的LoLI-Street数据集及基于transformer和扩散的TriFuse模型，显著提升低光照图像增强与目标检测效果。
2024-10-13 cs.AI cs.CE cs.CV
Semantic video segmentation for autonomous driving
Universität Bonn（波恩大学）
我们的目标是解决自动驾驶中的语义视频分割，即实时的视频中的道路检测，使用（Shelhamer et al.，2016年a）。虽然全卷积网络给出了很好的结果，但我们证明了速度可以减半，同时保持准确性。使用的测试数据集是KITTI，它由来自德国街道的真实镜头组成。
2020-10-28 cs.CV eess.IV
Affordance Learning In Direct Perception for Autonomous Driving
University of Waterloo（滑铁卢大学）
自动驾驶的最新发展涉及高级计算机视觉和详细的道路场景理解。如今，大多数自动驾驶汽车都使用中介感知方法进行路径规划和控制，这高度依赖于高清3D地图和实时的传感器。最近的研究工作旨在用粗糙的道路属性替代大量的高清地图。在本文中，我们遵循基于直接感知的方法来训练深度神经网络，用于自动驾驶中的示能性学习。我们在这项工作中的目标是开发基于免费提供的谷歌街景地图和开放街道地图道路矢量属性的启示学习模型。驾驶场景理解可以通过从车载摄像机捕获的图像中学习启示来实现。通过学习示能表示的这种场景理解可用于证实诸如HD地图的底图，使得所需的数据存储空间被最小化并且可用于实时的处理。通过实验评估，我们比较了人类志愿者和我们的模型在道路属性识别方面的能力。我们的研究结果表明，这种方法可以作为一种更便宜的方式收集训练数据在自动驾驶。交叉验证的结果也表明了我们的模型的有效性。
2019-03-20 cs.CV cs.IR
WoVoGen: World Volume-aware Diffusion for Controllable Multi-camera Driving Scene Generation
School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出WoVoGen，通过引入显式4D世界体积作为生成基础，分两阶段实现基于车辆控制序列的多相机驾驶场景视频生成，同时保证世界内部一致性与传感器间连贯性，并支持场景编辑。
2024-08-08 cs.CV
Erasing the Ephemeral: Joint Camera Refinement and Transient Object Removal for Street View Synthesis
Technical University of Munich（慕尼黑工业大学）
本文提出一种面向室外街景合成的方法，通过神经点光场表示、动态物体检测掩蔽以及相机位姿与视角合成的联合优化，在真实城市数据集上取得了最先进的新视角合成效果。
2023-11-29 cs.CV
3D StreetUnveiler with Semantic-aware 2DGS -- a simple baseline
ShanghaiTech University（上海科技大学）；Nanyang Technological University（南洋理工大学）；The University of Hong Kong（香港大学）；HKU Shanghai Intelligent Computing Research Center（香港大学上海智能计算研究中心）；Fudan University（复旦大学）；Fudan ISTBI–ZJNU Algorithm Centre for Brain-inspired Intelligence, Zhejiang Normal University（复旦大学脑启发式智能算法中心，浙江师范大学）
提出StreetUnveiler，基于语义2DGS和时间反转框架，通过渲染alpha图划分区域并最小化修复范围，从拥挤车载视频中重建空旷街道的3D表示。
2025-04-30 cs.CV
Image Patch-Matching with Graph-Based Learning in Street Scenes
Continental-NTU Corporate Lab, Nanyang Technological University（大陆-南洋理工大学联合实验室）；Continental Automotive Singapore Pte. Ltd.（大陆汽车新加坡私人有限公司）
本文针对街景图像块匹配提出基于空间图的联合特征与度量学习模型，利用图像块邻域关系提升匹配性能，并在多个数据集上取得最优结果。
2023-11-08 cs.CV
Pix2Map: Cross-modal Retrieval for Inferring Street Maps from Images
Carnegie Mellon University（卡内基梅隆大学）；Argo AI；Intel（英特尔）；Nvidia（英伟达）
本文提出 Pix2Map 方法，通过学习图像与离散图表示的地图的联合跨模态嵌入空间，实现从自车视角图像直接推断城市街道地图拓扑，用于更新和扩展现有地图。
2023-04-09 cs.CV cs.LG
A Joint Convolutional Neural Networks and Context Transfer for Street Scenes Labeling
Northwestern Polytechnical University（西北工业大学）
街道场景理解是自动驾驶的一项重要任务。朝这个方向迈出的重要一步是场景标签，它用正确的类标签注释图像中的每个像素。虽然已经开发了许多方法，但仍然存在一些弱点。首先，许多方法都是基于手工特征，其图像表示能力有限。其次，由于数据集的偏差，它们不能准确地标记前景对象。第三，在精化阶段，传统的马尔可夫随机场（MRF）推理容易出现过光滑。针对上述问题，本文提出了一种超像素级先验卷积神经网络（称为"先验s-CNN“）和软限制上下文传输的联合方法。我们的贡献有三个方面：（1）提出了一种先验s-CNN模型，该模型在超像素水平上学习先验位置信息，以区分地描述各种对象：（2）提出了一种分层数据增强方法，以减轻先验s-CNN训练阶段的数据集偏差，显著提高了前景对象的标记;（3）定义了一种软约束的MRF能量函数，在提高先验s-CNN模型标记性能的同时，降低了过平滑性。该方法在CamVid数据集（11类）和SIFT Flow Street数据集（16类）上进行了验证，取得了较好的性能。
2019-05-05 cs.CV
StreetSurf: Extending Multi-view Implicit Surface Reconstruction to Street Views
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sensetime Research（商汤科技研究院）
针对无LiDAR数据的街景多视角隐式曲面重建难题，提出StreetSurf方法，通过空间划分、哈希网格适配、几何先验及多阶段光线行进策略，实现单卡1-2小时训练下的SOTA重建效果，且具备下游应用潜力。
2023-06-08 cs.CV cs.GR
STRIDE: Street View-based Environmental Feature Detection and Pedestrian Collision Prediction
Universidad de los Andes（安第斯大学）；Drexel University（德雷塞尔大学）；Pontificia Universidad Javeriana（哈维里亚那天主教大学）
该研究提出STRIDE基准及对应两项任务，设计整合碰撞预测模块的检测基线方法，验证了建成环境检测与行人碰撞频率预测的显著相关性，为理解环境与行人安全的关联提供基础。
2023-08-25 cs.CV
ViSE: A Systematic Approach to Vision-Only Street-View Extrapolation
Xiaomi EV（小米电动车）
针对自动驾驶街景外推中现有NVS方法图像畸变、一致性差的问题，提出四阶段流水线ViSE，获ICCV 2025 RealADSim研讨会NVS赛道冠军，在对应基准上得分0.441排名第一。
2025-10-21 cs.CV
Sat3DGen: Comprehensive Street-Level 3D Scene Generation from Single Satellite Image
LIESMARS & School of Artificial Intelligence, Wuhan University（珞珈实验室与武汉大学人工智能学院）；EPFL（苏黎世联邦理工学院）；HKUST（香港科技大学）；Northeastern University（东北大学）；Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Amap, Alibaba Group（高德地图，阿里巴巴集团）
本文提出Sat3DGen，通过几何优先方法提升从单张卫星图像生成高精度3D场景的性能，改进几何精度和真实感，并在新基准上验证其效果。
2026-05-14 cs.AI cs.CV
SSCBench: A Large-Scale 3D Semantic Scene Completion Benchmark for Autonomous Driving
New York University（纽约大学）；Tsinghua University（清华大学）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
本文提出SSCBench，一个整合KITTI-360、nuScenes和Waymo的大规模三维语义场景补全基准，统一语义标签并支持单目、三目和点云输入评测，以促进街景SSC方法研究。
2024-09-30 cs.CV
Vision Transformer Ensembles for Panoramic Street Segmentation
Marmara University（马尔马拉大学）；University of Glasgow（格拉斯哥大学）
本文提出一种基于视觉Transformer集成的全景街道分割方法，通过等权平均多个仅编码器掩码Transformer模型的预测，在PalmCity挑战赛中取得第一名，实现60.95%的平均交并比。
2026-11-02 cs.AI cs.CV cs.LG
Hallucinating 360°: Panoramic Street-View Generation via Local Scenes Diffusion and Probabilistic Prompting
School of Artificial Intelligence and Robotics and the National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（人工智能与机器人学院和机器人视觉感知与控制技术国家工程研究中心，湖南大学）；Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（人机学与机器人研究所，卡尔斯鲁厄技术大学）
本文提出Percep360方法，通过局部场景扩散与概率提示技术，实现自动驾驶中的可控全景图像生成，提升真实场景下的鸟瞰图分割性能。
2026-02-13 cs.CV cs.RO eess.IV
Conditional Transfer with Dense Residual Attention: Synthesizing traffic signs from street-view imagery
Delft University of Technology（代尔夫特理工大学）；Eindhoven University of Technology（埃因霍温理工大学）；Cyclomedia Technology B.V（Cyclomedia科技有限公司）
街景图像中交通标志的目标检测和分类是资产管理、地图制作和自动驾驶的基本要素。然而，一些交通标志很少出现，因此，它们很难自动识别。为了提高检测和分类率，我们提出了生成图像的交通标志，然后使用训练的检测器/分类器。在这项研究中，我们提出了一个端到端的框架，从一个给定的图像的交通标志和象形图的目标类生成一个现实的图像的交通标志。我们提出了一种密集级联的剩余注意力机制，称为密集剩余注意力，在传递对象信息的同时保留背景信息。我们还建议利用多尺度鉴别器，使得输出的较小尺度引导更高分辨率的输出。我们已经进行了大量的交通标志类的检测和分类测试，通过训练检测器使用的组合的真实和生成的数据。在检测测试中，新训练的模型在99%的召回率下将假阳性的数量减少了1.2 - 1.5%，在分类测试中绝对提高了4.65%（前1名的准确率）。
2018-09-05 cs.CV
$\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving
UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出自监督街道高斯方法$\ extit{S}^3$Gaussian，通过4D一致性从时空场网络中分解动态与静态元素，无需3D边界框标注即可在Waymo-Open数据集上实现最佳的街景3D重建。
2024-05-30 cs.AI cs.CV
Sensor Data Validation and Driving Safety in Autonomous Driving Systems
CITY UNIVERSITY OF HONG KONG（香港城市大学）
自动驾驶技术因其快速发展和极高的商业价值而受到广泛关注。最近自动驾驶技术的飞跃主要归功于环境感知的进步。良好的环境感知提供准确的高层次环境信息，这对于自动驾驶汽车做出安全和精确的驾驶决策和策略至关重要。此外，如果没有深度学习模型和先进的机载传感器，如光学传感器（激光雷达和摄像头）、雷达、GPS，准确的环境感知就不可能取得这样的进展。然而，先进的传感器和深度学习模型很容易受到最近发明的攻击方法的影响。例如，激光雷达和摄像头可能会受到光学攻击，深度学习模型可能会受到对抗性示例的攻击。对先进传感器和深度学习模型的攻击会在很大程度上影响环境感知的准确性，对自动驾驶汽车的安全性构成巨大威胁。本论文主要研究针对车载传感器攻击的检测方法，以及受攻击的深度学习模型与自动驾驶汽车驾驶安全之间的联系。为了检测攻击，可以利用冗余数据源，因为受害者传感器数据中的攻击引起的信息失真导致与来自其他冗余源的信息不一致。研究受攻击的深度学习模型与驾驶安全之间的联系.
2022-04-01 cs.CV
Weather and Light Level Classification for Autonomous Driving: Dataset, Baseline and Active Learning
Valeo DAR（法雷奥DAR）；Valeo Vision Systems（法雷奥视觉系统）
自动驾驶正在迅速发展，Level 2功能正在成为标准功能。最突出的障碍之一是在精度严重下降的恶劣天气和低光照条件下获得稳健的视觉感知。关键是要有一个天气分类模型，以降低这些场景中的视觉感知信心。因此，我们已经建立了一个新的数据集，用于天气（雾，雨和雪）分类和光照水平（明亮，中等和低）分类。此外，我们提供街道类型（沥青，草地和鹅卵石）分类，导致9个标签。每个图像都有三个标签，分别对应天气、光照水平和街道类型。我们使用分辨率为$1024\times1084$的RCCC（红色/透明）格式的工业前置摄像头记录数据。我们收集了15 k个视频序列，并对60 k个图像进行了采样。我们实现了一个主动学习框架来减少数据集的冗余，并找到用于训练模型的最佳帧集。我们将6万张图片进一步提炼为1.1k张图片，这些图片将在隐私匿名化后公开共享。据我们所知，目前还没有针对自动驾驶的天气和光照水平分类的公共数据集。用于天气分类的基线ResNet 18网络在两个非汽车天气分类公共数据集上实现了最先进的结果，但在我们提出的数据集上的准确性明显较低，这表明它还没有饱和，需要进一步研究。
2021-11-29 cs.CV cs.RO
Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们认为具有挑战性的问题，室外照明估计的目标逼真的虚拟物体插入到照片。现有的室外光照估计工作通常将场景光照简化为环境地图，无法捕捉室外场景中空间变化的光照效果。在这项工作中，我们提出了一种神经方法，可以从单个图像中估计5D HDR光场，以及一种可微分的对象插入公式，可以通过基于图像的损失进行端到端训练，从而鼓励真实感。具体来说，我们设计了一个混合照明表示量身定制的户外场景，其中包含一个HDR天空圆顶，处理极端强度的太阳，和体积照明表示，模型周围场景的空间变化的外观。通过估计的照明，我们的阴影感知对象插入是完全可区分的，这使得对合成图像的对抗训练能够为照明预测提供额外的监督信号。我们的实验表明，我们的混合照明表示比现有的室外照明估计方法更有效。我们进一步展示了我们在自动驾驶应用中插入AR对象的好处，当我们在增强数据上训练时，我们获得了3D对象检测器的性能增益。
2022-08-19 cs.CV
BEVControl: Accurately Controlling Street-view Elements with Multi-perspective Consistency via BEV Sketch Layout
Tianjin University（天津大学）；CFAR, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心）；Tsinghua University（清华大学）；Westlake University（西湖大学）
本文提出两阶段生成方法BEVControl，利用BEV草图布局在多视角下精确控制街景前景与背景生成，并建立多层级评估协议，在分割精度和下游感知性能上均显著超越现有方法。
2023-09-23 cs.CV
TopView: Vectorising road users in a bird's eye view from uncalibrated street-level imagery with deep learning
Institute of Spatial Data Science, University of Leeds（利兹大学空间数据科学研究院）
本研究提出TopView框架，通过深度学习从非标定街景图像中学习消失点，将道路用户2D边界框转换为3D信息并生成鸟瞰图，在地理定位和城市建模中验证有效。
2024-12-18 cs.CV
AutoRemover: Automatic Object Removal for Autonomous Driving Videos
Zhejiang University（浙江大学）；Baidu Research, Baidu Inc.（百度公司 百度研究院）；Peking University（北京大学）；University of Southern California（南加州大学）
出于自动驾驶中照片级真实感仿真的需要，本文提出了一种视频修复算法\emph{AutoRemover}，专门用于生成没有任何移动物体的街景视频。在我们的设置中，我们有两个挑战：第一个是阴影，阴影通常是未标记的，但与移动对象紧密耦合。第二个是视频中的大自我运动。针对阴影问题，建立了自动驾驶阴影数据集，并设计了深度神经网络来自动检测阴影。为了处理大的自我运动，我们在自动驾驶中利用多源数据，特别是3D数据。更具体地，帧之间的几何关系被并入到修复深度神经网络中以产生高质量的结构一致的视频输出。实验表明，我们的方法优于其他国家的最先进的（SOTA）的对象删除算法，减少了超过$19\%$的RMSE。
2019-11-28 cs.CV
Challenges in Designing Datasets and Validation for Autonomous Driving
Valeo R&D DVS（法雷奥研发DVS）；Valeo Vision Systems（法雷奥视觉系统）
在过去的十年里，自动驾驶得到了很多关注，至少在第一辆5级自动驾驶汽车成功认证之前，它将成为热门话题。学术界有许多公共数据集。然而，它们离强大的工业生产系统所需要的东西还很远。学术和工业环境之间存在很大的差距，从基于公共数据集的研究原型到可部署的解决方案，这是一项具有挑战性的任务。在本文中，我们从工业部署的角度关注自动驾驶中经常发生的不良做法。数据设计至少应该得到与模型设计相同的关注。科学界对这些问题的关注很少，我们希望本文鼓励更好地形式化数据集设计。更具体地说，我们专注于自动驾驶的数据集设计和验证方案，我们想强调常见的问题，错误的假设和避免它们的步骤，以及一些开放的问题。
2019-01-26 cs.CV cs.LG cs.RO
DrivingRecon: Large 4D Gaussian Reconstruction Model For Autonomous Driving
The Hong Kong University of Science & Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science & Technology（香港科技大学）；University of California, Berkeley（加州大学伯克利分校）；PhiGent Robotics（菲境机器人）
针对现有自动驾驶街景4D重建方法离线、迭代耗时的问题，提出可泛化模型DrivingRecon，通过PD-Block融合环视、动静解耦增强时序信息，提升重建与新视角合成效果，并探索多场景应用。
2024-12-12 cs.CV
The highD Dataset: A Drone Dataset of Naturalistic Vehicle Trajectories on German Highways for Validation of Highly Automated Driving Systems
RWTH Aachen University（亚琛工业大学）；Institute for Automotive Engineering（汽车工程研究所）
基于场景的高度自动化车辆安全验证测试是一种很有前途的方法，正在研究和工业中进行研究。这种方法在很大程度上依赖于来自真实场景的数据，以获得测试所需的场景信息。应尽合理努力收集测量数据，其中应包含道路使用者的自然行为，并包括与描述已识别情景相关的所有数据。然而，目前的测量方法不能满足至少一个要求。因此，我们提出了一种新的方法来测量数据，从空中的角度为基础的验证，满足上述要求。此外，我们提供了一个大规模的自然车辆轨迹数据集，从德国的高速公路称为highD。我们从数量、种类和包含的场景方面评估数据。我们的数据集包括来自六个地点的16.5小时测量，110000辆车，总行驶距离为45000公里，记录了5600次完整的车道变换。highD数据集可在以下网址在线获取：http://www.highD-dataset.com
2018-10-11 cs.AI cs.CV cs.IR
Label Efficient Visual Abstractions for Autonomous Driving
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；Boston University（波士顿大学）
众所周知，语义分割可以用作学习驾驶策略的有效中间表示。然而，街景语义分割的任务需要昂贵的注释。此外，分割算法通常使用辅助图像空间损失函数来训练，而与实际驾驶任务无关，所述辅助图像空间损失函数不能保证最大化驾驶度量，例如安全性或每次干预行驶的距离。在这项工作中，我们试图量化的影响，减少分割注释成本的学习行为克隆代理。我们分析了几个基于分割的中间表示。我们使用这些视觉抽象来系统地研究注释效率和驾驶性能之间的权衡，即，标记的类的类型、用于学习视觉抽象模型的图像样本的数量，以及它们的粒度（例如，对象遮罩与2D边界框）。我们的分析揭示了几个实际的见解，如何分割为基础的视觉抽象可以利用更标签有效的方式。令人惊讶的是，我们发现，国家的最先进的驾驶性能可以实现的数量级减少注释成本。除了标签效率之外，我们还发现了利用视觉抽象时的几个额外的训练好处，例如与最先进的端到端驾驶模型相比，学习策略的方差显着减少。
2020-07-16 cs.AI cs.CV cs.RO
On Offline Evaluation of Vision-based Driving Models
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Intel Labs（英特尔实验室）
理想情况下，自动驾驶模型应该通过将其部署在现实世界中的物理车辆上进行评估。不幸的是，这种方法对绝大多数研究人员来说并不实用。一个有吸引力的替代方案是离线评估模型，在预先收集的验证数据集上进行地面实况注释。在本文中，我们研究了各种在线和离线指标之间的关系，用于评估自动驾驶模型。我们发现离线预测误差与驾驶质量不一定相关，预测误差相同的两个模型的驾驶性能可能会有显着差异。我们发现，离线评价与驾驶质量的相关性可以通过选择适当的验证数据集和合适的离线指标得到显着改善。补充视频可以在https://www.youtube.com/watch?上观看v=P8K8Z-iF0cY
2018-09-13 cs.CV
Urban Driving with Conditional Imitation Learning
Wayve（Wayve公司）
为现实世界的城市自动驾驶手工制定通用的决策规则是很困难的。另外，从易于收集的人类驾驶示范中学习行为也很有吸引力。先前的工作已经研究了用于自动驾驶的模仿学习（IL），具有许多限制。示例包括仅执行车道跟随而不是遵循用户定义的路线，仅使用单个相机视图或缺乏状态可观察性的严重裁剪的帧，仅横向（转向）控制而不是纵向（速度）控制以及缺乏与交通的交互。重要的是，大多数此类系统主要在模拟中进行评估-这是一个简单的领域，缺乏现实世界的复杂性。出于这些挑战，我们专注于学习的语义，几何和运动表示与计算机视觉IL从人类驾驶示范。作为我们的主要贡献，我们提出了一个端到端的条件模仿学习的方法，结合横向和纵向控制的一个真正的车辆以下的城市路线与简单的交通。我们通过数据平衡来解决固有的数据集偏差，在六个月内收集的大约30小时的演示中训练我们的最终策略。我们通过在欧洲城市街道上行驶35公里的新路线来评估我们在自动驾驶汽车上的方法。
2019-12-05 cs.AI cs.CV cs.LG
MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes
CUHK（香港中文大学）；HKUST（香港理工大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
提出 MagicDrive3D 框架，通过多视角视频生成与3DGS重建结合，实现道路地图、3D物体和文本控制的街道场景任意视角渲染。
2025-07-25 cs.AI cs.CV
Behavioral Cloning Models Reality Check for Autonomous Driving
针对基于视觉的自动驾驶行为克隆系统缺乏真实世界验证的问题，本文用缩放研究车采集数据并在多赛道测试，证实前沿BC横向控制方法实时预测转向角误差低，具备实际应用潜力。
2024-09-11 cs.AI cs.CV cs.RO
DreamDrive: Generative 4D Scene Modeling from Street View Images
NVIDIA Research（英伟达研究院）；University of Southern California（南加州大学）
本文提出DreamDrive，结合视频扩散模型、混合高斯表示与高斯泼溅，从街景图像生成可控、可泛化且3D一致的4D驾驶场景，并提升自动驾驶感知与规划。
2025-01-03 cs.AI cs.CV cs.GR
SafeDrive: A Robust Lane Tracking System for Autonomous and Assisted Driving Under Limited Visibility
University of Minnesota（明尼苏达大学）
我们提出了一个强大的辅助和自动驾驶车道跟踪的方法，特别是在能见度低的情况下。车道标记的自主检测提高了道路安全性，并且纯视觉跟踪对于广泛的车辆兼容性和减少传感器侵入、成本和能量消耗是期望的。然而，由于许多因素，包括但不限于遮挡、恶劣的天气条件和油漆磨损，视觉方法通常无效。我们的方法，名为SafeDrive，试图改善视觉车道检测方法在严重退化的视觉条件下，而不依赖于额外的主动传感器。在视觉车道检测算法无法检测车道标记的情况下，所提出的方法使用车辆的位置信息来定位和访问道路的替代图像，并尝试在此辅助图像上进行检测。随后，通过使用基于特征和基于像素的对准的组合，在当前场景中找到车道标记的估计位置。我们证明了我们的系统的有效性，从实际驾驶数据在美国的位置与谷歌街景作为替代图像的来源。
2017-01-29 cs.CV cs.RO
LidarPainter: One-Step Away From Any Lidar View To Novel Guidance
针对动态驾驶场景重建中新轨迹视角质量下降问题，提出单步扩散模型LidarPainter，可实时恢复一致视角，在速度、质量和资源效率上优于现有方法，还支持文本驱动的风格化生成。
2025-11-11 cs.CV
CSFlow: Learning Optical Flow via Cross Strip Correlation for Autonomous Driving
Zhejiang University（浙江大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
光流估计是自动驾驶系统中的一项重要任务，有助于自动驾驶车辆感知周围场景的时间连续性信息。在现有的光流估计方法中，全对相关的计算起着重要的作用。然而，在复杂的街道场景下，对局部知识的依赖往往限制了模型的准确性。本文提出了一种新的用于自动驾驶中光流估计的深度网络架构--CSFlow，它由两个新颖的模块组成：交叉条带相关模块（CSC）和相关回归模块（CRI）。CSC利用跨目标图像和参与图像的条带化操作将全局上下文编码到相关卷中，同时保持高效率。CRI用于最大限度地利用全局上下文进行光流初始化。我们的方法在公共自动驾驶数据集KITTI-2015上达到了最先进的精度。代码可在https://github.com/MasterHow/CSFlow上公开获取。
2022-02-02 cs.CV cs.RO eess.IV
Sensitivity analysis of AI-based algorithms for autonomous driving on optical wavefront aberrations induced by the windshield
Volkswagen Group（大众集团）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；CARIAD SE（CARIAD股份公司（大众集团旗下））
本文研究自动驾驶感知模型因不同车型挡风玻璃配置引发的域偏移问题，通过基于傅里叶光学的威胁模型评估模型敏感性，发现挡风玻璃会导致性能差距，现有光学指标不足以设定相关要求。
2023-08-19 cs.CV eess.IV
PriorEye: Geospatial Visual Priors for End-to-End Autonomous Driving
提出地理空间视觉先验和双记忆架构，增强端到端自动驾驶的预见性和鲁棒性，在NAVSIM-v2上持续提升性能。
2026-07-01 cs.CV cs.RO
Augmented LiDAR Simulator for Autonomous Driving
Baidu（百度）
在自动驾驶（AD）中，道路上障碍物的检测和跟踪是一项关键任务。使用带注释的LiDAR数据的基于深度学习的方法是最广泛采用的方法。不幸的是，注释3D点云是一项非常具有挑战性、耗时耗钱的任务。在本文中，我们提出了一种新的激光雷达模拟器，它用合成障碍物（例如，汽车、行人和其他可移动物体）。与以前完全依赖CG模型和游戏引擎的模拟器不同，我们的增强模拟器绕过了创建高保真背景CAD模型的要求。相反，我们可以简单地部署一辆带有LiDAR扫描仪的车辆来扫描感兴趣的街道，以获得背景点云，并在此基础上自动生成带注释的点云。这种独特的“扫描和模拟”功能使我们的方法具有可扩展性和实用性，可用于大规模工业应用。在本文中，我们详细描述了我们的模拟器，特别是障碍物的位置，这是提高性能的关键。我们表明，仅使用我们模拟的LiDAR点云的探测器就可以使用这些用真实数据训练的点云进行重复检测（在两个百分点内）。混合真实和模拟数据可以达到95%以上的准确度。
2019-04-10 cs.CV
Street design and driving behavior: evidence from a large-scale study in Milan, Amsterdam, and Dubai
MIT Senseable City Lab, Massachusetts Institute of Technology（麻省理工学院感可知觉城市实验室）；AMS Institute（AMS研究所）
本研究利用街景图像语义分割与机器学习，分析米兰、阿姆斯特丹和迪拜的街道设计对30 km/h限速遵守的影响，发现窄街和密集建成环境有助于降速，并开发了可预测车速、支持规划干预的工具。
2025-07-06 cs.CV physics.soc-ph
Talk2Car: Taking Control of Your Self-Driving Car
KU Leuven（鲁汶大学）
人工智能的一个长期目标是让代理执行通过自然语言传达的命令。在许多情况下，命令是基于一个视觉环境共享的人谁给命令和代理。然后，命令的执行需要将命令映射到物理视觉空间中，之后可以采取适当的动作。在本文中，我们考虑前者。或者更具体地说，我们考虑自动驾驶环境中的问题，其中乘客请求可以与街道场景中发现的对象相关联的动作。我们的工作介绍了Talk 2Car数据集，这是第一个包含自动驾驶汽车用自然语言编写的命令的对象引用数据集。我们提供了与相关数据集（如ReferIt，RefCOCO，RefCOCO+，RefCOCOg，Cityscape-Ref和CLEVR-Ref）的详细比较。此外，我们还使用强大的最先进模型进行了性能分析。结果表明，所提出的对象转介任务是一个具有挑战性的模型显示出有前途的结果，但仍需要额外的研究在自然语言处理，计算机视觉和这些领域的交叉。数据集可以在我们的网站上找到：http://macchina-ai.eu/
2020-08-26 cs.AI cs.CL cs.RO
DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes
UC Berkeley（伯克利大学）
本文提出自监督高斯泼溅表示 DeSiRe-GS，通过两阶段动态高斯优化、运动先验映射、几何正则化与时序跨视图一致性，实现城市场景动静分解和高保真表面重建。
2025-07-26 cs.CV
StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention
Li Auto Inc.（Li汽车公司）；Zhejiang University（浙江大学）
本文提出StreetForward框架，通过交替注意力机制和时间掩码注意力模块，实现动态街道的前馈重建，统一表示静态内容和动态实例，并在Waymo数据集上验证了其在视图合成和深度估计上的优越性。
2026-03-20 cs.CV
CODA: A Real-World Road Corner Case Dataset for Object Detection in Autonomous Driving
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong University of Science and Technology（香港科技大学）；Huawei Intelligent Automotive Solution BU（华为智能汽车解决方案BU）；Sun Yat-sen University（中山大学）
当代用于自动驾驶的深度学习目标检测方法通常假设常见交通参与者的前缀类别，例如行人和汽车。大多数现有的检测器不能检测不常见的对象和角落情况（例如，狗穿过街道），这在某些情况下可能导致严重的事故，使得可靠的自动驾驶的现实世界应用的时间轴不确定。阻碍开发真正可靠的自动驾驶系统的一个主要原因是缺乏公共数据集来评估目标检测器在角落情况下的性能。因此，我们引入了一个名为CODA的具有挑战性的数据集，它暴露了基于视觉的检测器的这个关键问题。该数据集由1500个精心挑选的真实驾驶场景组成，每个场景包含四个对象级别的拐角情况（平均），跨越30多个对象类别。在CODA上，在大规模自动驾驶数据集上训练的标准对象检测器的性能在mAR中显着下降到不超过12.8%。此外，我们用最先进的开放世界对象检测器进行了实验，发现它也无法可靠地识别CODA中的新对象，这表明用于自动驾驶的鲁棒感知系统可能还远未实现。我们希望我们的CODA数据集能够促进对真实世界自动驾驶可靠检测的进一步研究。我们的数据集将在https://coda-dataset.github.io上发布。
2022-09-17 cs.CV cs.LG cs.RO
The Harsh Truth: Segment-Level Analysis of Harsh Driving Events in Milan Using Large-Scale Telematics, Street Networks, and Google Street View
Massachusetts Institute of Technology（麻省理工学院）
本研究结合大规模远程信息处理、交通指标、街道网络属性和谷歌街景视觉特征，通过非参数检验和机器学习回归分析米兰城市道路网络中激烈驾驶事件的路段级特征，发现更宽的车道、交叉口和公交站以及更开阔的视野与更高激烈事件强度相关，而密集建筑正面与较低强度相关，并针对自行车基础设施案例揭示了不同设施类型间的强度梯度。
2026-05-29 cs.CV physics.soc-ph
Towards Map-Based Validation of Semantic Segmentation Masks
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Volkswagen Group Automation（大众汽车集团自动化公司）
用于自动驾驶的人工智能必须满足对安全性和鲁棒性的严格要求。我们建议不仅使用给定的地面真值标签，而且还使用额外的先验知识来验证自动驾驶车辆的机器学习模型。特别是，我们建议使用给定的街道地图数据来验证语义分割掩码中的可行驶区域。我们提出的第一个结果，这表明，预测误差可以发现基于地图的验证。
2020-11-26 cs.AI cs.CV
An Integrated Causal Inference Framework for Traffic Safety Modeling with Semantic Street-View Visual Features
Beijing University of Technology（北京工业大学）；University of Central Florida（中佛罗里达大学）；Peking University（北京大学）
本文提出集成因果推断框架，利用语义街景特征量化绿化对交通碰撞的因果影响，发现绿化比例显著降低碰撞风险，但对弱势道路使用者保护有限。
2026-02-12 cs.AI cs.CV
Weather-Aware Domain Adaptation for Street-View Weather Recognition
University of Central Florida（中佛罗里达大学）
针对自动驾驶街景天气识别中的域偏移问题，提出天气感知对抗性判别域适应（WA-ADDA），统一多数据集基准，显著提升多种骨干网络在不利天气下的识别性能。
2026-10-02 cs.CV cs.LG
Single Network Panoptic Segmentation for Street Scene Understanding
Eindhoven University of Technology（埃因霍温理工大学）
在这项工作中，我们提出了一个用于全景分割的单一深度神经网络，其目标是为输入图像的每个像素提供类别标签，如语义分割，以及图像中特定对象的唯一标识符，然后进行实例分割。我们的网络进行联合语义和实例分割预测，并将这些组合起来形成全景格式的输出。这有两个主要好处：首先，整个全景预测是在一次通过中进行的，减少了所需的计算时间和资源;其次，通过联合学习任务，信息在两个任务之间共享，从而提高了性能。我们的网络在两个街景数据集上进行评估：Cityscapes和Mapillary Vistas。通过利用信息交换和改进合并算法，我们提高了单个网络的性能，并在Mapillary Vistas验证的Panoptic Quality（PQ）指标上获得了23.9分，输入分辨率为640 x 900像素。在Cityscapes验证中，我们的方法在512 x 1024像素的输入分辨率下获得了45.9的PQ分数。此外，我们的方法相对于单独的网络将预测时间减少了2倍。
2019-02-07 cs.CV
