RealWeather: Realistic and Scene-Faithful Weather Translation with Driving World Models
RealWeather是一种驾驶世界模型,通过渐进式逼真度引导和场景忠实度强化学习优化实现逼真且场景忠实的天气转换,在视觉逼真度、结构保留等方面优于现有方法,支持长尾天气场景生成与零样本泛化。
2026-08-11 cs.CV
GA-Drive: Geometry-Appearance Decoupled Modeling for Free-viewpoint Driving Scene Generation
MMLab, CUHK(CUHK的MMLab);CASIA;Shanghai Jiaotong University(上海交通大学);SenseTime Research(商汤科技研究院)
GA-Drive通过几何-外观解耦和扩散生成技术,生成可编辑的高保真驾驶场景,提升自动驾驶训练和评估的效率与效果。
2026-03-13 cs.CV
GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Tsinghua University(清华大学);Chongqing Afari Intelligent Drive Co., Ltd.(重庆阿法瑞智能驾驶有限公司);Nanyang Technological University(南洋理工大学)
该研究提出GaussianDWM++,通过基础特征高斯分词器等模块构建统一框架,在多类驾驶任务中实现场景理解、编辑与多模态生成,性能达当前最优。
2026-08-18 cs.CV
Adverse Weather Conditions Augmentation of LiDAR Scenes with Latent Diffusion Models
University of Wuppertal(乌珀塔尔大学);Aptiv Services Deutschland GmbH(Aptiv Services德国公司)
本文提出基于潜在扩散模型的方法,通过生成模型增强激光雷达场景在恶劣天气下的真实性,提升自动驾驶系统的鲁棒性。
2025-01-03 cs.CV
SEM-ROVER: Semantic Voxel-Guided Diffusion for Large-Scale Driving Scene Generation
Noah's Ark, Huawei Paris Research Center, France(诺亚方舟实验室,华为巴黎研究中心,法国);COSYS, Gustave Eiffel University, France(COSYS,古斯塔夫·埃菲尔大学,法国);LASTIG, IGN-ENSG, Gustave Eiffel University, France(LASTIG,IGN-ENSG,古斯塔夫·埃菲尔大学,法国)
本文提出基于Σ-Voxfield网格的3D生成框架,通过语义条件扩散模型生成大规模一致驾驶场景,采用渐进空间外推和延迟渲染模块实现高效生成。
2026-04-07 cs.CV
OpenViGA: Video Generation for Automotive Driving Scenes by Streamlining and Fine-Tuning Open Source Models with Public Data
Technische Universität Braunschweig(布拉unsch维格技术大学)
本文提出OpenViGA,一个基于开源模型和公开数据微调构建的开放驾驶场景视频生成系统,通过精简组件接口实现完全可复现,并在256x256、4 fps下以仅一帧延迟逐帧生成逼真驾驶视频。
2025-09-18 cs.CV
GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);MEGVII Technology(商汤科技);Mach Drive
本文提出基于3D高斯表示的统一驱动世界模型框架,实现3D场景理解和多模态生成,并通过语言引导采样策略和双条件生成模型提升生成效果,实验验证其在nuScenes和NuInteract数据集上的优越性能。
2026-05-16 cs.CV
SUV: Future Scene Understanding as Video Generation for End-to-End Driving
SUV是将未来场景理解建模为视频生成的端到端驾驶框架,其在NAVSIM-v2和WOD-E2E基准上优于近期SOTA方法,实现了更优的轨迹规划性能。
2026-08-05 cs.CV
HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation
Huazhong University of Science and Technology(华中科技大学);Mach Drive;University of Hong Kong(香港大学)
本文提出HERMES++,一种统一的驾驶世界模型,整合3D场景理解和未来几何预测。通过BEV表示、LLM增强世界查询和当前到未来链接等设计,提升驾驶场景的生成与理解能力。
2026-10-21 cs.CV
DreamDrive: Generative 4D Scene Modeling from Street View Images
NVIDIA Research(英伟达研究院);University of Southern California(南加州大学)
本文提出DreamDrive,结合视频扩散模型、混合高斯表示与高斯泼溅,从街景图像生成可控、可泛化且3D一致的4D驾驶场景,并提升自动驾驶感知与规划。
2025-01-03 cs.AI cs.CV cs.GR
LSD-3D: Large-Scale 3D Driving Scene Generation with Geometry Grounding
Julian Ost(未知);Andrea Ramazzina(未知);Amogh Joshi(未知);Maximilian Bömer(未知);Mario Bijelic(未知);Felix Heide(未知)
提出LSD-3D方法,结合代理几何生成与2D先验分数蒸馏,实现大规模3D驾驶场景的几何精确生成,支持因果新视角合成与地图布局条件化。
2026-11-06 cs.AI cs.CV cs.GR
Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Peking University(北京大学);PhiGent Robotics(PhiGent机器人公司)
针对现有驾驶场景生成方法在视角变换、时空动态建模上的不足,提出Stag-1模型,结合4D点云构建、时空解耦与视频生成技术,实现任意视角的真实可控4D驾驶仿真,在多视角一致性等指标上表现优异。
2024-12-11 cs.AI cs.CV cs.LG
DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model
Baidu Inc.(百度公司)
针对自动驾驶多视角视频数据稀缺问题,提出DrivingDiffusion框架,通过级联多视角单帧生成、共享单视角视频生成及后处理,实现由3D布局控制的时空一致多视角驾驶视频生成。
2023-10-11 cs.AI cs.CV
World Model-Based End-to-End Scene Generation for Accident Anticipation in Autonomous Driving
State Key Laboratory of Internet of Things for Smart City(物联网智能城市国家重点实验室);University of Macau(澳门大学);Department of Civil Engineering(土木工程系);Department of Computer and Information Science(计算机与信息科学系)
本文针对自动驾驶事故预测中数据稀缺和关键线索缺失问题,提出结合世界模型引导的视频生成与增强图卷积和扩张时序算子的动态预测框架,并发布新基准数据集,在公开及新数据集上验证了事故预测准确性和提前时间的提升。
2025-07-17 cs.CV cs.LG
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Google Research(谷歌研究院);University of California, Merced(加州大学默塞德分校)
DrivingGaussian提出一种复合高斯泼溅框架,通过增量静态3D高斯建模背景、复合动态高斯图重建移动目标,并结合LiDAR先验,实现了高保真、多相机一致的动态自动驾驶场景逼真环视合成。
2024-03-20 cs.CV
DrivingGaussian++: Towards Realistic Reconstruction and Editable Simulation for Surrounding Dynamic Driving Scenes
Wangxuan Institute of Computer Technology, Peking University(北京大学王炫计算机技术研究所);Google DeepMind(谷歌DeepMind);University of California, Merced(加州大学默塞德分校)
DrivingGaussian++提出结合增量3D高斯、复合动态高斯图和LiDAR先验的框架,实现动态驾驶场景的高质量重建与免训练可控编辑,并借助大语言模型自动生成物体运动轨迹,增强场景真实感和多样性。
2025-08-28 cs.CV
DrivingVoxels: Compositional Sparse Voxel Rasterization for Dynamic Driving Scene Reconstruction
Noah’s Ark, Huawei Paris Research Center, France(华为巴黎研究中心诺亚方舟实验室);EURECOM, France(法国EURECOM)
提出DrivingVoxels框架,通过组合多个独立八叉树的稀疏体素联合光栅化,结合LiDAR引导的结构初始化,高效重建动态驾驶场景,在PandaSet上达到与3DGS相当或更优的感知与结构指标,且训练时间更短。
2026-06-23 cs.CV
Nighttime Autonomous Driving Scene Reconstruction with Physically-Based Gaussian Splatting
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出基于物理的高斯点云方法,提升自动驾驶夜间场景重建质量,实现实时渲染并优于现有方法。
2026-02-14 cs.CV
Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes
HKUST(香港科技大学)
汽车在行驶过程中,挡风玻璃上的水滴会造成严重的视觉障碍,从而可能导致车祸。同时,水滴也会降低自动驾驶中计算机视觉系统的性能。为了解决这些问题,我们提出了一个基于注意力的框架,融合的时空表示从多帧恢复视觉信息被水滴遮挡。由于缺乏用于视频水滴去除的训练数据,我们提出了一个大规模的合成数据集,模拟雨天复杂驾驶场景中的水滴。为了提高我们所提出的方法的通用性,我们采用了一种跨模态训练策略,该策略将合成视频和真实图像相结合。大量的实验表明,我们提出的方法可以很好地推广,并在复杂的现实世界的驾驶场景中实现最佳的水滴去除性能。
2023-02-24 cs.CV
DrivingForward: Feed-forward 3D Gaussian Splatting for Driving Scene Reconstruction from Flexible Surround-view Input
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
提出DrivingForward模型,通过联合训练pose、depth和Gaussian网络,在无深度真值与相机外参下实现灵活环视输入的前馈3D驾驶场景实时重建,在nuScenes数据集上优于现有方法。
2024-12-21 cs.CV
GSRAIN: Physically Calibrated High-/Low-Frequency Rainfall Synthesis for 3D Gaussian Driving Scenes
College of Automotive and Energy Engineering, Tongji University(同济大学汽车与能源工程学院)
GSRAIN针对自动驾驶降雨模拟的物理可控性与多视图一致性局限,结合实测数据与几何感知扩散模型生成可控降雨场景,在FID指标上优于现有方法,可用于自动驾驶算法的雨天测试。
2026-08-04 cs.CV
FreeGen: Feed-Forward Reconstruction-Generation Co-Training for Free-Viewpoint Driving Scene Synthesis
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学)
FreeGen通过重建-生成协同训练框架,提升自由视角驾驶场景合成的插值一致性与外推真实感,实现最先进的性能。
2025-12-04 cs.CV
X-Scene: Large-Scale Driving Scene Generation with High Fidelity and Flexible Controllability
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
X-Scene通过高保真和灵活可控性实现大规模驾驶场景生成,支持多粒度控制和一致性外推,提升自动驾驶的数据生成与模拟能力。
2025-12-06 cs.CV
RSUD20K: A Dataset for Road Scene Understanding In Autonomous Driving
Concordia University(康考迪亚大学)
提出RSUD20K道路场景理解数据集,包含2万多张高分辨率图像和13万个边界框标注,覆盖复杂场景与天气,并基准测试了多种目标检测器及大型视觉模型标注能力。
2024-02-09 cs.CV
InstDrive: Instance-Aware 3D Gaussian Splatting for Driving Scenes
University of Science and Technology Beijing(北京科技大学)
针对现有驾驶场景3D重建方法缺乏实例级理解、不适用于室外场景的问题,提出实例感知3D高斯泼溅框架InstDrive,结合SAM伪掩码、体素损失与轻量码本,首次在动态开放世界驾驶场景中实现3D实例分割。
2025-10-29 cs.CV
Generating Multimodal Driving Scenes via Next-Scene Prediction
School of Software Engineering, XJTU(西安交通大学软件学院);Horizon Robotics(地平线机器人);School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种多模态驾驶场景生成框架,通过两阶段自回归预测和动作感知地图对齐,实现长序列复杂场景的生成与细粒度控制。
2025-03-26 cs.CV
UFO: Unifying Feed-Forward and Optimization-based Methods for Large Driving Scene Modeling
Xiaomi EV(小米电动车);UIUC(伊利诺伊大学香槟分校)
UFO通过结合优化和前馈方法,实现了高效长距离4D驾驶场景重建,能够在0.5秒内高质量重建16秒驾驶日志。
2026-02-24 cs.CV
WorldSplat: Gaussian-Centric Feed-Forward 4D Scene Generation for Autonomous Driving
Nankai University(南开大学);Nanjing University, Suzhou(南京大学苏州校区)
WorldSplat提出前馈4D场景生成框架,结合4D感知扩散模型与视频细化,生成时空一致的多轨迹驾驶视频,解决生成与重建的矛盾。
2025-10-16 cs.CV
How Well Do Vision-Language Models Understand Sequential Driving Scenes? A Sensitivity Study
Professorship of Autonomous Vehicle Systems(自动驾驶系统教授职位);TUM School of Engineering and Design(技术大学慕尼黑工程与设计学院)
本文通过系统分析视觉-语言模型(VLMs)在连续驾驶场景中的表现,揭示了输入配置对模型性能的影响,发现即使顶级模型在连续驾驶场景中的准确率仅为57%,远低于人类在相似约束下的65%,并暴露了VLMs在理解车辆动态和时间关系上的显著差距。
2026-05-20 cs.CV
InsightDrive: Insight Scene Representation for End-to-End Autonomous Driving
College of Surveying and Geo-informatics, Tongji University(同济大学测绘与地理信息学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Computer Science, Wuhan University(武汉大学计算机学院);The School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Great Wall Motor(长城汽车);IAIR, Xi’an Jiaotong University(西安交通大学IAIR)
InsightDrive通过结合显式和隐式场景表示,提升自动驾驶轨迹规划的鲁棒性和人类认知一致性。
2025-12-01 cs.CV
Toward Driving Scene Understanding: A Dataset for Learning Driver Behavior and Causal Reasoning
Boston University(波士顿大学);Honda Research Institute USA(美国本田研究院)
驾驶场景理解是智能交通系统的关键组成部分。为了实现能够在复杂的物理和社会环境中运行的系统,他们需要了解和学习人类如何驾驶和与交通场景交互。我们介绍了本田研究所驾驶数据集(HDD),这是一个具有挑战性的数据集,可以在现实环境中研究驾驶员的学习行为。该数据集包括使用配备不同传感器的仪表车在旧金山湾区收集的104小时真实人类驾驶。我们提供了HDD的详细分析,并与其他驾驶数据集进行了比较。一种新的注释方法被引入到未修剪的数据序列的驾驶员行为理解的研究。作为第一步,驾驶员行为检测的基线算法进行了训练和测试,以证明所提出的任务的可行性。
2018-11-06 cs.CV
HERMES: A Unified Self-Driving World Model for Simultaneous 3D Scene Understanding and Generation
Huazhong University of Science and Technology(华中科技大学);MEGVII Technology(梅格维七科技);Mach Drive(马奇驱动);The University of Hong Kong(香港大学)
提出统一自动驾驶世界模型HERMES,通过BEV表示和世界查询整合3D场景理解与生成,在nuScenes数据集上实现SOTA,生成误差降32.4%,理解指标CIDEr提升8.0%。
2025-08-13 cs.CV
HorizonWeaver: Generalizable Multi-Level Semantic Editing for Driving Scenes
Simon Fraser University(西蒙菲莎大学);NEC Labs America(NEC美国实验室)
本文提出HorizonWeaver,通过多级粒度、丰富高层语义和普遍领域转移解决驾驶场景编辑难题,构建大规模数据集并改进模型与训练方法,实现复杂驾驶场景的高质量指令驱动编辑。
2026-04-06 cs.CV
Editable Scene Simulation for Autonomous Driving via Collaborative LLM-Agents
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出ChatSim,利用LLM智能体协作框架和多相机神经辐射场及光照估计方法,实现通过自然语言命令和外部数字资产进行可编辑的照片级真实感3D驾驶场景模拟。
2024-06-26 cs.CV
NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes
针对夜间雨天驾驶中RGB图像退化与单模态信息不足的问题,提出NiteDR框架,通过CleanNet与FusionNet实现可见光和红外图像的跨视角协同去雨融合。
2024-04-07 cs.CV
SGDrive: Scene-to-Goal Hierarchical World Cognition for Autonomous Driving
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Li Auto Inc.(利汽车公司);Tongji University(同济大学);University of Surrey(Surrey大学)
SGDrive通过构建驾驶特定的知识层次结构,改进了视觉语言模型在自动驾驶中的轨迹规划能力,实现了在导航模拟基准上的最佳性能。
2026-01-12 cs.CV
DGNR: Density-Guided Neural Point Rendering of Large Driving Scenes
Zhejiang University(浙江大学);Baidu Research(百度研究院)
DGNR通过从场景中学习密度空间来引导基于点的渲染,无需几何先验即可实现大规模驾驶场景的高质量、实时神经渲染。
2023-11-28 cs.CV
Driver Intention Anticipation Based on In-Cabin and Driving Scene Monitoring
University of Tübingen(图宾根大学)
许多车祸都是由于驾驶不当造成的。然而,如果事先检测到这种驾驶操纵并相应地辅助驾驶员,则可以避免严重的伤害。事实上,最近的各种研究都集中在基于主要从驾驶员视频中提取的手工特征的驾驶操纵的自动预测上。由于从交通场景的外部视图也可能包含驾驶操纵预测的信息功能,我们提出了一个框架,用于检测驾驶员的意图的基础上在机舱和交通场景视频。更具体地说,我们(1)提出了一个基于卷积LSTM(ConvLSTM)的自动编码器,以从舱外交通中提取运动特征,(2)训练一个分类器,该分类器将舱内和舱外的运动联合考虑,以进行机动意图预测,(3)实验证明,舱内和舱外图像特征具有互补信息。我们基于公开数据集Brain4cars的评估表明,我们的框架实现了83.98%的准确率和84.3%的F1分数的预测。
2020-06-20 cs.CV
GraphPilot: Grounded Scene Graph Conditioning for Language-Based Autonomous Driving
Esslingen University of Applied Sciences(埃斯林根应用科学大学);University of Freiburg(弗赖堡大学)
提出GraphPilot方法,通过交通场景图序列化与结构化提示模板,将关系上下文注入语言驾驶模型,显著提升驾驶分数。
2026-10-19 cs.CV
BEV-LLM: Leveraging Multimodal BEV Maps for Scene Captioning in Autonomous Driving
Intelligent Vehicles Lab (IVL) Munich University of Applied Sciences(智能车辆实验室(IVL)慕尼黑应用科学大学)
本文提出轻量级 BEV-LLM,通过 BEVFusion 融合 LiDAR 点云与多视角图像并加入绝对位置编码,在 nuCaption 上以 1B 参数取得优于 SOTA 最高 5% BLEU 的描述性能,还发布 nuView 与 GroundView 数据集。
2025-07-25 cs.CV
FSF-Net: Enhance 4D Occupancy Forecasting with Coarse BEV Scene Flow for Autonomous Driving
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);School of Electrical and Information Engineering, Tianjin University(天津大学电气自动化与信息工程学院)
针对4D占用预测中场景流难以准确预测的问题,提出基于粗粒度BEV场景流的FSF-Net,结合VQ-Mamba与UQF网络提取时空特征并融合粗粒度占用图,在Occ3D数据集上显著超越现有方法,提升自动驾驶安全性。
2024-09-24 cs.CV
Driving Scene Perception Network: Real-time Joint Detection, Depth Estimation and Semantic Segmentation
Harman International(哈曼国际);University of Virginia(弗吉尼亚大学)
随着近年来对实现高水平自动驾驶的需求不断增加,视觉感知是实现完全自动驾驶的关键特征之一,在本文中,我们介绍了一种使用共享卷积架构同时进行目标检测,深度估计和像素级语义分割的有效方法。提出的网络模型,我们命名为驾驶场景感知网络(DSPNet),使用多级特征映射和多任务学习,以提高目标检测,深度估计和图像分割任务的准确性和效率从一个单一的输入图像。因此,最终的网络模型使用不到850 MiB的GPU内存,并在NVIDIA GeForce GTX 1080上实现14.0 fps的1024x512输入图像,并且精度和效率都比单个任务的组合有所提高。
2018-03-10 cs.CV
Navigation-Guided Sparse Scene Representation for End-to-End Autonomous Driving
Zhijia Technology(智加科技)
提出仅用16个导航引导token作为稀疏场景表示的SSR框架,免除监督子任务并引入时间增强模块,在nuScenes和CARLA基准上显著优于UniAD和VAD-Base且大幅提升速度。
2025-03-01 cs.CV
LMAD: Integrated End-to-End Vision-Language Model for Explainable Autonomous Driving
本文提出LMAD框架,通过引入场景交互与专家适配器,将视觉-语言模型与端到端自动驾驶任务深度对齐,在DriveLM和nuScenes-QA上显著提升驾驶推理性能,推动可解释自动驾驶发展。
2025-08-17 cs.CV
DriveSplat: Unified Neural Gaussian Reconstruction for Dynamic Driving Scenes
State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Zhongguancun Academy(中关村学院);Waytous
本文提出DriveSplat,一种统一的神经高斯框架,用于重建动态驾驶场景。通过引入场景感知的LOD模型和对象中心的神经高斯原语,实现对静态背景和动态物体的高效重建,实验表明其在新视角合成和时空稳定性方面表现优异。
2026-03-19 cs.CV
Improving Nighttime Driving-Scene Segmentation via Dual Image-adaptive Learnable Filters
Zhejiang University(浙江大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);The HongKong Polytechnic University(香港理工大学)
驾驶场景图像的语义分割对于自动驾驶至关重要。虽然令人鼓舞的性能已经取得了白天的图像,夜间图像的性能不太令人满意,由于曝光不足和缺乏标记的数据。为了解决这些问题,我们提出了一个附加模块,称为双图像自适应可学习过滤器(DIAL-Filters),以提高夜间驾驶条件下的语义分割,旨在利用驾驶场景图像在不同光照下的内在特征。DIAL滤波器由两部分组成,包括图像自适应处理模块(IAPM)和可学习引导滤波器(LGF)。使用DIAL-Filters,我们为夜间驾驶场景分割设计了无监督和有监督的框架,可以以端到端的方式进行训练。具体而言,IAPM模块由具有一组可微分图像滤波器的小卷积神经网络组成,其中每个图像可以自适应地增强,以便相对于不同的照明进行更好的分割。利用LGF对分割网络的输出进行增强,得到最终的分割结果。DIAL滤镜重量轻,效率高,可以很容易地应用于白天和夜间的图像。我们的实验表明,DAIL-Filters可以显着提高ACDC_Night和NightCity数据集上的监督分割性能,同时在Dark Zurich和Nighttime Driving测试平台上展示了无监督夜间语义分割的最新性能。
2023-03-20 cs.CV
Visuomotor Understanding for Representation Learning of Driving Scenes
KAIST(韩国科学技术院);MIT(麻省理工学院);Lunit Inc.(卢尼特公司);Microsoft Research Asia(微软亚洲研究院)
仪表盘摄像头每天都会拍摄大量的驾驶场景视频。这些视频有目的地与车辆传感数据相结合,例如来自速度计和惯性传感器的数据,免费提供额外的传感模式。在这项工作中,我们利用大规模的未标记但自然配对的数据在驾驶场景中进行视觉表示学习。在端到端的自监督框架中学习表示,用于从具有成对感测数据的单个帧预测密集光流。我们假设,这项任务的成功需要网络在以自我为中心的观点中学习语义和几何知识。例如,预测从移动车辆看到的未来视图需要理解场景深度、尺度和对象的移动。我们证明,我们的学习表示可以受益于其他任务,需要详细的场景理解和竞争的无监督表示语义分割。
2019-09-16 cs.CV
MADrive: Memory-Augmented Driving Scene Modeling
Yandex;Yandex Research(Yandex研究院);HSE University(俄罗斯高等经济大学)
MADrive通过引入基于记忆的框架,利用外部记忆库中的3D资产替换观测车辆,实现对自动驾驶场景的逼真合成与扩展。
2025-12-11 cs.CV
3D Data Augmentation for Driving Scenes on Camera
Shanghai AI Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院)
驾驶场景极其多样和复杂,仅凭人力无法收集所有案例。虽然数据增强是丰富训练数据的有效技术,但是用于自动驾驶应用中的相机数据的现有方法被限制于2D图像平面,这可能无法最佳地增加3D真实世界场景中的数据多样性。为此,我们提出了一个三维数据增强的方法,称为驱动器-3DAug,旨在增强驾驶场景的相机在三维空间。我们首先利用神经辐射场(NeRF)来重建背景和前景物体的3D模型。然后,通过将具有自适应位置和方向的3D对象放置在预定义的有效背景区域处,可以获得增强的驾驶场景。因此,培训数据库可以有效地扩大规模。然而,三维物体建模受到图像质量和有限视点的限制。为了克服这些问题,我们通过引入几何校正损失和具有感知能力的训练策略来修改原始NeRF。我们在Waymo和nuScences数据集上评估了我们的方法用于仅摄像头的单目3D检测任务。所提出的数据增强方法分别在Waymo和nuScences上的检测准确性方面提高了1.7%和1.4%。此外,构建的3D模型可作为数字驾驶资产,并可回收用于不同的检测器或其他3D感知任务。
2023-03-18 cs.CV
VMA: Divide-and-Conquer Vectorized Map Annotation System for Large-Scale Driving Scene
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics(地平线机器人)
针对大规模驾驶场景高清地图生成的空间扩展性问题,本研究提出分治矢量化地图标注框架VMA,采用统一表示与分治策略,实验验证其可大幅提升效率、降低人力成本,具备高应用价值。
2023-08-27 cs.CV
4DRadar-GS: Self-Supervised Dynamic Driving Scene Reconstruction with 4D Radar
School of Automotive Studies, Tongji University(同济大学汽车学院);State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室)
提出4DRadar-GS框架,利用4D雷达辅助高斯初始化和VGPT模型,解决动态驾驶场景中自监督3D重建的运动估计与时间一致性问题,实现最先进性能。
2025-09-16 cs.CV
DriveGen3D: Boosting Feed-Forward Driving Scene Generation with Efficient Video Diffusion
Zhejiang University(浙江大学);GigaAI(极佳科技);Tsinghua University(清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peking University(北京大学);Monash University(墨尔本大学)
提出DriveGen3D框架,结合快速视频扩散Transformer(FastDrive-DiT)和前馈3D重建模块(FastRecon3D),实现高质量、可控的动态3D驾驶场景生成,在长视频和3D一致性上达到最优。
2026-05-25 cs.CV
Future-Aware End-to-End Driving: Bidirectional Modeling of Trajectory Planning and Scene Evolution
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Innovation Institute(上海创新研究院);University of Surrey(Surrey大学);Imperial College London(伦敦帝国理工学院)
提出SeerDrive端到端自动驾驶框架,通过双向建模联合预测未来场景演化与轨迹规划,利用未来BEV特征指导轨迹生成,在NAVSIM和nuScenes基准上显著优于现有方法。
2025-10-13 cs.CV
DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes
Technion(以色列理工学院);Cornell Tech(康奈尔科技校区);NVIDIA(英伟达)
DyRAD通过静态背景和动态点反射器建模动态驾驶场景,利用解析点扩散函数渲染完整RAD张量,实现多普勒监督和零样本传感器迁移,显著提升检测恢复率。
2026-10-02 cs.CV