DriveEditor: A Unified 3D Information-Guided Framework for Controllable Object Editing in Driving Scenes
Huazhong University of Science and Technology(华中科技大学);National Key Laboratory of Multispectral Information Intelligent Processing Technology(多光谱信息智能处理技术国家重点实验室);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
DriveEditor提出统一的扩散框架,通过三维边界框位置控制和单参考图像外观保持模块,实现驾驶视频中物体的重新定位、替换、删除和插入,并在nuScenes上验证了高保真可控编辑能力。
2024-12-30 cs.CV
GAIA-2: A Controllable Multi-View Generative World Model for Autonomous Driving
Wayve
GAIA-2是一种潜在扩散世界模型,通过结构化条件和外部嵌入实现可控多视角视频生成,支持多智能体交互与多相机一致性,可模拟常见及罕见驾驶场景,推动自动驾驶系统开发。
2025-03-26 cs.AI cs.CV cs.RO
GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Tsinghua University(清华大学);Chongqing Afari Intelligent Drive Co., Ltd.(重庆阿法瑞智能驾驶有限公司);Nanyang Technological University(南洋理工大学)
该研究提出GaussianDWM++,通过基础特征高斯分词器等模块构建统一框架,在多类驾驶任务中实现场景理解、编辑与多模态生成,性能达当前最优。
2026-08-18 cs.CV
Controllable Pedestrian Video Editing for Multi-View Driving Scenarios via Motion Sequence
MiLM Plus, Xiaomi Inc.(小米公司)
针对自动驾驶行人检测模型因训练数据危险场景不足鲁棒性差的问题,提出融合视频修复与运动控制的多视角行人视频编辑框架,可实现插入、替换、移除等编辑,效果真实连贯,可用于数据增强与场景模拟。
2025-08-01 cs.AI cs.CV cs.RO
Optimizing Diffusion Models for Joint Trajectory Prediction and Controllable Generation
University of California, Berkeley(加州大学伯克利分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stellantis(斯泰兰蒂斯集团)
本文提出最优高斯扩散和估计干净流形引导,通过优化先验分布和直接注入引导梯度,在Argoverse 2上实现高效、高质量的自动驾驶联合轨迹预测与可控生成。
2024-08-01 cs.CV
ICface: Interpretable and Controllable Face Reenactment Using GANs
Tampere University(坦佩雷大学);Aalto University of Technology(阿尔托理工大学)
本文提出了一种通用的人脸动画,是能够控制一个给定的人脸图像的姿态和表情。动画由人类可解释的控制信号驱动,包括头部姿势角度和动作单位(AU)值。控制信息可以从多个来源获得,包括外部驾驶视频和手动控制。由于驱动信号的可解释性,人们可以很容易地混合多个来源之间的信息(例如,来自一个图像的姿势和来自另一个图像的表情),并应用选择性的后期制作编辑。建议的人脸动画实现为一个两阶段的神经网络模型,学习在一个自我监督的方式使用一个大的视频集合。建议的可解释和可控的人脸重演网络(ICface)相比,国家的最先进的神经网络为基础的人脸动画技术在多个任务。结果表明,ICface产生更好的视觉质量,同时比大多数比较方法更通用。引入的模型可以为众多高级图像和视频编辑任务提供轻量级且易于使用的工具。
2020-01-17 cs.CV
MagicDrive-V2: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control
CUHK(中文大学);HKUST(香港科技大学);Huawei Cloud(华为云);Huawei Noah’s Ark Lab(华为诺亚实验室)
针对DiT与3D VAE框架下驾驶视频几何控制失效问题,提出MagicDrive-V2,融合MVDiT、时空条件编码、文本上下文描述与渐进训练,实现高分辨率长时多视角可控驾驶视频生成。
2025-07-25 cs.CV
DreamForge: Motion-Aware Autoregressive Video Generation for Multi-View Driving Scenes
Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);Technical University of Munich(慕尼黑技术大学)
提出DreamForge,一种基于扩散模型的自回归视频生成模型,通过透视引导、逐对象位置编码和运动感知时间注意力,实现3D可控的长视频生成,并集成DriveArena模拟器支持驾驶智能体的开闭环评估。
2025-05-29 cs.CV
X-World: Controllable Ego-Centric Multi-Camera World Models for Scalable End-to-End Driving
GWM Team(长城汽车团队);XPeng Inc.(小鹏汽车)
X-World通过可控的多摄像头生成世界模型,实现高质量多视角视频生成,支持跨摄像头一致性、长时间动态稳定性和严格动作遵循,为可扩展的端到端驾驶评估提供基础。
2026-03-31 cs.AI cs.CV
PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models
本文提出PerLDiff(透视-布局扩散模型),利用3D几何先验在网络学习过程中引导街景图像生成,实现精确的物体级控制,在NuScenes和KITTI数据集上显著提升了可控生成的精度。
2025-07-15 cs.CV
InterDyn: Controllable Interactive Dynamics with Video Diffusion Models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学)
提出InterDyn框架,利用视频扩散模型作为隐式物理模拟器,通过初始帧和驱动实体运动控制信号生成连续且时间一致的复杂物体交互动力学视频,优于静态基线方法。
2025-04-04 cs.CV
StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models
Zhejiang University(浙江大学);Li Auto Inc.(Li汽车公司);Cornell University(康奈尔大学)
针对自动驾驶场景视图合成中视角偏离训练轨迹时性能下降的问题,提出可控视频扩散模型StreetCrafter,以LiDAR点云渲染为像素级条件,实现精确相机控制、像素级编辑及实时渲染,在Waymo和PandaSet上优于现有方法。
2025-08-26 cs.CV
SceneDiffuser: Efficient and Controllable Driving Simulation Initialization and Rollout
Waymo LLC(Waymo公司)
SceneDiffuser提出一种场景级扩散先验,通过摊销扩散和广义硬约束实现高效可控的驾驶模拟初始化与滚动,在Waymo挑战中取得领先性能。
2024-12-05 cs.AI cs.CV cs.LG
Controllable One-Shot Face Video Synthesis With Semantic Aware Prior
NYU Center for Data Science(纽约大学数据科学中心);Google(谷歌)
针对现有单样本人脸视频合成方法姿态对齐差、细节捕捉弱的问题,提出引入人脸语义先验的新方法,在同等带宽下提升生成质量,还实现了姿态与表情的可控生成。
2023-04-27 cs.AI cs.CV
What Are You Doing? A Closer Look at Controllable Human Video Generation
Google DeepMind(谷歌DeepMind)
针对现有数据集缺乏多样性,提出WYD基准,含1544个视频和细粒度标注,评估可控人类视频生成的9个方面,并改进评估指标,深入分析开源模型,发布数据与代码。
2026-09-09 cs.CV
Sync4D: Video Guided Controllable Dynamics for Physics-Based 4D Generation
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
Sync4D提出一种利用参考视频将物体运动迁移到三维生成高斯的可控动力学方法,通过混合蒙皮形状重建、部件对应和物理模拟解决形状与时间不一致问题,支持人类、四足动物和关节物体并生成任意长度动力学。
2024-07-07 cs.CV
HelloWorld: Towards Practical Applications of Generative Driving World Models
本文提出HelloWorld,一个20亿参数的驾驶世界模型系统,通过特化视觉运动先验并采用块因果生成接口,实现可控、多传感器、高效的驾驶数据生成与交互式模拟。
2026-09-25 cs.CV
DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving
GigaAI(极佳科技);Tsinghua University(清华大学)
提出首个完全基于真实世界驾驶场景的世界模型 DriveDreamer,利用扩散模型和两阶段训练流程构建复杂环境表征,实现精确可控的视频生成与合理的驾驶策略预测。
2023-11-27 cs.CV
V2VCrafter: Consistent Street-View Image Generation Across Vehicles
Hong Kong JC STEM Lab of Smart City(香港JC智能城市STEM实验室);City University of Hong Kong(香港城市大学);Lingnan University(岭南大学)
提出V2XCrafter框架,通过渐进式多智能体扩散模型和跨智能体注意力模块,生成跨智能体相机视角的一致可控协作驾驶场景,以增强数据并提升下游协作3D目标检测性能。
2026-08-04 cs.CV
PoseGen: In-Context LoRA Finetuning for Pose-Controllable Long Human Video Generation
Xiaoice, China(小冰公司,中国);The University of Sydney, Australia(悉尼大学,澳大利亚)
PoseGen通过上下文LoRA微调实现对人物姿态的精细控制,生成长时长视频,解决了身份漂移和视频长度限制问题。
2026-04-10 cs.CV
High-Fidelity Relightable Monocular Portrait Animation with Lighting-Controllable Video Diffusion Model
Sichuan University(四川大学);College of Computer Science, Sichuan University(四川大学计算机学院)
本文提出光照可控视频扩散模型(LCVD),通过分离内在与外在特征子空间,实现高保真可重照明肖像动画,在光照真实性、图像质量和视频一致性上超越现有方法。
2025-02-27 cs.CV
High-Fidelity and Freely Controllable Talking Head Video Generation
Microsoft Research(微软研究院)
针对说话头部视频中的人脸失真、属性控制不足和帧间闪烁问题,提出融合自监督与3D人脸关键点的模型,并结合运动感知对齐及上下文传播模块,实现高保真、姿态与表情可控的生成。
2023-11-02 cs.CV
Generative Active Learning for Long-tail Trajectory Prediction via Controllable Diffusion Model
Intelligent Systems and Learning Lab., DGIST, Korea(智能系统与学习实验室,DGIST,韩国);Qualcomm Research, USA(高通研究,美国);Visual Intelligence Lab., KAIST, Korea(视觉智能实验室,KAIST,韩国)
针对轨迹预测中的长尾场景难题,提出首个生成式主动学习方法GALTraj,通过可控扩散模型主动增强稀有尾部样本,在多个数据集和骨干网络上实现头尾样本性能双提升。
2025-07-30 cs.CV
UDE: A Unified Driving Engine for Human Motion Generation
生成可控制和可编辑的人体运动序列是3D虚拟形象生成中的一个关键挑战。长期以来,生成和动画人体运动一直是一项劳动密集型的工作,直到最近基于学习的方法被开发和应用。然而,这些方法仍然是任务特定的或模态特定的\cite {ahuja 2019 language 2 pose} \cite{ghosh2021synthesis} \cite{ferreira2021learning} \cite{li2021ai}。在本文中,我们提出了“UDE”,第一个统一的驱动引擎,使生成人类运动序列从自然语言或音频序列(见图~)。\ref{fig:teaser})。具体而言,UDE由以下关键组件组成:1)基于VQVAE的运动量化模块,其将连续运动序列表示为离散潜在码\cite{van2017neural},2)模态不可知的Transformer编码器\cite{vaswani2017attention},其学习将模态感知驱动信号映射到关节空间,以及3)统一令牌Transformer(类GPT \cite{radford2019language})网络,用于以自回归方式预测量化的潜码索引。4)扩散运动解码器,其将运动标记作为输入,并将它们解码成具有高多样性的运动序列。在HumanML 3D \cite{Guo_2022_CVPR}和AIST++ \cite{li2021learn}基准测试上对该方法进行…
2022-11-29 cs.CV
Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Peking University(北京大学);PhiGent Robotics(PhiGent机器人公司)
针对现有驾驶场景生成方法在视角变换、时空动态建模上的不足,提出Stag-1模型,结合4D点云构建、时空解耦与视频生成技术,实现任意视角的真实可控4D驾驶仿真,在多视角一致性等指标上表现优异。
2024-12-11 cs.AI cs.CV cs.LG
Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究所)
针对静态图像生成角色视频中的时序一致性与可控性难题,本文提出基于扩散模型的 Animate Anyone 框架,结合 ReferenceNet、pose guider 和时序建模,在时尚视频与舞蹈合成基准上达到最先进性能。
2024-06-13 cs.CV
Panacea: Panoramic and Controllable Video Generation for Autonomous Driving
University of Science and Technology of China(中国科学技术大学);MEGVII Technology(旷视科技);Mach Drive(马赫驱动)
本文提出Panacea方法,通过4D注意力、两阶段生成流程和ControlNet框架生成全景可控的驾驶场景视频,并在nuScenes数据集上验证其能有效扩充自动驾驶BEV感知训练数据。
2023-11-28 cs.CV
Ctrl-Crash: Controllable Diffusion for Realistic Car Crashes
McGill University(麦吉尔大学);CIFAR AI Chair(CIFAR人工智能 chair)
Ctrl-Crash通过可控扩散生成逼真汽车碰撞视频,提升交通安全模拟的可控性和真实性。
2025-12-13 cs.AI cs.CV cs.RO
DriveCache: Action-Aware Caching for Driving World Model Inference
针对扩散驾驶生成器吞吐量受限的问题,提出动作感知的DriveCache控制器,利用规划运动与动态规划优化缓存,提升保真度-效率权衡,代码将公开。
2026-08-18 cs.AI cs.CV
DiffPlace: Street View Generation via Place-Controllable Diffusion Model Enhancing Place Recognition
DiffPlace通过引入位置ID控制器,实现了位置可控的多视角图像生成,提升了视觉位置识别任务中的生成质量和训练支持。
2026-02-12 cs.CV cs.RO
PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering
Peking University(北京大学);Advanced Institute of Information Technology, Peking University(北京大学信息技术高等研究院);Tencent America(腾讯美国)
通过控制现有面部的运动来生成肖像图像是对社交媒体行业具有重要意义的重要任务。为了便于使用和直观的控制,应该使用语义上有意义的和完全分离的参数作为修改。然而,许多现有技术不提供这样的细粒度控制或使用间接编辑方法,即模仿其他个体的运动。本文提出了一种人像图像神经渲染器(PIRenderer),利用三维可变形人脸模型(3DMMs)的参数来控制人脸的运动。该模型可以根据直观的修改生成具有精确运动的照片级逼真的人像图像。在直接和间接编辑任务上的实验证明了该模型的优越性。同时,我们进一步扩展了这个模型,通过从音频输入中提取序列运动来解决音频驱动的面部重现任务。我们表明,我们的模型可以生成连贯的视频,令人信服的运动,只有一个参考图像和驱动音频流。我们的源代码可以在https://github.com/RenYurui/PIRender上找到。
2021-09-17 cs.AI cs.CV
Panacea+: Panoramic and Controllable Video Generation for Autonomous Driving
School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院);MEGVII Technology(旷视科技);School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Mach Drive(马赫驾驶)
针对自动驾驶领域对高质量标注训练视频的需求,本文提出基于此前工作Panacea构建的通用驾驶场景视频生成框架Panacea+,通过多视角外观噪声先验与超分辨率模块提升一致性和分辨率,实验验证其能有效助力多项自动驾驶感知任务。
2024-08-14 cs.CV
DriveWeaver: Point-Conditioned Video Inpainting for Controllable Vehicle Insertion in Autonomous Driving Simulation
School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Innovation Institute(上海创新研究院)
提出DriveWeaver框架,通过点云条件视频修复实现自动驾驶仿真中可控车辆插入,解决光照不一致和3D资产依赖问题,支持大规模场景增强。
2026-07-03 cs.CV
dVLM-AD: Enhance Diffusion Vision-Language-Model for Driving via Controllable Reasoning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);NVIDIA(英伟达);Stanford University(斯坦福大学);Johns Hopkins University(约翰霍普金斯大学)
dVLM-AD通过可控推理提升扩散视觉语言模型,实现更一致的驾驶推理与规划性能。
2025-12-04 cs.CV
Risk-Controllable Multi-View Diffusion for Driving Scenario Generation
RiskMV-DPO通过整合风险水平与物理风险建模,实现可控风险的多视角驾驶场景生成,提升3D检测性能并减少FID,推动安全导向的具身智能发展。
2026-08-19 cs.CV
Is Energy Guidance All You Need? Training-Free Norm Injection for Driving World Models
Institute of Automotive Technology, Technical University of Munich(慕尼黑工业大学汽车技术研究所)
研究基于大型视频扩散主干的驾驶世界模型难以控制的问题,提出通过可微能量函数在采样时操控规划轨迹,无需重新训练主干,以Open-Sora 2.0 MM-DiT主干模型为例验证,指出跨流耦合是端到端可控关键。
2026-07-14 cs.CV cs.RO
DrivingGaussian++: Towards Realistic Reconstruction and Editable Simulation for Surrounding Dynamic Driving Scenes
Wangxuan Institute of Computer Technology, Peking University(北京大学王炫计算机技术研究所);Google DeepMind(谷歌DeepMind);University of California, Merced(加州大学默塞德分校)
DrivingGaussian++提出结合增量3D高斯、复合动态高斯图和LiDAR先验的框架,实现动态驾驶场景的高质量重建与免训练可控编辑,并借助大语言模型自动生成物体运动轨迹,增强场景真实感和多样性。
2025-08-28 cs.CV
DriveLiDAR4D: Sequential and Controllable LiDAR Scene Generation for Autonomous Driving
针对现有3D LiDAR点云生成方法缺乏序列生成能力、前景物体定位不准等局限,提出含多模态条件和LiDAR4DNet的DriveLiDAR4D流水线,实现时间一致、前景可控的LiDAR场景生成,在nuScenes数据集上性能较SOTA方法UniScene显著提升。
2025-11-17 cs.CV
WoVoGen: World Volume-aware Diffusion for Controllable Multi-camera Driving Scene Generation
School of Data Science, Fudan University(复旦大学数据科学学院)
本文提出WoVoGen,通过引入显式4D世界体积作为生成基础,分两阶段实现基于车辆控制序列的多相机驾驶场景视频生成,同时保证世界内部一致性与传感器间连贯性,并支持场景编辑。
2024-08-08 cs.CV
Transfer Your Perspective: Controllable 3D Generation from Any Viewpoint in a Driving Scene
The Ohio State University(俄亥俄州立大学);Cornell University(康奈尔大学)
针对协作式自动驾驶数据收集困难的问题,提出基于条件扩散模型的方法TYP,利用模拟协作数据与真实自车数据,从任意视点生成逼真且语义布局一致的感知结果,支持在极少真实协作数据下预训练协作感知算法。
2025-04-01 cs.CV
LangDriveCTRL: Natural Language Controllable Driving Scene Editing with Multi-modal Agents
University of Maryland, College Park(马里兰大学帕克分校);NEC Labs America(NEC美国实验室);UC San Diego(加州大学圣迭戈分校)
LangDriveCTRL通过多模态代理实现驾驶视频的自然语言可控编辑,生成多样化的交通场景,提升真实感和交通场景的真实性。
2026-08-25 cs.CV
CoGen: 3D Consistent Video Generation via Adaptive Conditioning for Autonomous Driving
Nanjing University(南京大学);Xiaomi EV(小米汽车);Nankai University(南开大学);Peking University(北京大学)
CoGen提出面向自动驾驶的空间自适应视频生成框架,通过细粒度3D条件替代2D布局并引入一致性适配器,提升多视角驾驶视频的3D一致性与视觉真实感。
2025-04-05 cs.CV
PersonaDrive: Controllable Trajectory Prediction with Multi-Dimensional Driving Personas
Kyung Hee University(庆熙大学);ETRI(韩国电子通信研究院)
针对现有轨迹预测方法可控性不足的问题,提出 PCT 数据集与 PersonaDrive 框架,通过多轴设计实现可控轨迹生成,性能优于基线。
2026-08-18 cs.CV
DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving
University of Toronto(多伦多大学);CUHK MMLab(香港中文大学MMLab)
DrivingGen提出首个综合性基准,用于评估生成驾驶世界模型的视觉真实性、轨迹合理性、时间一致性和可控性,揭示通用与专用模型间的权衡。
2026-03-07 cs.AI cs.CV cs.RO
DreamDrive: Generative 4D Scene Modeling from Street View Images
NVIDIA Research(英伟达研究院);University of Southern California(南加州大学)
本文提出DreamDrive,结合视频扩散模型、混合高斯表示与高斯泼溅,从街景图像生成可控、可泛化且3D一致的4D驾驶场景,并提升自动驾驶感知与规划。
2025-01-03 cs.AI cs.CV cs.GR
DragTraffic: Interactive and Controllable Traffic Scene Generation for Autonomous Driving
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));KTH Royal Institute of Technology(瑞典皇家理工学院);Lotus Technology Ltd(路特斯科技有限公司)
提出基于条件扩散的交通场景生成框架DragTraffic,通过自适应混合专家架构、回归初始解与交叉注意力机制,实现高可控、多样且真实的自动驾驶边缘案例生成。
2024-10-10 cs.CV cs.RO
CIRL: Controllable Imitative Reinforcement Learning for Vision-based Self-driving
Petuum Inc.(Petuum公司);Carnegie Mellon University(卡内基梅隆大学)
由于学习最佳驾驶策略的困难,具有复杂多智能体动力学的自主城市驾驶导航尚未得到充分探索。传统的模块化流水线严重依赖于手工设计的规则和预处理感知系统,而基于监督学习的模型受到广泛的人类经验的可访问性的限制。我们提出了一个通用的和有原则的可控模仿强化学习(CIRL)方法,成功地使驾驶代理实现更高的成功率的基础上,只有视觉输入的高保真汽车模拟器。为了缓解大型连续动作空间的低探索效率,通常禁止在具有挑战性的真实任务中使用经典RL,我们的CIRL探索了一个合理约束的动作空间,由模仿人类演示的编码经验指导,建立在深度确定性策略梯度(DDPG)的基础上。此外,我们建议专门的自适应政策和转向角奖励设计不同的控制信号(即遵循,直行,右转,左转)的基础上共享的表示,以提高模型的能力,在处理不同的情况下。CARLA驾驶基准上的大量实验表明,CIRL在各种目标导向的驾驶任务上成功完成情节的百分比方面大大优于所有以前的方法。我们还显示了其优越的泛化能力,在看不见的环境。据我们所知,这是在高保真模拟器中通过强化学习学习驾驶策略的第一个成功案例,该模拟器的性能优于监督模仿学习。
2018-07-10 cs.CV cs.RO
HybridWorldSim: A Scalable and Controllable High-fidelity Simulator for Autonomous Driving
XPeng Motors;ShanghaiTech University(上海科技大学);University of Science and Technology of China(中国科学技术大学)
HybridWorldSim通过整合多遍神经重建与生成模型,实现高保真驾驶仿真,提供可扩展且可控的仿真环境及新的多遍数据集MIRROR,推动自动驾驶研究。
2026-09-01 cs.CV cs.RO
Composing Driving Worlds through Disentangled Control for Adversarial Scenario Generation
The University of Tokyo(东京大学);Horizon Robotics;University of Glasgow(格拉斯哥大学)
本文提出CompoSIA,通过解耦交通因素实现对对抗性驾驶场景的精细控制,提升生成质量并减少误差。
2026-03-13 cs.CV
Learning from Rendering: Realistic and Controllable Extreme Rainy Image Synthesis for Autonomous Driving Simulation
School of Computer Science and Technology, Tongji University(计算机科学与技术学院,同济大学)
针对现有降雨图像合成器光照可控性差、真实感不足的问题,本研究提出结合渲染与学习优势的合成方法,集成CARLA构建CARLARain仿真器,可生成标注配对的极端降雨图像,有效提升语义分割模型在极端雨景下的性能。
2025-07-31 cs.CV
Scenario Diffusion: Controllable Driving Scenario Generation With Diffusion
Zoox(佐克斯公司)
本文提出场景扩散(Scenario Diffusion),一种基于扩散的架构,结合潜在扩散、目标检测和轨迹回归,以地图和令牌为条件,实现可控的驾驶场景生成,可建模多样交通模式并泛化至不同地区。
2023-11-16 cs.CV cs.LG cs.RO
FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint
Meta Reality Labs(Meta现实实验室);Technical University of Munich(慕尼黑技术大学)
FactorPortrait通过解耦表情、姿态和视角实现可控肖像动画,利用预训练编码器和3D网格跟踪生成逼真动态效果。
2025-12-12 cs.CV
AnyScene: Towards Highly Controllable Driving Scene Generation at Anywhere and Beyond
Li Auto(利汽车);Southwest Jiaotong University(西南交通大学);Tsinghua University(清华大学)
提出AnyScene框架,通过时空占用扩散Transformer和几何引导视图扩展模块,实现从BEV布局生成语义占用序列和参考无关的多视角驾驶视频,支持精确可控和长时生成。
2026-05-25 cs.CV cs.RO
Unleashing Generalization of End-to-End Autonomous Driving with Controllable Long Video Generation
Westlake University(西湖大学);Li Auto Inc.(理想汽车);Tianjin University(天津大学);Southeast University(东南大学);Harbin Engineering University(哈尔滨工程大学)
本文提出基于扩散的长视频生成方法Delphi,通过共享噪声建模和特征对齐模块实现多视图一致性与可控性,并结合失败案例驱动采样策略,仅用4%训练数据量即首次将端到端自动驾驶规划性能提升25%。
2024-06-06 cs.CV